JP2008204216A - 端末装置、それに用いられるプログラム及び情報処理システム - Google Patents
端末装置、それに用いられるプログラム及び情報処理システム Download PDFInfo
- Publication number
- JP2008204216A JP2008204216A JP2007040309A JP2007040309A JP2008204216A JP 2008204216 A JP2008204216 A JP 2008204216A JP 2007040309 A JP2007040309 A JP 2007040309A JP 2007040309 A JP2007040309 A JP 2007040309A JP 2008204216 A JP2008204216 A JP 2008204216A
- Authority
- JP
- Japan
- Prior art keywords
- user area
- taps
- data
- information
- electronic pen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】電子ペンの電子ペン用媒体に対するタップ回数をカウントし、各タップ回数に応じて所定の処理を実行する端末装置、それに用いられるプログラム及び情報処理システムを提供する。
【解決手段】利用者は、電子ペン10Aにより電子ペン用媒体における任意のユーザエリアをタップする。端末装置25Aは、電子ペン10Aから記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、端末装置25Aは、記入情報に基づいて、認識したユーザエリアへのタップ回数をカウントし、タップ回数が変化する度に、ユーザエリア及び変化後のタップ回数に基づいて出力情報から対応する音声データを抽出して音声を出力する。よって、カウントした各タップ回数に応じて異なる音声を利用者にフィードバックすることができる。
【選択図】図11
【解決手段】利用者は、電子ペン10Aにより電子ペン用媒体における任意のユーザエリアをタップする。端末装置25Aは、電子ペン10Aから記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、端末装置25Aは、記入情報に基づいて、認識したユーザエリアへのタップ回数をカウントし、タップ回数が変化する度に、ユーザエリア及び変化後のタップ回数に基づいて出力情報から対応する音声データを抽出して音声を出力する。よって、カウントした各タップ回数に応じて異なる音声を利用者にフィードバックすることができる。
【選択図】図11
Description
本発明は、電子ペンにより電子ペン用媒体等に記入された記入情報を処理する技術に関する。
近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており(以下、本明細書では「電子ペン」と呼ぶ。)、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン(Anoto pen)」が知られている(特許文献1参照)。アノトペンは、所定のドットパターンが印刷された専用紙(以下、「専用ペーパー」とも呼ぶ。)とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある(例えば、特許文献2)。
そこで本発明は、電子ペンの電子ペン用媒体に対するタップ回数をカウントし、各タップ回数に応じた所定の処理を実行する端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。
本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、音声データに基づいて音声を出力する音声出力部と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする。
この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数カウント手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントし、変化判定手段は、タップ回数カウント手段によるカウントが変化したか否かを判定する。タップ回数カウント手段は、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントするものであり、変化判定手段は、タップ回数が変化したか否かを判定する。タップ回数カウント手段によるカウントが変化した場合、データ抽出手段は、情報記憶手段に記憶された出力情報から、カウントされたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する音声データを抽出する。そして、処理実行手段は、データ抽出手段が抽出した音声データに基づく音声を音声出力部から出力させる。このように、端末装置は、利用者によって同一のユーザエリアがタップされたタップ回数をカウントし、各タップ回数に応じて音声データに基づく音声を出力することができる。また、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
上記のような構成において、電子ペンは、取得した記入情報を即時的且つ逐次的に端末装置へ送信するとよい。これにより、利用者が電子ペンで電子ペン用媒体のユーザエリアにタップを行うと、端末装置によってリアルタイムで即座に音声データの出力による利用者への案内が行われるため、利用者の操作性が高まる。
さらに、上記端末装置において、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数カウント手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は両点間の移動距離により、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントすると好適である。
このように構成された端末装置によれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数カウント手段は、データ開始点及びデータ終了点に基づく時間及び/又は両点間の移動距離により、ユーザエリア認識手段が認識したユーザエリアに対してタップされたタップ回数をカウントする。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを端末装置から出力させようと意図したものではないと判定することができる。また、タップ回数カウント手段によって、データ開始点及びデータ終了点に基づく時間及び/又は両点間の移動距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。
さらに、上記端末装置において、前記タップ回数カウント手段は、前記記入情報取得手段が取得した記入情報に基づくタップが、前記ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから、予め設定された所定読取時間以上経過している場合、タップ回数を初期値にリセットしてからカウントすることを特徴とする。このように構成された端末装置によれば、タップ回数カウント手段は、記入情報に基づく新たなタップが、ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから所定読取時間以上経過しているか否かを判定し、当該所定読取時間以上経過している場合、タップ回数を初期値(例えば「0」)にリセットしてからカウントする。これによれば、所定読取時間以上間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確にカウントすることができる。
さらに、出力情報として記憶される音声データは、各ユーザエリアに対応して設定された単語及び/又は熟語について、タップ回数によって異なる意味及び/又は用例が発声される音声データであるとよい。これにより、各ユーザエリアに対応する単語や熟語について、電子ペン用媒体へのタップ回数が変化する度に、当該単語や熟語の異なる意味や用例を音声出力させることができる。
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声データに基づいて音声を出力する音声出力部を備え、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記コンピュータを機能させることを特徴とする。
また、本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする。
この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数カウント手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントし、変化判定手段は、タップ回数カウント手段によるカウントが変化したか否かを判定する。タップ回数カウント手段は、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントするものであり、変化判定手段は、タップ回数が変化したか否かを判定する。タップ回数カウント手段によるカウントが変化した場合、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、カウントされたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、端末装置は、利用者によって同一のユーザエリアがタップされたタップ回数をカウントし、各タップ回数に応じて処理データに基づく処理を実行することができる。また、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記コンピュータを機能させることを特徴とする。
上記プログラムをコンピュータにより実行することにより、上述の端末装置を実現することができる。
また、本発明に係る情報処理システムによれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、電子ペンは電子ペン用媒体へのタップによる記入情報を端末装置に送信する。そして、端末装置では、記入情報取得手段によってその記入情報が取得され、ユーザエリア認識手段が、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数カウント手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントし、変化判定手段は、タップ回数カウント手段によるカウントが変化したか否かを判定する。タップ回数カウント手段によるカウントが変化した場合、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、カウントされたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、端末装置は、利用者によって同一のユーザエリアがタップされたタップ回数をカウントし、各タップ回数に応じて処理データに基づく処理を実行することができる。また、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。
本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、電子ペンの電子ペン用媒体に対するタップ回数をカウントし、当該タップ回数に応じて所定の処理を実行することができる。
以下、図面を参照して本発明の好適な実施の形態について説明する。
<第1実施形態>
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10A(10)と、専用ペーパー(電子ペン用媒体)20と、端末装置25A(25)とから構成される。ここで、図1は電子ペン10Aの使用形態を模式的に示す図であり、図2は電子ペン10Aの構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等を端末装置25Aに送信する。電子ペン10Aは、端末装置25Aへ確実にデータを送信できるよう、端末装置25Aの近傍で使用される。端末装置25Aは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10A(10)と、専用ペーパー(電子ペン用媒体)20と、端末装置25A(25)とから構成される。ここで、図1は電子ペン10Aの使用形態を模式的に示す図であり、図2は電子ペン10Aの構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等を端末装置25Aに送信する。電子ペン10Aは、端末装置25Aへ確実にデータを送信できるよう、端末装置25Aの近傍で使用される。端末装置25Aは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
[ 専用ペーパー ]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
図5に、図案等が印刷された専用ペーパー20の例を示す。図5に示す例は、英和辞典の頁の例であり、英単語「Work」に対応するユーザエリア90、英熟語「at work」に対応するユーザエリア91、英単語「World」に対応するユーザエリア92等が印刷されている。ドットパターンは、専用ペーパー20のほぼ全面に印刷されており、その上に英単語や英熟語、代表的な意味、ユーザエリア90〜92の枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、所定の英単語や英熟語について、記載されている代表的な意味以外の意味や用例を知りたい場合に、電子ペン10Aを使用して対応するユーザエリアをタップ(電子ペン10Aのペン先部17の専用ペーパー(電子ペン用媒体20)への軽叩)する。
[ ドットパターン ]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10Aによって行われる。
[ 電子ペン ]
次に電子ペン10Aについて説明する。図2に示すように、電子ペン10Aは、その内部にプロセッサ11、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18及びクロック22を備える。また、電子ペン10Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
次に電子ペン10Aについて説明する。図2に示すように、電子ペン10Aは、その内部にプロセッサ11、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18及びクロック22を備える。また、電子ペン10Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
LED15は、電子ペン10Aのペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15a)に向けて、赤外線を照明する(図1参照)。領域15aは、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15a内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
バッテリー14は電子ペン10A内の各部品に電力を供給するためのものであり、例えば電子ペン10Aのキャップ(図示せず)の脱着により電子ペン10A自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10Aにより専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10Aで専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット13に対して、端末装置25Aへ送信させる。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10Aでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
データ通信ユニット13は、プロセッサ11から時間情報、筆圧データ、X,Y座標データを記入情報として受けると、端末装置25Aへ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25Aへデータ送信を行ってもよい。データ通信ユニット13による端末装置25Aへの記入情報の送信は、即時的且つ逐次的に行われる。
[ 端末装置 ]
次に、端末装置25Aについて図6を参照して説明する。端末装置25Aは、ハードウェアとして、電子ペン10Aとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。図6は、端末装置25Aの機能ブロック図である。端末装置25Aは、電子ペン10Aから取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
次に、端末装置25Aについて図6を参照して説明する。端末装置25Aは、ハードウェアとして、電子ペン10Aとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。図6は、端末装置25Aの機能ブロック図である。端末装置25Aは、電子ペン10Aから取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
図6に示すように、端末装置25Aは、情報記憶手段40、記入情報取得手段41、開始終了点特定手段42、ユーザエリア認識手段43、タップ回数カウント手段44、変化判定手段45、処理データ抽出手段(データ抽出手段)46、処理実行手段47、音声出力部48及び表示部49を備える。物理的には、情報記憶手段40は、ROMやRAMといったメモリによって構成され、記入情報取得手段41は、データ通信ユニット、プロセッサ等によって構成され、音声出力部48はスピーカ、表示部49はディスプレイ等で構成される。また、開始終了点特定手段42、ユーザエリア認識手段43、タップ回数カウント手段44、変化判定手段45、処理データ抽出手段46及び処理実行手段47は、CPU等のプロセッサに組み込まれている。
情報記憶手段40は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けて、実行情報として記憶するメモリである。
すなわち、図7に示すように、情報記憶手段40には、専用ペーパー(電子ペン用媒体)20のユーザエリアを識別するエリアIDと、ユーザエリアに対応する英単語や英熟語と、ユーザエリアの位置座標領域を表す座標データとを対応付けた定義情報が記憶されている。エリアID「A01」に関連して英単語「Work」が記憶され、エリアID「A02」に関連して英熟語「at work」が記憶され、エリアID「A04」に関連して英単語「World」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図8に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
さらに情報記憶手段40には、図9に示すように、ユーザエリアを識別するエリアIDと、利用者が行うタップ回数と、音声データとを対応付けた出力情報が記憶されている。例えば、エリアID「A01」のタップ回数「1」に対しては、英単語「Work」の他の意味を示す音声データA(作業)が関連付けられ、同じエリアID「A01」のタップ回数「10」に対しては、英単語「Work」の用例を示す音声データJ(用例4 a fine piece of 〜 すぐれた業績)が関連付けされて記憶されている。これらの音声データAや音声データJは、音声出力部48によって音声出力可能な音声データである。
ここで、情報記憶手段40に記憶されているこれら定義情報及び出力情報を実行情報と称することとする。さらに、情報記憶手段40は、記入情報取得手段41によって取得された記入情報を記憶するとともに、タップ回数カウント手段44によりユーザエリアに対応付けてカウントされたタップ回数及びタップ時刻を一時記憶する。
記入情報取得手段41は、電子ペン10Aのデータ通信ユニット13によって送信される専用ペーパー(電子ペン用媒体)20への記入内容に対応する記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth(登録商標)による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。
開始終了点特定手段42は、記入情報取得手段41が取得した記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段42は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
ユーザエリア認識手段43は、記入情報に含まれる座標データに基づいて、情報記憶手段40が記憶した定義情報(図7参照)を参照することにより、対応するユーザエリアを認識する。このとき、ユーザエリア認識手段43は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。そのような設定にすれば、利用者が専用ペーパー20に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを端末装置25Aから出力させようと意図したものではないと判定することができる。
タップ回数カウント手段44は、開始終了点特定手段42によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離に基づいて、利用者により専用ペーパー20に記入されたストロークがタップであるか否かを判定し、ユーザエリア認識手段43が認識したユーザエリアにおいてタップされた回数(タップ回数)をカウントする。当該ユーザエリア、カウントしたタップ回数及びタップ時刻は、対応付けて情報記憶手段40に一時記憶される。このとき、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアに対応付けて情報記憶手段40に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「0」とし、ユーザエリア認識手段43が認識したユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段40上においてユーザエリア認識手段43が認識したユーザエリアに対応付けてタップ回数が記憶されている場合、タップ回数カウント手段44は、新たにタップされた時刻(今回タップ時刻)が、ユーザエリア認識手段43が認識したユーザエリアに対する最後にタップされた時刻(前回タップ時刻)として情報記憶手段40に記憶されているタップ時刻から、予め設定された所定読取時間(例えば3分)以上経過しているか否かを時刻の差分を算出して判定する。判定の結果、所定読取時間以上経過している場合、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアに対応付けて情報記憶手段40上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
そして、認識したユーザエリアに対応付けてカウントしたタップ回数及びタップ時刻を情報記憶手段40に一時記憶する。即ち、情報記憶手段40に記憶されたタップ回数は、対応するユーザエリアへのタップが認識される度に更新される。これによれば、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定読取時間を基準としてカウントがリセットされるため、所定読取時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確にカウントすることができる。これにより、利用者が後刻もう1度特定のユーザエリアに関する音声データを端末装置25Aから出力させようと意図した際に、最初に出力したときと同じ順番で音声データを出力させることができる。
具体的には、利用者により専用ペーパー(電子ペン用媒体)20に記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、タップ回数カウント手段44は、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間(例えば、0.2秒)未満である場合にストロークがタップであると判定する。別の第2の方法として、タップ回数カウント手段44は、座標データに基づいてデータ開始点とデータ終了点との間の移動距離(筆記された線の長さ)を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
変化判定手段45は、タップ回数カウント手段44がカウントしたタップ回数が変化したか否かを判定する。つまり、情報記憶手段40に記憶されたタップ回数が変化したか否かを判定する。換言すると、変化判定手段45は、タップ回数カウント手段44が新たなタップを認識して、カウントしたか否かを判定する。
処理データ抽出手段46は、変化判定手段45によりタップ回数が変化したと判定された場合に、ユーザエリア認識手段43が認識したユーザエリアと、当該ユーザエリアに対応する変化後のタップ回数とに基づいて、情報記憶手段40が記憶した出力情報(図9参照)から対応する音声データ(処理データ)を抽出する。つまり、処理データ抽出手段46は、タップ回数カウント手段44により所定のユーザエリアへのタップ回数がカウントアップされる度に、当該ユーザエリア及びタップ回数に基づいて出力情報から音声データを抽出する。
処理実行手段47は、処理データ抽出手段46によって抽出された音声データを用いて所定の処理を実行する。すなわち、処理実行手段47は、処理データ抽出手段46によって抽出された音声データを音声出力部(スピーカ)48に再生出力させる。つまり、処理実行手段47は、タップ回数カウント手段44により所定のユーザエリアへのタップ回数がカウントアップされる度に、処理データ抽出手段46が抽出した音声データを音声出力部48に再生出力させる。
端末装置25Aは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
[ 専用アプリケーション ]
次に、専用アプリケーション50について図10を参照して説明する。図10は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10Aが専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置25Aにインストールされている。専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
次に、専用アプリケーション50について図10を参照して説明する。図10は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10Aが専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置25Aにインストールされている。専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
図10に示すように、専用アプリケーション50は、記入情報取得モジュール101、情報登録モジュール102、開始終了点特定モジュール103、ユーザエリア認識モジュール104、タップ回数カウントモジュール105、変化判定モジュール106、処理データ抽出モジュール107及び音声出力モジュール108を有する。
記入情報取得モジュール101は、記入情報取得手段41を用いて、専用ペーパー(電子ペン用媒体)20への電子ペン10Aによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有するモジュールである。
情報登録モジュール102は、情報記憶手段40に対して、図7及び図9に示すように、ユーザエリアのエリアID、ユーザエリアの座標データ、タップ回数、及び音声データを関連付けて記憶させるモジュールである。また、情報登録モジュール102は、情報記憶手段40に対して、記入情報取得モジュール101が取得した記入情報を記憶させる。
開始終了点特定モジュール103は、記入情報取得モジュール101の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
ユーザエリア認識モジュール104は、記入情報に含まれる座標データと、情報登録モジュール102によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール104は、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。
タップ回数カウントモジュール105は、ユーザエリア認識モジュール104によって認識された記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定し、ユーザエリアへのタップ回数をカウントする機能を有する。タップ回数カウントモジュール105は、ユーザエリア認識モジュール104によって認識されたユーザエリアと、当該ユーザエリアへのタップ回数とを対応付けて一時的に情報記憶手段40に記憶する。記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい(第3の方法)。
変化判定モジュール106は、タップ回数カウントモジュール105によってカウントされたタップ回数が変化したか否かを判定する機能である。具体的に、変化判定モジュール106は、情報記憶手段40を参照することで、ユーザエリア認識モジュール104によって認識されたユーザエリアに対応するタップ回数が変化したか否かを判定する。
処理データ抽出モジュール107は、変化判定モジュール106によりタップ回数が変化したと判定された場合に、情報登録モジュール102により情報記憶手段40に登録されるユーザエリア、タップ回数、及び音声データを参照し、ユーザエリア認識モジュール104によって認識されたユーザエリアとタップ回数カウントモジュール105によってカウントされたタップ回数とに関連付けられた音声データを抽出する機能を有する。
音声出力モジュール108は、処理データ抽出モジュール107によって抽出された音声データを、音声出力部(スピーカ)48に対して、音声として出力させる機能を有する。
[ 本情報処理システムによる音声出力処理フロー ]
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図11及び図12を参照して説明する。図11は、本第1実施形態における専用ペーパー20上の電子ペン10Aの使用形態を示す図である。図12は、端末装置25Aにおける音声出力処理のフローチャートである。
次に、本第1実施形態の情報処理システムにより行われる処理フローについて図11及び図12を参照して説明する。図11は、本第1実施形態における専用ペーパー20上の電子ペン10Aの使用形態を示す図である。図12は、端末装置25Aにおける音声出力処理のフローチャートである。
利用者は、電子ペン10Aのペン先部17により、専用ペーパー(電子ペン用媒体)20のユーザエリアのうち、代表的な意味以外の意味や用例を聞きたい英単語や英熟語に対応するユーザエリア、例えば英単語「Work」に対応するユーザエリア90をタップする(図11参照。★マークはタップを表す)。すると、電子ペン10Aは、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報(タップ情報)として端末装置25Aへ送信する。すると、端末装置25Aの記入情報取得手段41は、電子ペン10Aから即時的且つ逐次的に記入情報(タップ情報)を取得する(ステップS1)。ここで、即時的とは、電子ペン10AがX,Y座標データ等の記入情報を取得すると、その記入情報は即座に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味し、また、逐次的とは、電子ペン10AがX,Y座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味している。
続いて、開始終了点特定手段42は、記入情報取得手段41によって取得された記入情報(タップ情報)に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する(ステップS2)。次に、ユーザエリア認識手段43は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段40が記憶した定義情報を参照することで、対応するユーザエリア(エリアID「A01」)を認識する(ステップS3)。
続いて、タップ回数カウント手段44は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、ユーザエリア認識手段43が認識したユーザエリアへのタップ回数をカウントする(ステップS4)。具体的に、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリア(エリアID「A01」)と、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段40に一時記憶させる。このとき、タップ回数カウント手段44は、ユーザエリアに対応付けて情報記憶手段40に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「0」とし、ユーザエリア認識手段43が認識したユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段40上においてユーザエリア認識手段43が認識したユーザエリアに対応付けてタップ回数が記憶されている場合、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば3分)を超過している場合、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアに対応付けて情報記憶手段40上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。そして、エリアID「A01」に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段40に一時記憶させる。
なお、タップ回数カウント手段44は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。
続いて、変化判定手段45は、情報記憶手段40に記憶されたタップ回数がカウントアップ等により変化したか否かを判定する。そして、変化判定手段45によりタップ回数が変化したと判定される度に、処理データ抽出手段46は、ユーザエリア認識手段43によって認識されたユーザエリアと、当該ユーザエリアに対応付けて情報記憶手段40に記憶されたタップ回数とに基づいて、情報記憶手段40が記憶する出力情報を参照し、対応する音声データを抽出する(ステップS5)。そして、処理実行手段47は、処理データ抽出手段46によって抽出された音声データを音声出力部(スピーカ)48に音声出力させる(ステップS6)。
例えば、変化判定手段45によって、エリアID「A01」のユーザエリアに対応付けられたタップ回数が「1」に変化したと判定されると、処理データ抽出手段46は、図9に示すように、ユーザエリアのエリアID「A01」のタップ回数1回に対応する音声データAを抽出し、処理実行手段47は、英単語「Work」の他の意味を示す音声データA「作業」を音声出力部(スピーカ)48に音声出力させる。さらに、利用者が同じ英単語「Work」に対応するユーザエリア90をもう1回タップすると、タップ回数カウント手段44によってカウントアップされて情報記憶手段40に一時記憶されるタップ回数が「2」となる。変化判定手段45はこのカウントアップによるタップ回数の変化を判定し、処理データ抽出手段46は、図9に示すように、ユーザエリアのエリアID「A01」のタップ回数2回に対応する音声データBを抽出し、処理実行手段47は、英単語「Work」のさらに他の意味を示す音声データB「任務」を音声出力部(スピーカ)48に音声出力させる。このように、利用者が同じユーザエリアを複数回タップすると、タップ回数カウント手段44によってタップ回数がカウントアップされ、タップ回数が変化する度に、変化判定手段45によって変化が判定され、処理データ抽出手段46は当該ユーザエリア及びタップ回数に対応する音声データを抽出し、音声出力部48に音声出力させる。
また、利用者が英熟語「at work」に対応するユーザエリア91を電子ペン10Aでタップする場合も同様に、電子ペン10Aは記入情報(タップ情報)を端末装置25Aへ送信する。1回めにタップすると、端末装置25Aのタップ回数カウント手段44によって、エリアID「A02」のユーザエリアに対応付けてカウントされたタップ回数「1」が情報記憶手段40に一時記憶され、処理データ抽出手段46は、エリアID「A02」のタップ回数1回に対応する音声データ(図示せず)を抽出し、処理実行手段47は、英熟語「at work」の他の意味を示す音声データ「機械などが作動中で」を音声出力部48に音声出力させる。利用者が同じユーザエリア91をもう1回タップすると、タップ回数カウント手段44によってカウントアップされて情報記憶手段40に一時記憶されるタップ回数が「2」に更新される。変化判定手段45はこの変化を判定し、処理データ抽出手段46は、ユーザエリアのエリアID「A02」のタップ回数2回に対応する音声データ(図示せず)抽出し、処理実行手段47は、英熟語「at work」のさらに他の意味を示す音声データ「一時的に取りかかっている」を音声出力部48に音声出力させる。
ここで、利用者がふたたび英単語「Work」に対応するユーザエリア90をタップすると、情報記憶手段40にはエリアID「A01」のユーザエリアに対応付けられてタップ回数「2」が記憶されているため、タップ回数カウント手段44は、情報記憶手段40に記憶されている前回タップ時刻と今回タップ時刻との差分を算出し、所定読取時間を超過しているか否かを判定し、超過していなければタップ回数を「3」にカウントアップし、エリアID「A01」のユーザエリアに対応付けて情報記憶手段40に記憶されているタップ回数を「3」に更新する。処理データ抽出手段46は、図9に示すように、エリアID「A01」のタップ回数3回に対応する音声データCを抽出し、処理実行手段47は英単語「Work」のさらに他の意味を示す音声データC「勉強」を音声出力部48に音声出力させる。タップ回数カウント手段44は、判定の結果が所定読取時間を超過している場合、エリアID「A01」のユーザエリアに対応付けて情報記憶手段40に記憶されているタップ回数「2」を初期値「0」にリセットした上で、今回のタップ回数分の「1」を加算してカウントアップし、当該ユーザエリアに対応付けて情報記憶手段40に記憶されたタップ回数を「1」に更新する。すると、英単語「Work」のタップ回数1回に対応する音声データA「作業」が音声出力部48より出力される。
このように、利用者は、音声出力部(スピーカ)48によって再生出力されるそれぞれ異なる音声により、所定の英単語や英熟語に関する他の意味や用例を聞くことができる。
[ 本情報処理システムによる作用効果 ]
この情報処理システムによれば、電子ペン10Aで各ユーザエリアをタップした回数をカウントし、タップ回数が変化する度に端末装置25Aによりタップ回数に応じた音声が出力されるため、タップを繰り返すことで、各種異なる文章を音声出力させることができる。そのため、例えば、1つの英単語に対応する複数の意味や用例を音声出力させる場合であっても、1つのユーザエリアを設定するだけでよい。つまり、端末装置25Aは、利用者によって同一のユーザエリアをタップされたタップ回数をカウントし、タップ回数が変化する度に当該タップ回数に応じて音声データに基づく音声を出力することができ、音声データごとにユーザエリアを電子ペン用媒体に設定する必要がない。よって、図5に示すように集約した分の専用ペーパーの面積を詰めることで、図13に示すような従来の英和辞典の頁と比べて、電子ペン用媒体の省スペース化を実現することができる。これにより、デザインの自由度が増し、専用ペーパー20に印刷する文字を大きくすることが可能となり、専用ペーパー20をより見やすくすることができる。
この情報処理システムによれば、電子ペン10Aで各ユーザエリアをタップした回数をカウントし、タップ回数が変化する度に端末装置25Aによりタップ回数に応じた音声が出力されるため、タップを繰り返すことで、各種異なる文章を音声出力させることができる。そのため、例えば、1つの英単語に対応する複数の意味や用例を音声出力させる場合であっても、1つのユーザエリアを設定するだけでよい。つまり、端末装置25Aは、利用者によって同一のユーザエリアをタップされたタップ回数をカウントし、タップ回数が変化する度に当該タップ回数に応じて音声データに基づく音声を出力することができ、音声データごとにユーザエリアを電子ペン用媒体に設定する必要がない。よって、図5に示すように集約した分の専用ペーパーの面積を詰めることで、図13に示すような従来の英和辞典の頁と比べて、電子ペン用媒体の省スペース化を実現することができる。これにより、デザインの自由度が増し、専用ペーパー20に印刷する文字を大きくすることが可能となり、専用ペーパー20をより見やすくすることができる。
なお、上記第1実施形態は次のように構成させて変更することもできる。
例えば、情報記憶手段40は、定義情報(図7参照)と出力情報(図9参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、ユーザエリアに対応する英単語や英熟語、ユーザエリアの座標データ、タップ回数、音声データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
また、上記第1実施形態では、電子ペン10Aのクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、端末装置25Aとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、データ通信ユニット13に対して記入情報として端末装置25Aへ送信させる。
また、上記実施形態では、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ時刻(前回タップ時刻)と今回タップ時刻との差分が所定読取時間を超過していると判定した場合に、情報記憶手段40記憶されたタップ回数を初期値「0」にリセットした上でカウントアップすることとしているが、情報記憶手段40に一時記憶するのは前回タップ時刻ではなく、当該ユーザエリアに対する初回のタップ時刻(初回タップ時刻)として、初回タップ時刻と今回タップ時刻との差分が所定読取時間を超過しているか否かを判定するように構成してもよい。この場合、情報記憶手段40に記憶されている初回タップ時刻から所定読取時間を経過するまでは、タップされる都度、情報記憶手段40に記憶されているタップ回数をカウントアップすることとなり、初回タップ時刻と今回タップ時刻の差分が所定読取時間を超過した時に、情報記憶手段40に記憶されているタップ回数を「0」にリセットして新たにカウントアップすると共に今回のタップ時刻を新たな初回タップ時刻として情報記憶手段40に記憶されているタップ回数及びタップ時刻を更新することとなる。
または、タップ回数カウント手段44は、読取時間の判定を行わず、電子ペン10Aの電源がオンになってからオフになるまでの間、カウントアップを続けることとしてもよい。この場合タップ回数カウント手段44は、ユーザエリアに対応付けてカウントしたタップ回数を情報記憶手段40に一時記憶させることとし、タップ時刻を一時記憶させる必要はない。ユーザエリアに対応付けて情報記憶手段40に一時記憶されたタップ回数は、電子ペン10Aの電源がオフになるとクリアされるため、電源がオンになり利用者が新たに電子ペン10Aを使用すると、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアに対応付けて情報記憶手段40に記憶されているタップ回数があるか否か確認して、前回使用時のデータはクリアされているため、タップ回数の初期値「0」からカウントアップすることとなる。
また、第1実施形態では、情報記憶手段40に予め記憶されている音声データを音声出力部(スピーカ)48に再生出力させたが、処理データ抽出手段46によって再生出力すべきコンテンツを抽出し、処理実行手段47によりそのコンテンツを音声合成して、音声出力部48に再生出力させるようにしてもよい。
また、上記第1実施形態における音声データは、各ユーザエリアに対応して設定された英単語や英熟語について、タップ回数によって異なる意味又は用例を発音する音声データとしたが、本発明はこれに限定されるものではなく、和英辞典、国語辞典、百科事典等の各種辞書ほかスポーツ年鑑、タレント年鑑等の各種年鑑でもよく、各ユーザエリアに対応して設定された単語や熟語、文章、画像等について、タップ回数によって異なる情報を発音する音声データであればよい。また、図5に示すようなデザインでなくともよく、英単語や英熟語の記載やユーザエリアのデザイン、配置等も適宜変更してよい。
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第2実施形態と第1実施形態とが異なる点は、第1実施形態の電子ペン10Aは、図2に示すようにクロック22を備えていたが、第2実施形態の電子ペン10B(10)は、図14に示すようにクロック22を備えていない。この場合、プロセッサ11は、利用者によって電子ペン10Bを用いて記入が行われる間に、筆圧データ及びX,Y座標データを取得し、それらのデータを記入情報としてデータ通信ユニット13により端末装置25B(25)へ送信する。その代わり、端末装置25Bは、現在時刻を発信するクロックを備えており、電子ペン10Bから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置25Bは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第2実施形態と第1実施形態とが異なる点は、第1実施形態の電子ペン10Aは、図2に示すようにクロック22を備えていたが、第2実施形態の電子ペン10B(10)は、図14に示すようにクロック22を備えていない。この場合、プロセッサ11は、利用者によって電子ペン10Bを用いて記入が行われる間に、筆圧データ及びX,Y座標データを取得し、それらのデータを記入情報としてデータ通信ユニット13により端末装置25B(25)へ送信する。その代わり、端末装置25Bは、現在時刻を発信するクロックを備えており、電子ペン10Bから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置25Bは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。
続いて、第2実施形態における処理フローについて説明する。図15は、端末装置25Bにおける音声出力処理のフローチャートである。
利用者は、電子ペン10Bのペン先部17により、専用ペーパー(電子ペン用媒体)20を構成するユーザエリアのうち、他の意味や用例を聞きたい英単語や英熟語に対応するユーザエリアをタップする。すると、電子ペン10Bは、ユーザエリアへのタップに対応する座標データ及び筆圧データを記入情報(タップ情報)として端末装置25Bへ送信する。端末装置25Bの記入情報取得手段41は、電子ペン10Bによって送信された記入情報(タップ情報)を即時的且つ逐次的に取得し、記入情報と、記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける(ステップS11)。記入時刻に関連付けられた時間情報を、取得時刻と呼ぶ。続いて、開始終了点特定手段42は、記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び取得時刻(タップ時刻)を特定する(ステップS12)。
そして、ユーザエリア認識手段43は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段40が記憶した定義情報を参照することで、対応するユーザエリアを認識する(ステップS13)。タップ回数カウント手段44は、データ開始点及びデータ終了点の取得時刻の差分に基づいて記入情報がタップ情報であると判定すると共に、ユーザエリア認識手段43が認識したユーザエリアへのタップ回数をカウントする(ステップS14)。具体的に、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアと、カウントしたタップ回数及びタップ時刻とを対応付けて情報記憶手段40に一時記憶する。このとき、タップ回数カウント手段44は、タップ回数の初期値を「0」とし、ユーザエリア認識手段43が認識したユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段40上においてユーザエリア認識手段43が認識したユーザエリアに対応付けてタップ回数が記憶されている場合、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば3分)を超過している場合、タップ回数カウント手段44は、ユーザエリア認識手段43が認識したユーザエリアに対応付けて情報記憶手段40上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数カウント手段44は、情報記憶手段40に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。そして、当該ユーザエリアに対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段40に一時記憶する。
なお、タップ回数カウント手段44は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、専用ペーパー(電子ペン用媒体)20に記入されたストロークがタップであるか否かを判定してもよい。
続いて、変化判定手段45は、情報記憶手段40に記憶されたタップ回数がカウントアップ等により変化したか否かを判定する。そして、変化判定手段45によりタップ回数が変化したと判定される度に、処理データ抽出手段46は、ユーザエリア認識手段43によって認識されたユーザエリアと、当該ユーザエリアに対応付けて情報記憶手段40に記憶されたタップ回数とに基づいて、情報記憶手段40が記憶する出力情報を参照し、対応する音声データを抽出する(ステップS15)。そして、処理実行手段47は、処理データ抽出手段46によって抽出された音声データを音声出力部(スピーカ)48に音声出力させる(ステップS16)。
このように、第2実施形態によれば、電子ペン10Bがクロックを備えていなくても、端末装置25Bが備えるクロックを利用して、記入情報(タップ情報)と、当該記入情報を電子ペン10Bから取得した取得時刻とを関連付けて記憶しておくことで、タップ情報を認識し、音声出力処理を実行することができる。
なお、上記第2実施形態において、端末装置25Bのクロックを、電子ペン10Bとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間(経過時間)を発信するようにしてもよい。また、端末装置25Bの情報記憶手段40に記憶する情報のデータ構造や、タップ回数カウント手段44による読取時間の判定方法や、音声出力部48により出力する音声データ等を、第1実施形態の変更例と同様に適宜変更してもよい。
上述したように、上記第1及び第2実施形態によれば、同一の専用ペーパー(電子ペン用媒体)20又は同一のユーザエリアをタップした回数によって、異なる音声情報を利用者にフィードバックすることが可能となる。つまり、タップ回数が変化する度に当該タップ回数に応じて出力する音声データを抽出して音声出力をすることで、専用ペーパー(電子ペン用媒体)20上におけるユーザエリアを集約することができる。
なお、本発明は、上記第1及び第2実施形態に限られない。
上記実施形態では、音声を利用者にフィードバックするよう構成したが、所定の処理を実行する例として、タップ回数に応じて異なるテキストや画像を表示あるいは動画を再生するようにしてもよいし、プログラム又はソフトウェアを実行するようにしてもよい。例えば、ショッピングカタログとして、1つの商品欄(ユーザエリア)に対して、電子ペン10で最初にタップした場合、即ちタップ回数「1」では、色やサイズのバリエーションを表示部(ディスプレイ)49(図6参照)に表示し、続いてもう1回タップした場合、即ちタップ回数「2」では、使用例の動画を再生するといった実施形態が可能である。また、問題集として、1つの出題解答欄(ユーザエリア)に対して、電子ペン10で最初にタップした場合、即ちタップ回数「1」では、問題を音声出力部(スピーカ)48に出力又は表示部(ディスプレイ)49に表示し、続いてもう1回タップした場合、即ちタップ回数「2」では、答え合わせ(解答欄への記入情報を文字認識して解答と照合し、○、×等の判定結果をスピーカ出力又はディスプレイ表示)を行い、続いてさらにもう1回タップした場合、即ちタップ回数「3」では、解説をスピーカ出力又はディスプレイ表示する、といった実施形態も可能である。さらに、電子ペン10あるいは端末装置25のアプリケーション選択メニュー(シート)として、アプリ選択欄(ユーザエリア)に対して、電子ペン10で最初にタップした場合、即ちタップ回数「1」では、翻訳プログラムを起動し、続いてもう1回タップした場合、即ちタップ回数「2」では、演奏プログラムを起動し、さらに続いてもう1回タップした場合、即ちタップ回数「3」では、電子メール送信プログラムを起動する、といった実施形態も可能である。
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置25において、電子ペン10から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置25は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
本発明は、電子ペン用媒体から構成される辞書類、ショッピングカタログ、問題集、電子ペンや携帯電話に搭載されているアプリケーションを利用者が選択する為のメニュー等、様々な分野で利用することができる。
10,10A,10B…電子ペン、11…プロセッサ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、40…情報記憶手段、41…記入情報取得手段、42…開始終了点特定手段、43…ユーザエリア認識手段、44…タップ回数カウント手段、45…変化判定手段、46…処理データ抽出手段、47…処理実行手段、48…音声出力部、49…表示部、50…専用アプリケーション、90〜92…ユーザエリア
Claims (9)
- 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、
音声データに基づいて音声を出力する音声出力部と、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段と、
前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、
前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、
前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする端末装置。 - 前記電子ペンは、取得した記入情報を即時的且つ逐次的に前記端末装置へ送信することを特徴とする請求項1に記載の端末装置。
- 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
前記タップ回数カウント手段は、前記データ開始点及び前記データ終了点に基づく時間及び/又は両点間の移動距離により、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントすることを特徴とする請求項1又は2に記載の端末装置。 - 前記タップ回数カウント手段は、前記記入情報取得手段が取得した記入情報に基づくタップが、前記ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから、予め設定された所定読取時間以上経過している場合、タップ回数を初期値にリセットしてからカウントすることを特徴とする請求項1乃至3のいずれか一項に記載の端末装置。
- 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定された単語及び/又は熟語について、タップ回数によって異なる意味及び/又は用例が発声される音声データであることを特徴とする請求項1乃至4のいずれか一項に記載の端末装置。
- 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記コンピュータは、音声データに基づいて音声を出力する音声出力部を備え、
前記プログラムは、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段、
前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、
前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段、
タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、
前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記コンピュータを機能させることを特徴とするプログラム。 - 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する端末装置であって、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、
前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする端末装置。 - 電子ペンにより認識可能なコード化パターンが印刷され、1つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理するコンピュータにより実行されるプログラムであって、
前記プログラムは、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、
前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、
前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、
前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記コンピュータを機能させることを特徴とするプログラム。 - コード化パターンが印刷され、1つ以上のユーザエリアが形成された電子ペン用媒体と、
前記電子ペン用媒体に印刷されたコード化パターンを記入情報として読み取り、外部に送信する電子ペンと、
前記電子ペンにより送信された前記記入情報を取得し、所定の処理を実行する端末装置とを備える情報処理システムであって、
前記端末装置は、
前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
前記電子ペンから、前記記入情報を取得する記入情報取得手段と、
前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、
前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007040309A JP2008204216A (ja) | 2007-02-21 | 2007-02-21 | 端末装置、それに用いられるプログラム及び情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007040309A JP2008204216A (ja) | 2007-02-21 | 2007-02-21 | 端末装置、それに用いられるプログラム及び情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008204216A true JP2008204216A (ja) | 2008-09-04 |
Family
ID=39781651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007040309A Pending JP2008204216A (ja) | 2007-02-21 | 2007-02-21 | 端末装置、それに用いられるプログラム及び情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008204216A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0944591A (ja) * | 1995-08-03 | 1997-02-14 | Olympus Optical Co Ltd | コードシート及び情報再生装置 |
JPH09146688A (ja) * | 1995-11-16 | 1997-06-06 | Sharp Corp | パスワード入力装置 |
JPH09297740A (ja) * | 1996-05-02 | 1997-11-18 | Matsushita Electric Ind Co Ltd | 携帯情報端末 |
JPH1153165A (ja) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | マンマシンインタフェース装置 |
JP2005063029A (ja) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | 手書き情報取得装置 |
JP2005175692A (ja) * | 2003-12-09 | 2005-06-30 | Fuji Xerox Co Ltd | データ出力システムおよびその方法 |
JP2005189454A (ja) * | 2003-12-25 | 2005-07-14 | Casio Comput Co Ltd | テキスト同期音声再生制御装置及びプログラム |
-
2007
- 2007-02-21 JP JP2007040309A patent/JP2008204216A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0944591A (ja) * | 1995-08-03 | 1997-02-14 | Olympus Optical Co Ltd | コードシート及び情報再生装置 |
JPH09146688A (ja) * | 1995-11-16 | 1997-06-06 | Sharp Corp | パスワード入力装置 |
JPH09297740A (ja) * | 1996-05-02 | 1997-11-18 | Matsushita Electric Ind Co Ltd | 携帯情報端末 |
JPH1153165A (ja) * | 1997-08-06 | 1999-02-26 | Minolta Co Ltd | マンマシンインタフェース装置 |
JP2005063029A (ja) * | 2003-08-08 | 2005-03-10 | Ricoh Co Ltd | 手書き情報取得装置 |
JP2005175692A (ja) * | 2003-12-09 | 2005-06-30 | Fuji Xerox Co Ltd | データ出力システムおよびその方法 |
JP2005189454A (ja) * | 2003-12-25 | 2005-07-14 | Casio Comput Co Ltd | テキスト同期音声再生制御装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5256700B2 (ja) | 端末装置及びそのプログラム | |
JP5077829B2 (ja) | 端末装置、そのプログラム及び添削支援システム | |
JP4919089B2 (ja) | 電子ペン及びプログラム | |
JP2009187235A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP4463664B2 (ja) | 特定システム及びプログラム | |
JP5109701B2 (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP5305256B2 (ja) | 端末装置及びそのプログラム | |
JP4830651B2 (ja) | 処理装置及びプログラム | |
JP2008204216A (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP4962338B2 (ja) | 電子ペン及びプログラム | |
JP2008204033A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP2009146273A (ja) | 端末装置及びそのプログラム | |
JP4775246B2 (ja) | 電子ペン及びプログラム | |
JP5098680B2 (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP4911056B2 (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP2008152547A (ja) | 電子ペン及びそれに用いられるプログラム | |
JP5041340B2 (ja) | 端末装置及びそのプログラム | |
JP2008134773A (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP5381254B2 (ja) | スタンプ登録表示システム、及びそのプログラム | |
JP5194659B2 (ja) | サーバ装置及びプログラム | |
JP2007188159A (ja) | 処理装置、プログラム及び電子ペン用帳票 | |
JP2009187197A (ja) | 電子ペン及びプログラム | |
JP2007102403A (ja) | 消去処理装置、プログラム及び電子ペン用帳票 | |
JP2009187194A (ja) | 端末装置、それに用いられるプログラム及び情報処理システム | |
JP2009003531A (ja) | 電子ペン及びそれに用いられるプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091030 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |