JP2008204033A - 電子ペン及びそれに用いられるプログラム - Google Patents

Abstract

【課題】電子ペンの電子ペン用媒体に対するタップ回数をカウントし、各タップ回数に応じて所定の処理を実行する電子ペン及びそれに用いられるプログラムを提供する。
【解決手段】利用者は、電子ペン８０により電子ペン用媒体における任意のユーザエリアをタップする。電子ペン８０は、記入内容に対応する記入情報を取得し、当該記入情報に含まれる座標データに基づいて定義情報を参照することで、利用者がタップしたユーザエリアを認識する。また、電子ペン８０は、記入情報に基づいて、認識したユーザエリアへのタップ回数をカウントし、タップ回数が変化する度に、ユーザエリア及び変化後のタップ回数に基づいて出力情報から対応する音声データを抽出してスピーカ１９から音声を出力する。よって、カウントした各タップ回数に応じて異なる音声を利用者にフィードバックすることができる。
【選択図】図１１

Description

本発明は、電子ペンにより電子ペン用媒体等に記入された記入情報を処理する技術に関する。

近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている（特許文献１参照）。アノトペンは、所定のドットパターンが印刷された専用紙（以下、「専用ペーパー」とも呼ぶ。）とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある（例えば、特許文献２）。

特表２００３−５１１７６１号公報 特開２００４−１５３６１２号公報

そこで本発明は、電子ペンの電子ペン用媒体に対するタップ回数をカウントし、各タップ回数に応じた所定の処理を実行する電子ペン及びそれに用いられるプログラムを提供することを目的とする。

本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、音声データに基づいて音声を出力する音声出力部と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段と、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする。

この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、記入情報取得手段によって、電子ペンは電子ペン用媒体へのタップによる記入情報を取得する。そして、ユーザエリア認識手段は、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された出力情報を参照し、ユーザエリアを認識する。さらに、タップ回数カウント手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントし、変化判定手段は、タップ回数カウント手段によるカウントが変化したか否かを判定する。タップ回数カウント手段は、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントするものであり、変化判定手段は、タップ回数が変化したか否かを判定する。タップ回数カウント手段によるカウントが変化した場合、データ抽出手段は、情報記憶手段に記憶された出力情報から、カウントされたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する音声データを抽出する。そして、処理実行手段は、データ抽出手段が抽出した音声データに基づく音声を音声出力部から出力させる。このように、電子ペンは、利用者によって同一のユーザエリアがタップされたタップ回数をカウントし、各タップ回数に応じて音声データに基づく音声を出力することができる。また、音声データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

さらに、上記電子ペンにおいて、前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、前記タップ回数カウント手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は両点間の移動距離により、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントすると好適である。

このように構成された電子ペンによれば、開始終了点特定手段が記入情報に基づき、データ開始点及びデータ終了点を特定し、ユーザエリア認識手段は、開始終了点特定手段によって特定されたデータ開始点とデータ終了点の座標データに基づき出力情報を参照して、当該データ開始点及び当該データ終了点の双方が含まれるユーザエリアを認識する。そして、タップ回数カウント手段は、データ開始点及びデータ終了点に基づく時間及び／又は両点間の移動距離により、ユーザエリア認識手段が認識したユーザエリアに対してタップされたタップ回数をカウントする。このように、利用者が電子ペン用媒体に記入したストロークのうち、タップ回数としてカウントするのは、一つのユーザエリアにデータ開始点及びデータ終了点の双方が含まれるものが対象となる。これにより、利用者が電子ペン用媒体に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを電子ペンから出力させようと意図したものではないと判定することができる。また、タップ回数カウント手段によって、データ開始点及びデータ終了点に基づく時間及び／又は両点間の移動距離に基づいて、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別される。

さらに、上記電子ペンにおいて、前記タップ回数カウント手段は、前記記入情報取得手段が取得した記入情報に基づくタップが、前記ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから、予め設定された所定読取時間以上経過している場合、タップ回数を初期値にリセットしてからカウントすることを特徴とする。このように構成された電子ペンによれば、タップ回数カウント手段は、記入情報に基づく新たなタップが、ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから所定読取時間以上経過しているか否かを判定し、当該所定読取時間以上経過している場合、タップ回数を初期値（例えば「０」）にリセットしてからカウントする。これによれば、所定読取時間以上間隔のあいたタップ同士は、タップ回数としては別々にカウントされるため、タップ回数を的確にカウントすることができる。

さらに、出力情報として記憶される音声データは、各ユーザエリアに対応して設定された単語及び／又は熟語について、タップ回数によって異なる意味及び／又は用例が発声される音声データであるとよい。これにより、各ユーザエリアに対応する単語や熟語について、電子ペン用媒体へのタップ回数が変化する度に、当該単語や熟語の異なる意味や用例を音声出力させることができる。

また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、前記電子ペンは、音声データに基づいて音声を出力する音声出力部を備え、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記電子ペンを機能させることを特徴とする。

また、本発明に係る電子ペンは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする。

この構成によれば、利用者が電子ペンにより電子ペン用媒体のユーザエリアを軽く叩いてタップすると、記入情報取得手段によって、電子ペンは電子ペン用媒体へのタップによる記入情報を取得する。そして、ユーザエリア認識手段は、記入情報取得手段により取得された記入情報に含まれる座標データに基づいて、情報記憶手段に記憶された実行情報を参照し、ユーザエリアを認識する。さらに、タップ回数カウント手段は、記入情報に基づいて、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントし、変化判定手段は、タップ回数カウント手段によるカウントが変化したか否かを判定する。タップ回数カウント手段は、ユーザエリア認識手段が認識したユーザエリアにおいてタップされたタップ回数をカウントするものであり、変化判定手段は、タップ回数が変化したか否かを判定する。タップ回数カウント手段によるカウントが変化した場合、処理データ抽出手段は、情報記憶手段に記憶された実行情報から、カウントされたタップ回数とユーザエリア認識手段が認識したユーザエリアとに対応する処理データを抽出する。そして、処理実行手段は、処理データ抽出手段が抽出した処理データに基づく処理を実行する。このように、電子ペンは、利用者によって同一のユーザエリアがタップされたタップ回数をカウントし、各タップ回数に応じて処理データに基づく処理を実行することができる。また、処理データごとにユーザエリアを電子ペン用媒体に設定する必要もないため、電子ペン用媒体におけるユーザエリアを集約することができ、電子ペン用媒体の省スペース化を実現することができて、電子ペン用媒体のデザイン自由度を向上させることができる。

また、本発明に係るプログラムは、電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、前記プログラムは、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記電子ペンを機能させることを特徴とする。

本発明に係る電子ペン及びそれに用いられるプログラムによれば、電子ペンの電子ペン用媒体に対するタップ回数をカウントし、当該タップ回数に応じて所定の処理を実行することができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

本実施形態の情報処理システムは、図１及び図２に示すように、電子ペン８０、専用ペーパー（電子ペン用媒体）２０及び端末装置８５とから構成される。ここで、図１は電子ペン８０の使用形態を模式的に示す図であり、図２は電子ペン８０の構成を示すブロック図である。専用ペーパー２０には、ドットパターン（コード化パターン）が印刷されている。電子ペン８０は、通常のインクペンと同様のペン先部１７を備えており、利用者が通常のインクペンと同様にペン先部１７によって専用ペーパー２０上に文字などを書くと、電子ペン８０は、ペン先部１７の移動軌跡に沿って、専用ペーパー２０に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー２０におけるその局所位置の座標を算出し、その座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。

なお、端末装置８５は、ハードウェアとして、電子ペン８０とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、スピーカ、ディスプレイ等で構成される、ＰＣや携帯電話、或いは携帯端末である。

[ 専用ペーパー ]
まず、専用ペーパー２０について説明する。専用ペーパー２０は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。

図５に、図案等が印刷された専用ペーパー２０の例を示す。図５に示す例は、英和辞典の頁の例であり、英単語「Ｗｏｒｋ」に対応するユーザエリア９０、英熟語「ａｔ ｗｏｒｋ」に対応するユーザエリア９１、英単語「Ｗｏｒｌｄ」に対応するユーザエリア９２等が印刷されている。ドットパターンは、専用ペーパー２０のほぼ全面に印刷されており、その上に英単語や英熟語、代表的な意味、ユーザエリア９０〜９２の枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、所定の英単語や英熟語について、記載されている代表的な意味以外の意味や用例を知りたい場合に、電子ペン８０を使用して対応するユーザエリアをタップ（電子ペン８０のペン先部１７の専用ペーパー（電子ペン用媒体２０）への軽叩）する。

[ ドットパターン ]
続いて、ドットパターンについて説明する。図３は、専用ペーパー２０に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトされているかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー２０上の位置座標が決定されるよう構成されている。

図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２mmの範囲内に６×６個のドットが、専用ペーパー上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン８０によって行われる。

[ 電子ペン ]
次に電子ペン８０について説明する。図２に示すように、電子ペン８０は、その内部にプロセッサ１１、メモリ１２、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６、圧力センサ１８、スピーカ（音声出力部）１９及びクロック２２を備える。また、電子ペン８０は通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。

ＬＥＤ１５は、電子ペン８０のペン先付近に取り付けられており、専用ペーパー２０上のペン先部１７近傍（領域１５ａ）に向けて、赤外線を照明する（図１参照）。領域１５ａは、ペン先部１７が専用ペーパー２０に接触する位置とはわずかにずれている。カメラ１６は、ＬＥＤ１５によって照明された領域１５ａ内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１１に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１５によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ１６の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ１６による撮影領域は、図４（ａ）に示すような約２mm×約２mmの大きさを含む範囲であり、カメラ１６の撮影は、毎秒５０〜１００回程度行われる。

バッテリー１４は電子ペン８０内の各部品に電力を供給するためのものであり、例えば電子ペン８０のキャップ（図示せず）の脱着により電子ペン８０自体の電源のオン／オフを行うよう構成させてもよい。クロック２２は、現在時刻（タイムスタンプ）を発信し、プロセッサ１１に供給する。圧力センサ１８は、利用者が電子ペン８０により専用ペーパー２０上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。

プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン８０で専用ペーパー２０上に文字などを書くと、ペン先部１７には筆圧がかかり、圧力センサ１８によって所定値以上の筆圧が検出されたときに、プロセッサ１１は、利用者が記入を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動させる。

プロセッサ１１は、利用者の記入が行われる間、カメラ１６によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー２０上でのＸ，Ｙ座標（単に「座標データ」とも呼ぶ）を連続的に算出していく。すなわち、プロセッサ１１は、カメラ１６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを算出する。そしてプロセッサ１１は、現在時刻（タイムスタンプ）を発信するクロック２２から時間情報を取得し、その時間情報と、筆圧データ及びＸ，Ｙ座標データとを関連付け、これらの情報を記入情報として取得する。さらに、プロセッサ１１は、記入情報に基づいて所定の処理を実行する。ここで、一枚の専用ペーパー（電子ペン用媒体）２０内の６×６のドットパターンは、その専用ペーパー２０内で重複することはないため、利用者が電子ペン８０でユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー２０のどのユーザエリアに対応するものであるかを、座標データから特定することができる。

メモリ１２には、プロセッサ１１によって記入情報が時系列で記憶されていく。また、後述するタップ回数カウント手段７４によってユーザエリアに対応付けてカウントされたタップ回数及びタップ時刻が一時記憶される。またメモリ１２には予め、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けた実行情報を記憶しておく。メモリ１２の容量は例えば１Ｍバイト〜２Ｇバイト程度とすることができる。

スピーカ（音声出力部）１９は、プロセッサ１１による出力指示によって、ユーザエリア毎のタップ回数に応じた音声データを再生出力する。

データ通信ユニット１３は、記入情報あるいはタップ回数に応じた所定のデータを近傍にある端末装置８５に記録、表示させるため、あるいはタップ回数に応じた所定の処理を実行させるため、プロセッサ１１により供給されるメモリ１２内の所定のデータを端末装置８５へ無線送信する。データ通信ユニット１３による送信は、Bluetooth（登録商標）の無線送信によると好適である。なお、ＵＳＢケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット１３から端末装置８５へデータ送信を行ってもよい。

ここで、電子ペン８０が有する機能について図６を参照して説明する。図６は、電子ペン８０の主要な構成を示す機能ブロック図である。電子ペン８０は、取得したＸ，Ｙ座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。

図６に示すように、電子ペン８０は、機能的には、情報記憶手段７０、記入情報取得手段７１、開始終了点特定手段７２、ユーザエリア認識手段７３、タップ回数カウント手段７４、変化判定手段７５、処理データ抽出手段（データ抽出手段）７６、処理実行手段７７、データ通信手段７８、及びスピーカ（音声出力部）１９を備える。情報記憶手段７０は、物理的には、ＲＯＭやＲＡＭといったメモリ１２によって構成され、記入情報取得手段７１は、カメラ１６、クロック２２、プロセッサ１１等によって構成される。また、開始終了点特定手段７２、ユーザエリア認識手段７３、タップ回数カウント手段７４、変化判定手段７５、処理データ抽出手段７６及び処理実行手段７７は、ＣＰＵ等のプロセッサ１１に組み込まれている。

情報記憶手段７０は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データと、利用者により行われるタップ回数と、タップ回数に応じた所定の処理を実行する処理データとを対応付けて、実行情報として記憶するメモリ１２である。また、情報記憶手段７０は、プロセッサ１１からの記入情報を時系列的に記憶する。さらに、タップ回数カウント手段７４によってユーザエリアに対応付けてカウントされたタップ回数及びタップ時刻を一時記憶させる。

図７に示すように、情報記憶手段７０には、専用ペーパー（電子ペン用媒体）２０のユーザエリアを識別するエリアＩＤと、ユーザエリアに対応する英単語や英熟語と、ユーザエリアの位置座標領域を表す座標データとを対応付けた定義情報が記憶されている。エリアＩＤ「Ａ０１」に関連して英単語「Ｗｏｒｋ」が記憶され、エリアＩＤ「Ａ０２」に関連して英熟語「ａｔ ｗｏｒｋ」が記憶され、エリアＩＤ「Ａ０４」に関連して英単語「Ｗｏｒｌｄ」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図８に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点Ｖ(xn,yn)の座標、Ｙ軸方向の高さ(Height)、Ｘ軸方向の幅(Width)を意味する。

また情報記憶手段７０には、図９に示すように、ユーザエリアを識別するエリアＩＤと、利用者が行うタップ回数と、音声データとを対応付けた出力情報が記憶されている。例えば、エリアＩＤ「Ａ０１」のタップ回数「１」に対しては、英単語「Ｗｏｒｋ」の他の意味を示す音声データＡ（作業）が関連付けられ、同じエリアＩＤ「Ａ０１」のタップ回数「１０」に対しては、英単語「Ｗｏｒｋ」の用例を示す音声データＪ（用例４ a fine piece of 〜 すぐれた業績）が関連付けされて記憶されている。これらの音声データＡや音声データＪは、スピーカ１９によって音声出力可能な音声データである。

ここで、情報記憶手段７０に記憶されているこれら定義情報及び出力情報を実行情報と称することとする。さらに情報記憶手段７０には、記入情報取得手段７１により取得された記入情報が時系列で記憶されていく。

記入情報取得手段７１は、電子ペン８０による専用ペーパー（電子ペン用媒体）２０への記入内容に対応する記入情報を取得する手段である。記入情報取得手段７１は、利用者の記入が行われる間、カメラ１６によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー２０上でのＸ，Ｙ座標データを連続的に算出していく。すなわち、記入情報取得手段７１は、カメラ１６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを算出する。そして記入情報取得手段７１は、現在時刻（タイムスタンプ）を発信するクロック２２から時間情報を取得し、その時間情報と、筆圧データ及びＸ，Ｙ座標データとを関連付け、これらの情報を記入情報として取得する。記入情報には、タップ（電子ペン８０のペン先部１７の専用ペーパー２０への軽叩）、文字、記号、絵柄等を記入したときに取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。

開始終了点特定手段７２は、記入情報取得手段７１が取得した記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段７２は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。

ユーザエリア認識手段７３は、記入情報に含まれる座標データに基づいて、情報記憶手段７０が記憶した定義情報（図７参照）を参照することにより、対応するユーザエリアを認識する。このとき、ユーザエリア認識手段７３は、１つのストロークのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。そのような設定にすれば、利用者が専用ペーパー２０に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに関する音声データを電子ペン８０から出力させようと意図したものではないと判定することができる。

タップ回数カウント手段７４は、開始終了点特定手段７２によって特定されたデータ開始点及びデータ終了点における時間及び／又は両点間の移動距離に基づいて、利用者により専用ペーパー２０に記入されたストロークがタップであるか否かを判定し、ユーザエリア認識手段７３が認識したユーザエリアにおいてタップされた回数（タップ回数）をカウントする。当該ユーザエリア、カウントしたタップ回数及びタップ時刻は、対応付けてメモリ１２に一時記憶される。このとき、タップ回数カウント手段７４は、ユーザエリア認識手段７３が認識したユーザエリアに対応付けてメモリ１２に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「０」とし、ユーザエリア認識手段７３が認識したユーザエリアへのタップ回数分だけ「１」を加算してカウントアップする。

既に、メモリ１２上においてユーザエリア認識手段７３が認識したユーザエリアに対応付けてタップ回数が記憶されている場合、タップ回数カウント手段７４は、新たにタップされた時刻（今回タップ時刻）が、ユーザエリア認識手段７３が認識したユーザエリアに対する最後にタップされた時刻（前回タップ時刻）としてメモリ１２に記憶されているタップ時刻から、予め設定された所定読取時間（例えば３分）以上経過しているか否かを時刻の差分を算出して判定する。判定の結果、所定読取時間以上経過している場合、タップ回数カウント手段７４は、ユーザエリア認識手段７３が認識したユーザエリアに対応付けてメモリ１２上に記憶されたタップ回数を初期値「０」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「１」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数カウント手段７４は、メモリ１２に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「１」を加算してカウントアップする。

そして、認識したユーザエリアに対応付けてカウントしたタップ回数及びタップ時刻をメモリ１２に一時記憶させる。即ち、メモリ１２に記憶されたタップ回数は、対応するユーザエリアへのタップが認識される度に更新される。これによれば、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定読取時間を基準としてカウントがリセットされるため、所定読取時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確にカウントすることができる。これにより、利用者が後刻もう１度特定のユーザエリアに関する音声データを電子ペン８０から出力させようと意図した際に、最初に出力したときと同じ順番で音声データを出力させることができる。

具体的には、利用者により専用ペーパー（電子ペン用媒体）２０に記入されたストロークがタップであるか否かを判定するにあたっては、第１の方法として、タップ回数カウント手段７４は、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間（例えば、０．２秒）未満である場合にストロークがタップであると判定する。別の第２の方法として、タップ回数カウント手段７４は、座標データに基づいてデータ開始点とデータ終了点との間の移動距離（筆記された線の長さ）を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第３の方法として、データ開始点とデータ終了点における時間及び両点間の移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。

変化判定手段７５は、タップ回数カウント手段７４がカウントしたタップ回数が変化したか否かを判定する。つまり、メモリ１２に記憶されたタップ回数が変化したか否かを判定する。換言すると、変化判定手段７５は、タップ回数カウント手段７４が新たなタップを認識して、カウントしたか否かを判定する。

処理データ抽出手段７６は、変化判定手段７５によりタップ回数が変化したと判定された場合に、ユーザエリア認識手段７３が認識したユーザエリアと、当該ユーザエリアに対応する変化後のタップ回数とに基づいて、情報記憶手段７０が記憶した出力情報（図９参照）から対応する音声データ（処理データ）を抽出する。つまり、処理データ抽出手段７６は、タップ回数カウント手段７４により所定のユーザエリアへのタップ回数がカウントアップされる度に、当該ユーザエリア及びタップ回数に基づいて出力情報から音声データを抽出する。

処理実行手段７７は、処理データ抽出手段７６によって抽出された音声データを用いて所定の処理を実行する。すなわち、処理実行手段７７は、処理データ抽出手段７６によって抽出された音声データをスピーカ（音声出力部）１９に再生出力させる。つまり、処理実行手段７７は、タップ回数カウント手段７４により所定のユーザエリアへのタップ回数がカウントアップされる度に、処理データ抽出手段７６が抽出した音声データをスピーカ（音声出力部）１９に再生出力させる。

データ通信手段７８は、アンテナ等のデータ通信ユニット１３により構成され、端末装置８５とデータの送受信を行う。すなわち、データ通信手段７８は、記入情報取得手段７１によって取得され、情報記憶手段７０に記憶された記入情報を端末装置８５へ送信する。また、データ通信手段７８は、タップ回数に応じた所定の処理を実行するため、処理データ抽出手段７６によって抽出された処理データを端末装置８５に送信するように構成してもよく、また、電子ペン８０にインストールする専用アプリケーションをダウンロードするために使用されてもよい。

電子ペン８０は、専用アプリケーションがインストールされることにより、上述の各手段が構成される。

[ 専用アプリケーション ]
次に、専用アプリケーション５５について図１０を参照して説明する。図１０は、専用アプリケーション５５のモジュール構成を示す。専用アプリケーション５５は、電子ペン８０が専用ペーパー２０に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め電子ペン８０にインストールされている。専用アプリケーションは、原則として専用ペーパー２０に対応付けられている。つまり、専用ペーパー２０の種類が異なれば、その種類に応じて各専用ペーパー２０に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー２０と専用アプリケーションの対応は必ずしも１対１である必要はなく、複数種類の専用ペーパー２０に１つの専用アプリケーションを対応付けてデータを処理させてもよい。また、１種類の専用ペーパー２０に複数の専用アプリケーションを対応付けてデータを処理させてもよい。

図１０に示すように、専用アプリケーション５５は、記入情報取得モジュール３０１、情報登録モジュール３０２、開始終了点特定モジュール３０３、ユーザエリア認識モジュール３０４、タップ回数カウントモジュール３０５、変化判定モジュール３０６、処理データ抽出モジュール３０７、音声出力モジュール３０８及びデータ通信モジュール３０９を有する。

記入情報取得モジュール３０１は、記入情報取得手段７１を用いて、専用ペーパー（電子ペン用媒体）２０への電子ペン８０による記入に対応する記入情報（タップ情報を含む）を取得する機能を有するモジュールである。

情報登録モジュール３０２は、情報記憶手段７０に対して、図７及び図９に示すように、ユーザエリアのエリアＩＤ、ユーザエリアの座標データ、タップ回数、及び音声データを関連付けて記憶させるモジュールである。また、情報登録モジュール３０２は、情報記憶手段７０に対して、記入情報取得モジュール３０１が取得した記入情報を記憶させる。

開始終了点特定モジュール３０３は、記入情報取得モジュール３０１の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。

ユーザエリア認識モジュール３０４は、記入情報に含まれる座標データと、情報登録モジュール３０２によって登録される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを認識する機能を有する。なお、ユーザエリア認識モジュール３０４は、１つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを認識するようにするとよい。

タップ回数カウントモジュール３０５は、ユーザエリア認識モジュール３０４によって認識された記入情報がタップ情報であるか否か及び所定読取時間内のタップであるか否かを判定し、ユーザエリアへのタップ回数をカウントする機能を有する。また、タップ回数カウントモジュール３０５は、ユーザエリア認識モジュール３０４によって認識されたユーザエリアと、当該ユーザエリアへのタップ回数とを対応付けて一時的にメモリ１２に記憶させる。記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法（第１の方法）と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法（第２の方法）とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい（第３の方法）。

変化判定モジュール３０６は、タップ回数カウントモジュール３０５によってカウントされたタップ回数が変化したか否かを判定する機能である。具体的に、変化判定モジュール３０６は、メモリ１２を参照することで、ユーザエリア認識モジュール３０４によって認識されたユーザエリアに対応するタップ回数が変化したか否かを判定する。

処理データ抽出モジュール３０７は、変化判定モジュール３０６によりタップ回数が変化したと判定された場合に、情報登録モジュール３０２により情報記憶手段７０に登録されるユーザエリア、タップ回数、及び音声データを参照し、ユーザエリア認識モジュール３０４によって認識されたユーザエリアとタップ回数カウントモジュール３０５によってカウントされたタップ回数とに関連付けられた音声データを抽出する機能を有する。

音声出力モジュール３０８は、処理データ抽出モジュール３０７によって抽出された音声データを、スピーカ（音声出力部）１９に対して、音声として出力させる機能を有する。

データ通信モジュール３０９は、記入情報取得モジュール３０１の実行によって取得され情報記憶手段７０に記憶された記入情報を、端末装置８５に記憶、表示させるため、端末装置８５へ送信するモジュールである。またデータ通信モジュール３０９は、タップ回数に応じた所定の処理を端末装置８５に実行させるために、処理データ抽出モジュール３０７が抽出した処理データを、端末装置８５へ送信するように構成してもよい。

[ 本情報処理システムによる音声出力処理フロー ]
次に、本実施形態の情報処理システムにより行われる処理フローについて図１１及び図１２を参照して説明する。図１１は、本実施形態における専用ペーパー２０上の電子ペン８０の使用形態を示す図である。図１２は、電子ペン８０における音声出力処理のフローチャートである。

利用者は、電子ペン８０のペン先部１７により、専用ペーパー（電子ペン用媒体）２０のユーザエリアのうち、代表的な意味以外の意味や用例を聞きたい英単語や英熟語に対応するユーザエリア、例えば英単語「Ｗｏｒｋ」に対応するユーザエリア９０をタップする（図１１参照。★マークはタップを表す）。すると、電子ペン８０は記入情報取得手段７１によって、ユーザエリアへのタップに対応する座標データ、時間情報、及び筆圧データを記入情報（タップ情報）として取得する（ステップＳ１）。

続いて、開始終了点特定手段７２は、記入情報取得手段７１によって取得された記入情報（タップ情報）に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する（ステップＳ２）。次に、ユーザエリア認識手段７３は、記入情報（タップ情報）に含まれる座標データに基づいて、情報記憶手段７０が記憶した定義情報を参照することで、対応するユーザエリア（エリアＩＤ「Ａ０１」）を認識する（ステップＳ３）。

続いて、タップ回数カウント手段７４は、データ開始点及びデータ終了点の記入時刻の差分に基づいて記入情報がタップ情報であることを判定すると共に、ユーザエリア認識手段７３が認識したユーザエリアへのタップ回数をカウントする（ステップＳ４）。具体的に、タップ回数カウント手段７４は、ユーザエリア認識手段７３が認識したユーザエリア（エリアＩＤ「Ａ０１」）と、カウントしたタップ回数及びタップ時刻とを対応付けてメモリ１２に一時記憶させる。このとき、タップ回数カウント手段７４は、ユーザエリアに対応付けてメモリ１２に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「０」とし、ユーザエリア認識手段７３が認識したユーザエリアへのタップ回数分だけ「１」を加算してカウントアップする。

既に、メモリ１２上において当該ユーザエリアに対応付けてタップ回数が記憶されている場合、タップ回数カウント手段７４は、メモリ１２に記憶されているタップ時刻（前回タップ時刻）と今回のタップ時刻（今回タップ時刻）との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間（例えば３分）を超過している場合、タップ回数カウント手段７４は、ユーザエリア認識手段７３が認識したユーザエリアに対応付けてメモリ１２上に記憶されたタップ回数を初期値「０」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「１」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数カウント手段７４は、メモリ１２に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「１」を加算してカウントアップする。そして、エリアＩＤ「Ａ０１」に対応付けてカウントしたタップ回数及び今回のタップ時刻をメモリ１２に一時記憶させる。

なお、タップ回数カウント手段７４は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離（筆記された線の長さ）に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。

続いて、変化判定手段７５は、メモリ１２に記憶されたタップ回数がカウントアップ等により変化したか否かを判定する。そして、変化判定手段７５によりタップ回数が変化したと判定される度に、処理データ抽出手段７６は、ユーザエリア認識手段７３によって認識されたユーザエリアと、当該ユーザエリアに対応付けてメモリ１２に記憶されたタップ回数とに基づいて、情報記憶手段７０が記憶する出力情報を参照し、対応する音声データを抽出する（ステップＳ５）。そして、処理実行手段７７は、処理データ抽出手段７６によって抽出された音声データをスピーカ（音声出力部）１９に音声出力させる（ステップＳ６）。

例えば、変化判定手段７５によって、エリアＩＤ「Ａ０１」のユーザエリアに対応付けられたタップ回数が「１」に変化したと判定されると、処理データ抽出手段７６は、図９に示すように、エリアＩＤ「Ａ０１」のタップ回数１回に対応する音声データＡを抽出し、処理実行手段７７は、英単語「Ｗｏｒｋ」の他の意味を示す音声データＡ「作業」をスピーカ１９に音声出力させる。さらに、利用者が同じ英単語「Ｗｏｒｋ」に対応するユーザエリア９０をもう１回タップすると、タップ回数カウント手段７４によってカウントアップされてメモリ１２に一時記憶されるタップ回数が「２」となる。変化判定手段７５はこのカウントアップによるタップ回数の変化を判定し、処理データ抽出手段７６は、図９に示すように、ユーザエリアのエリアＩＤ「Ａ０１」のタップ回数２回に対応する音声データＢを抽出し、処理実行手段７７は、英単語「Ｗｏｒｋ」のさらに他の意味を示す音声データＢ「任務」をスピーカ１９に音声出力させる。このように、利用者が同じユーザエリアを複数回タップすると、タップ回数カウント手段７４によってタップ回数がカウントアップされ、タップ回数が変化する度に、変化判定手段７５によってこの変化が判定され、処理データ抽出手段７６は当該ユーザエリア及びタップ回数に対応する音声データを抽出し、スピーカ１９に音声出力させる。

また、利用者が英熟語「ａｔ ｗｏｒｋ」に対応するユーザエリア９１を電子ペン８０でタップする場合も同様に、１回タップすると、タップ回数カウント手段７４によって、エリアＩＤ「Ａ０２」のユーザエリアに対応付けてカウントされたタップ回数「１」がメモリ１２に一時記憶され、処理データ抽出手段７６は、エリアＩＤ「Ａ０２」のタップ回数１回に対応する音声データ（図示せず）を抽出し、処理実行手段７７は、英熟語「ａｔ ｗｏｒｋ」の他の意味を示す音声データ「機械などが作動中で」をスピーカ１９に音声出力させる。さらに、利用者が同じユーザエリア９１をもう１回タップすると、タップ回数カウント手段７４によってカウントアップされてメモリに一時記憶されるタップ回数が「２」に更新される。変化判定手段７５はこの変化を判定し、処理データ抽出手段７６は、ユーザエリアのエリアＩＤ「Ａ０２」のタップ回数２回に対応する音声データ（図示せず）抽出し、処理実行手段７７は、英熟語「ａｔ ｗｏｒｋ」のさらに他の意味を示す音声データ「一時的に取りかかっている」をスピーカ１９に音声出力させる。

ここで、利用者がふたたび英単語「Ｗｏｒｋ」に対応するユーザエリア９０をタップすると、メモリ１２にはエリアＩＤ「Ａ０１」のユーザエリアに対応付けられてタップ回数「２」が記憶されているため、タップ回数カウント手段７４は、メモリ１２に記憶されている前回タップ時刻と今回タップ時刻との差分を算出し、所定読取時間を超過しているか否かを判定し、超過していなければタップ回数を「３」にカウントアップし、エリアＩＤ「Ａ０１」のユーザエリアに対応付けてメモリ１２に記憶されているタップ回数を「３」に更新する。処理データ抽出手段７６は、図９に示すように、エリアＩＤ「Ａ０１」のタップ回数３回に対応する音声データＣを抽出し、処理実行手段７７は英単語「Ｗｏｒｋ」のさらに他の意味を示す音声データＣ「勉強」をスピーカ１９に音声出力させる。タップ回数カウント手段７４は、判定の結果が所定読取時間を超過している場合、エリアＩＤ「Ａ０１」のユーザエリアに対応付けてメモリ１２に記憶されているタップ回数「２」を初期値「０」にリセットした上で、今回のタップ回数分の「１」を加算してカウントアップし、当該ユーザエリアに対応付けてメモリ１２に記憶されたタップ回数を「１」に更新する。すると、英単語「Ｗｏｒｋ」のタップ回数１回に対応する音声データＡ「作業」がスピーカ１９より出力される。このように、利用者は、電子ペン８０によるタップを繰り返す度に、スピーカ（音声出力部）１９によって再生出力されるそれぞれ異なる音声により、所定の英単語や英熟語に関する他の意味や用例を聞くことができる。

[ 本情報処理システムによる作用効果 ]
この情報処理システムによれば、電子ペン８０で各ユーザエリアをタップした回数をカウントし、タップ回数が変化する度に電子ペン８０によりタップ回数に応じた音声が出力されるため、タップを繰り返すことで、各種異なる文章を音声出力させることができる。そのため、例えば、１つの英単語に対応する複数の意味や用例を音声出力させる場合であっても、１つのユーザエリアを設定するだけでよい。つまり、電子ペン８０は、利用者によって同一のユーザエリアをタップされたタップ回数をカウントし、タップ回数が変化する度に当該タップ回数に応じて音声データに基づく音声を出力することができ、音声データごとにユーザエリアを電子ペン用媒体に設定する必要がない。よって、図５に示すように集約した分の専用ペーパーの面積を詰めることで、図１３に示すような従来の英和辞典の頁と比べて、電子ペン用媒体の省スペース化を実現することができる。これにより、デザインの自由度が増し、専用ペーパー２０に印刷する文字を大きくすることが可能となり、専用ペーパー２０をより見やすくすることができる。

なお、本発明は、上記実施形態に限られない。

例えば、情報記憶手段７０は、定義情報（図７参照）と出力情報（図９参照）とを分けて記憶しているが、ユーザエリアのエリアＩＤに対して、ユーザエリアに対応する英単語や英熟語、ユーザエリアの座標データ、タップ回数、音声データをまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。

また、上記実施形態では、電子ペン８０のクロック２２は現在時刻を発信することとしているが（図２参照）、クロック２２は、０から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ１１は、ストロークの記入中に、クロック２２が発信する経過時間（記入時間）を時間情報として取得し、その時間情報と、筆圧データと、Ｘ，Ｙ座標データとを関連付け、記入情報として取得する。

また、上記実施形態では、タップ回数カウント手段７４は、メモリ１２に記憶されているタップ時刻（前回タップ時刻）と今回タップ時刻との差分が所定読取時間を超過していると判定した場合に、メモリ１２記憶されたタップ回数を初期値「０」にリセットした上でカウントアップすることとしているが、メモリ１２に一時記憶するのは前回タップ時刻ではなく、当該ユーザエリアに対する初回のタップ時刻（初回タップ時刻）として、初回タップ時刻と今回タップ時刻との差分が所定読取時間を超過しているか否かを判定するように構成してもよい。この場合、メモリ１２に記憶されている初回タップ時刻から所定読取時間を経過するまでは、タップされる都度、メモリ１２に記憶されているタップ回数をカウントアップすることとなり、初回タップ時刻と今回タップ時刻の差分が所定読取時間を超過した時に、メモリに記憶されているタップ回数を「０」にリセットして新たにカウントアップすると共に今回のタップ時刻を新たな初回タップ時刻としてメモリ１２に記憶されているタップ回数及びタップ時刻を更新することとなる。

または、タップ回数カウント手段７４は、読取時間の判定を行わず、電子ペン８０の電源がオンになってからオフになるまでの間、カウントアップを続けることとしてもよい。この場合タップ回数カウント手段７４は、ユーザエリアに対応付けてカウントしたタップ回数をメモリ１２に一時記憶させることとし、タップ時刻を一時記憶させる必要はない。ユーザエリアに対応付けてメモリ１２に一時記憶されたタップ回数は、電子ペン８０の電源がオフになるとクリアされるため、電源がオンになり利用者が新たに電子ペン８０を使用すると、タップ回数カウント手段７４は、ユーザエリア認識手段７３が認識したユーザエリアに対応付けてメモリ１２に記憶されているタップ回数があるか否か確認して、前回使用時のデータはクリアされているため、タップ回数の初期値「０」からカウントアップすることとなる。

また、実施形態では、情報記憶手段７０に予め記憶されている音声データをスピーカ（音声出力部）１９に再生出力させたが、処理データ抽出手段７６によって再生出力すべきコンテンツを抽出し、処理実行手段７７によりそのコンテンツを音声合成して、スピーカ（音声出力部）１９に再生出力させるようにしてもよい。

また、上記実施形態における音声データは、各ユーザエリアに対応して設定された英単語や英熟語について、タップ回数によって異なる意味又は用例を発音する音声データとしたが、本発明はこれに限定されるものではなく、和英辞典、国語辞典、百科事典等の各種辞書ほかスポーツ年鑑、タレント年鑑等の各種年鑑でもよく、各ユーザエリアに対応して設定された単語や熟語、文章、画像等について、タップ回数によって異なる情報を発音をする音声データであればよい。また、図５に示すようなデザインでなくともよく、英単語や英熟語の記載やユーザエリアのデザイン、配置等も適宜変更してよい。

上記実施形態では、音声を利用者にフィードバックするよう構成したが、所定の処理を実行する例として、タップ回数に応じて異なるプログラム又はソフトウェアを実行するようにしてもよく、或いは、外部の端末装置８５に、テキストデータや画像データをディスプレイ表示させるようにしてもよいし、プログラム又はソフトウェアを実行させるようにしてもよい。例えば、ショッピングカタログとして、１つの商品欄（ユーザエリア）に対して、電子ペン８０で最初にタップした場合、即ちタップ回数「１」では、色やサイズのバリエーションを端末装置８５が有する表示部（ディスプレイ）に表示させ、続いてもう１回タップした場合、即ちタップ回数「２」では、使用例の動画を再生させるといった実施形態が可能である。また、問題集として、１つの出題解答欄（ユーザエリア）に対して、電子ペン８０で最初にタップした場合、即ちタップ回数「１」では、問題を電子ペン８０のスピーカ１９に出力又は端末装置８５の表示部に表示し、続いてもう１回タップした場合、即ちタップ回数「２」では、答え合わせ（解答欄への記入情報を文字認識して解答と照合し、○、×等の判定結果を電子ペン８０のスピーカ１９に出力又は端末装置８５の表示部に表示させる）を行い、続いてさらにもう１回タップした場合、即ちタップ回数「３」では、解説を電子ペン８０のスピーカ１９に出力又は端末装置８５の表示部に表示させる、といった実施形態も可能である。さらに、電子ペン８０あるいは端末装置８５のアプリケーション選択メニュー（シート）として、アプリ選択欄（ユーザエリア）に対して、電子ペン８０で最初にタップした場合、即ちタップ回数「１」では、翻訳プログラムを起動し、続いてもう１回タップした場合、即ちタップ回数「２」では、演奏プログラムを起動し、さらに続いてもう１回タップした場合、即ちタップ回数「３」では、電子メール送信プログラムを起動する、といった実施形態も可能である。

また、電子ペン８０内に、ペン自体又はその所有者に関するプロパティ情報（ペン情報又はペン所有者情報）を保持しておき、端末装置８５から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置８５に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤ、空きメモリ容量などが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス／電話番号、携帯電話番号などが挙げられる。

また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン８０のＬＥＤ１５を、赤外線を照射するＬＥＤとし、カメラ１６によって赤外線の反射量の差によって、電子ペン８０でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン８０のＬＥＤ１５を、ドットのインクを発光させる光を照射するものとし、カメラ１６によってドットのインクが発光する波長の領域を検知することによって、電子ペン８０でドットパターンを読み取るようにしてもよく、カメラ１６によってドットパターンが読み取れれば、ドットのインクの種別やＬＥＤ１５の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー２０における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、２次元コードパターンなどであってもよい。

また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー２０を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を１枚１枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。電子ペン８０において、取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を１枚１枚区別することができる。この他、ペンＩＤを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、電子ペン８０は、記憶した識別情報もしくは識別情報とペンＩＤに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙１枚１枚に異なるドットパターンを割り当てて、専用ペーパー２０を印刷することも可能である。この場合、各専用ペーパー２０に印刷されたドットパターンは、専用ペーパー２０毎に異なるため、ドットパターンによって専用ペーパー２０を１枚１枚識別し区別することができる。

本発明は、電子ペン用媒体から構成される辞書類、ショッピングカタログ、問題集、電子ペンや携帯電話に搭載されているアプリケーションを利用者が選択する為のメニュー等、様々な分野で利用することができる。

電子ペンの使用形態を模式的に示す図である。 実施形態における電子ペンの構成を示すブロック図である。 専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 実施形態における電子ペン用媒体を示す図である。 電子ペンの主要な構成を示す機能ブロック図である。 定義情報のデータ構造を模式的に示す図である。 座標データを説明する図である。 出力情報のデータ構造を模式的に示す図である。 実施形態における専用アプリケーションのモジュール構成図である。 実施形態における電子ペンの使用形態を示す図である。 実施形態における音声出力処理のフローチャートである。 従来の英和辞典の頁の例である。

符号の説明

１１…プロセッサ、１２…メモリ、１３…データ通信ユニット、１４…バッテリー、１５…ＬＥＤ、１６…カメラ、１８…圧力センサ、１９…スピーカ、２０…専用ペーパー（電子ペン用媒体）、２２…クロック、５５…専用アプリケーション、７０…情報記憶手段、７１…記入情報取得手段、７２…開始終了点特定手段、７３…ユーザエリア認識手段、７４…タップ回数カウント手段、７５…変化判定手段、７６…処理データ抽出手段、７７…処理実行手段、７８…データ通信手段、８０…電子ペン、８５…端末装置、９０〜９２…ユーザエリア

Claims (7)

1. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、
   音声データに基づいて音声を出力する音声出力部と、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段と、
   前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、
   前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
   タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段と、
   前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段と、を備えることを特徴とする電子ペン。
2. 前記記入情報に基づいて、データ開始点及びデータ終了点を特定する開始終了点特定手段をさらに備え、
   前記ユーザエリア認識手段は、前記データ開始点及び前記データ終了点の座標データに基づいて前記出力情報を参照することで、当該データ開始点及び当該データ終了点の双方が含まれる前記ユーザエリアを認識するものであり、
   前記タップ回数カウント手段は、前記データ開始点及び前記データ終了点に基づく時間及び／又は両点間の移動距離により、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントすることを特徴とする請求項１に記載の電子ペン。
3. 前記タップ回数カウント手段は、前記記入情報取得手段が取得した記入情報に基づくタップが、前記ユーザエリア認識手段が認識したユーザエリアに対する最後のタップから、予め設定された所定読取時間以上経過している場合、タップ回数を初期値にリセットしてからカウントすることを特徴とする請求項１又は２に記載の電子ペン。
4. 前記出力情報として記憶される音声データは、各ユーザエリアに対応して設定された単語及び／又は熟語について、タップ回数によって異なる意味及び／又は用例が発声される音声データであることを特徴とする請求項１乃至３のいずれか一項に記載の電子ペン。
5. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
   前記電子ペンは、音声データに基づいて音声を出力する音声出力部を備え、
   前記プログラムは、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる音声データとを対応付けた出力情報を記憶する情報記憶手段、
   前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
   前記記入情報に含まれる座標データに基づいて前記出力情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、
   前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段、
   タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記出力情報から対応する音声データを抽出するデータ抽出手段、
   前記データ抽出手段が抽出した音声データに基づく音声を前記音声出力部から出力させる処理実行手段、として前記電子ペンを機能させることを特徴とするプログラム。
6. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンであって、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段と、
   前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段と、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段と、
   前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
   タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段と、
   前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段と、を備えることを特徴とする電子ペン。
7. 電子ペンにより認識可能なコード化パターンが印刷され、１つ以上のユーザエリアが設定された電子ペン用媒体に記入された情報を処理する電子ペンにより実行されるプログラムであって、
   前記プログラムは、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データと、前記電子ペンによるタップ回数と、前記タップ回数毎に設定された異なる処理を実行する処理データとを対応付けた実行情報を記憶する情報記憶手段、
   前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
   前記記入情報に含まれる座標データに基づいて前記実行情報を参照することで前記ユーザエリアを認識するユーザエリア認識手段、
   前記記入情報に基づいて、前記ユーザエリア認識手段が認識したユーザエリアがタップされた回数であるタップ回数をカウントするタップ回数カウント手段、
   前記タップ回数カウント手段がカウントしたタップ回数が変化したか否かを判定する変化判定手段と、
   タップ回数が変化したと前記変化判定手段が判定した場合に、前記ユーザエリア認識手段が認識したユーザエリアと、前記タップ回数カウント手段がカウントしたタップ回数とに基づいて、前記実行情報から対応する処理データを抽出する処理データ抽出手段、
   前記処理データ抽出手段が抽出した処理データに基づいて所定の処理を実行する処理実行手段、として前記電子ペンを機能させることを特徴とするプログラム。

Images