以下、図面を参照して本発明の好適な実施の形態について説明する。
<第1実施形態>
本実施形態の情報処理システムは、図1及び図2に示すように、電子ペン10A(10)と、専用ペーパー(電子ペン用媒体)20と、端末装置25A(25)とから構成される。ここで、図1は電子ペン10Aの使用形態を模式的に示す図であり、図2は電子ペン10Aの構成を示すブロック図である。専用ペーパー20には、ドットパターン(コード化パターン)が印刷されている。電子ペン10Aは、通常のインクペンと同様のペン先部17を備えており、利用者が通常のインクペンと同様にペン先部17によって専用ペーパー20上に文字などを書くと、電子ペン10Aは、ペン先部17の移動軌跡に沿って、専用ペーパー20に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー20におけるその局所位置の座標を算出し、その座標データ等を端末装置25Aに送信する。電子ペン10Aは、端末装置25Aへ確実にデータを送信できるよう、端末装置25Aの近傍で使用される。端末装置25Aは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。
[ 専用ペーパー ]
まず、専用ペーパー20について説明する。専用ペーパー20は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。
図5に、図案等が印刷された専用ペーパー20の例を示す。図5に示す例において専用ペーパー20は、ユーザエリアである自由記入エリア51、アドレス記入エリア52及び選択エリア53が印刷されている。ドットパターンは、専用ペーパー20のほぼ全面に印刷されており、その上に所定の文字や罫線、ユーザエリア51乃至53がカーボンを含まない通常のインキにより印刷されている。
自由記入エリア51は、任意のメッセージを記入するエリアであり、アドレス記入エリア52は送信先アドレスを記入するエリアである。送信先アドレスとは、例えばメールアドレスやFAX番号等であって、本発明における送信先情報の一例である。また、アドレス記入エリアは、本発明における送信先情報記入エリアの一例である。選択エリア53は、タップ回数によりメッセージの送信方法を選択するエリアである。選択エリア54へのタップ回数と送信方法とは、予め対応付けられている。本実施形態において送信方法は、FAX送信、メール送信、SMS(Short Message Service)送信の3つであるとする。FAX送信とは、FAX端末に対し、メッセージをFAX送信することである。メール送信とは、PCや携帯電話等の端末装置に対し、メッセージをeメールに添付して送信することである。SMS送信とは、携帯電話等の端末装置に対し、メッセージをSMS送信することである。
利用者は、任意のメッセージを第三者へ送信したい場合、ドットパターンを意識することなく、電子ペン10Aを使用して自由記入エリア51に任意のメッセージを記入し、アドレス記入エリア52に第三者が使用する端末のアドレスを記入する。続いて、利用者は、電子ペン10Aを使用して選択エリア53をタップ(電子ペン10Aのペン先部17の専用ペーパー(電子ペン用媒体)20への軽叩)することにより、送信方法を選択する。なお、利用者は、送信方法としてFAX送信を選択する場合、アドレス記入エリア52にFAX番号を記入する必要がある。同様に、利用者は、送信方法としてメール送信を選択する場合、アドレス記入エリア52にメールアドレスを記入する必要がある。また、利用者は、送信方法としてSMS送信を選択する場合、アドレス記入エリア52に携帯電話の番号を記入する必要がある。
[ ドットパターン ]
続いて、ドットパターンについて説明する。図3は、専用ペーパー20に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図3に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置(縦線及び横線の交差点)から上下左右のどの方向にシフトされているかによって、各ドットは、0〜3の値に対応付けられている。また、各ドットの値は、さらに、X座標用の第1ビット値及びY座標用の第2ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー20上の位置座標が決定されるよう構成されている。
図4(a)は、あるドットパターンの配列を示している。図4(a)に示すように、縦横約2mmの範囲内に6×6個のドットが、専用ペーパー上のどの部分から6×6ドットを取ってもユニークなパターンとなるように配置されている。これら36個のドットにより形成されるドットパターンは位置座標(例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか)を保持している。図4(b)は、図4(a)に示す各ドットを、格子の基準位置からのシフト方向によって、図3に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン10Aによって行われる。
[ 電子ペン ]
次に電子ペン10Aについて説明する。図2に示すように、電子ペン10Aは、その内部にプロセッサ11、データ通信ユニット13、バッテリー14、LED15、カメラ16、圧力センサ18及びクロック22を備える。また、電子ペン10Aは通常のインクペンと同様の構成要素としてインクカートリッジ(図示せず)などを有する。
LED15は、電子ペン10Aのペン先付近に取り付けられており、専用ペーパー20上のペン先部17近傍(領域15a)に向けて、赤外線を照明する(図1参照)。領域15aは、ペン先部17が専用ペーパー20に接触する位置とはわずかにずれている。カメラ16は、LED15によって照明された領域15a内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ11に供給する。ここで、カーボンは赤外線を吸収するため、LED15によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ16の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ16による撮影領域は、図4(a)に示すような約2mm×約2mmの大きさを含む範囲であり、カメラ16の撮影は、毎秒50〜100回程度行われる。
バッテリー14は電子ペン10A内の各部品に電力を供給するためのものであり、例えば電子ペン10Aのキャップ(図示せず)の脱着により電子ペン10A自体の電源のオン/オフを行うよう構成させてもよい。クロック22は、現在時刻(タイムスタンプ)を発信し、プロセッサ11に供給する。圧力センサ18は、利用者が電子ペン10Aにより専用ペーパー20上に文字などを書く際にペン先部17に与えられる圧力、即ち筆圧を検出し、プロセッサ11へ供給する。
プロセッサ11は、圧力センサ18から与えられる筆圧データに基づいて、LED15及びカメラ16のスイッチオン/オフの切換を行う。即ち、利用者が電子ペン10Aで専用ペーパー20上に文字などを書くと、ペン先部17には筆圧がかかり、圧力センサ18によって所定値以上の筆圧が検出されたときに、プロセッサ11は、利用者が記入を開始したと判定して、LED15及びカメラ16を作動させる。
プロセッサ11は、利用者の記入が行われる間、カメラ16によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー20上でのX,Y座標(単に「座標データ」とも呼ぶ)を連続的に算出していく。すなわち、プロセッサ11は、カメラ16によって供給される、図4(a)に示されるようなドットパターンの画像データを図4(b)に示すデータ配列に変換し、さらに、X座標ビット値・Y座標ビット値に変換して、そのデータ配列から所定の演算方法によりX,Y座標データを算出する。そしてプロセッサ11は、現在時刻(タイムスタンプ)を発信するクロック22から時間情報を取得し、その時間情報と、筆圧データ及びX,Y座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット13に対して、端末装置25Aへ送信させる。ここで、一枚の専用ペーパー(電子ペン用媒体)20内の6×6のドットパターンは、その専用ペーパー20内で重複することはないため、利用者が電子ペン10Aでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー20のどのユーザエリアに対応するものであるかを、座標データから特定することができる。
データ通信ユニット13は、プロセッサ11から時間情報、筆圧データ、X,Y座標データを記入情報として受けると、端末装置25Aへ無線送信する。データ通信ユニット13による送信は、Bluetooth(登録商標)の無線送信によると好適である。なお、USBケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット13から端末装置25Aへデータ送信を行ってもよい。データ通信ユニット13による端末装置25Aへの記入情報の送信は、即時的且つ逐次的に行われる。
[ 端末装置 ]
次に、端末装置25Aについて図6を参照して説明する。端末装置25Aは、ハードウェアとして、電子ペン10Aとのデータ通信が可能なアンテナ装置、CPU等のプロセッサ、ROMやRAMといったメモリ、スピーカ、ディスプレイ等で構成される、PCや携帯電話、或いは携帯端末である。図6は、端末装置25Aの機能ブロック図である。端末装置25Aは、電子ペン10Aから取得したX,Y座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。
図6に示すように、端末装置25Aは、情報記憶手段60、記入情報取得手段61、開始終了点特定手段62、エリア特定手段63、メッセージ記入情報特定手段64、画像データ作成手段65、テキストデータ作成手段66、送信先アドレス特定手段67、タップ回数検出手段68、音声データ抽出手段69、音声出力手段70、決定判定手段71、タップ回数確定手段72、送信方法特定手段73、送信手段74及び音声出力部75を備える。物理的には、情報記憶手段60は、ROMやRAMといったメモリによって構成され、記入情報取得手段61は、データ通信ユニット、プロセッサ等によって構成され、音声出力部75はスピーカ等で構成される。開始終了点特定手段62、エリア特定手段63、メッセージ記入情報特定手段64、画像データ作成手段65、テキストデータ作成手段66、送信先アドレス特定手段67、タップ回数検出手段68、音声データ抽出手段69、音声出力手段70、決定判定手段71、タップ回数確定手段72、送信方法特定手段73、送信手段74は、CPU等のプロセッサに組み込まれている。
情報記憶手段60は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置を示す座標データとを対応付けて座標定義情報として記憶するメモリである。
すなわち、図7に示すように、情報記憶手段60には、専用ペーパー20のユーザエリアを識別するエリアIDと、ユーザエリアの名称であるエリア名と、ユーザエリアの位置座標領域を表す座標データとを対応付けた座標定義情報が記憶されている。エリアID「A01」に関連してエリア名「自由記入エリア」が記憶され、エリアID「A02」に関連してエリア名「アドレス記入エリア」が記憶されている。また、エリアID「A03」に関連してエリア名「選択エリア」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図8に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点V(xn,yn)の座標、Y軸方向の高さ(Height)、X軸方向の幅(Width)を意味する。
さらに、情報記憶手段60は、ユーザエリアへのタップ回数と、音声データ及び送信方法とを対応付けて方法定義情報として記憶するメモリである。
すなわち、図9に示すように、ユーザエリアを識別するエリアIDと、利用者が行うタップ回数と、音声データと、自由記入エリア51に記入されたメッセージの送信方法とを対応付けた方法定義情報が記憶されている。本実施形態において、利用者によりタップされるユーザエリアは選択エリア53である。図示のように、エリアID「A03」である選択エリア53のタップ回数「1」に対しては、送信方法「FAX送信」と、送信方法が「FAX送信」であることを説明する音声データA(「FAXで送信しますがよろしいでしょうか?」)が関連付けられ、同じエリアID「A03」である選択エリア53のタップ回数「2」に対しては、送信方法「メール送信」と、送信方法が「メール送信」であることを説明する音声データB(「メールで送信しますがよろしいでしょうか?」)が関連付けられて記憶されている。また、同じエリアID「A03」である選択エリア53のタップ回数「3」に対しては、送信方法「SMS送信」と、送信方法が「SMS送信」であることを説明する音声データC(「SMSで送信しますがよろしいでしょうか?」)が関連付けられて記憶されている。これらの音声データA乃至音声データCは、音声出力部75によって音声出力可能な音声データである。
なお、情報記憶手段60は、記入情報取得手段61によって取得された記入情報を記憶するとともに、タップ回数検出手段68によって検出されたタップ回数及びタップ時刻を一時記憶する。
記入情報取得手段61は、電子ペン10Aのデータ通信ユニット13によって送信される専用ペーパー20への記入内容に対応する記入情報を即時的且つ逐次的に取得する手段であり、Bluetooth(登録商標)による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。また、タップ情報に含まれる時間情報をタップ時刻と呼ぶ。
開始終了点特定手段62は、記入情報取得手段61が取得した記入情報に含まれるストロークのデータ開始点及びデータ終了点を特定する。具体的には、開始終了点特定手段62は、データ開始点及びデータ終了点それぞれの位置座標を示す座標データと記入時刻とを特定する。
エリア特定手段63は、記入情報に含まれる座標データに基づいて、情報記憶手段60が記憶した座標定義情報(図7参照)を参照することにより、対応するユーザエリアを特定する。即ち、エリア特定手段63は、電子ペン10Aを使用して記入又はタップされたユーザエリアが、自由記入エリア51、アドレス記入エリア52及び選択エリア53のいずれであるかを特定する。このとき、ユーザエリア特定手段63は、1つのストロークのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを特定するようにするとよい。そのような設定にすれば、利用者が専用ペーパー20に記入したストロークのデータ開始点及びデータ終了点のいずれかがユーザエリアの範囲外にある場合には、利用者が特定のユーザエリアに記入又はタップしたものではないと判定することができる。
メッセージ記入情報特定手段64は、エリア特定手段63により自由記入エリア51に対応すると特定された記入情報をメッセージ記入情報であると特定する。
画像データ作成手段65は、メッセージ記入情報特定手段64により特定されたメッセージ記入情報に基づいて、電子ペン10Aを使用して自由記入エリア51に記入されたメッセージを表す画像データを作成する。
テキストデータ作成手段66は、メッセージ記入情報特定手段64により特定されたメッセージ記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、電子ペン10Aを使用して自由記入エリア51に記入されたメッセージを表すテキストデータを作成する。
送信先アドレス特定手段67は、エリア特定手段63によりアドレス記入エリア52に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、電子ペン10Aを使用してアドレス記入エリア52に記入されたアドレスを特定する。
タップ回数検出手段68は、エリア特定手段63により選択エリア53に対応すると特定された記入情報と、開始終了点特定手段62によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離とに基づいて、利用者によって記入されたストロークがタップであるか否かを判定し、選択エリア53においてタップされた回数(タップ回数)をカウントして検出する。カウントしたタップ回数及びタップ時刻は、対応付けて情報記憶手段60に一時記憶される。このとき、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60に記憶されているタップ回数があるか否か確認して、なければタップ回数の初期値を「0」とし、選択エリア53へのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段60上において選択エリア53に対応付けてタップ回数が記憶されている場合、タップ回数検出手段68は、新たにタップされた時刻(今回タップ時刻)が、選択エリア53に対する最後にタップされた時刻(前回タップ時刻)として情報記憶手段60に記憶されているタップ時刻から、予め設定された所定読取時間(例えば3分)以上経過しているか否かを時刻の差分を算出して判定する。判定の結果、所定読取時間以上経過している場合、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該ユーザエリアへのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。
そして、認識したユーザエリアに対応付けてカウントしたタップ回数及びタップ時刻を情報記憶手段60に一時記憶する。即ち、情報記憶手段60に記憶されたタップ回数は、対応するユーザエリアへのタップが認識される度に更新される。これによれば、利用者の記入したストロークが、タップであるか否か判定され、文字や図柄とは区別されるとともに、タップ回数は、所定読取時間を基準としてカウントがリセットされるため、所定読取時間よりも間隔のあいたタップ同士は、タップ回数としては別々にカウントされ、タップ回数を的確にカウントすることができる。これにより、利用者が後刻もう1度タップにより送信方法を選択することで音声データを端末装置25Aから出力させようと意図した際に、最初に出力したときと同じ順番で音声データを出力させることができる。
具体的には、利用者によって記入されたストロークがタップであるか否かを判定するにあたっては、第1の方法として、タップ回数検出手段68は、データ終了点の記入時刻とデータ開始点の記入時刻の差分を算出し、当該差分が予め設定された所定時間(例えば、0.2秒)未満である場合にストロークがタップであると判定する。別の第2の方法として、タップ回数検出手段68は、座標データに基づいてデータ開始点とデータ終了点との間の移動距離(筆記された線の長さ)を算出し、当該移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定するようにしてもよい。あるいは第3の方法として、データ開始点とデータ終了点における時間及び移動距離の両方に条件を付けて、ストロークがタップであるか否かを判定するようにしてもよい。
音声データ抽出手段69は、タップ回数検出手段68が検出したタップ回数が変化する度に、変化後のタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報(図9参照)から対応する音声データを抽出する。つまり、音声データ抽出手段69は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、当該タップ回数に基づいて方法定義情報から音声データを抽出する。
音声出力手段70は、音声データ抽出手段69によって抽出された音声データを音声出力部75に再生出力させる。つまり、音声出力手段70は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、音声データ抽出手段69が抽出した音声データを音声出力部75に再生出力させる。
決定判定手段71は、エリア特定手段63により選択エリア53に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、電子ペン10Aを使用して選択エリア53に送信方法の決定を示す記号が記入されたか否かを判定する。利用者は、電子ペン10Aを使用して選択エリア53をタップして音声データを再生出力させることで、音声により送信方法を確認し、送信方法を決定すると選択エリア53に送信方法の決定を示す記号を記入する。本実施形態において送信方法の決定を示す記号は丸印(○)とするが、本発明はこれに限定されるものではなく、任意に設定することができる。
タップ回数確定手段72は、決定判定手段71により送信方法の決定を示す記号が記入されたと判定された場合に、その時点においてタップ回数検出手段68が検出したタップ回数、即ち情報記憶手段60に記憶されているタップ回数を確定とする。
送信方法特定手段73は、タップ回数確定手段72により確定されたタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する送信方法を特定する。
送信手段74は、画像データ作成手段65が作成した画像データ又はテキストデータ作成手段66が作成したテキストデータを、送信先アドレス特定手段67が特定したアドレスに基づいて、送信方法特定手段73が特定した送信方法により送信する。
端末装置25Aは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。
[ 専用アプリケーション ]
次に、専用アプリケーション50について図10を参照して説明する。図10は、専用アプリケーション50のモジュール構成を示す。専用アプリケーション50は、電子ペン10Aが専用ペーパー20に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置25Aにインストールされている。専用アプリケーションは、原則として専用ペーパー20に対応付けられている。つまり、専用ペーパー20の種類が異なれば、その種類に応じて各専用ペーパー20に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー20と専用アプリケーションの対応は必ずしも1対1である必要はなく、複数種類の専用ペーパー20に1つの専用アプリケーションを対応付けてデータを処理させてもよい。また、1種類の専用ペーパー20に複数の専用アプリケーションを対応付けてデータを処理させてもよい。
図10に示すように、専用アプリケーション50は、情報記憶モジュール101、記入情報取得モジュール102、開始終了点特定モジュール103、エリア特定モジュール104、メッセージ記入情報特定モジュール105、画像データ作成モジュール106、テキストデータ作成モジュール107、送信先アドレス特定モジュール108、タップ回数検出モジュール109、音声データ抽出モジュール110、音声出力モジュール111、決定判定モジュール112、タップ回数確定モジュール113、送信方法特定モジュール114及び送信モジュール115を有する。
情報記憶モジュール101は、情報記憶手段60に対して、図7及び図9に示すようにユーザエリアのエリアID、ユーザエリアの座標データ、タップ回数、音声データ及び送信方法を関連付けて記憶させるモジュールである。また、情報記憶モジュール101は、情報記憶手段60に対して、記入情報取得モジュール102が取得した記入情報を記憶させる機能を有する。
記入情報取得モジュール102は、記入情報取得手段61を用いて、専用ペーパー20への電子ペン10Aによる記入に対応する記入情報(タップ情報を含む)を取得する機能を有する。
開始終了点特定モジュール103は、記入情報取得モジュール102の実行によって取得された記入情報に含まれるストロークのデータ開始点及びデータ終了点につき、それぞれの座標データ及び記入時刻を特定する機能を有する。
エリア特定モジュール104は、記入情報に含まれる座標データと、情報記憶モジュール101によって記憶される各ユーザエリアの座標データとを参照して、記入情報に対応するユーザエリアを特定する機能を有する。なお、エリア特定モジュール104は、1つのストロークデータのデータ開始点及びデータ終了点の双方が含まれるユーザエリアのみを特定するようにするとよい。
メッセージ記入情報特定モジュール105は、エリア特定モジュール104によって自由記入エリア51に対応すると特定された記入情報をメッセージ記入情報であると特定する機能を有する。
画像データ作成モジュール106は、メッセージ記入情報特定モジュール105によって特定されたメッセージ記入情報に基づいて、自由記入エリア51に記入されたメッセージを表す画像データを作成する機能を有する。
テキストデータ作成モジュール107は、メッセージ記入情報特定モジュール105によって特定されたメッセージ記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、自由記入エリア51に記入されたメッセージを表すテキストデータを作成する機能を有する。
送信先アドレス特定モジュール108は、エリア特定モジュール104によってアドレス記入エリア52に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、アドレス記入エリア52に記入されたアドレスを特定する機能を有する。
タップ回数検出モジュール109は、エリア特定モジュール104によって選択エリア53に対応すると特定された記入情報と、開始終了点特定モジュール103によって特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離とに基づいて、利用者によって記入されたストロークがタップであるか否かを判定し、選択エリア53におけるタップ回数をカウントして検出する機能を有する。タップ回数検出モジュール109は、選択エリア53と、選択エリア53へのタップ回数とを対応付けて一時的に情報記憶手段60に記憶する。記入情報がタップ情報であるか否かの判定方法としては、上述のように、データ開始点の記入時刻からデータ終了点の記入時刻までの時間が予め設定された所定時間未満である場合にストロークがタップであると判定する方法(第1の方法)と、データ開始点とデータ終了点との間の移動距離が予め設定された所定距離未満である場合にストロークがタップであると判定する方法(第2の方法)とのいずれを採用してもよく、また、データ開始点とデータ終了点の時間及び両点間の移動距離の両方に条件を設定してもよい(第3の方法)。
音声データ抽出モジュール110は、タップ回数検出モジュール109によって検出されたタップ回数が変化する度に、変化後のタップ回数に基づいて、情報記憶モジュール101によって記憶された方法定義情報(図9参照)から対応する音声データを抽出する機能を有する。つまり、音声データ抽出モジュール110は、タップ回数検出モジュール109によって選択エリア53へのタップ回数がカウントアップされる度に、当該タップ回数に基づいて方法定義情報から音声データを抽出する。
音声出力モジュール111は、音声データ抽出モジュール110によって抽出された音声データを音声出力部75に再生出力させる機能を有する。つまり、音声出力モジュール111は、タップ回数検出モジュール109により選択エリア53へのタップ回数がカウントアップされる度に、音声データ抽出モジュール110によって抽出された音声データを音声出力部75に再生出力させる。
決定判定モジュール112は、エリア特定モジュール104によって選択エリア53に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、選択エリア53に送信方法の決定を示す記号が記入されたか否かを判定する機能を有する。
タップ回数確定モジュール113は、決定判定モジュール112によって送信方法の決定を示す記号が記入されたと判定された場合に、その時点においてタップ回数検出手段68が検出したタップ回数、即ち情報記憶モジュール101によって記憶されているタップ回数を確定とする機能を有する。
送信方法特定モジュール114は、タップ回数確定モジュール113によって確定されたタップ回数に基づいて、情報記憶モジュール101によって記憶された方法定義情報から対応する送信方法を特定する機能を有する。
送信モジュール115は、送信方法特定モジュール114によって特定された送信方法により、画像データ作成モジュール106によって作成された画像データ又はテキストデータ作成モジュール107によって作成されたテキストデータを、送信先アドレス特定モジュール108によって特定されたアドレスに基づいて送信する機能を有する。
[ 本情報処理システムによる送信処理フロー ]
次に、本第1実施形態の情報処理システムにより行われる送信処理フローについて図11及び図12を参照して説明する。図11は、本第1実施形態における専用ペーパー20上の電子ペン10Aの使用形態を示す図である。図12は、端末装置25Aにおける送信処理のフローチャートである。
なお、送信処理において、メッセージは画像データの形式で送信されるものとする。しかし、本発明はこれに限定されるものではなく、メッセージを画像データの形式で送信するか、テキストデータの形式で送信するかは任意に設定することが可能である。
利用者は、まず、電子ペン10Aを使用して、専用ペーパー20の自由記入エリア51にメッセージを自由に記入する。すると、電子ペン10Aは、自由記入エリア51への記入に対応する座標データ、時間情報及び筆圧データを記入情報として端末装置25Aへ送信する。
続いて、利用者は、電子ペン10Aを使用して、専用ペーパー20のアドレス記入エリア52にメッセージの送信先である第三者のFAX番号やメールアドレス、即ち送信先の端末装置を特定するアドレスを記入する。すると、電子ペン10Aは、アドレス記入エリア52への記入に対応する座標データ、時間情報及び筆圧データを記入情報として端末装置25Aへ送信する。
そして、利用者は、電子ペン10Aのペン先部17により、専用ペーパー20の選択エリア53をタップする(図11参照。★マークはタップを表す。)。すると、電子ペン10Aは、選択エリア53へのタップに対応する座標データ、時間情報及び筆圧データを記入情報(タップ情報)として端末装置25Aへ送信する。また、利用者は、選択エリア53へのタップにより送信方法を選択すると、最後に当該選択エリア53へ送信方法の決定を示す記号(丸印)を記入する。すると、電子ペン10Aは、選択エリア53への記入に対応する座標データ、時間情報及び筆圧データを記入情報として端末装置25Aへ送信する。
端末装置25Aの記入情報取得手段61は、電子ペン10Aから即時的且つ逐次的に記入情報(タップ情報)を取得する(ステップS1)。ここで、即時的とは、電子ペン10AがX,Y座標データ等の記入情報を取得すると、その記入情報は即座に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味し、また、逐次的とは、電子ペン10AがX,Y座標データ等の記入情報を連続的に取得している間、その記入情報は、次々に端末装置25Aへ送信され、端末装置25Aによって取得されることを意味している。
続いて、開始終了点特定手段62は、記入情報取得手段61によって取得された記入情報(タップ情報)に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び記入時刻を特定する。
次に、エリア特定手段63は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段60が記憶した座標定義情報を参照することで、対応するユーザエリアを特定する(ステップS2)。続いて、エリア特定手段63は、特定したユーザエリアが自由記入エリア51であるか否かを判定する(ステップS3)。特定したユーザエリアが自由記入エリア51であると判定された場合(ステップS3;Yes)、画像データ作成手段65は、自由記入エリア51に対応すると特定された記入情報に基づいて、自由記入エリア51に記入されたメッセージを表す画像データを作成する(ステップS4)。
一方、特定したユーザエリアが自由記入エリア51ではないと判定された場合(ステップS3;No)、エリア特定手段63は、特定したユーザエリアがアドレス記入エリア52であるか否かを判定する(ステップS5)。特定したユーザエリアがアドレス記入エリア52であると判定された場合(ステップS5;Yes)、送信先アドレス特定手段67は、アドレス記入エリア52に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、アドレス記入エリア52に記入されたアドレスを特定する(ステップS6)。
一方、特定したユーザエリアがアドレス記入エリア52ではないと判定された場合(ステップS5;No)、エリア特定手段63は、特定したユーザエリアが選択エリア53であるか否かを判定する(ステップS7)。特定したユーザエリアが選択エリア53であると判定された場合(ステップS7;Yes)、タップ回数検出手段68は、選択エリア53に対応すると特定された記入情報と、開始終了点特定手段62により特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離とに基づいて、利用者によって記入されたストロークがタップであるか否かを判定し、選択エリア53においてタップされた回数(タップ回数)をカウントして検出する(ステップS8)。具体的に、タップ回数検出手段68は、エリア特定手段63が特定した選択エリア53のユーザエリア(エリアID「A03」)と、選択エリア53へのタップ回数及びタップ時刻とを対応付けて一時的に情報記憶手段60に記憶する。このとき、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60に記憶されているタップ回数があるか否かを確認して、なければタップ回数の初期値を「0」とし、選択エリア53へのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段60上において選択エリア53に対応付けてタップ回数が記憶されている場合、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば3分)を超過している場合、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該選択エリア53へのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。そして、エリアID「A03」に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段60に一時記憶させる。
なお、タップ回数検出手段68は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。
音声データ抽出手段69は、タップ回数検出手段68が検出したタップ回数が変化する度に、変化後のタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する音声データを抽出する。つまり、音声データ抽出手段69は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、当該タップ回数に基づいて方法定義情報から音声データを抽出する。続いて、音声出力手段70は、音声データ抽出手段69によって抽出された音声データを音声出力部75に再生出力させる。つまり、音声出力手段70は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、音声データ抽出手段69が抽出した音声データに基づいて、送信方法に関する音声を音声出力部75から出力する(ステップS9)。
例えば、エリアID「A03」の選択エリア53に対応付けられたタップ回数が「1」に変化した場合、音声データ抽出手段69は、図9に示すように、選択エリア53のエリアID「A03」のタップ回数1回に対応する音声データAを抽出する。続いて、音声出力手段70は、送信方法が「FAX送信」であることを説明する音声データA(「FAXで送信しますがよろしいでしょうか?」)を音声出力部75に音声出力させる。さらに、利用者が同じ選択エリア53をもう1回タップすると、タップ回数検出手段68によってカウントアップされて情報記憶手段60に一時記憶されるタップ回数が「2」となる。このように選択エリア53に対応付けられたタップ回数が「1」から「2」へ変化すると、音声データ抽出手段69は、図9に示すように、選択エリア53のID「A03」のタップ回数2回に対応する音声データBを抽出する。続いて、音声出力手段70は、送信方法が「メール送信」であることを説明する音声データB(「メールで送信しますがよろしいでしょうか?」)を音声出力部75に音声出力させる。このように、利用者が同じ選択エリア53を複数回タップすると、タップ回数検出手段68によってタップ回数がカウントアップされ、音声データ抽出手段69は当該選択エリア53及びタップ回数に対応する音声データを抽出し、音声出力部75に音声出力させる。
さらに、決定判定手段71は、エリア特定手段63により選択エリア53に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、電子ペン10Aを使用して選択エリア53に送信方法の決定を示す記号(丸印)が記入されたか否かを判定する(ステップS10)。送信方法の決定を示す記号(丸印)が記入されていないと判定した場合(ステップS10;No)、決定判定手段71は、文字認識処理の認識ミスであるか否かを判定する(ステップS15)。認識ミスであると判定した場合(ステップS15;Yes)、決定判定手段71は、エラーメッセージに対応する音声データを音声出力部75に再生出力させる(ステップS16)。なお、エラーメッセージに対応する音声データは、情報記憶手段60に記憶されているものとする。一方、認識ミスではないと判定した場合(ステップS15;No)、決定判定手段71は、ステップS1の処理に戻る。
送信方法の決定を示す記号(丸印)が記入されたと判定した場合(ステップS10;Yes)、タップ回数確定手段72は、その時点においてタップ回数検出手段68が検出したタップ回数、即ち情報記憶手段60に記憶されているタップ回数を確定とする。続いて、送信方法特定手段73は、タップ回数確定手段72により確定されたタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する送信方法を特定する(ステップS11)。そして、送信手段74は、送信方法特定手段73が特定した送信方法により、画像データ作成手段65が作成した画像データを、送信先アドレス特定手段67が特定したアドレスに基づいて送信する(ステップS12)。
例えば、送信方法の決定を示す記号(丸印)が記入された時点において、情報記憶手段60に記憶されているタップ回数が「2」回である場合、タップ回数確定手段72は、タップ回数を「2」回に確定する。続いて、送信方法特定手段73は、図9に示すように、タップ回数確定手段72により確定されたタップ回数「2」回に対応する送信方法「メール送信」を特定する。そして、送信手段74は、送信先アドレス特定手段67が特定したアドレスに基づいて、画像データ作成手段65が作成した画像データをeメールに添付して送信する。
送信手段74は、画像データ作成手段65が作成した画像データを正常に送信できたか否かを判定する(ステップS13)。正常に送信できなかったと判定した場合(ステップS13;No)、送信手段74は、ステップS12の処理を再度実行する。一方、正常に送信できたと判定した場合(ステップS13;Yes)、送信手段74は、送信完了メッセージに対応する音声データを音声出力部75に再生出力させる。なお、送信完了メッセージに対応する音声データは、情報記憶手段60に記憶されているものとする。これにより、送信処理は完了する。
このように、利用者は、音声出力部75によって再生出力される音声により、選択エリア53へのタップ回数に応じた送信方法を確認することができる。さらに、利用者は、タップにより送信方法を選択した後、送信方法の決定を示す記号(丸印)を記入することで、任意の送信方法によって、自身が記入したアドレスへ任意のメッセージを送信することができる。
[本情報処理システムによる作用効果]
この情報処理システムによれば、電子ペン10Aにより選択エリア53をタップする回数に応じて送信方法を選択することができると共に、各選択方法を説明する音声を出力することができる。そのため、端末装置25は、1つのユーザエリアに基づいて複数の送信方法から任意の方法を選択し、利用者が記入したメッセージを容易に送信することができる。換言すると、専用ペーパー20上におけるユーザエリアのスペースを節約することができ、利用者はより自由にメッセージを記入することができる。よって、利用者は、電子ペン10Aと専用ペーパー20を利用して、選択エリア53へのタップによって選択した送信方法により、自身が記入したアドレスに基づいて任意のメッセージを送信することが可能となる。
なお、上記第1実施形態は次のように構成させて変更することもできる。
例えば、情報記憶手段60は、座標定義情報(図7参照)と方法定義情報(図9参照)とを分けて記憶しているが、ユーザエリアのエリアIDに対して、ユーザエリアの座標データ、タップ回数、音声データ、送信方法をまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。
また、上記第1実施形態では、電子ペン10Aのクロック22は現在時刻を発信することとしているが(図2参照)、クロック22は、端末装置25Aとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間を発信することとしてもよい。この場合、プロセッサ11は、ストロークの記入中に、クロック22が発信する経過時間(記入時間)を時間情報として取得し、その時間情報と、筆圧データと、X,Y座標データとを関連付け、データ通信ユニット13に対して記入情報として端末装置25Aへ送信させる。
また、上記第1実施形態では、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ時刻(前回タップ時刻)と今回タップ時刻との差分が所定読取時間を超過していると判定した場合に、情報記憶手段60に記憶されたタップ回数を初期値「0」にリセットした上でカウントアップすることとしているが、情報記憶手段60に一時記憶するのは前回タップ時刻ではなく、当該ユーザエリアに対する初回のタップ時刻(初回タップ時刻)として、初回タップ時刻と今回タップ時刻との差分が所定読取時間を超過しているか否かを判定するように構成してもよい。この場合、情報記憶手段60に記憶されている初回タップ時刻から所定読取時間を経過するまでは、タップされる都度、情報記憶手段60に記憶されているタップ回数をカウントアップすることとなり、初回タップ時刻と今回タップ時刻の差分が所定読取時間を超過した時に、情報記憶手段60に記憶されているタップ回数を「0」にリセットして新たにカウントアップすると共に今回のタップ時刻を新たな初回タップ時刻として情報記憶手段60に記憶されているタップ回数及びタップ時刻を更新することとなる。
または、タップ回数検出手段68は、読取時間の判定を行わず、電子ペン10Aの電源がオンになってからオフになるまでの間、カウントアップを続けることとしてもよい。この場合タップ回数検出手段68は、選択エリア53に対応付けてカウントしたタップ回数を情報記憶手段60に一時記憶させることとし、タップ時刻を一時記憶させる必要はない。選択エリア53に対応付けて情報記憶手段60に一時記憶されたタップ回数は、電子ペン10Aの電源がオフになるとクリアされるため、電源がオンになり利用者が新たに電子ペン10Aを使用すると、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60に記憶されているタップ回数があるか否か確認して、前回使用時のデータはクリアされているため、タップ回数の初期値「0」からカウントアップすることとなる。
また、上記第1実施形態では、情報記憶手段60に予め記憶されている音声データを音声出力部75に再生出力させたが、音声データ抽出手段69によって再生出力すべきコンテンツを抽出し、音声出力手段70によりそのコンテンツを音声合成して、音声出力部75に再生出力させるようにしてもよい。
また、上記第1実施形態では、送信方法を「FAX送信」、「メール送信」及び「SMS送信」としているが、本発明はこれに限定されるものではなく、任意の送信方法を設定することができる。さらに、上記第1実施形態では、図5に示すような専用ペーパー20を使用することとしているが、本発明はこれに限定されるものではなく、自由記入エリア51、アドレス記入エリア52及び選択エリア53を有していれば、専用ペーパー20のデザインは任意である。
また、上記第1実施形態では、検出するタップ回数が変化するとその度に、それぞれのタップ回数に対応する送信方法を説明する音声を出力している。しかし、本発明はこれに限定されるものではなく、一定時間内における選択エリア53へのタップ回数に基づいて送信方法を説明する音声を出力することとしてもよい。この場合、利用者は、予め設定された一定時間内(例えば、「3秒」等)に選択エリア53を1回以上タップする。すると、タップ回数検出手段68は、一定時間内のタップ回数を検出し、続いて、音声データ抽出手段69は、検出したタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する音声データを抽出する。そして、音声出力手段70は、音声データ抽出手段69によって抽出された音声データを音声出力部75に再生出力させる。
また、上記第1実施形態において利用者は、送信方法を決定する場合、選択エリア53をタップした後に当該選択エリア53内に送信方法の決定を示す記号(丸印)を記入することとしている。しかし、本発明はこれに限定されるものではなく、選択エリア53をタップした後に当該記号を記入する場所は、専用ペーパー20上であればどこでもよいとすることもできる。この場合、決定判定手段71は、いずれのユーザエリアであるかに関わらず、記入情報取得手段61が取得した記入情報に基づいて文字認識処理を実行し、タップ回数確定手段72は、送信方法の決定を示す記号(丸印)を認識した時点での選択エリア53へのタップ回数を確定とする。そして、送信方法特定手段73は、確定したタップ回数に基づいて方法定義情報を参照することにより、送信方法を特定する。
また、本発明は、図13に示すような専用ペーパー20を使用し、利用者が送信方法を決定する場合に、専用ペーパー20上に設けられた決定エリア54を電子ペン10Aでタップすることとしてもよい。この場合、座標定義情報には、予め決定エリア54のエリアID及び座標データが含まれており、エリア特定手段63は、記入情報に基づいて座標定義情報を参照することで決定エリア54がタップされたか否かを判定する。タップ回数確定手段72は、決定エリア54がタップされた時点での選択エリア53へのタップ回数を確定とし、送信方法特定手段73は、確定したタップ回数に基づいて方法定義情報を参照することにより、送信方法を特定する。
<第2実施形態>
次に、第2実施形態について説明する。第2実施形態と第1実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第2実施形態と第1実施形態とが異なる点は、第1実施形態の電子ペン10Aは、図2に示すようにクロック22を備えていたが、第2実施形態の電子ペン10B(10)は、図14に示すようにクロック22を備えていない。この場合、プロセッサ11は、利用者によって電子ペン10Bを用いて記入が行われる間に、筆圧データ及びX,Y座標データを取得し、それらのデータを記入情報としてデータ通信ユニット13により端末装置25B(25)へ送信する。その代わり、端末装置25Bは、現在時刻を発信するクロックを備えており、電子ペン10Bから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置25Bは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。
続いて、第2実施形態における処理フローについて説明する。図15は、端末装置25Bにおける音声出力処理のフローチャートである。
利用者は、まず、電子ペン10Bを使用して、専用ペーパー20のユーザエリアのうち、自由記入エリア51にメッセージを自由に記入する。すると、電子ペン10Bは、自由記入エリア51への記入に対応する座標データ及び筆圧データを記入情報として端末装置25Bへ送信する。
続いて、利用者は、電子ペン10Bを使用して、専用ペーパー20のアドレス記入エリア52に送信先の端末装置を特定するアドレスを記入する。すると、電子ペン10Bは、アドレス記入エリア52への記入に対応する座標データ及び筆圧データを記入情報として端末装置25Bへ送信する。
そして、利用者は、電子ペン10Bのペン先部17により、専用ペーパー20の選択エリア53をタップする(図11参照。★マークはタップを表す。)。すると、電子ペン10Bは、選択エリア53へのタップに対応する座標データ及び筆圧データを記入情報(タップ情報)として端末装置25Bへ送信する。また、利用者は、選択エリア53へのタップにより送信方法を選択すると、最後に送信方法の決定を示す記号(丸印)を記入する。すると、電子ペン10Bは、選択エリア53への記入に対応する座標データ及び筆圧データを記入情報として端末装置25Bへ送信する。
端末装置25Bの記入情報取得手段61は、電子ペン10Bによって送信された記入情報(タップ情報)を即時的且つ逐次的に取得し、記入情報と、記入情報が取得された時に端末装置25Bのクロックにより発信された現在時刻の情報とを関連付ける(ステップS21)。記入時刻に関連付けされた時間情報を、取得時刻と呼ぶ。続いて、開始終了点特定手段62は、記入情報取得手段61によって取得された記入情報(タップ情報)に含まれるストロークのデータ開始点及びデータ終了点を特定し、そのデータ開始点及びデータ終了点における座標データ及び取得時刻(タップ)を特定する。
次に、エリア特定手段63は、記入情報(タップ情報)に含まれる座標データに基づいて、情報記憶手段60が記憶した座標定義情報を参照することで、対応するユーザエリア(エリアID「A01」)を特定する(ステップS22)。続いて、エリア特定手段63は、特定したユーザエリアが自由記入エリア51であるか否かを判定する(ステップS23)。特定したユーザエリアが自由記入エリア51であると判定された場合(ステップS23;Yes)、メッセージ記入情報特定手段64は、自由記入エリア51に対応すると特定された記入情報に基づいて、自由記入エリア51に記入されたメッセージを表す画像データを作成する(ステップS24)。
一方、特定したユーザエリアが自由記入エリア51ではないと判定された場合(ステップS23;No)、エリア特定手段63は、特定したユーザエリアがアドレス記入エリア52であるか否かを判定する(ステップS25)。特定したユーザエリアがアドレス記入エリア52であると判定された場合(ステップS25;Yes)、送信先アドレス特定手段67は、アドレス記入エリア52に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、アドレス記入エリア52に記入されたアドレスを特定する(ステップS26)。
一方、特定したユーザエリアがアドレス記入エリア52ではないと判定された場合(ステップS25;No)、エリア特定手段63は、特定したユーザエリアが選択エリア53であるか否かを判定する(ステップS27)。特定したユーザエリアが選択エリア53であると判定された場合(ステップS27;Yes)、タップ回数検出手段68は、選択エリア53に対応すると特定された記入情報と、開始終了点特定手段62により特定されたデータ開始点及びデータ終了点における時間及び/又は両点間の移動距離とに基づいて、利用者によって記入されたストロークがタップであるか否かを判定し、選択エリア53においてタップされた回数(タップ回数)をカウントして検出する(ステップS28)。具体的に、タップ回数検出手段68は、エリア特定手段63が特定した選択エリア53のユーザエリア(エリアID「A03」)と、選択エリア53へのタップ回数及びタップ時刻とを対応付けて一時的に情報記憶手段60に記憶する。このとき、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60に記憶されているタップ回数があるか否かを確認して、なければタップ回数の初期値を「0」とし、選択エリア53へのタップ回数分だけ「1」を加算してカウントアップする。
既に、情報記憶手段60上において選択エリア53に対応付けてタップ回数が記憶されている場合、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ時刻(前回タップ時刻)と今回のタップ時刻(今回タップ時刻)との差分を算出し、差分が所定読取時間を超過しているか否かを判定する。判定の結果、所定読取時間(例えば3分)を超過している場合、タップ回数検出手段68は、選択エリア53に対応付けて情報記憶手段60上に記憶されたタップ回数を初期値「0」とし、カウントをリセットした上で、当該選択エリア53へのタップ回数分だけ「1」を加算することでカウントアップする。その一方、前回タップ時刻と今回タップ時刻との差分が所定読取時間を超過していない場合には、タップ回数検出手段68は、情報記憶手段60に記憶されているタップ回数に、当該ユーザエリアへのタップ回数分だけ「1」を加算してカウントアップする。そして、エリアID「A01」に対応付けてカウントしたタップ回数及び今回のタップ時刻を情報記憶手段60に一時記憶させる。
なお、タップ回数検出手段68は、データ開始点及びデータ終了点の座標データから算出される両点間の移動距離(筆記された線の長さ)に基づいて、電子ペン用媒体に記入されたストロークがタップであるか否かを判定してもよい。
音声データ抽出手段69は、タップ回数検出手段68が検出したタップ回数が変化する度に、変化後のタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する音声データを抽出する。つまり、音声データ抽出手段69は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、当該タップ回数に基づいて方法定義情報から音声データを抽出する。続いて、音声出力手段70は、音声データ抽出手段69によって抽出された音声データを音声出力部75に再生出力させる。つまり、音声出力手段70は、タップ回数検出手段68により選択エリア53へのタップ回数がカウントアップされる度に、音声データ抽出手段69が抽出した音声データに基づいて、送信方法に関する音声を音声出力部75から出力する(ステップS29)。
さらに、決定判定手段71は、エリア特定手段63により選択エリア53に対応すると特定された記入情報に基づいて、HWRやOCR等による文字認識処理を実行することにより、電子ペン10Bを使用して選択エリア53に送信方法の決定を示す記号(丸印)が記入されたか否かを判定する(ステップS30)。送信方法の決定を示す記号(丸印)が記入されていないと判定した場合(ステップS30;No)、決定判定手段71は、文字認識処理の認識ミスであるか否かを判定する(ステップS35)。認識ミスであると判定した場合(ステップS35;Yes)、決定判定手段71は、エラーメッセージに対応する音声データを音声出力部(スピーカ)75に再生出力させる(ステップS36)。なお、エラーメッセージに対応する音声データは、情報記憶手段60に記憶されているものとする。一方、認識ミスではないと判定した場合(ステップS35;No)、決定判定手段71は、ステップS21の処理に戻る。
送信方法の決定を示す記号(丸印)が記入されたと判定した場合(ステップS30;Yes)、タップ回数確定手段72は、その時点においてタップ回数検出手段68が検出したタップ回数、即ち情報記憶手段60に記憶されているタップ回数を確定する。続いて、送信方法特定手段73は、タップ回数確定手段72により確定されたタップ回数に基づいて、情報記憶手段60が記憶した方法定義情報から対応する送信方法を特定する(ステップS31)。そして、送信手段74は、画像データ作成手段65が作成した画像データを、送信先アドレス特定手段67が特定したアドレスに基づいて、送信方法特定手段73が特定した送信方法により送信する(ステップS32)。
送信手段74は、画像データ作成手段65が作成した画像データを正常に送信できたか否かを判定する(ステップS33)。正常に送信できなかったと判定した場合(ステップS33;No)、送信手段74は、ステップS32の処理を再度実行する。一方、正常に送信できたと判定した場合(ステップS33;Yes)、送信手段74は、送信完了メッセージに対応する音声データを音声出力部75に再生出力させる。なお、送信完了メッセージに対応する音声データは、情報記憶手段60に記憶されているものとする。これにより、送信処理は完了する。
このように、第2実施形態によれば、電子ペン10Bがクロックを備えていなくても、端末装置25Bが備えるクロックを利用して、記入情報(タップ情報)と、当該記入情報を電子ペン10Bから取得した取得時刻とを関連付けて記憶しておくことで、タップ情報を認識し、送信処理を実行することができる。
なお、上記第2実施形態において、端末装置25Bのクロックを、電子ペン10Bとの通信接続が確立した時点から通信接続状態が終了するまでの間、0から始まりストロークの記入中に経過していく記入時間(経過時間)を発信するようにしてもよい。また、端末装置25Bの情報記憶手段60に記憶する情報のデータ構造や、タップ回数検出手段68による読取時間の判定方法や、音声出力部(スピーカ)75により出力する音声データ等を、第1実施形態の変更例と同様に適宜変更してもよい。
上述したように、上記第1及び第2実施形態によれば、電子ペン10により選択エリア53をタップする回数に応じて送信方法を選択することができると共に、各選択方法を説明する音声を出力することができる。よって、専用ペーパー20上におけるユーザエリアのスペースを節約することができ、利用者はより自由にメッセージを記入することができる。
なお、本発明は、上記第1及び第2実施形態に限られない。
上記実施形態では、送信方法を説明する音声を利用者にフィードバックするよう構成したが、本発明はこれに限定されるものではなく、送信方法を説明するテキストや画像を再生するようにしてもよい。
また、電子ペン10内に、ペン自体又はその所有者に関するプロパティ情報(ペン情報又はペン所有者情報)を保持しておき、端末装置25から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置25に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンID、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのIDなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス/電話番号、携帯電話番号などが挙げられる。
また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン10のLED15を、赤外線を照射するLEDとし、カメラ16によって赤外線の反射量の差によって、電子ペン10でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン10のLED15を、ドットのインクを発光させる光を照射するものとし、カメラ16によってドットのインクが発光する波長の領域を検知することによって、電子ペン10でドットパターンを読み取るようにしてもよく、カメラ16によってドットパターンが読み取れれば、ドットのインクの種別やLED15の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー20における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、2次元コードパターンなどであってもよい。
また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー20を商業印刷機により大量印刷するような場合には、同一種類の電子ペン用媒体には同じドットパターンが印刷されることになる。この場合、同一種類の電子ペン用媒体を1枚1枚区別するため、電子ペン用媒体には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置25において、電子ペン10から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の電子ペン用媒体を1枚1枚区別することができる。この他、ペンIDを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置25は、記憶した識別情報もしくは識別情報とペンIDに基づいて、各電子ペン用媒体を識別することができる。他方、プリンタにより印刷する場合には、用紙1枚1枚に異なるドットパターンを割り当てて、専用ペーパー20を印刷することも可能である。この場合、各専用ペーパー20に印刷されたドットパターンは、専用ペーパー20毎に異なるため、ドットパターンによって専用ペーパー20を1枚1枚識別し区別することができる。
10,10A,10B…電子ペン、11…プロセッサ、13…データ通信ユニット、14…バッテリー、15…LED、16…カメラ、18…圧力センサ、20…専用ペーパー(電子ペン用媒体)、22…クロック、25,25A,25B…端末装置、50…専用アプリケーション、60…情報記憶手段、61…記入情報取得手段、62…開始終了点特定手段、63…エリア特定手段、64…メッセージ記入情報特定手段、65…画像データ作成手段、66…テキストデータ作成手段、67…送信先アドレス特定手段、68…タップ回数検出手段、69…音声データ抽出手段、70…音声出力手段、71…決定判定手段、72…タップ回数確定手段、73…送信方法特定手段、74…送信手段、75…音声出力部