JP2009163554A - 端末装置、それに用いられるプログラム及び情報処理システム - Google Patents

Abstract

【課題】電子ペン用媒体上で、録音した音声情報を参照することができるようにし、参照時間の短縮、操作性の向上及び対応付け機能の拡張を図る。
【解決手段】利用者が電子ペンを用いて電子ペン用帳票に記入すると、端末装置は記入内容に対応するユーザエリアを定義する。利用者が電子ペンを用いてユーザエリアをタップすると、端末装置は、音声の録音を開始し、利用者が録音終了エリアをタップすることにより録音を終了する。そして、端末装置は、ユーザエリアと録音された音声情報とを対応付けして記憶する。さらに端末装置は、何回目の対応付けであるかを示す数値Ｘを対応付けされた音声情報に付与し、記憶する。その後、利用者が、電子ペンで再生エリアをタップした後、ユーザエリアをタップすると、端末装置は、当該ユーザエリアに対応付けられた音声情報の中から、タップ回数に応じたＸを持つ音声情報を出力する。対応付けた音声情報を消去する場合は、消去したい音声情報の再生中に消去エリアをタップすると、端末装置は当該音声情報を消去する。
【選択図】図１０

Description

本発明は、電子ペンにより電子ペン用媒体に記入された記入情報を処理する技術に関する。

近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている（特許文献１参照）。アノトペンは、所定のドットパターンが印刷された専用紙（以下、「専用ペーパー」とも呼ぶ。）とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像にチェックマークを記入したりすると、ペンの移動に伴って小型カメラが専用紙に印刷されたドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある（例えば、特許文献２）。

一方、音声を録音することが可能なＩＣメモリ音声録音再生装置において、音声データの区切りを示すマークを予め記録することにより、録音した音声の頭出しを行う手法が提案されている（特許文献３を参照）。

特表２００３−５１１７６１号公報 特開２００４−１５３６１２号公報 特開平５−３３４８９３号公報

従来では、紙媒体の任意の箇所に、任意の音声情報を対応付ける方法が存在しなかった。参考技術として、電子ペンで筆記している間だけの音を録音するというものがあるが、筆記時間以下のものや、筆記時間以上の音声情報を対応付けることはできなかった。しかし、録音時間を調整したい場合や、筆記したあとで音声情報を追加したい場合もある。

そこで本発明は、紙媒体の任意の箇所に、任意の音声情報を対応付けることができ、対応付けた任意の箇所に、任意の録音情報を追加することができる端末装置、それに用いられるプログラム及び情報処理システムを提供することを目的とする。

本発明に係る端末装置は、電子ペンにより認識可能なコード化パターンが印刷された電子ペン用媒体に記入された情報を処理する端末装置であって、音声を録音する音声録音部を備え、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、前記音声録音部により、音声を録音する音声録音手段と、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、一つのユーザエリアに、前記音声録音手段が録音した一つ以上の音声情報を対応付ける対応付け手段と、前記対応付け手段が対応付けた前記ユーザエリアと前記音声情報の対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする。

上記のように構成された端末装置において、電子ペンは、認識可能なドットパターンが印刷された電子ペン用媒体に記入された内容を含むデジタルデータである記入情報を取得し、端末装置へ送信する。端末装置は、電子ペンから取得する記入情報に基づいて処理を実行することができる。端末装置とは、電子ペンの近傍に存在し、電子ペンから取得した記入情報を処理することができるＰＣ、ＰＤＡ（Personal Digital Assistants）、携帯電話等の外部機器である。なお、本発明において記入情報は、電子ペン用媒体に記入された内容に対応するデジタルデータのみではなく、電子ペン用媒体へのタップに対応するデジタルデータを含むものとする。タップとは、電子ペン用媒体を電子ペンにより叩くことである。例えば、利用者が電子ペン用媒体に任意の文字列を記入する。ここで、文字列とは、数字、ひらがな、カタカナ、ギリシャ文字、ＪＩＳ１、ＪＩＳ２など任意の１文字以上の文字の集まりである。このとき、電子ペンは、記入した文字列に対応する座標情報及び時間情報等を記入情報として取得し、端末装置に送信する。座標情報とは、電子ペン用媒体に印刷されたドットパターン上における文字列の位置座標を示すＸ／Ｙ座標データ等である。時間情報とは、電子ペンによって記入した時刻や所定のエリアをタップした時刻を示す情報である。端末装置は、取得した記入情報に含まれる座標情報に基づいて、ユーザエリアを定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアＩＤを付与する。また、端末装置は、ユーザエリアＩＤを付与したユーザエリアとユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶する。

さらに、上記端末装置は、前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段を備え、前記対応付け手段は、前記ユーザエリア特定手段が特定したユーザエリアに前記音声情報を対応付ける。例えば、利用者が音声情報を対応付けたい記入文字列に定義されたユーザエリアをタップすると、端末装置は、タップされたユーザエリアを特定し、録音された音声情報を対応付けて対応付け情報記憶手段に記憶する。

また、電子ペン用媒体は、録音の終了に対応する録音終了エリアを有しており、前記音声録音手段は、前記記入情報に含まれる時間情報及び座標情報に基づき、任意のユーザエリアへのタップに対応するタップ情報の取得時刻に録音を開始し、前記録音終了エリアへのタップに対応するタップ情報の取得時刻に録音を終了する。これにより、利用者は自由に音声の録音時間を決めることができる。

端末装置は、同一のユーザエリアに複数の音声情報を対応付けることができ、前記対応付け手段は、同一のユーザエリアにＸ回目に対応付けた音声情報に数値Ｘを付与する。即ち、数値Ｘは、同一のユーザエリアに何回目に対応付けられた音声情報であるかを示す変数である。

また、電子ペン用媒体は、前記ユーザエリアに対応付けられた前記音声情報の再生に対応する再生エリアを有しており、端末装置は、音声を出力する音声出力部を備え、前記電子ペン用媒体の前記再生エリアへのタップに対応するタップ情報を取得した後に、任意のユーザエリアへのタップに対応するタップ情報を取得することで、前記ユーザエリアへのタップに対応するタップ情報に基づいて前記ユーザエリア特定手段が特定したユーザエリアと対応付けて記憶されている前記音声情報の中から、前記ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を参照し、前記音声出力部から出力する音声出力手段、を備える。例えば、任意のユーザエリアに２回目に対応付けした音声情報を参照したい場合、利用者が、再生エリアをタップした後、当該ユーザエリアを２回タップすればよい。

また、前記電子ペン用媒体は、音声情報の対応付けられた順番の入れ替えに対応する上矢印エリアと下矢印エリアとを有しており、端末装置は、音声情報の再生中に、上矢印エリアへのタップに対応するタップ情報を取得することで、当該音声情報の数値Ｘを上位の音声情報の数値Ｘと入れ替え、下矢印エリアへのタップに対応するタップ情報を取得することで、当該音声情報の数値Ｘを下位の音声情報の前記数値Ｘと入れ替える。

さらに、電子ペン用媒体は、前記ユーザエリアに対応付けられた前記音声情報の消去に対応する消去エリアを有しており、端末装置は、前記音声出力手段が、前記音声情報を前記音声出力部から出力している間に、前記消去エリアへのタップに対応するタップ情報を取得することで、当該再生中の音声情報を、出力終了後に前記対応付け情報記憶手段から消去する音声消去手段、を備える。つまり、利用者は、対応付け情報記憶手段に記憶されている音声情報を消去したい場合、消去したい音声情報を音声出力手段により出力させ、再生中に消去エリアをタップすればよい。

また、本発明に係るプログラムは、前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、前記音声録音部により、音声を録音する音声録音手段、前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、一つの前記ユーザエリアに、前記音声録音手段が録音した一つ以上の音声情報を対応付ける対応付け手段、前記対応付け情報を記憶する対応付け情報記憶手段、として前記端末装置を機能させることを特徴とする。

上記プログラムを実行することで、上述の端末装置を実現することができる。また、上述の端末装置の各態様も同様に実現することができる。

また、本発明に係る情報処理システムによれば、利用者が電子ペン用媒体に記入すると、電子ペンは、記入内容に対応する座標情報及び時間情報等を記入情報として取得し、端末装置に送信する。端末装置は、取得した記入情報に含まれる座標情報に基づいて、記入内容に対応するユーザエリアを定義する。端末装置は、定義したユーザエリアへのタップ情報に含まれる座標情報に基づいて、タップされたユーザエリアを特定する。端末装置は、特定したユーザエリアと録音された音声情報を対応付けて対応付け情報記憶手段に記憶する。これにより、ユーザは同一のユーザエリアに音声情報を複数回対応付けることができる。

本発明に係る端末装置、それに用いられるプログラム及び情報処理システムによれば、紙媒体の任意の箇所に、任意の音声情報を対応付けることができ、対応付けた任意の箇所に、任意の録音情報を追加することができる。

以下、図面を参照して本発明の好適な実施の形態について説明する。

＜第１実施形態＞
本実施形態の情報処理システムは、図１及び図２に示すように、電子ペン１０Ａ（１０）と、専用ペーパー（電子ペン用媒体）２０と、端末装置２５Ａ（２５）とから構成される。ここで、図１は電子ペン１０Ａの使用形態を模式的に示す図であり、図２は電子ペン１０Ａの構成を示すブロック図である。専用ペーパー２０には、ドットパターン（コード化パターン）が印刷されている。電子ペン１０Ａは、通常のインクペンと同様のペン先部１７を備えており、利用者が通常のインクペンと同様にペン先部１７によって専用ペーパー２０上に文字などを書くと、電子ペン１０Ａは、ペン先部１７の移動軌跡に沿って、専用ペーパー２０に印刷されたドットパターンを局所的、連続的に読み取り、専用ペーパー２０におけるその局所位置の座標を算出し、その座標データ等を端末装置２５Ａに送信する。電子ペン１０Ａは、端末装置２５Ａへ確実にデータを送信できるよう、端末装置２５Ａの近傍で使用される。端末装置２５Ａは、受信した座標データ等に基づいて、入力文字を記憶したり、タップに応じた処理を行ったりする等、所定の処理を実行する。以下、各構成について詳細に説明する。

［専用ペーパー］
まず、専用ペーパー２０について説明する。専用ペーパー２０は、用紙上にドットパターンが印刷され、さらにその上に罫線や記入枠などの図案や項目、文言、イラスト等が印刷されたものである。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。また、図案等は、カーボンを含まない通常のインキにより印刷される。ドットパターンと図案等とは用紙に対して同時に印刷してもよいし、どちらかを先に印刷してもよい。

ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、電子ペン１０Ａを使用して記入する。

このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した記入用紙が生成できる。利用者が電子ペン１０Ａを使用して記入用紙に記入すれば、その電子データが自動的に取得される。

図５に、電子ペン用媒体（以下、「記入帳票」と呼ぶ。）の例を示す。ドットパターンは、記入帳票のほぼ全面に印刷されており、その上に各エリアの枠線等が、カーボンを含まない通常のインキにより印刷されている。利用者は、ドットパターンを意識することがなく、電子ペン１０Ａを使用して各エリアに記入する。

専用ペーパー２０上のエリアは大きく２種類のエリアに分けることができる。１つは記入エリア６１であり、電子ペン１０による記入内容をそのまま情報として取り扱うエリアである。もう１つは機能エリア６２であり、エリア内を電子ペン１０でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図５の例における録音終了エリア、再生エリア及び消去エリアがこれに該当する。

これら３つのエリアは、各エリアに定義されている処理の実行指示を、近傍の端末装置２５へ送信する際に使用される。

［ドットパターン］
続いて、ドットパターンについて説明する。図３は、専用ペーパー２０に印刷されたドットパターンのドットとそのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置が格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトされているかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組合せにより、専用ペーパー２０上の位置座標が決定されるよう構成されている。

図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２mmの範囲内に６×６個のドットが、専用ペーパー上のどの部分から６×６ドットを取ってもユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがその専用ペーパー上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１０Ａによって行われる。

［電子ペン］
次に電子ペン１０Ａについて説明する。図２に示すように、電子ペン１０Ａは、その内部にプロセッサ１１、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６、圧力センサ１８及びクロック２２を備える。また、電子ペン１０Ａは通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。

ＬＥＤ１５は、電子ペン１０Ａのペン先付近に取り付けられており、専用ペーパー２０上のペン先部１７近傍（領域１５ａ）に向けて、赤外線を照明する（図１参照）。領域１５ａは、ペン先部１７が専用ペーパー２０に接触する位置とはわずかにずれている。カメラ１６は、ＬＥＤ１５によって照明された領域１５ａ内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１１に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１５によって照射された赤外線は、ドットの部分でドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。したがって、カメラ１６の撮影により、赤外線の反射量の違いから、カーボンを含むドットの領域とそれ以外の領域を区別することができる。たとえ撮影領域に罫線や枠などが印刷されてあったとしても、罫線や枠などのインクには、カーボンが含まれていないため、ドットパターンを認識することができる。なお、カメラ１６による撮影領域は、図４（ａ）に示すような約２mm×約２mmの大きさを含む範囲であり、カメラ１６の撮影は、毎秒５０〜１００回程度行われる。

バッテリー１４は電子ペン１０Ａ内の各部品に電力を供給するためのものであり、例えば電子ペン１０Ａのキャップ（図示せず）の脱着により電子ペン１０Ａ自体の電源のオン／オフを行うよう構成させてもよい。クロック２２は、現在時刻（タイムスタンプ）を発信し、プロセッサ１１に供給する。圧力センサ１８は、利用者が電子ペン１０Ａにより専用ペーパー２０上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。

プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０Ａで専用ペーパー２０上に文字などを書くと、ペン先部１７には筆圧がかかり、圧力センサ１８によって所定値以上の筆圧が検出されたときに、プロセッサ１１は、利用者が記入を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動させる。

プロセッサ１１は、利用者の記入が行われる間、カメラ１６によって供給される画像データのドットパターンから、利用者が記入するストロークの専用ペーパー２０上でのＸ，Ｙ座標（単に「座標データ」とも呼ぶ）を連続的に算出していく。すなわち、プロセッサ１１は、カメラ１６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ，Ｙ座標データを算出する。そしてプロセッサ１１は、現在時刻（タイムスタンプ）を発信するクロック２２から時間情報を取得し、その時間情報と、筆圧データ及びＸ，Ｙ座標データとを関連付け、これらの情報を記入情報として、データ通信ユニット１３に対して、端末装置２５Ａへ送信させる。ここで、一枚の専用ペーパー（電子ペン用媒体）２０内の６×６のドットパターンは、その専用ペーパー２０内で重複することはないため、利用者が電子ペン１０Ａでユーザエリアに必要事項を記入したりタップしたりすると、その記入やタップが専用ペーパー２０のどのユーザエリアに対応するものであるかを、座標データから特定することができる。

データ通信ユニット１３は、プロセッサ１１から時間情報、筆圧データ、Ｘ，Ｙ座標データを記入情報として受けると、端末装置２５Ａへ無線送信する。データ通信ユニット１３による送信は、Bluetooth（登録商標）の無線送信によると好適である。なお、ＵＳＢケーブルを使用した有線送信、端子などの接触によるデータ送信など、他の方法によって、データ通信ユニット１３から端末装置２５Ａへデータ送信を行ってもよい。データ通信ユニット１３による端末装置２５Ａへの記入情報の送信は、即時的且つ逐次的に行われる。

［端末装置］
次に、端末装置２５Ａについて図６を参照して説明する。端末装置２５Ａは、ハードウェアとして、電子ペン１０Ａとのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、スピーカ、ディスプレイ等で構成される、ＰＣや携帯電話、或いは携帯端末である。図６は、端末装置２５Ａの機能ブロック図である。端末装置２５Ａは、電子ペン１０Ａから取得したＸ，Ｙ座標データ等の記入情報に基づいて、専用アプリケーションを実行することで所定の処理を行う。

図６に示すように、端末装置２５Ａは、情報記憶手段３１、記入情報取得手段３２、音声録音手段３３、ユーザエリア定義手段３４、ユーザエリア特定手段３５、対応付け手段３６、音声出力手段３７、音声消去手段３８、音声録音部３９、音声出力部４０、を備える。物理的には、情報記憶手段３１は、ＲＯＭやＲＡＭといったメモリによって構成され、記入情報取得手段３２は、データ通信ユニット、プロセッサ等によって構成され、音声録音部３９はレコーダ等で、音声出力部４０はスピーカ等で、構成される。また、ユーザエリア定義手段３４、ユーザエリア特定手段３５、対応付け手段３６、音声出力手段３７、音声消去手段３８は、ＣＰＵ等のプロセッサに組み込まれている。

情報記憶手段３１は、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶するメモリである。すなわち、図７に示すように、情報記憶手段３１には、ユーザエリアＩＤとユーザエリアの位置座標領域を表す座標データとを対応付けたユーザエリア定義情報が記憶されている。エリアＩＤ「Ａ０１」に関連して座標データ「（x4,y4)，Ｈ4，Ｗ4」が記憶され、エリアＩＤ「Ａ０２」に関連して座標データ「（x5,y5)，Ｈ5，Ｗ5」が記憶されている。各ユーザエリアの座標データを構成するデータ(xn,yn)、Hn、Wnは、図８に示すように、それぞれ、ドットパターン上におけるユーザエリアの頂点Ｖ(xn,yn)の座標、Ｙ軸方向の高さ(Height)、Ｘ軸方向の幅(Width)を意味する。すなわち、情報記憶手段３１は、本発明におけるユーザエリア定義情報記憶手段として機能する。また、以下に述べるように、情報記憶手段３１は、対応付け情報記憶手段としても機能する。

記入情報取得手段３２は、電子ペン１０Ａのデータ通信ユニット１３によって送信される専用ペーパー２０への記入内容に対応する記入情報を取得する手段であり、Bluetooth（登録商標）による通信方式の電波を受信するアンテナ等により構成される。記入情報には、タップ、文字、記号、絵柄等を記入する際に取得する情報が含まれる。特に、タップにより取得される記入情報をタップ情報と呼ぶ。

音声録音手段３３は、任意のユーザエリアへのタップに対応するタップ情報の取得時刻に、録音開始指示を音声録音部３９に出力し、録音終了エリアへのタップに対応するタップ情報の取得時刻に録音終了指示を音声録音部３９に出力する。これによれば、音声情報の録音時間は利用者が自由に決めることができる。

ユーザエリア定義手段３４は、記入情報取得手段３２が取得した記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する。具体的には、記入内容の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアＩＤを付与する。ユーザエリアとして登録された座標データとエリアＩＤはユーザエリア定義情報として情報記憶手段３１に記憶される。ただし、ユーザエリア定義情報には録音終了エリア、再生エリア及び消去エリアと、各エリアの位置座標領域を表す座標データとを対応付けた機能エリア定義情報が予め含まれている（図７参照）。

ユーザエリア特定手段３５は、記入情報取得手段３２が取得した記入情報（タップ情報）に含まれる座標データに基づいて、情報記憶手段３１が記憶したユーザエリア定義情報（図７参照）を参照することにより、電子ペン１０Ａによりタップされたユーザエリアを特定する。

対応付け手段３６は、ユーザエリア特定手段３５が特定したユーザエリアに、音声録音手段３３により録音された音声情報を対応付けて、情報記憶手段３１に記憶する。また、対応付け手段３６は、同一のユーザエリアに音声情報を複数回対応付けることが可能であり、Ｘ回目に対応付けた音声情報に数値Ｘを付与する。数値Ｘは、同一のユーザエリアに何回目に対応付けられた音声情報であるかを示す変数である。例えば、利用者が同一のユーザエリアに２回、音声情報を対応付けた場合、端末装置は、１回目に対応付けた音声情報にＸ＝１を、２回目に対応付けた音声情報にＸ＝２を付与し、情報記憶手段３１に記憶する（図９参照）。

音声出力手段３７は、記入情報取得手段３２が記入帳票上の再生エリアへのタップに対応するタップ情報を取得した後に取得した、任意のユーザエリアへのタップに対応するタップ情報に基づいて、ユーザエリア特定手段３５が特定したユーザエリアと対応付けて記憶されている前記音声情報の中から、ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を参照し、音声出力部４０から出力する。

音声消去手段３８は、音声出力手段３７が音声情報を音声出力部４０から出力している間に、記入帳票上の消去エリアへのタップに対応するタップ情報を取得することで、当該再生中の音声情報を、出力終了後に前記対応付け情報記憶手段から消去する。

端末装置２５Ａは、専用アプリケーションがインストールされることにより、上述の各手段が構成される。

［専用アプリケーション］
次に、専用アプリケーション５０について図１０を参照して説明する。図１０は、専用アプリケーション５０のモジュール構成を示す。専用アプリケーション５０は、電子ペン１０Ａが専用ペーパー２０に記入した内容に対応するデジタルデータである記入情報に基づいて所定の処理を実行するものであって、ダウンロード等により予め端末装置２５Ａにインストールされている。

専用アプリケーションは、原則として専用ペーパー２０に対応付けられている。つまり、専用ペーパー２０の種類が異なれば、その種類に応じて各専用ペーパー２０に記入されたデータを処理する専用アプリケーションは異なる。しかし、専用ペーパー２０と専用アプリケーションの対応は必ずしも１対１である必要はなく、複数種類の専用ペーパー２０に１つの専用アプリケーションを対応付けてデータを処理させてもよい。また、１種類の専用ペーパー２０に複数の専用アプリケーションを対応付けてデータを処理させてもよい。

図１０に示すように、専用アプリケーション５０は、情報記憶モジュール１０１、記入情報取得モジュール１０２、音声録音モジュール１０３、ユーザエリア定義モジュール１０４、ユーザエリア特定モジュール１０５、対応付けモジュール１０６、音声出力モジュール１０７、音声消去モジュール１０８を有する。

情報記憶モジュール１０１は、情報記憶手段３１に対して、図７に示すように、ユーザエリアと、ドットパターン上におけるユーザエリアの位置座標を示す座標データとを対応付けて記憶させるモジュールである。また、情報記憶モジュール１０１は、情報記憶手段３１に対して、図９に示すように、ユーザエリア定義手段３４により定義されたユーザエリアと音声録音手段３３により録音された音声情報を対応付けて情報記憶手段３１に記憶させる機能を有する。

記入情報取得モジュール１０２は、記入情報取得手段３２を用いて、専用ペーパー２０への電子ペン１０Ａによる記入に対応する記入情報（タップ情報含む）を取得する機能を有する。

音声録音モジュール１０３は、音声録音手段３３を用いて、電子ペン１０Ａによる記入に対応する音声を録音する機能を有する。

ユーザエリア定義モジュール１０４は、記入情報取得モジュール１０２の実行によって取得された記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを自動的に定義する機能を有する。

ユーザエリア特定モジュール１０５は、記入情報（タップ情報）に含まれる座標データに基づいて、図７に示すユーザエリア定義情報を参照することで、タップ情報に対応するユーザエリアを特定する機能を有する。このとき、ユーザエリア特定モジュール１０５は、タップ情報に基づいて、電子ペン１０Ａによりタップされたユーザエリアを特定するものであって、ストローク開始点及びストローク終了点の双方が含まれるユーザエリアを特定するようにするとよい。

対応付けモジュール１０６は、対応付け手段３６を用いて、ユーザエリア特定モジュール１０５の実行によって特定されたユーザエリアと、音声録音モジュール１０３の実行によって録音された音声情報を対応付ける機能を有する。

音声出力モジュール１０７は、ユーザエリア特定モジュール１０５の実行によって特定されたユーザエリアと対応付けて、情報記憶モジュール１０１によって情報記憶手段３１に格納されている音声情報を音声出力手段３７を用いて音声出力部４０から出力させる機能を有する。

音声消去モジュール１０８は、音声出力モジュール１０７の実行によって音声出力部４０から出力された音声情報を、音声消去手段３８を用いて情報記憶手段３１から消去する機能を有する。

［本情報処理システムによるユーザエリア定義処理フロー］
次に、第１実施形態の情報処理システムにより行われるユーザエリア定義処理フローについて図１１及び図１４を参照して説明する。図１１は、第１実施形態のユーザエリア定義処理における記入帳票上の電子ペン１０Ａの使用形態を示す図である。図１４は、端末装置２５Ａが実行するユーザエリア定義処理のフローチャートである。

利用者は、電子ペン１０Ａにより、記入帳票に任意の記入を行う。例えば、記入帳票を育児の健康管理帳として使用する場合、図１１（ａ）のように、記入帳票に「５月１０日 予防接種」の文字列を記入する。すると、電子ペン１０Ａは、記入に対応する座標情報及び時間情報等を記入情報として端末装置２５Ａへ送信する。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから記入情報を取得する（ステップＳ１）。端末装置２５Ａのユーザエリア定義手段３４は、取得した記入情報に含まれる時間情報に基づいて、次の記入情報を取得するまでの時間Ｔをカウントする（ステップＳ２）。ユーザエリア定義手段３４は、次の記入情報を取得するまでの時間を「Ｔ」とし、経過時間Ｔがアプリケーションで設定した判定時間Ｚよりも大きいか否かを判定する（ステップＳ３）。経過時間Ｔが判定時間Ｚよりも小さいと判定した場合（ステップＳ３；Ｎｏ）、記入情報の取得を続行する。経過時間Ｔが判定時間Ｚよりも大きいと判定した場合（ステップＳ３；Ｙｅｓ）、ユーザエリア定義手段３４により、記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを定義する（ステップＳ４）。具体的には、記入内容である「５月１０日 予防接種」の外側に接するように四角形の枠を認識し、当該四角形のエリアをユーザエリアとして登録し、エリアＩＤを付与する（図７、図１１（ｂ）参照）。

なお、所定の判定時間Ｚは、ユーザによる記入が終了したと判断できる程度に長い無記入時間に設定される。例えば、複数の文字からなる文字列を記入する際に１つの文字の記入後、次の文字の記入開始までに要する時間が一般的に０．５〜１秒程度であるとするならば、所定時間Ｚはそれより十分に長い時間（例えば３秒）に設定される。

［本情報処理システムによる音声情報対応付け処理フロー］
次に、第１実施形態の情報処理システムにより行われる音声情報対応付け処理フローについて図１２及び図１５を参照して説明する。図１２は、第１実施形態の音声情報対応付け処理における記入帳票上の電子ペン１０Ａの使用形態を示す図である。図１５は、端末装置２５Ａが実行する音声情報対応付け処理のフローチャートである。

利用者は、ユーザエリア定義手段３４により定義されたユーザエリアをタップする。例えば、「５月１０日 予防接種」の文字列に定義されたユーザエリアに音声を対応付けたい場合、当該ユーザエリアを電子ペン１０Ａでタップする（図１２（ａ）参照。★マークはタップを表す）。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから、ユーザエリアへのタップに対応するタップ情報を取得する（ステップＳ１１）。ユーザエリア特定手段３５は、取得したタップ情報に含まれる座標データに基づいて、情報記憶手段３１が記憶したユーザエリア定義情報（図７参照）を参照することにより、電子ペン１０Ａによりタップされたユーザエリアを特定する（ステップＳ１２）。音声録音手段３３はタップ情報を取得すると、録音開始指示を音声録音部３９に出す（ステップＳ１３）。音声録音部３９は録音開始指示を受け、録音を開始する（ステップＳ１４）。

音声録音手段３３は、記入帳票上の録音終了エリアがタップされたか否かを判定することにより、録音を終了するか否かを判定する（ステップＳ１５）。音声録音手段３３が録音終了エリアがタップされていないと判定した場合（ステップＳ１５；Ｎｏ）、録音を続行する。一方、音声録音手段３３が録音終了エリアがタップされたと判定した場合（ステップＳ１５；Ｙｅｓ）、録音終了指示を音声録音部３９に出す（ステップＳ１６）。音声録音部３９は録音終了指示を受け、録音を終了し、対応付け手段３６は、音声録音手段３３が録音した音声情報と、ユーザエリア特定手段３５が特定したユーザエリアとを対応付ける（ステップＳ１７）。例えば、利用者の「５月１０日 本日は晴天なり。予防接種をした。」という音声を録音し、利用者が、録音終了エリアをタップすると、「５月１０日 本日は晴天なり。予防接種をした。」という音声情報が、「５月１０日 予防接種」の文字列に定義されたユーザエリアに対応付けられる（図１２（ａ）参照）。さらに、対応付け手段３６は、同一のユーザエリアに対しての何回目の対応付けであるかを示す数値Ｘを音声録音手段３３が録音した音声情報に付加して情報記憶手段３１に記憶する（ステップＳ１８）。例えば、図１２（ｂ）のように、「５月１０日 予防接種」の文字列に定義されたユーザエリアに２回目となる「５月１１日 予防接種をした箇所が腫れてきた。」という利用者の音声を録音した場合、「５月１０日 予防接種」の文字列に定義されたユーザエリアと対応付けられる音声情報「５月１１日 予防接種をした箇所が腫れてきた。」にはＸ＝２が付与され、記憶される（図９参照）。

［本情報処理システムによる音声情報再生消去処理フロー］
次に、第１実施形態の情報処理システムにより行われる音声情報再生消去処理フローについて図１３及び図１６を参照して説明する。図１３は、第１実施形態の音声情報再生消去処理における記入帳票上の電子ペン１０Ａの使用形態を示す図である。図１６は、端末装置２５Ａが実行する音声情報再生消去処理のフローチャートである。

利用者は、まず記入帳票上の再生エリアをタップする。端末装置２５Ａの記入情報取得手段３２は、電子ペン１０Ａから、再生エリアのタップに対応するタップ情報を取得する（ステップＳ２１）。次に、利用者は、ユーザエリア定義手段３４により定義されたユーザエリアをタップする。記入情報取得手段３２は、電子ペン１０Ａから、ユーザエリアへのタップに対応するタップ情報を取得する（ステップＳ２２）。端末装置２５Ａは、取得したユーザエリアへのタップ情報に基づき、当該ユーザエリアがタップされた回数（Ｔｉｍｅｓ変数）を記憶する（ステップＳ２３）。ユーザエリア特定手段３５は、取得したタップ情報に含まれる座標データに基づいて、情報記憶手段３１が記憶したユーザエリア定義情報（図７参照）を参照することにより、電子ペン１０Ａによりタップされたユーザエリアを特定する（ステップＳ２４）。端末装置２５Ａの音声出力手段３７は、ユーザエリア特定手段３５が特定したユーザエリアに対応付けて情報記憶手段３１に記憶されている音声情報の中からＴｉｍｅｓ変数と同じ数値Ｘを付与されている音声情報を参照する（ステップＳ２５）。

音声出力手段３７は、参照しようとしている音声情報が情報記憶手段３１に存在するか否かを判定する（ステップＳ２６）。参照しようとしている音声情報が情報記憶手段３１に存在すると判定された場合（ステップＳ２６；Ｙｅｓ）、該当する音声情報を音声出力部４０より出力する（ステップＳ２７）。一方、参照しようとしている音声情報が情報記憶手段３１に存在しないと判定された場合（ステップＳ２６；Ｎｏ）、エラーメッセージを音声出力部４０より出力する（ステップＳ２８）。例えば、図１３（ａ）では、再生エリアをタップした後、「５月１０日 予防接種」の文字列に定義されたユーザエリアを１回タップしているので、当該ユーザエリアに１回目に対応付けられた「５月１０日 本日は晴天なり。予防接種をした。」という音声が音声出力部４０より出力される。図１３（ｂ）では、再生エリアをタップした後、「５月１０日 予防接種」の文字列に定義されたユーザエリアを２回タップしているので、当該ユーザエリアに２回目に対応付けられた「５月１１日 予防接種をした箇所が腫れてきた。」という音声が音声出力部４０より出力される。

音声消去手段３８は、消去エリアがタップされたか否かを判定する（ステップＳ２９）。消去エリアがタップされなかったと判定された場合（ステップＳ２９；Ｎｏ）、処理を終了する。一方、音声情報の再生中に、消去エリアがタップされたと判定された場合（ステップＳ２９；Ｙｅｓ）、再生が終了後、当該音声情報を情報記憶手段３１より消去する（ステップＳ３０）。例えば、図１３（ｃ）では、「５月１０日 予防接種」の文字列に定義されたユーザエリアに２回目に対応付けられた「５月１１日 予防接種をした箇所が腫れてきた。」という音声情報の再生中に、消去エリアがタップされているので、情報記憶手段３１から「５月１１日 予防接種をした箇所が腫れてきた。」という音声情報が消去される。なお、音声消去手段３８は、音声情報の再生中であるか否かを記入情報取得手段３２が取得した消去エリアへのタップに対応するタップ情報に含まれる時間情報に基づいて判断する。

［本情報処理システムによる作用効果］
この情報処理システムによれば、電子ペン用媒体に任意の箇所に、任意の音声情報を対応付けることができ、さらに、電子ペン用媒体の同一の箇所に複数回音声情報を対応付けることができる。これにより、参照時間の短縮、操作性の向上及び対応付け機能の拡張を図ることができる。

なお、上記第１実施形態は次のように構成させて変更することもできる。

例えば、情報記憶手段３１は、ユーザエリア定義情報（図７参照）とユーザエリアと音声情報との対応付け（図８参照）とを分けて記憶しているが、ユーザエリアのエリアＩＤに対して、録音した音声情報をまとめて関連付けて記憶させるようにしてもよく、これらの情報のデータ構造は任意に設定することができる。

また、第１実施形態では、音声録音手段３３は利用者が任意のユーザエリアにタップすると、録音を開始し、利用者が録音終了エリアにタップすると、録音を終了するとしているが、本発明はこれに限定されない。例えば、記入帳票上に録音開始／終了エリアを作成し、利用者が録音開始／終了エリアにタップした後、任意のユーザエリアにタップすると録音を開始し、再び録音開始／終了エリアにタップすると録音を終了することとしてもよい。また、記入帳票上に録音エリアを作成し、利用者が録音エリアにタップした後、任意のユーザエリアにタップすると、録音を開始し、再びユーザエリアをタップすると録音を終了することとしてもよい。もしくは、一定時間内のタップ回数で指示を区別してもよい。即ち、利用者が任意のユーザエリアを一定時間内にｎ回タップしたら録音を開始し、再び一定時間内に同一のユーザエリアをｎ回タップしたら録音を終了するといった態様も可能である。

第１実施形態では、音声出力手段３７は、利用者が再生エリアにタップした後、任意のユーザエリアにタップすると、ユーザエリアと対応付けて記憶されている音声情報の中から、ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を出力するとしているが、音声出力手段３７においても前述の例と同様の態様が可能である。例えば、記入帳票上に再生開始／終了エリアを作成し、利用者が再生開始／終了エリアにタップした後、任意のユーザエリアにタップすると、ユーザエリアと対応付けて記憶されている音声情報の中から、任意のユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を出力し、再び録音開始／終了エリアにタップすると再生を終了することとしてもよい。また、一定時間内のタップ回数で指示を区別してもよい。即ち、利用者が任意のユーザエリアを一定時間内にｎ’回タップしたら、ユーザエリアと対応付けて記憶されている音声情報の中から、ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を出力し、再び一定時間内に同一のユーザエリアをｎ’回タップしたら再生を終了するといった態様も可能である。

第１実施形態では、音声消去手段３８は、音声情報の再生中に、利用者が消去エリアをタップすると、当該再生中の音声情報を、出力終了後に情報記憶手段３１から消去するという随時消去の態様をとっているが、全消去や一部消去といった態様も可能である。全消去の場合、利用者が、消去エリアをタップした後、消去したい音声情報が対応付けられたユーザエリアをタップすると、音声消去手段３８は、消去確認メッセージを出力する。確認した利用者が再び消去エリアをタップすると、音声消去手段３８は、当該ユーザエリアに対応付けられた音声情報を全て情報記憶手段３１から消去する。一部消去の場合、利用者が、消去エリアをタップした後、消去したい音声情報が対応付けられたユーザエリアをタップすると、音声消去手段３８は、消去確認メッセージを出力後、ユーザエリアと対応付けて記憶されている音声情報の中から、ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を出力する。確認した利用者が音声情報の再生中に消去エリアをタップすると、音声消去手段３８は、当該音声情報を情報記憶手段３１から消去する。また、一定時間内のタップ回数で指示を区別してもよい。即ち、全消去の場合は、利用者が消去したい音声情報が対応付けられたユーザエリアを一定時間内にｎ’’回タップしたら、音声消去手段３８は、消去確認メッセージを出力し、確認した利用者が再び一定時間内に同一のユーザエリアをｎ’’回タップしたら当該ユーザエリアに対応付けられた音声情報を全て情報記憶手段３１から消去する。一部消去の場合は、利用者が消去したい音声情報が対応付けられたユーザエリアを一定時間内にｎ’’回タップしたら、音声消去手段３８は、消去確認メッセージを出力後、ユーザエリアと対応付けて記憶されている音声情報を出力する。確認した利用者が消去したい音声情報の再生中に再び一定時間内に同一のユーザエリアをｎ’’回タップすると、音声消去手段３８は、当該音声情報を情報記憶手段３１から消去する。随時消去する場合は、利用者が消去したい音声情報の再生中にユーザエリアをｎ’’回タップすると、音声消去手段３８は、消去確認メッセージを出力する。確認した利用者が再び一定時間内に同一のユーザエリアをｎ’’回タップすると、端末装置２５Ａは、再生中の音声情報を情報記憶手段３１から消去する。

さらに、タップ回数で録音、再生、削除、の指示を区別することも可能である。利用者が指示の対象となるユーザエリアをタップすると、端末装置２５Ａは、タップ回数のカウント値に応じたメッセージを出力する。例えば、タップ回数が１回なら「録音しますか？」、２回なら「再生しますか？」、３回なら「消去しますか？」と出力する。記入帳票上にＯＫエリアと終了エリアを作成し、録音及び再生の場合、利用者が、所望の操作を促すメッセージが出力されるまでユーザエリアをタップし、「録音しますか？」及び「再生しますか？」のメッセージを確認後、ＯＫエリアをタップすると、録音及び再生を開始し、終了エリアをタップすると、録音及び再生を終了する。全消去の場合、利用者が消去したい音声情報が対応付けられたユーザエリアをタップしたら、端末装置２５Ａは、タップ回数のカウント値に応じたメッセージを出力する。利用者が「消去しますか？」のメッセージを確認後、ＯＫエリアをタップすると、当該ユーザエリアに対応付けられた音声情報を全て情報記憶手段３１から消去する。一部消去の場合、利用者が消去したい音声情報が対応付けられたユーザエリアをタップしたら、端末装置２５Ａは、タップ回数のカウント値に応じたメッセージを出力する。利用者が「消去しますか？」のメッセージを確認後、ＯＫエリアをタップすると、端末装置２５Ａは、消去確認メッセージを出力後、当該ユーザエリアに対応付けられた音声情報を再生する。利用者が消去したい音声情報の再生中に再びＯＫエリアをタップすると、端末装置２５Ａは、再生中の音声情報を情報記憶手段３１から消去する。随時消去する場合は、利用者が消去したい音声情報の再生中にユーザエリアをタップすると、端末装置２５Ａは、タップ回数のカウント値に応じたメッセージを出力する。利用者が、所望の操作を促すメッセージが出力されるまでユーザエリアをタップし、「消去しますか？」のメッセージを確認後、ＯＫエリアをタップすると、端末装置２５Ａは、再生中の音声情報を情報記憶手段３１から消去する。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態と第１実施形態とが同様の部分については同じ符号を付し、適宜説明を省略する。第２実施形態と第１実施形態とが異なる点は、第１実施形態の電子ペン１０Ａは、図２に示すようにクロック２２を備えていたが、第２実施形態の電子ペン１０Ｂ（１０）は、図１７に示すようにクロック２２を備えていない。この場合、プロセッサ１１は、利用者によって電子ペン１０Ｂを用いて記入が行われる間に、Ｘ，Ｙ座標データ等を取得し、それらのデータを記入情報としてデータ通信ユニット１３により端末装置２５Ｂ（２５）へ送信する。その代わり、端末装置２５Ｂは、現在時刻を発信するクロックを備えており、電子ペン１０Ｂから記入情報を取得した取得時刻を関連付けて記憶しておく。つまり、端末装置２５Ｂは、記入情報と、記入情報の取得時刻とを関連付けて記憶しておく。

続いて、第２実施形態におけるユーザエリア定義処理フローについて図１８を参照して説明する。図１８は、端末装置２５Ｂが実行するユーザエリア定義処理のフローチャートである。

利用者は、電子ペン１０Ｂにより、記入帳票に任意の記入を行う。すると、電子ペン１０Ｂは、記入に対応する座標情報及び時間情報等を記入情報として端末装置２５Ｂへ送信する。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂから記入情報を取得し、記入情報と、記入情報が取得された時に端末装置２５Ｂのクロックにより発信された現在時刻の情報（以下、時刻情報と呼ぶ。）とを関連付ける（ステップＳ３１）。端末装置２５Ｂのユーザエリア定義手段３４は、記入情報と関連付けた時刻情報に基づいて、次の記入情報を取得するまでの時間Ｔをカウントする（ステップＳ３２）。ユーザエリア定義手段３４は、次の記入情報を取得するまでの時間を「Ｔ」とし、経過時間Ｔがアプリケーションで設定した判定時間Ｚよりも大きいか否かを判定する（ステップＳ３３）。経過時間Ｔが判定時間Ｚよりも小さいと判定した場合（ステップＳ３３；Ｎｏ）、記入情報の取得を続行する。経過時間Ｔが判定時間Ｚよりも大きいと判定した場合（ステップＳ３３；Ｙｅｓ）、ユーザエリア定義手段３４により、記入情報に含まれる座標情報に基づいて記入内容に対応するユーザエリアを定義する（ステップＳ３４）。

次に、第２実施形態における音声情報対応付け処理フローについて図１９を参照して説明する。図１９は、端末装置２５Ｂが実行する音声情報対応付け処理のフローチャートである。

利用者は、ユーザエリア定義手段３４により定義されたユーザエリアをタップする。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂから、ユーザエリアへのタップに対応するタップ情報を取得し、記入情報と時刻情報とを関連付ける（ステップＳ４１）。ユーザエリア特定手段３５は、取得したタップ情報に含まれる座標データに基づいて、情報記憶手段３１が記憶したユーザエリア定義情報（図７参照）を参照することにより、電子ペン１０Ｂによりタップされたユーザエリアを特定する（ステップＳ４２）。音声録音手段３３はタップ情報を取得すると、録音開始指示を音声録音部３９に出す（ステップＳ４３）。音声録音部３９は録音開始指示を受け、録音を開始する（ステップＳ４４）。

音声録音手段３３は、記入帳票上の録音終了エリアがタップされたか否かを判定することにより、録音を終了するか否かを判定する（ステップＳ４５）。音声録音手段３３が録音終了エリアがタップされていないと判定した場合（ステップＳ４５；Ｎｏ）、録音を続行する。一方、音声録音手段３３が録音終了エリアがタップされたと判定した場合（ステップＳ４５；Ｙｅｓ）、録音終了指示を音声録音部３９に出す（ステップＳ４６）。音声録音部３９は録音終了指示を受け、録音を終了し、対応付け手段３６は、音声録音手段３３が録音した音声情報と、ユーザエリア特定手段３５が特定したユーザエリアとを対応付ける（ステップＳ４７）。さらに、対応付け手段３６は、同一のユーザエリアに対しての何回目の対応付けであるかを示す数値Ｘを音声録音手段３３が録音した音声情報に付加して情報記憶手段３１に記憶する（ステップＳ４８）。

次に、第２実施形態における音声情報再生消去処理フローについて図２０を参照して説明する。図２０は、端末装置２５Ｂが実行する音声情報再生消去処理のフローチャートである。

利用者は、まず記入帳票上の再生エリアをタップする。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂから、再生エリアのタップに対応するタップ情報を取得し、記入情報と時刻情報とを関連付ける（ステップＳ５１）。次に、利用者は、ユーザエリア定義手段３４により定義されたユーザエリアをタップする。端末装置２５Ｂの記入情報取得手段３２は、電子ペン１０Ｂから、ユーザエリアへのタップに対応するタップ情報を取得し、記入情報と時刻情報とを関連付ける（ステップＳ５２）。端末装置２５Ｂは、取得したユーザエリアへのタップ情報に基づき、当該ユーザエリアがタップされた回数（Ｔｉｍｅｓ変数）を記憶する（ステップＳ５３）。ユーザエリア特定手段３５は、取得したタップ情報に含まれる座標データに基づいて、情報記憶手段３１が記憶したユーザエリア定義情報（図７参照）を参照することにより、電子ペン１０Ｂによりタップされたユーザエリアを特定する（ステップＳ５４）。端末装置２５Ｂの音声出力手段３７は、ユーザエリア特定手段３５が特定したユーザエリアに対応付けて情報記憶手段３１に記憶されている音声情報の中からＴｉｍｅｓ変数と同じ数値Ｘを付与されている音声情報を参照する（ステップＳ５５）。音声出力手段３７は、参照しようとしている音声情報が情報記憶手段３１に存在するか否かを判定する（ステップＳ５６）。参照しようとしている音声情報が情報記憶手段３１に存在すると判定された場合（ステップＳ５６；Ｙｅｓ）、該当する音声情報を音声出力部４０より出力する（ステップＳ５７）。一方、参照しようとしている音声情報が情報記憶手段３１に存在しないと判定された場合（ステップＳ５６；Ｎｏ）、エラーメッセージを音声出力部４０より出力する（ステップＳ５８）。

音声消去手段３８は、消去エリアがタップされたか否かを判定する（ステップＳ５９）。消去エリアがタップされなかったと判定された場合（ステップＳ５９；Ｎｏ）、処理を終了する。一方、音声情報の再生中に、消去エリアがタップされたと判定された場合（ステップＳ５９；Ｙｅｓ）、再生が終了後、当該音声情報を情報記憶手段３１より消去する（ステップＳ６０）。なお、音声消去手段３８は、音声情報の再生中であるか否かを記入情報取得手段３２が取得した消去エリアへのタップに対応するタップ情報に関連付けた時刻情報に基づいて判断する。

＜変形例＞
上記実施形態では、利用者が音声の録音中に「録音終了エリア」をタップすることで録音を終了することとなっているが、「録音終了エリア」を「終了エリア」とし、利用者が音声の再生中に「終了エリア」をタップすることで再生を終了するというように、再生の終了にも対応するエリアとして併用してもよい。

上記実施形態では、利用者が、定義済みのユーザエリアへタップすることで録音を開始することとなっているが、記入帳票に「録音開始エリア」を設けて、利用者が「録音開始エリア」へタップすることで録音を開始することとしてもよい。

上記実施形態では、１つのユーザエリアに複数の音声情報を対応付けた場合、見た目には何件対応付けられているかわからないため、記入帳票に「件数確認エリア」を設け、任意のユーザエリアをタップした後、「件数確認エリア」をタップすると当該ユーザエリアに対応付けられている音声情報の件数を音声にし、音声出力部４０より出力することとしてもよい。また、ユーザエリアをタップせずに、「件数確認エリア」をタップすると、当該記入帳票に全部で何件の音声情報が対応付けられているかを音声にし、音声出力部４０より出力することとしてもよい。さらに、「いち、５月１０日 本日は晴天なり。」「に、５月１１日 予防接種をした箇所が腫れてきた。」といったように、録音した音声情報の頭に何件目に対応付けられた音声情報であるかを表す数値Ｘを音声で付加してもよい。

上記実施形態では、同一のユーザエリアに対応付けられた複数の音声情報の順番は入れ替えられないこととなっていたが、記入帳票に上矢印「↑」エリアと下矢印「↓」エリアとを設け、音声情報の再生中にこれらのエリアをタップすることで当該音声情報の対応付けられた順番を表す数値Ｘを上下の音声情報の数値Ｘと入れ替えられることとしてもよい。例えば、音声情報を「予防接種をした」「友人から予防接種を勧められた」「腫れてきた」の順に録音した場合、同一のユーザエリアに対応付けられた順番を表す数値Ｘは、「予防接種をした」がＸ＝１、「友人から予防接種を勧められた」がＸ＝２、「腫れてきた」がＸ＝３となるが、利用者が「友人から予防接種を勧められた」を再生中に上矢印「↑」エリアをタップすると、「友人から予防接種を勧められた」がＸ＝１、「予防接種をした」がＸ＝２、「腫れてきた」がＸ＝３となり、下矢印「↓」エリアをタップすると、「予防接種をした」がＸ＝１、「腫れてきた」がＸ＝２、「友人から予防接種を勧められた」がＸ＝３となる。

上記実施形態では、利用者が、再生エリアへタップした後に、ユーザエリアへタップすることで、ユーザエリアと対応付けて記憶されている前記音声情報の中から、ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を再生することとなっているが、記入帳票に「連続再生エリア」を設けて、利用者が「連続再生エリア」へタップした後に、ユーザエリアへタップすることで、当該ユーザエリアに対応付けられている全ての音声情報を連続再生することとしてもよい。

上記実施形態では、電子ペン１０はメモリを備えていなかったが、電子ペン１０内にメモリを備え、ペン自体又はその所有者に関するプロパティ情報（ペン情報又はペン所有者情報）を保持しておき、端末装置２５から参照することができるようにしてもよいし、プロパティ情報の全部又は一部を記入情報と共に端末装置２５に送信するようにしてもよい。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどが挙げられる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、名称、住所、ファックス／電話番号、携帯電話番号などが挙げられる。

また、上記実施形態では、ドットは赤外線を吸収するカーボンを含むインクとし、電子ペン１０のＬＥＤ１５を、赤外線を照射するＬＥＤとし、カメラ１６によって赤外線の反射量の差によって、電子ペン１０でドットパターンを読み取っていたが、これに限らない。例えば、ドットは所定波長の光によって所定波長を発光するインクとし、電子ペン１０のＬＥＤ１５を、ドットのインクを発光させる光を照射するものとし、カメラ１６によってドットのインクが発光する波長の領域を検知することによって、電子ペン１０でドットパターンを読み取るようにしてもよく、カメラ１６によってドットパターンが読み取れれば、ドットのインクの種別やＬＥＤ１５の照射光等は上記実施形態で示したものに限られない。また、専用ペーパー２０における位置座標が特定できるものであれば、ドットパターンの代わりに、別のコード化されたパターン、例えば、２次元コードパターンなどであってもよい。

また、ドットパターンの割り当ては、通常、用紙の用途毎に行われるが、専用ペーパー２０を商業印刷機により大量印刷するような場合には、同一種類の記入帳票には同じドットパターンが印刷されることになる。この場合、同一種類の記入帳票を１枚１枚区別するため、記入帳票には、各媒体を識別する識別情報を記入するための識別情報記入欄を設けるとよい。端末装置２５において、電子ペン１０から取得した記入情報に基づいて、文字認識により識別情報記入欄に記入された識別情報を特定し、当該記入情報と対応付けて記憶しておけば、同種の記入帳票を１枚１枚区別することができる。この他、ペンＩＤを当該識別情報と共に当該記入情報と対応付けて記憶することとしてもよい。これにより、端末装置２５は、記憶した識別情報もしくは識別情報とペンＩＤに基づいて、各記入帳票を識別することができる。他方、プリンタにより印刷する場合には、用紙１枚１枚に異なるドットパターンを割り当てて、専用ペーパー２０を印刷することも可能である。この場合、各専用ペーパー２０に印刷されたドットパターンは、専用ペーパー２０毎に異なるため、ドットパターンによって専用ペーパー２０を１枚１枚識別し区別することができる。

本発明は、ユーザエリアを自動的に定義し、録音した音声情報と対応付けるアプリケーションにおいて、対応付けられた音声情報を再生及び消去する際に、ペンタップで操作するアプリケーションに利用可能である。例えば育児の健康管理帳、議事録、通院記録、出産までの記録等に適用することができる。

電子ペンの使用形態を模式的に示す図である。 第１実施形態における電子ペンの構成を示すブロック図である。 専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報を示す図である。 記入帳票の例である。 端末装置の機能ブロック図である。 ユーザエリア定義情報のデータ構造を模式的に示す図である。 座標データを説明する図である。 ユーザエリアと音声情報との対応付けを模式的に示す図である。 第１実施形態における専用アプリケーションのモジュール構成図である。 第１実施形態のユーザエリア定義処理における記入帳票上の電子ペンの使用形態の例を示す図である。 第１実施形態の音声情報対応付け処理における記入帳票上の電子ペンの使用形態の例を示す図である。 第１実施形態の音声情報再生消去処理における記入帳票上の電子ペンの使用形態の例を示す図である。 第１実施形態におけるユーザエリア定義処理のフローチャートである。 第１実施形態における音声情報対応付け処理のフローチャートである。 第１実施形態における音声情報再生消去処理のフローチャートである。 第２実施形態における電子ペンの構成を示すブロック図である。 第２実施形態におけるユーザエリア定義処理のフローチャートである。 第２実施形態における音声情報対応付け処理のフローチャートである。 第２実施形態における音声情報再生消去処理のフローチャートである。

符号の説明

１０，１０Ａ，１０Ｂ…電子ペン、１１…プロセッサ、１３…データ通信ユニット、１４…バッテリー、１５…ＬＥＤ、１６…カメラ、１８…圧力センサ、２０…専用ペーパー（電子ペン用媒体）、２２…クロック、２５，２５Ａ，２５Ｂ…端末装置、３１…情報記憶手段、３２…記入情報取得手段、３３…音声録音手段、３４…ユーザエリア定義手段、３５…ユーザエリア特定手段、３６…対応付け手段、３７…音声出力手段、３８…音声消去手段、３９…音声録音部、４０…音声出力部、５０…専用アプリケーション

Claims (9)

1. 電子ペンにより認識可能なコード化パターンが印刷された電子ペン用媒体に記入された情報を処理する端末装置であって、
   音声を録音する音声録音部と、
   前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記音声録音部により、音声を録音する音声録音手段と、
   前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、
   一つのユーザエリアに、前記音声録音手段が録音した一つ以上の音声情報を対応付ける対応付け手段と、
   前記対応付け手段が対応付けた前記ユーザエリアと前記音声情報の対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする端末装置。
2. 前記記入情報に含まれる、前記ユーザエリアへのタップに対応するタップ情報に基づいて、前記ユーザエリア定義情報を参照することで、タップしたユーザエリアを特定するユーザエリア特定手段を備え、
   前記対応付け手段は、前記ユーザエリア特定手段が特定したユーザエリアに前記音声情報を対応付けることを特徴とする請求項１に記載の端末装置。
3. 前記電子ペン用媒体は、録音の終了に対応する録音終了エリアを有しており、
   前記音声録音手段は、前記記入情報に含まれる時間情報及び座標情報に基づき、任意のユーザエリアへのタップに対応するタップ情報の取得時刻に録音を開始し、前記録音終了エリアへのタップに対応するタップ情報の取得時刻に録音を終了することを特徴とする請求項１又は請求項２に記載の端末装置。
4. 前記対応付け手段は、同一のユーザエリアにＸ回目に対応付けた音声情報に数値Ｘを付与することを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
5. 前記電子ペン用媒体は、前記ユーザエリアに対応付けられた前記音声情報の再生に対応する再生エリアを有しており、
   音声を出力する音声出力部を備え、
   前記電子ペン用媒体の前記再生エリアへのタップに対応するタップ情報を取得した後に、任意のユーザエリアへのタップに対応するタップ情報を取得することで、前記ユーザエリアへのタップに対応するタップ情報に基づいて前記ユーザエリア特定手段が特定したユーザエリアと対応付けて記憶されている前記音声情報の中から、前記ユーザエリアへのタップ回数と同じ数値Ｘを付与されている音声情報を参照し、前記音声出力部から出力する音声出力手段、を備えることを特徴とする請求項４に記載の端末装置。
6. 前記電子ペン用媒体は、音声情報の対応付けられた順番の入れ替えに対応する上矢印エリアと下矢印エリアとを有しており、音声情報の再生中に、上矢印エリアへのタップに対応するタップ情報を取得することで、当該音声情報の数値Ｘを上位の音声情報の数値Ｘと入れ替え、下矢印エリアへのタップに対応するタップ情報を取得することで、当該音声情報の数値Ｘを下位の音声情報の前記数値Ｘと入れ替えることを特徴とする請求項５に記載の端末装置。
7. 前記電子ペン用媒体は、前記ユーザエリアに対応付けられた前記音声情報の消去に対応する消去エリアを有しており、
   前記音声出力手段が、前記音声情報を前記音声出力部から出力している間に、前記消去エリアへのタップに対応するタップ情報を取得することで、当該再生中の音声情報を、出力終了後に前記対応付け情報記憶手段から消去する音声消去手段、を備えることを特徴とする請求項１乃至６のいずれか一項に記載の端末装置。
8. 電子ペンにより認識可能なコード化パターンが印刷された電子ペン用媒体に記入された情報を処理する端末装置により実行されるプログラムであって、
   前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段、
   前記音声録音部により、音声を録音する音声録音手段、
   前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段、
   一つの前記ユーザエリアに、前記音声録音手段が録音した一つ以上の音声情報を対応付ける対応付け手段、
   前記対応付け情報を記憶する対応付け情報記憶手段、として前記端末装置を機能させることを特徴とするプログラム。
9. 電子ペンにより認識可能なコード化パターンが印刷された電子ペン用媒体と、
   前記電子ペン用媒体に印刷されたコード化パターンを記入情報及びタップ情報として読み取り、外部に送信する電子ペンと、
   前記電子ペンにより送信された前記記入情報及び前記タップ情報を取得し、所定の処理を実行する端末装置と、を備える情報処理システムであって、
   前記端末装置は、
   前記電子ペンから、前記電子ペン用媒体への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記音声録音部により、音声を録音する音声録音手段と、
   前記記入情報に基づいて前記記入内容に対応するユーザエリアを自動的に定義するユーザエリア定義手段と、
   前記ユーザエリアと、前記コード化パターン上における前記ユーザエリアの位置座標を示す座標データとを対応付けたユーザエリア定義情報を記憶するユーザエリア定義情報記憶手段と、
   一つの前記ユーザエリアに、前記音声録音手段が録音した一つ以上の音声情報を対応付ける対応付け手段と、
   前記対応付け情報を記憶する対応付け情報記憶手段と、を備えることを特徴とする情報処理システム。

Images