JP2014215334A - コンピュータ装置及びプログラム - Google Patents

Abstract

【課題】電子教材の頁と電子ノートの頁との対応関係を好適に定めることが可能なコンピュータ装置及びプログラムを提供する。【解決手段】端末装置１００は、電子教科書画像Ｇ１１及び関連付け欄Ｇ１２を電子教科書表示エリアＡ１１に表示させると共に、電子ノート画像Ｇ２１及び関連付け欄Ｇ２２を電子ノート表示エリアＡ２１に表示させる。そして、端末装置１００は、連続して又は同時に関連付け欄Ｇ１２と関連付け欄Ｇ２２とを選択する入力を検知した場合に、電子教科書画像Ｇ１１が示す電子教科書の頁と電子ノート画像Ｇ２１が示す電子ノートの頁との関連付けを行う。【選択図】図８

Description

本発明は、電子教材を用いた表示技術に関する。

従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ ｐｅｎ）」が知られている。例えば、特許文献１に記載されているように、アノトペンは、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報をコンピュータ装置に送信する。

また、特許文献２には、電子教科書及び電子ノートを同時に表示させることが可能な情報端末が開示されている。また、特許文献３には、端末装置のディスプレイに表示される電子教科書の頁と、冊子状のノートの頁とを関連付ける技術が開示されている。

特許第３８４２２８３号公報 特開２００２−２２９４２７号公報 特開２０１２−２４８００９号公報

電子教材及び電子ノートを同時に表示させる場合、電子教材の表示頁と電子ノートの表示頁とを独立して変更できると便宜である。一方、この場合、電子教材の頁と電子ノートの頁との対応関係があいまいとなる。そこで、本発明は、電子教材の頁と電子ノートの頁との対応関係を好適に定めることが可能なコンピュータ装置及びプログラムを提供することを主な目的とする。

本発明に係るコンピュータ装置は、電子教材を画面上における第１エリアに表示させると共に、ストロークを描画するための電子ノートを画面上における第２エリアに表示させる表示制御手段と、外部入力に基づき、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶する記憶制御手段と、を有する。

上記のコンピュータ装置は、表示制御手段と、記憶制御手段とを有する。表示制御手段は、電子教材を画面上における第１エリアに表示させると共に、ストロークを描画するための電子ノートを画面上における第２エリアに表示させる。記憶制御手段は、外部入力に基づき、第１エリアに表示された電子教材の頁と、第２エリアに表示された電子ノートの頁とを関連付けて記憶する。この態様により、コンピュータ装置は、電子教材と電子ノートとを同時に表示すると共に、外部入力に基づき電子教材の任意の頁と電子ノートの任意の頁とを関連付けることができる。なお、「電子教材」は、教材を電子化したものであり、例えば電子教科書である。また、「電子ノート」は、コンピュータにより表示されるノートである。

上記コンピュータ装置の一態様では、前記記憶制御手段は、前記第１エリアに別々に表示される前記電子教材の頁の各々と、前記電子ノートの頁とを関連付けて記憶可能であり、かつ、前記電子教材の頁と、前記第２エリアに別々に表示される前記電子ノートの頁の各々とを関連付けて記憶可能である。これにより、コンピュータ装置は、電子教材の頁に対して複数の電子ノートの頁を関連付けたり、電子ノートの頁に対して複数の電子教科書の頁を関連付けたりすることができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第１エリアに表示される電子教材の頁に関連付けられた電子ノートの頁番号を表示するための第１の欄と、前記第２エリアに表示される電子ノートの頁に関連付けられた電子教材の頁番号を表示するための第２の欄とをさらに表示する。これにより、コンピュータ装置は、関連付けた電子教材の頁と電子ノートの頁とを好適に関連付けることができる。

上記コンピュータ装置の他の一態様では、前記記憶制御手段は、空欄の前記第１の欄と、空欄の前記第２の欄とが連続又は同時に選択されたことを検知した場合、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶する。これにより、コンピュータ装置は、ユーザの任意のタイミングで、表示中の電子教材の頁と電子ノートの頁とを好適に関連付けることができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、電子教材の頁と電子ノートの頁との関連付けを解除するためのボタンをさらに表示し、前記記憶制御手段は、前記ボタンが選択されたことを検知した場合、指定された第１又は第２の欄に対応する前記電子教材の頁と前記電子ノートの頁との関連付けの情報を消去する。これにより、コンピュータ装置は、電子教材の頁と電子ノートの頁との関連付けをユーザの指定に基づき、好適に解除することができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記電子ノートの頁番号を表示した第１の欄が選択された場合、当該第１の欄が示す前記電子ノートの頁を表示させ、前記電子教材の頁番号を表示した第２の欄が選択された場合、当該第２の欄が示す前記電子教材の頁を表示させる。これにより、コンピュータ装置は、ユーザの指定に基づき、表示中の電子教材の頁に関連付けた電子ノートの頁を表示したり、表示中の電子ノートの頁に関連付けた電子教材の頁を表示したりすることができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第２エリアに表示された電子ノートのストロークのうち、前記第１エリアに表示された電子教材の頁の表示中に入力されたストロークを強調して表示する。これにより、コンピュータ装置は、表示中の電子教材の頁に関連する電子ノートの記載部分をユーザに容易に認識させることができる。

上記コンピュータ装置の他の一態様では、前記記憶制御手段は、前記第１エリアと前記第２エリアとを通るストロークの入力を検知した場合、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶する。この態様によっても、コンピュータ装置は、ユーザが指定した電子教材の頁と電子ノートの頁とを好適に関連付けて記憶することができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第１エリアと前記第２エリアとを通るストロークの前記第１エリアに表示された部分が選択された場合、当該ストロークの入力により前記第１エリアに表示された電子教材の頁に関連付けられた電子ノートの頁を前記第２エリアに表示させ、前記第１エリアと前記第２エリアとを通るストロークの前記第２エリアに表示された部分が選択された場合、当該ストロークの入力により前記第２エリアに表示された電子ノートの頁に関連付けられた電子教材の頁を前記第１エリアに表示させる。この態様により、コンピュータ装置は、ユーザの操作に基づき、表示中の電子教材の頁に関連付けた電子ノートの頁を表示したり、表示中の電子ノートの頁に関連付けた電子教材の頁を表示したりすることができる。

上記コンピュータ装置の他の一態様では、前記記憶制御手段は、入力手段により入力された音声の録音データを、前記第１エリアに表示中の電子教材の頁と関連付けて記憶し、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在するときには、当該録音データと、前記電子ノートに描画するストロークとを、時間を基準として再生し、コンピュータ装置は、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在しないときには、前記電子ノートに描画するストロークを、ストローク単位で再生する再生手段をさらに有する。この態様により、コンピュータ装置は、録音した音声や電子ノートに記入されたストロークを好適に再生することができる。

上記コンピュータ装置の他の一態様では、前記再生手段は、前記録音データの再生の開始時点を、前記第１エリアに表示中の電子教材の頁を基準として決定する。これにより、コンピュータ装置は、表示中の電子教材の頁に関連する部分から録音データの再生を開始することができる。

上記コンピュータ装置の他の一態様では、前記再生手段は、前記時間を基準として再生する場合、前記録音データの再生と前記ストロークの再生とを同期させる処理を行う。この態様により、コンピュータ装置は、録音した音声と電子ノートに記入されたストロークとを、タイムラグを発生させることなく好適に再生することができる。

上記コンピュータ装置の他の一態様では、前記表示制御手段は、前記第１エリアに電子教材の見開き頁を表示させる。この態様によっても、コンピュータ装置は、電子教材と電子ノートとを同時に表示すると共に、外部入力に基づき電子教材の頁と電子ノートの頁とを好適に関連付けることができる。

本発明に係るプログラムは、上記記載のいずれか一つのコンピュータ装置として機能させる。これらのプログラムをコンピュータ装置にインストールして機能させることで、本発明に係るコンピュータ装置を構成させることができる。

本発明によれば、コンピュータ装置は、電子教材と電子ノートとを同時に表示すると共に、ユーザが指定した電子教材の任意の頁と電子ノートの任意の頁とを好適に関連付けることができる。

実施形態に係る表示システムの構成を示す。 ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。 （ａ）は、ドットパターンを模式的に示し、（ｂ）は、それに対応する情報の例を示す図である。 電子ペンの構造を示す概略図である。 ディスプレイの概略構成を示す。 端末装置の概略構成を示す。 電子教科書の頁と電子ノートの頁との関連付けを行う操作の実行直後のディスプレイの表示例を示す。 電子教科書の頁と電子ノートの頁との関連付けを行う操作の実行直後のディスプレイの表示例を示す。 電子教科書の頁番号が表示された関連付け欄が選択された直後のディスプレイの表示例である。 図９の状態から関連付け解除ボタンが選択された直後のディスプレイの表示例である。 録音データの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。 電子教科書表示エリア及びノート表示エリアを跨ぐストロークが電子ペンにより記入された直後のディスプレイの表示例を示す。 図１２の例で電子ノートの頁を第４５頁から第４６頁に変更した後のディスプレイの表示例を示す。 図１３の例でストロークの表示部分を指でタッチした直後のディスプレイの表示例を示す。 変形例に係るディスプレイの表示例を示す。

以下、図面を参照しながら、本発明の実施の形態である実施形態について順に説明する。

［表示システムの構成］
図１は、本実施形態に係る表示システムの構成を示す。図１に示すように、表示システムは、ユーザが使用する電子ペン１と、電子ペン１から記入情報を受信して処理する端末装置（コンピュータ装置）３とを備える。

図１に示すように、端末装置３は、電子教科書及び電子ノートをディスプレイ４に表示させると共に、電子ペン１から受信した記入情報に基づき、ディスプレイ４に対して電子ペン１により記入された筆跡を再現したストロークを表示させる。ディスプレイ４には、図５で後述するように、電子ペン１に記入情報を生成させるためのドットパターンが形成されたドットパターン形成層（ドットパターンオーバーレイヤ：ＤＯＬ）４０と、指などによる入力を検知するタッチパネル４４とが形成されている。そして、端末装置３は、ディスプレイ４上での電子ペン１又は指による操作に基づき、電子教科書の頁とディスプレイ４上でストロークが記入された電子ノートの頁とを関連付けて記憶する処理、音声の録音処理、音声及びストロークの再生処理などを行う。

［表示画面］
まず、図１に示す端末装置３のディスプレイ４の表示について説明する。図１に示すディスプレイ４の表示画面は、電子教科書表示エリアＡ１１と、電子ノート表示エリアＡ２１と、関連付け解除ボタン５０と、記入関連ボタン５１〜５８と、録音ボタン６０と、再生関連ボタン６１〜６７とを有する。

電子教科書表示エリアＡ１１には、電子教科書の頁（図１では第３２頁）を示す電子教科書画像Ｇ１１と、電子教科書画像Ｇ１１が示す電子教科書の頁に関連付けられた電子ノートの頁番号を表示する関連付け欄Ｇ１２と、電子教科書画像Ｇ１１が示す電子教科書の頁をめくるための頁めくりボタンＧ１３Ａ、Ｇ１３Ｂとが表示される。また、電子ノート表示エリアＡ２１には、電子ノートの頁（図１では第４５頁）を示す電子ノート画像Ｇ２１と、電子ノート画像Ｇ２１が示す電子ノートの頁に関連付けられた電子教科書の頁番号を表示する関連付け欄Ｇ２２と、電子ノート画像Ｇ２１が示す電子ノートの頁をめくるための頁めくりボタンＧ２３Ａ、Ｇ２３Ｂとが表示される。関連付け欄Ｇ１２、Ｇ２２の具体的な機能については、［関連付け欄の機能］のセクションで詳しく説明する。なお、電子教科書表示エリアＡ１１、Ａ２１は、それぞれ本発明における「第１エリア」、「第２エリア」の一例であり、関連付け欄Ｇ１２、Ｇ２２は、それぞれ本発明における「第１の欄」、「第２の欄」の一例である。

関連付け解除ボタン５０は、指定された関連付け欄Ｇ１２、Ｇ２２を空欄にし、電子教科書の頁と電子ノートの頁との関連付けを解除する機能を有する。関連付け解除ボタン５０の詳細については、「関連付け解除ボタンの機能」のセクションで詳しく説明する。録画ボタン６０は、録音の開始及び終了を指定するためのボタンである。

次に、記入関連ボタン５１〜５８について説明する。自由曲線描画ボタン５１は、自由曲線によりストロークを描くことを指定する機能を有し、直線描画ボタン５２は、直線によりストロークを描くことを指定する機能を有する。黒描画ボタン５３は、描画するストロークの色を黒色に指定する機能を有し、赤描画ボタン５４は、描画するストロークの色を赤色に指定する機能を有し、青描画ボタン５５は、描画するストロークの色を青色に指定する機能を有する。消去ボタン５６は、描画したストロークを指定したストロークごとに消去する機能を有し、一括消去ボタン５７は、描画したストロークを全て消去する機能を有する。拡大ボタン５８は、画面におけるドラッグ領域を拡大する機能を有する。

次に、再生関連ボタン６１〜６７について説明する。再生ボタン６１は、電子教科書画像Ｇ１１が示す電子教科書の頁に対応する録音データと、その録音時に電子ノート等に記入されたストロークとの同時再生を指示する機能を有する。また、再生ボタン６１は、電子教科書画像Ｇ１１が示す電子教科書の頁に対応する録音データが存在しない場合には、当該電子教科書の頁に関連付けられた電子ノートに描画されたストロークの再生を指示する機能を有する。一時停止ボタン６２は、再生中の録音データやストロークの再生を一時停止する機能を有する。停止ボタン６３は、再生中の音声データやストロークの再生を停止する機能を有する。所定時間戻るボタン６４は、再生中の音声データ及びストロークの再生の対象となる時点（再生対象時点）を所定時間だけ戻す機能を有する。また、所定時間戻るボタン６４は、ストロークのみが再生対象の場合には、表示されたストロークのうち、記入順が遅い所定個数分のストロークの表示を消去する機能を有する。さらに、巻き戻し再生ボタン６５は、通常の再生速度の所定倍の再生速度により巻き戻し再生することを指示する機能を有する。早送り再生ボタン６６は通常の再生速度の所定倍の再生速度により早送り再生することを指示する機能を有する。所定時間進むボタン６７は、再生対象時点を所定時間だけ進める機能を有する。また、所定時間進むボタン６７は、ストロークのみが再生対象の場合には、未表示のストロークのうち、記入順が早い所定個数分のストロークを表示させる機能を有する。

［ドットパターン］
次に、図２と図３を参照しながら、ＤＯＬ４０に形成されたアノト方式のドットパターン（コード化パターン）について説明する。図２は、ＤＯＬ４０に形成されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図２に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、ＤＯＬ４０上の位置座標が決定されるように構成されている。従って、ＤＯＬ４０には、それぞれ、座標領域が重ならないようドットパターンが形成される。

図３（ａ）は、あるドットパターンの配列を示している。図３（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、ＤＯＬ４０上のどの部分から６×６ドットを取っても、ユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがＤＯＬ４０上のどの位置にあるのか）を保持している。図３（ｂ）は、図３（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図２に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。

［電子ペン］
次に、電子ペン１について図４を用いて説明する。図４は、電子ペン１の構造を示す概略図である。図４に示すように、電子ペン１は、その筐体１０１の内部に、ペン部１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１及びバッテリー１１２を備える。ペン部１０４の先端は、ペン先部１０３となっており、ユーザは、電子ペン１のペン先部１０３をディスプレイ４上のＤＯＬ４０に当接させて、ストローク（手書きストローク）を記入する。ここで、電子ペン１のペン先部１０３がＤＯＬ４０に最初に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。

バッテリー１１２は、電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、ユーザが電子ペン１によりディスプレイ４上のＤＯＬ４０に文字やマークを書いたりタップしたりする際にペン先部１０３からペン部１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。

プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、ユーザが電子ペン１でディスプレイ４上のＤＯＬ４０に文字などを書くと、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、ユーザが記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報と、後述する電子ペン１の識別情報（以後、「ペンＩＤ」と呼ぶ。）とを関連付けて、記入情報として端末装置３へ送信する。また、ユーザが１つのストロークを記入し終えて電子ペン１をＤＯＬ４０等から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報として端末装置３へ送信する。

ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、ＤＯＬ４０上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がＤＯＬ４０等に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６には、赤外線を透過し赤外線以外を遮断する赤外線フィルタが設けられており、ＣＭＯＳカメラ１０６は、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。

ここで、ＤＯＬ４０に形成されたドットのインク素材は、後述するように赤外線を反射するため、ＬＥＤ１０５によって照射された赤外線は、ドットによって反射される。そのため、ドットの部分は、赤外線の反射量が比較的多く、ドット以外の部分は赤外線の反射量が比較的少ない。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。なお、赤外線吸収性のインクによりドットパターンが印刷された場合、ドットの部分は、赤外線の反射量が比較的少なく、ドット以外の部分は赤外線の反射量が比較的多い。従って、電子ペン１は、赤外線吸収性のインクによりドットパターンが印刷された用紙を記入対象とする場合であっても、ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、ドットの領域とそれ以外の領域を区別することができる。また、ＣＭＯＳカメラ１０６による撮影領域は、図３（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。

プロセッサ１０８は、ユーザの記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、ユーザが記入するストローク（筆跡）のＤＯＬ４０等におけるＸ、Ｙ座標（以後、単に「座標データ」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図３（ａ）に示されるようなドットパターンの画像データを図３（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の傾きに起因するドットの配列を補正する回転補正処理機能を備えている。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、ＤＯＬ４０における６×６のドットパターンは、ＤＯＬ４０内で重複することはないため、ユーザが電子ペン１で文字等を記入すると、記入された位置がＤＯＬ４０内のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。

メモリ１０９には、電子ペン１を識別するための「ｐｅｎ０１」といったペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報として端末装置３へ送信する。通信ユニット１１１による端末装置３への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されて端末装置３に送信された１個又は複数個の座標属性情報は、端末装置３によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、端末装置３は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。このように、ユーザの一つのストロークの記入により、電子ペン１によって生成される座標属性情報の集合を「ストローク情報」と呼ぶ。また、ペン先部１０３は、プラスチックやステンレスなどの素材により形成される。ペン先部１０３は、インクを有さず、筆圧をペン部１０４を介して圧力センサ１０７に伝達する。

なお、電子ペン１は、無線送信によって端末装置３へ記入情報を送信したが、これに限らず、端末装置３と有線により接続し、有線送信によって端末装置３へ記入情報を送信してもよい。また、電子ペン１は、ペン部１０４に代えて、インキが充填されたインクカートリッジを備えてもよい。この場合、電子ペン１の記入によるペン先から出力されたインキがＤＯＬ４０に付いた場合は、布等で拭き取ればよい。

また、好適には、電子ペン１は、ＣＭＯＳカメラ１０６がドットパターンを認識した際、ドットパターンが赤外線反射材で構成されているか、又は赤外線吸収材で構成されているか判断し、当該判断に基づきドットパターンの読み取りプログラムを切り替えてもよい。具体的には、電子ペン１は、まず、ＣＭＯＳカメラ１０６が撮影した画像に対して所定の閾値を用いて２値化処理を行い、当該２値化処理された画像より赤外線反射領域及び赤外線吸収領域を判別し、赤外線反射領域の面積と赤外線吸収領域の面積との大小関係を比較する。そして、電子ペン１は、赤外線反射領域よりも赤外線吸収領域が大きい場合には、２値化処理された画像に対してネガポジ反転処理を行い、ネガポジ反転処理を行った場合にはネガポジ反転処理された画像に基づいてドットパターンを認識し、ネガポジ反転処理を行わなかった場合には２値化処理された画像に基づいてドットパターンを認識する。これにより、赤外線吸収性のインクにより印刷されたドットパターン及び赤外線反射性のインキにより印刷されたドットパターンの両方を適切に認識することが可能となる。

［端末装置］
次に、端末装置３について説明する。以下では、端末装置３のディスプレイ４の構成について説明した後、端末装置３の全体構成について説明する。

（１）ディスプレイの構成
図５は、ディスプレイ４の構成を示す。図５に示すように、ディスプレイ４は、多層構造を有し、上層から順に、ＤＯＬ４０と、タッチパネル４４と、ディスプレイパネル４５と、を備える。なお、ディスプレイ４の大きさは、２０インチ以上が好ましい。

ＤＯＬ４０は、ディスプレイ４の最上層に配置される。ＤＯＬ４０は、ポリエチレンテレフタラートなどの透明樹脂基板である基材フィルム４３に、電子ペン１により読み取ることができるよう赤外線を反射する素材（酸化チタン、コレステリック液晶、赤外線反射性顔料など）を含んだインクによりドットパターン（コード化パターン）４２が印刷され、さらに透明なＥＢ硬化樹脂などの保護層４１で保護された層構成を有している。ここで、ドットパターン４２を、赤外線を反射する素材で印刷しているのは、ＤＯＬ４０の下層にあるディスプレイパネル４５から様々な色の可視光が放射されても、電子ペン１によってコントラストよくドットパターン４２を認識させるのに、望ましいからである。

ＤＯＬ４０の裏面には、タッチパネル４４が接着されている。タッチパネル４４は、ＤＯＬ４０上での指の押下による静電容量の変化を捉えて位置を検出する静電容量方式のタッチパネルである。なお、電子ペン１のペン先部１０３は、プラスチック又はステンレスなどの素材であり、ＤＯＬ４０上での電子ペン１の接触又は押下によっては、タッチパネル４４の静電容量は変化しない。従って、タッチパネル４４は、電子ペン１によるＤＯＬ４０上での接触及び押下を検出しない。

なお、本発明が適用可能なディスプレイ４の構成は、図５の構成に限定されない。これに代えて、ディスプレイ４は、ドットパターン４２と基材フィルム４３との間、あるいは基材フィルム４３とタッチパネル４４との間に赤外線反射層が設けられ、さらにドットパターン４２が赤外線を吸収するカーボンを含んだインクにより印刷される構成であってもよい。

（２）端末装置の全体構成
次に、端末装置３の全体構成について図６を参照して説明する。端末装置３は、ハードウェアとして、電子ペン１とのデータ通信が可能なアンテナ装置、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、マウスやキーボード、マイク等で構成される。端末装置３は、例えば、ディスプレイ４を表示部として備えるｉＰａｄ（登録商標）などのタブレットＰＣやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｃｅ）等である。端末装置３は、図６に示すように、機能的には、タッチパネル４４及びマイク４６などの入力手段３１、通信手段３２、処理手段３４、記憶手段３５、ディスプレイパネル４５などの表示手段３６、スピーカなどから構成される音声出力手段３７を備える。そして、端末装置３は、電子ペン１から受信した記入情報、及びタッチパネル４４から受信した入力情報（「タッチパネル入力情報」とも呼ぶ。）に基づいて所定の処理を行うものである。

通信手段３２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段３４に伝送する。また、端末装置３は、ＤＯＬ４０に形成されたドットパターン４２にかかる座標系（「ＤＯＬ座標系」とも呼ぶ。）をディスプレイパネル４５にかかる座標系（「ディスプレイ座標系」とも呼ぶ。）に変換するための第１座標変換関数、及び、タッチパネル４４にかかる座標系（「タッチパネル座標系」とも呼ぶ。）をディスプレイ座標系に変換するための第２座標変換関数をそれぞれ求めるキャリブレーション処理機能を有している。さらに、端末装置３は、そのキャリブレーション処理により求められた第１座標変換関数を用いて、ＤＯＬ座標系のデータを受信したときに、ディスプレイ座標系のデータに変換し、ストロークを描画したり、所定の処理を行ったりする機能、及び、第２座標変換関数を用いて、タッチパネル座標系のデータを受信したときに、ディスプレイ座標系のデータに変換し、ボタン（アイコン）の選択等の所定の処理を行う機能を有している。

処理手段３４は、ＣＰＵ等のプロセッサによって構成され、端末装置３の全体の制御を行う。また、処理手段３４は、上記キャリブレーション処理機能により求めた第１座標変換関数及び第２座標変換関数を記憶手段３５に記憶する。そして、処理手段３４は、以下に述べる表示制御手段３４１と、記憶制御手段３４２と、再生手段３４３とを有する。

表示制御手段３４１は、端末装置３が電子ペン１から記入情報を受信すると、後述する座標定義情報を参照し、当該記入情報が示す座標データがＤＯＬ座標系の座標領域であることを認識する。そして、表示制御手段３４１は、受信した記入情報に含まれる座標データを、第１座標変換関数を用いて、ディスプレイ座標系のデータに変換する。そして、表示制御手段３４１は、変換後の座標データ等に基づくストロークをディスプレイパネル４５に表示させたり、ストロークの該当する位置にボタン等が表示されていた場合には、当該ボタンの選択等の処理を行ったりする。

また、表示制御手段３４１は、端末装置３がタッチパネル４４からタッチパネル入力情報を受信すると、タッチパネル入力情報に含まれるタッチパネル座標系の座標データを、第２座標変換関数を用いて、ディスプレイ座標系のデータに変換する。そして、処理手段３４は、変換後の座標データにボタン等が表示されていた場合には、当該ボタンの選択等の処理を行う。

記憶制御手段３４２は、電子ノート画像Ｇ２１への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子ノートの頁と関連付けて記憶手段３５に記憶させる。同様に、記憶制御手段３４２は、電子教科書画像Ｇ１１への電子ペン１の記入操作により生成された記入情報を、当該記入時に表示されていた電子教科書の頁と関連付けて記憶手段３５に記憶させる。

また、記憶制御手段３４２は、録音ボタン６０が選択されてから再び録音ボタン６０が選択されるまでの時間帯（「録音時間帯」とも呼ぶ。）においてマイク４６から入力された音声データを、録音データとして記憶手段３５に記憶させる。このとき、記憶制御手段３４２は、音声データを、録音時間帯の各時刻を示す時刻情報、及び、当該各時刻で表示されていた電子教科書画像Ｇ１１が示す電子教科書の頁と関連付けて、録音データとして記憶手段３５に記憶させる。

さらに、記憶制御手段３４２は、関連付け欄Ｇ１２及び関連付け欄Ｇ２２が連続して又は同時に選択されたことを検知した場合、電子教科書画像Ｇ１１が示す電子教科書の頁と、電子ノート画像Ｇ２１が示す電子ノートの頁とを関連付けて記憶手段３５に記憶させる。この処理の詳細については、「関連付け欄の機能」のセクションで詳しく説明する。また、記憶制御手段３４２は、関連付け解除ボタン５０が選択されたことを検知した場合、指定された関連付け欄Ｇ１２、Ｇ２２に対応する電子教科書の頁と電子ノートの頁との関連付けを解除する。この処理の詳細については、「関連付け解除ボタンの機能」のセクションで詳しく説明する。

再生手段３４３は、再生ボタン６１が選択された場合に、電子教科書表示エリアＡ１１に表示中の電子教科書の頁に関連付けられた録音データ（「対象録音データＶｔａｇ」とも呼ぶ。）の有無の判定し、対象録音データＶｔａｇが記憶手段３５により記憶されている場合には、対象録音データＶｔａｇと対象録音データＶｔａｇの録音時間帯に記入されたストロークとの同時再生を行う。一方、再生手段は、対象録音データＶｔａｇが存在しない場合には、電子教科書画像Ｇ１１が示す電子教科書の頁に関連付けられた電子ノートに描画されたストロークの再生を行う。また、再生手段３４３は、他の再生関連ボタン６２〜６７を選択する入力を検知した場合、選択されたボタンに割り当てられた機能に従って再生の制御を行う。再生手段３４３の具体的な処理については、［再生機能］のセクションで詳しく説明する。

記憶手段３５は、ＲＯＭやＲＡＭといったメモリによって構成される。記憶手段３５は、第１座標変換関数及び第２座標変換関数を記憶する。また、記憶手段３５は、記憶制御手段３４２の処理命令に基づき、関連付けが行われた電子教科書の頁の頁番号と電子ノートの頁の頁番号との組を示す情報（「頁番号対応情報」とも呼ぶ。）を記憶する。また、記憶手段３５は、記憶制御手段３４２の処理命令に基づき、電子ペン１から受信した記入情報、マイク４４により入力された音声データ、及びプログラムの実行により生成される所定のデータ等をそれぞれ記憶する。また、記憶手段３５は、電子教科書の各頁に対応する電子教科書画像Ｇ１１の表示データを記憶する。また、記憶手段３５は、ＤＯＬ座標系の座標範囲などのドットパターンの座標範囲に関する座標定義情報を記憶する。

［関連付け欄の機能］
次に、関連付け欄Ｇ１２、Ｇ２２が有する機能について説明する。後述するように、関連付け欄Ｇ１２、Ｇ２２は、関連付け機能及び表示切替機能を有する。

（１）関連付け機能
記憶制御手段３４２は、連続して又は同時に関連付け欄Ｇ１２と関連付け欄Ｇ２２とを選択する入力を検知した場合に、電子教科書画像Ｇ１１が示す電子教科書の頁と電子ノート画像Ｇ２１が示す電子ノートの頁との関連付けを行う。この具体例について、図７を参照して説明する。

図７は、電子教科書の頁番号と電子ノートの頁番号との関連付けを行う操作の実行直後のディスプレイ４の表示例を示す。図７の例では、表示制御手段３４１は、電子ペン１から受信した記入情報に基づき、電子ノート画像Ｇ２１への電子ペンの筆跡を再現したストロークを電子ノート画像Ｇ２１上に表示している。そして、ユーザは、表示中の電子教科書と電子ノートとを関連付けるため、任意の空欄の関連付け欄Ｇ１２（図７では左端の関連付け欄Ｇ１２Ａ）と、任意の空欄の関連付け欄Ｇ２２（図７では左端の関連付け欄Ｇ２２Ａ）とを指により連続して又は同時にタッチしている。

この場合、記憶制御手段３４２は、まず、タッチパネル入力情報に基づき、空欄の関連付け欄Ｇ１２Ａ及び空欄の関連付け欄Ｇ２２Ａが連続又は同時に選択されたことを認識する。例えば、記憶制御手段３４２は、関連付け欄Ｇ１２Ａの選択時と関連付け欄Ｇ２２Ａの選択時との間に他の操作を検知しなかった場合、これらが連続又は同時に選択されたと判断する。他の例では、記憶制御手段３４２は、関連付け欄Ｇ１２Ａが選択された時刻と関連付け欄Ｇ２２Ａが選択された時刻との時間幅が所定秒（例えば１０秒）以内の場合に、これらが連続又は同時に選択されたと判断する。

関連付け欄Ｇ１２Ａ及び関連付け欄Ｇ２２Ａが連続又は同時に選択されたことを認識後、記憶制御手段３４２は、ディスプレイ４に表示中の電子教科書の頁番号（即ち第３２頁）と、ディスプレイ４に表示中の電子ノートの頁番号（即ち第４５頁）との組を、頁番号対応情報として記憶する。さらに、表示制御手段３４１は、表示中の電子教科書の頁に関連付けた電子ノートの頁番号を示す文字「ノート４５頁」を、関連付け欄Ｇ１２Ａ内に表示する。同様に、表示制御手段３４１は、表示中の電子ノートの頁に関連付けた電子教科書の頁番号を示す文字「教科書３２頁」を、関連付け欄Ｇ２２Ａ内に表示する。なお、表示制御手段３４１は、左端位置にある関連付け欄Ｇ１２Ａ、Ｇ２２Ａ以外の関連付け欄Ｇ１２、Ｇ２２が連続又は同時に選択された場合であっても、空欄を右詰めにするため、左端位置にある関連付け欄Ｇ１２Ａ、Ｇ２２Ａに各頁番号を表示させてもよい。

また、表示制御手段３４１は、頁めくりボタンＧ１３Ａ、Ｇ１３Ｂにより表示中の電子教科書の頁が変更された場合には、変更後の電子教科書の頁に関連付けられた電子ノートの頁番号を関連付け欄Ｇ１２に表示する。同様に、表示制御手段３４１は、頁めくりボタンＧ２３Ａ、Ｇ２３Ｂにより表示中の電子ノートの頁が変更された場合には、変更後の電子ノートの頁に関連付けられた電子教科書の頁番号を関連付け欄Ｇ２２に表示する。このとき、好適には、表示制御手段３４１は、各関連付け欄Ｇ１２のうち空欄の関連付け欄Ｇ１２を右詰めにして表示し、かつ各関連付け欄Ｇ２２のうち空欄の関連付け欄Ｇ２２を右詰めにして表示する。

このように、表示制御手段３４１は、表示中の電子教科書に関連付けられた電子ノートの頁番号を各関連付け欄Ｇ１２に表示すると共に、表示中の電子ノートに関連付けられた電子教科書の頁番号を各関連付け欄Ｇ２２に表示する。これにより、表示制御手段３４１は、表示中の電子教科書の頁又は電子ノートの頁と関連付けた電子ノートの頁又は電子教科書の頁を好適にユーザに視認させることができる。

また、記憶制御手段３４２は、任意の電子教科書の頁に対し、複数の電子ノートの頁を関連付けることが可能であり、任意の電子ノートの頁に対し、複数の電子教科書の頁を関連付けることが可能である。これについて、図８を参照して説明する。

図８は、図７の例で電子教科書の第３３頁を表示させて電子教科書の第３３頁と第４５頁の電子ノートとの関連付けの操作をさらに行った直後のディスプレイ４の表示例を示す。図８の例では、表示制御手段３４１は、図７の状態から頁めくりボタンＧ１３Ｂの選択を検知して第３３頁の電子教科書を示す電子教科書画像Ｇ１１を表示させた後、さらにタッチパネル入力情報に基づき、空欄の関連付け欄Ｇ１２Ａ及び空欄の関連付け欄Ｇ２２Ｂが連続又は同時に選択されたことを認識する。そして、記憶制御手段３４２は、ディスプレイ４に表示中の電子教科書の頁番号（即ち第３３頁）と、ディスプレイ４に表示中の電子ノートの頁番号（即ち第４５頁）との組を、頁番号対応情報として記憶する。さらに、表示制御手段３４１は、表示中の電子教科書の頁に関連付けた電子ノートの頁番号を示す文字「ノート４５頁」を、関連付け欄Ｇ１２Ａ内に表示する。同様に、表示制御手段３４１は、表示中の電子ノートの頁に関連付けた電子教科書の頁番号を示す文字「教科書３３頁」を、関連付け欄Ｇ２２Ｂ内に表示する。このように、図８の例では、表示制御手段３４１及び記憶制御手段３４２は、第４５頁の電子ノートに対して、複数の電子教科書の頁（第３２頁、第３３頁）を好適に関連付けることができる。

また、図８の例に代えて、表示制御手段３４１及び記憶制御手段３４２は、図７の状態で電子ノートの表示頁を変更した後、空欄の関連付け欄Ｇ１２及び空欄の関連付け欄Ｇ２２が連続又は同時に選択された場合も、図８と同様に、表示中の電子教科書の頁番号と電子ノートの頁番号とを関連付ける処理を行う。これにより、表示制御手段３４１及び記憶制御手段３４２は、第３２頁の電子教科書に対して、複数の電子ノートの頁を好適に関連付けることができる。

なお、図７、図８の例に代えて、ユーザは、電子ペン１のタップ操作により、関連付け欄Ｇ１２、Ｇ２２を選択してもよい。この場合であっても、表示制御手段３４１は、電子ペン１から送信される記入情報に基づき、関連付け欄Ｇ１２、Ｇ２２の選択を検知し、関連付け欄Ｇ１２及び関連付け欄Ｇ２２が連続又は同時に選択されたか否かの判定を行う。

（２）表示切替機能
表示制御手段３４１は、電子ノートの頁番号が表示された関連付け欄Ｇ１２が選択されたことを検知した場合には当該関連付け欄Ｇ１２が示す電子ノートの頁を表示させ、電子教科書の頁番号が表示された関連付け欄Ｇ２２が選択されたことを検知した場合には当該関連付け欄Ｇ２２が示す電子教科書の頁を表示させる。この具体例について、図９を参照して説明する。

図９は、図８の状態から電子教科書の頁番号が表示された関連付け欄Ｇ２２Ａをユーザが指でタッチした直後のディスプレイ４の表示例である。

この場合、表示制御手段３４１は、タッチパネル入力情報に基づき関連付け欄Ｇ２２Ａが選択されたことを検知すると共に、当該関連付け欄Ｇ２２Ａに電子教科書の頁番号が表示されていることを認識する。この場合、表示制御手段３４１は、関連付け欄Ｇ２２Ａが選択された状態であることが分かるように関連付け欄Ｇ２２Ａをアクティブにする（即ち強調表示する）と共に、当該関連付け欄Ｇ２２Ａに表示された頁番号（図９では第３２頁）の電子教科書を電子教科書表示エリアＡ１１に表示させる。これにより、ユーザは、表示中の電子ノートの頁に関連付けられた電子教科書の頁を、関連付け欄Ｇ２２のタッチ操作により、好適にディスプレイ４上に表示させることができる。

同様に、表示制御手段３４１は、電子ノートの頁番号が表示された関連付け欄Ｇ１２が選択された場合、当該関連付け欄Ｇ１２が示す電子ノートの頁を電子ノート表示エリアＡ２１に表示させる。これにより、ユーザは、表示中の電子教科書の頁に関連付けられた電子ノートの頁を、関連付け欄Ｇ１２のタッチ操作により、好適にディスプレイ４上に表示させることができる。

また、図９の例では、表示制御手段３４１は、電子ノートに表示されたストロークのうち、アクティブになった関連付け欄Ｇ２２Ａが示す電子教科書の頁（図９では第３２頁）を表示中に電子ペン１により記入されたストロークを太字にして強調表示している。この場合、表示制御手段３４１は、表示中の電子ノートの頁に表示されたストロークを描画するのに用いた記入情報のうち、アクティブになった関連付け欄Ｇ２２Ａが示す電子教科書の頁に関連付けられて記憶された記入情報を認識し、当該記入情報に基づくストロークを強調表示する。これにより、表示制御手段３４１は、電子教科書画像Ｇ１１が示す電子教科書の頁に関連する電子ノートの記入内容を容易にユーザに認識させることができる。

なお、図９の例に代えて、ユーザは、電子ペン１のタップ操作により、関連付け欄Ｇ１２、Ｇ２２を選択してもよい。この場合であっても、表示制御手段３４１は、記入情報に基づき関連付け欄Ｇ１２、Ｇ２２が選択されたことを検知し、電子教科書又は電子ノートの表示頁を切り替える処理等を行う。

［関連付け解除ボタンの機能］
次に、関連付け解除ボタン５０の機能について説明する。記憶制御手段３４２は、関連付け解除ボタン５０が選択されたことを検知した場合、アクティブになっている関連付け欄Ｇ１２、Ｇ２２に対応する電子教科書の頁と電子ノートの頁とを関連付けた頁番号対応情報を削除する。

図１０は、図９の状態から関連付け解除ボタン５０が指でタッチされた直後のディスプレイ４の表示例である。この場合、記憶制御手段３４２は、関連付け解除ボタン５０が選択される直前にアクティブであった関連付け欄Ｇ２２Ａが示す電子教科書の第３２頁と、電子ノート表示エリアＡ２１に表示中の電子ノートの第４５頁との関連付けを解除する旨の入力があったと判断する。そして、この場合、記憶制御手段３４２は、電子教科書の第３２頁と、電子ノートの第４５頁とを関連付けた頁番号対応情報を削除する。そして、表示制御手段３４１は、電子教科書の第３２頁と電子ノートの第４５頁との関連付けを示す関連付け欄Ｇ１２（図９の関連付け欄Ｇ１２Ａ）及び関連付け欄Ｇ２２（図９の関連付け欄Ｇ２２Ａ）の頁番号の表示を消去する。なお、図１０の例では、空欄の関連付け欄Ｇ２２を右詰で表示するため、表示制御手段３４１は、電子教科書第３３頁の関連付けを示す「教科書３３頁」と表示する位置を、関連付け欄Ｇ２２Ｂから関連付け欄Ｇ２２Ａに移動させている。

このように、記憶制御手段３４２は、電子教科書の頁番号が表示された関連付け欄Ｇ２２がアクティブになった状態で、関連付け解除ボタン５０が選択されたことを検知した場合、電子ノート画像Ｇ２１が示す電子ノートの頁と、アクティブの関連付け欄Ｇ２２が示す電子教科書の頁とを関連付けた頁番号対応情報を削除する。同様に、記憶制御手段３４２は、電子ノートの頁番号が表示された関連付け欄Ｇ１２がアクティブになった状態で、関連付け解除ボタン５０が選択されたことを検知した場合、電子教科書画像Ｇ１１が示す電子教科書の頁と、アクティブの関連付け欄Ｇ１２が示す電子ノートの頁とを関連付けた頁番号対応情報を削除する。これにより、表示制御手段３４１及び記憶制御手段３４２は、関連付け解除ボタン５０のタッチ操作に基づき、ユーザが指定した任意の電子教科書の頁と電子ノートの頁との関連付けを解除することができる。

なお、図１０の例に代えて、ユーザが電子ペン１のタップ操作により関連付け解除ボタン５０を選択した場合も同様に、表示制御手段３４１及び記憶制御手段３４２は、記入情報に基づき関連付け解除ボタン５０が選択されたことを検知し、電子教科書の頁と電子ノートの頁との関連付けを解除する処理を行う。

［再生機能］
次に、再生ボタン６１が選択された場合の再生機能について詳しく説明する。再生手段３４３は、再生ボタン６１が選択されたことを検知した場合に、対象録音データＶｔａｇが記憶手段３５に記憶されているか否か判定する。以下では、対象録音データＶｔａｇの有無により場合分けして説明する。

（１）対象録音データが存在する場合
まず、再生ボタン６１の選択時に、電子教科書画像Ｇ１１が示す電子教科書の頁に関連付けられた対象録音データＶｔａｇが存在する場合について説明する。

この場合、再生手段３４３は、時間を基準として、対象録音データＶｔａｇと対象録音データＶｔａｇの録音時間帯に記入されたストロークとの同時再生を行う。言い換えると、再生手段３４３は、対象録音データＶｔａｇを音声出力手段３７により出力して再生すると共に、記憶手段３５に記憶された記入情報に含まれる時刻情報を参照し、対象録音データＶｔａｇの録音時間帯に電子ペン１により電子ノート画像Ｇ２１上に記入されて生成された記入情報に基づくストロークを、電子ノート画像Ｇ２１上で再生表示する。この場合、再生手段３４３は、電子ノート画像Ｇ２１が示す電子ノートの頁を、再生表示するストロークの描画に必要な記入情報に関連付けられた電子ノートの頁に設定する。また、再生手段３４３は、他の再生に関するボタン６２〜６７が選択されたことを検知した場合、選択されたボタンが有する機能に従い、対象録音データＶｔａｇ及びストロークの再生を制御する。

このとき、好適には、再生手段３４３は、対象録音データＶｔａｇの再生と、対象録音データＶｔａｇの録音時間帯に記入されたストロークの再生とを同期させる処理を行うとよい。例えば、再生手段３４３は、記入情報に含まれる時刻情報が示す時刻と、当該記入情報の受信時に端末装置３が生成する時刻情報が示す時刻との時刻差を予め算出しておき、当該時刻差分だけ、対象録音データＶｔａｇの再生に対してストロークの再生のタイミングをずらす。他の例では、記憶制御手段３４２は、記入情報の受信時に端末装置３が生成した時刻情報を、受信した記入情報に関連づけて記憶し、再生手段３４３は、当該時刻情報を参照してストロークの再生を行う。これにより、再生手段３４３は、録音データにより再生される音声に対して、ストロークの再生がずれるのを好適に抑制することができる。

また、好適には、再生手段３４３は、対象録音データＶｔａｇの録音時間帯における再生開始時点を、電子教科書表示エリアＡ１１に表示中の電子教科書の頁に応じて決定する。これについて、図１１を参照して説明する。

図１１（Ａ）は、対象録音データＶｔａｇの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。

まず、図１１（Ａ）の対象録音データＶｔａｇの生成処理について説明する。記憶制御手段３４２は、４月５日の１５時に録音ボタン６０が選択されたことを検知し、マイク４６から入力された音声データを、時刻情報と、電子教科書表示エリアＡ１１に表示中の電子教科書の第３１頁とを関連付けて録音データとして記憶する。また、記憶制御手段３４２は、１５時１０分から電子教科書の表示頁が変更されたことを検知し、音声データに関連付ける電子教科書の表示頁を第３１頁から第３２頁に変更する。そして、記憶制御手段３４２は、４月５日の１５時半に録音ボタン６０が再び選択されたことを検知し、録音データの記録処理を終了する。

そして、図１１（Ａ）の例において、再生手段３４３は、第３１頁の電子教科書を示す電子教科書画像Ｇ１１の表示中に再生ボタン６１が選択されたことを検知した場合、矢印９０に示すように、対象録音データＶｔａｇを録音時間帯の冒頭から再生させる。一方、再生手段３４３は、第３２頁の電子教科書を示す電子教科書画像Ｇ１１の表示中に再生ボタン６１が選択されたことを検知した場合、矢印９１に示すように、対象録音データＶｔａｇを１５時１０分の録音時から再生させる。このように、再生手段３４３は、電子教科書表示エリアＡ１１に表示中の電子教科書の頁を基準に対象録音データＶｔａｇを再生することで、表示中の電子教科書の頁に関連した部分を優先して音声再生することができる。

図１１（Ｂ）は、同一の電子教科書の頁に関連付けられた対象録音データＶｔａｇが２つ存在する場合の各対象録音データＶｔａｇの録音時間帯と、録音時に表示されていた電子教科書の頁との関係を示すグラフである。図１１（Ｂ）の例では、記憶制御手段３４２は、図１１（Ａ）の例に示した録音データを生成した一週間後の４月１２日に、電子教科書第３２頁及び第３３頁に関連付けられた録音データを生成し、記憶手段３５に各録音データを記憶している。その結果、各録音データの録音時間帯には、それぞれ、電子教科書第３２頁に関連付けられた時間帯が存在する。

図１１（Ｂ）の例では、再生手段３４３は、第３２頁の電子教科書を示す電子教科書画像Ｇ１１の表示中に再生ボタン６１が選択されたことを検知した場合、まず、矢印９２に示すように、４月５日の対象録音データＶｔａｇの第３２頁の電子教科書に関連付けられた１５時１０分から１５時半までの時間帯に該当する部分を再生する。その後、再生手段３４３は、矢印９３に示すように、４月１２日の録音データの電子教科書第３２頁に関連付けられた１５時８分から１５時１８分までの時間帯に該当する部分を再生する。

このように、同一の電子教科書の頁に関連付けられた対象録音データＶｔａｇが複数存在する場合、再生手段３４３は、対象録音データＶｔａｇに含まれる時刻情報に基づき、録音順に各録音データの該当部分を連続して再生する。これにより、再生手段３４３は、電子教科書画像Ｇ１１が示す電子教科書の頁を基準に録音データを好適に再生することができる。

（２）対象録音データが存在しない場合
再生手段３４３は、再生ボタン６１が選択されたことを検知したときに、電子教科書表示エリアＡ１１に表示された電子教科書の頁に関連付けられた対象録音データＶｔａｇが存在しない場合には、表示された電子教科書の頁に関連付けられた電子ノートに描画されたストロークの再生をストローク単位で行う。

具体的には、この場合、まず、再生手段３４３は、図９に示すストロークの強調表示の例と同様に、電子教科書表示エリアＡ１１に表示された電子教科書の頁に関連付けられた記入情報を認識する。そして、再生手段３４３は、記入情報の時刻情報を参照し、記入順番が早いストロークから順に、予め定められた所定の時間間隔（「通常再生間隔」とも呼ぶ。）に従い再生表示する。これにより、再生手段３４３は、ストロークを記入する間隔が疎らであっても、無駄な時間を省いて好適にストロークを再生することができる。

また、再生手段３４３は、他の再生に関するボタン６２〜６７が選択されたことを検知した場合、選択されたボタンが有する機能に従い、ストロークの再生を制御する。例えば、再生手段３４３は、巻き戻し再生ボタン６５が選択されたことを検知した場合には、通常再生間隔よりも短い間隔で、記入された順番が遅い順に、表示中のストロークを同時に１ストロークずつ非表示にする。他の例では、再生手段３４３は、所定時間進むボタン６７が選択された場合、表示されていないストロークのうち、最も書き順が早い所定個数のストロークを同時に表示させる。

［表示システムによる作用効果］
本実施形態の表示システムによれば、端末装置１００は、電子教科書画像Ｇ１１及び関連付け欄Ｇ１２を電子教科書表示エリアＡ１１に表示させると共に、電子ノート画像Ｇ２１及び関連付け欄Ｇ２２を電子ノート表示エリアＡ２１に表示させる。そして、端末装置１００は、連続して又は同時に関連付け欄Ｇ１２と関連付け欄Ｇ２２とを選択する入力を検知した場合に、電子教科書画像Ｇ１１が示す電子教科書の頁と電子ノート画像Ｇ２１が示す電子ノートの頁との関連付けを行う。これにより、端末装置１００は、ユーザの入力に基づき、電子教科書の頁と電子ノートの頁との関連付けを好適に実行することができる。

［変形例］
次に、本実施形態の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。

（変形例１）
図７の説明では、記憶制御手段３４２は、関連付け欄Ｇ１２、Ｇ２２への操作に基づき、電子教科書の頁と、電子ノートの頁とを関連付けた。これに代えて、又は、これに加えて、記憶制御手段３４２は、電子教科書表示エリアＡ１１及び電子ノート表示エリアＡ２１を跨ぐ（通る）ストローク（「関連付けストロークＳｔａｇ」とも呼ぶ。）が電子ペン１により記入されたことを認識した場合に、表示中の電子教科書の頁と電子ノートの頁とを関連付けてもよい。

図１２は、電子教科書表示エリアＡ１１及び電子ノート表示エリアＡ２１を跨ぐストロークが電子ペン１により記入された直後のディスプレイ４の表示例を示す。図１２の例では、表示制御手段３４１は、電子ペン１から送信された記入情報に基づき、第３２頁の電子教科書の所定の図を囲んだストローク９０と、ストローク９０上の位置と電子ノート内の任意の位置とを結ぶストローク９１とをディスプレイ４上に描いている。

この場合、まず、記憶制御手段３４２は、ストローク９１が電子教科書表示エリアＡ１１及び電子ノート表示エリアＡ２１を通る関連付けストロークＳｔａｇであることを認識し、電子教科書画像Ｇ１１が示す電子教科書の頁（第３２頁）と、電子ノート画像Ｇ２１が示す電子ノートの頁（第４５頁）とを関連付けた頁番号対応情報を記憶する。そして、表示制御手段３４１は、表示中の電子教科書の頁に関連付けた電子ノートの頁番号を示す文字「ノート４５頁」を、関連付け欄Ｇ１２Ａ内に表示する。同様に、表示制御手段３４１は、表示中の電子ノートの頁に関連付けた電子教科書の頁番号を示す文字「教科書３２頁」を、関連付け欄Ｇ２２Ａ内に表示する。さらに、記憶制御手段３４２は、関連付けストロークＳｔａｇ（即ちストローク９１）の描画に用いる記入情報を、表示中の電子教科書の頁（第３２頁）及び電子ノートの頁（第４５頁）と関連付けて、関連付けストロークＳｔａｇの情報（「関連付けストローク情報」とも呼ぶ。）として記憶する。関連付けストローク情報の用途については後述する。また、記憶制御手段３４２は、ストローク９０の描画に用いる記入情報を、当該ストローク９０が記入された電子教科書の頁（第３２頁）と関連付けて記憶手段３５に記憶させる。

このように、本変形例によっても、端末装置１００は、ユーザの入力に基づき、電子教科書の頁と電子ノートの頁との関連付けを好適に実行することができる。

好適には、表示制御手段３４１は、関連付けストロークＳｔａｇが選択されたことを検知した場合、関連付けストローク情報において関連付けられた電子教科書の頁と電子ノートの頁との組をディスプレイ４上に表示させるとよい。この具体例について、図１３及び図１４を参照して説明する。

図１３は、図１２の例で電子ノートの頁を第４５頁から第４６頁に変更した後のディスプレイ４の表示例を示す。図１３の例では、表示制御手段３４１は、タッチパネル入力情報に基づき、頁めくりボタンＧ２３Ｂの選択を検知し、電子ノートの頁を第４５頁から第４６頁に変更する。この場合、表示制御手段３４１は、ストローク９１のうち、電子教科書画像Ｇ１１上に描かれたストローク９１ａのみを表示させる。

図１４は、図１３の例でストローク９１ａの表示部分を指でタッチした直後のディスプレイ４の表示例を示す。この場合、表示制御手段３４１は、関連付けストローク情報に基づき、関連付けストロークＳｔａｇの一部であるストローク９１ａの描画位置を予め認識しておき、タッチパネル入力情報に基づき当該描画位置への接触を検知する。そして、この場合、表示制御手段３４１は、関連付けストローク情報において第３２頁の電子教科書と関連付けられていた第４５頁の電子ノートを電子ノート表示エリアＡ２１に表示させる。

また、図１３及び図１４の例に代えて、図１２の例から電子教科書の頁を変更した場合も同様に、表示制御手段３４１は、ストローク９１のうち、ストローク９１の電子ノートでの描画部分のみを表示させる。そして、表示制御手段３４１は、ストローク９１の電子ノートでの描画位置への接触を検知した時に、ストローク９１に対応する関連付けストローク情報において第４５頁の電子ノートと関連付けられていた第３２頁の電子教科書を電子教科書表示エリアＡ１１に表示させる。

このように、表示制御手段３４１は、関連付けストロークＳｔａｇの選択の検知に基づき、関連付けた電子教科書の頁と電子ノートの頁との組が表示されるように、電子教科書又は電子ノートの表示頁を好適に変更することができる。なお、表示制御手段３４１は、タッチパネル入力情報に代えて、記入情報に基づき、関連付けストロークＳｔａｇの描画位置での電子ペン１のタップを検知した場合についても同様に、関連付けストローク情報を参照し、電子教科書又は電子ノートの表示頁を変更する。

（変形例２）
図１等の例では、表示制御手段３４１は、１頁分の電子教科書及び電子ノートを画面上に表示させた。これに代えて、表示制御手段３４１は、複数頁分の電子教科書及び電子ノートを画面上に表示させてもよい。

図１５は、変形例に係るディスプレイ４の表示例を示す。図１５の例では、表示制御手段３４１は、見開き状態の電子教科書を示す電子教科書画像Ｇ１１と見開き状態の電子ノートを示す電子ノート画像Ｇ２１とを上下に並べて表示している。そして、表示制御手段３４１は、頁めくりボタンＧ１３Ａ又は頁めくりボタンＧ１３Ｂが選択されたことを検知するごとに、電子教科書画像Ｇ１１として表示させる電子教科書の頁を２頁分遷移させる。同様に、表示制御手段３４１は、頁めくりボタンＧ２３Ａ又は頁めくりボタンＧ１３Ｂが選択されたことを検知するごとに、電子ノート画像Ｇ２１として表示させる電子ノートの頁を２頁分遷移させる。このように、図１５の例では、表示制御手段３４１は、電子教科書及び電子ノートを見開き頁ごとにディスプレイ４に表示する。

また、図１５の例では、ユーザは、表示中の電子教科書と電子ノートとを関連付けるため、関連付け欄Ｇ１２と、関連付け欄Ｇ２２とを指により連続して又は同時にタッチしている。この場合、記憶制御手段３４２は、ディスプレイ４に表示中の電子教科書の見開き頁（第３２〜第３３頁）と、ディスプレイ４に表示中の電子ノートの見開き頁（第４５〜４６頁）とを関連付けた頁番号対応情報を記憶手段３５に記憶させる。そして、表示制御手段３４１は、表示中の電子教科書の頁に関連付けた電子ノートの見開き頁の番号を示す文字「ノート４５−４６」を、関連付け欄Ｇ１２Ａに表示する。同様に、表示制御手段３４１は、表示中の電子ノートの見開き頁に関連付けた電子教科書の見開き頁番号を示す文字「教科書３２−３３」を、関連付け欄Ｇ２２内に表示する。

このように、端末装置３は、電子教科書と電子ノートとを見開き頁ごとに表示する場合であっても、好適に電子教科書と電子ノートとの頁の関連付け等を実施例と同様に実行することができる。なお、端末装置３は、電子教科書を見開き頁ごとに表示し、電子ノートを１頁ごとに表示してもよい。

（変形例３）
ディスプレイ４の構造は、図５に示す構造に限定されない。例えば、ディスプレイ４は、ＤＯＬ４０を有しなくともよい。この場合、タッチパネル４４は、抵抗膜方式タッチパネル、超音波方式タッチパネル、光学方式タッチパネルなどの種々の方式のタッチパネルであり、スタイラスによる接触を検知する。そして、この場合、端末装置３は、タッチパネル入力情報に基づき、電子ノート上に記入された筆跡を再現したストロークを描画する。

他の例では、ディスプレイ４は、タッチパネル４４を有しなくともよい。この場合、端末装置３は、電子ペン１のタップ操作により生成されて送信された記入情報やマウスのクリック操作に基づき関連付け欄Ｇ１２、Ｇ２２等の各種ボタンの選択を認識する。

（変形例４）
第１実施形態において、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いたが、アノト方式に限られなくともよい。また、ドットパターン（コード化パターン）も、位置座標を示すものに限られず、アイコンを識別するためのコード値や、関連付けエリアを識別するためのコード値を示すものであってもよい。

１…電子ペン
３…端末装置
４…ディスプレイ
３１ 入力手段
３２…通信手段
３４…処理手段
３５…記憶手段
３６…表示手段
３７…音声出力手段
４０…ＤＯＬ
４４…タッチパネル
４５…ディスプレイパネル

Claims (14)

1. 電子教材を画面上における第１エリアに表示させると共に、ストロークを描画するための電子ノートを画面上における第２エリアに表示させる表示制御手段と、
   外部入力に基づき、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶する記憶制御手段と、
   を有することを特徴とするコンピュータ装置。
2. 前記記憶制御手段は、
   前記第１エリアに別々に表示される前記電子教材の頁の各々と、前記電子ノートの頁とを関連付けて記憶可能であり、かつ、
   前記電子教材の頁と、前記第２エリアに別々に表示される前記電子ノートの頁の各々とを関連付けて記憶可能であることを特徴とする請求項１に記載のコンピュータ装置。
3. 前記表示制御手段は、前記第１エリアに表示される電子教材の頁に関連付けられた電子ノートの頁番号を表示するための第１の欄と、前記第２エリアに表示される電子ノートの頁に関連付けられた電子教材の頁番号を表示するための第２の欄とをさらに表示することを特徴とする請求項１または２に記載のコンピュータ装置。
4. 前記記憶制御手段は、空欄の前記第１の欄と、空欄の前記第２の欄とが連続又は同時に選択されたことを検知した場合、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶することを特徴とする請求項３に記載のコンピュータ装置。
5. 前記表示制御手段は、電子教材の頁と電子ノートの頁との関連付けを解除するためのボタンをさらに表示し、
   前記記憶制御手段は、前記ボタンが選択されたことを検知した場合、指定された第１又は第２の欄に対応する前記電子教材の頁と前記電子ノートの頁との関連付けの情報を消去することを特徴とする請求項３または４に記載のコンピュータ装置。
6. 前記表示制御手段は、
   前記電子ノートの頁番号を表示した第１の欄が選択された場合、当該第１の欄が示す前記電子ノートの頁を表示させ、
   前記電子教材の頁番号を表示した第２の欄が選択された場合、当該第２の欄が示す前記電子教材の頁を表示させることを特徴とする請求項３〜５のいずれか一項に記載のコンピュータ装置。
7. 前記表示制御手段は、前記第２エリアに表示された電子ノートのストロークのうち、前記第１エリアに表示された電子教材の頁の表示中に入力されたストロークを強調して表示することを特徴とする請求項１〜６のいずれか一項に記載のコンピュータ装置。
8. 前記記憶制御手段は、前記第１エリアと前記第２エリアとを通るストロークの入力を検知した場合、前記第１エリアに表示された電子教材の頁と、前記第２エリアに表示された電子ノートの頁とを関連付けて記憶することを特徴とする請求項１〜７のいずれか一項に記載のコンピュータ装置。
9. 前記表示制御手段は、
   前記第１エリアと前記第２エリアとを通るストロークの前記第１エリアに表示された部分が選択された場合、当該ストロークの入力により前記第１エリアに表示された電子教材の頁に関連付けられた電子ノートの頁を前記第２エリアに表示させ、
   前記第１エリアと前記第２エリアとを通るストロークの前記第２エリアに表示された部分が選択された場合、当該ストロークの入力により前記第２エリアに表示された電子ノートの頁に関連付けられた電子教材の頁を前記第１エリアに表示させることを特徴とする請求項８に記載のコンピュータ装置。
10. 前記記憶制御手段は、入力手段により入力された音声の録音データを、前記第１エリアに表示中の電子教材の頁と関連付けて記憶し、
    前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在するときには、当該録音データと、前記電子ノートに描画するストロークとを、時間を基準として再生し、前記第１エリアに表示中の電子教材の頁に関連付けられた録音データが存在しないときには、前記電子ノートに描画するストロークを、ストローク単位で再生する再生手段
    をさらに有することを特徴とする請求項１〜９のいずれか一項に記載のコンピュータ装置。
11. 前記再生手段は、前記録音データの再生の開始時点を、前記第１エリアに表示中の電子教材の頁を基準として決定することを特徴とする請求項１０に記載のコンピュータ装置。
12. 前記再生手段は、前記時間を基準として再生する場合、前記録音データの再生と前記ストロークの再生とを同期させる処理を行うことを特徴とする請求項１０または１１に記載のコンピュータ装置。
13. 前記表示制御手段は、前記第１エリアに電子教材の見開き頁を表示させることを特徴とする請求項１〜１２のいずれか一項に記載のコンピュータ装置。
14. 請求項１〜１３のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。