JP2005080121A - データ通信システム、データ送信端末およびプログラム - Google Patents

Abstract

【課題】 送信元の臨場感を伝えることのできるデータ通信システムを提供する。
【解決手段】 本発明のデータ送信端末は、音声情報を生成する音声情報生成手段と、筆記具で描画可能なボードと、ボード表面を移動する筆記具の位置を検出する位置検出手段と、位置検出手段が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成手段と、位置検出手段によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成手段と、音声情報、画像制御情報、および効果音制御情報を送信する送信手段とを有する。
【選択図】 図４

Description

本発明は、遠隔地間での聴講に好適なデータ通信システム、データ送信端末およびプログラムに関する。

遠隔地で行われる講義を聴講する方法として、電子黒板システムを利用した方法が知られている。電子黒板システムは、講義室で黒板（あるいはホワイトボード）上に書かれた文字や図形を電子データとして遠隔地の教室、自宅等に送信するものである。電子データを受信した遠隔地の教室では、送信された電子データに基づいて板書が例えばＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等の表示装置に再現される。受講生は、表示装置に再現された板書を見ながら講義の音声を聴くことにより、遠隔地で行われている講義を聴講することができる。

ここで、講義をリアルタイムで聴講するには、講義の音声と板書の電子データを同期させて送信する必要があった。そのための技術として、例えば特許文献１〜３に記載されている電子黒板システムが提案されている。
特開２００２−７７８５８号公報 特開２００１−２９２１３８号公報 特開平１１−３３８３３９号公報

しかし、特許文献１に記載の技術では、講義の画像／音声情報はＩＳＤＮ回線を通じて情報管理センタに送信され、講義の聴講者は情報管理センタと情報のやりとりをするため、講義の講師とリアルタイムで質問等のやりとりを行うことができないという問題があった。また、特許文献２および３に記載の技術では、ネットワーク接続をして遠隔会議を行った場合に、黒板（ホワイトボード）に書かれた板書のデータのみを送信するため、字を書いている雰囲気が伝わらず、話者（講師）の熱気が伝わらないという問題があった。

本発明は上記の事情に鑑みてなされたものであり、送信元の臨場感を伝えることのできるデータ通信システム、データ送信端末およびプログラムを提供することを目的とする。

上記の課題を解決するため、本発明は、データ送信端末およびデータ受信端末を有するデータ通信システムにおいて、データ送信端末は、音声を集音し、音声情報を生成する音声情報生成手段と、筆記具で描画可能なボードと、ボード表面を移動する筆記具の位置を検出する位置検出手段と、位置検出手段が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成手段と、位置検出手段によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成手段と、音声情報、画像制御情報、および効果音制御情報を送信する送信手段とを有し、データ受信端末は、音声情報、画像制御情報、および効果音制御情報を受信する受信手段と、受信手段が受信した画像制御情報に基づいて、画像を表示する画像表示手段と、受信手段が受信した効果音制御情報に基づいて効果音を生成する効果音生成手段と、受信手段が受信した音声情報に基づいて音声を出力する音声出力手段とを有することを特徴とするデータ通信システムを提供する。
このデータ通信システムによれば、データ送信端末のパネル上に圧力が加えられた場合に、圧力が加えられた軌跡に対応する画像と、圧力が加えられた軌跡に対応する効果音とを遠隔地のデータ受信端末で再生することができる。

また、本発明は、音声を集音し、音声情報を生成する音声情報生成手段と、筆記具で描画可能なボードと、ボード表面を移動する筆記具の位置を検出する位置検出手段と、位置検出手段が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成手段と、位置検出手段によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成手段と、音声情報、画像制御情報、および効果音制御情報を送信する送信手段とを有するデータ送信端末を提供する。
このデータ送信端末によれば、データ送信端末のパネル上に圧力が加えられた場合に、圧力が加えられた軌跡に対応する画像と、圧力が加えられた軌跡に対応する効果音の情報を送信できる。

ここで、データ送信端末は、筆記具によりボードに加えられる圧力を示す圧力情報を生成する圧力情報生成手段をさらに有し、効果音生成手段は、位置検出手段によって検出された位置の変化および圧力情報に基づいて効果音制御情報を生成してもよい。

また、データ送信端末において、音声情報は、ＶｏＩＰプロトコルに基づいて送信されてもよい。

さらに、本発明は、筆記具で描画可能なボードを有するコンピュータに、音声を集音し、音声情報を生成する音声情報生成処理と、ボード表面を移動する筆記具の位置を検出する位置検出処理と、位置検出処理が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成処理と、位置検出処理によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成処理と、音声情報、画像制御情報、および効果音制御情報を送信する送信処理とを実行させるプログラムを提供する。

本発明によれば、データ送信端末のパネル上に圧力が加えられた場合に、圧力が加えられた軌跡に対応する画像と、圧力が加えられた軌跡に対応する効果音とを遠隔地のデータ受信端末で再生することができるため、遠隔地の者に送信元の臨場感を伝えることができる。

以下、図面を参照しながら本発明の実施形態について説明する。
［１ 電子黒板システムの構成］
［１−１ システムの全体構成］
まず、本実施形態における電子黒板システム１の全体構成について説明する。図１は本実施形態における電子黒板システム１の構成を示すブロック図である。図１に示されるように、本実施形態における電子黒板システム１は、Ａ大学１０に設けられた装置、Ｂ大学２０に設けられた装置、およびＳＩＰサーバ４０から構成される。各装置は、インターネット５０を介して相互に接続されている。なお、各装置を接続する通信網はインターネットに限られず、専用線、無線通信網などＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信可能な他の通信網であってもよい。

本実施形態において、Ａ大学１０は、講義を行う送信元の講義室１０Ａおよび講義室１０Ａとは別の部屋である研究室１０Ｂを有する。講義室１０Ａには、電子黒板１００が設置されている。講義室１０Ａには講師がおり、講師は電子黒板１００を使用して講義を行う。電子黒板１００は、学内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１１、ルータ１４を介してインターネット５０に接続されており、講師は、講義をインターネット５０を介して他の教室等に配信可能である。
講義室１０Ａには、学内ＬＡＮ１１にパーソナルコンピュータ（以下ＰＣと略称する）を接続するための接続ポート（図示略）が設置されている。接続ポートは、講義室１０Ａの各座席に１つずつ設置されている。講義室１０Ａには複数の学生がおり、学生は、接続ポートが設置してある座席に着席して講義を受講する。学生は、各自のＰＣ１２を接続ポートを介して学内ＬＡＮ１１に接続することができる。後述するように、学生はＰＣ１２を用いて、テキストあるいは音声により講師に質問をすることができる。本実施形態においては、講義室１０Ａ内にいる学生Ａが自分のＰＣ１２を学内ＬＡＮ１１に接続している。
また、Ａ大学１０において、学内ＬＡＮ１１にはＩＰ電話機１３が接続されている。ＩＰ電話機１３は、講義室１０Ａとは別の部屋である研究室１０Ｂに設置されている。研究室１０Ｂには学生Ｂがおり、後述するように学生ＢはＩＰ電話機１３を使用して講義室１０Ａで行われている講義の様子を知ることができる。

Ｂ大学２０は、Ａ大学とは別の大学である。Ｂ大学２０の教室には、電子黒板１００Ｂが設置されている。電子黒板１００Ｂは装置構成自体は電子黒板１００と同一である。Ａ大学に設置されている電子黒板とＢ大学に設置されている電子黒板を区別するため、Ｂ大学に設置されている電子黒板およびその構成要素には、参照番号の末尾にＢをつけて区別するものとする。電子黒板１００Ｂはルータ２４を介してインターネット５０に接続されており、Ａ大学１０から配信される講義のデータを受信することができる。Ｂ大学２０の教室には複数の学生がおり、電子黒板１００Ｂに表示される板書および電子黒板１００Ｂから出力される講義の音声を見たり聴いたりすることにより講義を受講できる。また、学生は、電子黒板１００Ｂを介してＡ大学１０の講義室１０Ａにいる講師に質問をすることができる。

本実施形態においては、Ａ大学１０およびＢ大学２０はインターネット５０を介してＳＩＰプロトコルに準拠したＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）通信を行う。ここで、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）とは、ＩＰネットワーク上でマルチメディアセッションを開始／変更／終了するためのアプリケーション層のシグナリングプロトコルである。ＳＩＰ自体は、「セッションの開始／変更／終了」といった基本的な機能のみしか提供せず、音声通話などマルチメディアデータの取り扱いは、従来用いられてきたＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）などを使用する。ＳＩＰは、ＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）ライクに開発されたテキストベースのプロトコルであり、シンプルで処理が軽く、インターネットとの親和性に優れているという特徴を有し、本実施形態における電子黒板システム１のアプリケーション層のプロトコルとして好適である。

ＳＩＰサーバ４０は、ＳＩＰプロトコルに準拠したＶｏＩＰ通信を提供するためのサーバである。図２に示されるように、ＳＩＰサーバ４０は、電話番号登録処理部４１、ＳＩＰプロトコル解釈部４２、電話番号−ＩＰアドレスデータベース４３、システム統括部４４を有する。本実施形態においては、各端末はあらかじめＳＩＰサーバ４０に登録されている。登録は例えば以下のように行われる。各端末は、自らのＩＰアドレスと電話番号と共に登録要求をＳＩＰサーバ４０に送信する。ＳＩＰサーバ４０は、電話番号登録処理部４１において端末の登録処理を行う。電話番号登録処理部４１は、登録要求と共に送信された電話番号およびＩＰアドレスを読み出し、これらを対応付けて電話番号−ＩＰアドレスデータベース４３に登録する。電話番号−ＩＰアドレスデータベース４３には、このようにして電話番号とＩＰアドレスの組が複数登録されている。ＳＩＰプロトコル解釈部４２は、ＳＩＰプロトコルに準拠したパケットのヘッダを解釈する機能を有する。システム統括部４４は、以上の構成要素を統括する機能を有する。

本実施形態において、Ａ大学１０の電子黒板１００およびＢ大学２０の電子黒板１００ＢにはＶｏＩＰ通信の通信回線の確立を行うための電話番号があらかじめ割り当てられている。それぞれの番号の意味は後述するが、電子黒板１００には、講義用、質問用、モニタ用の３種類の電話番号が割り当てられている。

［１−２ 電子黒板の構成］
図３は電子黒板１００の外観図であり、図４は電子黒板１００の構成を示すブロック図である。表示制御部１０２は、ＰＤＰ１０１を駆動するための装置であり、表示する画像に関するデータあるいは信号を中央制御部１１０との間で送受信する。ＰＤＰ１０１の表面には、タッチパネル１０３が設置されている。使用者が、例えばスタイラスペンを用いてタッチパネル１０３に触れると、後述する方法によりタッチパネル１０３のタッチパネル制御部１０４は触れられた位置の座標および触れた圧力を算出する。中央制御部１１０は、例えばその位置の直下のＰＤＰ１０１の画素の色を変化させることによりＰＤＰ１０１上に接触位置の軌跡を描くことができる。なお、表示装置はＰＤＰに限られず、ＬＣＤ、ＬＥＤディスプレイ、あるいはブラウン管ディスプレイなど他の表示装置を用いてもよい。

本実施形態において、タッチパネル１０３は、周知の抵抗膜方式タッチパネルである。タッチパネル１０３は、タッチパネル制御部１０４を有する。タッチパネル制御部１０４は、使用者がタッチした位置のｘｙ座標を算出したり、タッチした圧力を算出したり、算出したデータを中央制御部１１０に送信したりする機能を有する。なお、タッチパネル１０３は抵抗膜方式タッチパネルに限られず、赤外線方式、アナログ容量結合方式、超音波表面弾性波方式など他の方式のタッチパネルでもよい。

また本実施形態において、タッチパネル１０３の周辺部には、複数の歪ゲージが密に配置されている。タッチパネル制御部１０４は、算出したｘ座標に最も近い位置に位置する歪ゲージ（上下１つずつ計２つ）から、弾性体フィルムのｙ軸方向の変位を算出する。同様に、算出したｙ座標に最も近い位置に位置する歪ゲージ（左右１つずつ計２つ）から、弾性体フィルムのｘ軸方向の変位を算出する。タッチパネル制御部１０４は、弾性体フィルムの変位の値と、その変位を引き起こす圧力値とが対応付けられている変位−圧力テーブルをあらかじめ記憶している。タッチパネル制御部１０４は、変位−圧力テーブルから、算出された変位に最も近い変位の値と対応付けられている圧力値を算出し、タッチした圧力とする。タッチパネル制御部１０４は算出した圧力を中央制御部１１０に送信する。
なお、圧力を算出する方法は上記の方法に限られず、あらかじめ変位と圧力の関係を示す関数を求めておき、その関数に変位を入力して圧力値を求める方法でもよい。あるいは、タッチパネル１０３に圧力を計測する手段を設けず、スタイラスペンに圧力センサを設け、無線または有線で中央制御部１１０に送信してもよい。

マイク１０５は、音声を集音し、音声信号に変換する。音声信号は音声ＣＯＤＥＣ（ＣＯｄｅｒ ＤＥＣｏｄｅｒ）１０７に送信され、音声データに変換される。音声データは音声データ生成部１０８を介して中央制御部１１０に送信され、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２を介してネットワークに送信される。音声データ生成部１０８は、中央制御部１１０から送信されるデータに基づいて音声データを生成することができる。音声データ生成部１０８は生成した音声データを音声ＣＯＤＥＣ１０７に送信する。音声ＣＯＤＥＣ１０７は、音声データを音声信号に変換し、スピーカ１０６を介して音声として出力する。
テンキー１１３は、使用者が主として電話番号の操作入力を行うための装置である。テンキー１１３は使用者の操作入力に応じた信号を中央制御部１１０に出力する。
効果音発生部１０９は、中央制御部１１０から送信される、効果音の生成を指示するデータに基づいて効果音データを生成し、音声データ生成部１０８に送信する。効果音発生部１０９は、効果音の生成のために、後述する波形データベース、圧力−音量テーブル、および速度−音程テーブルを記憶している。音声データ生成部１０８は、効果音データおよび音声データを重ね合わせ、１つの音声データとして音声ＣＯＤＥＣ１０７に送信する。スピーカ１０６からは、音声および効果音が重ね合わせられて出力される。

図５は、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２におけるＶｏＩＰソフトウェアモジュールの構成を示すブロック図である。図５に示されるように、ＶｏＩＰソフトウェアモジュールは、ＩＰｖ４およびＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）ｖ４並びにＩＰｖ６およびＩＣＭＰｖ６のデュアルスタックからなる、ネットワーク層のプロトコルであるＩＰと、トランスポート層のプロトコルであるＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）およびＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）と、アプリケーション層以上のＨＴＴＰＤ、ＤＮＳ（Ｄｏｍａｉｎ Ｎａｍｅ Ｓｙｓｔｅｍ）、ＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）ｖ４、Ｎｅｉｇｈｂｏｒ Ｄｉｓｃｏｖｅｒｙ（ｖ６）、ＴＦＴＰ（Ｔｒｉｖｉａｌ Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）と、ＶｏＩＰモジュールであるＳＩＰスタックおよびＲＴＰ／ＲＴＣＰと、ユーザアプリケーションからなる。

中央制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、外部記憶装置を有するコンピュータ装置であり、以上の各構成要素との間でデータをやりとりし、各種制御および演算処理を行う機能を有する。

［２ 電子黒板システムの動作］
以下、本実施形態における電子黒板システム１の動作について説明する。最初に、遠隔地でＡ大学の講義室１０Ａの講義を受講しようとするＢ大学の教室の電子黒板１００ＢとＡ大学の電子黒板１００の間で通信回線を確立する動作について図６を参照しながら説明する。
まず、Ｂ大学の教室にいる誰かが、電子黒板１００Ｂのテンキー１１３Ｂを操作し、講義室１０Ａの講義用の電話番号を入力する。あるいは、電子黒板１００Ｂが、講義の開始／終了時間と、講義の送信元を対応付けた時間割テーブルを記憶していて、講義の開始時刻になると自動的に講義の送信元の電話番号が入力される構成としてもよい。電話番号が入力されると、電子黒板１００Ｂの中央制御部１１０Ｂは、テンキー１１３Ｂから入力された電話番号を含むＩＮＶＩＴＥ要求を生成し、ＳＩＰサーバ４０に送信する。
ＩＮＶＩＴＥ要求を受信したＳＩＰサーバ４０は、電話番号−ＩＰアドレスデータベース４３内を検索し、そのＩＮＶＩＴＥ要求と共に送信された電話番号に対応付けられたＩＰアドレスを抽出する。本実施形態においては、講義室１０Ａの講義用の電話番号に対応付けられた講義室１０ＡのＩＰアドレスを抽出する。ＳＩＰサーバ４０は、抽出した講義室１０ＡのＩＰアドレスで特定されるノードにＩＮＶＩＴＥ要求を転送する。
ＩＮＶＩＴＥ要求を受信した講義室１０Ａの電子黒板１００は、ＰＤＰ１０１にＢ大学から接続要求がある旨を示すポップアップウインドウ等を表示し、その状態を示すステータスＲｉｎｇｉｎｇをＳＩＰサーバ４０を介して電子黒板１００Ｂに送信する。なお、接続要求の通知方法はポップアップウインドウの表示に限られず、スピーカ１０６から呼び出し音を鳴らすなど他の方法を用いてもよい。

Ｂ大学からの接続要求に気付いたＡ大学の講師が電子黒板１００上のＯＦＦＨＯＯＫボタンを押し接続要求に応じると、その旨を示すステータスＯＫが電子黒板１００のＩＰアドレスと共に電子黒板１００Ｂに対して送信される。ステータスＯＫを受信した電子黒板１００Ｂは、ステータスＡＣＫをＳＩＰサーバ４０を介して電子黒板１００に送信する。以上の手順で、電子黒板１００と電子黒板１００Ｂとの間に通信回線が確立される。電子黒板１００はＩＮＶＩＴＥ要求のヘッダから、要求元がＢ大学の黒板１００Ｂであると認識し、音声データおよび板書の板書データ（画像データ）を送受信するモードに切り替わる。前述のように、ＳＩＰサーバ４０は通信回線の確立のみに関与し、音声データおよび板書データの送受信には関与せず、音声データおよび板書データの送受信にはＲＴＰプロトコルが使用される。すなわち、音声データおよび板書データはＳＩＰサーバ４０を介さず電子黒板１００と電子黒板１００Ｂとの間で送受信される。

［２−１ 電子黒板の各種動作］
次に、電子黒板１００の動作について説明する。本実施形態における電子黒板１００は、（１）ネットワークを介して音声通信を行う機能と、（２）ネットワークを介して板書の通信を行う機能と、（３）板書に同期して筆跡音を発生させる機能とを有する。

（１） 音声の通信
次に、音声データの送受信について説明する。Ａ大学の講師の話した音声は、電子黒板１００のマイク１０５で集音され、音声信号として音声ＣＯＤＥＣ１０７に送信される。音声ＣＯＤＥＣ１０７は、例えば８ｋｂｐｓのＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）方式を使用して音声信号を符号化し音声データとする。なお、符号化の帯域は８ｋｂｐｓに限られず、６４ｋｂｐｓ、６．３ｋｂｐｓ等他の帯域でもよい。音声データは音声データ生成部１０８を介して中央制御部１１０に送信される。中央制御部１１０はメモリに音声データを保存し、例えば２０ｍ秒分の音声データが貯まると、その２０ｍ秒分の音声データを含むパケット（以下、音声パケットという）を生成し、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２を介してネットワークに送信する。

音声パケットは、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２において、ＲＴＰヘッダ、ＵＤＰヘッダ、ＩＰヘッダ等が付加されて送出される。音声パケットの送受信にはリアルタイム性が要求されるため、Ｗｅｂアクセスや電子メールの送受信で用いるＴＣＰではなく、ＵＤＰを用いる。ＵＤＰを使ってパケットを送る場合でも、パケットを再生するタイミングを制御する必要がある。そのために、ＲＴＰヘッダには、タイムスタンプ情報が記録され、データをどのタイミングで再生すべきかを受信端末に伝えるようにしている。
音声パケットを受信した電子黒板１００Ｂは、音声パケットのＲＴＰヘッダに付加されたタイムスタンプ情報を元に適切な順番で音声データを中央制御部１１０のメモリに記憶する。中央制御部１１０は、メモリから音声データを読み出し、読み出した音声データを、タイムスタンプ情報に基づくタイミングで音声データ生成部１０８を介して音声ＣＯＤＥＣ１０７に送信する。音声ＣＯＤＥＣ１０７は、音声データを音声信号に復号化し、スピーカ１０６Ｂに出力する。スピーカ１０６Ｂは、入力された音声信号を音声として出力する。こうして、Ｂ大学の教室にいる学生はＡ大学における講義の音声を聴くことができる。

（２） 板書の通信
次に、電子黒板１００上に描かれた画像の送受信について説明する。前述のように、ＰＤＰ１０１の表面には、タッチパネル１０３が設置されている。講師がスタイラスペン等を用いてタッチパネル１０３に触れると、前述のようにタッチパネル制御部１０４は講師が触れた位置を示す位置情報であるｘｙ座標データおよびタッチの圧力を中央制御部１１０に出力する。中央制御部１１０は、そのｘｙ座標に対応する画素の色を変化させる旨を指令する描画データを画像制御情報として表示制御部１０２に出力する。
描画データを受信した表示制御部１０２は、ＰＤＰ１０１上のそのｘｙ座標に対応する画素の色を変化させる。例えば、未入力状態では白だった画素を黒に変化させる。これにより、講師がタッチパネル１０３上をなぞった通りの軌跡がＰＤＰ１０１上に表示される。すなわち、講師は、従来の黒板とチョークによる板書と同様に、電子黒板１００に板書をすることができる。なお、電子黒板に字／図形を書くモードと書いた字／図形を消すモード（黒板消しモード）とを切りかえるスイッチ等の手段を設け、黒板消しモードでは、ＰＤＰ１０１に表示された画像を消すようにしてもよい。

中央制御部１１０は、描画データを表示制御部１０２に送信すると同時に、電子黒板１００Ｂにも送信する。すなわち、中央制御部１１０は、その描画データを含むパケット（以下、描画パケットという）を生成し、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２を介してネットワークに送信する。描画パケットは、音声パケットと同様に、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２において、ＲＴＰヘッダ、ＵＤＰヘッダ、ＩＰヘッダ等が付加されて送出される。
描画パケットを受信した電子黒板１００Ｂは、描画パケットのＲＴＰヘッダに付加されたタイムスタンプ情報を元に適切な順番で音声データを中央制御部１１０のメモリに記憶する。中央制御部１１０は、メモリから描画データを読み出し、読み出した音声データを音声データ生成部１０８を介して音声ＣＯＤＥＣ１０７にタイムスタンプ情報に基づいたタイミングで送信する。音声ＣＯＤＥＣ１０７は、音声データを音声信号に復号化し、スピーカ１０６Ｂに出力する。スピーカ１０６Ｂは、入力された音声信号を音声として出力する。描画データを受信した表示制御部１０２Ｂは、ＰＤＰ１０１Ｂ上のそのｘｙ座標に対応する画素の色を変化させる。すなわち、Ａ大学の講義室１０Ａに設置された電子黒板１００上に描かれた板書が、Ｂ大学の教室の電子黒板１００Ｂで再現される。Ｂ大学の学生は、電子黒板１００Ｂの板書を見ながら講義を聴くことができる。
なお、以上の説明では、ｘｙ座標および圧力データを画像の描画を指示する描画データに変換してから画像制御情報として送信する態様について説明したが、ｘｙ座標の位置情報をそのまま画像制御情報として送信し、それを受信した電子黒板１００Ｂが位置情報に基づいて描画を行ってもよい。あるいは、描画データに基づいて表示された画像のビットマップデータを送信してもよい。

（３） 筆跡音の発生
次に、筆跡音の発生動作について説明する。筆跡音は、大きくアタック音と摩擦音に分けられる。ここで、アタック音とは、従来の黒板とチョークで言うと、チョークが黒板に触れた瞬間の「トン」という音を指す。本実施形態においては、スタイラスペンをタッチパネル１０３に触れた瞬間にこのアタック音を発生させる。一方、摩擦音とは、チョークで黒板に線を描くときの「キュー」という音を指す。本実施形態においては、タッチパネル１０３に触れているスタイラスペンを触れたまま移動するときにこの摩擦音を発生させる。

まず、アタック音の発生動作について説明する。電子黒板１００の中央制御部１１０は、タッチパネル１０３のタッチパネル制御部１０４がｘｙ座標を出力しているかを監視している。あらかじめ決められた時間以上ｘｙ座標が出力されない場合（すなわち、一定時間の間タッチパネル１０３が触れられない場合）、中央制御部１１０は、電子黒板１００が非板書状態にあると判断する。一方、ｘｙ座標が出力されている場合は、板書状態にあると判断する。非板書状態から板書状態に移行した瞬間、すなわち、講師がスタイラスペンをタッチパネル１０３に触れた瞬間、中央制御部１１０は、効果音発生部１０９に対し、タッチの圧力値データを送信すると共にアタック音の生成を指示する。

アタック音の生成を指示された効果音発生部１０９は、効果音の生成を指示する楽音制御情報であるＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データを生成する。具体的には、発生させる音の長さ、音程を指定するノートオン、ノートオフメッセージと、「トン」というアタック音の音色を指定するプログラムチェンジメッセージと、タッチの圧力値に基づいて決定される音量を指定するコントロールメッセージとを含むＭＩＤＩデータを生成する。生成されたＭＩＤＩデータは、音声データ生成部１０８に送信される。ＭＩＤＩデータを受信した音声データ生成部１０８は、自身の保有する波形データベースから、ＭＩＤＩデータで指定されたアタック音の波形を抽出し、ＭＩＤＩデータで指定された長さ、音程となるように加工されたアタック音の音声データを生成する。生成されたアタック音の音声データは、音声ＣＯＤＥＣ１０７に送信される。音声ＣＯＤＥＣ１０７は音声データを音声信号に変換し、スピーカ１０６に出力する。スピーカ１０６は音声信号を音声として出力する。すなわち、講師がタッチパネル１０３に触れた動作と同期してスピーカ１０６から「トン」というアタック音が出力される。なお、楽音制御データはＭＩＤＩデータに限られず、他の規格によるデータでもよい。

効果音発生部１０９は、生成したアタック音のＭＩＤＩデータを、中央制御部１１０にも送信する。中央制御部１１０は、前述の音声データや描画データと同様にＭＩＤＩデータをパケット化し（以下、ＭＩＤＩパケットという）、ネットワークに送信する。ＭＩＤＩパケットは、ＶｏＩＰプロトコル制御部１１１／ネットワークプロトコル制御部１１２において、ＲＴＰヘッダ、ＵＤＰヘッダ、ＩＰヘッダ等が付加されて送出される。
ＭＩＤＩパケットを受信したＢ大学の電子黒板１００Ｂは、前述の音声パケットや描画パケットの場合と同様に、ＭＩＤＩパケットからＭＩＤＩデータを復元する。ＭＩＤＩデータは音声データ生成部１０８Ｂに送信され、以下電子黒板１００で説明したのと同様に、スピーカ１０６Ｂから「トン」というアタック音が出力される。

続いて、摩擦音の発生動作について説明する。電子黒板１００が板書状態にあると判断された場合、中央制御部１１０は、例えば２０ｍ秒という所定の時間の経過前後のｘｙ座標から、スタイラスペンのペン先の移動速度を算出する。中央制御部１１０はさらに、２０ｍ秒の平均のペン先圧力を算出する。中央制御部１１０は、このペン先の移動速度と圧力とをパラメータとして摩擦音を生成するよう効果音発生部１０９に指令する。
効果音発生部１０９は、ペン先の圧力と摩擦音の音量を対応付けた圧力−音量テーブルと、ペン先の速度と摩擦音の音程を対応付けた速度−音程テーブルとをあらかじめ記憶している。効果音発生部１０９は、パラメータとして与えられた圧力値に最も近い圧力値を圧力−音量テーブルから探し、その圧力値に対応付けられている音量を生成する摩擦音の音量とする。また、効果音発生部１０９は、パラメータとして与えられた速度に最も近い音程を速度−音程テーブルから抽出し、摩擦音の音程とする。効果音発生部１０９は、その音程の音を２０ｍ秒発生させるノートオン、ノートオフメッセージと、摩擦音の音色を示すプログラムチェンジメッセージと、摩擦音の音量を示すコントロールチェンジメッセージとを含むＭＩＤＩデータを生成する。生成されたＭＩＤＩデータは、音声データ生成部１０８に送信される。ＭＩＤＩデータを受信した音声データ生成部１０８は、自身の保有する波形データベースから、ＭＩＤＩデータで指定された摩擦音の波形を抽出し、ＭＩＤＩデータで指定された長さ、音程となるように加工されたアタック音の音声データを生成する。以下、アタック音の場合と同様に、摩擦音はスピーカ１０６から出力される。

以上で説明した板書および筆跡音の発生動作により、講師がタッチパネル１０３上でスタイラスペンを動かす動作と同期して、電子黒板１００のＰＤＰ１０１には図形や文字（板書）が表示され、また同時にスピーカ１０６からは板書に同期して「トン、キュッ、キュッ」という筆跡音が再生される。一方Ｂ大学においては、電子黒板１００ＢのＰＤＰ１０１にはＡ大学の電子黒板１００の板書が再現され、スピーカ１０６Ｂからは板書と同期して筆跡音および講師の講義音声が再生される。これによりＢ大学においても、臨場感のある講義を聴くことが可能となる。

（４） 受講側黒板からの板書の追加動作
Ｂ大学の電子黒板１００ＢはＡ大学の講義を受講する受講側の電子黒板であるが、講義の送信元の電子黒板１００と同じ機能を有している。したがって、電子黒板１００Ｂのマイク１０５Ｂを介して音声で質問をしたり、タッチパネル１０３Ｂを利用して板書を追加することができる。すなわち、Ａ大学の講師は、Ｂ大学の学生を指名して問題に音声で答えさせたり、電子黒板１００に書いた数学の問題を電子黒板１００Ｂ上に解答を書かせることにより答えさせることができる。音声および板書を送受信する方法は、電子黒板１００の場合と同様である。

なお、以上の説明では、筆跡音をＭＩＤＩデータとしてＢ大学の電子黒板１００Ｂに送信する態様について述べたが、電子黒板１００で生成した筆跡音データ（ＰＣＭデータ）を電子黒板１００Ｂに送信する態様としてもよい。この場合、筆跡音データを受信した電子黒板１００Ｂは、講義の音声データの再生と同様に筆跡音を再生する。あるいは、電子黒板１００はｘｙ座標および圧力値をデータとして電子黒板１００Ｂに送信し、電子黒板１００Ｂがｘｙ座標および圧力値のデータを基に筆跡音を生成してもよい。

［２−２ 質問動作］
前述のように、Ａ大学の講義室１０Ａにいる学生Ａは、自らの所有するＰＣ１２を学内ＬＡＮ１１に接続している。学生Ａは、講義に解らないことがある場合、手を挙げて質問をすればよいのであるが、これを行うと講義を中断してしまうためついつい質問を躊躇してしまう。しかしながら、本実施形態においては、学生Ａは、以下の方法によりＰＣ１２から学内ＬＡＮ１１を介して質問をする。

学生Ａは、ＰＣ１２にあらかじめインストールされているインスタントメッセージングソフトを起動する。ＰＣ１２は、ＳＩＰプロトコルに準拠したＶｏＩＰ通信が可能なコンピュータである。学生Ａは、インスタントメッセージングソフトに電子黒板１００の質問用電話番号を入力し、電子黒板１００とＰＣ１２との間で通信回線を確立する。通信回線を確立する動作は、前述の電子黒板１００と電子黒板１００Ｂとの間の通信回線の確立動作とほぼ同様である。ただし、質問用電話番号に電話した場合は、講師に接続要求があった旨を通知する動作は行われず、自動応答で質問をしてきた端末と接続する。通信回線が確立されたのを確認した後、学生Ａは、インスタントメッセージングソフトに質問を入力する。ＰＣ１２は、質問のテキストデータに対応するパケット（以下、テキストパケットという）を生成し、電子黒板１００に送信する。

中央制御部１１０は、質問用の通信回線を介してテキストパケットを受信しテキストデータを得ると、質問がある旨を通知するメッセージをＰＤＰ１０１に表示させる。講義が一段落したところで、講師はそのメッセージに気付き、メッセージが表示されている部分にタッチする。メッセージはＰＤＰ１０１上の所定の位置に表示され、メッセージ表示中はその旨を示す信号がタッチパネル制御部１０４に出力される。メッセージ表示中に、タッチパネル１０３上でＰＤＰ１０１のメッセージ表示位置に対応する領域に属するｘｙ座標が出力されると、中央制御部１１０は、テキストデータで示される文字を表示するようにＰＤＰ１０１に指令する。こうしてＰＤＰ１０１には、学生ＡがＰＣ１２から入力した質問が文字として表示される。質問のテキストデータは電子黒板１００からＢ大学の電子黒板１００Ｂにも送信され、質問は電子黒板１００Ｂにも表示される。
Ａ大学の講師は、こうして表示された質問を読み上げ、この質問に回答する。こうしてＡ大学およびＢ大学で講義を受けている学生は、質問の内容を確実に共有でき、また、それに対する回答もリアルタイムに聴くことができる。

なお、以上ではテキスト入力により質問をする態様について説明したが、学生ＡはＰＣ１２を介して音声により質問をすることもできる。この場合、学生Ａは通信回線が確立された後、ＰＣ１２に備えられているマイクを介して音声で質問をする。質問の音声は講義の音声と同様の方法でスピーカ１０６から再生される。すなわち、Ａ大学およびＢ大学の学生はともに質問の音声を聴くことができる。これにより、例えば講義室１０Ａが数百人の学生を収容する大教室であって、学生Ａが後方の席に座っている場合でも、学生Ａは質問を行うことができる。

［２−３ 呼び出し音による講義室のモニタ動作］
本発明の電子黒板システムは、ＩＰ電話の呼び出し音（Ｒｉｎｇ Ｂａｃｋ Ｔｏｎｅ、以下ＲＢＴという）によって、講義室の様子をモニタする機能を提供する。前述のように、講義室１０Ａとは別の部屋である研究室１０Ｂには、ＩＰ電話機１３が設置されており、ＩＰ電話機１３は、学内ＬＡＮ１１に接続されている。講義室１０Ａでは既に講義が始まっているが、学生Ｂはまだ研究室１０Ｂにいるとする。

図７は、講義の音声をＲＢＴとして送信する手順を説明するフローである。学生Ｂは、ＩＰ電話機１３のプッシュボタンを操作し、電子黒板１００のモニタ用電話番号を入力する。ＩＰ電話機１３は、ＳＩＰサーバ４０に対し電子黒板１００のモニタ用電話番号を含むＩＮＶＩＴＥ要求を送信する。ＳＩＰサーバ４０は、自身の保有する電話番号−ＩＰアドレスデータベース４３から受信したモニタ用電話番号に対応するＩＰアドレスを抽出する。ＳＩＰサーバ４０は、抽出した電子黒板１００のＩＰアドレスで特定されるノードにＩＮＶＩＴＥ要求を転送する。

モニタ用電話番号を含むＩＮＶＩＴＥ要求を受信した電子黒板１００は、呼び出し中を示すステータスＲｉｎｇｉｎｇをＳＩＰサーバ４０に送信する。ＳＩＰサーバ４０は、受信したステータスＲｉｎｇｉｎｇをＩＰ電話機１３に転送する。通常ステータスＲｉｎｇｉｎｇを受信したＩＰ電話機１３は「プルルルル…」というＲＢＴを鳴らすが、ＩＮＶＩＴＥ要求の宛先が電子黒板１００の場合には、「プルルルル…」というＲＢＴは鳴らさないようになっている。電子黒板１００は、ステータスＲｉｎｇｉｎｇをＳＩＰサーバ４０に送信すると同時に、ＩＮＶＩＴＥ要求からそのＩＮＶＩＴＥ要求の送信元を特定し、講義の音声パケットをＩＮＶＩＴＥ要求の送信元であるＩＰ電話機１３に送信する。講義の音声パケットを受信したＩＰ電話機１３は、通常のＲＢＴに代えて、講義の音声パケットから再生される講義の音声をＲＢＴとしてスピーカから出力する。

以上のようにしてＩＰ電話機１３からＲＢＴとして出力される講義の音声を聴くことにより、学生Ｂは研究室１０Ｂにいながら講義の様子を知ることができる。例えば研究室１０Ｂでの実験が長引き講義の開始に間に合わなかった場合でも、まだ講義が重要な部分まで進んでいないことを知ることができ、学生Ｂは途中からでも講義に出席する判断をすることができる。

［３ 変形］
前述の実施形態においては、電子黒板１００と電子黒板１００Ｂとの２つの装置間で音声＋板書データの通信を行う態様について説明したが、電子黒板１００と、複数の装置との間で通信回線を確立し、複数の装置で講義を受信するようにしてもよい。例えば学内ＬＡＮ１１に接続しているＰＣ１２で板書データを受信するようにしてもよい。このような態様によれば、板書データをＰＣ１２に保存することができるので学生はノートをとる必要がなくなる。また、自宅等のＰＣ等からインターネット５０を介して電子黒板１００に接続し、自宅等で講義の音声＋板書データを受信するようにしてもよい。このような態様によれば、学生は大学まで行かなくても講義を受講することができる。

また、電子黒板１００に代えて、いわゆるホワイトボードを使用し、このホワイトボードにマーカーペン等で直接筆記するように構成してもよい。この場合においては、マーカーペン等の筆記具の軌跡を検出する装置をタッチパネル機構の代わりに設ければよい。

本発明の実施形態における電子黒板システムの構成を示す図である。 同実施形態におけるＳＩＰサーバの構成を示すブロック図である。 同実施形態における電子黒板の外観図である。 同実施形態における電子黒板の構成を示すブロック図である。 同実施形態における電子黒板のＶｏＩＰプロトコル制御部／ネットワークプロトコル制御部におけるＶｏＩＰソフトウェアモジュールの構成を示すブロック図である。 同実施形態における電子黒板と講義用の通信回線を確立する手順を示すフロー図である。 同実施形態における電子黒板が講義の音声をＲＢＴとして送信する手順を示すフロー図である。

符号の説明

１…電子黒板システム、１０…Ａ大学、１１…学内ＬＡＮ、１２…ＰＣ、１３…ＩＰ電話機、２０…Ｂ大学、４０…ＳＩＰサーバ、５０…インターネット、１００…電子黒板、１０１…ＰＤＰ、１０３…タッチパネル、１０５…マイク、１０６…スピーカ、１０８…音声データ生成部、１０９…効果音発生部、１１０…中央制御部、１１３…テンキー

Claims (5)

1. データ送信端末およびデータ受信端末を有するデータ通信システムにおいて、
   前記データ送信端末は、
   音声を集音し、音声情報を生成する音声情報生成手段と、
   筆記具で描画可能なボードと、
   前記ボード表面を移動する前記筆記具の位置を検出する位置検出手段と、
   前記位置検出手段が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成手段と、
   前記位置検出手段によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成手段と、
   前記音声情報、前記画像制御情報、および前記効果音制御情報を送信する送信手段と
   を有し、
   前記データ受信端末は、
   前記音声情報、前記画像制御情報、および前記効果音制御情報を受信する受信手段と、
   前記受信手段が受信した画像制御情報に基づいて、画像を表示する画像表示手段と、
   前記受信手段が受信した効果音制御情報に基づいて効果音を生成する効果音生成手段と、
   前記受信手段が受信した音声情報に基づいて音声を出力する音声出力手段と
   を有する
   ことを特徴とするデータ通信システム。
2. 音声を集音し、音声情報を生成する音声情報生成手段と、
   筆記具で描画可能なボードと、
   前記ボード表面を移動する前記筆記具の位置を検出する位置検出手段と、
   前記位置検出手段が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成手段と、
   前記位置検出手段によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成手段と、
   前記音声情報、前記画像制御情報、および前記効果音制御情報を送信する送信手段と
   を有するデータ送信端末。
3. 前記筆記具により前記ボードに加えられる圧力を示す圧力情報を生成する圧力情報生成手段をさらに有し、
   前記効果音生成手段は、前記位置検出手段によって検出された位置の変化および前記圧力情報に基づいて前記効果音制御情報を生成する
   ことを特徴とする請求項２に記載のデータ送信端末。
4. 前記音声情報は、ＶｏＩＰプロトコルに基づいて送信されることを特徴とする請求項２または３のいずれかに記載のデータ送信端末。
5. 筆記具で描画可能なボードを有するコンピュータに、
   音声を集音し、音声情報を生成する音声情報生成処理と、
   前記ボード表面を移動する前記筆記具の位置を検出する位置検出処理と、
   前記位置検出処理が検出した位置に応じて画像を描画するための画像制御情報を生成する画像描画情報生成処理と、
   前記位置検出処理によって検出された位置の変化に基づいて、効果音の制御を指示する効果音制御情報を生成する効果音制御情報生成処理と、
   前記音声情報、前記画像制御情報、および前記効果音制御情報を送信する送信処理と
   を実行させるプログラム。

Images