JP2005025399A - インターネットを使った情報交換手段 - Google Patents
インターネットを使った情報交換手段 Download PDFInfo
- Publication number
- JP2005025399A JP2005025399A JP2003188833A JP2003188833A JP2005025399A JP 2005025399 A JP2005025399 A JP 2005025399A JP 2003188833 A JP2003188833 A JP 2003188833A JP 2003188833 A JP2003188833 A JP 2003188833A JP 2005025399 A JP2005025399 A JP 2005025399A
- Authority
- JP
- Japan
- Prior art keywords
- client
- information
- clients
- window
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】インターネット使用環境で、簡単に授業や会議のように、情報交換できる対話プログラム、対話用表示画面、現地現在時刻算出プログラム及び予定表確認プログラムを提供する。
【解決手段】ネットワークを通して相互交信可能なサーバと複数クライアントを有する。各クライアントが、一定時間内に、使用者が各クライアント上で操作した際に発生するイベントをデータ化した情報と、各クライアントの入力手段から得られる画像及び音声をデータ化した情報と、使用者が各クライアントのポインティングデバイスの操作に関する情報をベクトル化した情報とを第1ステップでサーバに送信する。第2ステップで、各クライアントは、サーバが送信情報を集約した集約情報を受信する。第3ステップで、各クライアントは、受信情報を各クライアントの出力手段に出力する。
【選択図】 図23
【解決手段】ネットワークを通して相互交信可能なサーバと複数クライアントを有する。各クライアントが、一定時間内に、使用者が各クライアント上で操作した際に発生するイベントをデータ化した情報と、各クライアントの入力手段から得られる画像及び音声をデータ化した情報と、使用者が各クライアントのポインティングデバイスの操作に関する情報をベクトル化した情報とを第1ステップでサーバに送信する。第2ステップで、各クライアントは、サーバが送信情報を集約した集約情報を受信する。第3ステップで、各クライアントは、受信情報を各クライアントの出力手段に出力する。
【選択図】 図23
Description
【0001】
【発明の属する技術分野】
本発明は、情報交換手段に関し、インターネットを使った対話プログラム、対話用表示画面、現地現在時刻算出プログラム、及び予定表確認プログラムに関する。
【0002】
【従来の技術】
互いが離れた場所に居る場合の映像を含めた情報交換手段は、TV電話や、インターネットでのチャットが挙げられる。
【0003】
【発明が解決しようとする課題】
しかし、TV電話では、互いの映像や音声を双方向に伝えるだけで、共通に書き込み及び閲覧できる領域を持たないため、十分な情報交換が図れない。
【0004】
また、インターネットでのチャットは、共通に書き込み及び閲覧出来る領域があるが、キーボードなどでの定型の文字の入力に限定されるため、文字の書き順やイラストを伝えるような非定型の文字や画像を送受信することはできない。出来たとしても、インターネット接続に関する設定変更を行うなど、コンピュータに相当の知識のある人に使用者が限られて一般的ではない。
【0005】
TV電話とインターネットのチャットを組み合わせるなどして、使用者それぞれの映像、音声、及び共通に書き込み及び閲覧出来る領域を送受信するだけでは、それぞれの信号の時間的な同期がとれないため、学校の授業や会議室での会議のようなスムーズな情報交換が実現しているとは言えない。
【0006】
本発明の目的は、インターネットの使用できる環境においてプログラムインストールだけで、簡単に学校の授業や会議室での会議のように、情報交換ができる対話プログラム及び対話用表示画面を提供することである。
【0007】
本発明の他の目的は、インターネットの使用できる環境において、簡単にクライアントの有する時計機能とは別に現地現在時刻を算出できる現地現在時刻算出プログラムを提供することである。
【0008】
本発明のさらに他の目的は、インターネットの使用できる環境において、簡単に学校の授業や会議室での会議のように、情報交換に関する予定表が時差を気にせず確認できる予定表確認プログラムを提供することである。
【0009】
【課題を解決するための手段】
前記目的を達成するため、対話プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々が、一定時間内に使用者がクライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、一定時間内にクライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、一定時間内に使用者がクライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とをサーバに送信する第1ステップと、サーバが、クライアントの各々からの送信情報を集約し、集約した情報を、クライアントの各々が受信する第2ステップと、クライアントの各々が、第2ステップで受信した情報を、クライアントの各々が有する出力手段に出力する第3ステップを備える。
【0010】
好ましくは、ビデオ・オーディオストリーミング情報は、画像に加えて、入力手段から得られる音声をデータ化したものも含まれる。
【0011】
また、好ましくは、第1ステップは、イベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報とを、1つのフレームに構成し、フレームをサーバに送信する。
【0012】
さらに、好ましくは、フレームの送信は、クライアントの有するメモリバッファに一時記憶したものを送信する。
【0013】
さらに、好ましくは、第2ステップは、クライアントから送信されたフレームを、それぞれイベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、分割したクライアントごとのイベントコントロール情報をサーバに保管されている直前のイベント状態と合成して新たなイベントコントロール情報を計算し、分割したクライアントごとのホワイトボード・ノート描画用ベクトル情報をサーバに保管されているホワイトボード・ノートベクトル情報の過去の履歴と差分を計算し、計算した複数の新たなイベントコントロール情報と、分割した複数の新たなビデオ・オーディオストリーミング情報と、差分計算した新たなホワイトボード・ノート描画用ベクトル情報とをサーバ内の返信フレームに格納し、返信フレームを、クライアントの各々が受信する。
【0014】
さらに、好ましくは、第3ステップは、クライアントの各々が、第2ステップで受信した返信フレームを、イベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、分割したイベントコントロール情報をクライアントの各々が有する内部ワークエリアに上書きし、分割したビデオ・オーディオストリーミング情報を内部ワークエリアに追加し、分割したホワイトボード・ノート描画用ベクトル情報を内部ワークエリアに追加し、上書きしたイベントコントロール情報に従って、内部ワークエリアに含まれる情報をそれぞれ同期して、出力手段のモニタ上に表示させ、映像を再生し、モニタ上にホワイトボード画像、及びノート画像を表示する。
【0015】
さらに、好ましくは、第3ステップは、上書きしたイベントコントロール情報に従って、内部ワークエリアに含まれる情報のうち音声を、さらに出力手段の有するスピーカに再生する。
【0016】
また、好ましくは、第2ステップでは、クライアントのうち、サーバとのフレーム送受信を途中から行ったクライアントは、サーバから返信フレームが送信される前に、直前のイベント状態とホワイトボード・ノート描画用ベクトル情報の過去の履歴データが送信される。
【0017】
また、好ましくは、第1、第2、第3ステップを、一定間隔ごとに繰り返し行う。
【0018】
さらに、好ましくは、一定間隔の長さは、変更可能である。
【0019】
また、好ましくは、一定時間の長さは、変更可能である。
【0020】
また、対話プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々が、一定時間内に使用者がクライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、一定時間内にクライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、一定時間内に使用者がクライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とを、サーバが受信する第1ステップと、サーバが、クライアントの各々からの送信情報を集約し、集約した情報を、クライアントの各々に送信する第2ステップとを備える。
【0021】
また、対話用表示画面は、ネットワークを通して相互に交信が可能な複数のクライアントにおいて、クライアントの各々の有するカメラで入力されたカメラ画像を表示する第1領域と、クライアントの各々の有するポインティングデバイスでクライアントの相互に入力されたホワイトボード画像を表示する第2領域とを備える。
【0022】
好ましくは、第1領域は、クライアントの各々の有するポインティングデバイスで入力されたノート画像のそれぞれを表示する。
【0023】
さらに、好ましくは、第1領域は、ノート画像のそれぞれに、複数のクライアントの内の特定のクライアントによってコメントを加えたノート解答画像のそれぞれを表示する。
【0024】
また、好ましくは、第2領域へのクライアントの各々の有するポインティングデバイスによる入力は、複数のクライアントのうちの特定のクライアントによって制限される。
【0025】
また、前記他の目的を達成するため、現地現在時刻算出プログラムは、ネットワークを通して相互に交信が可能なサーバとクライアントにおいて、サーバの有する時計と、サーバとクライアントの時差とによって計算されるクライアントの現地現在時刻を算出する。
【0026】
好ましくは、クライアントの制御手段が有する時間計算機能と、算出した現地現在時刻とによって、算出した現地現在時刻から一定時間経過後の時刻を算出する。
【0027】
また、前記他の目的を達成するため、予定表確認プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々の使用者の予定表をクライアントの各々の現地時間で入力しサーバに送信する第1ステップと、サーバが、予定表をサーバの有する時計の標準時間に変換し、標準時間に変換された予定表をクライアントの各々の現地時間に変換し、クライアントの各々が受信する第2ステップと、クライアントの各々が、第2ステップで受信した予定表をクライアントの各々が有する出力手段に出力する第3ステップを備える。
【0028】
【発明の実施の形態】
本発明で実施する対話プログラム、対話用表示画面、時計及び予定表確認プログラムの1つの実施形態として、互いに離れた場所にいる複数の人間が、仮想教室で行う授業を例に挙げて説明する。また、対話プログラムを実行することにより、対話用表示画面、時計、及び予定表確認プログラムも実行されるものとして説明する。
【0029】
この仮想教室の授業は、図1のように、ネットワークを通して交信が可能な複数のクライアントA、B1〜BNとサーバCで構成される。複数のクライアントは、教師用のクライアントAと生徒用のクライアントB1〜BNで構成される。各クライアントは、使用者IDなどの入力信号をサーバCに送信し、適正と認められた場合に、本発明の実施形態におけるネットワークに参加が可能になる。
【0030】
教師用のクライアントAと生徒用のクライアントB1〜BNは対話プログラムを有し、適正にインストールされている。プログラムの内容は同じであるが、生徒用のクライアントB1〜BNは、入力できる領域などの制限が、教師用のクライアントAからの入力信号によりなされる点で異なる。教師用のクライアントAと、生徒用のクライアントB1〜BNの判別は、使用者IDなどの認証によりサーバが行う。Nは自然数である。
【0031】
クライアントAは、ネットワークを通じて相互に交信可能なコンピュータであり、入力装置10A、出力装置20A、制御装置30Aとを有する。
【0032】
入力装置10Aは、ポインティングデバイス11A、キーボード12A、マイク13A、及びカメラ14Aを有する。
【0033】
ポインティングデバイス11Aは、平面上を滑らせて入力するマウス、表示素子上にペン先を押しつけて入力するライトペン、専用の入力盤を利用するディジタイザなどであり、文字入力や画像入力を行う。とくに、これらポインティングデバイス11Aは、画面上に表示されるポインタの移動軌跡が表示できるため、文字の書き順やイラストなどを表現する際に有効である。
【0034】
キーボード12Aは、使用者のIDやパスワードなどの識別情報、及びURLや定型文字の入力に使用される。マイク13Aは、クライアントAを使用する者やその周辺の音声を入力する。従って、クライアントAの使用者の音声が入力できる位置にマイク13Aを配置する。カメラ14Aは、クライアントAを使用する者やその周辺の映像を入力する。従って、クライアントAの使用者の姿を撮像できる位置にカメラ14Aを配置する。
【0035】
出力装置20Aは、スピーカ21A、モニタ22Aを有する。スピーカ21Aは、受信した信号などのうち、音声信号を出力する。モニタ22Aは、受信した信号などのうち、画像信号を出力する。特に、後述する対話用表示画面WAを表示する。
【0036】
制御装置30Aは、CPUなど、入力装置10A、出力装置20Aの制御や、ネットワークを通じてサーバCや他のクライアントB1〜BNとの交信を行う。本実施形態では、インターネット接続により交信が行われる。従って、クライアントAは、インターネットのブラウザが使用できる通信端末である。
【0037】
クライアントAは、本実施形態を、モニタ22Aに表示されるブラウザの画面WAを使って行う。
【0038】
クライアントB1〜BNは、入力装置10B1〜10BN、出力装置20B1〜20BN、制御装置30B1〜30BNとを有する。
【0039】
入力装置10B1〜10BN、出力装置20B1〜20BN、制御装置30B1〜30BNの各部の構成は、クライアントAの有する入力装置10A、出力装置20A、制御装置30Aと同じである。
【0040】
クライアントB1〜BNの、モニタ22B1〜22BNに表示されるブラウザの画面をWB1〜WB16、WB17 ’〜WBN ’で表す。
【0041】
サーバCは、制御装置30C、及び記録媒体50Cとを有する。
【0042】
制御装置30Cの各部の構成は、クライアントAの有する制御装置30Aと同じである。従って、サーバCは、クライアントA、クライアントB1〜BNとインターネットを介して信号の送受信が可能である。記録媒体50Cは、後述する送信フレームFAなどを格納する。
【0043】
次に、クライアントA、B1〜BNの使用するブラウザ画面WA、WB1〜WB16、WB17 ’〜WBN ’について説明する。画面WA、WB1〜WB16、WB17 ’〜WBN ’はブラウザ画面である。16番目までの生徒用の端末、すなわち、クライアントB1〜B16の画面WB1〜WB16と、17番目以降の生徒用の端末、すなわちクライアントB17〜BNの画面WB17 ’〜WBN ’は構成が異なるので、分けて説明する。16番目のクライアントB16と、17番目のクライアントB17で区別したのは、画面WA、WB1〜WB16、WB17 ’〜WBN ’の構成を16の生徒用のクライアントまでを表示するようにしたためである。但し、本実施形態と異なる他の数値で画面構成をしてもよい。本実施形態では、使用者のクライアントが、16番目までのクライアントB1〜B16、17番目以降のクライアントB17〜BNのいずれに属するかについては、サーバCによる制御によって決定させるが、使用者の選択により決定させてもよい。
【0044】
図2〜13では、教師用のクライアントAのモニタ22Aで表示されるブラウザ画面WAについて説明する。
【0045】
画面WAは、第1領域100A、第2領域200A、第3領域300A、及び第4領域400Aから構成される。第1領域100A、第2領域200A、第3領域300A、及び第4領域400Aは、1つの画面上に並べて配置される。
【0046】
図3で、図2の詳細を説明する。第1領域100Aは、クライアントB1〜B16の有するポインティングデバイス11B1〜11B16で入力された信号に対応したアイコン、及びクライアントB1〜B16の使用者名などの識別情報を表示する第1ウィンドウ110B1〜110B16を備える。図4は、n番目の第1ウィンドウ110Bn及び第2ウィンドウ120Bnに表示されうる総てのアイコンを示す。nはN以下かつ16以下の自然数である。n番目の第1ウィンドウ110Bnは、後述するクライアントBnの画面WBnの第3領域300Bnの挙手アイコン396Bn、質問アイコン397Bn(図14参照)がポインティングデバイス11Bnでクリックされた信号に対応した挙手アイコン131Bn、質問アイコン132Bnを有する。挙手アイコン131Bnは、クライアントB1〜B16のうちのn番目のクライアントBnが第3領域300Bnの挙手アイコン396Bn(図14参照)をポインティングデバイス11Bnでクリックした信号に対応し、クライアントBn以外の他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれの第1ウィンドウ110Bnでも表示される。一方質問アイコン132Bnは、クライアントB1〜B16のうちのn番目のクライアントBnが第3領域300Bnの質問アイコン397Bn(図14参照)をポインティングデバイス11Bnでクリックした信号に対応し、クライアントBn以外の他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれの第1ウィンドウ110Bnでは表示されない。挙手アイコン131Bn、質問アイコン132Bnは、n番目のクライアントBnが、これに対応する挙手または質問アイコンをポインティングデバイス11Bnで入力した場合に限り表示される。これにより、どのクライアントが挙手に相当する意思表示を行ったかが、総てのクライアントA、B1〜BNで明確になり、どのクライアントが質問に相当する意志表示を行ったかが、クライアントAで明確になる。
【0047】
また、第1ウィンドウ110B1〜110B16は、クライアントB1〜B16の画面WB1〜WB16の第3領域300B1〜300B16のいずれかに入力許可がされた状態を表示する板書中アイコン130B1〜130B16を有する。クライアントB1〜B16のうちのn番目のクライアントBnが入力を許可された場合、板書中アイコン130Bnは、総てのクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’それぞれの第1ウィンドウ110Bnに表示される。これにより、どのクライアントが入力許可されているのかが、総てのクライアントA、B1〜BNで明確になる。
【0048】
図3に戻る。第1領域100Aは、クライアントB1〜B16の有するカメラ14B1〜14B16で入力された信号に対応したカメラ画像121B1〜121B16を表示する第2ウィンドウ120B1〜120B16を備える。図5のように、n番目の第2ウィンドウ120Bnは、クライアントBnのカメラ14Bnで入力された信号に対応したカメラ画像121Bnを表示する。カメラ画像121Bnは、生徒用のクライアントBnの使用者の顔などである。また、図6のように、第2ウィンドウ120B1〜120B16は、カメラ画像121B1〜121B16の他に、後述するクライアントB1〜B16の画面WB1〜WB16の第5領域500B1〜500B16(図15参照)にポインティングデバイス11B1〜11B16で入力された信号に対応したノート画像122B1〜122B16を表示する。また、図7のように、第2ウィンドウ120B1〜120B16は、ノート画像122B1〜122B16に、クライアントAが後述する正解アイコン133B1〜133B16、不正解アイコン134B1〜134B16をポインティングデバイス11Aでクリックして得られた入力信号に対応した画像を重ねたノート解答画像123B1〜123B16を表示する。図6、図7は、図5と同様に、n番目の第2ウィンドウ120Bnだけを表したものである。
【0049】
第2ウィンドウ120B1〜120B16が、ノート画像122B1〜122B16またはノート解答画像123B1〜123B16を表示している時、第1領域100Aは、ノート画像122B1〜122B16にコメントを加える正解アイコン133B1〜133B16、不正解アイコン134B1〜134B16、及びコメントクリアするアイコン135B1〜135B16を有する(図6、図7参照)。第2ウィンドウ120B1〜120B16のうちn番目の第2ウィンドウ120Bnに表示されたノート画像122Bnを見て、クライアントAの使用者は、正解アイコン133Bnまたは不正解アイコン134Bnをポインティングデバイス11Aでクリックする。クリックした入力信号に対応した画像をノート画像に重ねたノート解答画像123Bnを表示する。例えば、本実施形態では、通常のノート画像122Bnが白色の背景色で表示されるのに対して、正解アイコン133Bnをクリックした場合には、ノート画像122Bnを緑色の背景色で表示したノート解答画像123Bnを、不正解アイコン134Bnをクリックした場合には、ノート画像に赤色の背景色で表示したノート解答画像123Bnを表示する。これらの背景色を白色に戻したい場合は、クリアアイコン135Bnをクリックする。これらの背景色については他の色でもよいし、色でなく正解例の画像を書き加えるなどでもよい。
【0050】
第1領域100Aの第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16のうち、クライアントAの使用者によって選択されたn番目の第1ウィンドウ110Bn、及び第2ウィンドウ120Bnは、拡大して表示することが可能である。図8は、2番目のクライアントB2に対応する第1ウィンドウ110B2、及び第2ウィンドウ120B2を拡大して表示した場合を示す。以下クライアントAの使用者が2番目のクライアントB2に対応する第1ウィンドウ110B2を選択したとして説明する。2番目のクライアントB2に対応する第1ウィンドウ110B2以外のクライアントB1〜B16に対応する第1ウィンドウ110B1〜110B16が選択された場合も同様である。クライアントAのポインティングデバイス11Aで、第1ウィンドウ110B1〜110B16のうちの2番目の第1ウィンドウ110B2をクリックすると、第1ウィンドウ110B2、及び第2ウィンドウ120B2が拡大し、第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2が表示される。第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2は、第1拡大ウィンドウ171B2をポインティングデバイス11Aでドラッグしながら移動させることで、画面WAのいずれかの位置に移動可能である。拡大表示させるウィンドウの選択は1つに限らず、複数に対して行うことが可能である。例えば、図8のように2番目のクライアントB2を選択するために、第1ウィンドウ110B2をクリックし、第1、第2拡大ウィンドウ171B2、181B2を表示させた後、これらを縮小させることなく、他のm番目のクライアントBmの第1ウィンドウ110Bmをクリックして、第1、第2拡大ウィンドウ171B m、181Bmを表示させることが可能である。ここでmは16以下の自然数である。
【0051】
第1拡大ウィンドウ171B2は、第2拡大ウィンドウ181B2に、ノート画像121B2を拡大して表示させる選択アイコン141B2、及びカメラ画像121B2を拡大して表示させる選択アイコン142B2、拡大表示をもとの縮小表示に戻す選択アイコン143B2を有する。アイコン141B2をポインティングデバイス11Aでクリックすると、第2拡大ウィンドウ181B2は、ノート画像122B2を拡大して表示する。アイコン142B2をポインティングデバイス11Aでクリックすると、第2拡大ウィンドウ181B2は、カメラ画像121B2を拡大して表示する。アイコン143B2をポインティングデバイス11Aでクリックすると、拡大表示が終了し、もとの図3のような画面に戻る。
【0052】
第1拡大ウィンドウ171B2は、後述するクライアントB2の画面WB2の第3領域300B2の第5ウィンドウ350B2にポインティングデバイス11B2による入力を許可する入力許可アイコン144B2を有する。入力許可アイコン144B2をポインティングデバイス11Aでクリックすると、クライアントB2の画面WB2の第3領域300B2の第5ウィンドウ350B2への入力が可能になる。このとき、図示しない第3領域300B2の有する第1アイコン群360B2のアイコン361B2〜366B2をポインティングデバイス11B2でクリックすることが可能になる。また、第2アイコン群370B2のアイコン371B2をポインティングデバイス11B2でドラッグ&ドラッグすることが可能になる。
【0053】
図9のように、第2拡大ウィンドウ181B2が、ノート画像122B2を拡大表示している時、第2拡大ウィンドウ181B2は、ノート画像122B2にコメントを加える正解アイコン153B2、不正解アイコン154B2、及びコメントクリアするアイコン155B2を有する。それぞれのアイコン153B2、154B2、155B2をポインティングデバイス11Aでクリックした時の効果は、図4で示したアイコン133Bn、134Bn、135Bnをポインティングデバイス11Aでクリックした時と同様である。
【0054】
図3に戻る。次に第2領域200Aについて説明する。第2領域200Aは、クライアントAの使用者の名前などの識別情報を表示する第3ウィンドウ230Aと、クライアントAの有するカメラ14Aで入力された信号に対応したカメラ画像を表示する第4ウィンドウ240Aとを備える。
【0055】
次に第3領域300Aについて説明する。第3領域300Aは、クライアントAのポインティングデバイス11Aなどで入力可能でかつ、入力した画像を表示可能な第5ウィンドウ350Aを備える。第5ウィンドウ350Aに、ポインティングデバイス11Aなどで入力された信号は、第5ウィンドウ350A上に表示される。すなわち、ポインティングデバイス11Aでカーソル移動させた軌跡を表示して文字または図形を描画し、カーソル位置を矢印表示させる。また、キーボード12Aで入力した定型文字などを表示させる。いずれの場合も、第5ウィンドウ350Aに表示される文字や図形や矢印は、サーバCを介してクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNに表示される。
【0056】
第3領域300Aは、第5ウィンドウ350Aの入力信号の表示効果を選択する第1アイコン群360A、第5ウィンドウに表示される画面を消去または過去の画面に切り替えて表示させる第2アイコン群370A、第5ウィンドウ350Aにポインティングデバイス11Aのカーソル位置を矢印表示させる第3アイコン群380A、第1領域100Aの第2ウィンドウ120B1〜120B16に表示する画像を選択する第4アイコン群390Aとを有する。それぞれのアイコン群の有するアイコンをクリックすることにより、これに対応する入力結果が画像表示される。
【0057】
第1アイコン群360Aは、第5ウィンドウ350Aにポインティングデバイス11Aで入力する信号の軌跡をどのように表示するかを選択するアイコン361A、362A、363A、364A、365A、366Aを有する。それぞれのアイコンのクリックにより、軌跡の色や太さを選択できる。選択されたアイコンがどれであるか判別しやすいように、選択されたアイコンは他の第1アイコン群360Aのアイコンの向きと変えて表示される。例えば、図10は、アイコン362Aが選択されている状態を示している。
【0058】
図3に戻る。第2アイコン群370Aは、第5ウィンドウ350Aに表示された画像を全部消去する消去アイコン371A、過去に第5ウィンドウ350Aに表示された画像を表示していることを知らせるアイコン372A、過去に第5ウィンドウ350Aに表示された内容を閲覧する場合に、ページ送りをするアイコン373A、374A、375Aを有する。図3の第2アイコン群370Aは、過去の第2ページ目を表示していることを示している。図8の第2アイコン群370Aは、最新の第3ページ目を表示していることを示している。消去アイコン371Aをポインティングデバイス11Aで画面下方にドラッグすると、図示しない消去決定アイコンが表示され、この消去決定アイコンの位置でマウスアップすなわちドロップすることにより、第5ウィンドウ350A総ての表示を消去する。ドラッグしても、消去決定アイコンでマウスアップすなわちドロップしなければ、第5ウィンドウ350Aの表示は消去されない。また、消去アイコン371Aは図8のように最新のページを表示している時だけ有効で、図3のように過去のページを表示している時には無効なアイコンになる。ページ送りアイコン373A、374A、375Aをポインティングデバイス11Aでクリックすることにより、過去に第5ウィンドウ350Aに表示した内容を再び表示させる。第2アイコン群は、表示領域376Aを有し、表示している第5ウィンドウ350Aの画像のページ番号を表示する。アイコン372Aは、第5ウィンドウ350Aが図3のように過去のページを表示している時だけ表示され、図8のように最新のページを表示している時には、半透明で表示される(図では半透明表示はしていない)。過去のページを閲覧中に、アイコン373Aをクリックすると、最新のページを表示させる。過去のページを閲覧中に、アイコン374Aをクリックすると、1ページ新しいページを表示させる。アイコン375Aをクリックすると1ページ過去のページを表示させる。クライアントAが書き込みできるページ、すなわち最新のページを第5ウィンドウ350Aに表示している時は、アイコン374Aは、図3のようなページ送りアイコンではなく、図8のように最新のページで書き込みが可能である旨を示すアイコンが表示される。
【0059】
第3アイコン群380Aは、指示棒カーソル表示アイコン381Aを有する。このアイコンのクリックにより第5ウィンドウ350Aにおいて、ポインティングデバイス11Aのカーソルの動きに同期した指示棒に相当する矢印表示がされる。
【0060】
第4アイコン群390Aは、クライアントAの第2ウィンドウ120B1〜120B16に表示する内容を選択するノート画像表示アイコン391Aとカメラ画像表示アイコン392Aを有する。ノート画像表示アイコン391Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する(図6参照)。カメラ画像アイコン392Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有するカメラ14B1〜14B16で入力されたカメラ画像121B1〜121B16を表示する(図5参照)。ノート画像表示アイコン391Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する(図6参照)。
【0061】
第4アイコン群390Aは、クライアントB1〜B16の有する表示画面WB1〜WB16の第2ウィンドウ120B1〜120B16に表示する内容を選択するノート画像表示アイコン393A、ノート解答画像表示アイコン394A、カメラ画像表示アイコン395Aを有する。ノート表示アイコン393Aをポインティングデバイス11Aでクリックすると、クライアントB1〜B16の有する表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する。ノート解答表示アイコン394Aをポインティングデバイス11Aでクリックすると、ノート画像121B1〜121B16に正解の緑色背景色または不正解の赤色背景色を重ねたノート解答画像123B1〜123B16を、クライアントB1〜B16の有する表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16に表示する。カメラ画像表示アイコン395Aをポインティングデバイス11Aでクリックすると、クライアントB1〜B16の表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有するカメラ14B1〜14B16で入力されたカメラ画像121B1〜121B16を表示する。
【0062】
第3領域の第5ウィンドウ350Aは、ポインティングデバイス11Aによる入力で、文字や絵などが描かれる、いわゆるホワイトボードとしての役割を果たす。具体的には、一定の時間に入力された総ての信号を1つのフレームFAに格納する。1つのフレームFAは、文字や絵などの入力信号を集めたホワイトボード・ノート描画用情報IGAと、選択されたアイコンの情報やカーソル位置の情報を集めたイベントコントロール情報IEAとを有する。またフレームFAは、カメラ14Aで入力されたカメラ画像、及びマイク13Aで入力された音声の信号であるビデオ・オーディオストリーミング情報IVAを有する。フレームFAは、サーバCに送信され、サーバCで返信フレームF’に変換される。サーバCはクライアントA、B1〜BNに送信する。これにより、クライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNで、従来のキーボードで入力された文字信号の送信ではできなかった、文字を描画している過程も含めて観察することが可能になる。また、クライアントB1〜BNは、カメラ画像や音声も同期して出力されるので、第5ウィンドウ350Aの領域を使った情報伝達に加えて、映像や音声でも情報伝達が受けられるので、1つの教室で授業を受けているかのような感覚で画面WB1〜WB16、WB17 ’〜WBNの観察が可能となる。フレームFAの構成や送受信の流れは後述する。
【0063】
また、クライアントAの画面WAの第5ウィンドウ350Aの内容は、クライアントB1〜BNの第5ウィンドウ350B1〜350BNで表示可能である上に、クライアントB1〜B16も一定要件下で、第5ウィンドウ350B1〜350B16にポインティングデバイス11B1〜11B16で入力可能である。すなわち、クライアントAの入力許可アイコン144B1〜144B16をポインティングデバイス11Aでクリックすることにより、クライアントB1〜B16のうちのn番目のクライアントBnが第5ウィンドウ350Bnにポインティングデバイス11Bnで入力することが可能になる。
【0064】
第5ウィンドウ350Aに、ポインティングデバイス11Aで文字などが入力されているときは、図10のように、第1領域には、何も表示されないように対話プログラムを設定することが可能である。こうするとフレームFAで送信されるデータ量を少なくし、クライアントAのCPU負荷を抑える効果がある。
【0065】
図3に戻る。次に第4領域400Aについて説明する。第4領域400Aは、クライアント間の交信を終了させるログアウトアイコン401A、クライアントAのローカル日付、及び時間を表示する時計表示領域420Aとを有する。第4領域400Aは、画面WAの機能を拡張させる領域で、例えば、別に記録させておいたファイル及びデータをサーバCにアップロードさせるアイコン402A、アップロードさせたファイル及びデータを削除するアイコン403A、アップロードされたファイル及びデータの中から、別ウィンドウで表示させるファイル及びデータの番号を選択するアイコン410A〜419Aを有する。アップロードアイコン402A、削除アイコン403A、及び選択アイコン410A〜419Aは、以下で説明するファイルなどのアップロードに使用するためのアイコンであるが、アイコンの数や用途はこれに限られない。
【0066】
クライアントAの記録媒体などに記録しておいたファイル及びデータ、又はクライアントAの使用者が入力したデータは、サーバCにアップロードさせることで、サーバCの記録媒体50Cに記録される。ファイルは、例えば、クライアントAの使用者が行う他のクライアントB1〜BNに対する授業を円滑に進めるためのプレゼンテーション用の資料ファイルや、画面WA、WB1〜WB16、WB17 ’〜WBN ’をさらに拡張させて、伝えたい情報を画面WA、WB1〜WB16、WB17 ’〜WBN ’に加えるなどのプログラムファイルがこれに相当する。データは、参照させたいインターネットのホームページのURLなどである。
【0067】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン402Aをクリックすると、図11のようなファイル及びデータのアップロード選択用拡大ウィンドウ450Aが表示され、どのファイル及びデータをアップロードさせるかをクライアントAの使用者に選択させる。また、このとき、選択させたファイル及びデータを何番目の場所に格納させるかを選択させる。アップロード選択用拡大ウィンドウ450Aは、ファイル及びデータを参照するアイコン451A、ファイル及びデータ名を入力する入力領域454A、アップロードを決定するアイコン452A、アップロード選択用拡大ウィンドウ450Aを閉じるアイコン453A、とアップロードの格納先を選択するアイコン460A〜469Aを表示する。アップロード選択用拡大ウィンドウ450Aは、画面WAとは別のブラウザ画面である。
【0068】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン403Aをクリックすると、図12のようなファイル及びデータの消去選択用拡大ウィンドウ470Aが表示され、アップロードさせたどのファイル及びデータを消去させるかをクライアントAの使用者に選択させる。消去選択用拡大ウィンドウ470Aは、消去を決定するアイコン472A、消去選択用拡大ウィンドウ470Aを閉じるアイコン473A、と消去するファイル及びデータの格納先を選択するアイコン480A〜489Aを表示する。アイコン480A〜489Aのいずれかをクリックすると、格納されたファイル及びデータのサムネール表示がされる。消去選択用拡大ウィンドウ470Aは、画面WAとは別のブラウザ画面である。
【0069】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン410A〜419Aのいずれかをクリックすると、図13のような、アップロードファイル拡大ウィンドウ490Aを表示する。このウィンドウの拡大は、他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’に同期させることも、同期させないで、各クライアントの選択に任せることも可能である。アップロード拡大ウィンドウ490Aは、この画面を閉じるアイコン493Aを有する。拡大ウィンドウ490Aは、画面WAとは別のブラウザ画面である。
【0070】
時計表示領域420Aは、クライアントAの制御装置30Aが有する時計とは別途に計算されて表示される時間表示領域で、本発明の現地現在時刻算出プログラムにより算出される時刻を表示する。現地現在時刻を算出し時計表示領域420Aに表示するまでのフローチャートは後述する(図25参照)。タイムゾーンの異なる地域にクライアントAが移動された場合は、通常、制御装置30Aの有する時計のタイムゾーンを変更させる必要がある。しかし、制御装置30Aの有する時計のタイムゾーンを変更すると、制御装置30Aの有するファイル管理システムやメールソフトなどの時間も同期して変更される。本発明では、時計表示領域420Aに表示する時刻だけを移動先の現地時間に合わせることが可能になる。また、制御装置30Aの時計が正確に現地現在時刻にセットされていない場合であっても、時計表示領域420Aには正確に現在の時刻を表すことが可能になる。
【0071】
また、クライアントA、B1〜BNの間の予定表確認も、各クライアントの現地時間に対応して行うことが可能である。具体的な表示画面(図27参照)、及び予定表確認プログラムのフローチャート(図26参照)については、後述する。
【0072】
次に、図2、図14〜図18で、16番目までの生徒用のクライアントB1〜B16のモニタ22B1〜22B16で表示される画面WB1〜WB16について説明する。
【0073】
画面WB1〜WB16の構成は、それぞれで同じである。従って、n番目の画面WBnの構成で説明する。画面WBnは、第1領域100Bn、第2領域200Bn、第3領域300Bn、第4領域400Bn、及び第5領域500Bnから構成される。第1領域100Bn、第2領域200Bn、第3領域300Bn、及び第4領域400Bnは、1つの画面上に並べて配置されるので図2と同じであるが詳細が画面WAと異なる(図14参照)。第5領域500Bnは、必要に応じて、別ウィンドウでかつ第3領域300Bnに重ねて表示される(図15参照)。
【0074】
図14で、詳細を説明する。教師用のクライアントAの画面WAと異なる点を中心に説明する。構成や機能が同じアイコンなどについては、同じ番号で添字だけをAからBnに変えている。
【0075】
画面WBnの第1領域100Bnが備える第1ウィンドウ110B1〜110B16は、画面WAの第1領域100Aの第1ウィンドウ110B1〜110B16と同様である。
【0076】
図16は、第1領域100Bnのm番目の第1ウィンドウ110Bm及び第2ウィンドウ120Bmに表示されうる総てのアイコンを示す。
【0077】
画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16は、挙手アイコン131B1〜131B16を有する。m番目のクライアントBmが、画面WBmの第3領域300Bmの挙手アイコン396Bmをポインティングデバイス11Bmで入力した場合に画面WBnの第1領域100Bnのm番目の挙手アイコン131Bmが表示される。
【0078】
画面WBnの第1領域100Bnのn番目の第1ウィンドウ110Bnは、質問アイコン132Bnを有する。n番目以外の第1ウィンドウ110B1〜110B16は、質問アイコンを有しない。従って、図16のように、質問アイコン132Bmが表示されるのはn=mの場合に限られる。n番目のクライアントBnが、画面WBnの第3領域300Bnの質問アイコン397Bnをポインティングデバイス11Bnで入力した場合に画面WBnの第1領域100Bnのn番目の質問アイコン132Bnが表示される。この質問アイコン132Bnが表示されると、クライアントAの画面WAの第1領域100Aのn番目の第1ウィンドウ110Bnも、質問アイコン132Bnを表示する。しかし、この質問アイコン132Bnが表示されても、他の生徒用クライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれのn番目の第1ウィンドウ110Bnには質問アイコン132Bnは表示されない。
【0079】
また、画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16は、板書中アイコン130B1〜130B16を有する。板書中アイコン130B1〜130B16は、クライアントB1〜B16のいずれかが、後述する第3領域300B1〜300B16に入力許可がされた状態を表示する。m番目のクライアントBmへの入力許可は、クライアントAにおけるm番目の第1拡大ウィンドウ171Bmの入力許可アイコン144Bmをポインティングデバイス11Aでクリックすることにより与えられる。
【0080】
画面WBnの第1領域100Bnが備える第2ウィンドウ120B1〜120B16は、画面WAの第1領域100Aの第2ウィンドウ120B1〜120B16と同様である。
【0081】
画面WBnの第1領域100Bnの第2ウィンドウ120B1〜120B16は、アイコンを有しない。従って、クライアントBnの使用者によって第2ウィンドウ120B1〜120B16に表示される画面の種類を選択することは出来ない。クライアントAの画面WAの第3領域300Aの第4アイコン群390Aのアイコン393A、394A、395Aのいずれかをポインティングデバイス11Aでクリックすることにより選択されたカメラ画像121B1〜121B16、ノート画像122B1〜122B16、又はノート解答画像123B1〜123B16を表示するだけである。
【0082】
画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16のうち、クライアントAにより選択されたm番目の第1ウィンドウ110Bm、及び第2ウィンドウ120Bmは、拡大して表示されることが可能である(図17参照)。図17は、2番目のクライアントB2に対応する第1ウィンドウ110B2、及び第2ウィンドウ120B2を拡大して表示した場合を示す。拡大表示させるウィンドウの選択は1つに限らず、複数に対して行うことが可能である。例えば、図17のように2番目のクライアントB2の第1、第2拡大ウィンドウ171B2、181B2を表示させた後、これらを縮小させることなく、他のm番目のクライアントBmの第1、第2拡大ウィンドウ171Bm、181Bmを表示させることが可能である。以下クライアントAが2番目のクライアントB2に対応する第1ウィンドウ110B2を選択したとして説明する。2番目のクライアントB2に対応する第1ウィンドウ110B2以外のクライアントB1〜B16に対応する第1ウィンドウ110B1〜110B16が選択された場合も同様である。クライアントAのポインティングデバイス11Aで、クライアントAの画面WAにある第1領域100Aの第1ウィンドウ110B1〜110B16のうちの2番目の第1ウィンドウ110B2がクリックされると、クライアントBnの画面WBnにある第1領域100Bnの2番目の第1ウィンドウ110B2、及び第2ウィンドウ120B2が拡大されて、第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2が表示される。第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2は、第1拡大ウィンドウ171B2をポインティングデバイス11B2でドラッグしながら移動させることで、画面WBn上のいずれかの位置に移動可能である。本実施形態では、この移動は、他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’には同期しない。各クライアントの使用者の意思で見易い位置に移動可能にするためである。しかし、他の実施形態として、この移動を、他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’に同期させてもよい。
【0083】
画面WBnの第1領域100Bnの第1拡大ウィンドウ111B2は、アイコンを有しない。従って、第1拡大ウィンドウ171B2、第2拡大ウィンドウ181B2は、表示されるだけである。
【0084】
画面WBnの第1領域100Bnの第2拡大ウィンドウ181B2は、アイコンを有しない。
【0085】
図14に戻る。次に画面WBnの第2領域200Bnについて説明する。第2領域200Bnが表示する第3ウィンドウ230Bnと、第4ウィンドウ240Bnは、画面WAの第2領域200Aの第3ウィンドウ230A、及び第4ウィンドウ240Aと同様である。
【0086】
次に画面WBnの第3領域300Bnについて説明する。第3領域300Bnが備える第5ウィンドウ350Bnは、画面WAの第3領域300Aが備える第5ウィンドウ350Aと同様である。第3領域300Bnの第5ウィンドウ350Bnに、ポインティングデバイス11Bnで入力された信号は、第5ウィンドウ350Bn上に表示される。すなわち、ポインティングデバイス11Bnでカーソル移動させた軌跡を表示して文字または図形を描画し、カーソル位置を矢印表示させる。また、キーボード12Bnで入力した定型文字などを表示させる。いずれの場合も、第5ウィンドウ350Bnに表示される文字や図形や矢印は、サーバCを介してクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNで表示される。但し、ポインティングデバイス11Bnで入力が出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。従って、いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnは、クライアントBnの使用者による書き込みが制限されている。
【0087】
画面WBnの第3領域300Bnの有するアイコン群は、第5ウィンドウ350Bnの入力信号の表示効果を選択する第1アイコン群360Bn、第5ウィンドウに表示された画面を消去または過去の画面と入れ替える第2アイコン群370Bnである点は、画面WAの第3領域300Aが有する第1アイコン群350A、第2アイコン群360Aと同様である。しかし、画面WAの第3領域300Aが有する第3アイコン群380A、第4アイコン群390Aに相当するアイコン群は有しない。一方、画面WBnの第3領域300Bnは、第5アイコン群390Bnを有する。
【0088】
画面WBnの第3領域300Bnが有する第1アイコン群360Bnのアイコンは、画面WAの第3領域300Aが有する第1アイコン群360Aのアイコンと同様である。但し、ポインティングデバイス11Bnでアイコンクリックが出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnへの書き込み制限と同様に、クライアントBnの使用者によるアイコンクリックが制限されている。
【0089】
画面WBnの第3領域300Bnが有する第2アイコン群370Bnのアイコンは、画面WAの第3領域300Aが有する第2アイコン群370Aのアイコンと同様である。但し、ポインティングデバイス11Bnで消去アイコン371B nをドラッグ&ドロップが出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnへの書き込み制限と同様に、クライアントBnの使用者によるドラッグ&ドロップが制限されている。
【0090】
画面WBnの第3領域300Bnが有する第5アイコン群390Bnは、総てのクライアントA、B1〜BNに意思表示を伝える挙手アイコン396Bn、クライアントAにのみ意志表示を伝える質問アイコン397Bn、これらの意思表示をキャンセルするクリアアイコン398Bn、及び第5領域500Bnの表示/非表示を切り替えするアイコン399Bnを有する。挙手アイコン396Bnを、ポインティングデバイス11Bnでクリックすると、総てのクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第1領域100A、100B1〜100BNが備えるそれぞれのn番目の第1ウィンドウ110Bnの挙手アイコン131Bnが表示される。質問アイコン397Bnを、ポインティングデバイス11Bnでクリックすると、クライアントAの画面WAの第1領域100Aが備えるn番目の第1ウィンドウ110Bnの質問アイコン132Bnが表示される。クリアアイコン398Bnを、ポインティングデバイス11Bnでクリックすると、挙手アイコン131Bn、及び質問アイコン132Bnの表示が総てのクライアントA、B1〜BNから消去される。アイコン399Bnを、ポインティングデバイス11Bnでクリックすると、画面WBnの第5領域500Bnが表示され、もう一度クリックすると、画面WBnの第5領域500Bnが非表示される。画面WBnの第5領域500Bnについては後述する。
【0091】
画面WBnの第3領域300Bnが備える第5ウィンドウ350Bnは、ポインティングデバイス11Bnなどによる入力で、文字や絵などが描かれる、いわゆるホワイトボードとしての役割を果たすのは、画面WAの第3領域が備える第5ウィンドウ350Aと同様である。
【0092】
第5ウィンドウ350Bnに、ポインティングデバイス11Bnで文字などが入力されているときは、第1領域100Bnの表示を制限させるように対話プログラムを設定することが可能である。こうするとフレームFBnで送信されるデータ量を少なくし、クライアントBnのCPU負荷を抑える効果がある。図18は、2番目のクライアントB2の画面WB2の第5ウィンドウ350B2に、ポインティングデバイス11B2で入力されている状態を示す。画面WB2の第1領域100B2では、2番目の第1ウィンドウ110B2、第2ウィンドウ120B2だけが表示され、第1ウィンドウ110B2の中で、板書中アイコン130B2が表示され、2番目のクライアントB2が第5ウィンドウ350B2に入力中であることを示す。
【0093】
図14に戻る。次に、画面WBnの第4領域400Bnについて説明する。第4領域400Bnは、クライアント間の交信を終了させるログアウトアイコン401Bn、クライアントBnのローカル日付、及び時間を表示する時計表示領域420Bnとを有する。第4領域400Bnは、画面WBnの機能を拡張させる領域で、例えば、アップロードされたファイル及びデータの中から、別ウィンドウで表示させるファイル及びデータの番号を選択するアイコン410Bn〜419Bnを有する。それぞれのアイコンをクリックした時の効果、時計表示領域420Bnの内容は、画面WAの第4領域400Aのアイコンなどと同様である。
【0094】
次に、図15に示す画面WBnの第5領域500Bnについて説明する。第5領域500Bnは、ポインティングデバイス11Bnで第3領域300Bnのアイコン399Bnをクリックすることにより、通常の画面WBnの上に表示される。第5領域500Bnは、クライアントBnのポインティングデバイス11Bnなどで入力可能かつ、入力した画像を表示可能な第6ウィンドウ550Bnを備える。第6ウィンドウ550Bnは、画面WBnの第3領域300Bnの第5ウィンドウ350Bnの上の重なる位置に表示される。第6ウィンドウ550Bnに、ポインティングデバイス11Bnなどで入力された画像の他、第5ウィンドウ350Bnにおいて第6ウィンドウ550Bnと重なる位置に表示された画像も含めて第6ウィンドウ550Bn上に表示される。すなわち、第5ウィンドウ350Bnに表示された画像に重ねて、ポインティングデバイス11Bnでカーソル移動させた軌跡を表示して文字または図形が表示される。また、キーボード12Bnで入力した定型文字などを表示させる。第6ウィンドウ550Bnに表示される文字や図形は、同期して他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’には表示されない。但し、ノート画像122Bn及びノート解答画像123Bnとして、クライアントA、B1〜Bnの画面WA、WB1〜WB16、WB17 ’〜WBN ’それぞれのn番目の第2ウィンドウ120Bnに表示されることが可能である。
【0095】
第5領域500Bnは、第6ウィンドウ550Bnにポインティングデバイス11Bnで入力する信号の軌跡をどのように表示するかを選択するアイコン561Bn、562Bnを有する。それぞれのアイコンのクリックにより、選択されたアイコンは、選択されていないアイコンと区別するために向きを変えて表示される。例えば、図15は、アイコン561Bnが選択されている状態を示している。
【0096】
第5領域500Bnは、第6ウィンドウ550Bnに表示された画像を全部消去する消去アイコン571Bnを有する。消去アイコン571Bnをドラッグ&ドロップすることによる手順及び効果は、第3領域の消去アイコン371Bnと同様である。但し、消去アイコン571Bnは、消去アイコン371Bnのように他のクライアントによってドラッグ&ドロップが制限されることはない。
【0097】
第5領域500Bnは、第6ウィンドウ550Bnの表示を終了させて図14のような通常画面WBnに戻ることを選択するアイコン572Bnを有する。
【0098】
第6ウィンドウ550Bnに、ポインティングデバイス11Bnで文字などが入力されているときは、第1領域100Bnの表示を制限させるように対話プログラムを設定することが可能である。こうするとフレームFBnで送信されるデータ量を少なくし、クライアントBnのCPU負荷を抑える効果がある(図15参照)。
【0099】
次に、図19〜図20で、17番目以降の生徒用のクライアントB17〜BNのモニタ22B17〜22BNで表示される画面WB17 ’〜WBN ’について説明する。
【0100】
17番目以降の生徒用のクライアントB17〜BNでは、クライアントA、B1〜B16がサーバCを介して行われるフレームFA、FB1〜FB16及び返信フレームF’の受信によって出力される画面表示のみがモニタ22B17〜22BNでされる。クライアントB17〜BNの画面WB17 ’〜WBN ’は、図19に示すように、アイコンクリックによる入力信号が、他のクライアントA、B1〜BNに影響を与えるようなアイコンを有しない。一方、他のクライアントA、B1〜B16のアイコンクリックによる入力信号を表示するアイコン又は表示領域は、16番目までのクライアントB1〜B16が有する画面WB1〜WB16と同様に有する。
【0101】
これを、n’番目のクライアントBn ’が表示する画面WBn ’の構成と、16以下のn番目のクライアントBnが表示する画面WBnの構成とを比較して説明する。n’は、17以上でN以下の自然数である。
【0102】
画面WBn ’の第1領域100Bn ’が備える第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16は、クライアントBnの画面WBnの第1領域100Bnが備える第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16と同様である。m番目のクライアントBmに対応する第1ウィンドウ110Bm、及び第2ウィンドウ120Bmが拡大表示される第1拡大ウィンドウ171Bm、及び第2拡大ウィンドウ181Bm(図示せず)についても同様である。
【0103】
図20に示されるように、画面WBn ’の第1領域100Bn ’が有する板書中アイコン130B m及び挙手アイコン131B mは、クライアントBnの画面WBnの第1領域100Bnが有する板書中アイコン130B m、及び挙手アイコン131B mと同様である(図16参照)。但し、質問アイコンに相当するアイコンは有しない。n’番目のクライアントBn ’から、他のクライアントA、B1〜BNに対して、挙手及び質問という意思表示を伝える機会はないからである。
【0104】
図19に戻る。画面WBn ’の第2領域200Bn ’が備える第3ウィンドウ230Bn ’、及び第4ウィンドウ240Bn ’は、クライアントBnの画面WBnの第2領域200Bnが備える第3ウィンドウ230Bn、及び第4ウィンドウ240Bnと同様である。
【0105】
画面WBn ’の第3領域300Bn ’が備える第5ウィンドウ350Bn ’は、クライアントBnの画面WBnの第3領域300Bnが備える第5ウィンドウ350Bnと同様である。但し、n’番目のクライアントBn ’が、この領域にポインティングデバイス11Bn ’などによる入力を許可される機会はない。従って、クライアントBn ’は、第5ウィンドウ350Bn ’を閲覧するのみで、この領域に入力をすることはできない。
【0106】
画面WBn ’の第3領域300Bn ’の第2アイコン群370Bn ’が有するアイコン373Bn ’、374Bn ’、及び375Bn ’は、クライアントBnの画面WBnの第3領域300Bnの第2アイコン群370Bnが有するアイコンと同様である。また、表示領域376Bn ’もクライアントBnの画面WBnの第3領域300Bnの表示領域376Bnと同様である。しかし、第3領域300Bn ’はその他のアイコンを有しない。
【0107】
画面WBn ’の第4領域400Bn ’が有するアイコン401Bn ’、410Bn ’〜419Bn ’、及び420Bn ’は、クライアントBnの画面WBnの第4領域400Bnが有するアイコンと同様である。
【0108】
画面WBn ’は、クライアントBnの画面WBnが別ウィンドウで表示する第5領域500Bnに相当する領域は有しない。
【0109】
n’番目のクライアントBn ’は、クライアントA、B1〜BNのいずれのクライアントに対してもポインティングデバイス11Bn ’などによる入力信号を送信することは出来ないが、クライアントA、B1〜B16がサーバCを介して行われるフレームF’を受信することはできる。これにより、クライアントA、B1〜B16で行われるフレームの送受信の結果出力される内容を見聞き、すなわち授業を参観することが可能になる。
【0110】
次に、画面WA、WB1〜WB16、WB17 ’〜WBN ’においてポインティングデバイス11Aなどで入力された信号が、サーバCを介して他のクライアントに送信され、出力されるまでの流れを説明する。
【0111】
具体的には、クライアントA、B1〜BNとサーバCにおけるフレームFA、FB1〜FBNなどの送受信の流れを図21〜24のフローチャートにて説明する。フローチャートでは、各部の長い名称は省略されて表示されている。
【0112】
概略を説明する。一定時間内にクライアントの各々が入力した信号をフレームFA、FB1〜FBNに変換してサーバCに送信するステップS1(S1a〜S1c)と、サーバCが受信したフレームFA、FB1〜FBNを1つの受信フレームF’に変換し、クライアントの各々に受信フレームF’を送信するステップS2(S2a〜S2i)と、クライアントの各々が受信フレームF’を適当な出力信号に変換するステップS3a〜S3cで構成される。
【0113】
クライアントA、B1〜BNの使用者が、表示画面WA、WB1〜WB16、WB17 ’〜WBN ’を観察し、スピーカ21A、21B1〜21BNに出力される音声を聞き、この表示画面上の入力領域にポインティングデバイス11A、11B1〜11BNで信号入力などして操作することによって、これらのステップ(S1a〜S1c、S2a〜S2i、S3a〜S3c)が進められる。
【0114】
クライアントA、B1〜BNは、対話プログラムを開始し、所定の入力画面にて、使用者IDやパスワードなどの認証情報を入力し、入力信号をサーバCに送受信することにより認証が認められた場合に、図21〜24のような流れが始まる。
【0115】
まず、ステップS1(S1a〜S1c)について図22を用いて詳述する。
【0116】
ステップS1(S1a〜S1c)では、一定時間内にクライアントA、B1〜BNが入力した信号を1つのフレームFA、FB1〜FBN(図22では、FA,FB1のみ図示)に変換してサーバCに送信する。
【0117】
クライアントAにおけるステップS1(S1a〜S1c)の流れを説明する。
【0118】
フレームFAは、使用者がクライアントAで操作を行った際に発生するイベントをデータ化したイベントコントロール情報IEA、カメラ14A、及びマイク13Aから得られる画像及び音声をデータ化したビデオ・オーディオストリーミング情報IVA、使用者がクライアントAの入力領域におけるポインティングデバイス11Aの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報IGAから構成される。
【0119】
イベントコントロール情報IEAは、例えば、特定の機能をONまたはOFFするために設置されたアイコンがポインティングデバイス11Aによってクリックされた内容、または、ポインティングデバイス11Aが示すカーソルの位置の移動の内容をいう。
【0120】
ホワイトボード・ノート描画用ベクトル情報IGAは、ホワイトボード・ノート描画用ベクトル情報の他に、ポインティングデバイス11Aが示すカーソルの軌跡の色を指定する情報も含まれる。
【0121】
一定時間は、クライアントAとサーバCで送受信されるフレーム1つあたりの時間幅を意味し、この時間幅は使用者または対話プログラムで設定される。
【0122】
ステップS1では、クライアントAにおいて一定時間内に、ポインティングデバイス11Aなどで入力された信号を、IEA、IVA、IGAのいずれかに振り分けを行う(ステップS1a)。
【0123】
この一定時間内に蓄積された情報IEA、IVA、IGAは以下の条件でまとめられたフレームFAを構成する。フレームFAは、クライアント内部にあるメモリバッファ内に一時的に格納される(ステップS1b)。
【0124】
イベントコントロール情報IEAは、一定時間内に発生した複数のイベントの中から同種のイベントについて取りまとめを行い、そのイベントの流れの中で作られる最終結果である。従って、一定時間内にポインティングデバイス11Aなどでカーソル移動がされた場合には、一定時間の終了時点のカーソル位置に関する情報がイベントコントロール情報の1つとなる。また、一定時間内に何度も同じアイコンをクリックした場合には、その何度かクリックしたことによる最終的な特定機能のON/OFF情報などがイベントコントロール情報の1つとなる。ビデオ・オーディオストリーミング情報IVAは、一定時間内で取得した画像、音声の総てである。ホワイトボード・ノート描画用ベクトル情報IGAは、ポインティングデバイス11Aが指す座標を、フレームFAの一定時間よりも小さな時間単位で取得し、その始点と終点のポイント情報と、軌跡を表示する色情報などである。従って、画面WAの第5ウィンドウ350Aにおいて、ポインティングデバイス11Aで、図形を描画した場合には、一定時間に描画された軌跡がホワイトボード・ノート描画用ベクトル情報の一部となる。
【0125】
クライアントAは、メモリバッファに格納されたフレームFAを1単位としてサーバCに送信する(ステップS1c)。送信後は、後述する一定間隔後に繰り返して行う次のフレームの動作に移る。
【0126】
同様のステップS1を、クライアントB1〜BNでも行う。クライアントによってポインティングデバイス11B1〜11BNなどで入力される信号は異なるため、異なるフレームFA、FB1〜FBNがサーバCに送信される。クライアントB1〜BNのイベントコントロール情報、ビデオ・オーディオストリーミング情報、ホワイトボード・ノート描画用ベクトル情報をそれぞれ、IEB1〜IEBN、IVB1〜IVBN、IGB1〜IGBNで表す。クライアントAとクライアントB1〜B16、及びクライアントB17〜BNは、入力できる信号の制限幅が異なるが、信号の種類やフレームを構成する手順は異ならない。
【0127】
フレーム単位の送信により、時間軸の同期がとれるので、1つ1つの情報に時間的なズレが生じにくい効果が得られる。また、同種のイベントを取りまとめることで、送信データ量を軽減する効果が得られる。クライアントA、B1〜BNで同じフレームFA、FB1〜FBNの中で行われた操作は、後述するサーバCからの返信フレームF’を受信した時でも同期している。従って、同じタイミングで入力された様々な信号が時間的にバラバラに送受信されることはない。
【0128】
次に、図23でステップS2(S2a〜S2i)を詳述する。ステップS2(S2a〜S2i)は、クライアントA、B1〜BNから送信されたフレームFA、FB1〜FBNをサーバCで処理する。具体的には、フレームFA、FB1〜FBNを、イベントコントロール情報、ビデオ・オーディオストリーミング情報、ホワイトボード・ノート描画用ベクトル情報に分割する(ステップS2a)。分割した情報をそれぞれ以下のような条件でさらに処理する(ステップS2b、ステップS2c、ステップS2d、ステップS2e)。
【0129】
フレームFA、FB1〜FBNからのイベントコントロール情報IEA、IEB1〜IEBNは、フレームFA、FB1〜FBNが送信される直前のイベント状態と合成され、最新の状態が計算される。直前のイベント状態は、サーバCの記録媒体50Cに記録されている。計算された値は新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’に変換されサーバC内の記録媒体50Cに記録される。また返信フレームF’に格納される(ステップS2b、ステップS2c)。記録媒体50Cに記録された新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’は、一定間隔後にクライアントA、B1〜BNから送信される次のフレームFA、FB1〜FBNと合成するための直前のイベント状態として扱われる。新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’は、クライアント毎に異なる。
【0130】
フレームFA、FB1〜FBNからのビデオ・オーディオストリーミング情報IVA、IVB1〜IVBNは、1つの返信フレームF’に格納される(ステップS3d)。
【0131】
フレームFA、FB1〜FBNからのホワイトボード・ノート描画用ベクトル情報IGA、IGB1〜IGBNは、クライアント毎に過去のホワイトボード・ノート描画用ベクトル情報の履歴との差分が計算される。計算された値は新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’に変換され、返信フレームF’に格納される(ステップS2e)。また、新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’は、過去のホワイトボード・ノート描画用ベクトル情報の履歴に加えられて記録媒体50Cに記録される。記録された履歴は、一定間隔後にクライアントA、B1〜BNから送信される次のフレームFA、FB1〜FBNと差分計算するための過去のホワイトボード・ノート描画用ベクトル情報の履歴として扱われる。新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’は、クライアント毎に異なる。
【0132】
返信フレームF’が作成されると、サーバCは、クライアントA、B1〜BNに、返信フレームF’を送信する(ステップS2f)。同じフレームF’を送信することで、各クライアントが同じ情報すなわち同期のとれた情報を受信することが可能になる。また、データが1つのフレームにまとまっているため、受信側としてデータ再構成の必要性がないため、再生が簡単になる効果がある。
【0133】
サーバCとの交信が、他のクライアントと同時に始められず、途中から行った遅刻クライアントは、過去のフレーム送受信をしていない。この場合は、返信フレームF’を受信する前に、直前のイベント状態、及び過去のホワイトボード・ノート描画用ベクトル情報の履歴を受信する(ステップS2g、ステップS2h、ステップS2i)。すなわち、直前のイベント状態、及び過去の履歴を送り、途中から交信を始めても過去の流れが理解できるようにする。図23は、クライアントB2が、遅刻クライアントとして、途中から交信を始めたと想定し、フレームF’の受信の他に、直前のイベント状態の受信(S2i)、及び過去の履歴の受信(S2g、S2h)を示している。
【0134】
次に、図24でステップS3a〜S3cを詳述する。クライアントA、B1〜BNは、返信フレームF’を新たなイベントコントロール情報、新たなビデオ・オーディオストリーミング情報、新たなホワイトボード・ノート描画用ベクトル情報に分解し、以下のような処理を行う(ステップS3a、ステップS3b)。クライアントAにおけるステップS3a〜S3cの流れを説明する。同時に図示しない遅刻クライアントB2におけるステップS3a〜S3cの流れを、クライアントAの場合との違いを中心に説明する。
【0135】
過去のイベントコントロール情報IEAを記録した内部ワークエリアに、新たなイベントコントロール情報IEA ’を上書きする。遅刻クライアントB2は、フレームF’の受信の前に、直前のイベント状態の受信(S2i)をしており、これが過去のイベントコントロール情報IEB2として内部ワークエリアに記録されている。
【0136】
過去のビデオ・オーディオストリーミング情報IVAを記録した内部ワークエリアに、新たなビデオ・オーディオストリーミング情報IVA’を追加する。これにより、過去のビデオ・オーディオストリーミング情報IVAが再生されていない場合でも、消去されず、ストリーミング再生が可能になる。遅刻クライアントB2は、内部ワークエリアに、過去のビデオ・オーディオストリーミング情報IVB2が記録されていないため、新たなビデオ・オーディオストリーミング情報IVB2 ’を内部ワークエリアに記録する。
【0137】
過去のホワイトボード・ノート描画用ベクトル情報IGAを記録した内部ワークエリアに、新たなホワイトボード・ノート描画用ベクトル情報IGA ’を追加する。遅刻クライアントB2は、フレームF’の受信の前に、過去のホワイトボード・ノート描画用ベクトル情報の履歴を受信(S2g、S2h)しており、これが、過去のホワイトボード・ノート描画用ベクトル情報IGB2として内部ワークエリアに記録されている。
【0138】
新たなイベントコントロール情報IEA ’を基に、クライアントAは、モニタ22Aの画面WAにアイコンや画像、ホワイトボードに相当する入力領域などを表示し、スピーカ21Aに音声を出力する(ステップS3c)。他のクライアントB1〜BNも同様のステップS3a、S3b、S3cを行う。
【0139】
フレームFA、FB1〜FBNの送信、返信フレームF’の受信は、一定間隔で繰り返し行う。この一定間隔が短ければ各クライアントで出力される信号の更新タイミングが早くなり、サーバCを介したクライアント間の信号送受信がスムーズに行われる。従って、各クライアントの使用者は、他のクライアントと対話をしているような感覚で、対話プログラムで実行された表示画面を操作することが可能になる。
【0140】
クライアントA、クライアントB1〜B16の間では、様々な入力装置からの入力信号をサーバCを介して双方向で通信することが可能である。クライアントB17〜BNは、これらの通信結果を受信することが可能である。従って、クライアントA、B1〜BNの使用者が、互いに遠隔地にいる状態であっても、本対話プログラムや表示画面を利用することにより、1つの教室における授業に参加するような感覚で、互いの意志疎通を図ることが可能になる。特に、音声、画像、及び第3領域の第5ウィンドウのいわゆるホワイトボードによる参加者の全員が書き込み及び閲覧が可能な領域の存在とそれらの総てを同期して時間軸を共有することが、互いの意志疎通を円滑に運ぶのに効果的である。
【0141】
次に、現地現在時刻算出プログラムについて、すなわち画面WAの第4領域400Aの時計表示領域420Aに時刻表示を行う流れについて図25のフローチャートを使って説明する。クライアントA、B1〜BNで時計表示させるには、各クライアントとサーバCの信号の送受信が行われる。クライアントごとにその手順は変わらないので、クライアントAを例に説明する。
【0142】
まず、ステップS11で開始されると、ステップS12で使用者のIDを入力する。入力されたIDはサーバCに送信される(ステップS13)。サーバCでは、IDに対応する使用者を特定し、使用者のクライアントAが属するタイムゾーン情報TZと、サーバCの時計情報TCを取得し、クライアントAに送信する(ステップS14)。サーバCの時計情報TCは、後述するクライアントAの制御装置30Aにある時計情報TAと時差を求めるために使用される、たとえば世界標準時間などである。したがって、サーバCの時計情報TCは、相対比較するためのものであり、いずれの地域の時刻であってもよい。タイムゾーン情報TZは、サーバCの時計情報TCと、各クライアントの属する地域との時差の情報であり、特定の地域に対する時差(たとえばプラス10時間)がこれに該当する。サーバCには、IDと使用者名と使用者のクライアントが属する地域のタイムゾーン情報TZがあらかじめ記録されてある。使用者のクライアントの属する地域が変更された場合には、図示しない別のステップでそのクライアントはサーバCに対して変更登録をしておく。
【0143】
クライアントAは受信した情報TZ及びTCを記録し(ステップS15)、次に、クライアントAの有する制御装置30Aにある時計情報TAを記録する(ステップS16)。次に、ステップS17で、クライアントAの現在時刻情報NTAを記録する。ステップS16とS17のタイムラグが無い場合は、時計情報TAと現在時刻情報NTAは同じ数値となる。次に、ステップS18で、タイムゾーン情報TZ、サーバCの時計情報TC、制御クライアントAの時計情報TA、および現在時刻情報NTAから、現在時刻NTA’を計算する。計算した現在時刻NTA’は、表示領域420Aに表示される。クライアントAの属する地域の時間と、制御装置30Aの時間が一致する場合は、現在時刻情報NTAと、現在時刻NTA’は一致する。しかし、クライアントAの属する地域が変更されて、現在時刻情報NTAが、本来の地域の時刻と異なるものであっても、現在時刻NTA’は正確な現地の現在時刻を算出することが可能である。次にステップS19で先ほどの現在時刻NTA’算出から一定時間tの経過をしたかの確認を行い、経過している場合は、ステップS17、S18を繰り返し行い、終了要求ステップS20によって終了するまで現在時刻NTA’の更新を行い、その結果である現地現在時刻を時計表示領域420Aに表示する。一定時間tは、クライアントAの制御装置30Aの有する割り込み処理機能を使ってサーバCで任意に設定する。時差のある地域を移動する使用者にとって、制御装置30Aの時計そのものをその都度変更することは、煩わしい。制御装置30Aの有するファイル管理システムやメールにまで、変更の影響があるからである。しかし、上記の手順により、独自の時計表示を行えば、制御装置30Aの有する時計そのものの時刻設定を変える必要は生じない。
【0144】
次に、予定表確認プログラムについて説明する。上記の授業や会議に出席するためには、複数のクライアントで同じ時間に対話プログラムが実行される必要がある。その場合、どの時間に対話プログラムを実行する必要があるのか予定表確認がクライアント間で共有できるのが望ましい。図26は、サーバCとのデータ送受信により、この対話プログラムを使用した授業および会議の予定表入力や確認ができるフローチャートを示している。図26では、クライアントAが予定表を入力し(ステップS31〜S36)、これをクライアントB1が確認する(ステップS51〜S57)例である。まず、クライアントAが、予定表入力作業を開始し(ステップS31)、クライアントAの使用者のIDや予定表を入力しサーバCに送信する(ステップS32)。予定表の入力は、クライアントAの属する現地時間で行う。サーバCは受信したIDから使用者のクライアントAを特定し、クライアントAのタイムゾーン情報TZを取得する(ステップS33)。クライアントAの予定表の時間は、一旦サーバCの有する時計情報TCに変換してサーバCに記録する(ステップS34)。記録が終わると登録完了通知をクライアントAに送信し(ステップS35)、クライアントAがこの登録完了通知を受信して予定表入力作業は終了する(ステップS16)。
【0145】
次に、これをクライアントB1が確認する場合は、確認作業を開始し(ステップS51)、クライアントB1の使用者のIDやクライアントAの予定表を確認したい旨の要求信号を入力しサーバCに送信する(ステップS52)。サーバCは受信したIDから使用者のクライアントB1を特定し、クライアントB1のタイムゾーン情報TZを取得する(ステップS53)。サーバCにはクライアントAの予定表が、時計情報TCの時間に合わせて記録されているので、これを取得し(ステップS54)、クライアントB1のタイムゾーン情報TZから、クライアントB1の現地時間に変換する(ステップS55)。変換した時間の予定表をクライアントB1に送信する(ステップS56)。クライアントB1は受信した予定表を確認する(ステップS57)。この予定表は、クライアントB1の属する地域の現地時間に合わせたものであるので、クライアントB1の使用者は、他のクライアントとの時差を気にすることなく、予定表の確認を行うことが可能になる。この予定表の例を図27に示す。日付の中に、時間と科目が表示されており、総ての使用者の予定が、使用者のクライアントの現地時間に合わせた時間で表示されている。
【0146】
なお、本実施形態では、教師用のクライアントAと、生徒用のクライアントB1〜BNを区別し、生徒用のクライアントB1〜BNの入力を制限するような形で説明した。しかし、そのような制限をかけず、総てのクライアントが対等の形で、入力できるようにしてもよい。この場合は、学校の授業のような感覚ではなく、会議室における会議のように、クライアント同士の意見が述べられるような場を提供することができる。
【0147】
また、画面WAなどのレイアウトは一例にすぎず、他のレイアウトであってもよい。 また、サーバCは、クライアントの各々と別体であるとして説明したが、いずれかのクライアントに組み込んだ形態でもよい。
【0148】
また、現地現在時刻算出プログラムは、対話プログラムの中の使用に限定されず、単独のクライアントとサーバの間において時刻を知りたいような場合にも有効である。また、本実施形態では、一旦サーバから現在時刻や時差を取得した後は、クライアントの時計機能により一定時間経過後の時刻を算出する方法を説明したが、一定間隔ごとにサーバにアクセスして都度現在時刻を取得する方法でもよい。
【0149】
また、予定表確認プログラムについても、対話プログラムの中の使用に限定されず、複数のクライアント間における予定表確認のためだけにも有効である。
【0150】
【発明の効果】
上述のように、対話プログラムを各クライアントにインストールするだけで、簡単に学校の授業や会議室での会議のように、複数の人の間の会話が実現する。また、画面WA、WB1〜WB16、WB17 ’〜WBN ’は、インターネットのブラウザ上の画面であり、サーバCの管理者などが、定期的に画面レイアウトを見直すだけで、総てのクライアントの使用する画面WA、WB1〜WB16、WB17 ’〜WBN ’のレイアウトを変更することが可能である。従って、クライアントの各々の使用者は、各クライアントに対話プログラムをインストールし、インターネットが使用できる環境を整えるだけで、インターネット上のセキュリティレベルの変更など難しい接続に関する設定変更をすることなく、複数間の対話を実現することが可能になる。
【0151】
また、インターネットの使用できる環境において、簡単にクライアントの有する時計機能とは別に現地現在時刻を算出できる。
【0152】
また、インターネットの使用できる環境において、簡単に学校の授業や会議室での会議のように、複数の人の間で対話の予定表が時差を気にせず確認できる。
【図面の簡単な説明】
【図1】本実施形態の、システム図を示す。
【図2】クライアントAの画面WAの概略を示す。
【図3】画面WAの詳細を示す。
【図4】画面WAの第1領域100Aの詳細で、n番目の第1ウィンドウ、第2ウィンドウを示す。
【図5】第1領域100Aの詳細で、カメラ画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図6】第1領域100Aの詳細で、ノート画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図7】第1領域100Aの詳細で、ノート解答画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図8】第1領域100Aの詳細で、第1拡大ウィンドウ、第2拡大ウィンドウにカメラ画像が表示された場合を示す。
【図9】第1領域100Aの詳細で、第1拡大ウィンドウ、第2拡大ウィンドウにノート画像が表示された場合を示す。
【図10】第3領域300Aの第5ウィンドウ350Aに画像を入力している際に、第1ウィンドウが省略されて表示された画面WAを示す。
【図11】第4領域400Aのファイル及びデータのアップロード選択をする画面を示す。
【図12】第4領域400Aのアップロードされたファイル及びデータの消去選択をする画面を示す。
【図13】第4領域400Aのアップロードされたファイルの1つを表示させた画面を示す。
【図14】n番目のクライアントBnの画面WBnを示す。
【図15】画面WBnの第5領域500Bnのノート画像を示す。
【図16】画面WBnの第1領域100Bnの詳細で、m番目の第1ウィンドウ、第2ウィンドウを示す。
【図17】画面WBnで、2番目のクライアントB2が指名された、第1拡大ウィンドウ、第2拡大ウィンドウを示す。
【図18】第3領域300Bnの第5ウィンドウ350Bnに画像を入力している際に、第1ウィンドウが省略されて表示された画面WBnを示す。
【図19】n’番目のクライアントBn ’の画面WBn ’を示す。
【図20】画面WBn ’の第1領域100Bn ’の詳細で、m番目の第1ウィンドウ、第2ウィンドウを示す。
【図21】本実施形態におけるフローチャートの概略を示す。
【図22】各クライアントから、サーバにフレームが送信されるまでのフローチャートを示す。
【図23】フレームを受信したサーバが、返信フレームの作成し各クライアントに送信するまでのフローチャートを示す。
【図24】返信フレームを受信した各クライアントが、各装置にて出力するまでのフローチャートを示す。
【図25】クライアントAとサーバCの間における、現地現在時刻算出プログラム、すなわち時計情報、タイムゾーン情報の送受信のフローチャートを示す。
【図26】クライアントA、クライアントB1とサーバCの間における予定表確認プログラムのフローチャートを示す。
【図27】予定表確認プログラムの表示例を示す。
【符号の説明】
A 教師用のクライアント
B1、B2〜BN 生徒用のクライアント
C サーバ
WA 教師用のクライアントAの表示画面
WB1〜WB16 生徒用のクライアントB1〜B16の表示画面
WB17 ’〜WBN ’ 生徒用のクライアントB17〜BNの表示画面
【発明の属する技術分野】
本発明は、情報交換手段に関し、インターネットを使った対話プログラム、対話用表示画面、現地現在時刻算出プログラム、及び予定表確認プログラムに関する。
【0002】
【従来の技術】
互いが離れた場所に居る場合の映像を含めた情報交換手段は、TV電話や、インターネットでのチャットが挙げられる。
【0003】
【発明が解決しようとする課題】
しかし、TV電話では、互いの映像や音声を双方向に伝えるだけで、共通に書き込み及び閲覧できる領域を持たないため、十分な情報交換が図れない。
【0004】
また、インターネットでのチャットは、共通に書き込み及び閲覧出来る領域があるが、キーボードなどでの定型の文字の入力に限定されるため、文字の書き順やイラストを伝えるような非定型の文字や画像を送受信することはできない。出来たとしても、インターネット接続に関する設定変更を行うなど、コンピュータに相当の知識のある人に使用者が限られて一般的ではない。
【0005】
TV電話とインターネットのチャットを組み合わせるなどして、使用者それぞれの映像、音声、及び共通に書き込み及び閲覧出来る領域を送受信するだけでは、それぞれの信号の時間的な同期がとれないため、学校の授業や会議室での会議のようなスムーズな情報交換が実現しているとは言えない。
【0006】
本発明の目的は、インターネットの使用できる環境においてプログラムインストールだけで、簡単に学校の授業や会議室での会議のように、情報交換ができる対話プログラム及び対話用表示画面を提供することである。
【0007】
本発明の他の目的は、インターネットの使用できる環境において、簡単にクライアントの有する時計機能とは別に現地現在時刻を算出できる現地現在時刻算出プログラムを提供することである。
【0008】
本発明のさらに他の目的は、インターネットの使用できる環境において、簡単に学校の授業や会議室での会議のように、情報交換に関する予定表が時差を気にせず確認できる予定表確認プログラムを提供することである。
【0009】
【課題を解決するための手段】
前記目的を達成するため、対話プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々が、一定時間内に使用者がクライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、一定時間内にクライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、一定時間内に使用者がクライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とをサーバに送信する第1ステップと、サーバが、クライアントの各々からの送信情報を集約し、集約した情報を、クライアントの各々が受信する第2ステップと、クライアントの各々が、第2ステップで受信した情報を、クライアントの各々が有する出力手段に出力する第3ステップを備える。
【0010】
好ましくは、ビデオ・オーディオストリーミング情報は、画像に加えて、入力手段から得られる音声をデータ化したものも含まれる。
【0011】
また、好ましくは、第1ステップは、イベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報とを、1つのフレームに構成し、フレームをサーバに送信する。
【0012】
さらに、好ましくは、フレームの送信は、クライアントの有するメモリバッファに一時記憶したものを送信する。
【0013】
さらに、好ましくは、第2ステップは、クライアントから送信されたフレームを、それぞれイベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、分割したクライアントごとのイベントコントロール情報をサーバに保管されている直前のイベント状態と合成して新たなイベントコントロール情報を計算し、分割したクライアントごとのホワイトボード・ノート描画用ベクトル情報をサーバに保管されているホワイトボード・ノートベクトル情報の過去の履歴と差分を計算し、計算した複数の新たなイベントコントロール情報と、分割した複数の新たなビデオ・オーディオストリーミング情報と、差分計算した新たなホワイトボード・ノート描画用ベクトル情報とをサーバ内の返信フレームに格納し、返信フレームを、クライアントの各々が受信する。
【0014】
さらに、好ましくは、第3ステップは、クライアントの各々が、第2ステップで受信した返信フレームを、イベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、分割したイベントコントロール情報をクライアントの各々が有する内部ワークエリアに上書きし、分割したビデオ・オーディオストリーミング情報を内部ワークエリアに追加し、分割したホワイトボード・ノート描画用ベクトル情報を内部ワークエリアに追加し、上書きしたイベントコントロール情報に従って、内部ワークエリアに含まれる情報をそれぞれ同期して、出力手段のモニタ上に表示させ、映像を再生し、モニタ上にホワイトボード画像、及びノート画像を表示する。
【0015】
さらに、好ましくは、第3ステップは、上書きしたイベントコントロール情報に従って、内部ワークエリアに含まれる情報のうち音声を、さらに出力手段の有するスピーカに再生する。
【0016】
また、好ましくは、第2ステップでは、クライアントのうち、サーバとのフレーム送受信を途中から行ったクライアントは、サーバから返信フレームが送信される前に、直前のイベント状態とホワイトボード・ノート描画用ベクトル情報の過去の履歴データが送信される。
【0017】
また、好ましくは、第1、第2、第3ステップを、一定間隔ごとに繰り返し行う。
【0018】
さらに、好ましくは、一定間隔の長さは、変更可能である。
【0019】
また、好ましくは、一定時間の長さは、変更可能である。
【0020】
また、対話プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々が、一定時間内に使用者がクライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、一定時間内にクライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、一定時間内に使用者がクライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とを、サーバが受信する第1ステップと、サーバが、クライアントの各々からの送信情報を集約し、集約した情報を、クライアントの各々に送信する第2ステップとを備える。
【0021】
また、対話用表示画面は、ネットワークを通して相互に交信が可能な複数のクライアントにおいて、クライアントの各々の有するカメラで入力されたカメラ画像を表示する第1領域と、クライアントの各々の有するポインティングデバイスでクライアントの相互に入力されたホワイトボード画像を表示する第2領域とを備える。
【0022】
好ましくは、第1領域は、クライアントの各々の有するポインティングデバイスで入力されたノート画像のそれぞれを表示する。
【0023】
さらに、好ましくは、第1領域は、ノート画像のそれぞれに、複数のクライアントの内の特定のクライアントによってコメントを加えたノート解答画像のそれぞれを表示する。
【0024】
また、好ましくは、第2領域へのクライアントの各々の有するポインティングデバイスによる入力は、複数のクライアントのうちの特定のクライアントによって制限される。
【0025】
また、前記他の目的を達成するため、現地現在時刻算出プログラムは、ネットワークを通して相互に交信が可能なサーバとクライアントにおいて、サーバの有する時計と、サーバとクライアントの時差とによって計算されるクライアントの現地現在時刻を算出する。
【0026】
好ましくは、クライアントの制御手段が有する時間計算機能と、算出した現地現在時刻とによって、算出した現地現在時刻から一定時間経過後の時刻を算出する。
【0027】
また、前記他の目的を達成するため、予定表確認プログラムは、ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、クライアントの各々の使用者の予定表をクライアントの各々の現地時間で入力しサーバに送信する第1ステップと、サーバが、予定表をサーバの有する時計の標準時間に変換し、標準時間に変換された予定表をクライアントの各々の現地時間に変換し、クライアントの各々が受信する第2ステップと、クライアントの各々が、第2ステップで受信した予定表をクライアントの各々が有する出力手段に出力する第3ステップを備える。
【0028】
【発明の実施の形態】
本発明で実施する対話プログラム、対話用表示画面、時計及び予定表確認プログラムの1つの実施形態として、互いに離れた場所にいる複数の人間が、仮想教室で行う授業を例に挙げて説明する。また、対話プログラムを実行することにより、対話用表示画面、時計、及び予定表確認プログラムも実行されるものとして説明する。
【0029】
この仮想教室の授業は、図1のように、ネットワークを通して交信が可能な複数のクライアントA、B1〜BNとサーバCで構成される。複数のクライアントは、教師用のクライアントAと生徒用のクライアントB1〜BNで構成される。各クライアントは、使用者IDなどの入力信号をサーバCに送信し、適正と認められた場合に、本発明の実施形態におけるネットワークに参加が可能になる。
【0030】
教師用のクライアントAと生徒用のクライアントB1〜BNは対話プログラムを有し、適正にインストールされている。プログラムの内容は同じであるが、生徒用のクライアントB1〜BNは、入力できる領域などの制限が、教師用のクライアントAからの入力信号によりなされる点で異なる。教師用のクライアントAと、生徒用のクライアントB1〜BNの判別は、使用者IDなどの認証によりサーバが行う。Nは自然数である。
【0031】
クライアントAは、ネットワークを通じて相互に交信可能なコンピュータであり、入力装置10A、出力装置20A、制御装置30Aとを有する。
【0032】
入力装置10Aは、ポインティングデバイス11A、キーボード12A、マイク13A、及びカメラ14Aを有する。
【0033】
ポインティングデバイス11Aは、平面上を滑らせて入力するマウス、表示素子上にペン先を押しつけて入力するライトペン、専用の入力盤を利用するディジタイザなどであり、文字入力や画像入力を行う。とくに、これらポインティングデバイス11Aは、画面上に表示されるポインタの移動軌跡が表示できるため、文字の書き順やイラストなどを表現する際に有効である。
【0034】
キーボード12Aは、使用者のIDやパスワードなどの識別情報、及びURLや定型文字の入力に使用される。マイク13Aは、クライアントAを使用する者やその周辺の音声を入力する。従って、クライアントAの使用者の音声が入力できる位置にマイク13Aを配置する。カメラ14Aは、クライアントAを使用する者やその周辺の映像を入力する。従って、クライアントAの使用者の姿を撮像できる位置にカメラ14Aを配置する。
【0035】
出力装置20Aは、スピーカ21A、モニタ22Aを有する。スピーカ21Aは、受信した信号などのうち、音声信号を出力する。モニタ22Aは、受信した信号などのうち、画像信号を出力する。特に、後述する対話用表示画面WAを表示する。
【0036】
制御装置30Aは、CPUなど、入力装置10A、出力装置20Aの制御や、ネットワークを通じてサーバCや他のクライアントB1〜BNとの交信を行う。本実施形態では、インターネット接続により交信が行われる。従って、クライアントAは、インターネットのブラウザが使用できる通信端末である。
【0037】
クライアントAは、本実施形態を、モニタ22Aに表示されるブラウザの画面WAを使って行う。
【0038】
クライアントB1〜BNは、入力装置10B1〜10BN、出力装置20B1〜20BN、制御装置30B1〜30BNとを有する。
【0039】
入力装置10B1〜10BN、出力装置20B1〜20BN、制御装置30B1〜30BNの各部の構成は、クライアントAの有する入力装置10A、出力装置20A、制御装置30Aと同じである。
【0040】
クライアントB1〜BNの、モニタ22B1〜22BNに表示されるブラウザの画面をWB1〜WB16、WB17 ’〜WBN ’で表す。
【0041】
サーバCは、制御装置30C、及び記録媒体50Cとを有する。
【0042】
制御装置30Cの各部の構成は、クライアントAの有する制御装置30Aと同じである。従って、サーバCは、クライアントA、クライアントB1〜BNとインターネットを介して信号の送受信が可能である。記録媒体50Cは、後述する送信フレームFAなどを格納する。
【0043】
次に、クライアントA、B1〜BNの使用するブラウザ画面WA、WB1〜WB16、WB17 ’〜WBN ’について説明する。画面WA、WB1〜WB16、WB17 ’〜WBN ’はブラウザ画面である。16番目までの生徒用の端末、すなわち、クライアントB1〜B16の画面WB1〜WB16と、17番目以降の生徒用の端末、すなわちクライアントB17〜BNの画面WB17 ’〜WBN ’は構成が異なるので、分けて説明する。16番目のクライアントB16と、17番目のクライアントB17で区別したのは、画面WA、WB1〜WB16、WB17 ’〜WBN ’の構成を16の生徒用のクライアントまでを表示するようにしたためである。但し、本実施形態と異なる他の数値で画面構成をしてもよい。本実施形態では、使用者のクライアントが、16番目までのクライアントB1〜B16、17番目以降のクライアントB17〜BNのいずれに属するかについては、サーバCによる制御によって決定させるが、使用者の選択により決定させてもよい。
【0044】
図2〜13では、教師用のクライアントAのモニタ22Aで表示されるブラウザ画面WAについて説明する。
【0045】
画面WAは、第1領域100A、第2領域200A、第3領域300A、及び第4領域400Aから構成される。第1領域100A、第2領域200A、第3領域300A、及び第4領域400Aは、1つの画面上に並べて配置される。
【0046】
図3で、図2の詳細を説明する。第1領域100Aは、クライアントB1〜B16の有するポインティングデバイス11B1〜11B16で入力された信号に対応したアイコン、及びクライアントB1〜B16の使用者名などの識別情報を表示する第1ウィンドウ110B1〜110B16を備える。図4は、n番目の第1ウィンドウ110Bn及び第2ウィンドウ120Bnに表示されうる総てのアイコンを示す。nはN以下かつ16以下の自然数である。n番目の第1ウィンドウ110Bnは、後述するクライアントBnの画面WBnの第3領域300Bnの挙手アイコン396Bn、質問アイコン397Bn(図14参照)がポインティングデバイス11Bnでクリックされた信号に対応した挙手アイコン131Bn、質問アイコン132Bnを有する。挙手アイコン131Bnは、クライアントB1〜B16のうちのn番目のクライアントBnが第3領域300Bnの挙手アイコン396Bn(図14参照)をポインティングデバイス11Bnでクリックした信号に対応し、クライアントBn以外の他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれの第1ウィンドウ110Bnでも表示される。一方質問アイコン132Bnは、クライアントB1〜B16のうちのn番目のクライアントBnが第3領域300Bnの質問アイコン397Bn(図14参照)をポインティングデバイス11Bnでクリックした信号に対応し、クライアントBn以外の他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれの第1ウィンドウ110Bnでは表示されない。挙手アイコン131Bn、質問アイコン132Bnは、n番目のクライアントBnが、これに対応する挙手または質問アイコンをポインティングデバイス11Bnで入力した場合に限り表示される。これにより、どのクライアントが挙手に相当する意思表示を行ったかが、総てのクライアントA、B1〜BNで明確になり、どのクライアントが質問に相当する意志表示を行ったかが、クライアントAで明確になる。
【0047】
また、第1ウィンドウ110B1〜110B16は、クライアントB1〜B16の画面WB1〜WB16の第3領域300B1〜300B16のいずれかに入力許可がされた状態を表示する板書中アイコン130B1〜130B16を有する。クライアントB1〜B16のうちのn番目のクライアントBnが入力を許可された場合、板書中アイコン130Bnは、総てのクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’それぞれの第1ウィンドウ110Bnに表示される。これにより、どのクライアントが入力許可されているのかが、総てのクライアントA、B1〜BNで明確になる。
【0048】
図3に戻る。第1領域100Aは、クライアントB1〜B16の有するカメラ14B1〜14B16で入力された信号に対応したカメラ画像121B1〜121B16を表示する第2ウィンドウ120B1〜120B16を備える。図5のように、n番目の第2ウィンドウ120Bnは、クライアントBnのカメラ14Bnで入力された信号に対応したカメラ画像121Bnを表示する。カメラ画像121Bnは、生徒用のクライアントBnの使用者の顔などである。また、図6のように、第2ウィンドウ120B1〜120B16は、カメラ画像121B1〜121B16の他に、後述するクライアントB1〜B16の画面WB1〜WB16の第5領域500B1〜500B16(図15参照)にポインティングデバイス11B1〜11B16で入力された信号に対応したノート画像122B1〜122B16を表示する。また、図7のように、第2ウィンドウ120B1〜120B16は、ノート画像122B1〜122B16に、クライアントAが後述する正解アイコン133B1〜133B16、不正解アイコン134B1〜134B16をポインティングデバイス11Aでクリックして得られた入力信号に対応した画像を重ねたノート解答画像123B1〜123B16を表示する。図6、図7は、図5と同様に、n番目の第2ウィンドウ120Bnだけを表したものである。
【0049】
第2ウィンドウ120B1〜120B16が、ノート画像122B1〜122B16またはノート解答画像123B1〜123B16を表示している時、第1領域100Aは、ノート画像122B1〜122B16にコメントを加える正解アイコン133B1〜133B16、不正解アイコン134B1〜134B16、及びコメントクリアするアイコン135B1〜135B16を有する(図6、図7参照)。第2ウィンドウ120B1〜120B16のうちn番目の第2ウィンドウ120Bnに表示されたノート画像122Bnを見て、クライアントAの使用者は、正解アイコン133Bnまたは不正解アイコン134Bnをポインティングデバイス11Aでクリックする。クリックした入力信号に対応した画像をノート画像に重ねたノート解答画像123Bnを表示する。例えば、本実施形態では、通常のノート画像122Bnが白色の背景色で表示されるのに対して、正解アイコン133Bnをクリックした場合には、ノート画像122Bnを緑色の背景色で表示したノート解答画像123Bnを、不正解アイコン134Bnをクリックした場合には、ノート画像に赤色の背景色で表示したノート解答画像123Bnを表示する。これらの背景色を白色に戻したい場合は、クリアアイコン135Bnをクリックする。これらの背景色については他の色でもよいし、色でなく正解例の画像を書き加えるなどでもよい。
【0050】
第1領域100Aの第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16のうち、クライアントAの使用者によって選択されたn番目の第1ウィンドウ110Bn、及び第2ウィンドウ120Bnは、拡大して表示することが可能である。図8は、2番目のクライアントB2に対応する第1ウィンドウ110B2、及び第2ウィンドウ120B2を拡大して表示した場合を示す。以下クライアントAの使用者が2番目のクライアントB2に対応する第1ウィンドウ110B2を選択したとして説明する。2番目のクライアントB2に対応する第1ウィンドウ110B2以外のクライアントB1〜B16に対応する第1ウィンドウ110B1〜110B16が選択された場合も同様である。クライアントAのポインティングデバイス11Aで、第1ウィンドウ110B1〜110B16のうちの2番目の第1ウィンドウ110B2をクリックすると、第1ウィンドウ110B2、及び第2ウィンドウ120B2が拡大し、第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2が表示される。第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2は、第1拡大ウィンドウ171B2をポインティングデバイス11Aでドラッグしながら移動させることで、画面WAのいずれかの位置に移動可能である。拡大表示させるウィンドウの選択は1つに限らず、複数に対して行うことが可能である。例えば、図8のように2番目のクライアントB2を選択するために、第1ウィンドウ110B2をクリックし、第1、第2拡大ウィンドウ171B2、181B2を表示させた後、これらを縮小させることなく、他のm番目のクライアントBmの第1ウィンドウ110Bmをクリックして、第1、第2拡大ウィンドウ171B m、181Bmを表示させることが可能である。ここでmは16以下の自然数である。
【0051】
第1拡大ウィンドウ171B2は、第2拡大ウィンドウ181B2に、ノート画像121B2を拡大して表示させる選択アイコン141B2、及びカメラ画像121B2を拡大して表示させる選択アイコン142B2、拡大表示をもとの縮小表示に戻す選択アイコン143B2を有する。アイコン141B2をポインティングデバイス11Aでクリックすると、第2拡大ウィンドウ181B2は、ノート画像122B2を拡大して表示する。アイコン142B2をポインティングデバイス11Aでクリックすると、第2拡大ウィンドウ181B2は、カメラ画像121B2を拡大して表示する。アイコン143B2をポインティングデバイス11Aでクリックすると、拡大表示が終了し、もとの図3のような画面に戻る。
【0052】
第1拡大ウィンドウ171B2は、後述するクライアントB2の画面WB2の第3領域300B2の第5ウィンドウ350B2にポインティングデバイス11B2による入力を許可する入力許可アイコン144B2を有する。入力許可アイコン144B2をポインティングデバイス11Aでクリックすると、クライアントB2の画面WB2の第3領域300B2の第5ウィンドウ350B2への入力が可能になる。このとき、図示しない第3領域300B2の有する第1アイコン群360B2のアイコン361B2〜366B2をポインティングデバイス11B2でクリックすることが可能になる。また、第2アイコン群370B2のアイコン371B2をポインティングデバイス11B2でドラッグ&ドラッグすることが可能になる。
【0053】
図9のように、第2拡大ウィンドウ181B2が、ノート画像122B2を拡大表示している時、第2拡大ウィンドウ181B2は、ノート画像122B2にコメントを加える正解アイコン153B2、不正解アイコン154B2、及びコメントクリアするアイコン155B2を有する。それぞれのアイコン153B2、154B2、155B2をポインティングデバイス11Aでクリックした時の効果は、図4で示したアイコン133Bn、134Bn、135Bnをポインティングデバイス11Aでクリックした時と同様である。
【0054】
図3に戻る。次に第2領域200Aについて説明する。第2領域200Aは、クライアントAの使用者の名前などの識別情報を表示する第3ウィンドウ230Aと、クライアントAの有するカメラ14Aで入力された信号に対応したカメラ画像を表示する第4ウィンドウ240Aとを備える。
【0055】
次に第3領域300Aについて説明する。第3領域300Aは、クライアントAのポインティングデバイス11Aなどで入力可能でかつ、入力した画像を表示可能な第5ウィンドウ350Aを備える。第5ウィンドウ350Aに、ポインティングデバイス11Aなどで入力された信号は、第5ウィンドウ350A上に表示される。すなわち、ポインティングデバイス11Aでカーソル移動させた軌跡を表示して文字または図形を描画し、カーソル位置を矢印表示させる。また、キーボード12Aで入力した定型文字などを表示させる。いずれの場合も、第5ウィンドウ350Aに表示される文字や図形や矢印は、サーバCを介してクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNに表示される。
【0056】
第3領域300Aは、第5ウィンドウ350Aの入力信号の表示効果を選択する第1アイコン群360A、第5ウィンドウに表示される画面を消去または過去の画面に切り替えて表示させる第2アイコン群370A、第5ウィンドウ350Aにポインティングデバイス11Aのカーソル位置を矢印表示させる第3アイコン群380A、第1領域100Aの第2ウィンドウ120B1〜120B16に表示する画像を選択する第4アイコン群390Aとを有する。それぞれのアイコン群の有するアイコンをクリックすることにより、これに対応する入力結果が画像表示される。
【0057】
第1アイコン群360Aは、第5ウィンドウ350Aにポインティングデバイス11Aで入力する信号の軌跡をどのように表示するかを選択するアイコン361A、362A、363A、364A、365A、366Aを有する。それぞれのアイコンのクリックにより、軌跡の色や太さを選択できる。選択されたアイコンがどれであるか判別しやすいように、選択されたアイコンは他の第1アイコン群360Aのアイコンの向きと変えて表示される。例えば、図10は、アイコン362Aが選択されている状態を示している。
【0058】
図3に戻る。第2アイコン群370Aは、第5ウィンドウ350Aに表示された画像を全部消去する消去アイコン371A、過去に第5ウィンドウ350Aに表示された画像を表示していることを知らせるアイコン372A、過去に第5ウィンドウ350Aに表示された内容を閲覧する場合に、ページ送りをするアイコン373A、374A、375Aを有する。図3の第2アイコン群370Aは、過去の第2ページ目を表示していることを示している。図8の第2アイコン群370Aは、最新の第3ページ目を表示していることを示している。消去アイコン371Aをポインティングデバイス11Aで画面下方にドラッグすると、図示しない消去決定アイコンが表示され、この消去決定アイコンの位置でマウスアップすなわちドロップすることにより、第5ウィンドウ350A総ての表示を消去する。ドラッグしても、消去決定アイコンでマウスアップすなわちドロップしなければ、第5ウィンドウ350Aの表示は消去されない。また、消去アイコン371Aは図8のように最新のページを表示している時だけ有効で、図3のように過去のページを表示している時には無効なアイコンになる。ページ送りアイコン373A、374A、375Aをポインティングデバイス11Aでクリックすることにより、過去に第5ウィンドウ350Aに表示した内容を再び表示させる。第2アイコン群は、表示領域376Aを有し、表示している第5ウィンドウ350Aの画像のページ番号を表示する。アイコン372Aは、第5ウィンドウ350Aが図3のように過去のページを表示している時だけ表示され、図8のように最新のページを表示している時には、半透明で表示される(図では半透明表示はしていない)。過去のページを閲覧中に、アイコン373Aをクリックすると、最新のページを表示させる。過去のページを閲覧中に、アイコン374Aをクリックすると、1ページ新しいページを表示させる。アイコン375Aをクリックすると1ページ過去のページを表示させる。クライアントAが書き込みできるページ、すなわち最新のページを第5ウィンドウ350Aに表示している時は、アイコン374Aは、図3のようなページ送りアイコンではなく、図8のように最新のページで書き込みが可能である旨を示すアイコンが表示される。
【0059】
第3アイコン群380Aは、指示棒カーソル表示アイコン381Aを有する。このアイコンのクリックにより第5ウィンドウ350Aにおいて、ポインティングデバイス11Aのカーソルの動きに同期した指示棒に相当する矢印表示がされる。
【0060】
第4アイコン群390Aは、クライアントAの第2ウィンドウ120B1〜120B16に表示する内容を選択するノート画像表示アイコン391Aとカメラ画像表示アイコン392Aを有する。ノート画像表示アイコン391Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する(図6参照)。カメラ画像アイコン392Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有するカメラ14B1〜14B16で入力されたカメラ画像121B1〜121B16を表示する(図5参照)。ノート画像表示アイコン391Aをポインティングデバイス11Aでクリックすると、クライアントAの表示画面WAの第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する(図6参照)。
【0061】
第4アイコン群390Aは、クライアントB1〜B16の有する表示画面WB1〜WB16の第2ウィンドウ120B1〜120B16に表示する内容を選択するノート画像表示アイコン393A、ノート解答画像表示アイコン394A、カメラ画像表示アイコン395Aを有する。ノート表示アイコン393Aをポインティングデバイス11Aでクリックすると、クライアントB1〜B16の有する表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有する第5領域500B1〜500B16のノート画像122B1〜122B16を表示する。ノート解答表示アイコン394Aをポインティングデバイス11Aでクリックすると、ノート画像121B1〜121B16に正解の緑色背景色または不正解の赤色背景色を重ねたノート解答画像123B1〜123B16を、クライアントB1〜B16の有する表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16に表示する。カメラ画像表示アイコン395Aをポインティングデバイス11Aでクリックすると、クライアントB1〜B16の表示画面WB1〜WB16の各第2ウィンドウ120B1〜120B16は、クライアントB1〜B16の有するカメラ14B1〜14B16で入力されたカメラ画像121B1〜121B16を表示する。
【0062】
第3領域の第5ウィンドウ350Aは、ポインティングデバイス11Aによる入力で、文字や絵などが描かれる、いわゆるホワイトボードとしての役割を果たす。具体的には、一定の時間に入力された総ての信号を1つのフレームFAに格納する。1つのフレームFAは、文字や絵などの入力信号を集めたホワイトボード・ノート描画用情報IGAと、選択されたアイコンの情報やカーソル位置の情報を集めたイベントコントロール情報IEAとを有する。またフレームFAは、カメラ14Aで入力されたカメラ画像、及びマイク13Aで入力された音声の信号であるビデオ・オーディオストリーミング情報IVAを有する。フレームFAは、サーバCに送信され、サーバCで返信フレームF’に変換される。サーバCはクライアントA、B1〜BNに送信する。これにより、クライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNで、従来のキーボードで入力された文字信号の送信ではできなかった、文字を描画している過程も含めて観察することが可能になる。また、クライアントB1〜BNは、カメラ画像や音声も同期して出力されるので、第5ウィンドウ350Aの領域を使った情報伝達に加えて、映像や音声でも情報伝達が受けられるので、1つの教室で授業を受けているかのような感覚で画面WB1〜WB16、WB17 ’〜WBNの観察が可能となる。フレームFAの構成や送受信の流れは後述する。
【0063】
また、クライアントAの画面WAの第5ウィンドウ350Aの内容は、クライアントB1〜BNの第5ウィンドウ350B1〜350BNで表示可能である上に、クライアントB1〜B16も一定要件下で、第5ウィンドウ350B1〜350B16にポインティングデバイス11B1〜11B16で入力可能である。すなわち、クライアントAの入力許可アイコン144B1〜144B16をポインティングデバイス11Aでクリックすることにより、クライアントB1〜B16のうちのn番目のクライアントBnが第5ウィンドウ350Bnにポインティングデバイス11Bnで入力することが可能になる。
【0064】
第5ウィンドウ350Aに、ポインティングデバイス11Aで文字などが入力されているときは、図10のように、第1領域には、何も表示されないように対話プログラムを設定することが可能である。こうするとフレームFAで送信されるデータ量を少なくし、クライアントAのCPU負荷を抑える効果がある。
【0065】
図3に戻る。次に第4領域400Aについて説明する。第4領域400Aは、クライアント間の交信を終了させるログアウトアイコン401A、クライアントAのローカル日付、及び時間を表示する時計表示領域420Aとを有する。第4領域400Aは、画面WAの機能を拡張させる領域で、例えば、別に記録させておいたファイル及びデータをサーバCにアップロードさせるアイコン402A、アップロードさせたファイル及びデータを削除するアイコン403A、アップロードされたファイル及びデータの中から、別ウィンドウで表示させるファイル及びデータの番号を選択するアイコン410A〜419Aを有する。アップロードアイコン402A、削除アイコン403A、及び選択アイコン410A〜419Aは、以下で説明するファイルなどのアップロードに使用するためのアイコンであるが、アイコンの数や用途はこれに限られない。
【0066】
クライアントAの記録媒体などに記録しておいたファイル及びデータ、又はクライアントAの使用者が入力したデータは、サーバCにアップロードさせることで、サーバCの記録媒体50Cに記録される。ファイルは、例えば、クライアントAの使用者が行う他のクライアントB1〜BNに対する授業を円滑に進めるためのプレゼンテーション用の資料ファイルや、画面WA、WB1〜WB16、WB17 ’〜WBN ’をさらに拡張させて、伝えたい情報を画面WA、WB1〜WB16、WB17 ’〜WBN ’に加えるなどのプログラムファイルがこれに相当する。データは、参照させたいインターネットのホームページのURLなどである。
【0067】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン402Aをクリックすると、図11のようなファイル及びデータのアップロード選択用拡大ウィンドウ450Aが表示され、どのファイル及びデータをアップロードさせるかをクライアントAの使用者に選択させる。また、このとき、選択させたファイル及びデータを何番目の場所に格納させるかを選択させる。アップロード選択用拡大ウィンドウ450Aは、ファイル及びデータを参照するアイコン451A、ファイル及びデータ名を入力する入力領域454A、アップロードを決定するアイコン452A、アップロード選択用拡大ウィンドウ450Aを閉じるアイコン453A、とアップロードの格納先を選択するアイコン460A〜469Aを表示する。アップロード選択用拡大ウィンドウ450Aは、画面WAとは別のブラウザ画面である。
【0068】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン403Aをクリックすると、図12のようなファイル及びデータの消去選択用拡大ウィンドウ470Aが表示され、アップロードさせたどのファイル及びデータを消去させるかをクライアントAの使用者に選択させる。消去選択用拡大ウィンドウ470Aは、消去を決定するアイコン472A、消去選択用拡大ウィンドウ470Aを閉じるアイコン473A、と消去するファイル及びデータの格納先を選択するアイコン480A〜489Aを表示する。アイコン480A〜489Aのいずれかをクリックすると、格納されたファイル及びデータのサムネール表示がされる。消去選択用拡大ウィンドウ470Aは、画面WAとは別のブラウザ画面である。
【0069】
クライアントAの使用者が、ポインティングデバイス11Aで、アイコン410A〜419Aのいずれかをクリックすると、図13のような、アップロードファイル拡大ウィンドウ490Aを表示する。このウィンドウの拡大は、他のクライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’に同期させることも、同期させないで、各クライアントの選択に任せることも可能である。アップロード拡大ウィンドウ490Aは、この画面を閉じるアイコン493Aを有する。拡大ウィンドウ490Aは、画面WAとは別のブラウザ画面である。
【0070】
時計表示領域420Aは、クライアントAの制御装置30Aが有する時計とは別途に計算されて表示される時間表示領域で、本発明の現地現在時刻算出プログラムにより算出される時刻を表示する。現地現在時刻を算出し時計表示領域420Aに表示するまでのフローチャートは後述する(図25参照)。タイムゾーンの異なる地域にクライアントAが移動された場合は、通常、制御装置30Aの有する時計のタイムゾーンを変更させる必要がある。しかし、制御装置30Aの有する時計のタイムゾーンを変更すると、制御装置30Aの有するファイル管理システムやメールソフトなどの時間も同期して変更される。本発明では、時計表示領域420Aに表示する時刻だけを移動先の現地時間に合わせることが可能になる。また、制御装置30Aの時計が正確に現地現在時刻にセットされていない場合であっても、時計表示領域420Aには正確に現在の時刻を表すことが可能になる。
【0071】
また、クライアントA、B1〜BNの間の予定表確認も、各クライアントの現地時間に対応して行うことが可能である。具体的な表示画面(図27参照)、及び予定表確認プログラムのフローチャート(図26参照)については、後述する。
【0072】
次に、図2、図14〜図18で、16番目までの生徒用のクライアントB1〜B16のモニタ22B1〜22B16で表示される画面WB1〜WB16について説明する。
【0073】
画面WB1〜WB16の構成は、それぞれで同じである。従って、n番目の画面WBnの構成で説明する。画面WBnは、第1領域100Bn、第2領域200Bn、第3領域300Bn、第4領域400Bn、及び第5領域500Bnから構成される。第1領域100Bn、第2領域200Bn、第3領域300Bn、及び第4領域400Bnは、1つの画面上に並べて配置されるので図2と同じであるが詳細が画面WAと異なる(図14参照)。第5領域500Bnは、必要に応じて、別ウィンドウでかつ第3領域300Bnに重ねて表示される(図15参照)。
【0074】
図14で、詳細を説明する。教師用のクライアントAの画面WAと異なる点を中心に説明する。構成や機能が同じアイコンなどについては、同じ番号で添字だけをAからBnに変えている。
【0075】
画面WBnの第1領域100Bnが備える第1ウィンドウ110B1〜110B16は、画面WAの第1領域100Aの第1ウィンドウ110B1〜110B16と同様である。
【0076】
図16は、第1領域100Bnのm番目の第1ウィンドウ110Bm及び第2ウィンドウ120Bmに表示されうる総てのアイコンを示す。
【0077】
画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16は、挙手アイコン131B1〜131B16を有する。m番目のクライアントBmが、画面WBmの第3領域300Bmの挙手アイコン396Bmをポインティングデバイス11Bmで入力した場合に画面WBnの第1領域100Bnのm番目の挙手アイコン131Bmが表示される。
【0078】
画面WBnの第1領域100Bnのn番目の第1ウィンドウ110Bnは、質問アイコン132Bnを有する。n番目以外の第1ウィンドウ110B1〜110B16は、質問アイコンを有しない。従って、図16のように、質問アイコン132Bmが表示されるのはn=mの場合に限られる。n番目のクライアントBnが、画面WBnの第3領域300Bnの質問アイコン397Bnをポインティングデバイス11Bnで入力した場合に画面WBnの第1領域100Bnのn番目の質問アイコン132Bnが表示される。この質問アイコン132Bnが表示されると、クライアントAの画面WAの第1領域100Aのn番目の第1ウィンドウ110Bnも、質問アイコン132Bnを表示する。しかし、この質問アイコン132Bnが表示されても、他の生徒用クライアントB1〜BNの画面WB1〜WB16、WB17 ’〜WBN ’のそれぞれのn番目の第1ウィンドウ110Bnには質問アイコン132Bnは表示されない。
【0079】
また、画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16は、板書中アイコン130B1〜130B16を有する。板書中アイコン130B1〜130B16は、クライアントB1〜B16のいずれかが、後述する第3領域300B1〜300B16に入力許可がされた状態を表示する。m番目のクライアントBmへの入力許可は、クライアントAにおけるm番目の第1拡大ウィンドウ171Bmの入力許可アイコン144Bmをポインティングデバイス11Aでクリックすることにより与えられる。
【0080】
画面WBnの第1領域100Bnが備える第2ウィンドウ120B1〜120B16は、画面WAの第1領域100Aの第2ウィンドウ120B1〜120B16と同様である。
【0081】
画面WBnの第1領域100Bnの第2ウィンドウ120B1〜120B16は、アイコンを有しない。従って、クライアントBnの使用者によって第2ウィンドウ120B1〜120B16に表示される画面の種類を選択することは出来ない。クライアントAの画面WAの第3領域300Aの第4アイコン群390Aのアイコン393A、394A、395Aのいずれかをポインティングデバイス11Aでクリックすることにより選択されたカメラ画像121B1〜121B16、ノート画像122B1〜122B16、又はノート解答画像123B1〜123B16を表示するだけである。
【0082】
画面WBnの第1領域100Bnの第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16のうち、クライアントAにより選択されたm番目の第1ウィンドウ110Bm、及び第2ウィンドウ120Bmは、拡大して表示されることが可能である(図17参照)。図17は、2番目のクライアントB2に対応する第1ウィンドウ110B2、及び第2ウィンドウ120B2を拡大して表示した場合を示す。拡大表示させるウィンドウの選択は1つに限らず、複数に対して行うことが可能である。例えば、図17のように2番目のクライアントB2の第1、第2拡大ウィンドウ171B2、181B2を表示させた後、これらを縮小させることなく、他のm番目のクライアントBmの第1、第2拡大ウィンドウ171Bm、181Bmを表示させることが可能である。以下クライアントAが2番目のクライアントB2に対応する第1ウィンドウ110B2を選択したとして説明する。2番目のクライアントB2に対応する第1ウィンドウ110B2以外のクライアントB1〜B16に対応する第1ウィンドウ110B1〜110B16が選択された場合も同様である。クライアントAのポインティングデバイス11Aで、クライアントAの画面WAにある第1領域100Aの第1ウィンドウ110B1〜110B16のうちの2番目の第1ウィンドウ110B2がクリックされると、クライアントBnの画面WBnにある第1領域100Bnの2番目の第1ウィンドウ110B2、及び第2ウィンドウ120B2が拡大されて、第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2が表示される。第1拡大ウィンドウ171B2、及び第2拡大ウィンドウ181B2は、第1拡大ウィンドウ171B2をポインティングデバイス11B2でドラッグしながら移動させることで、画面WBn上のいずれかの位置に移動可能である。本実施形態では、この移動は、他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’には同期しない。各クライアントの使用者の意思で見易い位置に移動可能にするためである。しかし、他の実施形態として、この移動を、他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’に同期させてもよい。
【0083】
画面WBnの第1領域100Bnの第1拡大ウィンドウ111B2は、アイコンを有しない。従って、第1拡大ウィンドウ171B2、第2拡大ウィンドウ181B2は、表示されるだけである。
【0084】
画面WBnの第1領域100Bnの第2拡大ウィンドウ181B2は、アイコンを有しない。
【0085】
図14に戻る。次に画面WBnの第2領域200Bnについて説明する。第2領域200Bnが表示する第3ウィンドウ230Bnと、第4ウィンドウ240Bnは、画面WAの第2領域200Aの第3ウィンドウ230A、及び第4ウィンドウ240Aと同様である。
【0086】
次に画面WBnの第3領域300Bnについて説明する。第3領域300Bnが備える第5ウィンドウ350Bnは、画面WAの第3領域300Aが備える第5ウィンドウ350Aと同様である。第3領域300Bnの第5ウィンドウ350Bnに、ポインティングデバイス11Bnで入力された信号は、第5ウィンドウ350Bn上に表示される。すなわち、ポインティングデバイス11Bnでカーソル移動させた軌跡を表示して文字または図形を描画し、カーソル位置を矢印表示させる。また、キーボード12Bnで入力した定型文字などを表示させる。いずれの場合も、第5ウィンドウ350Bnに表示される文字や図形や矢印は、サーバCを介してクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第5ウィンドウ350A、350B1〜350BNで表示される。但し、ポインティングデバイス11Bnで入力が出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。従って、いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnは、クライアントBnの使用者による書き込みが制限されている。
【0087】
画面WBnの第3領域300Bnの有するアイコン群は、第5ウィンドウ350Bnの入力信号の表示効果を選択する第1アイコン群360Bn、第5ウィンドウに表示された画面を消去または過去の画面と入れ替える第2アイコン群370Bnである点は、画面WAの第3領域300Aが有する第1アイコン群350A、第2アイコン群360Aと同様である。しかし、画面WAの第3領域300Aが有する第3アイコン群380A、第4アイコン群390Aに相当するアイコン群は有しない。一方、画面WBnの第3領域300Bnは、第5アイコン群390Bnを有する。
【0088】
画面WBnの第3領域300Bnが有する第1アイコン群360Bnのアイコンは、画面WAの第3領域300Aが有する第1アイコン群360Aのアイコンと同様である。但し、ポインティングデバイス11Bnでアイコンクリックが出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnへの書き込み制限と同様に、クライアントBnの使用者によるアイコンクリックが制限されている。
【0089】
画面WBnの第3領域300Bnが有する第2アイコン群370Bnのアイコンは、画面WAの第3領域300Aが有する第2アイコン群370Aのアイコンと同様である。但し、ポインティングデバイス11Bnで消去アイコン371B nをドラッグ&ドロップが出来るのは、クライアントAにおける画面WAの第1領域100Aの第1拡大ウィンドウ171Bnが有する入力許可アイコン144Bnがポインティングデバイス11Aによってクリックされた場合に限られる。いわゆるホワイトボードに相当する第3領域300Bnの第5ウィンドウ350Bnへの書き込み制限と同様に、クライアントBnの使用者によるドラッグ&ドロップが制限されている。
【0090】
画面WBnの第3領域300Bnが有する第5アイコン群390Bnは、総てのクライアントA、B1〜BNに意思表示を伝える挙手アイコン396Bn、クライアントAにのみ意志表示を伝える質問アイコン397Bn、これらの意思表示をキャンセルするクリアアイコン398Bn、及び第5領域500Bnの表示/非表示を切り替えするアイコン399Bnを有する。挙手アイコン396Bnを、ポインティングデバイス11Bnでクリックすると、総てのクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’の第1領域100A、100B1〜100BNが備えるそれぞれのn番目の第1ウィンドウ110Bnの挙手アイコン131Bnが表示される。質問アイコン397Bnを、ポインティングデバイス11Bnでクリックすると、クライアントAの画面WAの第1領域100Aが備えるn番目の第1ウィンドウ110Bnの質問アイコン132Bnが表示される。クリアアイコン398Bnを、ポインティングデバイス11Bnでクリックすると、挙手アイコン131Bn、及び質問アイコン132Bnの表示が総てのクライアントA、B1〜BNから消去される。アイコン399Bnを、ポインティングデバイス11Bnでクリックすると、画面WBnの第5領域500Bnが表示され、もう一度クリックすると、画面WBnの第5領域500Bnが非表示される。画面WBnの第5領域500Bnについては後述する。
【0091】
画面WBnの第3領域300Bnが備える第5ウィンドウ350Bnは、ポインティングデバイス11Bnなどによる入力で、文字や絵などが描かれる、いわゆるホワイトボードとしての役割を果たすのは、画面WAの第3領域が備える第5ウィンドウ350Aと同様である。
【0092】
第5ウィンドウ350Bnに、ポインティングデバイス11Bnで文字などが入力されているときは、第1領域100Bnの表示を制限させるように対話プログラムを設定することが可能である。こうするとフレームFBnで送信されるデータ量を少なくし、クライアントBnのCPU負荷を抑える効果がある。図18は、2番目のクライアントB2の画面WB2の第5ウィンドウ350B2に、ポインティングデバイス11B2で入力されている状態を示す。画面WB2の第1領域100B2では、2番目の第1ウィンドウ110B2、第2ウィンドウ120B2だけが表示され、第1ウィンドウ110B2の中で、板書中アイコン130B2が表示され、2番目のクライアントB2が第5ウィンドウ350B2に入力中であることを示す。
【0093】
図14に戻る。次に、画面WBnの第4領域400Bnについて説明する。第4領域400Bnは、クライアント間の交信を終了させるログアウトアイコン401Bn、クライアントBnのローカル日付、及び時間を表示する時計表示領域420Bnとを有する。第4領域400Bnは、画面WBnの機能を拡張させる領域で、例えば、アップロードされたファイル及びデータの中から、別ウィンドウで表示させるファイル及びデータの番号を選択するアイコン410Bn〜419Bnを有する。それぞれのアイコンをクリックした時の効果、時計表示領域420Bnの内容は、画面WAの第4領域400Aのアイコンなどと同様である。
【0094】
次に、図15に示す画面WBnの第5領域500Bnについて説明する。第5領域500Bnは、ポインティングデバイス11Bnで第3領域300Bnのアイコン399Bnをクリックすることにより、通常の画面WBnの上に表示される。第5領域500Bnは、クライアントBnのポインティングデバイス11Bnなどで入力可能かつ、入力した画像を表示可能な第6ウィンドウ550Bnを備える。第6ウィンドウ550Bnは、画面WBnの第3領域300Bnの第5ウィンドウ350Bnの上の重なる位置に表示される。第6ウィンドウ550Bnに、ポインティングデバイス11Bnなどで入力された画像の他、第5ウィンドウ350Bnにおいて第6ウィンドウ550Bnと重なる位置に表示された画像も含めて第6ウィンドウ550Bn上に表示される。すなわち、第5ウィンドウ350Bnに表示された画像に重ねて、ポインティングデバイス11Bnでカーソル移動させた軌跡を表示して文字または図形が表示される。また、キーボード12Bnで入力した定型文字などを表示させる。第6ウィンドウ550Bnに表示される文字や図形は、同期して他のクライアントA、B1〜BNの画面WA、WB1〜WB16、WB17 ’〜WBN ’には表示されない。但し、ノート画像122Bn及びノート解答画像123Bnとして、クライアントA、B1〜Bnの画面WA、WB1〜WB16、WB17 ’〜WBN ’それぞれのn番目の第2ウィンドウ120Bnに表示されることが可能である。
【0095】
第5領域500Bnは、第6ウィンドウ550Bnにポインティングデバイス11Bnで入力する信号の軌跡をどのように表示するかを選択するアイコン561Bn、562Bnを有する。それぞれのアイコンのクリックにより、選択されたアイコンは、選択されていないアイコンと区別するために向きを変えて表示される。例えば、図15は、アイコン561Bnが選択されている状態を示している。
【0096】
第5領域500Bnは、第6ウィンドウ550Bnに表示された画像を全部消去する消去アイコン571Bnを有する。消去アイコン571Bnをドラッグ&ドロップすることによる手順及び効果は、第3領域の消去アイコン371Bnと同様である。但し、消去アイコン571Bnは、消去アイコン371Bnのように他のクライアントによってドラッグ&ドロップが制限されることはない。
【0097】
第5領域500Bnは、第6ウィンドウ550Bnの表示を終了させて図14のような通常画面WBnに戻ることを選択するアイコン572Bnを有する。
【0098】
第6ウィンドウ550Bnに、ポインティングデバイス11Bnで文字などが入力されているときは、第1領域100Bnの表示を制限させるように対話プログラムを設定することが可能である。こうするとフレームFBnで送信されるデータ量を少なくし、クライアントBnのCPU負荷を抑える効果がある(図15参照)。
【0099】
次に、図19〜図20で、17番目以降の生徒用のクライアントB17〜BNのモニタ22B17〜22BNで表示される画面WB17 ’〜WBN ’について説明する。
【0100】
17番目以降の生徒用のクライアントB17〜BNでは、クライアントA、B1〜B16がサーバCを介して行われるフレームFA、FB1〜FB16及び返信フレームF’の受信によって出力される画面表示のみがモニタ22B17〜22BNでされる。クライアントB17〜BNの画面WB17 ’〜WBN ’は、図19に示すように、アイコンクリックによる入力信号が、他のクライアントA、B1〜BNに影響を与えるようなアイコンを有しない。一方、他のクライアントA、B1〜B16のアイコンクリックによる入力信号を表示するアイコン又は表示領域は、16番目までのクライアントB1〜B16が有する画面WB1〜WB16と同様に有する。
【0101】
これを、n’番目のクライアントBn ’が表示する画面WBn ’の構成と、16以下のn番目のクライアントBnが表示する画面WBnの構成とを比較して説明する。n’は、17以上でN以下の自然数である。
【0102】
画面WBn ’の第1領域100Bn ’が備える第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16は、クライアントBnの画面WBnの第1領域100Bnが備える第1ウィンドウ110B1〜110B16、及び第2ウィンドウ120B1〜120B16と同様である。m番目のクライアントBmに対応する第1ウィンドウ110Bm、及び第2ウィンドウ120Bmが拡大表示される第1拡大ウィンドウ171Bm、及び第2拡大ウィンドウ181Bm(図示せず)についても同様である。
【0103】
図20に示されるように、画面WBn ’の第1領域100Bn ’が有する板書中アイコン130B m及び挙手アイコン131B mは、クライアントBnの画面WBnの第1領域100Bnが有する板書中アイコン130B m、及び挙手アイコン131B mと同様である(図16参照)。但し、質問アイコンに相当するアイコンは有しない。n’番目のクライアントBn ’から、他のクライアントA、B1〜BNに対して、挙手及び質問という意思表示を伝える機会はないからである。
【0104】
図19に戻る。画面WBn ’の第2領域200Bn ’が備える第3ウィンドウ230Bn ’、及び第4ウィンドウ240Bn ’は、クライアントBnの画面WBnの第2領域200Bnが備える第3ウィンドウ230Bn、及び第4ウィンドウ240Bnと同様である。
【0105】
画面WBn ’の第3領域300Bn ’が備える第5ウィンドウ350Bn ’は、クライアントBnの画面WBnの第3領域300Bnが備える第5ウィンドウ350Bnと同様である。但し、n’番目のクライアントBn ’が、この領域にポインティングデバイス11Bn ’などによる入力を許可される機会はない。従って、クライアントBn ’は、第5ウィンドウ350Bn ’を閲覧するのみで、この領域に入力をすることはできない。
【0106】
画面WBn ’の第3領域300Bn ’の第2アイコン群370Bn ’が有するアイコン373Bn ’、374Bn ’、及び375Bn ’は、クライアントBnの画面WBnの第3領域300Bnの第2アイコン群370Bnが有するアイコンと同様である。また、表示領域376Bn ’もクライアントBnの画面WBnの第3領域300Bnの表示領域376Bnと同様である。しかし、第3領域300Bn ’はその他のアイコンを有しない。
【0107】
画面WBn ’の第4領域400Bn ’が有するアイコン401Bn ’、410Bn ’〜419Bn ’、及び420Bn ’は、クライアントBnの画面WBnの第4領域400Bnが有するアイコンと同様である。
【0108】
画面WBn ’は、クライアントBnの画面WBnが別ウィンドウで表示する第5領域500Bnに相当する領域は有しない。
【0109】
n’番目のクライアントBn ’は、クライアントA、B1〜BNのいずれのクライアントに対してもポインティングデバイス11Bn ’などによる入力信号を送信することは出来ないが、クライアントA、B1〜B16がサーバCを介して行われるフレームF’を受信することはできる。これにより、クライアントA、B1〜B16で行われるフレームの送受信の結果出力される内容を見聞き、すなわち授業を参観することが可能になる。
【0110】
次に、画面WA、WB1〜WB16、WB17 ’〜WBN ’においてポインティングデバイス11Aなどで入力された信号が、サーバCを介して他のクライアントに送信され、出力されるまでの流れを説明する。
【0111】
具体的には、クライアントA、B1〜BNとサーバCにおけるフレームFA、FB1〜FBNなどの送受信の流れを図21〜24のフローチャートにて説明する。フローチャートでは、各部の長い名称は省略されて表示されている。
【0112】
概略を説明する。一定時間内にクライアントの各々が入力した信号をフレームFA、FB1〜FBNに変換してサーバCに送信するステップS1(S1a〜S1c)と、サーバCが受信したフレームFA、FB1〜FBNを1つの受信フレームF’に変換し、クライアントの各々に受信フレームF’を送信するステップS2(S2a〜S2i)と、クライアントの各々が受信フレームF’を適当な出力信号に変換するステップS3a〜S3cで構成される。
【0113】
クライアントA、B1〜BNの使用者が、表示画面WA、WB1〜WB16、WB17 ’〜WBN ’を観察し、スピーカ21A、21B1〜21BNに出力される音声を聞き、この表示画面上の入力領域にポインティングデバイス11A、11B1〜11BNで信号入力などして操作することによって、これらのステップ(S1a〜S1c、S2a〜S2i、S3a〜S3c)が進められる。
【0114】
クライアントA、B1〜BNは、対話プログラムを開始し、所定の入力画面にて、使用者IDやパスワードなどの認証情報を入力し、入力信号をサーバCに送受信することにより認証が認められた場合に、図21〜24のような流れが始まる。
【0115】
まず、ステップS1(S1a〜S1c)について図22を用いて詳述する。
【0116】
ステップS1(S1a〜S1c)では、一定時間内にクライアントA、B1〜BNが入力した信号を1つのフレームFA、FB1〜FBN(図22では、FA,FB1のみ図示)に変換してサーバCに送信する。
【0117】
クライアントAにおけるステップS1(S1a〜S1c)の流れを説明する。
【0118】
フレームFAは、使用者がクライアントAで操作を行った際に発生するイベントをデータ化したイベントコントロール情報IEA、カメラ14A、及びマイク13Aから得られる画像及び音声をデータ化したビデオ・オーディオストリーミング情報IVA、使用者がクライアントAの入力領域におけるポインティングデバイス11Aの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報IGAから構成される。
【0119】
イベントコントロール情報IEAは、例えば、特定の機能をONまたはOFFするために設置されたアイコンがポインティングデバイス11Aによってクリックされた内容、または、ポインティングデバイス11Aが示すカーソルの位置の移動の内容をいう。
【0120】
ホワイトボード・ノート描画用ベクトル情報IGAは、ホワイトボード・ノート描画用ベクトル情報の他に、ポインティングデバイス11Aが示すカーソルの軌跡の色を指定する情報も含まれる。
【0121】
一定時間は、クライアントAとサーバCで送受信されるフレーム1つあたりの時間幅を意味し、この時間幅は使用者または対話プログラムで設定される。
【0122】
ステップS1では、クライアントAにおいて一定時間内に、ポインティングデバイス11Aなどで入力された信号を、IEA、IVA、IGAのいずれかに振り分けを行う(ステップS1a)。
【0123】
この一定時間内に蓄積された情報IEA、IVA、IGAは以下の条件でまとめられたフレームFAを構成する。フレームFAは、クライアント内部にあるメモリバッファ内に一時的に格納される(ステップS1b)。
【0124】
イベントコントロール情報IEAは、一定時間内に発生した複数のイベントの中から同種のイベントについて取りまとめを行い、そのイベントの流れの中で作られる最終結果である。従って、一定時間内にポインティングデバイス11Aなどでカーソル移動がされた場合には、一定時間の終了時点のカーソル位置に関する情報がイベントコントロール情報の1つとなる。また、一定時間内に何度も同じアイコンをクリックした場合には、その何度かクリックしたことによる最終的な特定機能のON/OFF情報などがイベントコントロール情報の1つとなる。ビデオ・オーディオストリーミング情報IVAは、一定時間内で取得した画像、音声の総てである。ホワイトボード・ノート描画用ベクトル情報IGAは、ポインティングデバイス11Aが指す座標を、フレームFAの一定時間よりも小さな時間単位で取得し、その始点と終点のポイント情報と、軌跡を表示する色情報などである。従って、画面WAの第5ウィンドウ350Aにおいて、ポインティングデバイス11Aで、図形を描画した場合には、一定時間に描画された軌跡がホワイトボード・ノート描画用ベクトル情報の一部となる。
【0125】
クライアントAは、メモリバッファに格納されたフレームFAを1単位としてサーバCに送信する(ステップS1c)。送信後は、後述する一定間隔後に繰り返して行う次のフレームの動作に移る。
【0126】
同様のステップS1を、クライアントB1〜BNでも行う。クライアントによってポインティングデバイス11B1〜11BNなどで入力される信号は異なるため、異なるフレームFA、FB1〜FBNがサーバCに送信される。クライアントB1〜BNのイベントコントロール情報、ビデオ・オーディオストリーミング情報、ホワイトボード・ノート描画用ベクトル情報をそれぞれ、IEB1〜IEBN、IVB1〜IVBN、IGB1〜IGBNで表す。クライアントAとクライアントB1〜B16、及びクライアントB17〜BNは、入力できる信号の制限幅が異なるが、信号の種類やフレームを構成する手順は異ならない。
【0127】
フレーム単位の送信により、時間軸の同期がとれるので、1つ1つの情報に時間的なズレが生じにくい効果が得られる。また、同種のイベントを取りまとめることで、送信データ量を軽減する効果が得られる。クライアントA、B1〜BNで同じフレームFA、FB1〜FBNの中で行われた操作は、後述するサーバCからの返信フレームF’を受信した時でも同期している。従って、同じタイミングで入力された様々な信号が時間的にバラバラに送受信されることはない。
【0128】
次に、図23でステップS2(S2a〜S2i)を詳述する。ステップS2(S2a〜S2i)は、クライアントA、B1〜BNから送信されたフレームFA、FB1〜FBNをサーバCで処理する。具体的には、フレームFA、FB1〜FBNを、イベントコントロール情報、ビデオ・オーディオストリーミング情報、ホワイトボード・ノート描画用ベクトル情報に分割する(ステップS2a)。分割した情報をそれぞれ以下のような条件でさらに処理する(ステップS2b、ステップS2c、ステップS2d、ステップS2e)。
【0129】
フレームFA、FB1〜FBNからのイベントコントロール情報IEA、IEB1〜IEBNは、フレームFA、FB1〜FBNが送信される直前のイベント状態と合成され、最新の状態が計算される。直前のイベント状態は、サーバCの記録媒体50Cに記録されている。計算された値は新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’に変換されサーバC内の記録媒体50Cに記録される。また返信フレームF’に格納される(ステップS2b、ステップS2c)。記録媒体50Cに記録された新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’は、一定間隔後にクライアントA、B1〜BNから送信される次のフレームFA、FB1〜FBNと合成するための直前のイベント状態として扱われる。新たなイベントコントロール情報IEA ’、IEB1 ’〜IEBN ’は、クライアント毎に異なる。
【0130】
フレームFA、FB1〜FBNからのビデオ・オーディオストリーミング情報IVA、IVB1〜IVBNは、1つの返信フレームF’に格納される(ステップS3d)。
【0131】
フレームFA、FB1〜FBNからのホワイトボード・ノート描画用ベクトル情報IGA、IGB1〜IGBNは、クライアント毎に過去のホワイトボード・ノート描画用ベクトル情報の履歴との差分が計算される。計算された値は新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’に変換され、返信フレームF’に格納される(ステップS2e)。また、新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’は、過去のホワイトボード・ノート描画用ベクトル情報の履歴に加えられて記録媒体50Cに記録される。記録された履歴は、一定間隔後にクライアントA、B1〜BNから送信される次のフレームFA、FB1〜FBNと差分計算するための過去のホワイトボード・ノート描画用ベクトル情報の履歴として扱われる。新たなホワイトボード・ノート描画用ベクトル情報IGA ’、IGB1 ’〜IGBN ’は、クライアント毎に異なる。
【0132】
返信フレームF’が作成されると、サーバCは、クライアントA、B1〜BNに、返信フレームF’を送信する(ステップS2f)。同じフレームF’を送信することで、各クライアントが同じ情報すなわち同期のとれた情報を受信することが可能になる。また、データが1つのフレームにまとまっているため、受信側としてデータ再構成の必要性がないため、再生が簡単になる効果がある。
【0133】
サーバCとの交信が、他のクライアントと同時に始められず、途中から行った遅刻クライアントは、過去のフレーム送受信をしていない。この場合は、返信フレームF’を受信する前に、直前のイベント状態、及び過去のホワイトボード・ノート描画用ベクトル情報の履歴を受信する(ステップS2g、ステップS2h、ステップS2i)。すなわち、直前のイベント状態、及び過去の履歴を送り、途中から交信を始めても過去の流れが理解できるようにする。図23は、クライアントB2が、遅刻クライアントとして、途中から交信を始めたと想定し、フレームF’の受信の他に、直前のイベント状態の受信(S2i)、及び過去の履歴の受信(S2g、S2h)を示している。
【0134】
次に、図24でステップS3a〜S3cを詳述する。クライアントA、B1〜BNは、返信フレームF’を新たなイベントコントロール情報、新たなビデオ・オーディオストリーミング情報、新たなホワイトボード・ノート描画用ベクトル情報に分解し、以下のような処理を行う(ステップS3a、ステップS3b)。クライアントAにおけるステップS3a〜S3cの流れを説明する。同時に図示しない遅刻クライアントB2におけるステップS3a〜S3cの流れを、クライアントAの場合との違いを中心に説明する。
【0135】
過去のイベントコントロール情報IEAを記録した内部ワークエリアに、新たなイベントコントロール情報IEA ’を上書きする。遅刻クライアントB2は、フレームF’の受信の前に、直前のイベント状態の受信(S2i)をしており、これが過去のイベントコントロール情報IEB2として内部ワークエリアに記録されている。
【0136】
過去のビデオ・オーディオストリーミング情報IVAを記録した内部ワークエリアに、新たなビデオ・オーディオストリーミング情報IVA’を追加する。これにより、過去のビデオ・オーディオストリーミング情報IVAが再生されていない場合でも、消去されず、ストリーミング再生が可能になる。遅刻クライアントB2は、内部ワークエリアに、過去のビデオ・オーディオストリーミング情報IVB2が記録されていないため、新たなビデオ・オーディオストリーミング情報IVB2 ’を内部ワークエリアに記録する。
【0137】
過去のホワイトボード・ノート描画用ベクトル情報IGAを記録した内部ワークエリアに、新たなホワイトボード・ノート描画用ベクトル情報IGA ’を追加する。遅刻クライアントB2は、フレームF’の受信の前に、過去のホワイトボード・ノート描画用ベクトル情報の履歴を受信(S2g、S2h)しており、これが、過去のホワイトボード・ノート描画用ベクトル情報IGB2として内部ワークエリアに記録されている。
【0138】
新たなイベントコントロール情報IEA ’を基に、クライアントAは、モニタ22Aの画面WAにアイコンや画像、ホワイトボードに相当する入力領域などを表示し、スピーカ21Aに音声を出力する(ステップS3c)。他のクライアントB1〜BNも同様のステップS3a、S3b、S3cを行う。
【0139】
フレームFA、FB1〜FBNの送信、返信フレームF’の受信は、一定間隔で繰り返し行う。この一定間隔が短ければ各クライアントで出力される信号の更新タイミングが早くなり、サーバCを介したクライアント間の信号送受信がスムーズに行われる。従って、各クライアントの使用者は、他のクライアントと対話をしているような感覚で、対話プログラムで実行された表示画面を操作することが可能になる。
【0140】
クライアントA、クライアントB1〜B16の間では、様々な入力装置からの入力信号をサーバCを介して双方向で通信することが可能である。クライアントB17〜BNは、これらの通信結果を受信することが可能である。従って、クライアントA、B1〜BNの使用者が、互いに遠隔地にいる状態であっても、本対話プログラムや表示画面を利用することにより、1つの教室における授業に参加するような感覚で、互いの意志疎通を図ることが可能になる。特に、音声、画像、及び第3領域の第5ウィンドウのいわゆるホワイトボードによる参加者の全員が書き込み及び閲覧が可能な領域の存在とそれらの総てを同期して時間軸を共有することが、互いの意志疎通を円滑に運ぶのに効果的である。
【0141】
次に、現地現在時刻算出プログラムについて、すなわち画面WAの第4領域400Aの時計表示領域420Aに時刻表示を行う流れについて図25のフローチャートを使って説明する。クライアントA、B1〜BNで時計表示させるには、各クライアントとサーバCの信号の送受信が行われる。クライアントごとにその手順は変わらないので、クライアントAを例に説明する。
【0142】
まず、ステップS11で開始されると、ステップS12で使用者のIDを入力する。入力されたIDはサーバCに送信される(ステップS13)。サーバCでは、IDに対応する使用者を特定し、使用者のクライアントAが属するタイムゾーン情報TZと、サーバCの時計情報TCを取得し、クライアントAに送信する(ステップS14)。サーバCの時計情報TCは、後述するクライアントAの制御装置30Aにある時計情報TAと時差を求めるために使用される、たとえば世界標準時間などである。したがって、サーバCの時計情報TCは、相対比較するためのものであり、いずれの地域の時刻であってもよい。タイムゾーン情報TZは、サーバCの時計情報TCと、各クライアントの属する地域との時差の情報であり、特定の地域に対する時差(たとえばプラス10時間)がこれに該当する。サーバCには、IDと使用者名と使用者のクライアントが属する地域のタイムゾーン情報TZがあらかじめ記録されてある。使用者のクライアントの属する地域が変更された場合には、図示しない別のステップでそのクライアントはサーバCに対して変更登録をしておく。
【0143】
クライアントAは受信した情報TZ及びTCを記録し(ステップS15)、次に、クライアントAの有する制御装置30Aにある時計情報TAを記録する(ステップS16)。次に、ステップS17で、クライアントAの現在時刻情報NTAを記録する。ステップS16とS17のタイムラグが無い場合は、時計情報TAと現在時刻情報NTAは同じ数値となる。次に、ステップS18で、タイムゾーン情報TZ、サーバCの時計情報TC、制御クライアントAの時計情報TA、および現在時刻情報NTAから、現在時刻NTA’を計算する。計算した現在時刻NTA’は、表示領域420Aに表示される。クライアントAの属する地域の時間と、制御装置30Aの時間が一致する場合は、現在時刻情報NTAと、現在時刻NTA’は一致する。しかし、クライアントAの属する地域が変更されて、現在時刻情報NTAが、本来の地域の時刻と異なるものであっても、現在時刻NTA’は正確な現地の現在時刻を算出することが可能である。次にステップS19で先ほどの現在時刻NTA’算出から一定時間tの経過をしたかの確認を行い、経過している場合は、ステップS17、S18を繰り返し行い、終了要求ステップS20によって終了するまで現在時刻NTA’の更新を行い、その結果である現地現在時刻を時計表示領域420Aに表示する。一定時間tは、クライアントAの制御装置30Aの有する割り込み処理機能を使ってサーバCで任意に設定する。時差のある地域を移動する使用者にとって、制御装置30Aの時計そのものをその都度変更することは、煩わしい。制御装置30Aの有するファイル管理システムやメールにまで、変更の影響があるからである。しかし、上記の手順により、独自の時計表示を行えば、制御装置30Aの有する時計そのものの時刻設定を変える必要は生じない。
【0144】
次に、予定表確認プログラムについて説明する。上記の授業や会議に出席するためには、複数のクライアントで同じ時間に対話プログラムが実行される必要がある。その場合、どの時間に対話プログラムを実行する必要があるのか予定表確認がクライアント間で共有できるのが望ましい。図26は、サーバCとのデータ送受信により、この対話プログラムを使用した授業および会議の予定表入力や確認ができるフローチャートを示している。図26では、クライアントAが予定表を入力し(ステップS31〜S36)、これをクライアントB1が確認する(ステップS51〜S57)例である。まず、クライアントAが、予定表入力作業を開始し(ステップS31)、クライアントAの使用者のIDや予定表を入力しサーバCに送信する(ステップS32)。予定表の入力は、クライアントAの属する現地時間で行う。サーバCは受信したIDから使用者のクライアントAを特定し、クライアントAのタイムゾーン情報TZを取得する(ステップS33)。クライアントAの予定表の時間は、一旦サーバCの有する時計情報TCに変換してサーバCに記録する(ステップS34)。記録が終わると登録完了通知をクライアントAに送信し(ステップS35)、クライアントAがこの登録完了通知を受信して予定表入力作業は終了する(ステップS16)。
【0145】
次に、これをクライアントB1が確認する場合は、確認作業を開始し(ステップS51)、クライアントB1の使用者のIDやクライアントAの予定表を確認したい旨の要求信号を入力しサーバCに送信する(ステップS52)。サーバCは受信したIDから使用者のクライアントB1を特定し、クライアントB1のタイムゾーン情報TZを取得する(ステップS53)。サーバCにはクライアントAの予定表が、時計情報TCの時間に合わせて記録されているので、これを取得し(ステップS54)、クライアントB1のタイムゾーン情報TZから、クライアントB1の現地時間に変換する(ステップS55)。変換した時間の予定表をクライアントB1に送信する(ステップS56)。クライアントB1は受信した予定表を確認する(ステップS57)。この予定表は、クライアントB1の属する地域の現地時間に合わせたものであるので、クライアントB1の使用者は、他のクライアントとの時差を気にすることなく、予定表の確認を行うことが可能になる。この予定表の例を図27に示す。日付の中に、時間と科目が表示されており、総ての使用者の予定が、使用者のクライアントの現地時間に合わせた時間で表示されている。
【0146】
なお、本実施形態では、教師用のクライアントAと、生徒用のクライアントB1〜BNを区別し、生徒用のクライアントB1〜BNの入力を制限するような形で説明した。しかし、そのような制限をかけず、総てのクライアントが対等の形で、入力できるようにしてもよい。この場合は、学校の授業のような感覚ではなく、会議室における会議のように、クライアント同士の意見が述べられるような場を提供することができる。
【0147】
また、画面WAなどのレイアウトは一例にすぎず、他のレイアウトであってもよい。 また、サーバCは、クライアントの各々と別体であるとして説明したが、いずれかのクライアントに組み込んだ形態でもよい。
【0148】
また、現地現在時刻算出プログラムは、対話プログラムの中の使用に限定されず、単独のクライアントとサーバの間において時刻を知りたいような場合にも有効である。また、本実施形態では、一旦サーバから現在時刻や時差を取得した後は、クライアントの時計機能により一定時間経過後の時刻を算出する方法を説明したが、一定間隔ごとにサーバにアクセスして都度現在時刻を取得する方法でもよい。
【0149】
また、予定表確認プログラムについても、対話プログラムの中の使用に限定されず、複数のクライアント間における予定表確認のためだけにも有効である。
【0150】
【発明の効果】
上述のように、対話プログラムを各クライアントにインストールするだけで、簡単に学校の授業や会議室での会議のように、複数の人の間の会話が実現する。また、画面WA、WB1〜WB16、WB17 ’〜WBN ’は、インターネットのブラウザ上の画面であり、サーバCの管理者などが、定期的に画面レイアウトを見直すだけで、総てのクライアントの使用する画面WA、WB1〜WB16、WB17 ’〜WBN ’のレイアウトを変更することが可能である。従って、クライアントの各々の使用者は、各クライアントに対話プログラムをインストールし、インターネットが使用できる環境を整えるだけで、インターネット上のセキュリティレベルの変更など難しい接続に関する設定変更をすることなく、複数間の対話を実現することが可能になる。
【0151】
また、インターネットの使用できる環境において、簡単にクライアントの有する時計機能とは別に現地現在時刻を算出できる。
【0152】
また、インターネットの使用できる環境において、簡単に学校の授業や会議室での会議のように、複数の人の間で対話の予定表が時差を気にせず確認できる。
【図面の簡単な説明】
【図1】本実施形態の、システム図を示す。
【図2】クライアントAの画面WAの概略を示す。
【図3】画面WAの詳細を示す。
【図4】画面WAの第1領域100Aの詳細で、n番目の第1ウィンドウ、第2ウィンドウを示す。
【図5】第1領域100Aの詳細で、カメラ画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図6】第1領域100Aの詳細で、ノート画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図7】第1領域100Aの詳細で、ノート解答画像を表示した時のn番目の第1ウィンドウ、第2ウィンドウを示す。
【図8】第1領域100Aの詳細で、第1拡大ウィンドウ、第2拡大ウィンドウにカメラ画像が表示された場合を示す。
【図9】第1領域100Aの詳細で、第1拡大ウィンドウ、第2拡大ウィンドウにノート画像が表示された場合を示す。
【図10】第3領域300Aの第5ウィンドウ350Aに画像を入力している際に、第1ウィンドウが省略されて表示された画面WAを示す。
【図11】第4領域400Aのファイル及びデータのアップロード選択をする画面を示す。
【図12】第4領域400Aのアップロードされたファイル及びデータの消去選択をする画面を示す。
【図13】第4領域400Aのアップロードされたファイルの1つを表示させた画面を示す。
【図14】n番目のクライアントBnの画面WBnを示す。
【図15】画面WBnの第5領域500Bnのノート画像を示す。
【図16】画面WBnの第1領域100Bnの詳細で、m番目の第1ウィンドウ、第2ウィンドウを示す。
【図17】画面WBnで、2番目のクライアントB2が指名された、第1拡大ウィンドウ、第2拡大ウィンドウを示す。
【図18】第3領域300Bnの第5ウィンドウ350Bnに画像を入力している際に、第1ウィンドウが省略されて表示された画面WBnを示す。
【図19】n’番目のクライアントBn ’の画面WBn ’を示す。
【図20】画面WBn ’の第1領域100Bn ’の詳細で、m番目の第1ウィンドウ、第2ウィンドウを示す。
【図21】本実施形態におけるフローチャートの概略を示す。
【図22】各クライアントから、サーバにフレームが送信されるまでのフローチャートを示す。
【図23】フレームを受信したサーバが、返信フレームの作成し各クライアントに送信するまでのフローチャートを示す。
【図24】返信フレームを受信した各クライアントが、各装置にて出力するまでのフローチャートを示す。
【図25】クライアントAとサーバCの間における、現地現在時刻算出プログラム、すなわち時計情報、タイムゾーン情報の送受信のフローチャートを示す。
【図26】クライアントA、クライアントB1とサーバCの間における予定表確認プログラムのフローチャートを示す。
【図27】予定表確認プログラムの表示例を示す。
【符号の説明】
A 教師用のクライアント
B1、B2〜BN 生徒用のクライアント
C サーバ
WA 教師用のクライアントAの表示画面
WB1〜WB16 生徒用のクライアントB1〜B16の表示画面
WB17 ’〜WBN ’ 生徒用のクライアントB17〜BNの表示画面
Claims (17)
- ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、
前記クライアントの各々が、一定時間内に使用者が前記クライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、前記一定時間内に前記クライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、前記一定時間内に前記使用者が前記クライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とを前記サーバに送信する第1ステップと、
前記サーバが、前記クライアントの各々からの送信情報を集約し、前記集約した情報を、前記クライアントの各々が受信する第2ステップと、
前記クライアントの各々が、前記第2ステップで受信した情報を、前記クライアントの各々が有する出力手段に出力する第3ステップを備えたことを特徴とする対話プログラム。 - 前記ビデオ・オーディオストリーミング情報は、前記画像に加えて、前記入力手段から得られる音声をデータ化したものも含まれることを特徴とする請求項1に記載の対話プログラム。
- 前記第1ステップは、前記イベントコントロール情報と、前記ビデオ・オーディオストリーミング情報と、前記ホワイトボード・ノート描画用ベクトル情報とを、1つのフレームに構成し、前記フレームを前記サーバに送信することを特徴とする請求項1に記載の対話プログラム。
- 前記フレームの送信は、前記クライアントの有するメモリバッファに一時記憶したものを送信することを特徴とする請求項3に記載の対話プログラム。
- 前記第2ステップは、前記クライアントから送信された前記フレームを、それぞれイベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、前記分割した前記クライアントごとのイベントコントロール情報を前記サーバに保管されている直前のイベント状態と合成して新たなイベントコントロール情報を計算し、前記分割した前記クライアントごとのホワイトボード・ノート描画用ベクトル情報を前記サーバに保管されているホワイトボード・ノートベクトル情報の過去の履歴と差分を計算し、前記計算した複数の新たなイベントコントロール情報と、前記分割した複数の新たなビデオ・オーディオストリーミング情報と、前記差分計算した新たなホワイトボード・ノート描画用ベクトル情報とを前記サーバ内の返信フレームに格納し、前記返信フレームを、前記クライアントの各々が受信することを特徴とする請求項4に記載の対話プログラム。
- 前記第3ステップは、前記クライアントの各々が、前記第2ステップで受信した返信フレームを、イベントコントロール情報と、ビデオ・オーディオストリーミング情報と、ホワイトボード・ノート描画用ベクトル情報に分割し、前記分割したイベントコントロール情報を前記クライアントの各々が有する内部ワークエリアに上書きし、前記分割したビデオ・オーディオストリーミング情報を前記内部ワークエリアに追加し、前記分割したホワイトボード・ノート描画用ベクトル情報を前記内部ワークエリアに追加し、前記上書きしたイベントコントロール情報に従って、前記内部ワークエリアに含まれる情報をそれぞれ同期して、前記出力手段のモニタ上に表示させ、映像を再生し、前記モニタ上にホワイトボード画像、及びノート画像を表示することを特徴とする請求項5に記載の対話プログラム。
- 前記第3ステップは、前記上書きしたイベントコントロール情報に従って、前記内部ワークエリアに含まれる情報のうち音声を、さらに前記出力手段の有するスピーカに再生することを特徴とする請求項6に記載の対話プログラム。
- 前記第2ステップでは、前記クライアントのうち、前記サーバとのフレーム送受信を途中から行ったクライアントは、前記サーバから前記返信フレームが送信される前に、前記直前のイベント状態と前記ホワイトボード・ノート描画用ベクトル情報の過去の履歴データが送信されることを特徴とする請求項5に記載の対話プログラム。
- 前記第1、第2、第3ステップを、一定間隔ごとに繰り返し行うことを特徴とする請求項1に記載の対話プログラム。
- ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、
前記クライアントの各々が、一定時間内に使用者が前記クライアントの各々上で操作を行った際に発生するイベントをデータ化したイベントコントロール情報と、前記一定時間内に前記クライアントの各々が有する入力手段から得られる画像をデータ化したビデオ・オーディオストリーミング情報と、前記一定時間内に前記使用者が前記クライアントの各々のポインティングデバイスの操作に関する情報をベクトル化したホワイトボード・ノート描画用ベクトル情報とを、前記サーバが受信する第1ステップと、
前記サーバが、前記クライアントの各々からの送信情報を集約し、前記集約した情報を、前記クライアントの各々に送信する第2ステップとを備えたことを特徴とする対話プログラム。 - ネットワークを通して相互に交信が可能な複数のクライアントにおいて、
前記クライアントの各々の有するカメラで入力されたカメラ画像を表示する第1領域と、前記クライアントの各々の有するポインティングデバイスで前記クライアントの相互に入力されたホワイトボード画像を表示する第2領域とを備えることを特徴とする対話用表示画面。 - 前記第1領域は、前記クライアントの各々の有する前記ポインティングデバイスで入力されたノート画像のそれぞれを表示することが可能であることを特徴とする請求項11に記載の対話用表示画面。
- 前記第1領域は、前記ノート画像のそれぞれに、前記複数のクライアントの内の特定のクライアントによってコメントを加えたノート解答画像のそれぞれを表示することが可能であることを特徴とする請求項12に記載の対話用表示画面。
- 前記第2領域への前記クライアントの各々の有する前記ポインティングデバイスによる入力は、前記複数のクライアントのうちの特定のクライアントによって制限されることを特徴とする請求項11に記載の対話用表示画面。
- ネットワークを通して相互に交信が可能なサーバとクライアントにおいて、
前記サーバの有する時計と、前記サーバと前記クライアントの時差とによって計算される前記クライアントの現在時刻を算出することを特徴とする現地現在時刻算出プログラム。 - 前記クライアントの制御手段が有する時間計算機能と、前記算出した現地現在時刻とによって、前記現地現在時刻から一定時間経過後の時刻を算出することを特徴とする請求項15に記載の現地現在時刻算出プログラム。
- ネットワークを通して相互に交信が可能なサーバと複数のクライアントにおいて、
前記クライアントの各々の使用者の予定表を前記クライアントの各々の現地時間で入力し前記サーバに送信する第1ステップと、
前記サーバが、前記予定表を前記サーバの有する時計の標準時間に変換し、前記標準時間に変換された予定表を前記クライアントの各々の現地時間に変換し、前記クライアントの各々が受信する第2ステップと、
前記クライアントの各々が、前記第2ステップで受信した予定表を前記クライアントの各々が有する出力手段に出力する第3ステップを備えたことを特徴とする予定表確認プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003188833A JP2005025399A (ja) | 2003-06-30 | 2003-06-30 | インターネットを使った情報交換手段 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003188833A JP2005025399A (ja) | 2003-06-30 | 2003-06-30 | インターネットを使った情報交換手段 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005025399A true JP2005025399A (ja) | 2005-01-27 |
Family
ID=34187242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003188833A Pending JP2005025399A (ja) | 2003-06-30 | 2003-06-30 | インターネットを使った情報交換手段 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005025399A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012523587A (ja) * | 2009-04-07 | 2012-10-04 | ラーニング ツリー インターナショナル, インコーポレイテッド | ハイブリッドコース指導のためのシステムおよび方法 |
US9154738B2 (en) | 2012-06-07 | 2015-10-06 | Panasonic Intellectual Property Management Co., Ltd. | Communication device and communication system |
WO2016117480A1 (ja) * | 2015-01-19 | 2016-07-28 | シャープ株式会社 | テレコミュニケーションシステム |
-
2003
- 2003-06-30 JP JP2003188833A patent/JP2005025399A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012523587A (ja) * | 2009-04-07 | 2012-10-04 | ラーニング ツリー インターナショナル, インコーポレイテッド | ハイブリッドコース指導のためのシステムおよび方法 |
US9064232B2 (en) | 2009-04-07 | 2015-06-23 | Learning Tree International, Inc. | System and method for hybrid course instruction |
US9466222B2 (en) | 2009-04-07 | 2016-10-11 | Learning Tree International, Inc. | System and method for hybrid course instruction |
US9154738B2 (en) | 2012-06-07 | 2015-10-06 | Panasonic Intellectual Property Management Co., Ltd. | Communication device and communication system |
WO2016117480A1 (ja) * | 2015-01-19 | 2016-07-28 | シャープ株式会社 | テレコミュニケーションシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11150859B2 (en) | Method and system for facilitating collaboration sessions | |
US20230280893A1 (en) | Methods, systems, and user interface for displaying of presentations | |
JP6734852B2 (ja) | イベントを追跡し、仮想会議のフィードバックを提供するシステム及び方法 | |
US11875082B2 (en) | Collaborative remote interactive platform | |
EP3285461B1 (en) | Method and apparatus for sharing presentation data and annotation | |
EP2919121A1 (en) | Video information terminal and video display system | |
US11172006B1 (en) | Customizable remote interactive platform | |
JP5808788B2 (ja) | 会議支援システム、サーバ、端末装置、会議支援方法、および会議支援プログラム | |
US11349889B1 (en) | Collaborative remote interactive platform | |
JP2013232123A (ja) | 電子会議システム、端末、およびファイル提供サーバ | |
US20050166151A1 (en) | Network information processing system, information creation apparatus, and information processing method | |
KR101928524B1 (ko) | 강의 콘텐츠 제공 장치 및 그 방법 | |
US10887551B2 (en) | Information processing apparatus, information processing system and information processing method | |
JP2005025399A (ja) | インターネットを使った情報交換手段 | |
JP4244545B2 (ja) | 情報作成方法、情報作成装置およびネットワーク情報処理システム | |
JP2013232124A (ja) | 電子会議システム | |
JP2014056367A (ja) | 画像共有システム | |
Marrinan | Data-Intensive Remote Collaboration using Scalable Visualizations in Heterogeneous Display Spaces | |
JP2021033361A (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
JP2019096080A (ja) | 電子会議システム、情報処理装置、及びプログラム | |
KR20010026599A (ko) | 웹방식을 기반으로 하는 교육용 시스템 및 그 원격교육방법 | |
Chiu | Telepinup: Dynamic remote interaction in design reviews | |
JP2012028892A (ja) | 会議支援装置 |