JP2006197238A - 遠隔プレゼンテーションシステム、画像配信装置、画像配信方法及びプログラム - Google Patents

Abstract

【課題】 プレゼンテーションの内容を示す画像表示を、講演者の動作に応じて切り替えて表示できるようにする。
【解決手段】 ストリーム配信部１１９は、レーザーポインタの電源のオン、オフ、画像データの変化の度合い、講演者の発話の音声入力レベル、等、プレゼンテーションの進行状況に応じて変化する各事項がそれぞれの判別基準に合致するか否かを判別する。各事項の判別結果に従って、ストリーム配信部１１９は、レイアウト切換表を参照し、クライアント側での表示レイアウトを判別する。判別した表示レイアウトから変化した場合、ストリーム配信部１１９は、変化後の表示レイアウトを示すシーン記述情報をクライアントへ配信する。
【選択図】 図３

Description

本発明は、遠隔プレゼンテーションシステム、画像配信装置、画像配信方法及びプログラムに関し、特にプレゼンテーションの映像を遠隔地のユーザにプレゼンテーションの内容を認識しやすい形態で配信する画像配信システム、画像配信装置、画像配信方法及びプログラムに関する。

講義や発表（以下、プレゼンテーション）を撮影して、ネットワークを介して配信し、遠方の利用者がこれを再生して視聴することを可能とする遠隔プレゼンテーション技術が利用されている。

さらに、例えば、特許文献１に開示されているコンテンツ配信技術を用いて、撮影した映像を記録媒体に記録して配信するようにすれば、時間や場所を選ばずにプレゼンテーションを視聴できるようになる。

このように、遠隔プレゼンテーションシステムは、空間的時間的な制約を超えて、プレゼンテーションの視聴を可能にする技術である。
特開２００３−２７１４５８号公報（第５−９頁、図１）

プレゼンテーションにおいては、プロジェクタや大画面表示装置等を用いて資料を表示し、プレゼンテーターがこれを参照しつつマウス等のポインティング装置を駆使して説明や発表を行うことが多い。このような場合、従来は、投影画像とプレゼンテーターとが１画面に収まるように撮影して配信していた。

受信側にプレゼンテーション用資料が用意されていない場合、プレゼン風景を視聴するよりは、資料そのものを閲覧してプレゼンテーションの内容を理解できる方が望ましい状況がある。しかし、プレゼン風景の画面に資料自体は表示されているものの小さく表示されており、資料の閲覧には不向きである。

本発明は、上記問題点に鑑みてなされたもので、プレゼンテーションの様子に応じてクライアント側の表示レイアウトを変更して表示できる遠隔プレゼンテーションシステム、画像配信装置、画像配信方法及びプログラムを提供することを目的とする。

本発明の第１の観点にかかる遠隔プレゼンテーション配信システムは、
プレゼンテーションの様子を撮像し、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する遠隔プレゼンテーションシステムであって、
プレゼンテーションに用いられる画像情報を格納する記憶手段と、
前記記憶手段に格納されている画像情報を表示する配信側表示手段と、
前記記憶手段に格納されている画像情報を読み出す読出手段と、
前記配信側表示手段が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像手段と、
前記読出手段が所定の時間間隔で読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像手段が撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
前記画像情報と、前記撮像情報と、前記レイアウト判別手段で判別された表示レイアウトを示したレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信手段と、
を具備するサーバ装置と、
前記配信手段により配信された前記画像情報と、前記撮像情報と、前記レイアウト情報とを受信する受信手段と、
前記受信手段で受信した画像情報および撮像情報を前記レイアウト情報に示される表示レイアウトで表示する受信側表示手段と、
を具備するクライアント装置と、
を備える。

この発明によれば、サーバ装置は、プレゼンテーションしている様子を撮像した画像（撮像情報）と、配信側で表示されている画像（画像情報）とをクライアント装置へ配信する。これにより、受信側では、プレゼンテーションの様子の撮影画像と、配信側で表示されている画像とを表示させることができ、プレゼンテーションの全体と表示画像とをそれぞれ適切に表示させることが可能となる。また、読出手段が所定の時間間隔で読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、判別された表示レイアウトを示すレイアウト情報を切り換えて配信する。このため、例えば、サーバ側で表示している資料を切り換えた直後は、資料を大きく表示させ、それから一定時間経過後は、講義風景を大きく表示させるようにすることができる。

上記画像配信システムにおいて、
前記サーバ装置はさらに、
前記プレゼンテーションする者が発した音声を含む音声データを受信する音声データ受信手段、
を具備してもよい。この場合、
前記レイアウト判別手段は、さらに、前記音声データ受信手段が受信した音声データが、所定の入力レベルに達しているか否かにも従って、表示レイアウトを判別し、
前記配信手段はさらに、前記音声データを、通信ネットワークを介してクライアント装置に配信し、
前記受信手段はさらに、前記配信手段が配信した音声データを受信し、
前記クライアント装置はさらに、
前記受信手段が受信した音声データを放音する放音手段、
を具備する。

上記画像配信システムにおいて、
前記サーバ装置は、さらに、
前記配信側表示手段が表示する表示画面上を指し示す指示手段が動作中であるか否かを示す信号を受信する信号受信手段を具備してもよい。この場合、
前記レイアウト判別手段は、さらに、前記信号受信手段が動作中であるか否かにも従って、表示レイアウトを判別することができる。

本発明の第２の観点にかかる画像配信装置は、
プレゼンテーションに用いられる画像情報を格納する記憶手段と、
前記記憶手段に格納されている画像情報を表示する配信側表示手段と、
前記記憶手段に格納されている画像情報を読み出す読出手段と、
前記配信側表示手段が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像手段と、
前記読出手段が所定の時間間隔で読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像手段が撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
前記画像情報と、前記撮像情報と、前記レイアウト判別手段で判別された表示レイアウトを示したレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信手段と、
を具備する。

本発明の第３の観点にかかる画像配信方法は、
画像表示装置に表示されている画像を参照してプレゼンテーションしている様子を撮像して、通信ネットワークを介してクライアント装置へ配信する画像配信方法であって、
配信サーバ装置が、
プレゼンテーションに用いられる画像情報を格納するメモリから、該画像情報を読み出す読出しステップと、
前記メモリに格納された画像情報を画像表示装置に表示させる表示ステップと、
前記表示ステップで表示された画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像ステップと、
所定の時間間隔で前記読出しステップにおいて読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像ステップで撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを判別するレイアウト判別ステップと、
前記画像情報と、前記撮像情報と、前記レイアウト判別ステップで判別された表示レイアウトを示したレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信ステップと、
を備え、
クライアント装置が、
前記配信ステップにより配信された画像情報と撮像情報とレイアウト情報とを受信する受信ステップと、
前記受信ステップで受信した前記画像情報と撮像情報とを、前記受信ステップで受信したレイアウト情報に示される表示レイアウトで出力する出力ステップと、
を備える。

本発明の第４の観点にかかるプログラムは、
画像表示装置が接続され、該画像表示装置に表示する画像データを格納するメモリを有するコンピュータ装置を、
前記画像表示装置が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像した撮像データを受信する撮像データ受信手段と、
前記メモリから所定の時間間隔で読み出した２つの画像データ間の変化の度合いが閾値を超えたか否かに従って、前記画像データと前記撮像手段が撮像した撮像データとが配信先で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
前記画像データと、前記撮像データと、前記レイアウト判別手段で判別された表示レイアウトを示したレイアウト情報とを、前記通信ネットワークを介して配信先であるクライアント装置に配信する配信手段と、
を具備する画像配信装置として機能させる。

本発明によれば、クライアント装置において、プレゼンテーションの進行状況に応じて表示レイアウトが随時切り換えられるよう、プレゼンテーションの画像が配信される。

本発明にかかる実施形態を、以下図面を参照して説明する。本実施形態では、画像配信システムを大学等での遠隔授業に適用した例を説明する。

図１は、本発明の実施形態にかかる遠隔授業システムの構成を示すブロック図である。図示するように、遠隔授業システム１は、配信サーバ１００と、撮像装置３０と、レーザーポインタ５０と、通信ネットワークＣを介して配信サーバ１００に接続された、クライアント４０−１、４０−２、・・・、４０−ｎ（ｎは遠隔授業システム１に接続されたクライアントの台数）とから構成される。また、配信サーバ１００に、出力装置１４の１つとしてプロジェクタが接続されている。

本発明の実施形態にかかる遠隔授業システム１では、ＭＰＥＧ（ Moving Picture Experts Group）−４システム（ISO/IEC 14496シリーズ）で定義されている情報を配信サーバ１００からクライアント４０−１、４０−２、・・・に配信する。

配信されるＭＰＥＧ−４で定義されている情報には、画像、音声、テキストなどの情報であるエレメンタリストリーム（ Elementary Stream）と、画像、音声、テキストなどの各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報が含まれる。また、このエレメンタリストリームとシーン記述情報とは、オブジェクトディスクリプタ（Object Descriptor）という情報により関連づけされている。このため、シーン記述情報では、各オブジェクトに識別子であるオブジェクトディスクリプタＩＤが割り当てられており、このオブジェクトディスクリプタＩＤにより対応するオブジェクトディスクリプタが識別される。さらに、オブジェクトディスクリプタには、各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリームディスクリプタがあり、このエレメンタリストリームディスクリプタには、識別子であるエレメンタリストリームＩＤが記述されている。このエレメンタリストリームＩＤにより、各エレメンタリストリームが識別される。

また、上記ツリー構造で表現されたシーン記述情報において、ツリー構造の分岐点はノードと呼ばれる。各ノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標など）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。また、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードの属性に継承されたり、各ノードがグループ化されたりする。

通信ネットワークＣは、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの所定の通信プロトコルに基づくＬＡＮ（Local Area Network）などの通信ネットワークである。

配信サーバ１００は、講義のために教授が使用し、またクライアントに対し配信サーバ１００の画面出力および撮像装置３０で撮像した画像、ならびに音声入力をクライアントにストリーミング配信する情報処理装置である。配信サーバ１００は、クライアント側で識別できるように、これら３つのストリームにそれぞれエレメンタリストリームＩＤを付与する。

また、配信サーバ１００は講義中の教授の動作に応じてクライアント側での表示レイアウトを随時切り換える。ここで、あらかじめ表示レイアウトの種類は決まっており、配信サーバ１００は、画面の切り換え、発話などの要因に応じて、配信するシーン記述情報を切り換えることで、クライアント側での表示レイアウトを切り換える。

このような配信サーバ１００の構成を図２に示す。図示するように、配信サーバ１００は、制御部１１０と、記憶部１２０と、入力制御部１３０と、出力制御部１４０と、通信制御部１５０、１５１とを備える。これらはバス１６０を介して接続されている。制御部１１０はフレームバッファ１１１を含み、出力制御部１４０はＶＲＡＭ（ Video Random Access Memory）１４１を含む。

制御部１１０は、中央演算処理装置（ＣＰＵ、 Central Processing Unit）やワークエリアとなる記憶装置（ＲＡＭ等）やフレームバッファ１１１などを備える。制御部１１０は、記憶部１２０に格納されている動作プログラム等を読み出して実行することにより、図３に示すような、複写部１１６、画像圧縮部１１７、音声圧縮部１１８、ストリーム配信部１１９等を実現する。

複写部１１６は、所定の時間間隔で、出力制御部１４０内のＶＲＡＭ１４１から、そこに格納されている画像情報をフレームバッファ１１１に複写する。

画像圧縮部１１７は、フレームバッファ１１１に格納されている画像情報に画像圧縮処理を施し、ストリーム配信部１１９に送信する。また、通信制御部１５１（撮像装置３０）から、送信された撮像データにも画像圧縮処理を施し、ストリーム配信部１１９に送信する。

音声圧縮部１１８は、入力制御部１３０へ随時入力される音声データに対し、ＡＡＣ（ Advanced Audio Coding）による音声圧縮処理を施し、ストリーム配信部１１９に送信する。

ストリーム配信部１１９は、所定の基準に従って、クライアント４０−１、４０−２、・・・側での表示レイアウトを随時判別する。ここで、所定の基準とは、プレゼンテーションの進行状況に応じて随時変化する事項を意味する。なお、所定の基準の例は、後述する配信処理で示す。

また、ストリーム配信部１１９は、画像圧縮部１１７から送信される画像圧縮処理を施された画像情報および撮像データと、音声圧縮部１１８から送信される音声圧縮処理を施された音声データと、判別した表示レイアウトに対応するシーン記述情報とを通信制御部１５０を経由して、クライアント４０−１、４０−２、・・・に配信する。

フレームバッファ１１１は、ＶＲＡＭ１４１に格納されている画像データの複写データや撮像装置３０から送信された画像データや撮像データなどを保持する。なお、ＭＰＥＧ−４方式の画像圧縮処理では、時間軸上の前後の画像データ間で、差分を取る必要があるため、フレームバッファ１１１の記憶容量は最低でも２画面分の画像データを記憶できる必要がある。さらに、複数の画像データを処理する場合、それぞれ複数画面分の画像データを格納できるだけの記憶容量が必要となる。

配信処理において、制御部１１０は、フレームバッファ１１１に格納されている各画像データ、および撮像データに対し画像圧縮部１１７において画像圧縮処理を施し、音声入力装置１３Ｂから入力された音声データを音声圧縮部１１８で音声圧縮処理を施した上で、ＭＰＥＧ−４フォーマットのエレメンタリストリームを作成する。そして、ストリーム配信部１１９は、所定の基準に基づいてクライアント側での表示レイアウトを判別し、判別した表示レイアウトが以前判別した表示レイアウトから変化していれば、配信するシーン記述情報を今回判別した表示レイアウトに対応するシーン記述情報に変更し、通信制御部１５０からクライアント４０−１、４０−２、・・・へ送信（配信）する。配信処理におけるより詳細な動作については、後述する。

図２に戻って、記憶部１２０は、ハードディスク装置などの記憶装置から構成され、制御部１１０が実行する種々の動作プログラムを格納する。記憶部１２０に格納される動作プログラムには、配信サーバ１００の基本動作を司る任意のＯＳ（ Operating System：基本ソフトウェア）の他に、ＯＳと協働して後述する各処理を実現するための動作プログラム、などが含まれている。後述する配信サーバ１００による処理は、制御部１１０が動作プログラムを実行することで実現される。なお、主要な動作プログラムとしては、次の２つがある。
（１）「配信プログラム」：画像、音声、テキストなどを圧縮して、エレメンタリストリームを作成してクライアントへ送信（配信）するプログラム。
（２）「プレゼンテーションプログラム」：遠隔授業を補助するためのプログラム。あらかじめ作成された講義の内容をまとめたファイルを、入力装置からの指示に従って、紙芝居的に切り替えながら出力装置１４（プロジェクタ）に表示させる。

入力制御部１３０には、キーボードやポインティング・デバイスなどの入力装置１３Ａと、マイクなどの音声入力装置１３Ｂとが接続される。入力制御部１３０は、入力装置１３Ａから入力された種々の指示や音声入力装置１３Ｂから入力された音声データなどを受け付けて制御部１１０に伝達する。

出力制御部１４０には、ディスプレイ装置（プロジェクタ等）やプリンタなどの出力装置１４が接続される。出力制御部１４０は、制御部１１０の処理結果などを必要に応じて出力装置１４に出力する。
ＶＲＡＭ１４１は、ディスプレイ装置に表示される画像データを格納する記憶装置であり、ＲＧＢ方式（赤、緑、青の３原色を元に画像を表示する方式）で画像データを格納する。
出力制御部１４０は、制御部１１０の制御に従って、表示対象画像の画像データを生成し、ＶＲＡＭ１４１に格納する。また、ＶＲＡＭ１４１に格納されている画像データを読み出して、ディスプレイ装置（出力装置）１４に出力する。

通信制御部１５０は、ＮＩＣ（Network Interface Card）やルータなどの通信装置から構成され、配信サーバ１００と通信ネットワークＣとを接続し、クライアント４０−１、４０−２、・・・との通信を行う。
通信制御部１５１は、シリアルインターフェイスなどの通信装置から構成され、配信サーバ１００と、撮像装置３０やレーザーポインタ５０とを接続し、撮像装置３０やレーザーポインタ５０との通信を行う。

図１に戻って、撮像装置３０は、例えば、ビデオカメラであり、出力装置１４が出力した画像および授業しているプレゼンテーター（教授）が写り込んでいる授業風景を撮像し、配信サーバ１００に送信する。

レーザーポインタ５０は、教授が出力装置１４の表示画面を指すために使用する装置である。本実施形態特有の構成として、レーザー出力のオン、オフの状態を示す信号（以下、オンオフ信号と称する）を外部に送出する機能を有する。

クライアント４０−１、４０−２、・・・は遠隔授業の受講者により利用される端末装置であり、通常のパーソナルコンピュータなどから構成される。クライアント４０−１、４０−２、・・・は、配信サーバ１００が配信するエレメンタリストリーム（画像ストリームおよび音声ストリーム）とシーン記述情報とを受信して、画像ストリームおよび音声ストリームを再生し、シーン記述情報に従った表示レイアウトで出力する。代表してクライアント４０−１の構成を図４に示す。

図示するように、クライアント４０−１は、制御部４１０と、記憶部４２０と、入力部４３０と、出力部４４０と、放音部４４５と、通信制御部４５０とを備える。これらはバス４６０を介して接続されている。また、制御部４１０は、フレームバッファ４１１を含み、出力部４４０は、ＶＲＡＭ４４１を含む。

制御部４１０は、ＣＰＵや、ワークエリアとなる記憶装置（ＲＡＭ等）、などから構成される。制御部４１０は、記憶部４２０に格納されている所定の動作プログラムに基づいて、各部を制御しつつ後述する再生処理などを実行する。

記憶部４２０は、記憶装置（ＲＡＭ等）から構成される。記憶部４２０は、制御部４１０の動作プログラム（本発明特有のエレメンタリストリームを再生する再生プログラムを含む）、および配信サーバ１００から配信されたエレメンタリストリーム、などを記憶している。
ここで、再生プログラムは、フレームバッファ４１１に記憶されたエレメンタリストリームを取り出して、デコード（再生）し、ＶＲＡＭ４４１に画像データを書き込み、また、出力部４４０にＶＲＡＭ４４１に書き込まれた画像データを表示させ、さらに放音部４４５に音声データを放音させるプログラムである。

入力部４３０は、キーボード、マウスなどから構成されており、受講者の指示を入力するために使用する。

出力部４４０は、液晶ディスプレイなどから構成されており、再生された画像データなどの表示を行う。
ＶＲＡＭ４４１は、出力部４４０により出力（表示）される画像データを格納する記憶装置であり、ＲＧＢ方式で画像データを格納する。
放音部４４５は、スピーカなどを備え、配信サーバ１００から配信された音声データを放音する。

通信制御部４５０は、ネットワークカードを備え、配信サーバ１００からエレメンタリストリームを受信する。

以下、図面を参照して本実施形態にかかる配信処理および再生処理を説明する。図５は、配信サーバ１００で実行される配信処理のフローチャートである。また、図６は、配信処理中の画像圧縮処理のフローチャートである。また、図７は、配信処理中のレイアウト判別処理のフローチャートである。図８に、レイアウト判別処理で参照されるレイアウト切換表の例を示した。また、図９は、クライアント４０−１、４０−２、・・・で実行される再生処理のフローチャートである。配信処理に先立って、制御部１１０は、既知の手法により、各エレメンタリストリームにエレメンタリストリームＩＤをそれぞれ割り当てる。 以下の説明において、特に必要がなければ、制御部１１０、４１０などの個々の動作を述べず、配信サーバ１００やクライアント４０−１全体の動作として説明する。また、理解を容易にするために、画像の処理と音声の処理とを連続的に処理するように説明するが、実際には、画像と音声とは並行して処理される。

まず、配信処理を説明する。
教授は配信サーバ１００を操作して、任意の講義資料を出力装置１４に表示させ、資料を適宜切り換えながら、講義を進める。
制御部１１０の複写部１１６は、ＶＲＡＭ１４１に格納されている表示用画像データ（資料の画像データ）を、一定の時間間隔でフレームバッファ１１１に複写する（ステップＳ１０１）。

ここで、複写部１１６が複写を行う時間間隔は、配信側の画面表示が変化する間隔を考慮して適宜設定する。画像表示の変化する間隔が長い場合や、画面表示の変化の度合いが小さく、変化する間隔で画面表示を切り換えてもあまり意味がない場合には、複写を行う時間間隔を長くし、画面表示の変化する間隔が短い場合や、画面表示を早く切り換える場合には、複写を行う時間間隔を短くする。なお、画面表示の変化の度合いは、例えば後述のステップＳ１２１の動き予測により得た差分値の総和に比例する。

また、画面表示の切り換え速度に対応する時間間隔よりも短い時間間隔で、複写してもよいが、その場合、クライアント４０−１などに配信される情報量が増大し、通信ネットワークＣにかかる負荷が増大する。

次に、制御部１１０の画像圧縮部１１７は、フレームバッファ１１１に格納された画像データに対し、画像圧縮処理を施す（ステップＳ１０２）。

画像圧縮処理では、まず、制御部１１０の画像圧縮部１１７が、フレームバッファ１１１に格納された複数枚分の画像データ（フレーム）間の動きベクトル（方向性および差分値）を予測する動き予測を行う（図６：ステップＳ１２１）。この動き予測では、各フレームに対し、予測無し、順方向予測（前のフレームから現フレームを予測）、逆方向予測（後のフレームから現フレームを予測）および双方向予測（前のフレームと後のフレームとから現フレームを予測）のいずれかが行われる。ここで、どの予測が行われるかは、フレームに割り当てられた種類（Ｉフレーム、Ｐフレーム、Ｂフレーム）によって異なる。Ｉフレームであれば、予測無し、Ｐフレームであれば、順方向予測、Ｂフレームであれば、順方向予測、逆方向予測、双方向予測のいずれかが行われる。なお、あるフレームに対し逆方向予測または双方向予測が行われる場合、そのフレームの予測に利用され、かつ予測無しまたは順方向予測される後のフレームが先に画像圧縮処理される。

次に、画像圧縮部１１７は、画像データを８ピクセル×８ピクセルの正方形のブロックに分割し、ブロック単位で離散コサイン変換（ Discrete Cosine Transform、ＤＣＴ）を実行する（ステップＳ１２２）。離散コサイン変換では、画像イメージを「空間的な周波数（精細な画像は周波数が高く、一様な画像は周波数が低い）」として捉えて、各画素をそれぞれの周波数に対応した値（画素値）に変換する。

さらに、画像圧縮部１１７は、ステップＳ１２２で各画素に付与した画素値を、周波数別の量子化幅で量子化（量子化幅で除算し、余りは切り捨てる近似処理）する（ステップＳ１２３）。

そして、画像圧縮部１１７は、各ブロック内で一番左上に位置する画素の画素値と、他の６３画素の画素値を個別に符号化する（ステップＳ１２４）。このステップＳ１２４では、出現頻度の大きな符号を占有幅の狭い符号（より短い符号長を持つ符号）に置き換える。ここで、一番左上に位置する画素については、各ブロック間の画素値の差分が符号化される（当然、先頭の画素値は差分を取ることなく符号化される）。また、他の６３画素については、そのブロックを走査（いわゆるジグザグスキャン）することにより列を並べ替えて符号化する。

一方、撮像装置３０は、出力装置１４によって投影表示されている画像（出力装置１４の画面に表示されている画像でもよい）と講演・発表者である教授とが１画面に収まるように撮影して、その映像データ（撮像データ）を、通信制御部１５１を介して制御部１１０に供給する。
制御部１１０は、撮像装置３０からの撮像データをフレームバッファ１１１に適宜格納する（図５：ステップＳ１０３）。この格納間隔は、ＶＲＡＭ１４１の画像データの複写間隔よりも短い。これは、教授の画像は動きを伴い、動きをスムーズに表示するためには、比較的短い格納間隔が必要だからである。

制御部１１０は、フレームバッファ１１１に格納された撮像データを、例えば、前述（ステップＳ１２１〜１２４）と同様の手法により、画像圧縮する（ステップＳ１０４）。

また、音声圧縮部１１８は、音声情報を圧縮する（ステップＳ１０５）。

次に、ストリーム配信部１１９は、所定の基準に従って、クライアント４０−１などで表示させるレイアウトを判別する（ステップＳ１０６）。
ステップＳ１０６の詳細は図７を参照して説明する。

ストリーム配信部１１９は、レーザーポインタ５０から送信されるオンオフ信号に従って、レーザーポインタ５０の電源がオンになっているか否かを判別する（ステップＳ１６１）。レーザーポインタ５０の電源がオンになっていると判別すれば（ステップＳ１６１：ＹＥＳ）、ストリーム配信部１１９はレーザーポインタ５０の電源がオンになっていることを一時的に記憶する（ステップＳ１６２）。レーザーポインタ５０の電源がオフになっていると判別すれば（ステップＳ１６１：ＮＯ）、ストリーム配信部１１９はレーザーポインタ５０の電源がオフになっていることを一時的に記憶する（ステップＳ１６３）。また、ストリーム配信部１１９は、図６のステップＳ１２１で算出した動きベクトルの各成分の絶対値の総和が閾値以上であるか否かを判別する（ステップＳ１６４）。動きベクトルの各成分の絶対値の総和が閾値以上であると判別した場合（ステップＳ１６４：ＹＥＳ）、ストリーム配信部１１９は出力装置１４に出力されている画像データの変化が激しいと判別し、その旨を一時的に記憶する（ステップＳ１６５）。動きベクトルの各成分の絶対値の総和が閾値未満であると判別した場合（ステップＳ１６４：ＮＯ）、ストリーム配信部１１９は出力装置１４に出力されている画像データの変化が緩やかであると判別し、その旨を一時的に記憶する（ステップＳ１６６）。さらに、ストリーム配信部１１９は、音声入力装置１３Ｂから入力される音声情報の入力レベルが閾値以上であるか否かを判別する（ステップＳ１６７）。音声情報の入力レベルが閾値以上であると判別した場合（ステップＳ１６７：ＹＥＳ）、ストリーム配信部１１９は講演者が音声入力装置１３Ｂを通じて音声入力をしていると判別し、その旨を一時的に記憶する（ステップＳ１６８）。音声情報の入力レベルが閾値未満であると判別した場合（ステップＳ１６７：ＮＯ）、ストリーム配信部１１９は講演者が音声入力装置１３Ｂを通じて音声入力をしていないと判別し、その旨を一時的に記憶する（ステップＳ１６９）。

ストリーム配信部１１９は、３つの判別条件の判別結果に従って、図８に示すレイアウト切換表を参照し、クライアント側での表示レイアウトを判別する（ステップＳ１７０）。

図８に示したレイアウト切換表は、プレゼンテーションの状況を想定して設定された表示レイアウトを判別条件の組み合わせから判別するため、あらかじめ作成されたものである。なお、レイアウト切換表の各欄の記載は、理解を容易にするように記載しているが、実際には、各欄記載のレイアウトとなるシーン記述情報、あるいはシーン記述情報の格納先を示す情報が記載される。

次に、制御部１１０は、ステップＳ１０６（図７：Ｓ１６１〜Ｓ１７０）での判別結果が前回の判別結果と同じであるか否かを判別する（図５：ステップＳ１０７）。判別結果が前回の判別結果と同じであると判別すれば（ステップＳ１０７：ＹＥＳ）、すぐにステップＳ１０９に処理を移す。判別結果が前回の判別結果と異なると判別すれば（ステップＳ１０７：ＮＯ）、制御部１１０は、クライアント側での表示レイアウトを変更させるため、配信するシーン記述情報を今回の判別結果に対応するシーン記述情報に変更する（ステップＳ１０８）。

最後に、制御部１１０は、符号化された画像データや音声データをエレメンタリストリームとして、通信制御部１５０から通信ネットワークＣを介して、クライアント４０−１、４０−２、・・・、４０−ｎに配信し（ステップＳ１０９）、１フレーム分の配信処理を終了する。また、ステップＳ１０８において、シーン記述情報が変更された場合、変更されたシーン記述情報も配信する。制御部１１０は、講義が終了するまで、配信処理の実行を繰り返す。

次に、図９を参照して、クライアント側で実行される再生処理を説明する。再生処理では、どのクライアントでも同一の動作となるため、代表してクライアント４０−１で説明する。

クライアント４０−１の通信制御部４５０は、通信ネットワークＣを介して配信サーバ１００からエレメンタリストリームとシーン記述情報とを受信すると、これを制御部４１０に転送し、再生処理を開始する。以下で説明する再生処理は、フレーム単位で講義終了まで実行される。

制御部４１０は、通信制御部４５０が受信したデータから、エレメンタリストリームごとに分離する（図９：ステップＳ２０１）。分離したエレメンタリストリームのうち、画像ストリームをフレームバッファ４１１に格納する。

制御部４１０は、上述の画像圧縮処理の逆変換的処理により各画像ストリームを復号化し、画像データと撮像データとを復元する（ステップＳ２０２）。そして、制御部４１０は、エレメンタリストリームのヘッダ情報、シーン記述情報等に基づいて、受信画像が資料の画像データ（ＶＲＡＭ１４１から複写した画像データ）であるか、撮像装置３０で取得した画像であるかを判別し、資料の画像データについては、出力部４４０内のＶＲＡＭ４４１の所定エリア（図１０に示すメイン画面表示エリア６０１）に、撮像装置３０で撮像データについては、ＶＲＡＭ４４１の所定エリア（図１０に示すサブ画面表示エリア６０２）に、区別して展開する（ステップＳ２０３）。ＶＲＡＭ４４１の展開画像は、一定のリフレッシュレートで更新されながら、出力部４４０の表示画面に表示される。

一方、制御部４１０は、上述の音声圧縮処理の逆変換的処理により音声ストリームを復号化し（ステップＳ２０４）、放音部４４５から放音させる（ステップＳ２０５）。そして、１フレーム分の再生処理を終了する。

図１０は、本遠隔授業システム１において、出力部４４０に表示される画面の例である。符号６０１を付したエリアには、配信側と受信側との間の表示解像度の違い、および配信側での表示画面の更新間隔と取得間隔との違いを除けば、出力装置１４の表示画面に表示された画像とほぼ同一の画像が表示される。また、符号６０２を付したエリアには、撮像装置３０で授業の様子を撮像した画像が表示される。

２つの表示エリア６０１、６０２は、レーザーポインタ５０のオン、オフ、出力装置１４に表示される画像の変更、発話など教授の行動に応じて、配信サーバ１００からの指示で適宜切り換えられる。なお、図８に示したレイアウト切換表を参照すると分かるように、出力部４４０に、出力装置１４の表示画面に表示された画像だけが表示される場合もある。

以上説明したように、本発明の実施の形態にかかる遠隔授業システム１では、配信側の出力装置１４であるプロジェクタに表示される画像とほぼ同一の画像と、教授を含む講義場面全体の画像とが、受信側の表示装置（例えば、出力部４４０）に表示される。ここで、配信側は、教授の動作に応じてシーン記述情報を切り換えながら配信する。従って、受講者は資料と教授の授業風景全体とを視認しながら講義を受けることができ、学習効率が向上する。

なお、本発明は上記実施形態に限定されず、種々の変形及び応用が可能である。

例えば、上記実施形態では、遠隔授業システムを例として説明したが、配信サーバ１００で動作可能なアプリケーションプログラム（例えば、テキスト編集ソフト、表計算ソフト）の操作方法の説明を行う場合に本発明の画像配信システムを適用できる。

また、表示レイアウト切り換えのための基準は、上述したものに限らず、プレゼンテーションの進行状況に応じて変化するものであれば何でもよい。例えば、撮像装置３０が撮像した撮像データの変化の度合いを判別基準に採用してもよい。

また、上記実施形態で説明したレイアウト切換表の表示レイアウトは一例であり、条件に応じて表示レイアウトを任意に変更することができる。

また、配信サーバ１００が表示レイアウトを頻繁に変更することを防止するため、一度表示レイアウトを変更すると、一定期間表示レイアウトを変更しないようにしてもよい。もしくは、何回か連続して同じ表示レイアウトを選択した場合に、レイアウトを変更するようにしてもよい。

また、上記実施形態では、レーザーポインタの使用をレーザーポインタの電源のオン、オフにより判別していたが、レーザーポインタの使用を、レーザーポインタの出力光が出力装置１４の表示画面上にあるか否かにより判別するようにしてもよい。この場合、例えば、出力装置１４の表示画面上にレーザーポインタの出力光を検出する装置を設け、この装置から出力される検出信号を、通信制御部１５１を経由させて配信サーバ１００に取り込む。
これは、一般に、プレゼンテーションの最中はレーザーポインタの電源を入れたままにしておき、必要に応じてレーザーポインタで表示画面を指すことが多いからである。

複写部１１６は、入力装置１３Ａから表示資料の切り換えが指示される度に（あるいは表示資料が更新される度に）、更新された資料の画像データ（ＶＲＡＭ１４１上のもの）をフレームバッファ１１１に複写するようにしてもよい。この場合、画像圧縮部１１７は、動き予測することなく（つまり、ストリーム内のすべてのピクチャがＩピクチャとなる）、動画圧縮された画像データのストリームを生成する。
これは、一般に、資料は静止画のことが多く、複写の頻度を高めてもあまり効果がないからである。

また、ライブ映像として配信するのではなく、予め収録した映像を配信するようにしても良い。この場合、収録した映像を表すデータは、例えば、配信サーバ１００の記憶部１２０に格納される。この場合、さらに、収録した映像を表すデータ内の各ストリームに対し上述した画像圧縮処理や音声圧縮処理を施しておいてもよい。

また、コンテンツに施す圧縮方式にＭＰＥＧ−４フォーマットを用いた場合で説明したが、本発明に用いられる画像圧縮処理は、ＭＰＥＧ−４フォーマットの画像圧縮処理に限定されるものではない。つまり、配信サーバ１００の表示用メモリ（ＶＲＡＭ１４１）に格納されている画像情報を、クライアントの表示用メモリ（ＶＲＡＭ４４１）に連続的に転送することが可能な画像圧縮方式であればよい。
逆に、配信サーバ１００は無圧縮で画像情報や撮像データのストリームを配信してもよい。

また、配信サーバ１００に情報処理装置を接続し、この情報処理装置を用いてプレゼンテーションするようにしてもよい。この場合、配信サーバ１００がフレームバッファ１１１に複写する画像データは、配信サーバ１００内のＶＲＡＭ１４１ではなく、配信サーバ１００に接続された情報処理装置内の表示用メモリから複写する。

例えば、配信サーバ１００に接続したパーソナルコンピュータ内で、表示用メモリに格納された画像データを所定の時間間隔で配信サーバ１００のフレームバッファ１１１に転送するプログラムを動作させる。配信サーバ１００では、フレームバッファ１１１に格納されている画像データを取り出し、上述の画像圧縮処理を施して、クライアントへ配信する。

なお、上記各実施形態における遠隔授業システム１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体（ＦＤ、ＣＤ−ＲＯＭ、ＤＶＤ等）に格納して配布し、該プログラムをコンピュータにインストールすることにより、上述の処理を実行する、配信サーバ１００やクライアント４０−１、４０−２、・・・などを構成してもよい。また、インターネット等のネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えばコンピュータにダウンロード等するようにしてもよい。

また、上述の機能を、ＯＳとアプリケーションとの分担、またはＯＳとアプリケーションとの協動により実現する場合などには、ＯＳ以外の部分のみを媒体に格納してもよい。

また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ、 Bulletin Board System）に該プログラムを掲示し、ネットワークを介して該プログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成しても構わない。

本発明の実施形態にかかる遠隔授業システムのブロック図である。 図１に示す配信サーバのブロック図である。 図２に示す制御部の論理構成図である。 図１に示すクライアントのブロック図である。 本発明の実施形態にかかる配信処理を説明するためのフローチャートである。 図５の画像圧縮処理を説明するためのフローチャートである。 図５のレイアウト判別処理を説明するためのフローチャートである。 図７のレイアウト判別処理で参照されるレイアウト切換表の例である。 本発明の実施形態にかかる再生処理を説明するためのフローチャートである。 本発明に実施形態にかかる遠隔授業システムにおいて、クライアントの出力部に表示される画面の例を示す図である。

符号の説明

１ 遠隔授業システム
１００ 配信サーバ
１１０、４１０ 制御部
１１１、４１１ フレームバッファ
１１６ 複写部
１１７ 画像圧縮部
１１８ 音声圧縮部
１１９ ストリーム配信部
１２０、４２０ 記憶部
１３０ 入力制御部
１３Ａ 入力装置
１３Ｂ 音声入力装置
１４０ 出力制御部
１４１、４４１ ＶＲＡＭ
１４ 出力装置
１５０、１５１、４５０ 通信制御部
１６０、４６０ バス
３０ 撮像装置
４０−１、４０−２、４０−ｎ クライアント
４３０ 入力部
４４０ 出力部
５０ レーザーポインタ
６０１ メイン画面表示エリア
６０２ サブ画面表示エリア

Claims (6)

1. プレゼンテーションの様子を撮像し、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する遠隔プレゼンテーションシステムであって、
   プレゼンテーションに用いられる画像情報を格納する記憶手段と、
   前記記憶手段に格納されている画像情報を表示する配信側表示手段と、
   前記記憶手段に格納されている画像情報を読み出す読出手段と、
   前記配信側表示手段が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像手段と、
   前記読出手段が所定の時間間隔で読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像手段が撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
   前記画像情報と、前記撮像情報と、前記レイアウト判別手段で判別された表示レイアウトを示したレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信手段と、
   を具備するサーバ装置と、
   前記配信手段により配信された前記画像情報と、前記撮像情報と、前記レイアウト情報とを受信する受信手段と、
   前記受信手段で受信した画像情報および撮像情報を前記レイアウト情報に示される表示レイアウトで表示する受信側表示手段と、
   を具備するクライアント装置と、
   を備えることを特徴とする遠隔プレゼンテーションシステム。
2. 前記サーバ装置はさらに、
   前記プレゼンテーションする者が発した音声を含む音声データを受信する音声データ受信手段、
   を具備し、
   前記レイアウト判別手段は、さらに、前記音声データ受信手段が受信した音声データが、所定の入力レベルに達しているか否かにも従って、表示レイアウトを判別し、
   前記配信手段はさらに、前記音声データを、通信ネットワークを介してクライアント装置に配信し、
   前記受信手段はさらに、前記配信手段が配信した音声データを受信し、
   前記クライアント装置はさらに、
   前記受信手段が受信した音声データを放音する放音手段、
   を具備すること、
   を特徴とする請求項１に記載の遠隔プレゼンテーションシステム。
3. 前記サーバ装置は、さらに、
   前記配信側表示手段が表示する表示画面上を指し示す指示手段が動作中であるか否かを示す信号を受信する信号受信手段を具備し、
   前記レイアウト判別手段は、さらに、前記信号受信手段が動作中であるか否かにも従って、表示レイアウトを判別すること、
   を特徴とする請求項１または２に記載の遠隔プレゼンテーションシステム。
4. プレゼンテーションに用いられる画像情報を格納する記憶手段と、
   前記記憶手段に格納されている画像情報を表示する配信側表示手段と、
   前記記憶手段に格納されている画像情報を読み出す読出手段と、
   前記配信側表示手段が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像手段と、
   前記読出手段が所定の時間間隔で読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像手段が撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
   前記画像情報と、前記撮像情報と、前記レイアウト判別手段で判別された表示レイアウトに示されるレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信手段と、
   を具備することを特徴とする画像配信装置。
5. 画像表示装置に表示されている画像を参照してプレゼンテーションしている様子を撮像して、通信ネットワークを介してクライアント装置へ配信する画像配信方法であって、
   配信サーバ装置が、
   プレゼンテーションに用いられる画像情報を格納するメモリから、該画像情報を読み出す読出しステップと、
   前記メモリに格納された画像情報を画像表示装置に表示させる表示ステップと、
   前記表示ステップで表示された画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像する撮像ステップと、
   所定の時間間隔で前記読出しステップにおいて読み出した２つの画像情報間の変化の度合いが閾値を超えたか否かに従って、前記画像情報と前記撮像ステップで撮像した撮像情報とがクライアント装置で表示される際の表示レイアウトを判別するレイアウト判別ステップと、
   前記画像情報と、前記撮像情報と、前記レイアウト判別ステップで判別された表示レイアウトを示したレイアウト情報とを前記通信ネットワークを介してクライアント装置に配信する配信ステップと、
   を備え、
   クライアント装置が、
   前記配信ステップにより配信された画像情報と撮像情報とレイアウト情報とを受信する受信ステップと、
   前記受信ステップで受信した前記画像情報と撮像情報とを、前記受信ステップで受信したレイアウト情報に示される表示レイアウトで出力する出力ステップと、
   を備えること、
   を特徴とする画像配信方法。
6. 画像表示装置が接続され、該画像表示装置に表示する画像データを格納するメモリを有するコンピュータ装置を、
   前記画像表示装置が表示した画像と、前記画像を参照してプレゼンテーションする者と、を含む領域を撮像した撮像データを受信する撮像データ受信手段と、
   前記メモリから所定の時間間隔で読み出した２つの画像データ間の変化の度合いが閾値を超えたか否かに従って、前記画像データと前記撮像手段が撮像した撮像データとが配信先で表示される際の表示レイアウトを繰り返し判別するレイアウト判別手段と、
   前記画像データと、前記撮像データと、前記レイアウト判別手段で判別された表示レイアウトを示したレイアウト情報とを、前記通信ネットワークを介して配信先であるクライアント装置に配信する配信手段と、
   を具備する画像配信装置として機能させることを特徴とするプログラム。
   

Images