JP2006129190A - 画像配信システム、画像配信装置、画像配信方法及びプログラム - Google Patents

Abstract

【課題】 プレゼンテーションで表示されている画像のフレームレートが低い場合であっても、マウスカーソルは滑らかに表示されるようにする。
【解決手段】 カーソル取得部１１９が出力制御部１４０からカーソルの表示位置及びカーソルの形状を示すカーソル情報を、クライアント側で滑らかに表示できるような時間間隔で取得し、クライアントに配信する。クライアント側では、受信した画像情報を再生しＶＲＡＭに書き込む。その上に重ねて、カーソル情報で指定された位置及び形状でマウスカーソルを表示する。
【選択図】 図３

Description

本発明は、画像配信システム、画像配信装置、画像配信方法及びプログラムに関し、特にプレゼンテーションの映像を遠隔地のユーザにプレゼンテーションの内容を認識しやすい形態で配信する画像配信システム、画像配信装置、画像配信方法及びプログラムに関する。

講義や発表（以下、プレゼンテーション）を撮影して、ネットワークを介して配信し、遠方の利用者がこれを再生して視聴することを可能とする遠隔プレゼンテーション技術が利用されている。

さらに、例えば、特許文献１に開示されているコンテンツ配信技術を用いて、撮影した映像を記録媒体に記録して配信するようにすれば、時間や場所を選ばずにプレゼンテーションを視聴できるようになる。

このように、遠隔プレゼンテーションシステムは、空間的時間的な制約を超えて、プレゼンテーションの視聴を可能にする技術である。
特開２００３−２７１４５８号公報（第５−９頁、図１）

プレゼンテーションにおいては、プロジェクタや大画面表示装置等を用いて資料を表示し、プレゼンテーターがこれを参照しつつマウス等のポインティング装置を駆使して説明や発表を行うことが多い。このような場合、従来は、投影画像とプレゼンテーターとが１画面に収まるように撮影して配信していた。

以前と比較して、配信側と受信側との間の通信速度や画像のエンコード速度は向上してきているが、現状では、画像を取りこぼし無く配信するためには、フレームレートを落として配信する必要がある。

低いフレームレートで画像を配信することになった場合、画像中に含まれる（マウス）カーソル画像の配信間隔も同一となり、プレゼンテーターの意図したカーソルの動きを表現できないという問題があった。

本発明は、上記問題点に鑑みてなされたもので、配信側で表示されるカーソル画像を受信側でも滑らかに表示できる画像配信システム、画像配信装置、画像配信方法およびプログラムを提供することを目的とする。

本発明の第１の観点にかかる画像配信システムは、
配信側で表示されている画像を、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する画像配信システムであって、
配信側で表示している画像情報を格納する記憶手段と、
前記記憶手段に格納されている画像情報を読み出す読出手段と、
前記画像情報に重ねて表示されているカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得手段と、
前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、前記通信ネットワークを介してクライアント装置に順次配信する配信手段と、
を具備する配信サーバ装置と、
前記配信手段により配信された画像情報とカーソル情報とを受信する受信手段と、
前記受信手段で受信した前記画像情報の上に前記カーソル情報に示された位置にカーソルを合成して出力する出力手段と、
を具備するクライアント装置と、
を備える。

この発明によれば、サーバ装置が、カーソルの位置を示すカーソル情報を所定の時間間隔で取得して配信する。このため、例えば、画像情報の配信間隔、すなわち、クライアント装置側での表示間隔が長くなり画像変化が断続的になっても、カーソル画像は滑らかに表示させることができる。

上記画像配信システムにおいて、
前記カーソル情報は前記カーソルの形状を示す情報を含んでもよい。
この場合、前記出力手段は、
前記受信手段で受信した前記画像情報の上に、前記カーソル情報に示された位置に、前記カーソル情報で示された形状でカーソルを合成して出力する。

上記画像配信システムにおいて、例えば、
前記読出手段が画像情報を読み出す時間間隔は、前記所定の時間間隔よりも長い時間に設定されている。

上記画像配信システムにおいて、
前記読出手段が画像情報を読み出す時間間隔は、配信側における出力画面のリフレッシュレートの逆数よりも長いほうがよい。

この場合、例えば、画像情報に変化が少ない場合には、配信サーバ装置からクライアント装置へ配信する情報量を削減しても、クライアント側で表示される画像情報への影響が少ない。

上記画像配信システムにおいて、
前記所定の時間間隔は、クライアント装置における画面のリフレッシュレートの逆数であることが望ましい。

この発明によれば、クライアント装置側でカーソル表示のちらつきを抑えることができる。

本発明の第２の観点にかかる画像配信装置は、
自己に接続された画像表示装置に表示する画像情報を格納する記憶手段と、
前記記憶手段に格納されている画像情報を読み出す読出手段と、
前記画像情報に重ねて表示されているカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得手段と、
前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、通信ネットワークを介してクライアント装置に順次配信する配信手段と、
を具備する。

本発明の第３の観点にかかる画像配信方法は、
配信側で表示されている画像を、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する画像配信方法であって、
配信サーバ装置が、
配信側で表示している画像情報を格納するメモリから、該画像情報を読み出す読み出しステップと、
前記画像情報に重ねて表示されるカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得ステップと、
前記読み出しステップで読み出した画像情報と、前記カーソル取得ステップで取得したカーソル情報とを、通信ネットワークを介してクライアント装置に順次配信する配信ステップと、
を備え、
クライアント装置が、
前記配信ステップにより配信された画像情報とカーソル情報とを受信する受信ステップと、
前記受信ステップで受信した前記画像情報の上に前記カーソル情報に示された位置にカーソルを合成して出力する出力ステップと、
を備える。

本発明の第４の観点にかかるプログラムは、
画像表示装置が接続され、該画像表示装置に表示する画像情報を格納するメモリを有するコンピュータ装置を、
前記メモリに格納されている画像情報を読み出す読出手段と、
前記画像表示装置に表示されているカーソルの位置を示すカーソル情報を、クライアント装置側で所定の時間間隔で取得するカーソル取得手段と、
前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、前記通信ネットワークを介してクライアント装置に順次配信する配信手段と、
を具備する画像配信装置として機能させる。

本発明によれば、プレゼンテーションにおける表示画像を、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する画像配信システムにおいて、クライアント装置側で、カーソル画像が滑らかに表示されるように更新される。

本発明にかかる実施形態を、以下図面を参照して説明する。本実施形態では、画像配信システムを大学等での遠隔授業に適用した例を説明する。

図１は、本発明の実施形態にかかる遠隔授業システムの構成を示すブロック図である。図示するように、遠隔授業システム１は、配信サーバ１００と、撮像装置３０と、通信ネットワークＣを介して配信サーバ１００に接続された、クライアント４０−１、４０−２、・・・、４０−ｎ（ｎは遠隔授業システム１に接続されたクライアントの台数）とから構成される。また、配信サーバ１００に、出力装置１４の１つとしてプロジェクタが接続されている。

本発明の実施形態にかかる遠隔授業システム１では、ＭＰＥＧ（Moving Picture Experts Group）−４システム（ISO/IEC 14496シリーズ）で定義されている情報を配信サーバ１００からクライアント４０−１、４０−２、・・・に配信する。

配信されるＭＰＥＧ−４で定義されている情報には、画像、音声、テキストなどの情報であるエレメンタリストリーム（Elementary Stream）と、画像、音声、テキストなどの各オブジェクトの組み合わせがツリー構造で表現されたシーン記述情報が含まれる。また、このエレメンタリストリームとシーン記述情報とは、オブジェクトディスクリプタ（Object Descriptor）という情報により関連づけされている。このため、シーン記述情報では、各オブジェクトに識別子であるオブジェクトディスクリプタＩＤが割り当てられており、このオブジェクトディスクリプタＩＤにより対応するオブジェクトディスクリプタが識別される。さらに、オブジェクトディスクリプタには、各エレメンタリストリームとの関連付け情報が記述されているエレメンタリストリームディスクリプタがあり、このエレメンタリストリームディスクリプタには、識別子であるエレメンタリストリームＩＤが記述されている。このエレメンタリストリームＩＤにより、各エレメンタリストリームが識別される。

また、上記ツリー構造で表現されたシーン記述情報において、ツリー構造の分岐点はノードと呼ばれる。各ノードには、それに対応した各オブジェクトの時間的、空間的な相互関係や属性（光源、形状、材質、色および座標など）が記述され、各ノードの特性はフィールドと呼ばれるデータにより決定される。また、ツリー構造で表現されたシーン記述情報では、上位ノードの属性が下位ノードの属性に継承されたり、各ノードがグループ化されたりする。

通信ネットワークＣは、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの所定の通信プロトコルに基づくＬＡＮ（Local Area Network）などの通信ネットワークである。

配信サーバ１００は、講義のために教授が使用し、またクライアントに対し配信サーバ１００の画面出力および撮像装置３０で撮像した画像をクライアントにストリーミング配信する情報処理装置である。配信サーバ１００は、クライアント側で識別できるように、これら２つのストリームにそれぞれエレメンタリストリームＩＤを付与する。
このような配信サーバ１００の構成を図２に示す。図示するように、配信サーバ１００は、制御部１１０と、記憶部１２０と、入力制御部１３０と、出力制御部１４０と、通信制御部１５０、１５１とを備える。これらはバス１６０を介して接続されている。制御部１１０はフレームバッファ１１１を含み、出力制御部１４０はＶＲＡＭ（Video RAM）１４１を含む。

制御部１１０は、例えば、中央演算処理装置（ＣＰＵ、Central Processing Unit）やワークエリアとなる記憶装置（ＲＡＭ（Random Access Memory）等）やフレームバッファ１１１などを備える。制御部１１０は、記憶部１２０に格納されている動作プログラム等を読み出して実行することにより、図３に示すような、複写部１１７、画像圧縮部１１８、カーソル取得部１１９等を実現する。

複写部１１７は、所定の時間間隔で、出力制御部１４０内のＶＲＡＭ１４１から、そこに格納されている画像情報をフレームバッファ１１１に複写する。

画像圧縮部１１８は、フレームバッファ１１１に格納されている画像情報に画像圧縮処理を施し、通信制御部１５０に送信する。また、通信制御部１５１（撮像装置３０）から、送信された撮像データに画像圧縮処理を施し、同じく通信制御部１５０に送信する。

カーソル取得部１１９は、出力制御部１４０から、出力装置１４に表示されているマウスカーソルの位置及び形状を取得して、カーソル情報として通信制御部１５０へ送信する。ここで、カーソルの形状は画像イメージで表現される。なお、配信サーバ１００とクライアント４０−１、４０−２、・・・との間で同一のカーソル形状が利用できる場合は、カーソル形状に割り当てられている識別子を送信するようにしてもよい。

フレームバッファ１１１は、ＶＲＡＭ１４１に格納されている画像データの複写データや撮像装置３０から送信された画像データ（撮像データ）などを保持する。なお、ＭＰＥＧ−４方式の画像圧縮処理では、時間軸上の前後の画像データ間で、差分を取る必要があるため、フレームバッファ１１１の記憶容量は最低でも２画面分の画像データを記憶できる必要がある。さらに、複数の画像データを処理する場合、それぞれ複数画面分の画像データを格納できるだけの記憶容量が必要となる。

配信処理において、制御部１１０は、フレームバッファ１１１に格納されている各画像データに対し画像圧縮部１１８において画像圧縮処理を施した上で、ＭＰＥＧ−４フォーマットのエレメンタリストリームを作成し、通信制御部１５０からクライアント４０−１、４０−２、・・・へ送信（配信）する。配信処理におけるより詳細な動作については、後述する。

図２に戻って、記憶部１２０は、ハードディスク装置などの記憶装置から構成され、制御部１１０が実行する種々の動作プログラムを格納する。記憶部１２０に格納される動作プログラムには、配信サーバ１００の基本動作を司る任意のＯＳ（Operating System：基本ソフトウェア）の他に、ＯＳと協働して後述する各処理を実現するための動作プログラム、などが含まれている。後述する配信サーバ１００による処理は、制御部１１０が動作プログラムを実行することで実現される。なお、主要な動作プログラムとしては、次の２つがある。
（１）「配信プログラム」：画像、音声、テキストなどを圧縮して、エレメンタリストリームを作成し、また、カーソル情報を取得してクライアントへ送信（配信）するプログラム。
（２）「プレゼンテーションプログラム」：遠隔授業を補助するためのプログラム。あらかじめ作成された講義の内容をまとめたファイルを、入力装置からの指示に従って、紙芝居的に切り替えながら出力装置１４（プロジェクタ）に表示させる。

入力制御部１３０には、例えば、キーボードやポインティング・デバイスなどの入力装置１３が接続される。入力制御部１３０は、入力装置１３から入力された種々の指示などを受け付けて制御部１１０に伝達する。

出力制御部１４０には、例えば、ディスプレイ装置（プロジェクタ等）やプリンタなどの出力装置１４が接続される。出力制御部１４０は、制御部１１０の処理結果などを必要に応じて出力装置１４に出力する。
ＶＲＡＭ１４１は、ディスプレイ装置に表示される画像データを格納する記憶装置であり、ＲＧＢ方式（赤、緑、青の３原色を元に画像を表示する方式）で画像データを格納する。
出力制御部１４０は、制御部１１０の制御に従って、表示対象画像の画像データを生成し、ＶＲＡＭ１４１に格納する。また、ＶＲＡＭ１４１に格納されている画像データを読み出して、ディスプレイ装置（出力装置）１４に出力する。

通信制御部１５０は、例えば、ＮＩＣ（Network Interface Card）やルータなどの通信装置から構成され、配信サーバ１００と通信ネットワークＣとを接続し、クライアント４０−１、４０−２、・・・との通信を行う。
通信制御装置１５１は、例えば、シリアルインターフェイスなどの通信装置から構成され、配信サーバ１００と、撮像装置３０とを接続し、撮像装置３０との通信を行う。

図１に戻って、撮像装置３０は、例えば、ビデオカメラであり、出力装置１４に出力された画像および授業している教授が写り込んでいる授業風景を撮像し、配信サーバ１００に送信する。

クライアント４０−１、４０−２、・・・は遠隔授業の受講者により利用される端末装置であり、通常のパーソナルコンピュータなどから構成される。クライアント４０−１、４０−２、・・・は、配信サーバ１００が配信する画像ストリーム（エレメンタリストリーム）およびカーソル情報を受信して、再生、出力する。代表してクライアント４０−１の構成を図４に示す。

図示するように、クライアント４０−１は、制御部４１０と、記憶部４２０と、入力部４３０と、出力部４４０と、通信制御部４５０とを備える。これらはバス４６０を介して接続されている。また、制御部４１０は、フレームバッファ４１１を含み、出力部４４０は、ＶＲＡＭ４４１を含む。

制御部４１０は、例えば、ＣＰＵや、ワークエリアとなる記憶装置（ＲＡＭ等）、などから構成される。制御部４１０は、記憶部４２０に格納されている所定の動作プログラムに基づいて、各部を制御しつつ後述する再生処理などを実行する。

記憶部４２０は、例えば、記憶装置（ＲＡＭ等）から構成される。記憶部４２０は、制御部４１０の動作プログラム（本発明特有のエレメンタリストリームやカーソルを再生する再生プログラムを含む）、および配信サーバ１００から配信されたエレメンタリストリーム、などを記憶している。
ここで、再生プログラムは、フレームバッファ４１１に記憶されたエレメンタリストリームを取り出して、デコード（再生）し、ＶＲＡＭ４４１に画像データを書き込み、また画像データにカーソル情報で特定される形状及び位置でカーソルを配置し、出力部４４０にＶＲＡＭ４４１に書き込まれた画像データを表示させるプログラムである。

入力部４３０は、例えば、キーボード、マウスなどから構成されており、受講者の指示を入力するために使用する。
出力部４４０は、例えば、液晶ディスプレイなどから構成されており、再生された画像データなどの表示を行う。
ＶＲＡＭ４４１は、出力部４４０により出力（表示）される画像データを格納する記憶装置であり、ＲＧＢ方式で画像データを格納する。

通信制御部４５０は、例えば、ネットワークカードを備え、配信サーバ１００からエレメンタリストリームやカーソル情報を受信する。

以下、図面を参照して本実施形態にかかる配信処理および再生処理を説明する。図５は、配信サーバ１００で実行される画像配信処理のフローチャートである。また、図６は、配信サーバ１００で実行されるカーソル配信処理のフローチャートである。また、図７は、クライアント４０−１、４０−２、・・・で実行される画像再生処理のフローチャートである。また、図８は、クライアント４０−１、４０−２、・・・で実行されるカーソル再生処理のフローチャートである。画像配信処理に先立って、制御部１１０は、既知の手法により、各エレメンタリストリームにエレメンタリストリームＩＤをそれぞれ割り当てる。

まず、配信処理を説明する。
教授は配信サーバ１００を操作して、任意の講義資料を出力装置１４に表示させ、資料を適宜切り換えながら、講義を進める。
制御部１１０は、ＶＲＡＭ１４１に格納されている表示用画像データ（資料の画像データ）を、一定の時間間隔でフレームバッファ１１１に複写する（ステップＳ１０１）。

ここで、複写を行う時間間隔は、配信側の画面表示が変化する間隔を考慮して適宜設定する。画像表示の変化する間隔が長い場合や、画面表示の変化の度合いが小さく、変化する間隔で画面表示を切り換えてもあまり意味がない場合には、複写を行う時間間隔を長くし、画面表示の変化する間隔が短い場合や、画面表示を早く切り換える場合には、複写を行う時間間隔を短くする。なお、画面表示の変化の度合いは、例えば次のステップＳ１０２の動き予測により得た差分値の総和に比例する。

また、画面表示の切り換え速度に対応する時間間隔よりも短い時間間隔で、複写してもよいが、その場合、クライアント４０−１などに配信される情報量が増大し、通信ネットワークＣにかかる負荷が増大する。

次に、制御部１１０の画像圧縮部１１８は、フレームバッファ１１１に格納された複数枚分の画像データ（フレーム）間の動きベクトル（方向性および差分値）を予測する動き予測を行う（ステップＳ１０２）。この動き予測では、各フレームに対し、予測無し、順方向予測（前のフレームから現フレームを予測）、逆方向予測（後のフレームから現フレームを予測）および双方向予測（前のフレームと後のフレームとから現フレームを予測）のいずれかが行われる。ここで、どの予測が行われるかは、フレームに割り当てられた種類（Ｉフレーム、Ｐフレーム、Ｂフレーム）によって異なる。Ｉフレームであれば、予測無し、Ｐフレームであれば、順方向予測、Ｂフレームであれば、順方向予測、逆方向予測、双方向予測のいずれかが行われる。なお、あるフレームに対し逆方向予測または双方向予測が行われる場合、そのフレームの予測に利用され、かつ予測無しまたは順方向予測される後のフレームが先に画像圧縮処理される。

次に、画像圧縮部１１８は、画像データを８ピクセル×８ピクセルの正方形のブロックに分割し、ブロック単位で離散コサイン変換（Discrete Cosine Transform、ＤＣＴ）を実行する（ステップＳ１０３）。この離散コサイン変換では、画像イメージを「空間的な周波数（精細な画像は周波数が高く、一様な画像は周波数が低い）」として捉えて、各画素をそれぞれの周波数に対応した値（画素値）に変換する。

さらに、画像圧縮部１１８は、ステップＳ１０３で各画素に付与した画素値を、周波数別の量子化幅で量子化（量子化幅で除算し、余りは切り捨てる近似処理）する（ステップＳ１０４）。

そして、画像圧縮部１１８は、各ブロック内で一番左上に位置する画素の画素値と、他の６３画素の画素値を個別に符号化する（ステップＳ１０５）。このステップＳ１０５では、出現頻度の大きな符号を占有幅の狭い符号（より短い符号長を持つ符号）に置き換える。ここで、一番左上に位置する画素については、各ブロック間の画素値の差分が符号化される（当然、先頭の画素値は差分を取ることなく符号化される）。また、他の６３画素については、そのブロックを走査（いわゆるジグザグスキャン）することにより列を並べ替えて符号化する。

最後に、制御部１１０は、フレームバッファ１１１に格納された画像データに対して画像圧縮処理（ステップＳ１０２〜Ｓ１０５）が施されたので、符号化された画像データをエレメンタリストリームとして、通信制御部１５０から通信ネットワークＣを介して、クライアント４０−１、４０−２、・・・、４０−ｎに配信し（ステップＳ１０６）、１画面分の画像配信処理を終了する。制御部１１０は、講義が終了するまで、画像配信処理の実行を繰り返す。

一方、撮像装置３０は、出力装置１４によって投影表示されている画像（出力装置１４の画面に表示されている画像でもよい）と講演・発表者である教授とが１画面に収まるように撮影して、その映像データ（撮像データ）を通信制御部１５１を介して制御部１１０に供給する。
制御部１１０は、撮像装置３０からの撮像データをフレームバッファ１１１に適宜格納する。この格納間隔は、ＶＲＡＭ１４１の画像データの複写間隔よりも短い。これは、教授の画像は動きを伴い、動きをスムーズに表示するためには、比較的短い格納間隔が必要だからである。

制御部１１０は、フレームバッファ１１１に格納された撮像データを、例えば、前述と同様の手法により、画像圧縮し、エレメンタリストリームとして、通信制御部１５０から通信ネットワークＣを介して、クライアント４０−１、４０−２、・・・、４０−ｎに配信する。

次に、図６を参照して、カーソル配信処理を説明する。
まず、制御部１１０のカーソル取得部１１９は、ある一定の時間間隔で出力制御部１４０から、上述したカーソル情報を取得する（ステップＳ１５１）。
ここで、カーソル取得部１１９がカーソル情報を取得する時間間隔は、クライアント側でカーソルが滑らかに表示されるように適宜設定される。ここで、クライアント側の出力部４４０における画面切り換え周期（リフレッシュレート）に対応する時間間隔かそれよりも短くするとよい。このように設定すると、出力部４４０において、滑らかに表示されるだけでなく、カーソル表示がちらつかなくなる。

最後にカーソル取得部１１９は、通信制御部１５０から通信ネットワークＣを介して、クライアント４０−１、４０−２、・・・、４０−ｎに配信し（ステップＳ１５２）、カーソル配信処理を終了する。制御部１１０のカーソル取得部１１９は、講義が終了するまで、カーソル配信処理の実行を繰り返す。

次に、図７を参照して、クライアント側の画像再生処理を説明する。画像再生処理では、どのクライアントでも同一の動作となるため、代表してクライアント４０−１で説明する。

クライアント４０−１の通信制御部４５０は、通信ネットワークＣを介して配信サーバ１００からエレメンタリストリームを受信すると、これを制御部４１０に転送する。
制御部４１０は、通信制御部４５０からの受信データをフレームバッファ４１１に格納し、以下の再生処理を開始する。

まず、制御部４１０は、所定の可変長符号復号の処理（ステップＳ１０５の逆変換）により、代替符号に置き換えられているコードを固定長符号に復号する（ステップＳ２０１）。次に、量子化されている固定長符号に、周波数別に量子化パラメータに応じた量子化幅を乗算して、逆量子化を行う（ステップＳ２０２）。

次に、制御部４１０は、ステップＳ２０２において、空間的な周波数成分に変換された画素値をＩＤＣＴ（逆離散コサイン変換）により画像データに変換する（ステップＳ２０３）。

次に、制御部４１０はステップＳ２０３で得た画像フレームの種類（Ｉフレーム、Ｐフレーム、Ｂフレームの別）に応じて、前後のフレームとの差分情報から現フレームを生成（復元）する（ステップＳ２０４）。

最後に、制御部４１０は、生成したフレームを時間軸通り（すなわちＶＲＡＭ１４１からの取得順序通り）に並べ替える。制御部４１０は、エレメンタリストリームのヘッダ情報、シーン記述情報等に基づいて、受信画像が資料の画像データ（ＶＲＡＭ１４１から複写した画像データ）であるか、撮像装置３０で取得した画像であるかを判別し、資料の画像データについては、出力部４４０内のＶＲＡＭ４４１の所定エリア（図９に示す資料表示エリア４４８）に、撮像装置３０で撮像データについては、ＶＲＡＭ４４１の所定エリア（図９に示す全体表示エリア４４９）に、区別して展開する（ステップＳ２０５）。ＶＲＡＭ４４１の展開画像は、一定のリフレッシュレートで更新されながら、出力部４４０の表示画面に表示される。

図８を参照してカーソル再生処理を説明する。カーソル再生処理では、どのクライアントでも同一の動作となるため、代表してクライアント４０−１で説明する。

クライアント４０−１の通信制御部４５０は、通信ネットワークＣを介して配信サーバ１００からカーソル情報を定期的に受信する（ステップＳ２５１）。すると、制御部４１０は、受信したカーソル情報に従って、ＶＲＡＭ４４１に指定された位置及び形状でカーソルを上書きして復元し（ステップＳ２５２）、カーソル再生処理を終了する。カーソル再生処理は、配信が終了されるまで繰り返し実行される。なお、ここで上書きとは、ステップＳ２０５において、ＶＲＡＭ４４１に画像データを書き込んだ所に、カーソル画像を上書きするように表示することを意味する。従って、画像データが更新されても、カーソル画像が画像データにより隠されることはない。

図９は、本遠隔授業システム１において、出力部４４０に表示される画面の例である。
符号４４８を付したエリアには、配信側と受信側との間の表示解像度の違い、および配信側での表示画面の更新間隔と取得間隔との違いを除けば、出力装置１４の表示画面に表示された画像とほぼ同一の画像が表示される。また、符号４４９を付したエリアには、撮像装置３０で授業の様子を撮像した画像が表示される。ここで、カーソル（マウスポインタ）４４７の更新間隔は、符号４４８を付したエリア全体の更新間隔よりも短い。
例えば、制御部２１０は、フレームバッファ４１１からＶＲＡＭ４４１へ画像情報を書き込む間隔（すなわち、符号４４８を付したエリア全体の更新間隔）が０．１秒で、カーソル４４７の更新間隔が０．０１４秒である。

従って、本発明の実施の形態にかかる遠隔授業システム１では、配信側の出力装置１４であるディスプレイ装置（プロジェクタ）に表示される画像を配信する間隔が長い場合（フレームレートが低い場合）でも、カーソルはその間隔よりも短い間隔で配信される。このため、カーソル画像を配信側の表示画像の配信間隔と同一の間隔で更新する場合と比較して、滑らかに表示される。

なお、本発明は上記実施形態に限定されず、種々の変形及び応用が可能である。

例えば、上記実施形態では、遠隔授業システムを例として説明したが、配信サーバ１００で動作可能なアプリケーションプログラム（例えば、テキスト編集ソフト、表計算ソフト）の操作方法の説明を行う場合に本発明の画像配信システムを適用できる。

また、クライアント側でカーソルを表示する場合、例えば、過去１０回分を表示させ、残像が残こるようにし、アンダーラインを引いたような、あるいは、丸で囲んだような効果を出すようにすることもできる。

複写部１１７は、入力装置１３から表示資料の切り換えが指示される度に（表示資料が更新される度に）、更新された資料の画像データ（ＶＲＡＭ１４１上のもの）をフレームバッファ１１１に複写するようにしてもよい。この場合、画像圧縮部１１８は、動き予測することなく（つまり、ストリーム内のすべてのピクチャがＩピクチャとなる）、動画圧縮された画像データのストリームを生成する。
これは、一般に、資料は静止画のことが多く、複写の頻度を高めてもあまり効果がないからである。

また、カーソル４４７が滑らかに表示される限りにおいて、カーソル４４７の更新間隔と、符号４４８を付したエリア全体の更新間隔との比率がどのようになっても構わない。

また、ライブ映像として配信するのではなく、予め収録した映像を配信するようにしても良い。この場合、収録した映像を表すデータは、例えば、配信サーバ１００の記憶部１２０に格納される。この場合、さらに、収録した映像を表すデータに対し上述した画像圧縮処理を施しておいてもよい。

また、コンテンツに施す圧縮方式にＭＰＥＧ−４フォーマットを用いた場合で説明したが、本発明に用いられる画像圧縮処理は、ＭＰＥＧ−４フォーマットの画像圧縮処理に限定されるものではない。つまり、配信サーバ１００の表示用メモリ（ＶＲＡＭ１４１）に格納されている画像情報を、クライアントの表示用メモリ（ＶＲＡＭ４４１）に連続的に転送することが可能な画像圧縮方式であればよい。例えば、モーションＪＰＥＧフォーマットでもよい。
逆に、配信サーバ１００は無圧縮で画像情報や撮像データのストリームを配信してもよい。

また、配信サーバ１００から配信する画像情報および撮像データを、クライアント４０−１、４０−２、・・・側で拡大、縮小して表示されるようにしてもよい。この場合、配信サーバ１００で画像圧縮処理前に、所定の手法により、画像情報および撮像データが拡大、縮小される。なお、拡大・縮小率は、画像ごとに異なっていてもよい。
また、カーソル形状も、拡大縮小して送信する。なお、上述したように、カーソル形状に割り当てられた識別子を送信する場合は、画像データの拡大・縮小率がクライアント側に送信され、クライアント４０−１、４０−２、・・・は送信されたカーソル形状の識別子と拡大・縮小率とに基づいて、カーソルを復元する。

また、配信サーバ１００は、カーソルの形状を示すデータをクライアント側に送信しなくてもよい。この場合、クライアント側では適当なカーソルを表示する。

なお、上記実施形態では、マウスカーソルを例に説明したが、画面上の位置を指し示すようなものであれば、マウスカーソルに限らない。

また、配信サーバ１００がフレームバッファ１１１に複写する画像データは、配信サーバ１００内のＶＲＡＭ１４１ではなく、配信サーバ１００に接続された情報処理装置内の表示用メモリから複写するように構成してもよい。さらに、カーソルの位置及び形状もこの情報処理装置から取得する。

例えば、配信サーバ１００に接続したパーソナルコンピュータ内で、表示用メモリに格納された画像データを所定の時間間隔で配信サーバ１００のフレームバッファ１１１に転送し、それよりは短い時間間隔でカーソルの位置及び形状を示すデータ送信するプログラムを動作させる。配信サーバ１００では、フレームバッファ１１１に格納されている画像データを取り出し、上述の画像圧縮処理を施して、クライアントへ配信する。また、カーソルの位置及び形状を示すデータをクライアントへ配信する。

また、クライアントの出力部４４０に表示される画面の構成は、図９に例示した画面構成に限らない。例えば、入力部４３０からの切り換えの指示に応答して、クライアント側の制御部４１０で、出力装置１４の表示画像と撮像装置３０が撮像した画像とを切り換えられるように構成してもよい。あるいは、図９の画面の資料の画像の表示エリア４４８のサイズと授業風景の画像の表示エリア４４９のサイズとを調整して表示するように構成してもよい。この場合、入力部４３０から指示に従って、制御部４１０は、フレームバッファ４１１に資料の画像と授業風景の画像４４９とを拡大縮小して展開する。
このような構成とすれば、受講者は、例えば、手元に資料を有しているような場合には、授業風景のみを視聴するというように状況に応じて画面を切り換えて視聴が可能となる。

また、上記実施形態では、画像のみを配信する場合に限って説明したが、教授の講義内容を音声ストリームとして同時に配信することができる。この場合、入力装置１３に教授の発話を取得するマイクが接続される。また、各クライアントには受信した音声ストリームを放音する放音部（例えば、スピーカー）が接続される。そして、制御部１１０は、マイクから入力された音声データに、ＡＡＣ（Advanced Audio Coding）などの所定の音声圧縮処理を施して、エレメンタリストリーム内の音声ストリームとしてクライアント４０−１などに配信する。クライアント側では、受信した音声ストリームを制御部４１０などで再生し、上述の放音部から放音させる。さらにこの場合、制御部１１０は、音声ストリームと、撮像装置３０で撮像した画像データから生成されたエレメンタリストリームとは、所定の方法（例えば、ストリームにタイムスタンプを付与する）により、同期を取ることが望ましい。

なお、上記各実施形態における遠隔授業システム１は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、上述の動作を実行するためのプログラムをコンピュータ読み取り可能な記録媒体（ＦＤ、ＣＤ−ＲＯＭ、ＤＶＤ等）に格納して配布し、該プログラムをコンピュータにインストールすることにより、上述の処理を実行する、配信サーバ１００やクライアント４０−１、４０−２、・・・などを構成してもよい。また、インターネット等のネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えばコンピュータにダウンロード等するようにしてもよい。

また、上述の機能を、ＯＳとアプリケーションとの分担、またはＯＳとアプリケーションとの協動により実現する場合などには、ＯＳ以外の部分のみを媒体に格納してもよい。

また、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワーク上の掲示板（ＢＢＳ、Bulletin Board System）に該プログラムを掲示し、ネットワークを介して該プログラムを配信してもよい。そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行できるように構成しても構わない。

本発明の実施形態にかかる遠隔授業システムのブロック図である。 図１に示す配信サーバのブロック図である。 図２に示す制御部の論理構成図である。 図１に示すクライアントのブロック図である。 本発明の実施形態にかかる画像配信処理を説明するためのフローチャートである。 本発明の実施形態にかかるカーソル配信処理を説明するためのフローチャートである。 本発明の実施形態にかかる画像再生処理を説明するためのフローチャートである。 本発明の実施形態にかかるカーソル再生処理を説明するためのフローチャートである。 本発明に実施形態にかかる遠隔授業システムにおいて、クライアントの出力部に表示される画面の例を示す図である。

符号の説明

１ 遠隔授業システム
１００ 配信サーバ
１１０、４１０ 制御部
１１１、４１１ フレームバッファ
１１７ 複写部
１１８ 画像圧縮部
１１９ カーソル取得部
１２０、４２０ 記憶部
１３０ 入力制御部
１３ 入力装置
１４０ 出力制御部
１４１、４４１ ＶＲＡＭ
１４ 出力装置
１５０、１５１、４５０ 通信制御部
１６０、４６０ バス
３０ 撮像装置
４０−１、４０−２、４０−ｎ クライアント
４３０ 入力部
４４０ 出力部
４４７ カーソル（マウスポインタ）

Claims (8)

1. 配信側で表示されている画像を、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する画像配信システムであって、
   配信側で表示している画像情報を格納する記憶手段と、
   前記記憶手段に格納されている画像情報を読み出す読出手段と、
   前記画像情報に重ねて表示されているカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得手段と、
   前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、前記通信ネットワークを介してクライアント装置に順次配信する配信手段と、
   を具備する配信サーバ装置と、
   前記配信手段により配信された画像情報とカーソル情報とを受信する受信手段と、
   前記受信手段で受信した前記画像情報の上に前記カーソル情報に示された位置にカーソルを合成して出力する出力手段と、
   を具備するクライアント装置と、
   を備えることを特徴とする画像配信システム。
2. 前記カーソル情報は前記カーソルの形状を示す情報を含むものであって、
   前記出力手段は、
   前記受信手段で受信した前記画像情報の上に、前記カーソル情報に示された位置に、前記カーソル情報で示された形状でカーソルを合成して出力する手段であること、
   を特徴とする請求項１に記載の画像配信システム。
3. 前記読出手段が画像情報を読み出す時間間隔は、前記所定の時間間隔よりも長い時間に設定されている、ことを特徴とする請求項１または２に記載の画像配信システム。
4. 前記読出手段が画像情報を読み出す時間間隔は、配信側における出力画面のリフレッシュレートの逆数よりも長いことを特徴とする請求項１、２または３に記載の画像配信システム。
5. 前記所定の時間間隔は、クライアント装置側における出力画面のリフレッシュレートの逆数であることを特徴とする請求項１、２、３または４に記載の画像配信システム。
6. 画像表示装置に表示する画像情報を格納する記憶手段と、
   前記記憶手段に格納されている画像情報を読み出す読出手段と、
   前記画像情報に重ねて表示されているカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得手段と、
   前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、通信ネットワークを介してクライアント装置に順次配信する配信手段と、
   を具備することを特徴とする画像配信装置。
7. 配信側で表示している画像を、通信ネットワークを介して配信サーバ装置からクライアント装置に配信する画像配信方法であって、
   配信サーバ装置が、
   配信側で表示される画像情報を格納するメモリから、該画像情報を読み出す読み出しステップと、
   前記画像情報に重ねて表示されるカーソルの位置を示すカーソル情報を所定の時間間隔で取得するカーソル取得ステップと、
   前記読み出しステップで読み出した画像情報と、前記カーソル取得ステップで取得したカーソル情報とを、通信ネットワークを介してクライアント装置に順次配信する配信ステップと、
   を備え、
   クライアント装置が、
   前記配信ステップにより配信された画像情報とカーソル情報とを受信する受信ステップと、
   前記受信ステップで受信した前記画像情報の上に前記カーソル情報に示された位置にカーソルを合成して出力する出力ステップと、
   を備えること、
   を特徴とする画像配信方法。
8. 画像表示装置が接続され、該画像表示装置に表示する画像情報を格納するメモリを有するコンピュータ装置を、
   前記メモリに格納されている画像情報を読み出す読出手段と、
   前記画像表示装置に表示されているカーソルの位置を示すカーソル情報を、クライアント装置側で所定の時間間隔で取得するカーソル取得手段と、
   前記読出手段で読み出した画像情報と、前記カーソル取得手段で取得したカーソル情報とを、前記通信ネットワークを介してクライアント装置に順次配信する配信手段と、
   を具備する画像配信装置として機能させることを特徴とするプログラム。
   
   

Images