JP2004274342A - Ｔｖ会議システム - Google Patents

Abstract

【課題】通信回路網の負荷を低減する。
【解決手段】ＴＶ会議システムサーバ２において、データ取得部２１は、通信回路網１を介してユーザ端末３１〜３６から画像フレームデータ及び音声データを取得し、画像データ圧縮合成部２２及び音声データ合成部２３に供給する。画像データ圧縮合成部２２は、ユーザ端末からの画像フレームデータを、圧縮しかつ同期をとりつつ整理調整することにより、１つの画像フレームを分割することによって得られる複数の区分に割り当てて、１つの画像フレームデータに合成する。合成部２２及び２３において合成された画像フレームデータ及び音声データは、データ送信部２４を介してユーザ端末にマルチキャストされる。サーバ側で１つの画像フレームに合成してマルチキャストするので、データ量を著しく低減することができる。
【選択図】図１

Description

【０００１】
【発明の技術分野】
本発明は、通信回路網を介して複数の利用者が同時に画像及び音声を双方向通信して会議等を行うための所謂ＴＶ会議システムに関し、特に、参加する利用者が増大しても回線負荷の増大を防止できるようにしたＴＶ会議システムに関する。
【０００２】
【従来の技術】
ブロードバンドインターネット環境において、遠隔地にいる複数の参加者が画像（参加者及び会議資料の動画を含む）及び音声を共有しながら会議を行うための双方向通信システム、すなわちＴＶ会議システムが既に利用されている。
図４は、従来例のＴＶ会議システムの概略構成を説明するためのブロック図である。図４において、１はインターネット等の通信回路網であり、該通信回路網には、ＴＶ会議システムサーバ（以下、単に「サーバ」と称する）２及びＴＶ会議用のユーザ端末３１、３２、３３、・・・、３ｎ（以下、代表して表す場合には「ユーザ端末３」で表す）が接続されている。各ユーザ端末３は、カメラ及びマイクロフォンを備えたパーソナルコンピュータ等で構成され、デジタル通信回路網１及びシステムサーバ２を介して、他のユーザ端末３との間で画像データ及び音声データを送受信し、これらデータを共有してＴＶ会議を行うことができる。
【０００３】
システムサーバ２は、ＴＶ会議に参加しているｎ個のユーザ端末３から送られてくるｎ個の画像フレームデータＦ１〜Ｆｎ及びそれに付随する音声を、ｎ個のユーザ端末３に返送する。各ユーザ端末３では、該端末にインストールされているプログラムに基づいて、返送されてきた画像フレームデータＦ１〜Ｆｎのデータを圧縮しかつ１つのフレームデータの画像に合成し、合成された画像を該ユーザ端末のモニタ画面に表示する。音声データについても同様である。
【０００４】
【発明が解決しようとする課題】
上記したように、従来例のテレビ会議システムにおいては、各ユーザ端末３において、自分及び他のユーザ端末３からサーバ２経由で配信されるｎ個のフレームの画像データを１画面上に表示するために合成しており、したがって、システムサーバ２は、ｎ個の画像フレームデータＦ１〜Ｆｎをｎ個の会議参加者に配信しなければならないため、システムサーバ２から各ユーザ端末３へ向かう通信経路上のトラフィックが極めて大きい状態となっている。このようなトラフィックの増大は、ＴＶ会議の参加者が多くなるほど増大し、回線負荷が増大する。そのため、１０人以上が同時に参加するＴＶ会議システムにおいては、非常に高価な専用線を用い、その帯域を確保しておかなければならず、結局、参加者の人数を制限せざるを得ない等の問題が生じている。
【０００５】
なお、回線負荷を低減するために、システムサーバ２がｎ個のフレームデータの画像データそれぞれを圧縮した後に各ユーザ端末３に配信することが考えられるが、その際には、画素数を減らしたり、画像動作のコマ又は使用する色の数を減らす等の処理をしなければならないため、画像が著しく劣化してしまう等の問題が生じる。このように画素数やコマ数、色数の制限を行った場合であっても、依然として１０〜１５人程度が同時参加すれば、回線容量の限界となるのが現状である。
【０００６】
本発明は、このような従来例の問題点に鑑みてなされたものであり、その目的は、デジタル通信回路網を介して複数の遠隔地の利用者が同時に画像を双方向通信するためのＴＶ会議システムにおいて、通信回路網の負荷増大を防止することである。
【０００７】
【課題を解決するための手段】
上記した目的を達成するために、本発明は、通信回路網に接続された複数のＴＶ会議用のユーザ端末と、通信回路網に接続されたＴＶ会議システムサーバとからなり、通信回路網を介して複数のユーザ間でＴＶ会議を行うためのＴＶ会議システムにおいて、ＴＶ会議システムサーバは、
複数のユーザ端末から、各ユーザ端末において圧縮された画像フレームデータ及び音声データを取得するデータ取得手段と、
複数のユーザ端末からの複数の画像フレームデータを、圧縮しかつ同期をとりつつ整理調整することにより、１つの画像フレームを分割することによって得られる複数の区分に割り当てて、１つの画像フレームデータに合成する画像データ圧縮合成手段と、
複数のユーザ端末からの複数の圧縮された音声データを合成する手段と、
合成された画像フレームデータ及び音声データを複数のユーザ端末にマルチキャストするデータ配信手段と
を備えていることを特徴とするＴＶ会議システムを提供する。
【０００８】
上記した本発明に係るＴＶ会議システムにおいて、少なくとも１つのユーザ端末がＴＶ会議用のカメラを備えていない場合に対応して、画像データ圧縮合成手段は、１つの画像フレーム中のカメラを具備していないユーザ端末に対応する区分に、記憶手段から静止画像を読み出して割り当てるよう構成されていることが好ましい。また、ＴＶ会議に参加するユーザ端末の数が１つの画像フレームの複数の区分の数に満たない場合に対応して、画像データ圧縮合成手段は、余剰の区分に、記憶部から静止画像を読み出して割り当てるよう構成されていることが好ましい。
【０００９】
さらに、上記した本発明に係るＴＶ会議システムにおいて、データ取得手段は、取得された音声データの内の最も音量が大きい音声データを検出する手段を備え、画像データ圧縮合成手段は、検出された音量が最も大きい音声データに対応するユーザ端末からの画像フレームデータを処理して、該データの画像が他のユーザ端末からの画像と対比して拡大して１つの区分に割り当てるよう構成されていることが好ましい。
このように構成する替わりに、データ取得手段は、ユーザ端末から発言者を表すキー操作信号を検出する手段を備え、画像データ圧縮合成手段は、検出された発言者を表すキー操作信号の送信元のユーザ端末からの画像フレームデータを処理して、該データの画像が他のユーザ端末からの画像と対比して拡大して１つの区分に割り当てるよう構成されていてもよい。
【００１０】
【発明の実施の態様】
図１は、本発明に係るＴＶ会議システムの概略構成を示すためのブロック図である。図１において、図４に示した従来例と同一又は類似の構成要素には、図４と同一の参照番号を付している。また、図１においては、ＴＶ会議の参加者すなわちユーザ端末の数がｎ＝６である例を示しているが、ユーザ端末数が６以外であっても良いことは言うまでもない。
【００１１】
図１に示すように、本発明のＴＶ会議システムに具備されるシステムサーバ（ＴＶ会議システムサーバ）２は、データ取得部２１、画像データ圧縮合成部２２、音声データ合成部２３、データ送信部２４、資料管理部２５、静止画像記憶部２６、及び資料記憶部２７を備えている。
【００１２】
一方、パーソナルコンピュータからなるユーザ端末３１〜３６には、画像データ及び音声データを圧縮するための適宜の圧縮ソフトを含んだＴＶ会議用プログラムが予めインストールされている。該プログラムを実行することにより、各ユーザ端末では、ＴＶ会議参加者の画像を表示する「ユーザ画像表示モード」、会議資料を作成編集するための「資料作成編集モード」、及び会議資料を表示するための「プレゼンテーションモード」を選択的に実行することが可能である。また、ユーザ端末は、データ取得部２１及びデータ送信部２４との間で適宜のプロトコルで通信を行うが、そのためのプログラムモジュールもＴＶ会議用プログラムに含まれている。なお、各ユーザ端末は、カメラ及びマイクロフォン、並びに、ビデオコーディック及び音声コーディックを備えているが、これらについては汎用のものであるので、図示及び説明を省略する。
以下に、ユーザ端末３１〜３６において実行される「ユーザ画像表示モード」、「資料作成編集モード」、及び「プレゼンテーションモード」での各動作について説明する。
【００１３】
ユーザ画像表示モード
各ユーザ端末においてユーザ画面モードが選択されると、データ取得部２１は、ＴＶ会議に参加するユーザ端末３１〜３６から、例えば端末３１〜３６の順番で圧縮された画像フレームデータＦ１〜Ｆ６を取り込む。すなわち、データ取得部２１は、まずユーザ端末３１に対して画像データ及びそれに付随する音声データを送信するよう指示するための送信要求Ｒ１を出力する。すると、それに応答して、ユーザ端末３１が、カメラで現在撮影されかつ圧縮された画像フレームデータＦ１及びマイクロフォンで収集しかつ圧縮された音声データＳ１をデータ取得部２１に返送する。同様にして、データ取得部２１がユーザ端末３２〜３６に対して送信要求Ｒ２〜Ｒ６を順次送信すると、ユーザ端末３２〜３６は現在の圧縮された画像フレームデータＦ２〜Ｆ６及び音声データＳ２〜Ｓ６を、データ取得部２１に返送する。データ取得部２１は、ＴＶ会議中、このような画像フレームデータ及び音声データの取得動作を反復実行する。
データ取得部２１により取得された画像フレームデータＦ１〜Ｆ６は、同期をとって画像データ圧縮合成部２２に供給され、また、データ取得部２１により取得された音声データは、同期をとって音声データ合成部２３に供給される。
【００１４】
画像データ圧縮合成部２２は、画像フレームデータＦ１〜Ｆ６が入力されると、該データをそれぞれ圧縮する。画像データの圧縮は、適宜の既知の圧縮方法を採用可能である。画像データ圧縮合成部２２には、圧縮された画像フレームデータＦ１〜Ｆ６をそれぞれサブフレームデータＦｓ１〜Ｆｓ６として、１つの画像フレームデータＦのどこに組み込むかが予め設定されている。サブフレームデータＦｓ１〜Ｆｓ６によるサブ画像Ｍ１〜Ｍ６が、例えば、図２に示すように１つの画面Ｍを６個に分割した区分にそれぞれ割り当てられるよう、データ列が組み替えられる。これにより、画像フレームデータＦ１〜Ｆ６が１つの画像フレームデータＦに合成される。合成された画像フレームデータＦは、データ送信部２４に供給される。
【００１５】
音声データ合成部２３は、ユーザ端末３１〜３６から画像フレームデータＦ１〜Ｆ６に付随して送られてくる音声データをデータ取得部２１から受け取り、これを合成して（必要に応じて圧縮して）データ送信部２４に供給する。
【００１６】
データ送信部２４は、画像フレームデータＦ及び音声データを画像データ圧縮合成部２２及び音声データ合成部２３から受け取ると、これらをＴＶ会議の参加者のユーザ端末３１〜３６すべてにマルチキャストする。これにより、ユーザ端末３１〜３６には、図２に示すように、１つの画面Ｍ上に、サブフレームデータＦｓ１〜Ｆｓ６に対応するサブ画像Ｍ１〜Ｍ６が表示される。
ユーザ端末３１〜３６にマルチキャストされる画像フレームデータＦは、サーバ側での整理・調整処理により、１枚の画像フレームデータとなっているので、各ユーザ端末に複数の画像フレームデータをマルチキャストする従来例のＴＶ会議システムに対比して、送信される画像データ量が大幅に低減される。また、参加端末がいくら増大しても、一定の画像データ量を超えることがない方式としているため、通信回路網の負荷が低減される上、全てのユーザ端末側のデータ量を合計した画像フレームデータ及び音声データの通信速度が、例えば３００ｋｂｐｓ以下となる方式にしている。この画像データ量の低減は、ユーザ端末の数が大きくなるほど、大きくなるといえる。したがって、何百人という規模の同時会議においても音声及び画像品質が安定したＴＶ会議システムを実現することができる。
【００１７】
上記においては、ＴＶ会議の参加者総てが、画像データ及び音声データをシステムサーバ２のデータ取得部２１に返送する例について説明したが、カメラを保有していないユーザであっても、音声のみでＴＶ会議に参加することが可能である。例えば、ユーザ端末３６にカメラが備えられていない場合、合成された画像フレームデータＦのサブフレームデータＦｓ６に対応する部分には、静止画像記憶部２６に予め記憶されている適宜の静止画像（例えば、ユーザ端末３６での会議参加者の静止画像等）がサブ画像Ｍ６として割り当てられる。カメラがないユーザ端末がＴＶ会議に参加する場合、画像データ圧縮合成部２２は、静止画像記憶部２６からの静止画像を最後尾の区分（図４のサブ画像Ｍ６の位置）に配置するよう自動的に割り当てる。
【００１８】
また、例えば最大６人がＴＶ会議に参加できるように、サブ画像を６個に設定していても、実際には参加者が例えば４人である場合がある。このような場合、画像データ圧縮合成部２２は、残りの２個のサブ画像Ｍ５及びＭ６に対応する区分位置に、静止画像記憶部２６からの適宜の静止画像（例えば、会議参加者不在であることを表す画像）を組み込む。このようにする代わりに、画像データ圧縮合成部２２を、参加者数に応じて、ユーザ端末に表示される１枚の画像中のサブ画像の数（すなわち区分数）及び圧縮率を変更可能に構成してもよい。
【００１９】
さらに、画像データ圧縮合成部２２において、ユーザ端末に表示される画像中に、発言者画像、及びテキストチャット画面を組み込むようにすることもできる。
発言者については、例えば、ユーザ端末上の特定のキーを操作した参加者のみが発言権を得るように構成することができ、この場合、データ取得部２１では、発言権を得るためのキー操作がされたユーザ端末を識別することにより、発言者を特定することができる。このようにする替わりに、データ取得部２１において、音声検出を行うことにより、どのユーザ端末の参加者が発言者であるかを判定することもできる。複数のユーザ端末から音声データが送信された場合には、音声が最も大きいものを発言者として識別する。
図３は、６個のサブ画像Ｍ１〜Ｍ６以外に、発言者画像Ｍ７及びテキストチャット画像Ｍ８を含んだ表示画面を示している。テキストチャット画像Ｍ８を表示する場合、システムサーバ２は、チャットサービスサーバとしての機能を備える必要がある。
【００２０】
資料作成編集モード
ユーザ端末において、このモードが選択されると、該端末に資料の作成編集画面が表示され、これにより資料の新規作成及び既存資料の改変が可能となる。この資料作成編集機能は、汎用の文書作成編集ソフトを用いることによって実現できる。作成された資料は、システムサーバ２内の資料記憶部２７に記憶され、会議参加者が共通にアクセス可能となる。
【００２１】
プレゼンテーションモード
ユーザ端末において、このモードが選択されると、資料記憶部２７に記憶されている資料にアクセスして該資料を表示可能となる。資料を用いてＴＶ会議でプレゼンテーションを行う場合、ＴＶ会議に参加しているすべてのユーザ端末３１〜３６に、システムサーバ２を介して該資料を提供し表示させる。
この場合、プレセンタであるユーザ端末から資料データをサーバに送信し、サーバは、該プレセンタからの指示に従い、全てのユーザ端末に対してプレゼンテーションがなされることを通知する。この通知は、各ユーザ端末のモニタ画面に表示され、該通知が表示された時点でプレゼンテーションモードに切り換え操作を行うことができる。。
なお、プレゼンテーション用の資料データとともに画像フレームデータＦ及び音声データＳも、データ送信部２４から全てのユーザ端末３１〜３６にマルチキャストされており、これにより、各参加者は、自分の端末をプレゼンテーションモードにするか又はユーザ画像表示モードにするかを、個別に選択することができる。
【００２２】
本発明は、以上のように構成され、ＴＶ会議システムのユーザ端末側のソフトで１次圧縮した画像データをシステムサーバで受信した後、該データを同期をとりつつ整理・調整する過程で２次圧縮をすることにより、複数の画像データを１つの画像に合成する方式を採用しているので、システムサーバから各ユーザ端末に向かうデータ量を低減することができる。よって、会議参加者が何百台と増加しても、データ量を比較的小さくかつ例えば３００ｋｂｐｓ以下の通信速度に安定化することができる。
したがって、本発明によれば、高品質の画像・音声・プレゼンテーションのデータを、回線負荷を大幅に低減させ、なおかつ一定負荷量に安定させて維持することができる画期的なＴＶ会議システムを実現することができる。
【図面の簡単な説明】
【図１】本発明に係るＴＶ会議システムの構成を説明するためのブロック図である。
【図２】図１に示した本発明に係るＴＶ会議システムにおいて、ユーザ端末に表示される画面の一例を示す模式図である。
【図３】図１に示した本発明に係るＴＶ会議システムにおいて、ユーザ端末に表示される画面の他の例を示す模式図である。
【図４】従来例のＴＶ会議システムの構成を説明するためのブロック図である。

Claims (5)

1. 通信回路網に接続された複数のＴＶ会議用のユーザ端末と、通信回路網に接続されたＴＶ会議システムサーバとからなり、通信回路網を介して複数のユーザ間でＴＶ会議を行うためのＴＶ会議システムにおいて、ＴＶ会議システムサーバは、
   複数のユーザ端末から、各ユーザ端末において圧縮された画像フレームデータ及び音声データを取得するデータ取得手段と、
   複数のユーザ端末からの複数の画像フレームデータを、圧縮しかつ同期をとりつつ整理調整することにより、１つの画像フレームを分割することによって得られる複数の区分に割り当てて、１つの画像フレームデータに合成する画像データ圧縮合成手段と、
   複数のユーザ端末からの複数の圧縮された音声データを合成する手段と、
   合成された画像フレームデータ及び音声データを複数のユーザ端末にマルチキャストするデータ配信手段と
   を備えていることを特徴とするＴＶ会議システム。
2. 請求項１記載のＴＶ会議システムにおいて、
   複数のユーザ端末の内の少なくとも１つのユーザ端末は、ＴＶ会議用のカメラを備えておらず、
   ＴＶ会議システムサーバはさらに、静止画像を記憶した記憶手段を備え、
   画像データ圧縮合成手段は、１つの画像フレーム中のカメラを具備していないユーザ端末に対応する区分に、記憶手段から静止画像を読み出して割り当てるよう構成されている
   ことを特徴とするＴＶ会議システム。
3. 請求項２記載のＴＶ会議システムにおいて、画像データ圧縮合成手段はさらに、ＴＶ会議に参加するユーザ端末の数が１つの画像フレームの複数の区分の数に満たない場合に、余剰の区分に、記憶部から静止画像を読み出して割り当てるよう構成されていることを特徴とするＴＶ会議システム。
4. 請求項１〜３いずれかに記載のＴＶ会議システムにおいて、
   データ取得手段は、取得された音声データの内の最も音量が大きい音声データを検出する手段を備え、
   画像データ圧縮合成手段は、検出された音量が最も大きい音声データに対応するユーザ端末からの画像フレームデータを処理して、該データの画像が他のユーザ端末からの画像と対比して拡大して１つの区分に割り当てるよう構成されている
   ことを特徴とするＴＶ会議システム。
5. 請求項１〜３いずれかに記載のＴＶ会議システムにおいて、
   データ取得手段は、ユーザ端末から発言者を表すキー操作信号を検出する手段を備え、
   画像データ圧縮合成手段は、検出された発言者を表すキー操作信号の送信元のユーザ端末からの画像フレームデータを処理して、該データの画像が他のユーザ端末からの画像と対比して拡大して１つの区分に割り当てるよう構成されていることを特徴とするＴＶ会議システム。

Images