JP2005318463A - データ伝送装置およびデータ伝送方法 - Google Patents

Abstract

【課題】移動端末のようなユーザ端末にも十分に視認性の高い会議用の画像を表示できるようにする。
【解決手段】多地点接続装置１１は、第１および第２の２種類の配信用ストリーミングデータを配信する。第１の配信用ストリーミングデータは、すべてのユーザ端末２１〜２５それぞれからの動画像から構成されている。第２の配信用ストリーミングデータは、ユーザ端末２１〜２５の中で現在の発言者に対応するユーザ端末からの動画像のみを含む。第１の配信用ストリーミングデータは、パーソナルコンピュータまたは専用のビデオ会議端末から構成されるユーザ端末向けの配信用情報として使用され、第２の配信用ストリーミングデータは、携帯電話、ＰＤＡのような移動端末から構成されるユーザ端末向けの配信用情報として使用される。
【選択図】 図１

Description

本発明は、ビデオ会議を実現するために複数のユーザ端末の各々とのデータ伝送を実行するデータ伝送装置およびデータ伝送方法に関する。

近年、ネットワーク技術および情報処理技術の進展により、ビデオ会議システム（ＴＶ会議システムとも云う）が利用され始めている。ビデオ会議システムは、複数のユーザ端末同士を接続し、それらユーザ端末間で画像情報および音声情報を送受信するためのシステムである。

このようなビデオ会議システムとしては、全ての会議参加者それぞれから受信した画像を、各参加者に再配信するシステムが知られている（例えば、特許文献１参照。）。

上記特許文献１のシステムでは、各端末のディスプレイには、Ｎ人の会議参加者それぞれの画像（動画または静止画）を含む画面が表示される。また転送データ量を下げるために、発言者のみが動画像によって表示され、他の各会議参加者は静止画によって表示される。
特開平１０−１２６７５７号公報

ところで、最近では、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）のような移動端末の普及により、外出先からもビデオ会議に参加することが可能なシステムの実現が望まれている。

しかし、一般に、携帯電話、ＰＤＡのような移動端末の表示画面サイズ（表示解像度）は、パーソナルコンピュータや専用のビデオ会議端末に比べ、非常に小さい。このため、もし会議参加者全員の画像を移動端末の表示画面上に表示すると、どの会議参加者の画像についてもその視認性が著しく低下されてしまうことになる。

本発明は上記事情を考慮してなされたものであり、移動端末のようなユーザ端末にも十分に視認性の高い会議用の画像を表示することが可能なデータ伝送装置およびデータ伝送方法を提供することを目的とする。

上述の課題を解決するため、本発明は、第１のユーザ端末、第２のユーザ端末、および第３のユーザ端末の各々とのデータ伝送を実行するデータ伝送装置において、前記第１のユーザ端末および前記第２のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信手段と、前記受信手段によって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの音声データに基づいて、前記第１のユーザ端末および前記第２のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定手段と、前記受信手段によって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定手段によって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択手段と、前記動画像データ選択手段によって選択された動画像データから構成される画像情報を前記第３のユーザ端末に送信する送信手段とを具備することを特徴とする。

また、本発明は、移動端末を含む複数のユーザ端末の各々とのデータ伝送を実行するデータ伝送装置において、前記複数のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信手段と、前記受信手段によって受信された前記複数のユーザ端末それぞれからの音声データに基づいて、前記複数のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定手段と、前記受信手段によって受信された前記複数のユーザ端末それぞれからの音声データを多重化する音声多重化手段と、前記受信手段によって受信された前記複数のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定手段によって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択手段と、前記動画像データ選択手段によって選択された動画像データと前記音声多重化手段によって多重化された音声データとから構成される第１の配信用情報を生成する第１の配信用情報生成手段と、前記受信手段によって受信された前記複数のユーザ端末それぞれからの動画像データと前記音声多重化手段によって多重化された音声データとから構成される第２の配信用情報を生成する第２の配信用情報生成手段と、前記第１の配信用情報生成手段によって生成された前記第１の配信用情報を前記移動端末に送信する手段と、前記第２の配信用情報生成手段によって生成された前記第２の配信用情報を、前記複数のユーザ端末の中の前記移動端末以外の他の各ユーザ端末に送信する手段とを具備することを特徴とする。

本発明によれば、移動端末のようなユーザ端末にも十分に視認性の高い会議用の画像を表示することが可能となる。

以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係るビデオ会議システムの構成例が示されている。このビデオ会議システムは、多地点接続装置（MCU:Multipoint Control Unit）１１を用いることによって、複数のユーザ端末間でビデオ会議を行うためのシステムである。多地点接続装置１１は、ネットワークを介して複数のユーザ端末それぞれと接続されている。図１においては、ユーザ端末（Ａ）２１はＬＡＮを介して多地点接続装置１１に接続されており、ユーザ端末（Ｂ）２２およびユーザ端末（Ｃ）２３はインターネット１を介して多地点接続装置１１に接続されている。また、ユーザ端末（Ｄ）２４は公衆回線網２およびインターネット１を経由して多地点接続装置１１に接続され、ユーザ端末（Ｅ）２５は公衆回線網３を介して多地点接続装置１１に接続されている。ユーザ端末（Ａ）２１、ユーザ端末（Ｂ）２２、およびユーザ端末（Ｃ）２３は、それぞれパーソナルコンピュータまたは専用のビデオ会議端末によって実現されている。またユーザ端末（Ｄ）２４は例えばＰＤＡのような移動端末によって実現され、ユーザ端末（Ｅ）２５は例えば携帯電話のような移動端末によって実現されている。

ユーザ端末２１〜２５の各々は、ユーザを撮影するためのカメラとユーザの音声を入力するためのマイクロフォンとを有している。ユーザ端末２１〜２５の各々は、カメラから入力される動画像データおよびマイクロフォンから入力される音声データをそれぞれ圧縮符号化して動画像データ（ビデオデータ）および音声データ（オーディオデータ）を生成する。そして、ユーザ端末２１〜２５の各々は、動画像データと音声データとが多重化されたストリーミングデータを、多地点接続装置１１に送信する。

いま、ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤ、ユーザＥが、ユーザ端末（Ａ）２１、ユーザ端末（Ｂ）２２、ユーザ端末（Ｃ）２３、ユーザ端末（Ｄ）２４、ユーザ端末（Ｅ）２５を使用していると想定する。この場合、ユーザＡ〜Ｅの各々の動画像および音声を含むストリーミングデータが、ユーザ端末２１〜２５の各々から多地点接続装置１１に送信される。

多地点接続装置１１は、ユーザ端末２１〜２５それぞれとの間で、ビデオ会議のための画像情報および音声情報を送受信するデータ伝送装置である。この多地点接続装置１１は、ユーザ端末２１〜２５それぞれから受信した動画像および音声を用いて、ビデオ会議用の画像情報および音声情報を生成する。そして、多地点接続装置１１は、生成したビデオ会議用の画像情報および音声情報を、ユーザ端末２１〜２５の各々に配信する。

本実施形態においては、ユーザ端末２１〜２５に配信されるべき配信用情報として、第１および第２の２種類の配信用ストリーミングデータが用いられる。第１の配信用ストリーミングデータは、すべての会議参加者（ユーザＡ−Ｅ）それぞれの動画像とすべての会議参加者（ユーザＡ−Ｅ）それぞれの音声とから構成されている。第２の配信用ストリーミングデータは、ユーザＡ−Ｅそれぞれの動画像の中で現在の発言者のみに対応する動画像と、ユーザＡ−Ｅそれぞれの音声とから構成されている。第１の配信用ストリーミングデータは、パーソナルコンピュータまたは専用のビデオ会議端末から構成されるユーザ端末向けの配信用情報として使用され、第２の配信用ストリーミングデータは、移動端末から構成されるユーザ端末向けの配信用情報として使用される。このため、ユーザ端末２４，２５には、現在の発言者の動画像のみがビデオ会議用の画像情報として配信されることになる。ユーザ端末２４，２５の各々の表示画面には、すべての会議参加者の画像ではなく、現在の発言者の動画像のみが表示される。

多地点接続装置１１は、図示のように、ＣＰＵ３１、ＩＰ（Internet Protocol）接続部３２、モデム３３、ストレージデバイス３４、デマルチプレクサ（Ｄｅｍｕｘ）部３５、動画デコード部３６、動画エンコード部３７、音声デコード部３８、音声多重化部３９、音声エンコード部４０、マルチプレクサ部（Ｍｕｘ）４１、およびメモリ４２を含む。これらコンポーネントは、バス３０を介して相互接続されている。

ＣＰＵ３１は多地点接続装置１１の動作を制御するプロセッサであり、メモリ４２に格納されたプログラムを実行する。ＣＰＵ３１は、ユーザ端末２１〜２５それぞれから受信した音声データに基づいて、ユーザ端末２１〜２５の中から現在の発言者に対応するユーザ端末を特定する機能を実行する。この場合、ＣＰＵ３１は、ユーザ端末２１〜２５それぞれからの音声データのゲインを測定し、その測定結果に基づいて、現在の主要な発言者を１名特定する。

ＩＰ接続部３２は、ＩＰを用いて通信を実行する通信デバイスであり、ＬＡＮを介してインターネット１に接続されている。モデム３３は公衆回線網３に接続されている。ユーザ端末２１〜２４の各々から送信されるストリーミングデータはＩＰ接続部３２によって受信され、またユーザ端末２５から送信されるストリーミングデータはモデム３３によって受信される。

ストレージデバイス３４は、例えばハードディスクドライブから構成されており、ここには会議参加者それぞれに関する情報がユーザ情報データベースとして予め保存されている。このユーザ情報データベースにおいては、図２に示すように、各ユーザ毎に、［ユーザ名］フィールド、［パスワード］フィールド、［発言者フラグ］フィールド、［ＩＰアドレス］フィールド、および［端末タイプ］フィールド、等の情報が管理されている。［端末タイプ］がパーソナルコンピュータ（ＰＣ）である各ユーザに対しては上述の第１の配信用ストリーミングデータが配信される。一方、［端末タイプ］がＰＤＡまたは携帯電話の各ユーザに対しては、上述の第２の配信用ストリーミングデータが配信される。

［発言者フラグ］フィールドにセットされる発言者フラグは現在の発言者を識別するためのフラグである。発言者フラグは、現在の発言者のユーザ端末に対応する［発言者フラグ］フィールドにセットされる。

デマルチプレクサ（Ｄｅｍｕｘ）部３５は、ユーザ端末２１〜２５の各々から受信したストリーミングデータを動画像データストリームと音声データストリームに分離する。動画デコード部３６は、動画像データストリームをデコードする。動画エンコード部３７は、配信用の所定のビットレートを有する動画像データストリームを生成するために、動画デコード部３６によってデコードされた動画像データを再び圧縮符号化する。音声デコード部３８は、音声データストリームをデコードする。ＣＰＵ３１は、音声デコード部３８によってデコードされたユーザ端末２１〜２５それぞれからの音声データを解析することにより、現在の発言者を特定する。音声多重化部３９は、音声デコード部３８によってデコードされたユーザ端末２１〜２５それぞれからの音声データを多重化する。音声エンコード部４０は、配信用の所定のビットレートを有する音声データを生成するために、音声多重化部３９によって多重化されたユーザ端末２１〜２５それぞれからの音声データを圧縮符号化する。マルチプレクサ部４１は、音声エンコード部４０によって生成された音声データに、動画像データを多重化することによって、配信用ストリーミングデータを生成する。

なお、動画デコード部３６、動画エンコード部３７、音声デコード部３８、音声多重化部３９、音声エンコード部４０、およびマルチプレクサ部（Ｍｕｘ）４１は、それぞれソフトウェアによって実現することもできる。

次に、図３を参照して、多地点接続装置１１の論理的な機能構成について説明する。

多地点接続装置１１は、その機能モジュールとして、ストリーム受信部１０１、発言者検出部１０２、第１の配信用ストリーム生成部１０３、第２の配信用ストリーム生成部１０４、および配信用ストリーム送信部１０５を備えている。

ストリーム受信部１０１は、ユーザ端末２１〜２５の各々からの動画データストリームおよび音声データストリームを受信する。発言者検出部１０２は、ユーザ端末２１〜２５それぞれからの音声データのゲイン（音声レベル）を比較することにより、ユーザ端末２１〜２５のユーザＡ〜Ｅの中から、現在の発言者を特定する。最も音声レベルの大きい音声データに対応するユーザが現在の発言者として特定される。

第１の配信用ストリーム生成部１０３は、第１の配信用ストリーリングデータを生成する。第１の配信用ストリーリングデータは、上述したように、会議参加者全員の音声を多重化したデータ(音声多重化データ)と、会議参加者全員の動画データとから構成される。第２の配信用ストリーム生成部１０４は、ユーザ端末２１〜２５それぞれからの動画データストリームの中から、発言者検出部１０２によって検出された現在の発言者に対応するユーザ端末からの動画像データストリームを選択して、第２の配信用ストリーリングデータを生成する。この第２の配信用ストリーリングデータは、上述したように、会議参加者全員の音声を多重化したデータ(音声多重化データ)と、現在の発言者の動画データとから構成される。

配信用ストリーム送信部１０５は、第１の配信用ストリーリングデータをユーザ端末２１〜２３の各々に配信するとともに、第２の配信用ストリーリングデータをユーザ端末２４，２５の各々に配信する。

図４には、ユーザ端末２１〜２５間でビデオ会議が実行されている様子が示されている。ユーザＡ，Ｂ，Ｃはパーソナルコンピュータから構成されるユーザ端末２１，２２，２３をそれぞれ用いてビデオ会議に参加している。ユーザＤはＰＤＡから構成されたユーザ端末２４を用いてビデオ会議に参加し、またユーザＥは携帯電話から構成されたユーザ端末２５を用いてビデオ会議に参加している。ユーザＡ，Ｂ，Ｃそれぞれに対応するユーザ端末２１，２２，２３の各々には、すべての会議参加者（ユーザＡ，Ｂ，Ｃ，Ｄ，Ｅ）それぞれの動画が表示される。一方、ユーザＤ，Ｅそれぞれに対応するユーザ端末２４，２５の各々には、現在の発言者の動画データのみが表示される。いま、ユーザＢが現在の発言者である場合、ユーザ端末２４，２５の各々には、ユーザＢの動画データのみが表示される。

次に、各ユーザ端末の表示画面の例を説明する。

図５は、ユーザ端末２１，２２，２３の各々に表示される会議画面の例を示している。会議画面２０１には、すべての会議参加者（ユーザＡ，Ｂ，Ｃ，Ｄ，Ｅ）それぞれに対応する動画像表示エリア２０２，２０３，２０４，２０５，２０６が配置されている。これら動画像表示エリア２０２，２０３，２０４，２０５，２０６には、それぞれユーザＡ，Ｂ，Ｃ，Ｄ，Ｅの動画像が表示される。また、動画像表示エリア２０２，２０３，２０４，２０５，２０６の下部には、ユーザＡ，Ｂ，Ｃ，Ｄ，Ｅのユーザ名が表示される。さらに、現在の発言者を識別するための情報も表示される。例えば、現在の発言者がユーザＣである場合、ユーザＣに対応する動画像表示エリア２０４の周りに、図示のような太線の枠２０７が発言者識別マークとして表示される。

ユーザＡ，Ｂ，Ｃ，Ｄ，Ｅそれぞれの動画像は、多地点接続装置１１からユーザ端末２１，２２，２３の各々に配信される第１の配信用ストリーミングデータに含まれている。第１の配信用ストリーミングデータには、さらに、ユーザＡ，Ｂ，Ｃ，Ｄ，Ｅそれぞれのユーザ名と、現在の発言者を識別するための情報も含まれている。

なお、ユーザ端末２１，２２，２３の各々は、当該ユーザ端末のユーザの動画像についてはその端末に設けられたカメラによって撮影された動画像を表示するようにしてもよい。この場合、例えばユーザＡに配信すべき第１の配信用ストリーミングデータは、必ずしもユーザＡの動画像を含む必要はない。同様に、ユーザＢに配信すべき第１の配信用ストリーミングデータは、必ずしもユーザＢの動画像を含む必要はない。

図６は、ユーザ端末２４，２５の各々に表示される会議画面の例を示している。ユーザ端末２４，２５の各々に表示される会議画面３０１は、現在の発言者に対応する１つの動画像表示エリア３０２のみから構成される。例えば、現在の発言者がユーザＣである場合、ユーザＣの動画像が動画像表示エリア３０２にフルスクリーン表示される。また、動画像表示エリア３０２の下部には、現在の発言者のユーザ名が表示される。

このように、表示画面サイズが小さいユーザ端末２４，２５には、現在の発言者の動画像のみが会議画面上に表示されるので、会議参加者全員の画像を表示する場合に比べ、その視認性を十分に高めることができる。よって、口元の動きなどの発言者の顔の表情を確認することが可能となる。

次に、図７のフローチャートを参照して、多地点接続装置１１によって実行される配信処理の手順について説明する。

多地点接続装置１１は、各ユーザ端末から送信される、音声と動画とを含むストリーミングデータの受信を開始する（ステップＳ１０１）。多地点接続装置１１は、多地点接続装置１１に設けられた発言者確認用タイマーの値をリードして（ステップＳ１０２）、発言者を確認すべき時間であるかどうかを判別する（ステップＳ１０３）。

発言者を確認すべき時間が到来したならば（ステップＳ１０３のＹＥＳ）、多地点接続装置１１は、各ユーザ端末から受信した音声データのゲインを測定し（ステップＳ１０４）、その測定結果に基づいて現在の発言者を１名特定する（ステップＳ１０５）。多地点接続装置１１は、ステップＳ１０５で特定された現在の発言者が、これまでの発言者と異なるかどうかを判別する（ステップＳ１０６）。現在の発言者がこれまでの発言者と異なるならば（ステップＳ１０６のＹＥＳ）、多地点接続装置１１は、ユーザ情報データベース内の現在の発言者のユーザ端末に対応する［発言者フラグ］フィールドに対して発言者フラグをセットするとともに、ユーザ情報データベース内の以前の発言者のユーザ端末に対応する［発言者フラグ］フィールドに対してセットされていた発言者フラグをリセットする（ステップＳ１０７）。

次に、多地点接続装置１１は、ユーザ情報データベースの［端末タイプ］フィールドを参照して、会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザが含まれているかどうかを判別する（ステップＳ１０８）。会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザがいない場合、つまり会議参加者全員が表示画面サイズの大きいユーザ端末（パーソナルコンピュータ、ビデオ会議専用端末）を使用しているならば（ステップＳ１０８のＮＯ）、多地点接続装置１１は、第１の配信用ストリーミングデータを生成し（ステップＳ１０９）、その第１の配信用ストリーミングデータを会議参加者全員に配信する（ステップＳ１１０）。

会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザがいるならば（ステップＳ１０８のＹＥＳ）、多地点接続装置１１は、まず、第１の配信用ストリーミングデータを生成し（ステップＳ１１１）、その第１の配信用ストリーミングデータを、表示画面サイズの大きいユーザ端末（パーソナルコンピュータ、ビデオ会議専用端末）を使用している各ユーザに配信する（ステップＳ１１２）。次いで、多地点接続装置１１は、すべてのユーザ端末それぞれから受信した動画像データストリームの中から、発言者フラグがセットされている動画像データストリームを選択することにより、第２の配信用ストリーミングデータを生成し（ステップＳ１１３）、その第２の配信用ストリーミングデータを、表示画面サイズの小さい移動端末を使用している各ユーザに配信する（ステップＳ１１４）。なお、ステップＳ１１３では、ストリーミングデータのビットレートを下げる処理も必要に応じて実行される。

以上のように、本実施形態においては、発言中のユーザにフォーカスした表示が可能となり、携帯電話、ＰＤＡのような移動端末からでも、ビデオ会議の画像情報を有効に利用することができる。

特に、ユーザ端末の種類に応じて、会議参加者全員の動画像を含む第１の配信用ストリーミングデータと、発言者の動画像のみを含む第２の配信用ストリーミングデータの一方を選択的に送信することにより、各ユーザ端末の種類に適したビデオ会議用画像情報を各ユーザ端末に提供することが可能となる。

なお、表示画面サイズの大きいユーザ端末（パーソナルコンピュータ、ビデオ会議専用端末）に対しても、第２の配信用ストリーミングデータを配信してもよい。

図８には、多地点接続装置１１によって管理されるユーザ情報データベースの他の例が示されている。このユーザ情報データベースにおいては、図２のユーザ情報データベースに比し、［表示モード］フィールドが追加されている。［表示モード］フィールドは、配信されるべきストリーミングデータの種類を指定する表示モード情報を保存するフィールドである。モード１は、第１の配信用ストリーミングデータの配信を指定する。モード２は、第２の配信用ストリーミングデータの配信を指定する。表示画面サイズの大きいユーザ端末（パーソナルコンピュータ、ビデオ会議専用端末）のユーザは、モード１およびモード２のどちらでも選択することができる。

図９には、表示画面サイズの大きいユーザ端末の構成例が示されている。このユーザ端末は、図示のように、マイクロフォン４０１、カメラ４０２、オーディオ入力部４０３、ビデオ入力部４０４、ストリーミングデータ送信部４０５、ストリーミングデータ受信部４０６、ビデオ出力部４０７、オーディオ出力部４０８、ディスプレイ４０９、スピーカ４１０、ユーザ情報送信部４１１、およびモード入力部４１２を備えている。

ユーザの音声はマイクロフォン４０１およびオーディオ入力部４０３を介してストリーミングデータ送信部４０５に送られる。カメラ４０２によって撮影されたユーザの動画像はビデオ入力部４０４を介してストリーミングデータ送信部４０５に送られる。ストリーミングデータ送信部４０５は、ユーザの音声データおよび動画像データをそれぞれ圧縮符号化し、圧縮符号化された音声データと圧縮符号化された動画像データとを含むストリーミングデータを多地点接続装置１１に送信する。多地点接続装置１１から送信される配信用ストリーミングデータはストリーミングデータ受信部４０６によって受信される。ストリーミングデータ受信部４０６では、配信用ストリーミングデータから動画像データストリームと音声データストリームが分離され、そして動画像データストリームおよび音声データストリームがそれぞれデコードされる。デコードされた動画像データはビデオ出力部４０７に送られ、またデコードされた音声データはオーディオ出力部４０８に送られる。ビデオ出力部４０７は、ストリーミングデータ受信部４０６からの動画像データとビデオ入力部４０４からの動画像データとを合成して、ディスプレイ４０９に表示する。オーディオ出力部４０８は、ストリーミングデータ受信部４０６からの音声データを再生するために、その音声データをスピーカ１０に送信する。

モード入力部４１２は、モード１およびモード２の一方を指示する表示モード指定情報を入力するための入力装置である。モード入力部４１２によって入力された表示モード指定情報は、ユーザ情報送信部４１１によって、多地点接続装置１１に送信される。ユーザ端末から送信される表示モード指定情報は、多地点接続装置１１のユーザ情報データベースに登録される。

次に、図１０のフローチャートを参照して、多地点接続装置１１によって実行される配信処理の第２の手順について説明する。この手順においては、図７のステップＳ１０８〜Ｓ１１４の代わりに、図１０のステップＳ２０１〜Ｓ２０７が実行される。図７のステップＳ１０１〜Ｓ１０７の処理が実行された後、図１０のステップＳ２０１が実行される。

ステップＳ２０１において、多地点接続装置１１は、ユーザ情報データベースの［端末タイプ］フィールドおよび［表示モード］フィールドを参照して、会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザ、またはモード２を指定しているユーザが含まれているかどうかを判別する。

会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザおよびモード２を指定しているユーザのどちらも存在しないならば（ステップＳ２０１のＮＯ）、多地点接続装置１１は、第１の配信用ストリーミングデータを生成し（ステップＳ２０２）、その第１の配信用ストリーミングデータを会議参加者全員に配信する（ステップＳ２０３）。

会議参加者の中に移動端末（携帯電話、ＰＤＡ）を使用しているユーザ、またはモード２を指定しているユーザが存在するならば（ステップＳ２０１のＹＥＳ）、多地点接続装置１１は、第１の配信用ストリーミングデータを生成し（ステップＳ２０４）、その第１の配信用ストリーミングデータを、モード１を指定している各ユーザに配信する（ステップＳ２０５）。次いで、多地点接続装置１１は、第２の配信用ストリーミングデータを生成し（ステップＳ２０６）、その第２の配信用ストリーミングデータを、移動端末を使用している各ユーザ、およびモード２を指定している各ユーザに配信する（ステップＳ２０７）。

以上の処理によれば、パーソナルコンピュータ、ビデオ会議専用端末のようなユーザ端末を使用しているユーザに対しても、必要に応じて発言者のみの動画像データを配信する事が出来る。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係るデータ伝送装置を含むビデオ会議システムの構成を示すブロック図。 同実施形態のデータ伝送装置によって管理されるユーザ情報データベースの例を示す図。 同実施形態のデータ伝送装置の機能構成を示すブロック図。 同実施形態のデータ伝送装置を用いて複数のユーザ端末間で実行されるビデオ会議の様子を示す図。 同実施形態のデータ伝送装置によってユーザ端末に提供される第１の会議画面の例を示す図。 同実施形態のデータ伝送装置によってユーザ端末に提供される第２の会議画面の例を示す図。 同実施形態のデータ伝送装置によって実行されるデータ配信処理の手順を示すフローチャート。 同実施形態のデータ伝送装置によって管理されるユーザ情報データベースの他の例を示す図。 図１のビデオ会議システムで用いられるユーザ端末の構成例を示すブロック図。 同実施形態のデータ伝送装置によって実行されるデータ配信処理の他の手順を示すフローチャート。

符号の説明

１１…多地点接続装置、２１〜２５…ユーザ端末、３１…ＣＰＵ、３２…ＩＰ接続部、３３…モデム、３４…ストレージデバイス、３５…デマルチプレクサ部、３６…動画デコード部、３７…動画エンコード部、３８…音声デコード部、３９…音声多重化部、４０…音声エンコード部、４１…マルチプレクサ部。

Claims (10)

1. 第１のユーザ端末、第２のユーザ端末、および第３のユーザ端末の各々とのデータ伝送を実行するデータ伝送装置において、
   前記第１のユーザ端末および前記第２のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信手段と、
   前記受信手段によって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの音声データに基づいて、前記第１のユーザ端末および前記第２のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定手段と、
   前記受信手段によって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定手段によって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択手段と、
   前記動画像データ選択手段によって選択された動画像データから構成される画像情報を前記第３のユーザ端末に送信する送信手段とを具備することを特徴とするデータ伝送装置。
2. 前記受信手段によって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの音声データを多重化する音声多重化手段をさらに具備し、
   前記送信手段は、前記画像情報および前記音声多重化手段によって多重化された音声データを前記第３のユーザ端末に送信する手段を含むことを特徴とする請求項１記載のデータ伝送装置。
3. 前記第３のユーザ端末は移動端末を含むことを特徴とする請求項１記載のデータ伝送装置。
4. 移動端末を含む複数のユーザ端末の各々とのデータ伝送を実行するデータ伝送装置において、
   前記複数のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信手段と、
   前記受信手段によって受信された前記複数のユーザ端末それぞれからの音声データに基づいて、前記複数のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定手段と、
   前記受信手段によって受信された前記複数のユーザ端末それぞれからの音声データを多重化する音声多重化手段と、
   前記受信手段によって受信された前記複数のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定手段によって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択手段と、
   前記動画像データ選択手段によって選択された動画像データと前記音声多重化手段によって多重化された音声データとから構成される第１の配信用情報を生成する第１の配信用情報生成手段と、
   前記受信手段によって受信された前記複数のユーザ端末それぞれからの動画像データと前記音声多重化手段によって多重化された音声データとから構成される第２の配信用情報を生成する第２の配信用情報生成手段と、
   前記第１の配信用情報生成手段によって生成された前記第１の配信用情報を前記移動端末に送信する手段と、
   前記第２の配信用情報生成手段によって生成された前記第２の配信用情報を、前記複数のユーザ端末の中の前記移動端末以外の他の各ユーザ端末に送信する手段とを具備することを特徴とするデータ伝送装置。
5. 前記第１の配信用情報を要求するモード指定情報を前記移動端末以外の他のユーザ端末から受信した場合、前記第２の配信用情報の代わりに前記第１の配信用情報を、前記モード指定情報を送信した端末に送信する手段をさらに具備することを特徴とする請求項４記載のデータ伝送装置。
6. 第１のユーザ端末、第２のユーザ端末、および第３のユーザ端末の各々とのデータ伝送を実行するデータ伝送方法において、
   前記第１のユーザ端末および前記第２のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信ステップと、
   前記受信ステップによって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの音声データに基づいて、前記第１のユーザ端末および前記第２のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定ステップと、
   前記受信ステップによって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定ステップによって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択ステップと、
   前記動画像データ選択ステップによって選択された動画像データから構成される画像情報を前記第３のユーザ端末に送信する送信ステップとを具備することを特徴とするデータ伝送方法。
7. 前記受信ステップによって受信された前記第１のユーザ端末および前記第２のユーザ端末それぞれからの音声データを多重化する音声多重化ステップをさらに具備し、
   前記送信ステップは、前記画像情報および前記音声多重化ステップによって多重化された音声データを前記第３のユーザ端末に送信するステップを含むことを特徴とする請求項６記載のデータ伝送方法。
8. 前記第３のユーザ端末は移動端末を含むことを特徴とする請求項６記載のデータ伝送方法。
9. 移動端末を含む複数のユーザ端末の各々とのデータ伝送を実行するデータ伝送方法において、
   前記複数のユーザ端末の各々から送信される音声データおよび動画像データを受信する受信ステップと、
   前記受信ステップによって受信された前記複数のユーザ端末それぞれからの音声データに基づいて、前記複数のユーザ端末の中から現在の発言者に対応するユーザ端末を特定するユーザ端末特定ステップと、
   前記受信ステップによって受信された前記複数のユーザ端末それぞれからの音声データを多重化する音声多重化ステップと、
   前記受信ステップによって受信された前記複数のユーザ端末それぞれからの動画像データの中から、前記ユーザ端末特定ステップによって特定されたユーザ端末に対応する動画像データを選択する動画像データ選択ステップと、
   前記動画像データ選択ステップによって選択された動画像データと前記音声多重化ステップによって多重化された音声データとから構成される第１の配信用情報を生成する第１の配信用情報生成ステップと、
   前記受信ステップによって受信された前記複数のユーザ端末それぞれからの動画像データと前記音声多重化ステップによって多重化された音声データとから構成される第２の配信用情報を生成する第２の配信用情報生成ステップと、
   前記第１の配信用情報生成ステップによって生成された前記第１の配信用情報を前記移動端末に送信するステップと、
   前記第２の配信用情報生成ステップによって生成された前記第２の配信用情報を、前記複数のユーザ端末の中の前記移動端末以外の他の各ユーザ端末に送信するステップとを具備することを特徴とするデータ伝送方法。
10. 前記第１の配信用情報を要求するモード指定情報を前記移動端末以外の他のユーザ端末から受信した場合、前記第２の配信用情報の代わりに前記第１の配信用情報を、前記モード指定情報を送信した端末に送信するステップをさらに具備することを特徴とする請求項９記載のデータ伝送方法。

Images