JP2002176633A - 多地点ビデオ会議システム、映像データ符号量制御方法、およびそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 ネットワークに参加している端末と同等のネ
ットワーク環境を持たない端末が会議に参加した場合
や、会議中にネットワーク状態が悪化した端末があって
も、エラーの発生を防止し、映像データの送受信が可能
な多地点ビデオ会議システム、映像データ符号量制御方
法およびそのプログラムを記録した記録媒体を提供す
る。 【解決手段】 端末が受信した映像データの受信状態、
および復号状況を通知する映像データ受信情報を多地点
会議制御装置に送信し、この情報を受け取った多地点会
議制御装置が最も低い情報（例えば、復号前符号量）を
選択し、参加端末のそれぞれに返送し、各端末は、この
受け取った映像データ受信情報に従い、映像データの符
号化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像データの符号
化制御を行う多地点ビデオ会議システム、映像データ符
号量制御方法およびそのプログラムを記録した記録媒体
に関する。

【０００２】

【従来の技術】従来の多地点テレビ会議システムの一例
が、特開平０３−２５８０８７号公報に開示されてい
る。当該多地点テレビ会議システムにおいては、会議端
末Ｂの受信画像にエラーが発生したとき、会議端末Ｂか
ら制御装置（ＭＣＵ）に対して画面更新要求が送信され
る。ＭＣＵは、会議端末Ｂからの画面更新要求を受けた
ときに、この会議端末Ｂで受信されている画像が会議端
末Ａから送信されてきているものと判定し、会議端末Ａ
に対し、フレーム内差分方式による画像更新要求を行
う。

【０００３】これにより、会議参加端末Ａでは、符号化
方式をフレーム間差分方式からフレーム内差分方式に切
り替えて発言者の画像を送信するので、制御装置を介し
て会議端末Ｂでは、正常に更新された画像を見ることが
できる。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
方式において、ネットワーク状態が悪化したり、他の参
加端末より低いネットワーク環境にある端末が参加した
場合、多地点会議制御装置から送信される映像データを
正常に受信できない可能性が高い。フレーム間差分方式
で符号化された映像データは、常にエラーが発生すると
いう可能性があり、問題なく映像データを送受信してい
た他の端末に悪影響を及ぼす可能性がある。

【０００５】また、参加端末に、常にフレーム内差分方
式による符号化された映像データが送信されるため、表
示の際のフレームレートが低下するといった問題や、受
信した映像データの復号が間に合わず、全く映像を表示
することができないという問題が発生する可能性があ
る。

【０００６】本発明は、上記問題点に鑑みなされたもの
であり、ネットワークに参加している端末と同等のネッ
トワーク環境を持たない端末が会議に参加した場合や、
会議中にネットワーク状態が悪化した端末があっても、
エラーの発生を防止し、映像データの送受信が可能な多
地点ビデオ会議システム、映像データ符号量制御方法お
よびそのプログラムを記録した記録媒体を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】かかる目的を達成するた
めに、請求項１記載の発明は、映像データ、音声データ
および映像データ受信情報を送受信する複数のビデオ会
議通信制御端末と、ビデオ会議通信制御端末から受信し
た複数の映像データ受信情報からビデオ会議に参加して
いる端末の中で最もネットワーク環境の悪い映像データ
受信情報を選択し、映像データ受信情報をビデオ会議通
信制御端末に送信する多地点会議制御装置と、を有する
ことを特徴とする。

【０００８】請求項２記載の発明は、請求項１記載の発
明において、多地点会議制御装置は、ビデオ会議通信制
御端末から受信した複数の音声データのレベル検出を行
い、代表話者の決定と、複数の音声データのミキシング
とを行う音声データ処理手段と、音声データ処理手段に
より決定された代表話者を基に、ビデオ会議通信制御端
末から受信した複数の映像データから、代表話者にかか
る映像データを選択する映像データ選択手段と、ビデオ
会議通信制御端末から受信した複数の映像データ受信情
報から、最もネットワーク環境の悪い映像データ受信情
報をビデオ会議通信制御端末に送信する映像データ受信
情報選択手段と、を有することを特徴とする。

【０００９】請求項３記載の発明は、請求項１または２
記載の発明において、ビデオ会議通信制御端末は、映像
データ受信情報を多地点会議制御装置と送受信し、符号
量を制御する映像符号化制御手段と、映像符号化制御手
段により指定されたビットレートおよびフレームレート
により映像データの符号化および復号化を行い、多地点
会議制御装置と送受信する映像データ入出力手段と、音
声データの符号化および復号化を行い、多地点会議制御
装置と送受信する音声入出力手段と、を有し、映像符号
化制御手段は、映像データ入出力手段でデコードエラー
が発生したとき、デコードエラー発生前の正常に復号化
していたときの符号量である復号前符号量を多地点会議
制御装置に送信することを特徴とする。

【００１０】請求項４記載の発明は、請求項３記載の発
明において、映像データ受信情報は、少なくとも、端末
識別番号、デコードエラー数、パケットロス数、および
復号前符号量を含むことを特徴とする。

【００１１】請求項５記載の発明は、請求項３または４
記載の発明において、映像符号化制御手段は、多地点会
議制御装置から受信した映像データ受信情報により通知
された復号前符号量を基に、映像データ入出力手段にビ
ットレートおよびフレームレートの指定を行うことを特
徴とする。

【００１２】請求項６記載の発明は、請求項３から５の
いずれか１項に記載の発明において、多地点会議制御装
置は、映像選択手段により選択された映像データを複数
のビデオ会議通信制御端末に送信する際に、映像データ
を一時蓄積する映像データ送信バッファをさらに有し、
映像データ受信情報選択手段は、ビデオ会議通信制御端
末分の映像データ送信バッファの送信バッファ容量か
ら、最も大きな送信バッファ容量を選択して、ビデオ会
議通信制御端末から受信した映像データ受信情報に、送
信バッファ容量情報として付加し、ビデオ会議通信制御
端末に送信することを特徴とする。

【００１３】請求項７記載の発明は、請求項６記載の発
明において、映像符号化制御手段は、多地点会議制御装
置から映像データ受信情報により通知された送信バッフ
ァ容量情報を基に、映像データ入出力手段にビットレー
トおよびフレームレートの指定を行うことを特徴とす
る。

【００１４】請求項８記載の発明は、複数のビデオ会議
通信制御端末が映像データ、音声データ、および映像デ
ータ受信情報を多地点会議制御装置に送信する第１の映
像データ受信情報送信工程と、第１の映像データ受信情
報送信工程により送信された複数の映像データ受信情報
から、最もネットワーク環境の悪い映像データ受信情報
を選択し、選択した映像データ受信情報をビデオ会議通
信制御端末に送信する第２の映像データ受信情報送信工
程と、第２の映像データ受信情報送信工程により送信さ
れた映像受信情報を基に、映像データの符号量を制御す
る映像符号化制御工程と、を有することを特徴とする。

【００１５】請求項９記載の発明は、請求項８記載の発
明において、映像符号化制御工程は、ビデオ会議通信制
御端末が映像データを復号化する際、デコードエラーが
発生したとき、デコードエラー発生前の正常に復号化し
ていたときの符号量である復号前符号量を検出し、第１
の映像データ受信情報送信工程は、映像符号化制御工程
により検出した復号前符号量を多地点会議制御装置に送
信することを特徴とする。

【００１６】請求項１０記載の発明は、請求項９記載の
発明において、映像データ受信情報は、少なくとも、端
末識別番号、デコードエラー数、パケットロス数、およ
び復号前符号量を含むことを特徴とする。

【００１７】請求項１１記載の発明は、請求項８から１
０のいずれか１項に記載の発明において、ビデオ会議通
信制御端末から受信した複数の音声データのレベル検出
を行い、代表話者を決定し、複数の音声データをミキシ
ングして、ビデオ会議通信制御端末に送信する音声デー
タ処理工程と、音声データ処理工程により決定された代
表話者を基に、ビデオ会議通信制御端末から受信した複
数の映像データから、代表話者にかかる映像データを選
択して、ビデオ会議通信制御端末に送信する映像データ
選択工程と、をさらに有することを特徴とする。

【００１８】請求項１２記載の発明は、請求項８から１
１のいずれか１項に記載の発明において、第２の映像デ
ータ受信情報送信工程は、多地点会議制御装置が有する
ビデオ会議通信制御端末分の映像データ送信バッファの
送信バッファ容量から、最も大きな送信バッファ容量を
選択して、映像データ受信情報に、送信バッファ容量情
報として付加し、ビデオ会議通信制御端末に送信するこ
とを特徴とする。

【００１９】請求項１３記載の発明は、請求項１２記載
の発明において、映像符号化制御工程は、第２の映像デ
ータ受信情報送信工程により送信された映像データ受信
情報により通知された送信バッファ容量情報を基に、映
像データの符号量を制御することを特徴とする。

【００２０】請求項１４記載の発明は、複数のビデオ会
議通信制御端末が映像データ、音声データ、および映像
データ受信情報を多地点会議制御装置に送信する第１の
映像データ受信情報送信処理と、第１の映像データ受信
情報送信処理により送信された複数の映像データ受信情
報から、最もネットワーク環境の悪い映像データ受信情
報を選択し、選択した映像データ受信情報をビデオ会議
通信制御端末に送信する第２の映像データ受信情報送信
処理と、第２の映像データ受信情報送信処理により送信
された映像受信情報を基に、映像データの符号量を制御
する映像符号化制御処理と、を実行させることを特徴と
する。

【００２１】請求項１５記載の発明は、請求項１４記載
の発明において、映像符号化制御処理は、ビデオ会議通
信制御端末が映像データを復号化する際、デコードエラ
ーが発生したとき、デコードエラー発生前の正常に復号
化していたときの符号量である復号前符号量を検出し、
第１の映像データ受信情報送信処理は、映像符号化制御
処理により検出された復号前符号量を多地点会議制御装
置に送信することを特徴とする。

【００２２】請求項１６記載の発明は、請求項１５記載
の発明において、映像データ受信情報は、少なくとも、
端末識別番号、デコードエラー数、パケットロス数、お
よび復号前符号量を含むことを特徴とする。

【００２３】請求項１７記載の発明は、請求項１４から
１６のいずれか１項に記載の発明において、ビデオ会議
通信制御端末から受信した複数の音声データのレベル検
出を行い、代表話者を決定し、複数の音声データをミキ
シングして、ビデオ会議通信制御端末に送信する音声デ
ータ処理と、音声データ処理により決定された代表話者
を基に、ビデオ会議通信制御端末から受信した複数の映
像データから、代表話者にかかる映像データを選択し
て、ビデオ会議通信制御端末に送信する映像データ選択
処理と、をさらに実行させることを特徴とする。

【００２４】請求項１８記載の発明は、請求項１４から
１７のいずれか１項に記載の発明において、第２の映像
データ受信情報送信処理は、多地点会議制御装置が有す
るビデオ会議通信制御端末分の映像データ送信バッファ
の送信バッファ容量から、最も大きな送信バッファ容量
を選択して、映像データ受信情報に、送信バッファ容量
情報として付加し、ビデオ会議通信制御端末に送信する
ことを特徴とする。

【００２５】請求項１９記載の発明は、請求項１８記載
の発明において、映像符号化制御処理は、第２の映像デ
ータ受信情報送信処理により送信された映像データ受信
情報により通知された送信バッファ容量情報を基に、映
像データの符号量を制御することを特徴とする。

【００２６】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面を参照しながら詳細に説明する。

【００２７】まず、本発明の特徴部分を概説する。本発
明は、入力映像データの中から１つの映像データを選択
し、接続されている各端末に送り返す多地点会議制御装
置において、ネットワーク回線が細い、もしくは、劣悪
な状況のネットワークに接続されている端末にも映像デ
ータを問題なく送信できるように、映像データを送信し
ている端末の符号量制御を行うことができる構成を提供
するものである。

【００２８】図１において、多地点会議制御装置１０
に、データ送受信部１５を介して複数のビデオ会議通信
端末１００が接続される。映像データ受信情報選択部１
３に参加端末の映像データ受信情報が送信され、その中
から、ネットワーク環境の悪い端末の映像データ受信情
報を選択し、各端末に返送する。

【００２９】映像データを送信する端末は、多地点会議
制御装置１０から送信されてくる映像データ受信情報に
従い符号化を行うため、符号化される映像データは、ネ
ットワーク環境の悪い端末でも受信することができる。

【００３０】図１は、本発明の第１の実施の形態におけ
る多地点ビデオ制御システムの構成を示すブロック図で
ある。図１に示すように、当該多地点ビデオ制御システ
ムは、多地点に配置され会議の参加者が使用する複数の
ビデオ会議通信制御端末１００と、会議に使用される所
定情報を各ビデオ会議通信制御端末１００に供給する多
地点会議制御装置（ＭＣＵ）１０と、を備える。

【００３１】各ビデオ会議通信制御端末１００と多地点
会議制御装置１０とは、例えば公衆回線やインターネッ
ト網等を介して通信により接続される。ビデオ会議通信
制御端末１００は、会議の参加者が使用する端末であ
り、図示していない、カメラ、ディスプレイ、マイク、
スピーカ、キーボードおよびマウス等を備える。

【００３２】次に、ビデオ会議通信制御端末１００及び
多地点会議制御装置１０の内部構成を説明する。ビデオ
会議通信制御端末１００は、映像入出力部１０１と、映
像符号化制御部１０２と、音声入出力部１０３と、ビデ
オ会議通信制御端末１００の各種制御を行うビデオ会議
制御部１０４と、データ送受信部１０５と、を備える。

【００３３】映像入出力部１０１は、上述のカメラとデ
ィスプレイとを含み、カメラにより撮影された参加者の
映像から映像データを生成し、映像符号化制御部１０２
から入力される符号化ビットレートの指定とフレームレ
ートの指定とに従い、映像データの符号化を行う。符号
化された映像データは、データ送受信部１０５を介して
多地点会議制御装置１０に送信される。

【００３４】また、映像入出力部１０１は、データ送受
信部１０５を介して多地点会議制御装置１０から映像デ
ータを受信し、復号化する。復号化の際に、デコードエ
ラーが発生した場合、映像符号化制御部１０２に通知す
るとともに、復号化した映像データを所定の形式でディ
スプレイに表示する。また、映像データの受信の際に、
本来受信するはずの映像データを受け取れない場合は、
この情報（ネットワークロス情報）を映像符号化制御部
１０２に通知する。

【００３５】映像符号化制御部１０２は、映像入出力部
１０１からデコードエラー、ネットワークロス、および
問題なく復号化できた映像データの復号前の符号量を通
知される。映像符号化制御部１０２は、それらの情報か
ら映像データ受信情報を生成し、データ送受信部１０５
を介して多地点会議制御装置１０に送信する。

【００３６】また、映像符号化制御部１０２は、データ
送受信部１０５を介して、多地点会議制御装置１０から
映像データ受信情報を受信し、この情報に従い、映像入
出力部１０１の符号化制御を行う。

【００３７】音声入出力部１０３は、上述したマイクと
スピーカとを含み、マイクから入力された音声にＡ／Ｄ
変換等の所定の処理を施し音声符号化を行う。符号化し
た音声データをデータ送受信部１０５を介して多地点会
議制御装置１０に送信する。また、音声入出力部１０３
は、データ送受信部１０５を介して多地点会議制御装置
１０から音声データを受信し、音声復号化を行う。復号
化した音声データにＤ／Ａ変換等の所定の処理を施し
て、スピーカから再生する。

【００３８】ビデオ会議制御部１０４は、キーボードと
ディスプレイとを含み、キーボードから入力された情報
を会議情報としてデータ送受信部１０５を介して多地点
会議制御装置１０に送信する。また、ビデオ会議制御部
１０４は、データ送受信部１０５を介して多地点会議制
御装置１０から受信した会議に関連する情報をディスプ
レイに表示する。

【００３９】データ送受信部１０５は、多地点会議制御
装置１０と制御データ、音声データ、および、映像デー
タの送受信を行う。

【００４０】多地点会議制御装置１０は、音声データ処
理部１１と、映像データ選択部１２と、映像データ受信
情報選択部１３と、多地点ビデオ会議制御部１４と、デ
ータ送受信部１５と、を備える。

【００４１】まず、多地点会議制御装置１０は、その時
点で発言している人の映像データを、各ビデオ会議通信
制御端末１００に配信するようにしている。その際、ど
の映像データを選択するかというその選択方法として、
話者検出方法という方法が採用される。この話者検出方
法では、受信した音声データのうち、最もレベルの大き
い音声データを送信したビデオ会議通信制御端末１００
が、現在の発言者のビデオ会議通信制御端末１００であ
ると判断される。そのビデオ会議通信制御端末１００か
ら受信した映像データをそれぞれのビデオ会議通信制御
端末１００に送出するようにしている。

【００４２】音声データ処理部１１は、受信した音声デ
ータのレベル検出を行い、多地点会議制御装置１０に接
続されたそれぞれのビデオ会議通信制御端末１００のレ
ベルを比較し、最もレベルが大きい話者を決定する。決
定した代表話者情報は、映像データ選択部１２に通知さ
れる。また、受信した音声データは、ミキシングを行う
か、もしくは、選択され各ビデオ会議通信制御端末１０
０に返送される。

【００４３】映像データ選択部１２は、受信した映像デ
ータの中から代表話者に選定されている映像データを選
択し、データ送受信部１５を介して、各ビデオ会議通信
制御端末１００に返送する。

【００４４】映像データ受信情報選択部１３は、各ビデ
オ会議制御端末１００から送信された映像データ受信情
報のうち、１つの映像データ受信情報を選択し、データ
送受信部１５を介して返送する。具体的には、映像デー
タ受信情報選択部１３は、一番ネットワーク環境の悪い
ビデオ会議制御端末１００の映像受信情報を選択する。

【００４５】多地点ビデオ会議制御部１４は、多地点会
議制御装置１０の各種制御を行う。データ送受信部１５
は、各ビデオ会議通信制御端末１００との間の制御デー
タ、、音声データ、および、映像データの送受信を行
う。

【００４６】次に、本発明の第１の実施の形態における
多地点会議システムの動作について、図２、図３を用い
て説明する。詳細な動作の説明を行う前に、図３を参照
して、映像データ受信情報のフォーマット一例を説明す
る。

【００４７】図３において、端末識別番号は、どの端末
の映像データ受信情報を選んでいるか識別するための識
別情報である。デコードエラー数は、ビデオ会議通信制
御端末１００が映像データを復号化する際に発生したデ
コードエラーの値を格納するためのものである。パケッ
トロス数は、多地点会議制御装置１０から送信された映
像データが映像入出力部１０１で行われる復号処理に間
に合わない値を格納するためのものである。復号前符号
量は、ビデオ会議通信制御端末１００が映像データを、
エラーが発生せずに復号できた時の復号前の映像データ
の符号量を格納するためのものである。

【００４８】次に、各地点における参加者Ａ、Ｂ、Ｃが
会議を行う場合を例に、図２を参照しながら、本発明の
第１の実施の形態におけるビデオ会議システムの動作を
説明する。図２は、端末Ａ、端末Ｂ、端末Ｃのそれぞれ
の送信データ量（単位：Ｋｂｐｓ キロ・ビット／
秒）、受信データ量（単位：Ｋｂｐｓ）、および、端末
が送信する映像データ受信情報（復号前符号量）を示し
た表である。

【００４９】図２の横軸は、端末Ａ、端末Ｂ、端末Ｃの
状態の遷移を示している。状態１の時、映像データを送
信している端末は、端末Ａであり、その時、映像データ
を１２８Ｋｂｐｓで送信している。この時、各端末は、
１２８Ｋｂｐｓで多地点会議制御装置１０からの映像デ
ータを問題なく受信することができる。受信情報に示す
パケットロス、復号時のデコードエラーの発生はない。
したがって、各端末は、多地点会議制御装置１０に、映
像データ受信情報の復号前符号量を”１２８”として各
端末に送信する。

【００５０】次に、状態２の時、端末Ｂと多地点会議制
御装置１０とのネットワーク環境が悪化し、端末Ｂは、
実質６４Ｋｂｐｓの受信能力しか持てなくなっている
（図２、状態２、端末Ｂの受信欄）。したがって、１２
８Ｋｂｐｓで送信されてくる映像データを復号しようと
した端末Ｂは、パケットロスや、デコードエラーが多発
し、まともにデコードできない。端末Ｂは、映像データ
受信情報の復号前符号量に”０”を挿入し、多地点会議
制御装置１０に送信する。

【００５１】これに対し、端末Ａ、端末Ｃは、問題なく
復号することができ、映像データ受信情報の復号前符号
量に”１２８”を挿入し、多地点会議制御装置１０に送
信する。多地点会議制御装置１０は、復号前符号量が最
も低い端末Ｂからの映像データ受信情報を全ての端末に
対し送信する。

【００５２】状態３で、端末Ａは、多地点会議制御装置
１０から送信された映像データ受信情報（端末Ｂが送信
した映像データ受信情報）の復号前符号量”０”の値を
見て、送信した映像データを受け取れない端末（端末
Ｂ）があることを認識する。端末Ａは、これに鑑み、符
号化時のビットレートおよびフレームレート指定を変更
し、９６Ｋｂｐｓで符号化を行い、映像データを多地点
会議制御装置１０に送信する。

【００５３】端末Ｂと多地点会議制御装置１０とのネッ
トワーク環境は改善せず、実質６４Ｋｂｐｓの受信能力
のままである。したがって、端末Ｂは、状態２と同様、
映像データの復号が行えず、映像データ受信情報に復号
前符号量”０”を再び挿入し、多地点会議制御装置１０
に送信する。

【００５４】これに対し、端末Ａ、端末Ｃは、問題なく
復号することができ、映像データ受信情報の復号前符号
量には”９６”を挿入し、多地点会議制御装置１０に送
信する。多地点会議制御装置１０は、復号前符号量が最
も低い端末Ｂからの映像データ受信情報を全ての端末に
対し送信する。

【００５５】状態４で、端末Ａは、多地点会議制御装置
１０から送信された映像データ受信情報の復号前符号
量”０”の値を見て、再度、符号化時の符号量の指定を
変更し、６４Ｋｂｐｓで符号化を行い、映像データを送
信する。

【００５６】多地点会議制御装置１０から送信されてき
た映像データを受け取った端末Ｂは、今度は、問題なく
復号することができ、映像データ受信情報の復号前符号
量を”６４”に設定し、多地点会議制御装置１０に返送
する。

【００５７】端末Ａ、端末Ｃは、問題なく復号すること
ができ、映像データ受信情報の復号前符号量には”６
４”を挿入し、多地点会議制御装置１０に送信する。こ
れにより、端末Ｂと多地点会議制御装置間１０とのネッ
トワーク状態が悪化した場合でも、端末Ｂが映像データ
を受信し復号することができていることを示している。

【００５８】状態５の時、代表話者が端末Ａから端末Ｃ
に切替ったことを示している。映像データを送信する端
末Ｃは、既に状態４の時に、多地点会議制御装置１０か
ら送信されてくる映像データ受信情報の復号前符号量
が”６４”に設定されていることを認識している。した
がって、６４Ｋｂｐｓで映像データの符号化を行い、多
地点会議制御装置１０に映像データを送信する。

【００５９】ネットワーク回線の状況が回復し、映像デ
ータの符号量を元の値まで戻す場合、多地点会議制御装
置１０が、参加端末（端末Ａ、端末Ｂ、端末Ｃ）に映像
データ受信情報を送付する前に、情報を書き換えること
により、端末から送信されてくる映像データの符号量を
制御することができる。

【００６０】次に、本発明の第２の実施の形態について
説明する。図４は、第２の実施の形態におけるビデオ会
議システムの構成を示すブロック図である。図１に示す
第 1の実施の形態におけるビデオ会議制御装置１０に、
映像データ送信バッファ１６を追加した構成となってい
る。

【００６１】映像データ送信バッファ１６は、映像デー
タ選択部１２で選択した映像データを接続されている端
末に送信する際に使用するバッファである。このバッフ
ァに蓄積されたバッファ容量が送信バッファ容量情報と
して、映像データ受信情報選択部１３に供給される。

【００６２】映像データ受信情報選択部１３は、接続端
末の数だけ、映像データ送信バッファ１６から当該送信
バッファ容量情報を受け取り、この中で、最も大きな送
信バッファ容量情報を映像データ受信情報に追加し、接
続されているビデオ会議通信制御端末１００全てに送信
する。

【００６３】図５に、第２の実施の形態における映像デ
ータ受信情報のフォーマット一例を示す。送信バッファ
容量情報を含んだ映像データ受信情報が送信されてきた
ビデオ会議通信制御端末１００は、例えばデコードエラ
ー値やパケットロス値が低く、映像データの符号量を制
御する必要がないと判断できる場合でも、この送信バッ
ファ容量情報があらかじめ設定されたしきい値（スレッ
シュホルド）以上の値の時は、映像データの符号量制御
を行う。

【００６４】この他の構成については、図１と同様であ
るため、説明を省略する。この情報を追加することによ
り、サーバ側でも映像データの符号量を制御することが
可能となる。

【００６５】なお、本発明の映像データ符号量制御方法
をプログラムにより実行可能である。当該プログラム
は、磁気記録媒体、光記録媒体、半導体記録媒体に記録
されて提供されるか、または、ＦＴＰを使用して、サー
バからネットワークを介して端末にダウンロードされて
提供される。

【００６６】なお、上述した実施の形態は、本発明の好
適な実施の形態の一例であり、本発明はそれに限定され
ることなく、その要旨を逸脱しない範囲内において種々
変形実施が可能である。

【００６７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、ネットワークに参加している端末と同等のネ
ットワーク環境を持たない端末が会議に参加した場合
や、会議中にネットワーク状態が悪化した端末があって
も、映像データの送受信ができることにある。この結
果、ネットワーク環境がよくない、もしくは低い端末で
も会議に参加することができる。

【００６８】その理由は、端末が受信した映像データの
受信状態、および復号状況を通知する映像データ受信情
報を多地点会議制御装置に送信し、この情報を受け取っ
た多地点会議制御装置が最も低い情報（例えば、復号前
符号量）を選択し、参加端末のそれぞれに返送し、各端
末は、この受け取った映像データ受信情報に従い、映像
データの符号化を行うためである。

【００６９】また、各端末は、映像データの受信オーバ
ーフローを回避することができる。その理由は、各端末
が送信バッファ容量情報を多地点会議制御装置から受信
し、その情報を基に、適正符号量を多地点会議制御装置
に通知することができるためである。

【図面の簡単な説明】

【図１】第１の実施の形態におけるビデオ会議システム
の構成を示すブロック図である。

【図２】第１の実施の形態における端末Ａ、端末Ｂ、端
末Ｃのそれぞれの送信データ量、受信データ量、およ
び、端末が送信する映像データ受信情報を示す表であ
る。

【図３】第１の実施の形態における映像データ受信情報
のフォーマット一例を示す図である。

【図４】第２の実施の形態におけるビデオ会議システム
の構成を示すブロック図である。

【図５】第２の実施の形態における映像データ受信情報
のフォーマット一例を示す図である。

【符号の説明】

１０ 多地点会議制御装置 １１ 音声データ処理部 １２ 映像データ選択部 １３ 映像データ受信情報選択部 １４ 多地点ビデオ会議制御部 １５ データ送受信部 １６ 映像データ送信バッファ １００ ビデオ会議制御端末 １０１ 映像入出力部 １０２ 映像符号化制御部 １０３ 音声入出力部 １０４ ビデオ会議制御部 １０５ データ送受信部

フロントページの続き Ｆターム(参考） 5C059 KK34 KK39 RA01 RC32 RF01 RF23 SS07 TA76 TB01 TC22 TD13 UA02 UA05 5C064 AA02 AC02 AC06 AC14 AD02 AD14 5K014 AA01 EA01 FA11 GA02 5K015 AB01 JA01

Claims (19)

【特許請求の範囲】
1. 【請求項１】 映像データ、音声データおよび映像デー
   タ受信情報を送受信する複数のビデオ会議通信制御端末
   と、 該ビデオ会議通信制御端末から受信した複数の映像デー
   タ受信情報からビデオ会議に参加している端末の中で最
   もネットワーク環境の悪い映像データ受信情報を選択
   し、該映像データ受信情報を前記ビデオ会議通信制御端
   末に送信する多地点会議制御装置と、 を有することを特徴とする多地点ビデオ会議システム。
2. 【請求項２】 前記多地点会議制御装置は、 前記ビデオ会議通信制御端末から受信した複数の音声デ
   ータのレベル検出を行い、代表話者の決定と、前記複数
   の音声データのミキシングとを行う音声データ処理手段
   と、 該音声データ処理手段により決定された代表話者を基
   に、前記ビデオ会議通信制御端末から受信した複数の映
   像データから、前記代表話者にかかる映像データを選択
   する映像データ選択手段と、 前記ビデオ会議通信制御端末から受信した複数の映像デ
   ータ受信情報から、最もネットワーク環境の悪い映像デ
   ータ受信情報を前記ビデオ会議通信制御端末に送信する
   映像データ受信情報選択手段と、 を有することを特徴とする請求項１記載の多地点ビデオ
   会議システム。
3. 【請求項３】 前記ビデオ会議通信制御端末は、 前記映像データ受信情報を前記多地点会議制御装置と送
   受信し、符号量を制御する映像符号化制御手段と、 該映像符号化制御手段により指定されたビットレートお
   よびフレームレートにより前記映像データの符号化およ
   び復号化を行い、前記多地点会議制御装置と送受信する
   映像データ入出力手段と、 前記音声データの符号化および復号化を行い、前記多地
   点会議制御装置と送受信する音声入出力手段と、を有
   し、 前記映像符号化制御手段は、前記映像データ入出力手段
   でデコードエラーが発生したとき、該デコードエラー発
   生前の正常に復号化していたときの符号量である復号前
   符号量を前記多地点会議制御装置に送信することを特徴
   とする請求項１または２記載の多地点ビデオ会議システ
   ム。
4. 【請求項４】 前記映像データ受信情報は、 少なくとも、端末識別番号、デコードエラー数、パケッ
   トロス数、および前記復号前符号量を含むことを特徴と
   する請求項３記載の多地点ビデオ会議システム。
5. 【請求項５】 前記映像符号化制御手段は、 前記多地点会議制御装置から受信した映像データ受信情
   報により通知された復号前符号量を基に、前記映像デー
   タ入出力手段に前記ビットレートおよびフレームレート
   の指定を行うことを特徴とする請求項３または４記載の
   多地点ビデオ会議システム。
6. 【請求項６】 前記多地点会議制御装置は、 前記映像選択手段により選択された映像データを前記複
   数のビデオ会議通信制御端末に送信する際に、前記映像
   データを一時蓄積する映像データ送信バッファをさらに
   有し、 前記映像データ受信情報選択手段は、前記ビデオ会議通
   信制御端末分の前記映像データ送信バッファの送信バッ
   ファ容量から、最も大きな送信バッファ容量を選択し
   て、前記ビデオ会議通信制御端末から受信した前記映像
   データ受信情報に、送信バッファ容量情報として付加
   し、前記ビデオ会議通信制御端末に送信することを特徴
   とする請求項３から５のいずれか１項に記載の多地点ビ
   デオ会議システム。
7. 【請求項７】 前記映像符号化制御手段は、 前記多地点会議制御装置から前記映像データ受信情報に
   より通知された送信バッファ容量情報を基に、前記映像
   データ入出力手段に前記ビットレートおよびフレームレ
   ートの指定を行うことを特徴とする請求項６記載の多地
   点ビデオ会議システム。
8. 【請求項８】 複数のビデオ会議通信制御端末が映像デ
   ータ、音声データ、および映像データ受信情報を多地点
   会議制御装置に送信する第１の映像データ受信情報送信
   工程と、 該第１の映像データ受信情報送信工程により送信された
   複数の映像データ受信情報から、最もネットワーク環境
   の悪い映像データ受信情報を選択し、該選択した映像デ
   ータ受信情報を前記ビデオ会議通信制御端末に送信する
   第２の映像データ受信情報送信工程と、 該第２の映像データ受信情報送信工程により送信された
   映像受信情報を基に、前記映像データの符号量を制御す
   る映像符号化制御工程と、 を有することを特徴とする映像データ符号量制御方法。
9. 【請求項９】 前記映像符号化制御工程は、 前記ビデオ会議通信制御端末が前記映像データを復号化
   する際、デコードエラーが発生したとき、該デコードエ
   ラー発生前の正常に復号化していたときの符号量である
   復号前符号量を検出し、 前記第１の映像データ受信情報送信工程は、 前記映像符号化制御工程により検出した復号前符号量を
   前記多地点会議制御装置に送信することを特徴とする請
   求項８記載の映像データ符号量制御方法。
10. 【請求項１０】 前記映像データ受信情報は、 少なくとも、端末識別番号、デコードエラー数、パケッ
    トロス数、および前記復号前符号量を含むことを特徴と
    する請求項９記載の映像データ符号量制御方法。
11. 【請求項１１】 前記ビデオ会議通信制御端末から受信
    した複数の音声データのレベル検出を行い、代表話者を
    決定し、前記複数の音声データをミキシングして、前記
    ビデオ会議通信制御端末に送信する音声データ処理工程
    と、 該音声データ処理工程により決定された代表話者を基
    に、前記ビデオ会議通信制御端末から受信した複数の映
    像データから、前記代表話者にかかる映像データを選択
    して、前記ビデオ会議通信制御端末に送信する映像デー
    タ選択工程と、 をさらに有することを特徴とする請求項８から１０のい
    ずれか１項に記載の映像データ符号量制御方法。
12. 【請求項１２】 前記第２の映像データ受信情報送信工
    程は、 前記多地点会議制御装置が有する前記ビデオ会議通信制
    御端末分の前記映像データ送信バッファの送信バッファ
    容量から、最も大きな送信バッファ容量を選択して、前
    記映像データ受信情報に、送信バッファ容量情報として
    付加し、前記ビデオ会議通信制御端末に送信することを
    特徴とする請求項８から１１のいずれか１項に記載の映
    像データ符号量制御方法。
13. 【請求項１３】 前記映像符号化制御工程は、 前記第２の映像データ受信情報送信工程により送信され
    た映像データ受信情報により通知された送信バッファ容
    量情報を基に、前記映像データの符号量を制御すること
    を特徴とする請求項１２記載の映像データ符号量制御方
    法。
14. 【請求項１４】 複数のビデオ会議通信制御端末が映像
    データ、音声データ、および映像データ受信情報を多地
    点会議制御装置に送信する第１の映像データ受信情報送
    信処理と、 該第１の映像データ受信情報送信処理により送信された
    複数の映像データ受信情報から、最もネットワーク環境
    の悪い映像データ受信情報を選択し、該選択した映像デ
    ータ受信情報を前記ビデオ会議通信制御端末に送信する
    第２の映像データ受信情報送信処理と、 該第２の映像データ受信情報送信処理により送信された
    映像受信情報を基に、前記映像データの符号量を制御す
    る映像符号化制御処理と、 を実行させることを特徴とするプログラムを記録した記
    録媒体。
15. 【請求項１５】 前記映像符号化制御処理は、 前記ビデオ会議通信制御端末が前記映像データを復号化
    する際、デコードエラーが発生したとき、該デコードエ
    ラー発生前の正常に復号化していたときの符号量である
    復号前符号量を検出し、 前記第１の映像データ受信情報送信処理は、 前記映像符号化制御処理により検出された復号前符号量
    を前記多地点会議制御装置に送信することを特徴とする
    請求項１４記載のプログラムを記録した記録媒体。
16. 【請求項１６】 前記映像データ受信情報は、 少なくとも、端末識別番号、デコードエラー数、パケッ
    トロス数、および前記復号前符号量を含むことを特徴と
    する請求項１５記載のプログラムを記録した記録媒体。
17. 【請求項１７】 前記ビデオ会議通信制御端末から受信
    した複数の音声データのレベル検出を行い、代表話者を
    決定し、前記複数の音声データをミキシングして、前記
    ビデオ会議通信制御端末に送信する音声データ処理と、 該音声データ処理により決定された代表話者を基に、前
    記ビデオ会議通信制御端末から受信した複数の映像デー
    タから、前記代表話者にかかる映像データを選択して、
    前記ビデオ会議通信制御端末に送信する映像データ選択
    処理と、 をさらに実行させることを特徴とする請求項１４から１
    ６のいずれか１項に記載のプログラムを記録した記録媒
    体。
18. 【請求項１８】 前記第２の映像データ受信情報送信処
    理は、 前記多地点会議制御装置が有する前記ビデオ会議通信制
    御端末分の前記映像データ送信バッファの送信バッファ
    容量から、最も大きな送信バッファ容量を選択して、前
    記映像データ受信情報に、送信バッファ容量情報として
    付加し、前記ビデオ会議通信制御端末に送信することを
    特徴とする請求項１４から１７のいずれか１項に記載の
    プログラムを記録した記録媒体。
19. 【請求項１９】 前記映像符号化制御処理は、 前記第２の映像データ受信情報送信処理により送信され
    た映像データ受信情報により通知された送信バッファ容
    量情報を基に、前記映像データの符号量を制御すること
    を特徴とする請求項１８記載のプログラムを記録した記
    録媒体。