JP2006304179A - 電子会議システム、通信制御装置、通信制御方法、及び通信制御プログラム - Google Patents

Abstract

【課題】 映像音声データを配信するクライアント端末が有するコーデックに応じて該映像音声データに伸長／圧縮処理を実行する電子会議システム、通信制御装置、通信制御方法、及び通信制御プログラムを提供する。
【解決手段】 クライアント端末１内で動作する映像音声入力装置４１によりキャプチャされた映像信号及び音声信号は、映像音声送信装置４２により、ユーザが個別に指定したコーデックを使用して圧縮され、圧縮形式を含む映像信号及び音声信号として多地点会議制御装置２へ送信される。多地点会議制御装置２は、配信先のクライアント端末が上述の映像音声符号化解析部４４ｂを有する場合又は配信先のクライアント端末が送信先で採用されたコーデックによる圧縮形式の映像信号及び音声信号を伸長できる場合は、音声符号化装置２１ａ及び映像符号化装置２１ｂによる再圧縮を行わずに該音声信号及び該映像信号をクライアント端末に配信する。
【選択図】 図１

Description

本発明は、電子会議システム、通信制御装置、通信制御方法、及び通信制御プログラムに関し、特に、映像音声データを配信するクライアント端末が有するコーデックに応じて該映像音声データに伸長／圧縮処理を実行する電子会議システム、通信制御装置、通信制御方法、及び通信制御プログラムに関する。

従来の電子会議システムにおいて、電子会議に参加するクライアント端末は、サーバ側で指定されたコーデックに従い映像信号を圧縮してサーバに送信し、サーバは接続されたクライアント端末より送られてきた映像信号を再び伸張し、映像音声を合成後再度圧縮し、各クライアント端末に映像信号を配信していた。よって、サーバは電子会議に参加する全クライアント端末が保有しているコーデックを使用して圧縮処理を施す必要がある。また、他システムとの連携を行うためには、全ての映像音声の品質を下げて対応しなければならない場合もある。

特許文献１では、画像コーデックで符号化データの毎秒フレーム数に基づいて音声割り当てチャンネル数を決定し、画像の情報量が増加した場合には、音声チャンネル数を減少させて画像用の回線容量を増加させることで、より滑らかな画像通信を可能にし、画像情報量が減少した場合には、画像用の回線容量を減少させて音声チャンネルを増加させることで、より臨場感ある音声通信を実現するＴＶ会議システムが提案されている。

特許文献２では、各端末から送られてくる様々な符号化方式の音声データを共通の音声データに変換して合成することにより、異なった符号化方式を持った通信装置間での音声会議を可能にし、拡張性の高いシステムを実現する通信制御装置が提案されている。

特許文献３では、各地点の映像信号を１／Ｎに縮小することにより発生情報量を１／Ｎにすることができ、合成映像信号を再符号化しても各地点で符号化されたフレームを駒落としすることなく再符号化することができ、映像品質の劣化を防止できる画面合成符号化装置が提案されている。

特許文献４では、多地点接続サーバにおいて、特別な専用装置を用いることなく、同時に複数の参加者が送話することができる多地点接続会議システム構成方法、多地点接続会議システム、サーバ装置、クライアント装置、及び多地点接続会議システム構成プログラムが提案されている。
特開平６−２５３３０２号公報 特開平６−３５０７２４号公報 特開平８−２０５１１５号公報 特開平１１−２６１６３７号公報

しかし、上記の発明は以下の問題を有している。

従来の電子会議システムは、サーバの負荷を軽減し、遅延を少なくするため、ネットワーク帯域が十分に確保できなかったため、各クライアント端末から送られた映像信号をサーバ側で伸張、合成、圧縮し、１つの映像音声データとし、各クライアントに配信していた。または、クライアント端末がサーバ側から指定された同一のパラメータ（コーデックタイプ、画像サイズ、ビットレイト、フレームレート等）で圧縮し、所定のフォーマットや画像サイズで配信が行われていた。

また、既存の電子会議システムと連接する際には、その既存の電子会議システムで処理可能な映像音声で、全てのクライアントより映像音声データを送る必要があり、再生品質を落とさざるを得なかったため、既存の電子会議システムの再生品質に合わせる必要があった。

そこで、本発明は、各クライアント端末からの映像信号及び音声信号を配信先に応じて再圧縮することにより、多地点会議制御装置における処理を削減し、送信先のクライアント端末１によっては圧縮／縮小処理を行わずに映像・音声を配信する電子会議システム、通信制御装置、通信制御方法、及び通信制御プログラムを提案することを目的としている。

請求項１記載の発明は、複数のクライアント端末と、前記クライアント端末間の通信を制御する通信制御装置とを有する電子会議システムにおいて、前記クライアント端末は、受信した映像信号及び音声信号の圧縮に用いられたコーデックを解析し、該コーデックにより前記映像信号及び音声信号を伸長し、前記通信制御装置は、前記クライアント端末に前記映像信号及び音声信号を配信するとき、前記映像信号及び前記音声信号に所定のコーデックによる再圧縮を施さずに配信することを特徴とする。

請求項２記載の発明は、請求項１記載の電子会議システムにおいて、前記クライアント端末は、ユーザにより任意に選択されたコーデックにより前記映像信号及び前記音声信号を圧縮し、前記通信制御装置に送信することを特徴とする。

請求項３記載の発明は、電子会議に参加するクライアント端末へ配信する通信制御装置において、受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化手段と、配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化手段によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信手段とを有することを特徴とする。

請求項４記載の発明は、請求項３記載の通信制御装置において、前記配信手段は、音声信号を合成する合成手段を有することを特徴とする。

請求項５記載の発明は、請求項３又は４記載の通信制御装置において、配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化手段は、受信した映像信号及び音声信号を再圧縮することを特徴とする。

請求項６記載の発明は、請求項３から５のいずれか１項記載の通信制御装置において、前記符号化手段は、前記映像信号及び音声信号を伸長する伸長手段と、前記伸長手段によって伸長された映像信号及び音声信号を一時的に保持するメモリと、前記メモリに保持された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮手段とを有することを特徴とする。

請求項７記載の発明は、電子会議に参加するクライアント端末へ配信する通信制御装置の通信制御方法において、受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化工程と、配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化工程によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信工程とを有することを特徴とする。

請求項８記載の発明は、請求項７記載の通信制御方法において、前記配信工程は、音声信号を合成する合成工程を有することを特徴とする。

請求項９記載の発明は、請求項７又は８記載の通信制御方法において、配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化工程は、受信した映像信号及び音声信号を再圧縮することを特徴とする。

請求項１０記載の発明は、請求項７から９のいずれか１項記載の通信制御方法において、前記符号化工程は、前記映像信号及び音声信号を伸長する伸長工程と、前記伸長工程によって伸長された映像信号及び音声信号を一時的に記憶する記憶工程と、前記記憶工程により記憶された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮工程とを有することを特徴とする。

請求項１１記載の発明は、電子会議に参加するクライアント端末へ配信する通信制御装置の通信制御プログラムにおいて、受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化処理と、配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化処理によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信処理とを有することを特徴とする。

請求項１２記載の発明は、請求項１１記載の通信制御プログラムにおいて、前記配信処理は、音声信号を合成する合成処理を有することを特徴とする。

請求項１３記載の発明は、請求項１１又は１２記載の通信制御プログラムにおいて、配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化処理は、受信した映像信号及び音声信号を再圧縮することを特徴とする。

請求項１４記載の発明は、請求項１１から１３のいずれか１項記載の通信制御プログラムにおいて、前記符号化処理は、前記映像信号及び音声信号を伸長する伸長処理と、前記伸長処理によって伸長された映像信号及び音声信号を一時的に記憶する記憶処理と、前記記憶処理により記憶された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮処理とを有することを特徴とする。

本発明は、各クライアント端末からの映像信号及び音声信号を配信先に応じて再圧縮することにより、多地点会議制御装置における処理を削減し、送信先のクライアント端末によっては圧縮／縮小処理を行わずに映像・音声を配信するため、高品質の映像・音声を配信することができる。

以下に、本発明の一実施形態に係る電子会議システムの構成及び動作について説明する。

図１は、本実施形態に係る電子会議システムの会議方式として、４地点で映像会議を行う場合を示している。

図１において、４地点のクライアント端末１ａ〜１ｄ（以下符号１で代表する）と、多地点間映像制御装置として働く多地点会議制御装置２とを、回線で接続する。なお、実際には各クライアント端末１と多地点会議制御装置２との間に、伝送装置、交換装置などが介在するが省略する。

各クライアント端末１から回線を介して、映像信号及び音声信号の多重化信号を多地点会議制御装置２に送出する。多地点会議制御装置２は音声符号化装置２１ａ、映像符号化装置２１ｂ、音声配信装置２２ａ、及び映像配信装置２２ｂを内蔵し、受信した映像信号及び音声信号を配信先のクライアント端末に応じて必要な場合は伸長・圧縮して各クライアント端末１へ送出する。なお、音声配信装置２２ａは、各クライアント端末１から受信した音声信号を合成する合成回路２３を有している。

音声符号化装置２１ａ及び映像符号化装置２１ｂについては、図２以降を参照して詳述するため、ここではその動作の概略を説明する。

多地点会議制御装置２の回線入力端子から入力された各地点のクライアント端末１の音声信号は、音声配信装置２２ａ及び音声符号化装置２１ａに入力される。音声符号化装置２１ａに入力された音声信号は、後述するように各々伸長され、各クライアント端末で伸長できるコーデックにより再圧縮される。音声配信装置２２ａは、配信先のクライアント端末１に応じて、音声符号化装置２１ａにおいて再圧縮された音声信号又は音声符号化装置２１ａを介さずに受信した各クライアント端末１からの音声信号を合成し、電子会議に参加する各クライアント端末１に送信する。

多地点会議制御装置２の回線入力端子から入力された各地点のクライアント端末１の映像信号は、映像配信装置２２ｂ及び映像符号化装置２１ｂに入力される。映像符号化装置２１ｂに入力された映像信号は、後述するように各々伸長され、各クライアント端末で伸長できるコーデックにより再圧縮される。映像配信装置２２ｂは、配信先のクライアント端末１に応じて、映像符号化装置２１ｂにおいて再圧縮された映像信号又は映像符号化装置２１ｂを介さずに受信した各クライアント端末１からの映像信号を電子会議に参加する各クライアント端末１に送信する。

図２は、音声符号化装置２１ａ及び映像符号化装置２１ｂの構成を示すブロック図である。

映像入力端子から入力された各クライアント端末１の映像信号は、まず、伸長回路３１ａ〜３１ｄ（以下符号３１で代表する）で伸長される。伸長回路３１で伸長された映像信号は、一旦フレームメモリ３２ａ〜３２ｄ（以下符号３２で代表する）に蓄えられる。圧縮回路３３ａ〜３３ｄ（以下符号３３で代表する）は、折り返しノイズを除去するためにフィルタリングし、かつ全てのクライアント端末で伸長可能なコーデックにより再圧縮し、映像出力端子に出力する。

音声入力端子から入力された各クライアント端末１の音声信号は、まず、伸長回路３４ａ〜３４ｄ（以下符号３４で代表する）で伸長される。伸長回路３４で伸長された音声信号は、一旦フレームメモリ３５ａ〜３５ｄ（以下符号３５で代表する）に蓄えられる。圧縮回路３６ａ〜３６ｄ（以下符号３６で代表する）は、折り返しノイズを除去するためにフィルタリングし、かつ全てのクライアント端末１で伸長可能なコーデックにより再圧縮し、音声出力端子に出力する。

以上、図１及び図２を用いて説明したように、このように、各クライアント端末からの映像信号及び音声信号を配信先に応じて再圧縮することで、多地点会議制御装置１における処理を削減できるとともに、送信先のクライアント端末１によっては圧縮／縮小処理を行わずに映像・音声を配信できるため、高品質の映像・音声を配信することができる。

次に、本実施形態に係るクライアント端末１の構成及び動作について図３を用いて説明する。

クライアント端末１は、本実施形態に係るクライアント端末１は、カメラやマイク等の映像音声入力装置４１と、ディスプレイやスピーカ等の映像音声出力装置４３と、映像音声送信装置４２と、映像音声受信装置４４とを有する。

映像音声送信装置４２は、映像音声捕獲部４２ｃと、映像音声圧縮部４２ｂと、映像音声送信部４２ａとを有する。映像音声捕獲部４２ｃは、複数存在する入力装置４１より必要な装置を選択し、映像音声のキャプチャ処理を行い、映像音声圧縮部４２ｂにキャプチャした映像音声データを入力する。映像音声圧縮部４２ｂは、映像音声送信装置４２ａとしてユーザが指定した高品質な映像音声コーデックに従い圧縮処理を行い、映像音声送信部４２ａに圧縮した映像音声データを入力する。映像音声送信部４２ａは、映像音声送信装置４２としてユーザが指定した映像音声コーデックに従った通信規格に従ったフォーマットで、映像音声多地点配信装置２に対し、映像音声データを送信する。

映像音声受信装置４４は、映像音声受信部４４ａと、映像音声符号化解析部４４ｂと、映像音声伸張部４４ｃと、映像音声再生部４４ｄとを備えている。

映像音声受信部４４ａは、映像音声多地点配信装置２より個別配信された複数ユーザの映像音声データを受信し、受信した映像音声データを受信ユーザ数分の映像音声符号化解析部４４ｂに入力する。映像音声符号化解析部４４ｂは、受信ユーザ数分平行動作し、入力された映像音声データのコーデックタイプを通信フォーマットより判別し、映像音声伸張部４４ｃに入力する。映像音声伸張部４４ｃは、映像音声符号化解析手段が解析したコーデックタイプをもとに、入力された映像音声データを伸張し、映像音声再生部４４ｄに入力する。映像音声再生部４４ｄは、入力された映像音声データを映像音声出力装置４３に対し、再生制御を行う。

次に、クライアント端末１の具体的な動作について説明する。

図３において、本実施形態に係るクライアント端末１内で動作する映像音声入力装置４１によりキャプチャされた映像信号及び音声信号は、映像音声送信装置４２により、ユーザが個別に指定したコーデックを使用して圧縮され、圧縮形式を含む映像信号及び音声信号として多地点会議制御装置２へ送信される。

多地点会議制御装置２は、配信先のクライアント端末が上述の映像音声符号化解析部４４ｂを有する場合又は配信先のクライアント端末が送信先で採用されたコーデックによる圧縮形式の映像信号及び音声信号を伸長できる場合は、音声符号化装置２１ａ及び映像符号化装置２１ｂによる再圧縮を行わずに該音声信号及び該映像信号をクライアント端末に配信する。一方、配信先のクライアント端末が上述の映像音声符号化解析部４４ｂを有しない場合又は配信先のクライアント端末が送信先で採用されたコーデックによる圧縮形式の映像信号及び音声信号を伸長できない場合は、音声符号化装置２１ａ及び映像符号化装置２１ｂによる再圧縮を施した該音声信号及び該映像信号をクライアント端末に配信する。

本実施形態に係るクライアント端末１は、多地点会議制御装置２から配信された映像信号及び音声信号の圧縮形式を判別し、適切なコーデックを使用し伸張し、それそれの映像音声データを映像音声出力装置４３に渡し再生する。

次に、本発明の他の実施例について図４及び５を参照して詳細に説明する。

図４を参照すると、本実施例は、映像音声受信装置４４が、図１に示した実施形態における映像音声受信装置４４内に、映像音声分岐部４５を有する点で異なる。

例えば、送信先のクライアント端末１から映像信号が配信された場合、該映像信号は、多地点会議制御装置２を経由して、映像音声クライアント１内で動作する映像音声受信装置４４に送られる。映像音声受信装置４４では、映像音声受信部４４ａにおいて映像データを受信し、映像音声符号化解析部２２において映像データのコーデックを解析し、映像音声伸張部２３における伸長処理を経て、映像音声分岐部２５にて送られる。映像音声分岐部２５は、伸長された画像を映像音声再生部４４ｄの数分複製された後、それぞれの映像音声再生部２４に渡す。

また、映像音声受信装置４４の映像音声再生部は、映像音声出力装置４４の適切な映像再生位置に対し、それぞれの画像の表示スコープを変更することにより、あたかも別の表示領域に再生することができる。

本実施形態に係る多地点会議制御装置の構成を示すブロック図である。 画面合成符号化装置の構成を示すブロック図である。 クライアント端末の構成を示すブロック図である。 実施例に係る映像音声受信装置の構成を示すブロック図である。 実施例に係る映像音声受信装置において映像を出力した例である。

符号の説明

１ クライアント端末
２ 多地点会議制御装置
２１ａ 音声符号化装置
２１ｂ 映像符号化装置
２２ａ 音声配信装置
２２ｂ 映像配信装置
２３ 合成回路
３１ａ〜３１ｄ、３４ａ〜３４ｄ 伸長回路
３２ａ〜３２ｄ、３５ａ〜３５ｄ フレームメモリ
３３ａ〜３３ｄ、３６ａ〜３６ｄ 圧縮回路

Claims (14)

1. 複数のクライアント端末と、前記クライアント端末間の通信を制御する通信制御装置とを有する電子会議システムにおいて、
   前記クライアント端末は、受信した映像信号及び音声信号の圧縮に用いられたコーデックを解析し、該コーデックにより前記映像信号及び音声信号を伸長し、
   前記通信制御装置は、前記クライアント端末に前記映像信号及び音声信号を配信するとき、前記映像信号及び前記音声信号に所定のコーデックによる再圧縮を施さずに配信することを特徴とする電子会議システム。
2. 前記クライアント端末は、ユーザにより任意に選択されたコーデックにより前記映像信号及び前記音声信号を圧縮し、前記通信制御装置に送信することを特徴とする請求項１記載の電子会議システム。
3. 電子会議に参加するクライアント端末へ配信する通信制御装置において、
   受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化手段と、
   配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化手段によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信手段とを有することを特徴とする通信制御装置。
4. 前記配信手段は、音声信号を合成する合成手段を有することを特徴とする請求項３記載の通信制御装置。
5. 配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化手段は、受信した映像信号及び音声信号を再圧縮することを特徴とする請求項３又は４記載の通信制御装置。
6. 前記符号化手段は、
   前記映像信号及び音声信号を伸長する伸長手段と、
   前記伸長手段によって伸長された映像信号及び音声信号を一時的に保持するメモリと、
   前記メモリに保持された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮手段とを有することを特徴とする請求項３から５のいずれか１項記載の通信制御装置。
7. 電子会議に参加するクライアント端末へ配信する通信制御装置の通信制御方法において、
   受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化工程と、
   配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化工程によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信工程とを有することを特徴とする通信制御方法。
8. 前記配信工程は、音声信号を合成する合成工程を有することを特徴とする請求項７記載の通信制御方法。
9. 配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化工程は、受信した映像信号及び音声信号を再圧縮することを特徴とする請求項７又は８記載の通信制御方法。
10. 前記符号化工程は、
    前記映像信号及び音声信号を伸長する伸長工程と、
    前記伸長工程によって伸長された映像信号及び音声信号を一時的に記憶する記憶工程と、
    前記記憶工程により記憶された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮工程とを有することを特徴とする請求項７から９のいずれか１項記載の通信制御方法。
11. 電子会議に参加するクライアント端末へ配信する通信制御装置の通信制御プログラムにおいて、
    受信した映像信号及び音声信号を予め定められたコーデックにより再圧縮する符号化処理と、
    配信先のクライアント端末に基づいて、受信した映像信号及び音声信号、又は前記符号化処理によって再圧縮された映像信号及び音声信号を前記クライアント端末に配信する配信処理とを有することを特徴とする通信制御プログラム。
12. 前記配信処理は、音声信号を合成する合成処理を有することを特徴とする請求項１１記載の通信制御プログラム。
13. 配信先のクライアント端末において映像信号及び音声信号の圧縮に用いられた前記コーデックを解析又は伸長できないとき、前記符号化処理は、受信した映像信号及び音声信号を再圧縮することを特徴とする請求項１１又は１２記載の通信制御プログラム。
14. 前記符号化処理は、
    前記映像信号及び音声信号を伸長する伸長処理と、
    前記伸長処理によって伸長された映像信号及び音声信号を一時的に記憶する記憶処理と、
    前記記憶処理により記憶された映像信号及び音声信号を予め定められたコーデックにより圧縮する圧縮処理とを有することを特徴とする請求項１１から１３のいずれか１項記載の通信制御プログラム。

Images