JP2007081863A - 映像合成装置、映像合成方法およびプログラム - Google Patents

Abstract

【課題】 会議に参加する複数のクライアントの映像の参照状況に基づいて、クライアントからサーバへ送信する映像データの制御を行い、通信帯域幅の節約を可能にすることを目的とする。
【解決手段】 本発明は、第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置から第１〜第Ｎの符号化映像データを受信し、第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを出力し、第１〜第Ｎの映像表示装置から映像合成用の第１〜第Ｎのレイアウト情報を受信して記憶し、第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成し第１〜第Ｎの映像表示装置に送信し、第２〜第Ｎのレイアウト情報における第１の映像のレイアウトに基づき、第１の映像表示装置に対する判定値を算出し、算出した判定値から第１の映像表示装置で適用すべき符号化パラメータを決定して第１の映像表示装置に送信する。
【選択図】 図２

Description

本発明は、映像合成装置、映像合成方法およびプログラムに関する。

近年、通信技術が大幅に進歩したことにより、安価で広帯域なネットワーク基盤が広く普及してきている。特に、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線やＦＴＴＨ（Fiber To The Home）回線等の通信サービスが整備されてきていることにより、企業のみならず一般家庭においても容易に広帯域のネットワーク環境を構築することが可能になっている。

広帯域ネットワークの普及に伴って、映像と音声によるコミュニケーションサービスの提供が始まっている。データの送受信が可能な情報機器同士がネットワークを介してデータを交換するシステムを構築することにより、映像・音声による双方向のコミュニケーションが可能になる。このようなシステムは、テレビ会議システムと呼ばれる。中でも特に、複数の拠点間をネットワーク接続することで複数のメンバ間のコミュニケーションを可能にする、多地点テレビ会議システムが近年の注目を集めている。

多地点テレビ会議システムを構築する際には、各会議端末装置（会議クライアント装置、あるいは単にクライアントとも呼ぶ。）同士が映像をお互いに交換する方法と、多地点制御装置（ＭＣＵ：Multipoint Control Unit。会議サーバ装置、あるいは単にサーバとも呼ぶ。）を利用して、各クライアントから映像を受信し、ＭＣＵでそれらの映像に拡大・縮小・切り出し等を行い１つの映像に合成（ミキシング）した後で、各クライアントに配信する方法がある。後者のようなサーバ・クライアント型の構成のシステムでは、各クライアントは単一のＭＣＵから映像を送受信するだけでよいため、前者に比べて、各クライアントの映像送受信のための処理負荷と、それに伴うネットワーク負荷とを低減することが可能である。したがって、現在提供されている多地点テレビ会議システムでは、主にサーバ・クライアント型の構成によりサービスが提供されることが多い。

また、ＭＣＵで行われる映像合成には、さまざまな合成レイアウトが存在する。たとえば、各クライアントから受信した映像を等しいサイズに縮小し隙間なく並べたレイアウトや、あるいは、一つの映像を他の映像より一回り大きくして隙間なく並べたレイアウト、あるいは、一つの映像を最大化し他の映像を縮小してその前面に重ね合わせて配置したピクチャーインピクチャーのレイアウトなどがある。

さらに、ＭＣＵで行われる映像合成には、すべてのクライアントで同一の合成映像を共有する方法のほかに、各クライアントごとに独立したレイアウトの合成映像を参照できる方法も考えられている。前者の方法では、代表となるクライアントが合成映像のレイアウトを指定し、ＭＣＵは一本の映像合成を行い各クライアントにそのコピーを配信する。後者の方法では、各クライアントは自身の所望する合成映像のレイアウトを指定し、そのレイアウトをＭＣＵに通知する。ＭＣＵは、各クライアントから通知されたレイアウトに基づいて複数の映像合成を独立に行い、生成した合成映像を各クライアントに配信する。

さて、一般的にテレビ会議システムは、ストレスのないコミュニケーションの道具としての役割を果たすために、高品質の映像・音声を伝送することが要求される。それゆえ、ユーザの利用可能なネットワーク通信帯域のうち、テレビ会議システムの使用に伴う映像・音声データの伝送帯域が占める割合は高いものとなることが避けられない。このことは、ネットワーク帯域を複数のユーザが共有している場合や、クライアントがたとえば携帯電話網を介して接続されている場合といった、利用可能なネットワークの通信帯域幅に限りがあるような状況、あるいは、映像・音声以外のたとえばデスクトップ画像共有・アプリケーションデータ共有等といったデータ伝送を並行して行うような状況において、特に問題となる。そこで、このような状況において、いかに映像・音声データを節約して効率よく伝送できるかが重要な課題となる。

このような課題の従来の解決方法として、たとえば、ネットワークの混雑状況に応じて自動的に映像・音声データの品質を制御するという方法が挙げられる。この方法では、会議開始時、あるいは会議開催中に、ネットワークの混雑状況を調査し、混雑状況が悪くなったのを検知すると自動的に映像・音声データの送信品質を下げて通信帯域の節約を図る。
特開平１０−３０４３３５公報 特開２００４−１８７１７０公報

ＭＣＵに複数のクライアントが接続する構成を持ち、かつ、各クライアントがそれぞれ独立したレイアウトを参照することが可能なテレビ会議システムにおいて、ネットワークの混雑状況が大きく変わらない環境であっても、クライアントからサーバへ不必要に高品質な映像データを伝送しないような制御をどのようにして行うかが重要な課題となる。

そこで、特開平１０−３０４３３５（特許文献１）では、クライアントのユーザの注目する被注目部位の情報を感知しサーバに通知することで、サーバからクライアントに伝送する複数の映像データのうち、被注目部位に相当する映像の品質を高くし、それ以外の部位に相当する映像の品質を低くすることで、通信帯域の節約を図る。

しかし、前記特開平１０−３０４３３５の方法では、サーバからクライアントへの映像データの伝送制御は可能であるものの、クライアントからサーバへの映像データの伝送制御は行うことができない。

そこで、特開２００４−１８７１７０（特許文献２）では、クライアントが画面テンプレートを選択した際に、その画面テンプレートに対応する画像パラメータ情報をサーバからクライアントに通知し、クライアントから送信する画像データの品質をその画像パラメータ情報に従うように制御するという方法が提案されている。

しかし、前記特開２００４−１８７１７０の方法では、クライアントからサーバへの映像データの伝送制御は可能であるものの、伝送制御の際に、その映像の他クライアントからの参照状況を考慮に入れていない。そのために、クライアントから送信した映像を他のいずれのクライアントも表示していない状況、あるいは表示していてもきわめて小さいサイズでしか表示していない状況だったとしても、クライアントは高品質の映像をサーバに送信しようとする。誰もあまり注目していない映像を高品質で送信するのは無駄なことであり、結果的にこのクライアントは効率の悪いデータ送信を行っていることになる。このことはクライアントの処理能力を不必要に使用し、またネットワークの通信帯域を不必要に圧迫していることから、好ましくないことである。

本発明は、上記課題を解決するためになされたもので、映像表示装置から映像合成装置へ送信する映像データの制御を効率的に行い、これにより通信帯域幅の節約を可能にした映像合成装置、映像合成方法およびプログラムを提供することを目的とする。

本発明の一態様としての映像合成装置は、第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置から第１〜第Ｎの符号化映像データを受信する映像受信手段と、前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを出力する復号手段と、前記第１〜第Ｎの映像表示装置から映像合成用の第１〜第Ｎのレイアウト情報を受信するレイアウト情報受信手段と、受信された前記第１〜第Ｎのレイアウト情報を記憶するレイアウト情報記憶手段と、前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を前記第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成する映像合成手段と、前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置へ送信する映像送信手段と、前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出する判定値算出手段と、算出した前記判定値から前記第１の映像表示装置で適用すべき符号化パラメータを決定する映像品質制御手段と、決定した前記符号化パラメータを前記第１の映像表示装置へ送信する映像品質制御信号送信手段と、を備える。

本発明の一態様としての映像表示装置は、映像データを生成する映像生成手段と、前記映像データを符号化パラメータに従って符号化して符号化映像データを出力する符号化手段と、前記符号化映像データを映像合成装置へ送信する映像送信手段と、映像合成のためのレイアウト情報を前記映像合成装置へ送信するレイアウト情報送信手段と、 合成映像データを受信する映像受信手段と、前記合成映像データを表示する表示手段と、 他の１つ以上の映像表示装置がそれぞれ使用しているレイアウト情報を受信するレイアウト情報受信手段と、受信した各前記レイアウト情報における自装置の映像のレイアウトから自装置に対する判定値を算出する判定値算出手段と、算出した前記判定値から適用すべき符号化パラメータを決定し、決定した符号化パラメータを前記符号化手段に通知する映像品質制御手段と、を備える。

本発明の一態様としての映像合成方法は、第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置において第１〜第Ｎの映像データを生成し、前記第１〜第Ｎの映像データを第１〜第Ｎの符号化パラメータに従って符号化して第１〜第Ｎの符号化映像データを生成し、前記第１〜第Ｎの符号化映像データを映像合成装置に送信し、映像合成のための第１〜第Ｎのレイアウト情報を前記映像合成装置に送信し、前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成し、前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置に送信し、前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出し、算出した前記判定値から前記第１の映像表示装置で適用すべき前記第１の符号化パラメータを決定する。

本発明の一態様としてのプログラムは、第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置から第１〜第Ｎの符号化映像データを受信するステップと、前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを出力するステップと、前記第１〜第Ｎの映像表示装置から映像合成用の第１〜第Ｎのレイアウト情報を受信するステップと、受信された前記第１〜第Ｎのレイアウト情報を記憶するステップと、前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を前記第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成するステップと、前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置へ送信するステップと、前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出するステップと、算出した前記判定値から前記第１の映像表示装置で適用すべき符号化パラメータを決定するステップと、決定した前記符号化パラメータを前記第１の映像表示装置へ送信するステップと、をコンピュータに実行させる。

本発明の一態様としてのプログラムは、映像データを生成するステップと、前記映像データを符号化パラメータに従って符号化して符号化映像データを出力するステップと、 前記符号化映像データを映像合成装置へ送信するステップと、映像合成のためのレイアウト情報を前記映像合成装置へ送信するステップと、合成映像データを受信するステップと、前記合成映像データを表示するステップと、他の１つ以上の映像表示装置がそれぞれ使用しているレイアウト情報を受信するステップと、受信した各前記レイアウト情報における自装置の映像のレイアウトから自装置に対する判定値を算出するステップと、算出した前記判定値から適用すべき符号化パラメータを決定するステップと、を映像表示装置に実行させる。

本発明により、会議に参加する複数のクライアントの映像の参照状況に基づいて、クライアントからサーバへ送信する映像データの制御を行うようにしたことにより、通信帯域幅を節約することが可能となる。

（第１の実施の形態）
以下、本発明の第１の実施の形態を、図１から図１７を参照して説明する。

図１に本発明を適用した多地点テレビ会議システムのシステム構成を示す。図１は会議サーバ装置１００と４台の会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄから構成される。会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄは、それぞれネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを介して会議サーバ装置１００と接続されている。

会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄはそれぞれカメラ装置３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｄを備えている。各会議クライアント装置は、カメラ装置を使って撮影した映像データを、ネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて会議サーバ装置１００へ送信する機能を備えている。また会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄは、会議サーバ装置１００から送信された映像データを受信し、それぞれの表示装置３６０Ａ、３６０Ｂ、３６０Ｃ、３６０Ｄに表示する機能を備えている。またネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて、会議サーバ装置１００に制御情報を送信する機能を備えている。

会議サーバ装置１００は、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄから送信された映像データを受信する機能を備えている。また、受信した複数の映像データを一つの映像に合成した合成映像を、レイアウトが異なる複数種類生成する機能を備えている。なお映像合成の際には、複数の映像合成を、各会議クライアント装置ごとに独立して行うことができる。また、ネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄに合成映像をそれぞれ送信する機能を備えている。また同様にネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて、各会議クライアント装置に制御信号を送信する機能を備えている。

次に、図２を用いて、会議サーバ装置と会議クライアント装置において本発明に関わる内部構成要素を示す。会議サーバ装置における内部構成要素、会議クライアント装置における内部構成要素により表される機能はプログラムをコンピュータに実行させることによって実現してもよいしハードウェア的に実現してもよい。

会議サーバ装置１００は、その構成要素として、通信路５１０Ａを利用して映像データの受信を行う映像受信部１１０と、映像データの復号化を行うデコード部１２０と、通信路５３０Ａを利用してレイアウト制御信号の受信を行うレイアウト制御信号受信部１３０と、レイアウト制御信号から解析して得られたレイアウト情報を格納するレイアウト情報記憶部１４０と、映像の合成処理を行う映像合成部１５０と、合成映像の符号化を行うエンコード部１６０と、通信路５２０Ａを利用して映像データの送信を行う映像送信部１７０と、前記レイアウト情報から判定値の算出を行う判定値算出部１８０と、前記判定値から映像符号化制御パラメータを算出する映像品質制御部１９０と、通信路５４０Ａを利用して映像符号化制御パラメータの送信を行う映像品質制御信号送信部２００とを有している。なお、以下で示す会議サーバ装置１００の各内部構成要素の動作は、会議クライアント装置３００Ａとの間で行われる処理について説明しているが、会議クライアント装置３００Ａとの間に限らず、３００Ｂ、３００Ｃ、３００Ｄとの間についても同様して行われる。

会議クライアント装置３００Ａは、その構成要素として、カメラ部３１０Ａと、合成映像の符号化を行うエンコード部３２０Ａと、通信路５１０Ａを通じて映像データの送信を行う映像送信部３３０Ａと、通信路５２０Ａを利用して映像データの受信を行う映像受信部３４０Ａと、映像データの復号化を行うデコード部３５０Ａと、映像の表示を行う表示部３６０Ａと、ユーザ・インターフェース部３７０Ａと、通信路５３０Ａを利用してレイアウト制御信号の送信を行うレイアウト制御信号送信部３８０Ａと、通信路５４０Ａを利用して映像符号化制御パラメータの受信を行う映像品質制御信号受信部３９０Ａとを有している。なお、図２では会議クライアント装置３００Ａを１台だけ記載しているが、会議サーバ装置１００にはこの他にも会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄが接続されており、それぞれは会議クライアント装置３００Ａと同様の内部構成要素を持つものとする。

以下、会議サーバ装置１００の内部構成要素について詳細に説明する。

映像受信部１１０は、通信路５１０Ａを利用して会議クライアント装置３００Ａから、符号化された映像データを受信しデコード部１２０へ出力する。

デコード部１２０は、映像受信部１１０から映像データが入力されると、復号化し映像合成部１５０へ出力する。なお、本実施の形態では映像データの符号化方式にＭＰＥＧ４を使用するが、符号化方式の種類は本発明において本質的な問題ではないので、この他にもＭＰＥＧ２、Ｈ．２６３、Ｈ．２６４等の映像符号化方式であってもよいものとする。この場合、デコード部１２０およびエンコード部３２０Ａで使用する符号化方式は、同一の映像フォーマットをサポートするものとする。

レイアウト制御信号受信部１３０は、通信路５３０Ａを利用して会議クライアント装置３００Ａからレイアウト制御信号を受信する。レイアウト制御信号は、ＩＰヘッダ部とＩＰペイロード部からなるＩＰパケットとして送信するものとし、ＩＰヘッダ部にはレイアウト制御信号の送信元の会議クライアント装置３００ＡのＩＰアドレスが含まれ、またＩＰペイロード部には、会議クライアント装置３００Ａにおいて指定されたレイアウト情報１０００Ａが含まれる。レイアウト制御信号受信部１３０はレイアウト制御信号を解析し、ＩＰヘッダ部に含まれる送信元ＩＰアドレスから、レイアウト制御信号の送信元である会議クライアント装置３００Ａを特定し、またＩＰペイロード部から、レイアウト情報１０００Ａを抽出する。

ここでレイアウト情報とは、映像合成部１５０で行われる映像合成の合成方法を指定する情報であり、たとえば、図３に示すような、各映像データの識別番号・合成位置・合成サイズ・前後方向の相対位置（階層）を表す数値の集合である。識別番号は、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄを識別するための番号で、ここでは３００Ａの識別番号を１、３００Ｂを２、３００Ｃを３、３００Ｄを４とする。合成位置・合成サイズは、合成映像の横方向・縦方向をいずれも１００の値に正規化したときのＸＹ座標値を用いて、合成位置は映像の左上角の（Ｘ，Ｙ）値の組で表され、合成サイズは映像の横方向・縦方向の長さ（Ｗ，Ｈ）値の組で表される。なお本実施の形態ではＷ＝Ｈとする。前後方向の相対位置は、合成映像の最前面の表示位置を１、最背面の表示位置を４としたときの１から４までの自然数で表される。本実施の形態ではレイアウト情報を識別番号・合成位置・合成サイズ・前後方向の相対位置の値の組と定義したが、これに限らず、たとえば合成切り取り位置・合成切り取りサイズ等を含んでいてもよい。合成切り取り位置・合成切り取りサイズとは、映像合成部１５０が映像の一部の切り取りをサポートしている際に定義可能な値であり、図５に示すように、入力映像の横方向・縦方向をいずれも１００の値に正規化したときのＸＹ座標値を用いて、合成切り取り位置は切り取り領域の左上角の（Ｘ，Ｙ）値の組で定義され、合成切り取りサイズは切り取り領域の横方向・縦方向の長さ（Ｗ，Ｈ）値の組で定義される。レイアウト制御信号受信部１３０は、レイアウト情報１０００Ａを抽出すると、レイアウト情報記憶部１４０へこれを出力するとともに、判定値算出部１８０へ、会議クライアント装置３００Ａに関わる判定値の算出要求を出力する。

レイアウト情報記憶部１４０は、レイアウト制御信号受信部１３０からレイアウト情報１０００Ａが入力されると、入力されたレイアウト情報１０００Ａを記憶する。もしこの状態で、会議クライアント装置３００Ａから入力が新たに行われた場合は、レイアウト情報１０００Ａを新しい入力値で更新する。また、レイアウト情報記憶部１４０は、映像合成部１５０からレイアウト情報１０００Ａの取得要求が入力されると、記憶しているレイアウト情報１０００Ａを映像合成部１５０へ出力する。また、レイアウト情報記憶部１４０は、会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄからレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄが入力されると、同様にこれらのレイアウト情報を記憶する。また、レイアウト情報記憶部１４０は、判定値算出部１８０からレイアウト情報１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄの取得要求が入力されると、記憶しているレイアウト情報１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄを判定値算出部１８０へ出力する。

映像合成部１５０は、デコード部１２０から映像データが入力されると、レイアウト情報記憶部１４０に、会議クライアント装置３００Ａのレイアウト情報１０００Ａの取得要求を出力する。会議クライアント装置３００Ａのレイアウト情報１０００Ａがレイアウト情報記憶部１４０から入力されると、例えば図４のように、レイアウト情報１０００Ａにしたがって映像合成を行い合成映像１０１０Ａを生成する。生成された合成映像１０１０Ａはエンコード部１６０へ入力される。

エンコード部１６０は、映像合成部１５０から合成映像データ１０１０Ａが入力されると、これを符号化し映像送信部１７０へ出力する。なお、本実施の形態では映像データの符号化方式にＭＰＥＧ４を使用するが、符号化方式の種類は本発明において本質的な問題ではないので、この他にもＭＰＥＧ２、Ｈ．２６３、Ｈ．２６４等の映像符号化方式であってもよいものとする。この場合、エンコード部１６０およびデコード部３５０Ａで使用する符号化方式は、同一の映像フォーマットをサポートするものとする。

映像送信部１７０は、エンコード部１６０から、符号化された合成映像データ１０１０Ａが入力されると、通信路５２０Ａを利用して会議クライアント装置３００Ａへ合成映像データ１０１０Ａを送出する。

判定値算出部１８０は、レイアウト制御信号受信部１３０から、会議クライアント装置３００Ａから判定値の算出要求が入力されると、レイアウト情報記憶部１４０に、全ての会議クライアント装置のレイアウト情報１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄの取得要求を出力する。レイアウト情報記憶部１４０から、図６に示すような４つのレイアウト情報１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄが入力されると、これらのレイアウト情報にもとづいて、図７に示すような判定値１０２０Ａ、１０２０Ｂ、１０２０Ｃ、１０２０Ｄを算出する。判定値は、各会議クライアント装置ごとに定義される値で、各会議クライアント装置の送出するカメラ装置の映像が、それぞれどれだけ大きくあるいはくっきりと表示されるべきとされているか（注目を受けているか）の度合いを表す。ここでは、会議クライアント装置３００Ａの判定値１０２０Ａを、自分以外の会議クライアント装置、つまり３００Ｂ、３００Ｃ、３００Ｄがそれぞれ見ている合成映像上の３００Ａの映像の横方向の長さ（Ｗ）の中の最大値と定義する。つまり、図６の３つのレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄの中で、識別番号が１（＝３００Ａの識別番号）に等しい行に注目し、その中で最大のＷ値を選びこれを判定値１０２０Ａと定める（図６の例では、判定値１０２０Ａは、５０、５０、２５の最大値、すなわち５０と算出される）。なお、本実施の形態では１０００Ａを除く３つのレイアウト情報に基づいて判定値を算出したが、１０００Ａを含めた４つのレイアウト情報に基づいた上で判定値を算出してもよい。また、ここでは、映像の横方向の長さの中の最大値を判定値としたが最小値を判定値とすることも可能である。

また、ここでは判定値を、映像の横方向の長さ（Ｗ）に基づいて算出したが、これに限らず、これ以外の情報を基にして判定値を算出してもよい。たとえば考えられる例として、判定値算出部１８０は、会議クライアント装置３００Ａに関わる判定値の算出の際に、３００Ａ以外のクライアント装置がそれぞれ見ている合成映像上の、３００Ａに対応する映像の合成切り取りの横方向の長さに注目し、３つの合成切り取りの横方向の長さのうち、最も小さいものまたは最も大きいものに基づいて判定値を求めても良い。前者の例として、３つの合成切り取りの横方向の長さのうち、１つでも１００に満たないときは、各合成映像上の３００Ａの映像の横方向の長さ（Ｗ）の値に関わらず、常に判定値を１００として出力するとしてもよい。合成切り取りの横方向の長さが全て１００に等しいときは、前記と同様、各合成映像上の３００Ａの映像の横方向の長さ（Ｗ）の最大値を判定値として出力する。例えば図６のレイアウト情報から算出される３００Ａの判定値は、この場合、１００が導かれる（レイアウト情報１０００Ｃにおいて３００Ａに対応する映像の合成切り取りの横方向の長さが１００未満）。あるいは、これらとも異なる判定値の算出方法として、判定値算出部１８０は、３００Ａに関わる判定値の算出の際に、３００Ａ以外のクライアント装置がそれぞれ見ている合成映像上の、３００Ａに対応する映像の前後方向の相対位置に注目し、これらのうちの最小値または最大値を決定した後で、その値に応じて、１であれば判定値１００、２であれば判定値７５、３であれば判定値５０、４であれば判定値２５を出力するとしてもよい。例えば図６のレイアウト情報から算出される３００Ａの判定値は、３００Ａ以外の各合成映像上の３００Ａに対応する映像の前後方向の相対位置がそれぞれ２、４、４となるため、その最小値２に対応する７５が導かれる。判定値算出部１８０は、判定値１０２０Ａを算出すると、それを映像品質制御部１９０へ出力する。

以上では大きく３通りの判定値の算出方法を示したが、これらの算出方法は別個に用いてもよいし、これら３つの算出方法のうち任意の組み合わせを用いて判定値を算出してもよい。例えば各算出方法の判定値に重み付けを行った関数に、各算出方法で求めた判定値を入力することにより、判定値を算出してもよい。あるいは、各算出方法で得た判定値のうち最も小さいまたは大きいものを、求めるべき判定値としてもよい。

映像品質制御部１９０は、判定値算出部１８０から判定値１０２０Ａが入力されると、映像符号化制御パラメータ１０３０Ａを算出する。映像符号化制御パラメータ１０３０Ａは、会議クライアント装置３００Ａのエンコード部３２０Ａでカメラ映像を符号化する際に使用される値で、ここでは符号化の際の解像度とフレームレートを規定している。映像符号化制御パラメータ１０３０Ａの算出の際には、図８、９に示すように、映像品質制御部１９０が判定値と映像符号化制御パラメータの対応テーブルを内部に保持しており、適宜参照して算出を行う。通常、判定値１０２０Ａの値の大きさに応じて、映像符号化制御パラメータ１０３０Ａに含まれる解像度とフレームレートの値は大きくなり、より高品質の映像に相当することになる。映像符号化制御パラメータ１０３０Ａを算出すると、映像品質制御部１９０は送信先の会議クライアント装置３００ＡのＩＰアドレスを含むＩＰヘッダを映像符号化制御パラメータ１０３０Ａに対して付加し、映像品質制御信号送信部２００へ出力する。

映像品質制御信号送信部２００は、映像品質制御部１９０からＩＰヘッダを含む映像符号化制御パラメータ１０３０Ａが入力されると、これに送信元の会議サーバ装置１００のＩＰアドレス等を含んだＩＰヘッダをさらに付加しＩＰパケットを生成する。このＩＰパケットを映像品質制御信号と呼ぶ。映像品質制御信号送信部２００は、通信路５４０Ａを利用して会議クライアント装置３００Ａへ映像品質制御信号を送出する。

次に、会議クライアント装置３００Ａの内部構成要素について詳細に説明する。

カメラ部３１０Ａは、会議参加者の顔映像や資料映像、あるいはＰＣデスクトップの映像などを撮影して得られた映像データをエンコード部３２０Ａへ出力する。なお、本実施の形態ではカメラ部を用いて撮影した映像データを利用するが、本発明ではカメラ以外にも、たとえばハードディスクやフロッピーディスク、ＭＯ（Magneto-Optical disk）、ＣＤ−Ｒ（Compact Disk Recordable）、磁気テープといった外部記憶装置に記憶された映像データを読み取って利用してもよい。

エンコード部３２０Ａは、カメラ部３１０Ａから映像データが入力されると、符号化し映像送信部３３０Ａへ出力する。符号化の際には、あらかじめデフォルト値として設定された映像符号化制御パラメータ（解像度およびフレームレート）に従い符号化を行う。また、映像品質制御信号受信部３９０Ａから映像符号化制御パラメータが入力されると、保持している映像符号化制御パラメータの値を入力値で更新する。なお、本実施の形態では映像データの符号化方式にＭＰＥＧ４を使用する。

映像送信部３３０Ａは、エンコード部３２０Ａから、符号化された映像データが入力されると、通信路５１０Ａを通じて会議サーバ装置１００に映像データの送信を行う。

映像受信部３４０Ａは、通信路５２０Ａを利用して会議サーバ装置１００から映像データを受信しデコード部３５０Ａへ出力する。

デコード部３５０Ａは、映像受信部３４０Ａから、符号化された映像データが入力されると、復号化し表示部３６０Ａへ出力する。なお、本実施の形態では映像データの符号化方式にＭＰＥＧ４を使用する。

表示部３６０Ａは、デコード部３５０Ａから入力された映像データを表示する。また、表示部３６０ＡはたとえばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイといった表示装置である。

ユーザ・インターフェース部３７０Ａは、マウスなどのポインティングデバイスや、キーボードなどの入力装置を有している。ユーザはこれらの装置を用いて自分の所望するレイアウト情報を入力する。ユーザ・インターフェース部３７０Ａは、ユーザの入力装置の操作に応じて、表示部３６０Ａに表示されるポインティングデバイスのカーソル表示位置を更新し、またレイアウト情報の入力を検知すると、レイアウト制御信号送信部３８０Ａへレイアウト情報を出力する。なお、ユーザがレイアウト情報を入力する際には、一般的なウィンドウ型オブジェクトの操作と同様にして視覚的にレイアウト情報の変更を行うことができる。あるいは図１０のように、あらかじめ決められている使用可能なレイアウトのパターン１０４０Ａ、１０５０Ａ、１０６０Ａの選択肢を、ユーザの指示によって表示部３６０Ａに表示してもよい。この場合、ユーザは所望のレイアウトに最も近いと判断したパターンを入力装置を利用して選択する。各パターンにはそれぞれレイアウト情報が対応しており、選択されたパターンに対応するレイアウト情報をユーザの所望するレイアウト情報と見なす。ユーザの所望するレイアウト情報が決定されると、レイアウト制御信号送信部３８０Ａへレイアウト情報が出力される。

レイアウト制御信号送信部３８０Ａは、ユーザ・インターフェース部３７０Ａからレイアウト情報が入力されると、送信先の会議クライアント装置３００ＡのＩＰアドレス等を含んだＩＰヘッダをレイアウト情報に付加しＩＰパケットを生成する。このＩＰパケットをレイアウト制御信号と呼ぶ。レイアウト制御信号送信部３８０Ａはレイアウト制御信号を生成すると、通信路５３０Ａを利用して会議サーバ装置１００へ送信する。

映像品質制御信号受信部３９０Ａは、通信路５４０Ａを利用して会議サーバ装置１００から映像品質制御信号を受信する。映像品質制御信号受信部３９０Ａは、映像品質制御信号のＩＰペイロード部分から映像符号化制御パラメータ１０３０Ａを抽出し、抽出した映像符号化制御パラメータ１０３０Ａをエンコード部３２０Ａへ出力する。

次に、会議サーバ装置１００と、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄにおける処理の一例として、各会議クライアント装置により会議サーバ装置１００内部で管理しているレイアウト情報に変更が加えられることにより、各会議クライアント装置の送出する映像の品質が動的に制御される様子を示す。なお、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄを、識別番号１、２、３、４で区別する。

会議が開始した直後においては、図１１に示すように、レイアウト情報記憶部１４０に格納される各会議クライアント装置のレイアウト情報は、いずれもデフォルトのレイアウト情報１０７０Ａ、１０７０Ｂ、１０７０Ｃ、１０７０Ｄに設定される。レイアウト情報１０７０Ａ、１０７０Ｂ、１０７０Ｃ、１０７０Ｄは、すべて映像のサイズが等しく（（Ｗ，Ｈ）＝（５０，５０））、互いに重ならないよう配置されている。このレイアウト情報を元に映像合成部１５０で映像の合成が行われ、各会議クライアント装置の表示部３６０Ａ、３６０Ｂ、３６０Ｃ、３６０Ｄには、図１２のように、各会議参加者の映像サイズの等しい合成画面が表示される。また、デフォルトとして、各会議クライアント装置のエンコード部３２０Ａ、３２０Ｂ、３２０Ｃ、３２０Ｄにおいて、符号化を行う際の映像符号化制御パラメータは、図１３のように、いずれも解像度が６４０×４８０、フレームレートが３０ｆｐｓに設定される。

次に、会議に参加している各ユーザが、自身のレイアウト情報に変更を加えた状況を考える。会議に参加しているユーザはそれぞれ、ユーザ・インターフェース部３７０Ａ、３７０Ｂ、３７０Ｃ、３７０Ｄを利用して、自分が現在見ている合成映像のレイアウトに変更を加えることができる。いま、各ユーザの操作によって、図１４に示すようなレイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄが指定されたとする。これらのレイアウト情報は、各会議クライアント装置のレイアウト制御信号送信部３８０Ａ、３８０Ｂ、３８０Ｃ、３８０Ｄ、および、通信路５３０Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄを通じて会議サーバ装置１００へ送出される。そしてレイアウト制御信号受信部１３０を通じてレイアウト情報記憶部１４０に格納されると、映像合成部１５０はこのレイアウト情報を参照して図１５のように映像合成を行う。それとともに、レイアウト制御信号受信部１３０から判定値算出部１８０に対し、各会議クライアント装置に関わる判定値の算出要求が入力される。判定値算出部１８０は判定値の算出要求が入力されると、レイアウト情報記憶部１４０からレイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄを取得し、この情報に基づいて、各会議クライアント装置に対する判定値を図１６のように算出する。たとえば会議クライアント装置３００Ａに対する判定値は以下のように算出される。まず、取得したレイアウト情報のうち、３００Ａから取得したもの以外のレイアウト情報、つまり１０８０Ｂ、１０８０Ｃ、１０８０Ｄに注目する。この中で、識別番号が１（＝３００Ａの識別番号）に相当する行に注目し、この行に含まれる映像の横方向の長さ（Ｗ）を抽出する。この場合、１０８０Ｂから抽出したＷ値は２５、１０８０Ｃから抽出したＷ値は２５、１０８０Ｄから抽出したＷ値は２５となる。そして、これら３つの値の中で最大のものを３００Ａの判定値１０９０Ａとする。このような処理を、判定値算出部１８０は、他の会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄに関しても行う。会議クライアント装置３００Ｂの場合、レイアウト情報１０８０Ａ、１０８０Ｃ、１０８０Ｄから抽出したＷ値は、それぞれ、５０、１００、１００となるから、３００Ｂの判定値１０９０Ｂは１００と算出される。会議クライアント装置３００Ｃの場合、レイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｄから抽出したＷ値は、それぞれ、５０、１００、２５となるから、３００Ｃの判定値１０９０Ｃは１００と算出される。会議クライアント装置３００Ｄの場合、レイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃから抽出したＷ値は、それぞれ、５０、２５、２５となるから、３００Ｄの判定値１０９０Ｄは５０と算出される。判定値算出部１８０は、以上のように算出した判定値１０９０Ａ、１０９０Ｂ、１０９０Ｃ、１０９０Ｄを映像品質制御部１９０へそれぞれ入力する。

各判定値を受け取った映像品質制御部１９０は、判定値から映像符号化制御パラメータへの変換を行う。映像品質制御部１９０は内部に図８のような判定値と映像符号化制御パラメータの対応テーブルを保持しており、この対応テーブルを参照して映像符号化制御パラメータを図１７のように算出する。たとえば判定値１０９０Ａの場合、これに対応する映像符号化制御パラメータ１１００Ａは、解像度が３２０×２４０ドット、フレームレートが１５ｆｐｓと算出される。判定値１０９０Ｂ、１０９０Ｃ、１０９０Ｄに対応する映像符号化制御パラメータ１１００Ｂ、１１００Ｃ、１１００Ｄについても同様に、図１７に示すとおりに算出される。

映像符号化制御パラメータ１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄが算出されると、これらの値は、映像品質情報送信部２００、および通信路５４０Ａ、５４０Ｂ、５４０Ｃ、５４０Ｄを通じて各会議クライアント装置へ送出される。

会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄは、それぞれ、映像符号化制御パラメータ１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄを受信する。これらの映像符号化制御パラメータは、それぞれ、エンコード部３２０Ａ、３２０Ｂ、３２０Ｃ、３２０Ｄへ入力され、これにしたがって符号化の際の映像品質が調整される。今回の場合、デフォルトの映像符号化制御パラメータと比べて、会議クライアント装置３００Ａの送信する映像の映像符号化制御パラメータ１１００Ａに変更が加えられたことになる。（１１００Ｂ、１１００Ｃ、１１００Ｄは、図１３に示すデフォルトのパラメータと結果的に変わらない。）つまりこの場合、会議クライアント装置３００Ａの映像に対し、他の会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄは、この映像を他と比べて小さなサイズで表示していることから、３００Ａの判定値が低いと見なしたことになる。このため、エンコード部３２０Ａでのカメラ映像符号化の映像品質が下げられ、結果、通信路５１０Ａを利用して伝送されるデータ量の節約が図られたことになる。

以降、各ユーザからレイアウト情報の変更の指示がなされると、その毎に、以上と同様にして各会議クライアント装置のカメラ映像符号化の映像品質が調整される。

以上、本発明の第１の実施の形態として、会議サーバ装置１００および会議クライアント装置３００Ａ〜３００Ｄの詳細な内部構成と動作について説明した。本発明により、会議に参加する複数のクライアントの映像の参照状況に基づいて、クライアントからサーバへ送信する映像データの制御を行い、通信帯域幅を節約することが可能となる。

（第２の実施の形態）
以下、本発明の第２の実施の形態を、図１、および、図３から図１８を参照して説明する。

図１に本発明を適用した多地点テレビ会議システムのシステム構成を示す。図１は会議サーバ装置１００と４台の会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄから構成される。会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄは、それぞれネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを介して会議サーバ装置１００と接続されている。

会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄはそれぞれカメラ装置３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｄを備えている。各会議クライアント装置は、カメラ装置を使って撮影した映像データを、ネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて会議サーバ装置１００へ送信する機能を備えている。また会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄは、会議サーバ装置１００から送信された映像データを受信し、それぞれの表示装置３６０Ａ、３６０Ｂ、３６０Ｃ、３６０Ｄに表示する機能を備えている。またネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて、会議サーバ装置１００に制御情報を送信する機能を備えている。

会議サーバ装置１００は、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄから送信された映像データを受信する機能を備えている。また、受信した複数の映像データを一つの映像に合成する機能を備えている。なお映像合成の際には、複数の映像合成を、各会議クライアント装置ごとに独立して行うことができる。また、ネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄに合成映像をそれぞれ送信する機能を備えている。また同様にネットワーク５００Ａ、５００Ｂ、５００Ｃ、５００Ｄを通じて、各会議クライアント装置に制御信号を送信する機能を備えている。

次に、図１８を用いて、会議サーバ装置と会議クライアント装置において本発明に関わる内部構成要素を示す。会議サーバ装置における内部構成要素、会議クライアント装置における内部構成要素により表される機能はプログラムをコンピュータに実行させることによって実現してもよいしハードウェア的に実現してもよい。

会議サーバ装置１００は、その構成要素として、通信路５１０Ａを利用して映像データの受信を行う映像受信部１１０と、映像データの復号化を行うデコード部１２０と、通信路５３０Ａを利用してレイアウト制御信号の受信を行うレイアウト制御信号受信部１３０と、レイアウト制御信号から解析して得られたレイアウト情報を格納するレイアウト情報記憶部１４０と、映像の合成処理を行う映像合成部１５０と、合成映像の符号化を行うエンコード部１６０と、通信路５２０Ａを利用して映像データの送信を行う映像送信部１７０と、通信路５４０Ａを利用してレイアウト情報通知信号の送信を行うレイアウト情報通知信号送信部２１０とを有している。なお、以下で示す会議サーバ装置１００の各内部構成要素の動作は、会議クライアント装置３００Ａとの間で行われる処理について説明しているが、会議クライアント装置３００Ａとの間に限らず、３００Ｂ、３００Ｃ、３００Ｄとの間についても同様にして行われる。

会議クライアント装置３００Ａは、その構成要素として、カメラ部３１０Ａと、合成映像の符号化を行うエンコード部３２０Ａと、通信路５１０Ａを通じて映像データの送信を行う映像送信部３３０Ａと、通信路５２０Ａを利用して映像データの受信を行う映像受信部３４０Ａと、映像データの復号化を行うデコード部３５０Ａと、映像の表示を行う表示部３６０Ａと、ユーザ・インターフェース部３７０Ａと、通信路５３０Ａを利用してレイアウト制御信号の送信を行うレイアウト制御信号送信部３８０Ａと、通信路５４０Ａを利用してレイアウト情報通知信号の受信を行うレイアウト情報通知信号受信部２２０Ａと、前記レイアウト情報から判定値の算出を行う判定値算出部１８０Ａと、前記判定値から映像符号化制御パラメータを算出する映像品質制御部１９０Ａとを有している。なお、図１８では会議クライアント装置３００Ａを１台だけ記載しているが、会議サーバ装置１００にはこの他にも会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄが接続されており、それぞれは会議クライアント装置３００Ａと同様の内部構成要素を持つものとする。

以下、会議サーバ装置１００の内部構成要素について詳細に説明する。

映像受信部１１０は、第１の実施の形態で説明した映像受信部１１０と同じ動作を行うものとする。

デコード部１２０は、第１の実施の形態で説明したデコード部１２０と同じ動作を行うものとする。

レイアウト制御信号受信部１３０は、通信路５３０Ａを利用して会議クライアント装置３００Ａからレイアウト制御信号を受信する。レイアウト制御信号は、ＩＰヘッダ部とＩＰペイロード部からなるＩＰパケットとして送信するものとし、ＩＰヘッダ部にはレイアウト制御信号の送信元の会議クライアント装置３００ＡのＩＰアドレスが含まれ、またＩＰペイロード部には、会議クライアント装置３００Ａにおいて指定されたレイアウト情報１０００Ａが含まれる。レイアウト制御信号受信部１３０はレイアウト制御信号を解析し、ＩＰヘッダ部に含まれる送信元ＩＰアドレスから、レイアウト制御信号の送信元である会議クライアント装置３００Ａを特定し、またＩＰペイロード部からレイアウト情報１０００Ａを抽出する。

ここでレイアウト情報とは、図３に示すように、第１の実施の形態で説明した識別番号・合成位置・合成サイズ・前後方向の相対位置の値の組と同じものとする。もちろん、これに限らず、たとえば合成切り取り位置・合成切り取りサイズ等を含んでいてもよい。合成切り取り位置・合成切り取りサイズの定義は、第１の実施の形態で説明した定義と同じとする。レイアウト制御信号受信部１３０は、レイアウト情報１０００Ａを抽出すると、レイアウト情報記憶部１４０へこれを出力するとともに、レイアウト情報通知信号送信部２１０へ３００Ｂ、３００Ｃ、３００Ｄのそれぞれに関わるレイアウト情報通知信号の送信要求を出力する。

レイアウト情報記憶部１４０は、レイアウト制御信号受信部１３０からレイアウト情報１０００Ａが入力されると、入力されたレイアウト情報１０００Ａを記憶する。もしこの状態で、会議クライアント装置３００Ａから入力が新たに行われた場合は、レイアウト情報１０００Ａを新しい入力値で更新する。また、レイアウト情報記憶部１４０は、映像合成部１５０からレイアウト情報１０００Ａの取得要求が入力されると、記憶しているレイアウト情報１０００Ａを映像合成部１５０へ出力する。また、レイアウト情報記憶部１４０は、会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄからレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄが入力されると、同様にこれらのレイアウト情報を記憶する。また、レイアウト情報記憶部１４０は、レイアウト情報通知信号送信部２１０から３つのレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄの取得要求が入力されると、記憶しているレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄをレイアウト情報通知信号送信部２１０へ出力する。

映像合成部１５０は、第１の実施の形態で説明した映像合成部１５０と同じ動作を行うものとする。

エンコード部１６０は、第１の実施の形態で説明したエンコード部１６０と同じ動作を行うものとする。

映像送信部１７０は、第１の実施の形態で説明した映像送信部１７０と同じ動作を行うものとする。

レイアウト情報通知信号送信部２１０は、レイアウト制御信号受信部１３０からレイアウト情報の送信要求が入力されると、レイアウト情報記憶部１４０に、３００Ａを除いた３つの会議クライアント装置のレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄの取得要求を出力する。レイアウト情報記憶部１４０から、図６のような３つのレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄが入力されると、これらのレイアウト情報に対し、送信先の会議クライアント装置３００ＡのＩＰアドレス等を含んだＩＰヘッダを付加しＩＰパケットを生成する。このＩＰパケットをレイアウト情報通知信号と呼ぶ。レイアウト情報通知信号送信部２１０はレイアウト情報通知信号を生成すると、通信路５４０Ａを利用してこれを会議クライアント装置３００Ａへ送信する。

次に、会議クライアント装置３００Ａの内部構成要素について詳細に説明する。

カメラ部３１０Ａは、第１の実施の形態で説明したカメラ部３１０Ａと同じ動作を行うものとする。

エンコード部３２０Ａは、映像符号化制御パラメータを内部に保持し、第１の実施の形態で説明したエンコード部３２０Ａと同じ動作を行うものとする。

映像送信部３３０Ａは、通信路５１０Ａを利用して第１の実施の形態で説明した映像送信部３３０Ａと同じ動作を行うものとする。

映像受信部３４０Ａは、通信路５２０Ａを利用して、第１の実施の形態で説明した映像受信部３４０Ａと同じ動作を行うものとする。

デコード部３５０Ａは、第１の実施の形態で説明したデコード部３５０Ａと同じ動作を行うものとする。

表示部３６０Ａは、第１の実施の形態で説明した表示部３６０Ａと同じ動作を行うものとする。

ユーザ・インターフェース部３７０Ａは、第１の実施の形態で説明したユーザ・インターフェース部３７０Ａと同様の入力装置を有し、同様の動作を行うものとする。

レイアウト制御信号送信部３８０Ａは、通信路５３０Ａを利用して第１の実施の形態で説明したレイアウト制御信号送信部３８０Ａと同じ動作を行うものとする。

レイアウト情報通知信号受信部２２０Ａは、通信路５４０Ａを利用して会議サーバ装置１００からレイアウト情報通知信号を受信する。レイアウト情報通知信号受信部２２０Ａは、レイアウト情報通知信号のＩＰペイロード部分から、３つの会議クライアント装置のレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄを抽出し、抽出したレイアウト情報を判定値算出部１８０Ａへ出力する。

判定値算出部１８０Ａは、レイアウト情報通知信号受信部２２０Ａから３つのレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄが入力されると、これらのレイアウト情報にもとづいて、図１６に示すような判定値１０９０Ａを算出する。判定値１０９０Ａとは、会議クライアント装置３００Ａの送出するカメラ映像が、他の会議クライアント装置のユーザからどれだけ注目を受けているかの度合いを表す。ここでは、判定値１０９０Ａを、会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄがそれぞれ見ている合成映像上の３００Ａの映像の横方向の長さ（Ｗ）の中の最大値と定義する。つまり、図６の中のレイアウト情報１０００Ｂ、１０００Ｃ、１０００Ｄの中で、識別番号が１（＝３００Ａの識別番号）に等しい行に注目し、その中で最大のＷ値を選びこれを判定値１０９０Ａと定める。なお、本実施の形態では１０００Ａを除く３つのレイアウト情報に基づいて判定値を算出したが、１０００Ａを含めた４つのレイアウト情報に基づいた上で判定値を算出してもよい。つまり、レイアウト情報通知信号送信部２１０からのレイアウト情報通知信号が４つのレイアウト情報１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄを含んでおり、これら４つのレイアウト情報の３００ＡのＷ値の最大値を判定値１０９０Ａと定義してもよい。判定値算出部１８０Ａは、判定値１０９０Ａを算出すると、それを映像品質制御部１９０Ａへ出力する。

映像品質制御部１９０Ａは、判定値算出部１８０Ａから判定値１０９０Ａが入力されると、映像符号化制御パラメータ１０３０Ａを算出する。映像符号化制御パラメータ１０３０Ａは、会議クライアント装置３００Ａのエンコード部３２０Ａでカメラ映像を符号化する際に使用される値で、ここでは符号化の際の解像度とフレームレートを規定している。映像符号化制御パラメータ１０３０Ａの算出の際には、図８および図９に示すように、映像品質制御部１９０Ａが判定値と映像符号化制御パラメータの対応テーブルを内部に保持しており、適宜参照して算出を行う。通常、判定値１０９０Ａの値の大きさに応じて、映像符号化制御パラメータ１０３０Ａに含まれる解像度とフレームレートの値は大きくなり、より高品質の映像に相当することになる。映像符号化制御パラメータ１０３０Ａを算出すると、映像品質制御部１９０Ａはこのパラメータをエンコード部３２０Ａへ出力する。

次に、会議サーバ装置１００と、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄにおける処理の一例として、各会議クライアント装置により会議サーバ装置１００内部で管理しているレイアウト情報に変更が加えられることにより、各会議クライアント装置の送出する映像の品質が動的に制御される様子を示す。なお、会議クライアント装置３００Ａ、３００Ｂ、３００Ｃ、３００Ｄを、識別番号１、２、３、４で区別する。

会議が開始した直後においては、図１１に示すように、レイアウト情報記憶部１４０に格納される各会議クライアント装置のレイアウト情報は、いずれもデフォルトのレイアウト情報１０７０Ａ、１０７０Ｂ、１０７０Ｃ、１０７０Ｄに設定される。レイアウト情報１０７０Ａ、１０７０Ｂ、１０７０Ｃ、１０７０Ｄは、すべて映像のサイズが等しく（（Ｗ，Ｈ）＝（５０，５０））、互いに重ならないよう配置されている。このレイアウト情報を元に映像合成部１５０で映像の合成が行われ、各会議クライアント装置の表示部３６０Ａ、３６０Ｂ、３６０Ｃ、３６０Ｄには、図１２のように、各会議参加者の映像サイズの等しい合成画面が表示される。また、デフォルトとして、各会議クライアント装置のエンコード部３２０Ａ、３２０Ｂ、３２０Ｃ、３２０Ｄにおいて、符号化を行う際の映像符号化制御パラメータは、図１３のように、いずれも解像度が６４０×４８０、フレームレートが３０ｆｐｓに設定される。

次に、会議に参加している各ユーザが、自身のレイアウト情報に変更を加えた状況を考える。会議に参加しているユーザはそれぞれ、ユーザ・インターフェース部３７０Ａ、３７０Ｂ、３７０Ｃ、３７０Ｄを利用して、自分が現在見ている合成映像のレイアウトに変更を加えることができる。いま、各ユーザの操作によって、図１４に示すようなレイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄが指定されたとする。これらのレイアウト情報は、各会議クライアント装置のレイアウト制御信号送信部３８０Ａ、３８０Ｂ、３８０Ｃ、３８０Ｄ、および、通信路５３０Ａ、５３０Ｂ、５３０Ｃ、５３０Ｄを通じて会議サーバ装置１００へ送出される。そしてレイアウト制御信号受信部１３０を通じてレイアウト情報記憶部１４０に格納されると、映像合成部１５０はこのレイアウト情報を参照して図１５のように映像合成を行う。それとともに、レイアウト制御信号受信部１３０はレイアウト情報通知信号送信部２１０に対し、各会議クライアント装置に関わるレイアウト情報通知信号の送信要求を出力する。レイアウト情報通知信号送信部２１０は、たとえば会議クライアント装置３００Ａへのレイアウト情報通知信号の送信要求が入力された場合、１０８０Ａを除いた３つのレイアウト情報１０８０Ｂ、１０８０Ｃ、１０８０Ｄをレイアウト情報記憶部１４０から取得し、これらの情報を、通信路５４０Ａを通じて会議クライアント装置３００Ａに送出する。同様に、会議クライアント装置３００Ｂへのレイアウト情報通知信号の送信要求が入力された場合は、レイアウト情報１０８０Ａ、１０８０Ｃ、１０８０Ｄを取得し３００Ｂに送出し、３００Ｃへのレイアウト情報通知信号の送信要求が入力された場合は、レイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｄを取得し３００Ｂに送出し、会議クライアント装置３００Ｄへのレイアウト情報通知信号の送信要求が入力された場合は、レイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃを取得し３００Ｄに送出する。

各会議クライアント装置は、会議サーバ装置１００からレイアウト情報を受け取ると、それをレイアウト情報通知信号受信部２２０Ａを通じて、判定値算出部１８０Ａに入力し判定値を算出する。たとえば会議クライアント装置３００Ａの場合、図１６のように、３００Ａに対する判定値は以下のように算出される。会議クライアント装置３００Ａが受信するレイアウト情報は、１０８０Ｂ、１０８０Ｃ、１０８０Ｄの３つである。まず、取得したレイアウト情報の中で、識別番号が１（＝３００Ａの識別番号）に相当する行に注目し、この行に含まれる映像の横方向の長さ（Ｗ）を抽出する。この場合、１０８０Ｂから抽出したＷ値は２５、１０８０Ｃから抽出したＷ値は２５、１０８０Ｄから抽出したＷ値は２５となる。そして、これら３つの値の中で最大のもの、つまり２５を会議クライアント装置３００Ａの判定値１０９０Ａとする。判定値算出部１８０Ａは、判定値１０９０Ａを算出すると、これを映像品質制御部１９０Ａへ入力する。

映像品質制御部１９０Ａは判定値１０９０Ａを受け取ると、判定値から映像符号化制御パラメータへの変換を行う。映像品質制御部１９０Ａは内部に図８のような判定値と映像符号化制御パラメータの対応テーブルを保持しており、この対応テーブルを参照して映像符号化制御パラメータを図１７のように算出する。たとえば会議クライアント装置３００Ａの場合、これに対応する映像符号化制御パラメータ１１００Ａは、解像度が３２０×２４０ドット、フレームレートが１５ｆｐｓと算出される。

映像符号化制御パラメータ１１００Ａが算出されると、この値はエンコード部３２０Ａへ入力され、これにしたがって符号化の際の映像品質が調整される。

このような処理を、他の会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄも同様に行う。会議クライアント装置３００Ｂの場合、受け取ったレイアウト情報１０８０Ａ、１０８０Ｃ、１０８０Ｄから抽出したＷ値は、それぞれ、５０、１００、１００であるから、自身の判定値１０９０Ｂを１００と算出し、エンコード部３２０Ｂで行われる映像符号化を、パラメータ１１００Ｂにしたがって、解像度が６４０×４８０ドット、フレームレートが３０ｆｐｓとなるように調整する。会議クライアント装置３００Ｃの場合、受け取ったレイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｄから抽出したＷ値は、それぞれ、５０、１００、２５であるから、自身の判定値１０９０Ｃを１００と算出し、エンコード部３２０Ｃで行われる映像符号化を、パラメータ１１００Ｃにしたがって、解像度が６４０×４８０ドット、フレームレートが３０ｆｐｓとなるように調整する。会議クライアント装置３００Ｄの場合、受け取ったレイアウト情報１０８０Ａ、１０８０Ｂ、１０８０Ｃから抽出したＷ値は、それぞれ、５０、２５、２５であるから、自身の判定値１０９０Ｄを５０と算出し、エンコード部３２０Ｄで行われる映像符号化を、パラメータ１１００Ｄにしたがって、解像度が６４０×４８０ドット、フレームレートが３０ｆｐｓとなるように調整する。

今回の場合、デフォルトの映像符号化制御パラメータと比べて、会議クライアント装置３００Ａの送信する映像の映像符号化制御パラメータ１１００Ａに変更が加えられたことになる。（１１００Ｂ、１１００Ｃ、１１００Ｄは、図１３に示すデフォルトのパラメータと結果的に変わらない。）つまりこの場合、会議クライアント装置３００Ａの映像に対し、他の会議クライアント装置３００Ｂ、３００Ｃ、３００Ｄは、この映像を他と比べて小さなサイズで表示していることから、会議クライアント装置３００Ａの判定値が低いと見なしたことになる。このため、エンコード部３２０Ａでのカメラ映像符号化の映像品質が下げられ、結果、通信路５１０Ａを利用して伝送されるデータ量の節約が図られたことになる。

以降、各ユーザからレイアウト情報の変更の指示がなされると、その毎に、以上と同様にして各会議クライアント装置のカメラ映像符号化の映像品質が調整される。

以上、本発明の第２の実施の形態として、会議サーバ装置１００および会議クライアント装置３００Ａ〜３００Ｄの詳細な内部構成と動作について説明した。第１の実施の形態とは異なる構成だが、本発明により、会議に参加する複数のクライアントの映像の参照状況に基づいて、クライアントからサーバへ送信する映像データの制御を行い、通信帯域幅を節約することが同様に可能となる。

多地点テレビ会議システムの概略図。 本発明の第１の実施の形態に係る会議サーバ装置、会議クライアント装置の構成を示すブロック図。 本発明の第１の実施の形態に係るレイアウト情報例１を示す図。 本発明の第１の実施の形態に係る合成映像例１を示す図。 本発明の第１の実施の形態に係る合成映像内の座標軸を示す図。 本発明の第１の実施の形態に係るレイアウト情報例２を示す図。 本発明の第１の実施の形態に係る判定値例１を示す図。 本発明の第１の実施の形態に係る、判定値と映像符号化制御パラメータの対応テーブルを示す図。 本発明の第１の実施の形態に係る映像符号化制御パラメータ例を示す図。 本発明の第１の実施の形態に係るレイアウトのパターン例を示す図。 本発明の第１の実施の形態に係るレイアウト情報例３を示す図。 本発明の第１の実施の形態に係る表示画面例１を示す図。 本発明の第１の実施の形態に係る映像符号化制御パラメータ例２を示す図。 本発明の第１の実施の形態に係るレイアウト情報例４を示す図。 本発明の第１の実施の形態に係る表示画面例１を示す図。 本発明の第１の実施の形態に係る判定値例２を示す図。 本発明の第１の実施の形態に係る映像符号化制御パラメータ例３を示す図。 本発明の第２の実施の形態にかかる会議サーバ装置、会議クライアント装置の構成を示すブロック図。

符号の説明

１００ … 会議サーバ装置
１１０ … 映像受信部
１２０ … デコード部
１３０ … レイアウト制御信号受信部
１４０ … レイアウト情報記憶部
１５０ … 映像合成部
１６０ … エンコード部
１７０ … 映像送信部
１８０、１８０Ａ … 判定値算出部
１９０、１９０Ａ … 映像品質制御部
２００ … 映像品質情報送信部
２１０ … レイアウト情報通知信号送信部
２２０Ａ … レイアウト情報通知信号受信部
３００Ａ、３００Ｂ、３００Ｃ、３００Ｄ … 会議クライアント装置
３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｄ … カメラ部
３２０Ａ、３２０Ｂ、３２０Ｃ、３２０Ｄ … エンコード部
３３０Ａ … 映像送信部
３４０Ａ … 映像受信部
３５０Ａ … デコード部
３６０Ａ、３６０Ｂ、３６０Ｃ、３６０Ｄ … 表示部
３７０Ａ、３７０Ｂ、３７０Ｃ、３７０Ｄ … ユーザ・インターフェース部
３８０Ａ、３８０Ｂ、３８０Ｃ、３８０Ｄ … レイアウト制御信号送信部
３９０Ａ … 映像品質制御信号受信部
５００Ａ、５００Ｂ、５００Ｃ、５００Ｄ … ネットワーク
５１０Ａ、５２０Ａ、５３０Ａ、５４０Ａ … 通信路
１０００Ａ、１０００Ｂ、１０００Ｃ、１０００Ｄ … レイアウト情報
１０１０Ａ … 合成映像
１０２０Ａ、１０２０Ｂ、１０２０Ｃ、１０２０Ｄ … 判定値
１０３０Ａ … 映像符号化制御パラメータ
１０４０Ａ、１０５０Ａ、１０６０Ａ … レイアウトパターン
１０７０Ａ、１０７０Ｂ、１０７０Ｃ、１０７０Ｄ … レイアウト情報
１０８０Ａ、１０８０Ｂ、１０８０Ｃ、１０８０Ｄ … レイアウト情報
１０９０Ａ、１０９０Ｂ、１０９０Ｃ、１０９０Ｄ … 判定値
１１００Ａ、１１００Ｂ、１１００Ｃ、１１００Ｄ … 映像符号化制御パラメータ

Claims (21)

1. 第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置から、第１〜第Ｎの映像をそれぞれ表す第１〜第Ｎの符号化映像データを受信する映像受信手段と、
   前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを出力する復号手段と、
   前記第１〜第Ｎの映像を合成して得る１つの合成映像における前記第１〜第Ｎの映像のレイアウトをそれぞれ示す第１〜第Ｎのレイアウト情報を、前記第１〜第Ｎの映像表示装置から受信するレイアウト情報受信手段と、
   受信された前記第１〜第Ｎのレイアウト情報を記憶するレイアウト情報記憶手段と、
   前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を前記第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成する映像合成手段と、
   前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置へ送信する映像送信手段と、
   前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出する判定値算出手段と、
   算出した前記判定値から前記第１の映像表示装置で適用すべき符号化パラメータを決定する映像品質制御手段と、
   決定した前記符号化パラメータを前記第１の映像表示装置へ送信する映像品質制御信号送信手段と、
   を備えた映像合成装置。
2. 前記判定値算出手段は、前記第２〜第Ｎのレイアウト情報における前記第１の映像のサイズに基づいて前記判定値を算出することを特徴とする請求項１に記載の映像合成装置。
3. 前記第２〜第Ｎのレイアウト情報における前記第１の映像のサイズのうち最も大きいものまたは最も小さいものに基づいて前記判定値を算出することを特徴とする請求項２に記載の映像合成装置。
4. 前記第１〜第Ｎのレイアウト情報は、前記第１の映像からの切り取りサイズを含み、前記判定値算出手段は、前記第２〜第Ｎのレイアウト情報における前記第１の映像からの切り取りサイズに基づき前記判定値を算出することを特徴とする請求項１に記載の映像合成装置。
5. 前記判定値算出手段は、前記第２〜第Ｎのレイアウト情報における前記第１の映像からの切り取りサイズのうち最も小さいものまたは最も大きいものに基づいて前記判定値を算出することを特徴とする請求項４に記載の映像合成装置。
6. 前記第１〜第Ｎのレイアウト情報はそれぞれ、前記第１〜第Ｎの映像の階層情報を含み、前記判定値算出手段は、前記第２〜第Ｎのレイアウト情報における前記第１の映像の階層に基づいて前記判定値を算出することを特徴とする請求項１に記載の映像合成装置。
7. 前記判定値算出手段は、前記第２〜第Ｎのレイアウト情報における前記第１の映像の階層のうち最も小さいものまたは最も大きいものに基づいて前記判定値を算出することを特徴とする請求項６に記載の映像合成装置。
8. 前記映像品質制御手段は、前記判定値と前記符号化パラメータとを対応づけたテーブルを有し、前記テーブルに基づいて前記符号化パラメータを決定することを特徴とする請求項１ないし７のいずれかに記載の映像合成装置。
9. 前記符号化パラメータは解像度およびフレームレートのうちの少なくとも一方を含むことを特徴とする請求項１ないし８のいずれかに記載の映像合成装置。
10. 映像データを生成する映像生成手段と、
    前記映像データを符号化パラメータに従って符号化して符号化映像データを出力する符号化手段と、
    前記符号化映像データを映像合成装置へ送信する映像送信手段と、
    映像合成のためのレイアウト情報を前記映像合成装置へ送信するレイアウト情報送信手段と、
    合成映像データを受信する映像受信手段と、
    前記合成映像データを表示する表示手段と、
    他の１つ以上の映像表示装置がそれぞれ使用しているレイアウト情報を受信するレイアウト情報受信手段と、
    受信した各前記レイアウト情報における自装置の映像のレイアウトから自装置に対する判定値を算出する判定値算出手段と、
    算出した前記判定値から適用すべき符号化パラメータを決定し、決定した符号化パラメータを前記符号化手段に通知する映像品質制御手段と、
    を備えた映像表示装置。
11. 前記判定値算出手段は、受信した各前記レイアウト情報における前記自装置の映像のサイズに基づいて前記判定値を算出することを特徴とする請求項１０に記載の映像表示装置。
12. 受信した各前記レイアウト情報における前記自装置の映像のサイズのうち最も大きいものまたは最も小さいものに基づいて前記判定値を算出することを特徴とする請求項１１に記載の映像表示装置。
13. 受信した各前記レイアウト情報は、前記映像データが表す映像からの切り取りサイズを含み、前記判定値算出手段は、各前記レイアウト情報における前記切り取りサイズに基づき前記判定値を算出することを特徴とする請求項１０に記載の映像表示装置。
14. 前記判定値算出手段は、各前記レイアウト情報における前記映像の切り取りサイズのうち最も小さいものまたは最も大きいものに基づいて前記判定値を算出することを特徴とする請求項１３に記載の映像表示装置。
15. 各前記レイアウト情報は、合成すべき複数の映像の階層情報を含み、前記判定値算出手段は、各前記レイアウト情報における前記自装置の映像の階層に基づいて前記判定値を算出することを特徴とする請求項１０に記載の映像表示装置。
16. 前記判定値算出手段は、各前記レイアウト情報における前記自装置の映像の階層のうち最も小さいものまたは最も大きいものに基づいて前記判定値を算出することを特徴とする請求項１５に記載の映像表示装置。
17. 前記映像品質制御手段は、前記判定値と前記符号化パラメータとを対応づけたテーブルを有し、前記テーブルに基づいて前記符号化パラメータを決定することを特徴とする請求項１０ないし１６のいずれかに記載の映像表示装置。
18. 前記符号化パラメータは解像度およびフレームレートのうちの少なくとも一方を含むことを特徴とする請求項１０ないし１７のいずれかに記載の映像表示装置。
19. 第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置において第１〜第Ｎの映像データを生成し、
    前記第１〜第Ｎの映像データを第１〜第Ｎの符号化パラメータに従って符号化して第１〜第Ｎの符号化映像データを生成し、
    前記第１〜第Ｎの符号化映像データを映像合成装置に送信し、
    映像合成のための第１〜第Ｎのレイアウト情報を前記映像合成装置に送信し、
    前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを生成し、
    前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を前記第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成し、
    前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置に送信し、
    前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出し、
    算出した前記判定値から前記第１の映像表示装置で適用すべき前記第１の符号化パラメータを決定する、
    映像合成方法。
20. 第１〜第Ｎ（Ｎは２以上の整数）の映像表示装置から第１〜第Ｎの符号化映像データを受信するステップと、
    前記第１〜第Ｎの符号化映像データを復号して第１〜第Ｎの復号化映像データを出力するステップと、
    前記第１〜第Ｎの映像表示装置から映像合成用の第１〜第Ｎのレイアウト情報を受信するステップと、
    受信された前記第１〜第Ｎのレイアウト情報を記憶するステップと、
    前記第１〜第Ｎの復号化映像データが表す第１〜第Ｎの映像を前記第１〜第Ｎのレイアウト情報にしたがって合成して第１〜第Ｎの合成映像を生成するステップと、
    前記第１〜第Ｎの合成映像を前記第１〜第Ｎの映像表示装置へ送信するステップと、
    前記第１〜第Ｎのレイアウト情報のうち少なくとも前記第２〜第Ｎのレイアウト情報における前記第１の映像のレイアウトに基づき、前記第１の映像表示装置に対する判定値を算出するステップと、
    算出した前記判定値から前記第１の映像表示装置で適用すべき符号化パラメータを決定するステップと、
    決定した前記符号化パラメータを前記第１の映像表示装置へ送信するステップと、
    をコンピュータに実行させるためのプログラム。
21. 映像データを生成するステップと、
    前記映像データを符号化パラメータに従って符号化して符号化映像データを出力するステップと、
    前記符号化映像データを映像合成装置へ送信するステップと、
    映像合成のためのレイアウト情報を前記映像合成装置へ送信するステップと、
    合成映像データを受信するステップと、
    前記合成映像データを表示するステップと、
    他の１つ以上の映像表示装置がそれぞれ使用しているレイアウト情報を受信するステップと、
    受信した各前記レイアウト情報における自装置の映像のレイアウトから自装置に対する判定値を算出するステップと、
    算出した前記判定値から適用すべき符号化パラメータを決定するステップと、
    を映像表示装置に実行させるためのプログラム。

Images