JP2008085677A - 情報制御装置、情報合成装置及びプログラム - Google Patents

Abstract

【課題】複数の情報合成装置で情報の合成を行うための設定作業の負担を軽減させる。
【解決手段】会議制御装置が、各映像合成装置から、当該映像合成装置が専用回線で接続される他の映像合成装置を識別する第１の識別子と、当該情報合成装置を識別する第２の識別子と、を受信する受信部と、各映像合成装置から受信した第１の識別子と、第２の識別子と、を対応付けて保持する保持部と、複数の映像合成装置のうち第１の映像合成装置から受信した第１の識別子及び第２の識別子と、複数の映像合成装置のうち第２の映像合成装置から受信した第１の識別子及び第２の識別子とが一致する場合に、第１の映像合成装置に対して複数の会議端末のうち所定の会議端末を割り当て、第２の映像合成装置に対して複数の会議端末のうち他の会議端末を割り当てる割当部と、を備える。
【選択図】 図３

Description

この発明は、端末装置から送信された情報を合成する情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムに関するものである。

従来、複数の会議端末間をネットワークで接続し、各会議端末から送信された映像・音声データを他の会議端末で受信する多地点会議システムが使用されている。

このような多地点会議システムにおいては、メディア合成装置を備えているものが多い。このような多地点会議システムで用いられるメディア合成装置のリソースは有限である。メディア合成装置の例として、各会議端末からの映像データを合成する映像合成装置がある。

この映像合成装置の場合、各会議端末から映像データを受信し、受信した映像データを伸張し、伸張した映像データを合成し、合成した映像データを圧縮し、圧縮した映像データを送信する処理を行う。映像合成装置ではこれらの処理をソフトウエアまたはハードウエアで行うが処理可能な映像数は有限であり、映像合成装置に対して同時に接続可能な会議端末の数は制限される。

このように、映像合成装置は会議端末の収容可能な数が定められており、当該収容可能な数を超えて接続することはできない。しかしながら、映像合成装置単体で収容可能な数を超えて接続したいという要求も多い。

そこで、例えば特許文献１に示すように、映像合成装置（当該特許文献におけるＭＣＵ）同士を、カスケード接続を行うことで、会議の大規模化が実現できる。

また、非特許文献１に示されるテレビ会議システムにおいても、会議端末と接続された複数の映像合成装置間を接続することで、最大１０地点での多地点テレビ会議を行うことが可能となる。

特開平８−８８８４２号公報 「ビデオコミュニケーションシステム取扱説明書（バージョン３．２）」、ソニー、２００３

上述した特許文献１及び非特許文献１では、多地点会議システムでは、メディア合成装置と会議端末とのマッピング、又はメディア合成装置とメディア合成装置のカスケード接続のマッピングは固定されていた。つまり、メディア合成装置毎に接続する会議端末を割り当てやメディア合成装置同士のカスケード接続等を、利用者が手作業で設定する必要がある。このため、メディア合成装置のリソースを有効活用して、多地点会議を実現するためには煩雑な設定が必要という課題があった。

本発明は、上記に鑑みてなされたものであって、多地点会議を実現するための設定作業を軽減させる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムを提供することを目的とする。

本発明は、専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置において、前記各情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第１の識別情報と、当該情報合成装置の識別情報である第２の識別情報と、を受信する受信部と、前記各情報合成装置から受信した前記第１の識別情報と、前記第２の識別情報と、を対応付けて保持する保持部と、前記複数の情報合成装置のうち第１の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、前記複数の情報合成装置のうち第２の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、が一致する場合に、前記第１の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第２の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる割当部と、を備えることを特徴とする。

また、本発明は、情報合成装置であって、他の情報合成装置と二者接続する専用回線を介して前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第１の被合成情報を受信する第１の通信部と、端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信し、前記情報制御装置から前記端末装置の識別情報を受信し、前記端末装置から第２の被合成情報を受信する第２の通信部と、前記第１の被合成情報と前記第２の被合成情報とを合成して合成情報を生成する合成部と、を備えることを特徴とする。

また、本発明は、情報合成装置であって、他の情報合成装置と二者接続する専用回線を介して、前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第１の被合成情報と第２の被合成情報とを受信する第１の通信部と、情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する動作、前記情報制御装置から第１の端末装置の識別情報と前記第１の端末装置用のレイアウト情報と第２の端末装置の識別情報と前記第２の端末装置用のレイアウト情報とを受信する動作、第３の被合成情報を前記第1の端末装置から受信する動作、および第４の被合成情報を前記第２の端末装置から受信する動作、の動作群を、前記第１の端末装置と前記第２の端末装置と前記情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して行う第２の通信部と、前記第１の被合成情報と、前記第４の被合成情報と、を前記第１の端末装置用のレイアウト情報に沿って合成することで、前記第１の端末装置へ送信する第１の合成情報を生成し、前記第２の被合成情報と、前記第３の被合成情報と、を前記第２の端末装置用のレイアウト情報に沿って合成することで、前記第２の端末装置へ送信する第２の合成情報を生成する合成部と、を備えることを特徴とする。

また、本発明のプログラムは、上記情報制御装置としてコンピュータを機能させることを特徴とする。

また、本発明のプログラムは、上記情報合成装置としてコンピュータを機能させることを特徴とする。

本発明により、情報制御装置においては、複数の情報合成装置で情報の合成処理を分担する必要がある場合に、登録された識別情報より、合成処理の分担が可能な複数の情報合成装置を特定できるので、利用者は情報の合成処理を分担させるための設定を行う必要が無く、多地点会議を実現するための設定作業を軽減させることができるという効果を奏する。

また、情報合成装置においては、識別情報などの送信先の情報制御装置において第２の通信経路を介して接続された他の情報合成装置と自情報合成装置とが対応付けて保持されるので、複数の装置で情報の合成を行いたい場合に、情報制御装置が当該合成可能な自情報合成装置と他の情報合成装置とを特定できるので、利用者は情報の合成処理を分担させるための設定を行う必要が無く、多地点会議を実現するための設定作業を軽減させることができるという効果を奏する。

また、情報合成装置においては、当該情報合成装置及び他の情報合成装置が受信した被合成情報を問わず、当該端末装置毎に用意されたレイアウト情報に従って被合成情報の合成処理を行うので、利用者の好みに従った合成情報を提供できるという効果を奏する。

以下に添付図面を参照して、この発明にかかる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムの最良な実施の形態を詳細に説明する。後述する実施形態においては、情報合成装置を映像合成装置に適用し、情報制御装置を会議制御装置に適用した例について説明する。なお、情報合成装置及び情報制御装置は、後述する装置以外の様々な装置に対して適用することができる。

図１は、実施の形態にかかる多地点テレビ会議システムのネットワーク構成の例を示した図である。本図に示すように、多地点テレビ会議システムは、会議端末１２０ａ〜１２０ｄと、映像合成装置１１０ａ〜ｃと、会議制御装置１００と、これらを接続するネットワーク（多重通信網）とから構成される。

会議端末１２０ａ〜１２０ｄは、テレビ会議に参加するための装置であり、参加者を撮影した映像データを映像合成装置に送信し、他の会議端末の参加者を撮影した映像データを映像合成装置から受信し、当該映像データを表示する。

映像合成装置１１０ａ〜ｃは、会議端末１２０ａ〜１２０ｄから送信された映像データの受信処理と、受信した映像データから会議端末毎の映像データの合成処理と、合成した映像データを会議端末１２０ａ〜１２０ｄへの送信処理とを行う。

会議制御装置１００は、会議端末１２０ａ〜１２０ｄが会議を開設する際、各会議端末１２０ａ〜１２０ｄと、映像合成装置１１０ａ〜ｃとの接続制御を行う。

なお、図１では、４台の会議端末１２０ａ〜１２０ｄがネットワークに接続されている場合を示しているが、テレビ会議に参加する会議端末数を制限するものではない。

また、図１に示すように、映像合成装置１１０ａと、映像合成装置１１０ｂとが専用線を用いて1対１に接続され、いわゆる二者接続の専用回線で通信することができるようになっている（以下、クラスタ接続と呼ぶ）。また、映像合成装置１１０ｃは、他の映像合成装置とクラスタ接続されていない単独装置として、多地点テレビ会議システムに備えられている。

また、本実施の形態は、会議制御装置１００（情報制御装置）と、映像合成装置１１０（情報合成装置）ａ〜ｃと、会議端末（端末装置）１２０ａ〜１２０ｄとを接続するネットワークの例として、インターネットのようなベストエフォート型のパケット交換型ネットワークを用いる場合の説明を行う。なお、これらを接続するネットワークはパケット交換型ネットワークに制限するものではなく、無線・有線を問わず、どのようなネットワークに適用してもよい。

図２は、第１の実施の形態にかかる映像合成装置１１０ａの構成を示すブロック図である。図２に示すように、映像合成装置１１０ａは、パケット通信部２０１と、制御部２０２と、映像データ通信部２０３と、映像合成部２０４と、映像伸張部２０５ａ〜ｅと、映像圧縮部２０６ａ〜ｅとを備える。なお、映像合成装置１１０ｂ等も同様の構成とし、説明を省略する。

また、映像合成装置１１０ａは、概略的には会議制御装置１００からの指示に従い、当該指示のテレビ会議に参加する会議端末と接続し、各会議端末から映像データを受信し、受信した映像データを合成し、合成した映像データを各会議端末に送信する。

また、図２に示すように、本実施の形態にかかる映像合成装置１１０ａは、伸張処理を行う５個の映像伸張部２０５ａ〜ｅと、圧縮処理を行う５個の映像圧縮部２０６ａ〜ｅとを備えている。これにより、映像合成装置１１０ａは、会議端末５個と接続し、会議端末毎の映像データの圧縮処理と伸張処理を行うことができる。また、映像合成装置１１０ａが実際に備える映像伸張部及び映像圧縮部の数は、当該装置で必要とされる最大会議端末数（リソース数）の仕様に応じて決定され、５個に制限するものではない。

パケット通信部２０１は、送信部２２１と、受信部２２２とを備え、ネットワーク１５０を介して各種データ、会議端末１２０ａ〜ｄとの間でセッション制御情報又はその他各種プロトコル情報の送受信処理を行なう。なお、各種データについては、送信部２２１及び受信部２２２毎に説明する。

また、パケット通信部２０１は、ＩＥＴＦ（Internet Engineering Task Force）で標準化されているＳＩＰ（RFC3261：セッションの開始・切断等の制御を行なうシグナリングプロトコル）、ＲＴＰ／ＲＴＣＰ（RFC3550：映像音声データ等のリアルタイムデータの送受信、または当該リアルタイムデータのモニタリング又は制御を行うプロトコル）、又はプロトコル情報を運ぶための下位レイヤプロトコルであるＴＣＰ／ＵＤＰ、ＩＰ、Ｅｔｈｅｒｎｅｔ（登録商標）等の各種通信プロトコルを用いる。

また、本実施の形態にかかるパケット通信部２０１が使用するプロトコルは、映像データを用いた会議システムの仕様に準拠するものであり、これらのプロトコルの使用のみに限定するものではない。

送信部２２１は、後述する会議制御装置１００に自装置（映像合成装置１１０ａ）を登録する登録情報と、会議端末との接続・切断処理のための制御データと、会議端末からの映像データを合成した映像データとを送信する。

また、登録情報は、自装置の識別子（例えばＭＡＣアドレス）、ＩＰアドレスを含む情報とする。また、登録情報は、映像合成装置１１０ａが他の映像合成装置とクラスタ接続されている場合、接続先の映像合成装置の識別子を含む情報とする。なお、登録時の処理手順については後述する。また、登録情報は、最大リソース数を含めても良い。また、最大リソース数とは、当該映像合成装置１１０ａが処理可能な会議端末の数を示し、本実施の形態に係る映像合成装置１１０ａは、５個となる。

受信部２２２は、会議制御装置１００から会議開設要求と、会議端末との接続・切断処理のための制御データと、会議端末１２０ａ〜１２０ｄから映像データとを受信する。

映像伸張部２０５ａ〜ｅは、受信部２２２が受信した映像データの伸張処理を行う。また、１個の映像伸張部が、１個の会議端末から送信された映像データの伸張処理を担当する。これにより、受信した映像データが会議端末毎に異なる符号化処理（圧縮符号化方式・解像度・フレームレート・ビットレート等）が行われている場合、映像伸張部２０５ａ〜ｅは、受信した映像データ毎に対応する伸張処理を行う。

制御部２０２は、検出部２１１を備え、映像合成装置１１０ａ全体の制御を行う。また、制御部２０２は、映像データ通信部２０３に対してクラスタ接続処理の指示や、パケット通信部２０１が受信した種々のパケットのプロトコル解析を行う。また、制御部２０２は、会議制御装置１００に映像合成装置１１０ａを登録するための登録情報を生成し、パケット通信部２０１に出力する。これにより送信部２２１が、登録情報の送信処理を行う。

また、制御部２０２は、会議制御装置１００から送信された情報に応じて、各会議端末との間の会議の開始や切断のセッション制御の指示を行う。

また、制御部２０２は、パケット通信部２０１が各会議端末から受信した映像データを対応する映像伸張部に出力する制御を行う。また、制御部２０２は、圧縮した合成映像データを送信先の会議端末に対応するプロトコルでパケット化し、当該パケットをパケット通信部２０１に出力する。また、制御部２０２は、映像合成部２０４における映像合成配置パターンを制御する。また、制御部２０２は、映像圧縮部２０６ａ〜ｅ、映像伸張部２０５ａ〜ｅに対して、種々のパラメータや方式等の各種設定・変更の指示を行う。

検出部２１１は、後述する映像データ通信部２０３を制御して、専用線を介してクラスタ接続された映像合成装置の検出処理を行う。

映像データ通信部２０３は、ネットワーク１５０とは別の専用の信号線を介してクラスタ接続された映像合成装置１１０ｂとの間で映像データの送受信を行う。また、映像データ通信部２０３は、映像伸張部２０５ａ〜ｅで伸張処理が行われた映像データを送信し、映像合成装置１１０ｂにおいて伸張処理が行われた映像データを受信する。

また、映像データ通信部２０３は、当該専用の信号線を介して、クラスタ接続された映像合成装置の検出や、接続先の映像合成装置１１０ｂとの間で、識別子の交換を行う。識別子は、映像合成装置を識別するためのユニークな情報とし、本実施の形態においては例としてＭＡＣアドレスを用いる。

また、映像合成装置間を接続するクラスタ接続インタフェースとして、１対１に接続される信号線を用い、映像合成装置の設置時にケーブルやコネクタ等で接続する。本実施の形態においては、映像合成装置を１対１で接続する。これにより、例えば、映像データ通信部２０３が、接続検出用の信号線の電圧レベルを監視することで、映像合成装置がクラスタ接続されたことを検出することが可能となる。また、１対１の二者接続する専用回線で接続されていることから特別の認証や暗号処理を行わなくても、映像データ通信部２０３が適切な装置と情報の送受信を行っていることが保証される。

また、本実施の形態と異なる例として、映像合成装置間のクラスタ接続のインタフェースとして、例えば無線LANやBluetooth（登録商標）のような無線インタフェースを用いることもできる。これら無線インタフェースを用いて接続する場合、接続先が適切な（所望の）接続先であること、または交換する情報が適切な情報合成装置との間で適切な情報の送受信を行っていることを保証するための仕組みが必要となる。

本実施の形態に戻り、上述した映像合成装置を備える多地点テレビ会議システムは、会議開設時において複数の会議端末から送信される映像データを、クラスタ接続されている複数の映像合成装置間で分担することができる。これにより、映像合成装置１１０ａが単独で処理可能な会議端末数より多くの会議端末で会議を開設することができる。

映像合成部２０４は、制御部２０２からの指示により、伸張処理された映像データを用いて、映像合成装置１１０ａに接続された会議端末毎に、会議端末毎に異なる画面配置（レイアウト）の映像データを合成する。なお、会議端末毎の画面の配置例については後述する。

また、映像合成部２０４は、映像伸張部２０５ａ〜ｅにおいて伸張処理された映像データのみならず、映像データ通信部２０３から受信した映像データも合成する際に使用する。この映像データ通信部２０３から受信した映像データは、他の会議端末と接続された映像合成装置１１０ｂの映像伸張部２０５ａ〜ｅにおいて伸張処理され、映像合成部２０４に入力された映像データとする。つまり、映像合成装置１１０ａは、当該装置に接続されていない会議端末の映像データを合成することができる。

例えば、映像合成装置１１０ａには会議端末１２０ａと会議端末１２０ｂとが接続され、クラスタ接続先の映像合成装置１１０ｂには会議端末１２０ｃと会議端末１２０ｄとが接続している場合について説明する。この場合、映像合成装置１１０ａは、会議端末１２０ａ及び会議端末１２０ｂからのみ映像データを受信する。しかしながら、映像合成装置１１０ａは、クラスタ接続先の映像合成装置１１０ｂから会議端末１２０ｃと会議端末１２０ｄからの（伸張済みの）映像データを、専用の信号回線を介して受信する。これにより、映像合成装置１１０ａは、会議端末１２０ａ〜ｄの全ての映像データを含めて合成することができる。

なお、映像合成装置１１０ｂは、映像合成装置１１０ａから、会議端末１２０ａと会議端末１２０ｂの（拡張済みの）映像データを、専用の信号回線を介して受信するので、映像合成装置１１０ｂも会議端末１２０ａ〜ｄの全ての映像データを合成することができる。これにより、会議端末１２０ａ〜ｄの接続先の映像合成装置が異なる場合でも、会議端末１２０ａ〜ｄが同一の会議に参加している状態（合成映像）を生成できる。

映像圧縮部２０６ａ〜ｅは、映像合成部２０４において合成された映像データを、映像合成装置１１０ａに接続された会議端末毎に圧縮する処理を行う。また、映像圧縮部２０６ａ〜ｅは、各会議端末への合成映像データを、会議端末毎に適した方式で圧縮する処理を行う。

つまり、１個の映像圧縮部が、１個の会議端末に送信する映像データの圧縮処理を担当する。これにより、会議端末毎に表示されるレイアウトが異なる合成映像データを、会議端末毎に異なる圧縮符号化方式又は圧縮パラメータで圧縮することができる。

会議端末毎に異なるレイアウトの合成映像データの例を示す。例えば会議端末１２０ａ〜１２０ｄが会議を行った場合、会議端末１２０ａの合成映像データは会議端末１２０ｂ〜１２０ｄから送信された映像データが合成され、会議端末１２０ｂの合成映像データは会議端末１２０ａ、１２０ｃ、１２０ｄから送信された映像データが合成される等とする。

このように、各映像圧縮部２０６ａ〜ｅが１個の会議端末の映像データの圧縮処理を担当することで、会議端末毎に異なる圧縮符号化方式（例えば、ＭＰＥＧ２・ＭＰＥＧ４・Ｈ．２６３・Ｈ．２６４等）・解像度・フレームレート・ビットレート等を設定できる。

これにより、映像合成装置１１０ａは、会議端末毎に異なるレイアウトの映像データ、又は会議端末毎に適切な圧縮処理を施された映像データを生成し、出力できる。なお、会議端末毎のレイアウトについては後述する。

図３は、第１の実施の形態にかかる会議制御装置１００の構成を示すブロック図である。本図に示すように会議制御装置１００の内部は、パケット通信部３０１と、制御部３０２と、リソース保持部３０３と、レイアウト管理部３０４とを備え、リソース保持部３０３に対して登録された映像合成装置を管理し、各会議端末と映像合成装置との接続を管理し、会議の開始・切断のための制御を行なう。

また、会議制御装置１００は、映像合成装置において合成される合成映像データの画面レイアウトの制御を行なってもよい。なお、本会議制御装置１００の各機能はソフトウエアとして実現可能とする。

リソース保持部３０３は、映像合成処理が実行可能な映像合成装置の情報を保持している。図４は、リソース保持部３０３が保持する映像合成装置の管理テーブルを示した図である。図４に示すように、管理テーブルは、“エントリ番号”と、“映像合成装置の識別子”と、“映像合成装置のＩＰアドレス”と、“最大リソース数”と、“使用リソース数”と、“クラスタ接続フラグ”と、“クラスタ接続先の映像合成装置の識別子”とを対応付けて保持している。なお、この各レコードを、映像装置の登録を示すエントリとする。

“映像合成装置の識別子”は、各映像合成装置を一意に識別する情報とする。この映像合成装置の識別子は、異なる映像合成装置で同一にならないこと保証される情報であればどのような情報を用いても良い。なお、本実施の形態においては、映像合成装置の識別子として、当該映像合成装置のネットワークインタフェースに割り当てられているＭＡＣアドレスを使用する。

“映像合成装置のＩＰアドレス”は、各映像合成装置がＩＰ(Internet Protocol)を用いて通信を行なうためのアドレス情報とする。また、自識別子情報として用いても良い。

“最大リソース数”は、当該映像合成装置において、同時に接続可能な最大会議端末数を示している。図２に示した映像合成装置１１０ａの場合‘５’となる。この“最大リソース数”は、映像合成装置のハードウェア構成等により定められる。

“使用リソース数”は、現在当該映像合成装置に接続している会議端末により消費されたリソース数を示している。また、“使用リソース数”は、通常、接続された一個の会議端末当たり、‘１’リソース消費される。また、“使用リソース数”は、一会議端末が複数の会議に同時に参加する場合、当該会議端末が複数のリソースを消費することも考えられる。この“最大リソース数”と“使用リソース数”の差分が、使用可能な許容リソース数を示している。

このような許容リソース数を保持することで、会議端末１２０ａ〜ｄから会議開設要求を受信した場合、当該会議の開設を担当する映像合成装置が特定可能となる。また、本実施の形態にかかる多地点テレビ会議システムでは、当該リソース数が許容する限りにおいて、複数の会議を開設することができる。

“クラスタ接続フラグ”は、当該映像合成装置が他の映像合成装置とクラスタ接続されているかどうかを示すフラグとする。

“クラスタ接続先の映像合成装置の識別子”は、当該映像合成装置が他の映像合成装置とクラスタ接続されている場合に、クラスタ接続先の映像合成装置の識別子を保持する。これにより、クラスタ接続先の映像合成装置を一意に識別できる。また、当該識別子は、上述した“映像合成装置の識別子”と同一定義の識別情報とする。本実施の形態において“クラスタ接続先の映像合成装置の識別子”は、クラスタ接続先の映像合成装置のネットワークインタフェースに割り当てられているＭＡＣアドレスとする。

図３に戻り、パケット通信部３０１は、送信部３２１と、受信部３２２とを備え、各種データ、映像合成装置１１０ａ〜ｃと会議端末１２０ａ〜ｄとの間での会議の開始・切断を制御するためのセッション制御情報、映像合成装置における映像合成のための画面レイアウト情報、その他各種プロトコル情報等の送受信処理を行なう。なお、各種データについては、送信部３２１及び受信部３２２毎に説明する。

また、パケット通信部３０１は、上述した映像合成装置１１０ａと同様に、ＳＩＰ、ＲＴＰ／ＲＴＣＰ、またこれらプロトコル情報を運ぶための下位レイヤプロトコルであるＴＣＰ／ＵＤＰ、ＩＰ、Ｅｔｈｅｒｎｅｔ（登録商標）等の各種通信プロトコルを用いることができる。

また、本実施の形態にかかるパケット通信部３０１が使用するプロトコルは、映像データを用いた会議システムの仕様に準拠するものであり、これらのプロトコルの使用のみに限定するものではない。

受信部３２２は、映像合成装置１１０ａ〜ｃから上述した登録情報の受信処理や、会議端末１２０ａ〜ｄから会議開設要求又は会議終了要求の受信処理を行う。

送信部３２１は、会議端末１２０ａ〜ｄに対して会議開設可能か否かの情報と、会議を開設する際に、映像データの合成処理を担当する映像合成装置に対して接続先の会議端末を特定する情報を送信する。なお、受信部３２２及び送信部３２１の送受信手順については、後に詳細に示す。

制御部３０２は、登録部３１１と、装置抽出部３１２と、判別部３１３と、割当部３１４とを備え、会議制御装置１００全体の制御を行う。

登録部３１１は、受信部３２２が受信した登録情報を、リソース保持部３０３の管理テーブルに登録する処理を行う。つまり、登録部３１１は、管理テーブルに対して、登録情報に含まれる送信元の映像合成装置の識別子と、当該映像合成装置のＩＰアドレスと、当該映像合成装置の最大リソース数と、使用リソース数と、クラスタ接続フラグと、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する。なお、最大リソース数は、会議制御装置１００において予め保持していても良いし、映像合成装置から送信されるものでも良い。また、登録部３１１は、使用リソース数に初期値‘０’を設定する。また、クラスタ接続フラグについては後述する。

判別部３１３は、受信した登録情報においてクラスタ接続先の映像合成装置の識別子が含まれている場合、クラスタ接続先の映像合成装置がリソース保持部３０３において既に保持されているか否か判別を行う。

判別部３１３は、受信した登録情報の“映像合成装置の識別子”と“クラスタ接続先の映像合成装置の識別子”の組み合わせが、既にリソース保持部３０３の任意のレコードで保持されている“映像合成装置の識別子”と“クラスタ接続先の映像合成装置の識別子”の組み合わせと一致するか判別する。

より詳細な例としては、判別部３１３は、受信した登録情報に含まれる“クラスタ接続先の映像合成装置の識別子”が、リソース保持部３０３の管理テーブルのフィールド“映像合成装置の識別子”で保持されているか判別する。そして、判別部３１３は、保持されていると判別した場合、当該識別子を保持しているレコードにおいて、登録情報の送信元の“映像合成装置の識別子”がフィールド‘クラスタ接続先の映像合成装置の識別子’で保持されているか判別する。そして、判別部３１３は、保持されていると判別した場合に、すでにクラスタ接続先の映像合成装置が既に登録されていると判別する。

そして、登録部３１１は、受信した登録情報にクラスタ接続先の識別子が無い場合、又は判別部３１３がクラスタ接続先の映像合成装置が登録されていないと判別した場合、クラスタ接続フラグに初期値‘無’を設定する。

また、登録部３１１は、判別部３１３により既に管理テーブルにクラスタ接続先の映像合成装置が登録されていると判別された場合、クラスタ接続フラグに‘有’を設定する。この場合、登録部３１１は、クラスタ接続先のレコードに対してクラスタ接続フラグを‘有’に更新する。このような処理を行うことで、映像合成装置が互いに接続を認識している場合に限り、クラスタ接続フラグが‘有’となる。これにより、クラスタ接続フラグを確認すれば、互いに認識している映像合成装置を特定できる。これにより、一方の映像合成装置がクラスタ接続先の誤検出しただけでは、クラスタ接続フラグが‘有’とならない。これにより、クラスタ接続フラグの確認を行うことで、相互にクラスタ接続された映像合成装置の抽出精度が向上する。

また、登録部３１１は、受信した登録情報の映像合成装置のエントリが、既に管理テーブルに登録されている場合、受信した登録情報を用いて更新処理を行う。これにより、最新の情報が管理テーブルに保持されることになる。

装置抽出部３１２は、各会議端末１２０ａ〜ｄから会議開設要求を受信したことをトリガーとして、リソース保持部３０３が保持する管理テーブルから、会議を開設するために使用する映像合成装置の識別子及びＩＰアドレス等の抽出処理を行う。

装置抽出部３１２が会議を開設するための映像合成装置を抽出した場合、制御部３０２は、各会議端末と映像合成装置との間の会議セッションを開設するための制御を行なう。

また、会議開始のトリガーは、会議端末１２０ａ〜ｃからの会議開設要求の受信以外の処理を条件としても良い。例えば、Ｗｅｂ等から予約された情報をトリガーにして会議を開設することも考えられる。

割当部３１４は、装置抽出部３１２が抽出した映像合成装置に対して、会議開設要求を送信した会議端末１２０ａ〜ｄのうちどの会議端末の合成処理を担当するのか割り当てる処理を行う。

レイアウト管理部３０４は、会議に参加している会議端末毎の映像データのレイアウトを決定する画面レイアウト情報を管理する。管理している当該画面レイアウト情報は送信部３２１に出力し、送信部３２１が映像合成装置に送信する。これにより、映像合成装置は、レイアウト管理部３０４により会議端末毎に適した画面レイアウトで制御され、映像データを合成することができる。

また、レイアウト管理部３０４は、画面レイアウトを直接制御するだけでなく、会議に参加する各会議端末からの要求に応じて制御してもよいし、議長となる会議端末からの指示に応じて制御してもよい。また、レイアウト管理部３０４は、会議端末からの音声の有無（発話者の検出）に応じてレイアウトを変更する制御を行っても良い。また、映像合成装置１１０ａ〜ｃが会議端末毎に異なる合成映像データを配信する場合、レイアウト管理部３０４は、各会議端末からの指示により画面レイアウトの制御を行なってもよい。

次に、映像合成装置１１０ａの会議制御装置１００に対する登録手順について説明する。図５は、映像合成装置１１０ａの会議制御装置１００に対する登録手順を示すフローチャートである。なお、映像合成装置１１０ａについて説明するが、他の映像合成装置についても同様とし、説明を省略する。

つまり、映像合成装置１１０ａ〜ｃからの登録処理が行われることで、初めて会議制御装置１００が各映像合成装置１１０ａ〜ｃを認識できる。これにより、会議制御装置１００は、認識した映像合成装置１１０ａ〜ｃと各会議端末１２０ａ〜ｄとを接続させ、会議を開始させることが可能となる。

まず、映像合成装置１１０ａの制御部２０２は、起動と共に、初期設定を行う（ステップＳ４０１）。この初期設定は、映像合成装置１１０ａのＩＰアドレスの設定を含めた各種ネットワーク設定と、映像合成装置１１０ａの各種ハードウェアの設定等とが含まれる。また、映像合成装置１１０ａのネットワーク設定（ＩＰアドレス、デフォルトゲートウエイ等の設定を含む）には、ＤＨＣＰサーバから取得した情報を設定してもよいし、事前に管理者により手動設定された情報を元に設定を行ってもよい。また、ＤＨＣＰサーバは、映像合成装置１１０ａに対して、ネットワーク情報だけでなく、接続すべき会議制御装置１００の情報（ＩＰアドレスやポート番号等）を通知してもよい。このように、多地点テレビ会議システムにおいて、ネットワークの接続にＤＨＣＰを使用することで、当該システムに接続される映像合成装置に対して、管理者の負担を軽減させた上で、容易に動作させることが可能となる。

次に、検出部２１１は、映像データ通信部２０３からクラスタ接続された映像合成装置の検出を行なう（ステップＳ４０２）。このクラスタ接続の検出は、映像データ通信部２０３の機能として実現される。例えば、クラスタ接続に用いられる専用線で、装置が接続されていない通常の状態において電気信号がＬＯＷとなり、装置がクラスタ接続されて物理的に導通された場合に電気信号がＨＩＧＨにプルアップする手法を用いる等が考えられるが、他のどのような手法を用いても良い。

また、検出部２１１が、クラスタ接続された映像合成装置を検出した場合（ステップＳ４０２：Ｙｅｓ）、映像データ通信部２０３は、映像合成装置１１０ａを示す識別子を、クラスタ接続先の映像合成装置に送信する（ステップＳ４０３）。

そして、映像データ通信部２０３は、クラスタ接続先の映像合成装置から、クラスタ接続先の映像合成装置を示す識別子を受信する（ステップＳ４０４）。

次に、送信部２２１は、会議制御装置１００に登録情報を送信する（ステップＳ４０５）。この登録情報は、クラスタ接続先を検出しなかった場合は、映像合成装置１１０ａの識別子、自ＩＰアドレス、最大リソース数を含むものとする。また、登録情報は、クラスタ接続を検出した場合は、映像合成装置１１０ａの識別子、映像合成装置１１０ａのＩＰアドレス、最大リソース数、クラスタ接続先の映像合成装置の識別子を含むものとする。

これにより会議制御装置１００は、当該映像合成装置１１０ａをエントリとして登録する。なお、登録時に行われる詳細なメッセージの送受信については後述する。

そして、受信部２２２が、会議開始要求として、会議制御装置１００からメッセージを受信したか否か判断する（ステップＳ４０６）。受信していない場合（ステップＳ４０６：Ｎｏ）、特に処理を行わない。

そして、受信部２２２が、会議制御装置１００からメッセージを受信した場合（ステップＳ４０６：Ｙｅｓ）、会議のための処理を行う（ステップＳ４０７）。なお、会議開設のメッセージから、会議のために行う処理については後述する。

そして、検出部２１１は、クラスタ接続先の構成の変更の検出処理を行う（ステップＳ４０８）。変更を検出しない場合（ステップＳ４０８：Ｎｏ）、会議の開設要求を受信したか否かの判断を行う。

また、検出部２１１は、クラスタ接続先の構成の変更を検出した場合（ステップＳ４０８：Ｙｅｓ）、再びクラスタ接続があるか否かの判断から行う（ステップＳ４０２）。

本多地点テレビ会議システムにおいては、上述した処理により映像合成装置１１０ａ〜ｃは、会議制御装置１００に自動的に登録されることになる。また、登録の際にはクラスタ接続の有無も送信される。これにより、会議制御装置１００は、自動的にクラスタ接続の有無を含めて映像合成装置１１０ａ〜ｃの状態を認識することができる。そして、多地点テレビ会議システムにおいては、管理者による映像合成装置毎に手動設定を行う作業負担を軽減させることができる。

また、上述した処理手順により、クラスタ接続の変更が行われた場合に、直ちにクラスタ接続の検出処理を行い、クラスタ接続が変更された内容の登録情報の送信が行われることになる。これにより会議制御装置１００の登録部３１１は、新たに受信した登録情報で、リソース保持部３０３が保持する管理テーブルの更新を行う。これにより、会議制御装置１００は、常に最新の映像合成装置の状態を把握することができる。

次に、会議制御装置１００が映像合成装置１１０ａ、１１０ｂの登録処理を行う際に送受信するメッセージについて説明する。図６は、会議制御装置１００と、映像合成装置１１０ａ、１１０ｂとの間で登録時に行われるメッセージの送受信を示したシーケンス図である。

また、本実施の形態においては、映像合成装置１１０ａ〜ｃと会議制御装置１００の間で行われる登録、会議の開始・終了等の各種セッション制御にＳＩＰ(Session Initiation Protocol)を用いて例について説明する。なお、ＳＩＰは、ＩＰネットワークにおいて通話制御に用いられるプロトコルであり、ＩＥＴＦにより標準化されたものである。なお、本実施の形態は、各種セッション制御をＳＩＰに制限するものではなく、他のどのような制御手法を用いても良い。

まず、映像合成装置１１０ａと映像合成装置１１０ｂは、図５で示した処理手順により、起動したときにクラスタ接続されている互いの装置に対して接続検出処理を行い、識別子の交換処理を行う（ステップＳ５０１、ステップＳ５０２）。

次に、映像合成装置１１０ａは、“Ｒｅｇｉｓｔｅｒ”リクエストを、会議制御装置１００に送信する（ステップＳ５０３）。なお、“Ｒｅｇｉｓｔｅｒ”リクエストは、登録を要求していることを示す。

そして、会議制御装置１００は、映像合成装置１１０ａからの“Ｒｅｇｉｓｔｅｒ”リクエストを受信することで、映像合成装置１１０ａが登録要求を行っていることを検出する。次に、会議制御装置１００は、成功したことを示す“２００ＯＫ”レスポンスを映像合成装置１１０ａに送信する（ステップＳ５０４）。

そして、映像合成装置１１０ａは、“２００ＯＫ”レスポンスの受信により、リクエストが受けいれられたことを認識し、続けて“Ｓｕｂｓｃｒｉｂｅ”リクエストを会議制御装置１００に送信する（ステップＳ５０５）。

なお、“Ｓｕｂｓｃｒｉｂｅ”リクエストは、イベントの通知要請を示している。そして、送信される“Ｓｕｂｓｃｒｉｂｅ”リクエストには、登録情報である映像合成装置１１０ａの識別子（００：００：ａａ：００：００：０１）、映像合成装置１１０ｂのＩＰアドレス（１９２．１６８．１０．１０）、最大リソース数（５）、クラスタ接続先の映像合成装置１１０ｂの識別子（００：００：ａａ：００：００：０２）等の情報を付加されている。

そして、“Ｓｕｂｓｃｒｉｂｅ”リクエストを受信した会議制御装置１００は、“２００ＯＫ”レスポンスを映像合成装置１１０ａに送信する（ステップＳ５０６）。

そして、会議制御装置１００は、リソース保持部３０３の管理テーブルに、受信した登録情報を登録する（ステップＳ５０７）。なお、管理テーブルに登録される情報及び詳細な処理手順については後述する。

次に、映像合成装置１１０ｂは“Ｒｅｇｉｓｔｅｒ”リクエストを会議制御装置１００に送信する（ステップＳ５０８）。

次に、会議制御装置１００は、映像合成装置１１０ｂから“Ｒｅｇｉｓｔｅｒ”リクエストを受信した場合に、映像合成装置１１０ｂが登録要求していることを検出する。そして、会議制御装置１００は、“２００ＯＫ”レスポンスを、映像合成装置１１０ｂに送信する（ステップＳ５０９）。

そして、“２００ＯＫ”レスポンスを受信した映像合成装置１１０ｂは、“Ｓｕｂｓｃｒｉｂｅ”リクエストを会議制御装置１００に送信する（ステップＳ５１０）。この際、送信される“Ｓｕｂｓｃｒｉｂｅ”リクエストには、登録情報である映像合成装置１１０ｂの識別子（００：００：ａａ：００：００：０２）、映像合成装置１１０ｂのＩＰアドレス（１９２．１６８．１０．１１）、最大リソース数（５）、クラスタ接続先の映像合成装置１１０ａの識別子（００：００：ａａ：００：００：０１）が含まれている。

次に、“Ｓｕｂｓｃｒｉｂｅ”リクエスト受信した会議制御装置１００は、“２００ＯＫ”レスポンスを映像合成装置１１０ｂに送信する（ステップＳ５１１）。

そして、会議制御装置１００は、受信した登録情報をリソース保持部３０３の管理テーブルに登録する（ステップＳ５１２）。この場合にすでにクラスタ接続先の映像合成装置１１０ａが登録されているので、クラスタ接続フラグを“有”にする等の更新処理を行う。なお、詳細な登録手順については後述する。

以上に示す処理手順を行うことで、会議制御装置１００は、映像合成装置１１０ａ、１１０ｂの情報を、クラスタ接続された旨と共に、リソース保持部３０３に登録することができる。

なお、上記シーケンス図では、ステップＳ５０３〜ステップＳ５０６と、ステップＳ５０８〜ステップＳ５１１が、装置毎に順序立てて実行されるように明記した。しかしながら、これらの処理手順は説明を容易にするために示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置１１０ａと会議制御装置１００との処理と、映像合成装置１１０ｂと会議制御装置１００との処理とは、同時並行的に独立して行われるものとなる。

次に、会議制御装置１００の受信した登録情報をリソース保持部３０３に登録する登録手順について説明する。図７は、会議制御装置１００の受信した登録情報をリソース保持部３０３に登録する登録手順を示すフローチャートである。

まず、会議制御装置１００の受信部３２２は、任意の映像合成装置から、登録情報を受信したか否か判断する（ステップＳ７０１）。登録情報を受信していないと判断した場合（ステップＳ７０１：Ｎｏ）、受信部３２２は、受信するまで当該処理を繰り返す。なお、この受信処理は、図６に示した“Ｓｕｂｓｃｒｉｂｅ”リクエストの受信に相当する。そして、会議制御装置１００は、図示しないが“２００ＯＫ”レスポンスを送信する。

また、受信部３２２が登録情報を受信したと判断した場合（ステップＳ７０１：Ｙｅｓ）、判別部３１３は、登録情報にクラスタ接続先の映像合成装置の識別子が含まれているか否か判別する（ステップＳ７０２）。

次に、判別部３１３は、登録情報に、クラスタ接続先の映像合成装置の識別子が含まれていると判別した場合（ステップＳ７０２：Ｙｅｓ）、当該クラスタ接続先の映像合成装置が、管理テーブルにおいてエントリとして登録されているか判別する（ステップＳ７０３）。なお、判別部３１３は、当該クラスタ接続先の映像合成装置の識別子を、管理テーブルにおいて、“映像合成装置の識別子”フィールドに含んでいるレコードを検出した場合に、エントリとして登録されていると判別する。

より詳細に例を示すと、判別部３１３は、ステップＳ７０３において、すでにクラスタ接続先の映像合成装置がエントリとして登録されていると判別した場合、さらに当該エントリの“クラスタ接続先の映像合成装置の識別子”が、登録情報を送信した映像合成装置の識別子と一致するか否かの判定も行う。そして、一致すると判定された場合に限り、互いに装置がクラスタ接続されていることを認識しているものとみなし、ステップＳ７０４に進むことにする。

そして、判別部３１３が登録情報にクラスタ接続先の映像合成装置の識別子が含まれていないと判別した場合（ステップＳ７０２：Ｎｏ）、及びクラスタ接続先の映像合成装置のエントリが登録されていないと判別した場合（ステップＳ７０３：Ｎｏ）、登録部３１１は、登録情報に含まれる映像合成装置の識別子と、当該装置のＩＰアドレスと、最大リソースと、使用リソースと、クラスタ接続フラグ‘無’と、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する（ステップＳ７０６）。また、映像合成装置の識別子と、当該装置のＩＰアドレスと、最大リソースと、使用リソースは、上述したステップＳ７０４と同様とする。また、クラスタ接続先の映像合成装置の識別子は、登録情報に含まれている場合に限り登録される。

図６に示した例では、ステップＳ５０７において会議制御装置１００は、映像合成装置１１０ａからの登録情報に含まれるクラスタ接続先の映像合成装置１１０ｂの識別子（００：００：ａａ：００：００：０２）が、管理テーブルの“映像合成装置の識別子”フィールドに含まれているレコードを検出できない（例えば図４を参照）。このため、クラスタ接続先の映像合成装置１１０ｂを示すエントリが登録されていないことが確認できる。このような場合に、クラスタ接続フラグが‘無’となる。

図８は、登録部３１１が、図６に示したステップＳ５０７において、映像合成装置１１０ａのエントリを登録した後の管理テーブルの例を示した図である。図８に示すように、映像合成装置１１０ｂのエントリが登録されていないので、映像合成装置１１０ａのエントリは、クラスタ接続フラグ‘無’として登録される。

図７に戻り、判別部３１３が登録されていると判別した場合（ステップＳ７０３：Ｙｅｓ）、登録部３１１は、登録情報に含まれる映像合成装置の識別子と、当該装置のＩＰアドレスと、最大リソースと、使用リソースと、クラスタ接続フラグ‘有’と、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する（ステップＳ７０４）。なお、映像合成装置の識別子と、当該装置のＩＰアドレスと、クラスタ接続先の映像合成装置の識別子と、最大リソース数は、登録情報に含まれているものとする。また、使用リソースは初期値‘０’が登録される。

次に登録部３１１は、すでにリソース保持部３０３の管理テーブルにおいて、登録されているクラスタ接続先の映像合成装置のエントリに対して、クラスタ接続フラグを‘有’で更新する（ステップＳ７０５）。

図６に示した例では、ステップＳ５１２において会議制御装置１００は、映像合成装置１１０ｂの登録情報に含まれるクラスタ接続先の映像合成装置１１０ａの識別子（００：００：ａａ：００：００：０１）が、管理テーブルにエントリとして登録されていることを確認できる（図８のエントリ番号‘２’のレコードを参照）。このような場合に、映像合成装置１１０ｂのクラスタ接続フラグが‘有’となる。この場合、上述したように確認先の映像合成装置１１０ａのエントリもクラスタ接続フラグを‘有’で更新される。

図９は、登録部３１１が、図６に示したステップＳ５１２において、映像合成装置１１０ｂのエントリを登録した後の管理テーブルの例を示した図である。図９に示すように、映像合成装置１１０ａのエントリはすでに登録されているので、映像合成装置１１０ｂのエントリ（エントリ番号‘３’のレコード）は、クラスタ接続フラグ‘有’として登録される。また、映像合成装置１１０ａのエントリ（エントリ番号‘２’のレコード）のクラスタ接続フラグも‘有’で更新される。

次に、会議制御装置１００の会議開始・会議終了の処理手順について説明する。図１０は、会議制御装置１００の会議開始・会議終了の処理手順を示すフローチャートである。

まず、会議制御装置１００の受信部３２２は、会議端末から会議開始要求を受信したか否か判別する（ステップＳ１００１）。また、この会議開始要求には、会議の開始に必要とするリソース数も含まれていることとする。

そして、会議開始要求を受信した場合（ステップＳ１００１：Ｙｅｓ）、装置抽出部３１２は、リソース保持部３０３の管理テーブルから、会議開始要求に含まれているリソース数を確保できる映像合成装置を抽出する（ステップＳ１００２）。

また、装置抽出部３１２は、リソース数を確保できる映像合成装置を抽出できなかった場合（ステップＳ１００２：Ｎｏ）、管理テーブルにおいて、当該リソース数を確保できるクラスタ接続された複数の映像合成装置を抽出する（ステップＳ１００３）。つまり、一台の映像合成装置のリソースでは会議を開設できないと判断されたが、複数の映像合成装置のリソースを組み合わせることで会議を開設できるか判断することとなる。具体的な例としては、クラスタ接続された複数の映像合成装置の使用可能なリソース数の合計が、会議開始要求のリソース数より大きい場合に、当該複数の映像合成装置が会議を開設できるものとして抽出される。そして、これら複数の映像合成装置それぞれが、処理を負担することで会議が開設される。

そして、装置抽出部３１２は、リソース数を確保できる映像合成装置を抽出した場合（ステップＳ１００２：Ｙｅｓ）、又は複数の映像合成装置を抽出した場合（ステップＳ１００３：Ｙｅｓ）、送信部３２１は、会議開始要求を行った会議端末に対して会議開始ＯＫである旨を送信する（ステップＳ１００４）。そのあと、会議制御装置１００において会議を開始するためのセッションを生成する（ステップＳ１００５）。なお、詳細については後述する。

次に、複数の映像合成装置を抽出できなかった場合（ステップＳ１００３：Ｎｏ）、送信部３２１は、会議開催要求を行った会議端末に、会議生成できない旨を送信する（ステップＳ１００６）。

そして、受信部２２２は、受信した情報が会議開始要求ではないと判断した場合（ステップＳ１００１：Ｎｏ）、受信した情報が会議終了要求であるか否か判断する（ステップＳ１００７）。

そして、受信部２２２が受信した情報が会議終了要求であると判断した場合（ステップＳ１００７：Ｙｅｓ）、会議制御装置１００は、当該使用中の会議に対して終了するための制御を行なう（ステップＳ１００８）。その後、制御部３０２が、リソース保持部３０３の管理テーブルにおいて会議の開設を担当していた映像合成装置のエントリに対して、当該会議で消費していたリソース数を減少させる処理を行う（ステップＳ１００９）。これにより、会議リソースの開放が行われたことになる。

次に、会議制御装置１００が、会議端末１２０ａ〜ｄによる会議開設要求に対して映像合成装置１１０ａ、１１０ｂで映像データの合成を分担する場合のメッセージについて説明する。図１１は、会議制御装置１００と、映像合成装置１１０ａ、１１０ｂと、会議端末１２０ａ〜ｄとの間で行われる会議開設時のメッセージの送受信を示したシーケンス図である。

なお、図１１に示す送受信を制御する例において、映像合成装置１１０ａ〜ｃが保持しているリソース数の状況について説明する。図１２は、図１１に示す処理を行う前に、リソース保持部３０３が保持する管理テーブルの例を示した図である。図１２に示すように、エントリ１の映像合成装置１１０ｃは全てのリソースが消費されている。そして、エントリ２の映像合成装置１１０ａでは、最大リソース数が‘５’で使用リソース数が‘３’であるので、リソース数が‘２’余っている。そして、エントリ３の映像合成装置１１０ｂでは、最大リソース数が‘５’で使用リソース数が‘３’であるので、リソース数が‘２’余っている。そして、これら映像合成装置１１０ａと映像合成装置１１０ｂとはクラスタ接続されているのが確認できる。

つまり、映像合成装置単体では２者以上の会議を開設できないが、映像合成装置１１０ａと映像合成装置１１０ｂとで合成処理を分担することで４者までの会議を開設することができる状況とする。なお、この場合において、５者以上から会議を開始する要求を受け付けると、クラスタ接続を考慮してもリソースを確保できないので、会議生成できない旨が送信されることになる。

なお、本シーケンス図においても、通話制御プロトコルとしてＳＩＰを用いた場合について説明するが、当該ＳＩＰを用いることに制限するものではない。

まず、会議端末１２０ａが、会議端末１２０ｂ〜ｄとの間で４者会議を開始するための会議開始要求を、会議制御装置１００に送信する（ステップＳ１１０１）。また、会議端末１２０ａは、会議開始要求として、要請しているイベント通知の伝送を示す“ＮＯＴＩＦＹ”リクエストを送信することとする。なお、会議開始要求は、会議端末１２０ａではなく、他の会議端末が送信してもよい。

また、会議端末１２０ａ〜ｄが会議開始要求を会議制御装置１００に送信するのではなく、他の要因をトリガーとして会議が開始されてもよい。例えば、予約会議の場合、会議制御装置１００等に保持されている会議予約情報の会議開始時刻と現在時刻が一致した場合に、会議制御装置１００が会議開始のための制御を行なってもよい。その場合は会議制御装置１００に、現在時刻を取得するための時計部が必要となることはいうまでもない。このように会議開始の予約を可能としたことで、利用者が会議を行う際の手続の負担を軽減すると共に、事前に会議を行うためのリソースを確保できる。

そして、会議制御装置１００は、確認応答として“２００ＯＫ”レスポンスを会議端末１２０ａに送信する（ステップＳ１１０２）。

次に、会議制御装置１００は、空きリソースを持つ映像合成装置の抽出処理を行う（ステップＳ１１０３）。具体的には、図１２に示した会議リソース状態の場合、装置抽出部３１２は、クラスタ接続されている映像合成装置１１０ａと映像合成装置１１０ｂの残りリソースを組み合わせて、新たな会議を開設できることを認識する。そして、新たな会議を開設できることを認識した場合、制御部３０２が、管理テーブルの該当レコードに対して消費分のリソース数を増加させる処理を行う。そして、割当部３１４は、映像合成装置１１０ａに対して会議端末１２０ａ及び会議端末１２０ｂの合成処理を割り当て、映像合成装置１１０ｂに対して会議端末１２０ｃ及び会議端末１２０ｄの合成処理を割り当てる処理を行う。

そして、会議制御装置１００の送信部３２１は、会議を準備できることを伝えるために、会議開始ＯＫを示す“ＮＯＴＩＦＹ”リクエストを会議端末１２０ａに送信する（ステップＳ１１０４）。もし、会議を開始するためのリソースがなければ、会議開始ができないことを示す“ＮＯＴＩＦＹ”リクエストを送信してもよい。

そして、会議端末は、“ＮＯＴＩＦＹ”リクエストを受信した場合に、確認応答として“２００ＯＫ”レスポンスを会議制御装置１００に送信する（ステップＳ１１０５）。

次に、会議制御装置１００は、映像合成装置１１０ａと会議端末１２０ａとのセッションを確立するために“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストを、映像合成装置１１０ａに送信する（ステップＳ１１０６）。なお、“Ｒｅｆｅｒ”リクエストは、第３者呼制御と呼ばれ、映像合成装置１１０ａと会議端末１２０ａとの間のセッション（呼）の確立・切断を、第３者の立場である会議制御装置１００が制御するために用いられる。

そして、“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストを受信した映像合成装置１１０ａの送信部２２１は、“２０２ Ａｃｃｅｐｔｅｄ”レスポンスを会議制御装置１００に送信する（ステップＳ１１０７）。

次に、制御部２０２は、“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）"リクエストに含まれていた映像合成のための（画面）レイアウト情報を、映像合成部２０４に対して設定する（ステップＳ１１０８）。

また、映像合成装置１１０ａは、受信した“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストに会議端末１２０ａへの接続の指示が含まれているので、送信部２２１が、会議端末１２０ａとの間でセッションの確立を行なうために“Ｉｎｖｉｔｅ”リクエストを会議端末１２０ａに送信する（ステップＳ１１０９）。

そして、“Ｉｎｖｉｔｅ”リクエストを受信した会議端末１２０ａは、“２００ＯＫ"レスポンスを映像合成装置１１０ａに送信する（ステップＳ１１１０）。そして、会議端末１２０ａは、映像合成装置１１０ａとの間でＲＴＰによる映像データの送受信を開始する（ステップＳ１１１１）。なお、“Ｉｎｖｉｔｅ”リクエストにはＲＴＰで送受信する映像データの圧縮符号化方式や解像度・フレームレート・ビットレートといった映像データに関する各種パラメータが含まれてもよい。

同様に、会議制御装置１００からの第３者呼制御より、映像合成装置１１０ａと会議端末１２０ｂとの間でセッションの確立および映像の送受信が開始される（ステップＳ１１１２〜Ｓ１１１７）。

これにより、映像合成装置１１０ａは、会議端末１２０ａと会議端末１２０ｂの映像データを取得できる。そして、映像合成装置１１０ａが受信した映像データに対して伸張処理を施した後、映像合成装置１１０ａの映像データ通信部２０３は、伸張処理された映像データを映像合成装置１１０ｂに送信する処理を開始する（ステップＳ１１１８）。ただし、映像合成装置１１０ｂに対して送信する映像データは、伸張処理を施した全ての映像データを送信することに制限せず、例えば映像合成装置１１０ｂからの要求に応じて、要求された映像データだけ送信してもよい。

次に、会議制御装置１００は、映像合成装置１１０ｂと会議端末１２０ｃとのセッションを確立するための“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストを送信する（ステップＳ１１１９）。

そして、“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストを受信した映像合成装置１１０ｂの送信部２２１は、“２０２ Ａｃｃｅｐｔｅｄ”レスポンスを会議制御装置１００に送信する（ステップＳ１１２０）。

次に、映像合成装置１１０ｂの制御部２０２は、“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）"リクエストに含まれていた映像合成のための画面レイアウト情報を、映像合成部２０４に対して設定する（ステップＳ１１２１）。

そして、映像合成装置１１０ｂは、受信した“Ｒｅｆｅｒ（Ｉｎｖｉｔｅ）”リクエストに会議端末１２０ｃへの接続の指示が含まれているので、送信部２２１が、会議端末１２０ｃとの間でセッションの確立を行なうために“Ｉｎｖｉｔｅ”リクエストを会議端末１２０ｃに送信する（ステップＳ１１２２）。

そして、“Ｉｎｖｉｔｅ”リクエストを受信した会議端末１２０ｃは、“２００ＯＫ"レスポンスを映像合成装置１１０ｂに送信する（ステップＳ１１２３）。そして、会議端末１２０ｃは、映像合成装置１１０ｂとの間でＲＴＰによる映像データの送受信を開始する（ステップＳ１１２５）。

同様に、会議制御装置１００からの第３者呼制御より、映像合成装置１１０ｂと会議端末１２０ｄとの間でセッションの確立および映像の送受信が開始される（ステップＳ１１２６〜Ｓ１１３０）。

これにより、映像合成装置１１０ｂは、会議端末１２０ｃと会議端末１２０ｄの映像データを取得できる。そして、映像合成装置１１０ｂが受信した映像データに対して伸張処理を施した後、映像合成装置１１０ｂの映像データ通信部２０３は、伸張処理された映像データを映像合成装置１１０ａに送信する処理を開始する（ステップＳ１１３１）。ただし、映像合成装置１１０ａに対して送信する映像データは、伸張処理を施した全ての映像データを送信することに制限せず、例えば映像合成装置１１０ａからの要求に応じて、要求された映像データだけ送信してもよい。

以上の手順により、会議端末１２０ａ〜ｄとの間での会議の開催を行うことができる。なお、会議端末１２０ａ、ｂは、映像合成装置１１０ａと接続され、会議端末１２０ｃ、ｄは、映像合成装置１１０ｂと接続されている。つまり、映像合成装置１１０ａと映像合成装置１１０ｂは、異なる映像データを受信している。しかし、映像合成装置１１０ａ、１１０ｂは、伸張処理を施した後の映像データに対して、専用線を介して送受信を行っている。これにより、各映像合成装置の映像合成部２０４で合成した各端末に送信する合成映像は、会議端末１２０ａ〜ｄの全ての映像を含めることができる。

なお、上記シーケンスではステップＳ１１０６〜Ｓ１１１１、ステップＳ１１１２〜ステップＳ１１１７、ステップＳ１１１９〜Ｓ１１２４、ステップＳ１１２５〜Ｓ１１３０が、装置毎に順序立てて実行されるように明記した。しかしながら、これらの処理手順は説明を容易にするために示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置１１０ａと会議制御装置１００および対応する会議端末との処理と、映像合成装置１１０ｂと会議制御装置１００および対応する会議端末との処理とは、同時並行的に独立して行われるものとなる。

次に、映像合成装置１１０ａが映像合成装置１１０ｂとクラスタ接続され、映像データの伸張・圧縮処理を分担している場合における会議端末からの映像データの映像合成処理手順について説明する。図１３は、映像合成装置１１０ａが映像合成装置１１０ｂとクラスタ接続されている場合に任意の会議端末の映像合成処理手順を示すフローチャートである。なお、映像合成装置１１０ｂ、ｃは、クラスタ接続されている場合に同様の処理を可能とし、説明を省略する。

まず、映像合成装置１１０ａの制御部２０２は、会議が終了するか否かを判断する（ステップＳ１３０１）。会議を終了すると判断する場合としては、例えば送信部２２１が会議終了要求を受け付けた場合等とする。

そして、制御部２０２は、会議が終了していないと判断した場合（ステップＳ１３０１：Ｎｏ）、受信部２２２が、受信した情報が、接続されている各会議端末からの映像データであるか否か判断する（ステップＳ１３０２）。

そして、受信部２２２が、受信した情報が映像データであると判断した場合（ステップＳ１３０２：Ｙｅｓ）、当該映像データを担当する映像伸張部２０５ａ〜ｅのうちいずれかが受信した映像データの伸張処理を行う（ステップＳ１３０３）。

そして、クラスタ接続された映像合成装置１１０ｂでも同一の会議を担当している場合、映像データ通信部２０３は、伸張処理された映像データの送信処理を行う（ステップＳ１３０４）。この場合、映像データ通信部２０３は、伸張処理された映像データの受信処理を行う（ステップＳ１３０５）。

次に、映像合成装置１１０ａの映像合成部２０４は、伸張した各映像データを接続された会議端末毎に単一の映像データに合成する（ステップＳ１３０６）。なお、映像レイアウトについては後述する。

そして、映像合成装置１１０ａの映像圧縮部２０６ａ〜ｅは、合成された映像データ毎に、それぞれ圧縮処理を行う（ステップＳ１３０７）。

次に、送信部２２１が、圧縮処理された映像データを、会議端末毎に送信する（ステップＳ１３０８）。

受信部２２２が、映像合成のための画面レイアウト情報を受信したか否か判断する（ステップＳ１３０９）。そして、映像合成のための画面レイアウトを受信したと判断した場合（ステップＳ１３０９：Ｙｅｓ）、制御部２０２が、映像合成部２０４にレイアウト情報を設定する（ステップＳ１３１０）。次にレイアウト画面の例について説明する。

図１４−１は、会議端末において会議開設時に表示される画面レイアウトの例を示した図である。当該画面レイアウトは、上述したように制御部２０２において設定されることで実現される。また、画面レイアウトは、図１４−１に示した例に制限するものではない。例えば、発話者を検出した場合には、発話者の映像データを拡大したレイアウトを設定しても良い。

図１４−２は、会議端末において会議開設時に表示される画面レイアウトの第２の例を示した図である。このように発話者となる参加者Ｄの会議端末１２０ｄの映像データが拡大し、参加者Ａ〜Ｃの映像データを下に縮小して表示しても良い。

図１４−３は、会議端末において会議開設時に表示される画面レイアウトの第３の例を示した図である。図１４−３においては、図１４−２よりさらに参加者Ａ〜Ｃを縮小して表示した場合である。

図１４−４は、会議端末において会議開設時に表示される画面レイアウトの第４の例を示した図である。図１４−４においては、参加者Ａ〜Ｃを縮小して４隅に表示した場合である。図１４−１〜図１４―４に示すように、画面レイアウトは必要に応じてさまざまなバリエーションが考えられる。また、本実施の形態は、上述したレイアウトに制限するものではなく、他のどのようなレイアウトにしても良い。

また、このようなレイアウトを設定するためのレイアウト情報について説明する。図１５は、レイアウト情報のデータ構造の例を示した図である。なお、このレイアウト情報は、会議制御装置１００から送信されたものとし、制御部２０２が保持する。図１５に示すように、レイアウト情報は、入力映像と、使用の有無と、縮小率と、配置位置とを対応付けられている。そして、レイアウト情報は、会議端末毎に保持されている。そして入力映像が１〜５まであるのは、当該映像合成装置において接続できる会議端末の数が‘５’だからである。

図１５においては、会議端末の画面サイズが７２０×４８０ドットを想定している。そして、当該映像合成装置に入力される入力映像の１〜４までで一つの会議を開設している。このため、入力映像データ１〜４が、使用‘有’と設定されている。また、当該レイアウト情報は、図１４−１に示すような均等４分割を行う場合のレイアウト情報とする。そして、レイアウト情報の配置位置において、起点となるＸ座標及びＹ座標の他に、レイヤ情報も保持している。これは、表示する優先度を示したものとする。これにより、入力映像データか重畳する場合に、どの入力映像データを優先して表示するか特定することができる。次にクラスタ接続している場合のレイアウト情報について説明する。

また、本実施の形態では、会議端末毎に合成処理を行うので、自分を表示対象から除いた映像データを作成することができる。例えば参加者Ａ〜Ｄまで参加している場合に、参加者Ａに対して送信する映像データには、参加者Ａを除いた、参加者Ｂ〜Ｄのみ表示するように合成処理を行ってもよい。

また、本実施の形態では、入力映像データの映像先となる映像合成装置と関係なく、会議端末毎に用意されたレイアウト情報に従って、入力映像データの合成処理を行うので、利用者の好みに従った映像データを提供できる。

図１６は、クラスタ接続した場合のレイアウト情報のデータ構造の例を示した図である。図１６においては、図１５と同様のフィールドを保持しているが、入力映像の数が異なる。つまり、当該映像合成装置の入力映像データ５個と、クラスタ接続先の入力映像データ５個から、映像データを合成することができる。図１６に示した例は、当該映像合成装置の入力映像データ１及び２と、クラスタ接続先の映像合成装置の入力映像データ１‘と２‘と合成して、均等４分割レイアウトとした場合を示している。

このようにレイアウト情報を設定することで、会議端末に適切な映像データを合成することができる。

図１３に戻り、映像合成装置１１０ａの制御部２０２は、会議が終了すると判断した場合（ステップＳ１３０１：Ｙｅｓ）。会議を停止させるための制御を行う（ステップＳ１３１１）。

上述した処理を行うことで、映像合成装置１１０ａ〜ｃは、接続された会議端末から受信した映像データから、レイアウト情報に従って合成処理を行い、会議端末毎に適した映像データを送信することができる。なお、映像合成処理において、映像データの伸張・圧縮処理を他の映像合成装置と分担しない場合、ステップＳ１３０４及びステップＳ１３０５で映像データ通信部２０３による映像データの送受信が行われないが、他の処理手順は上述した処理手順と同様となる。

次に、本実施の形態にかかる多地点テレビ会議システムにおいて会議を終了する場合に行われるメッセージの送受信について説明する。図１７は、会議制御装置１００と、映像合成装置１１０ａ、１１０ｂと、会議端末１２０ａ〜ｄとの間で行われるメッセージの送受信を示したシーケンス図である。

なお、図１７に示すメッセージの送受信では、会議端末１２０ａが、会議端末１２０ａ〜ｄの４者会議を終了するための会議終了要求を会議制御装置１００に送信した場合について説明するが、このような場合に制限するものではない。例えば、他の会議端末が会議終了要求を送信してもよい。また、各会議端末が会議終了要求を会議制御装置１００に送信するのではなく、他の要因をトリガーとして会議を終了する制御を行ってもよい。例えば、会議制御装置１００等に保持されている会議予約情報の会議終了時刻が、現時刻と一致した場合に、会議の終了するための制御を開始しても良い。

なお、本シーケンス図においても、通話制御プロトコルとしてＳＩＰを用いた場合について説明するが、当該ＳＩＰを用いることに制限するものではない。

まず、会議中において、会議端末１２０ａ、１２０ｂは、接続している映像合成装置１１０ａとの間で映像データの送受信を行っている（ステップＳ１４０１、Ｓ１４０２）。また、会議端末１２０ｃ、１２０ｄは、接続している映像合成装置１１０ｂとの間で映像データの送受信を行なっている（ステップＳ１４０３、Ｓ１４０４）。また、クラスタ接続された映像合成装置１１０ａと映像合成装置１１０ｂとの間でも伸張処理された映像データの送受信が行われている（ステップＳ１４０５）。

そして、会議端末１２０ａは会議端末１２０ａ〜ｄとの間で４者会議を終了するための会議終了要求を示す“ＮＯＴＩＦＹ”リクエストを、会議制御装置１００に送信する（ステップＳ１４０６）。

会議制御装置１００の送信部３２１は、確認応答として“２００ＯＫ”レスポンスを会議端末１２０ａに送信する（ステップＳ１４０７）。

次に、会議制御装置１００の送信部３２１は、映像合成装置１１０ａと会議端末１２０ａとのセッションを切断するための“Ｒｅｆｅｒ（ＢＹＥ）”リクエストを送信する（ステップＳ１４０８）。

そして、“Ｒｅｆｅｒ（ＢＹＥ）”リクエストを受信した映像合成装置１１０ａの制御部２０２は、“２０２ Ａｃｃｅｐｔｅｄ”レスポンスを会議制御装置１００に送信する（ステップＳ１４０９）。

また、映像合成装置１１０ａは、受信した“Ｒｅｆｅｒ（ＢＹＥ）”リクエストにより、会議端末１２０ａとの切断を指示されたので、会議端末１２０ａとの間のセッションを終了するために、“ＢＹＥ”リクエストを会議端末１２０ａに送信する（ステップＳ１４１０）。

そして、“ＢＹＥ”リクエストを受信した会議端末１２０ａは、“２００ＯＫ”レスポンスを映像合成装置１１０ａに送信する（ステップＳ１４１１）。

これにより、会議端末１２０ａは、映像合成装置１１０ａとの間のＲＴＰによる映像データの送受信を停止する（ステップＳ１４１２）。

そして、ステップＳ１４０８〜Ｓ１４１２と同様の処理により、会議制御装置１００からの第３者呼制御を行い、映像合成装置１１０ａと会議端末１２０ｂとの間のセッションを終了し、映像データの送受信を停止する（ステップＳ１４１３〜Ｓ１４１６）。

次に、会議制御装置１００の送信部３２１は、映像合成装置１１０ｂと会議端末１２０ｃとのセッションを切断するために“Ｒｅｆｅｒ（ＢＹＥ）”リクエストを送信する（ステップＳ１４１８）。

そして、“Ｒｅｆｅｒ（ＢＹＥ）”リクエストを受信した映像合成装置１１０ｂの制御部２０２は、“２０２ Ａｃｃｅｐｔｅｄ”レスポンスを会議制御装置１００に送信する（ステップＳ１４１９）。

また、映像合成装置１１０ｂは、受信した“Ｒｅｆｅｒ（ＢＹＥ）”リクエストにより会議端末１２０ｃとの切断を指示されたので、会議端末１２０ｃとの間のセッションを終了するために、“ＢＹＥ”リクエストを送信する（ステップＳ１４２０）。

“ＢＹＥ”リクエストを受信した会議端末１２０ｃは、“２００ＯＫ"レスポンスを映像合成装置１１０ｂに送信する（ステップＳ１４２１）。

これにより、会議端末１２０ｃは、映像合成装置１１０ｂとの間のＲＴＰによる映像データの送受信を停止する（ステップＳ１４２２）。

そして、ステップＳ１４１８〜Ｓ１４２２と同様の処理により、会議制御装置１００からの第３者呼制御を行い、映像合成装置１１０ｂと会議端末１２０ｄとの間でセッションを終了し、映像データの送受信を停止する（ステップＳ１４２３〜Ｓ１４２７）。

そして、会議制御装置１００は、使用中の会議リソースを解放する（ステップＳ１４２８）。例えば、制御部３０２が、管理テーブルの映像合成装置１１０ａのエントリの使用リソースを‘２’減少させ、映像合成装置１１０ｂのエントリの使用リソースを‘２’減少させる。

以上の手順により、会議端末１２０ａ〜ｄの間の会議が終了する。なお、上記シーケンスではステップＳ１４０８〜Ｓ１４１２、ステップＳ１４１３〜Ｓ１４１７、ステップＳ１４１８〜Ｓ１４２２、ステップＳ１４２３〜Ｓ１４２７において、装置毎に順序立って終了処理が行われるように明記した。しかしながら、これらのより手順は説明を容易にするために順序立てて示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置１１０ａと会議制御装置１００、映像合成装置１１０ｂと会議制御装置１００との間で同時並行的に独立して実行されることになる。

次に、本実施の形態にかかる装置のハードウェア構成について説明する。例えば、上述した映像合成装置１１０ａ〜ｃでは、複数の会議端末から受信した複数の映像データを伸張・合成・圧縮処理を行うこととした。しかしながら、処理対象となる映像データ量と処理に要するステップ数を考慮すると、単一のＣＰＵによるソフトウエア処理で実現することは現状困難である。つまり、本実施の形態にかかる映像合成装置１１０ａ〜ｃにおいては、これらの処理をハードウェア化して、上述した処理を実現している。

図１８は、映像合成装置１１０ａのハードウェア構成の一例を示した図である。図１８に示すように映像合成装置１１０ａは、ＣＰＵ１８０１と、ＲＡＭ１８０２と、ネットワークＩ／Ｆ１８０３と、５個の映像圧縮伸張回路１８０４〜１８０８と、映像合成回路１８０９と、クラスタ接続Ｉ／Ｆ１８１０と、これらを接続するためのバス１８１１等を備えている。

図２の映像合成装置１１０ａで示した映像伸張部２０５ａ〜ｅと映像圧縮部２０６ａ〜ｅは、図１８に示すように映像圧縮伸張回路（ハードウエア）１８０５〜１８０８で実現している。なお、圧縮と伸張を個別の回路で実現してもよい。また、図２の映像合成部２０４は、映像合成回路（ハードウエア）１８０９で実現する。

また、図２のパケット通信部２０１はネットワークＩ／Ｆ１８０３（例えば、１００Ｍｂｐｓ対応のＥｔｈｅｒｎｅｔ（登録商標）仕様のネットワークインタフェース）を介して情報の送受信を制御する。また、映像データ通信部２０３は、クラスタ接続Ｉ／Ｆ１８１０を介して映像データ等の送受信を制御する。

制御部２０２はＣＰＵ１８０１とＣＰＵ１８０１が利用するＲＡＭ１８０２を用いてソフトウエアで実現する。

そして、バス（例えば、ＰＣＩ：ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）は、ＣＰＵ１８０１と、映像圧縮伸張回路１８０４〜１８０８と、映像合成回路１８０９と、ネットワークＩ／Ｆ１８０３との間を接続する。なお、図１８では単一のバスに各要素が接続される構成を示しているが、バスブリッジを介して速度の異なる複数のバスの元に各要素が接続される構成でもよい。

そして、映像合成回路１８０９と、映像圧縮伸張回路１８０４〜１８０８との間においては、無圧縮の映像データのやり取りをするためのバス（例えば、ＩＴＵ−Ｒ ＢＴ．６５６バス）を用いて接続する。

なお、これら各種内部バスインタフェースは設計指針に応じて決められるものである。

クラスタ接続Ｉ／Ｆ１８１０は、圧縮映像データを合成に必要な数分リアルタイムに送受信する専用の信号線であるとする。これを実現するために、本実施の形態においては、クラスタ接続Ｉ／Ｆ１８１０は、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｌｉｎｇ）仕様の１０Ｇｂｐｓ程度の信号線とする。これにより、クラスタ接続された映像合成装置間で復号済みのＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）品質（２５０Ｍｂｐｓ程度）の無圧縮映像データを、上述した会議端末台数分だけリアルタイムに送受信できる。ただし、本実施の形態は、信号線をＬＶＤＳに限定するものではない。

また、上述した実施の形態では、映像データをクラスタ接続Ｉ／Ｆ１８１０で送受信する場合について説明したが、送受信するデータに映像データ以外も含まれてよい。上述したように、本実施の形態にかかるクラスタ接続Ｉ／Ｆ１８１０は、ネットワークＩ／Ｆ１８０３より高速な通信（例えば、ネットワークＩ／Ｆ１８０３では通信速度が不足するような非圧縮の映像データを、確実に送信できる程度に高速な通信）を行い得るインタフェースを用いる。

また、映像合成装置の構成を全てプログラムで実現しても良い。

図１９は、上述した実施の形態にかかる会議制御装置１００のハードウェア構成を示す図である。会議制御装置１００は、ハードウェア構成として、ＨＤＤ１９０６内のプログラムに従って会議制御装置１００の各部を制御するＣＰＵ１９０１と、会議制御装置１００の制御に必要な種々のデータを記憶するＲＡＭ１９０３と、ネットワークに接続して通信を行うネットワークＩ／Ｆ１９０４と、会議制御プログラムや様々な情報を記憶・保持するＨＤＤ１９０６と、各部を接続するバス１９０５を備えている。また、会議制御装置１００は、上述した構成を備えた、一般的なコンピュータに適用することができる。

上述した実施の形態にかかる会議制御装置１００で実行される会議制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＨＤＤ、ＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

この場合には、会議制御プログラムは、会議制御装置１００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した制御部３０２が主記憶装置上に生成されるようになっている。また、リソース保持部３０３と、レイアウト管理部３０４も会議プログラムの実行時に主記憶装置上に保持される。

また、上述した実施の形態にかかる会議制御装置１００で実行される会議制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる会議制御装置１００で実行される会議制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の会議制御プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態の会議制御装置１００で実行される会議制御プログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から会議制御プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、本実施の形態は、映像合成装置間のクラスタ接続を１：１に制限するものではなく、１：ｎの接続であっても良い。

また、本実施の形態においては、多地点テレビ会議システムが、映像データを用いる多地点テレビ会議システムの場合について説明した。クラスタ接続された専用線を介して送受信することは、映像データのように情報量が多い場合に、よりいっそう効果を発揮する。しかしながら、本実施の形態は、多地点テレビ会議システムを映像データに適用した場合に制限するものではなく、音声や、テキストチャット、スプレッドシート等のアプリケーションデータ等の多種多様なメディアデータに対して適用することができる。

本実施の形態においては、映像合成装置から送信される登録情報を、会議制御装置がリソース保持部３０３において保持する。これにより、会議制御装置は、会議端末から会議開設要求を受け付けた場合に、当該会議に適切な映像合成装置を割り当てることができる。この場合にクラスタ接続されていることが登録されている場合、会議制御装置は、自動的に、クラスタ接続された複数の映像合成装置で会議を開設するように制御することができる。このように管理者は、手動で設定を行う必要がないので、多地点会議を実現するための設定作業を軽減することができる。

また、本実施の形態にかかる多地点テレビ会議システムにおいては、管理者が作業を行わずとも、会議制御装置１００が各映像合成装置を登録し、会議制御装置１００からの制御により各映像合成装置のリソースを有効活用して多地点会議を行なうことが可能となる。

また、上述した実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。

（変形例１）
上述した実施の形態において、映像合成装置１１０ａ〜ｃは、映像圧縮部２０６ａ〜ｅが最大リソースの数だけ備えている。しかしながら、本実施の形態は、映像合成部が備える映像圧縮部の数を制限するものではない。

そこで変形例１では、映像合成装置において、映像圧縮部を一つのみ備える場合について説明する。本変形例の場合、一映像合成装置当たり一つの会議の処理を担当する。また、映像合成装置がクラスタ接続されている場合、クラスタ接続された複数の映像合成装置で一つの会議を担当することもできる。そして、映像合成装置は、当該会議において、映像合成装置に接続された全ての会議端末に共通する画面配置・圧縮符号化方式・解像度・フレームレート・ビットレートで合成映像データを生成し、当該装置に接続された全ての会議端末に当該合成映像データを送信する。

また、映像合成装置は、スケーラブル符号化方式という圧縮符号化方式を用いてもよい。この場合、映像合成装置は、映像圧縮部を一つしか備えていなくとも、圧縮された映像データから、解像度又はビットレート等が異なる複数の映像データを取り出すことができる。これにより、会議端末毎に適した処理が施された映像データを送信することができる。

（変形例２）
上述した実施の形態において、映像合成装置１１０ａと映像合成装置１１０ｂのクラスタ接続がなされた場合、まず、映像合成装置１１０ａからの登録情報の受信により、会議制御装置１００のリソース保持部３０３に、映像合成装置１１０ａのエントリが登録される。この段階ではクラスタ接続されている旨が登録されていない。その後、映像合成装置１１０ｂの登録情報を受信した段階で、登録部３１１が、リソース保持部３０３に対して、クラスタ接続された旨を映像合成装置１１０ａ及び映像合成装置１１０ｂの各々のエントリに登録した。しかしながら、第１の実施の形態は、このような登録に制限するものではない。

例えば、映像合成装置１１０ａと映像合成装置１１０ｂのクラスタ接続がなされた場合、映像合成装置１１０ａと映像合成装置１１０ｂのいずれか一方から、登録情報として自装置の識別子とクラスタ接続先の装置の識別子を受信した段階で、会議制御装置１００は、クラスタ接続されたものとしてリソース保持部３０３に登録することにしても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

例えば、本実施形態では、会議制御装置１００と映像合成装置１１０ａ〜ｃを別な装置として説明した。しかしながら、会議制御装置１００が映像合成装置の機能を含む形態でもよい。その場合、複数の会議制御装置で多地点テレビ会議システムを実現した場合、複数存在する会議制御装置のうちいずれかの会議制御装置が、集約的に他の会議制御装置の登録等を行なえばよい。

また、上記実施形態及び変形例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態及び変形例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

以上のように、本発明にかかる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムは、複数の会議端末の映像データを複数の映像合成装置で分担して処理を行う場合の設定に関する技術として有用である。

実施の形態にかかる多地点テレビ会議システムのネットワーク構成の例を示した図である。 実施の形態にかかる映像合成装置の構成を示すブロック図である。 実施の形態にかかる会議制御装置の構成を示すブロック図である。 会議制御装置のリソース保持部が保持する映像合成装置の管理テーブルを示した図である。 会議制御装置における映像合成装置の登録手順を示すフローチャートである。 多地点テレビ会議システムにおいて前記映像合成装置の登録時に行われるメッセージの送受信を示したシーケンス図である。 会議制御装置の受信した登録情報をリソース保持部に登録する登録手順を示すフローチャートである。 会議制御装置の登録部が、第１の映像合成装置のエントリを登録した後の管理テーブルの例を示した図である。 会議制御装置の登録部が、第２の映像合成装置のエントリを登録した後の管理テーブルの例を示した図である。 会議制御装置の会議開始・会議終了の処理手順を示すフローチャートである。 多地点テレビ会議システムにおいて会議開設時に行われるメッセージの送受信を示したメッセージの送受信を示したシーケンス図である。 図１１に示す処理手順において、会議開設前に前記会議制御装置のリソース保持部が保持する管理テーブルの例を示した図である。 他の映像合成装置とクラスタ接続されている場合に映像合成装置による会議端末の映像データの合成処理手順を示すフローチャートである。 会議端末の会議開設時に表示される画面レイアウトの例を示した図である。 会議端末の会議開設時に表示される画面レイアウトの第２の例を示した図である。 会議端末の会議開設時に表示される画面レイアウトの第３の例を示した図である。 会議端末の会議開設時に表示される画面レイアウトの第４の例を示した図である。 映像合成装置の制御部が保持するレイアウト情報のデータ構造の例を示した図である。 クラスタ接続した場合に映像合成装置の制御部が保持するレイアウト情報のデータ構造の例を示した図である。 多地点テレビ会議システムにおいて会議終了時に行われるメッセージの送受信を示したシーケンス図である。 映像合成装置のハードウェア構成の一例を示した図である。 会議制御装置のハードウェア構成の一例を示した図である。

符号の説明

１００ 会議制御装置
１１０ａ〜ｃ 映像合成装置
１２０ａ〜ｃ 会議装置
１５０ ネットワーク
１５１ クラスタ接続用専用線
２０１ パケット通信部
２０２ 制御部
２０３ 映像データ通信部
２０４ 映像合成部
２０５ａ〜ｅ 映像伸張部
２０６ａ〜ｅ 映像圧縮部
２１１ 検出部
２２１ 送信部
２２２ 受信部
３０１ パケット通信部
３０２ 制御部
３０３ リソース保持部
３０４ レイアウト管理部
３１１ 登録部
３１２ 装置抽出部
３１３ 判別部
３２１ 送信部
３２２ 受信部
１８０１ ＣＰＵ
１８０２ ＲＡＭ
１８０３ ネットワークＩ／Ｆ
１８０４〜１８０８ 映像圧縮伸張回路
１８０９ 映像合成回路
１８１０ クラスタ接続Ｉ／Ｆ
１８１１ バス
１９０１ ＣＰＵ
１９０３ ＲＡＭ
１９０４ ネットワークＩ／Ｆ
１９０５ バス
１９０６ ＨＤＤ

Claims (10)

1. 専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置において、
   各前記情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第１の識別情報と、当該情報合成装置の識別情報である第２の識別情報と、を受信する受信部と、
   前記各情報合成装置から受信した前記第１の識別情報と、前記第２の識別情報と、を対応付けて保持する保持部と、
   前記複数の情報合成装置のうち第１の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、前記複数の情報合成装置のうち第２の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、が一致する場合に、前記第１の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第２の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる割当部と、
   を備えることを特徴とする情報制御装置。
2. 前記多重通信網を介して、前記第１の情報合成装置に対して、割り当てられた前記所定の端末装置の識別情報を送信し、前記第２の情報合成装置に対して、割り当てられた前記他の端末装置の識別情報を送信する送信部と、
   を備えることを特徴とする情報制御装置。
3. 前記保持部は、同時に合成可能な前記被合成情報の最大合成数を、前記情報合成装置毎に保持し、
   前記送信部は、前記所定の端末装置の台数を、前記第１の情報合成装置の前記最大合成数以下とすること、
   を特徴とする請求項１に記載の情報制御装置。
4. 前記端末装置する要求を前記受信部が受信することを契機として、前記割当部が、前記第１の情報合成装置に前記所定の端末装置を割り当て、前記第２の情報合成装置に前記他の端末装置を割り当てることを特徴とする請求項２に記載の情報制御装置。
5. 現在時刻を得るための時計部を、さらに備え、
   前記保持部は、前記所定の端末装置を第１の情報合成装置に、及び前記他の端末装置を前記第２の情報合成装置に割り当てるべき予約時刻を保持し、
   前記時計部から得られる現在時刻が前記予約時刻となることを契機として、前記割当部が、前記第１の情報合成装置に前記所定の端末装置を割り当て、前記第２の情報合成装置に前記他の端末装置を割り当てること、
   を特徴とする請求項２に記載の情報制御装置。
6. 他の情報合成装置と二者接続する専用回線を介して前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第１の被合成情報を受信する第１の通信部と、
   端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信し、前記情報制御装置から前記端末装置の識別情報を受信し、前記端末装置から第２の被合成情報を受信する第２の通信部と、
   前記第１の被合成情報と前記第２の被合成情報とを合成して合成情報を生成する合成部と、
   を備えることを特徴とする情報合成装置。
7. 前記専用回線は、前記多重通信網よりも高速な通信をすることが可能であることを特徴とする請求項６に記載の情報合成装置。
8. 他の情報合成装置と二者接続する専用回線を介して、前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第１の被合成情報と第２の被合成情報とを受信する第１の通信部と、
   情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する動作、前記情報制御装置から第１の端末装置の識別情報と前記第１の端末装置用のレイアウト情報と第２の端末装置の識別情報と前記第２の端末装置用のレイアウト情報とを受信する動作、第３の被合成情報を前記第1の端末装置から受信する動作、および第４の被合成情報を前記第２の端末装置から受信する動作、の動作群を、前記第１の端末装置と前記第２の端末装置と前記情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して行う第２の通信部と、
   前記第１の被合成情報と、前記第４の被合成情報と、を前記第１の端末装置用のレイアウト情報に沿って合成することで、前記第１の端末装置へ送信する第１の合成情報を生成し、前記第２の被合成情報と、前記第３の被合成情報と、を前記第２の端末装置用のレイアウト情報に沿って合成することで、前記第２の端末装置へ送信する第２の合成情報を生成する合成部と、
   を備えることを特徴とする情報合成装置。
9. 専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置としてコンピュータを動作させるプログラムにおいて、
   前記各情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第１の識別情報と、当該情報合成装置の識別情報である第２の識別情報と、を受信する機能、
   前記各情報合成装置から受信した前記第１の識別情報と、前記第２の識別情報と、を対応付けて保持する機能、
   前記複数の情報合成装置のうち第１の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、前記複数の情報合成装置のうち第２の情報合成装置から受信した前記第１の識別情報及び前記第２の識別情報と、が一致する場合に、前記第１の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第２の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる機能、
   を実現させるためのプログラム。
10. 他の情報合成装置と専用回線を介して二者接続する第１の通信部と、端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して通信を行う第２の通信部と、を備えるコンピュータを情報合成装置として機能させるプログラムであって、
    前記専用回線を介して前記他の情報合成装置の識別情報を受信する機能、
    前記専用回線を介して前記他の情報合成装置へ自装置の識別情報を送信する機能、
    前記多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する機能、
    前記多重通信網を介して前記情報制御装置から前記端末装置の識別情報を受信する機能、
    前記専用回線を介して前記他の情報合成装置から第１の被合成情報を受信する機能、
    前記多重通信網を介して前記端末装置から第２の被合成情報を受信する機能、
    前記専用回線を介して前記他の情報合成装置へ前記第２の被合成情報を送信する機能、
    前記第１の被合成情報を前記第２の被合成情報と合成して合成情報を生成する機能、
    を実現させるためのプログラム。

Images