JP2008085677A - 情報制御装置、情報合成装置及びプログラム - Google Patents
情報制御装置、情報合成装置及びプログラム Download PDFInfo
- Publication number
- JP2008085677A JP2008085677A JP2006263550A JP2006263550A JP2008085677A JP 2008085677 A JP2008085677 A JP 2008085677A JP 2006263550 A JP2006263550 A JP 2006263550A JP 2006263550 A JP2006263550 A JP 2006263550A JP 2008085677 A JP2008085677 A JP 2008085677A
- Authority
- JP
- Japan
- Prior art keywords
- information
- conference
- video
- synthesizer
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4038—Arrangements for multi-party communication, e.g. for conferences with floor control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
【課題】複数の情報合成装置で情報の合成を行うための設定作業の負担を軽減させる。
【解決手段】会議制御装置が、各映像合成装置から、当該映像合成装置が専用回線で接続される他の映像合成装置を識別する第1の識別子と、当該情報合成装置を識別する第2の識別子と、を受信する受信部と、各映像合成装置から受信した第1の識別子と、第2の識別子と、を対応付けて保持する保持部と、複数の映像合成装置のうち第1の映像合成装置から受信した第1の識別子及び第2の識別子と、複数の映像合成装置のうち第2の映像合成装置から受信した第1の識別子及び第2の識別子とが一致する場合に、第1の映像合成装置に対して複数の会議端末のうち所定の会議端末を割り当て、第2の映像合成装置に対して複数の会議端末のうち他の会議端末を割り当てる割当部と、を備える。
【選択図】 図3
【解決手段】会議制御装置が、各映像合成装置から、当該映像合成装置が専用回線で接続される他の映像合成装置を識別する第1の識別子と、当該情報合成装置を識別する第2の識別子と、を受信する受信部と、各映像合成装置から受信した第1の識別子と、第2の識別子と、を対応付けて保持する保持部と、複数の映像合成装置のうち第1の映像合成装置から受信した第1の識別子及び第2の識別子と、複数の映像合成装置のうち第2の映像合成装置から受信した第1の識別子及び第2の識別子とが一致する場合に、第1の映像合成装置に対して複数の会議端末のうち所定の会議端末を割り当て、第2の映像合成装置に対して複数の会議端末のうち他の会議端末を割り当てる割当部と、を備える。
【選択図】 図3
Description
この発明は、端末装置から送信された情報を合成する情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムに関するものである。
従来、複数の会議端末間をネットワークで接続し、各会議端末から送信された映像・音声データを他の会議端末で受信する多地点会議システムが使用されている。
このような多地点会議システムにおいては、メディア合成装置を備えているものが多い。このような多地点会議システムで用いられるメディア合成装置のリソースは有限である。メディア合成装置の例として、各会議端末からの映像データを合成する映像合成装置がある。
この映像合成装置の場合、各会議端末から映像データを受信し、受信した映像データを伸張し、伸張した映像データを合成し、合成した映像データを圧縮し、圧縮した映像データを送信する処理を行う。映像合成装置ではこれらの処理をソフトウエアまたはハードウエアで行うが処理可能な映像数は有限であり、映像合成装置に対して同時に接続可能な会議端末の数は制限される。
このように、映像合成装置は会議端末の収容可能な数が定められており、当該収容可能な数を超えて接続することはできない。しかしながら、映像合成装置単体で収容可能な数を超えて接続したいという要求も多い。
そこで、例えば特許文献1に示すように、映像合成装置(当該特許文献におけるMCU)同士を、カスケード接続を行うことで、会議の大規模化が実現できる。
また、非特許文献1に示されるテレビ会議システムにおいても、会議端末と接続された複数の映像合成装置間を接続することで、最大10地点での多地点テレビ会議を行うことが可能となる。
上述した特許文献1及び非特許文献1では、多地点会議システムでは、メディア合成装置と会議端末とのマッピング、又はメディア合成装置とメディア合成装置のカスケード接続のマッピングは固定されていた。つまり、メディア合成装置毎に接続する会議端末を割り当てやメディア合成装置同士のカスケード接続等を、利用者が手作業で設定する必要がある。このため、メディア合成装置のリソースを有効活用して、多地点会議を実現するためには煩雑な設定が必要という課題があった。
本発明は、上記に鑑みてなされたものであって、多地点会議を実現するための設定作業を軽減させる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムを提供することを目的とする。
本発明は、専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置において、前記各情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第1の識別情報と、当該情報合成装置の識別情報である第2の識別情報と、を受信する受信部と、前記各情報合成装置から受信した前記第1の識別情報と、前記第2の識別情報と、を対応付けて保持する保持部と、前記複数の情報合成装置のうち第1の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、前記複数の情報合成装置のうち第2の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、が一致する場合に、前記第1の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第2の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる割当部と、を備えることを特徴とする。
また、本発明は、情報合成装置であって、他の情報合成装置と二者接続する専用回線を介して前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第1の被合成情報を受信する第1の通信部と、端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信し、前記情報制御装置から前記端末装置の識別情報を受信し、前記端末装置から第2の被合成情報を受信する第2の通信部と、前記第1の被合成情報と前記第2の被合成情報とを合成して合成情報を生成する合成部と、を備えることを特徴とする。
また、本発明は、情報合成装置であって、他の情報合成装置と二者接続する専用回線を介して、前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第1の被合成情報と第2の被合成情報とを受信する第1の通信部と、情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する動作、前記情報制御装置から第1の端末装置の識別情報と前記第1の端末装置用のレイアウト情報と第2の端末装置の識別情報と前記第2の端末装置用のレイアウト情報とを受信する動作、第3の被合成情報を前記第1の端末装置から受信する動作、および第4の被合成情報を前記第2の端末装置から受信する動作、の動作群を、前記第1の端末装置と前記第2の端末装置と前記情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して行う第2の通信部と、前記第1の被合成情報と、前記第4の被合成情報と、を前記第1の端末装置用のレイアウト情報に沿って合成することで、前記第1の端末装置へ送信する第1の合成情報を生成し、前記第2の被合成情報と、前記第3の被合成情報と、を前記第2の端末装置用のレイアウト情報に沿って合成することで、前記第2の端末装置へ送信する第2の合成情報を生成する合成部と、を備えることを特徴とする。
また、本発明のプログラムは、上記情報制御装置としてコンピュータを機能させることを特徴とする。
また、本発明のプログラムは、上記情報合成装置としてコンピュータを機能させることを特徴とする。
本発明により、情報制御装置においては、複数の情報合成装置で情報の合成処理を分担する必要がある場合に、登録された識別情報より、合成処理の分担が可能な複数の情報合成装置を特定できるので、利用者は情報の合成処理を分担させるための設定を行う必要が無く、多地点会議を実現するための設定作業を軽減させることができるという効果を奏する。
また、情報合成装置においては、識別情報などの送信先の情報制御装置において第2の通信経路を介して接続された他の情報合成装置と自情報合成装置とが対応付けて保持されるので、複数の装置で情報の合成を行いたい場合に、情報制御装置が当該合成可能な自情報合成装置と他の情報合成装置とを特定できるので、利用者は情報の合成処理を分担させるための設定を行う必要が無く、多地点会議を実現するための設定作業を軽減させることができるという効果を奏する。
また、情報合成装置においては、当該情報合成装置及び他の情報合成装置が受信した被合成情報を問わず、当該端末装置毎に用意されたレイアウト情報に従って被合成情報の合成処理を行うので、利用者の好みに従った合成情報を提供できるという効果を奏する。
以下に添付図面を参照して、この発明にかかる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムの最良な実施の形態を詳細に説明する。後述する実施形態においては、情報合成装置を映像合成装置に適用し、情報制御装置を会議制御装置に適用した例について説明する。なお、情報合成装置及び情報制御装置は、後述する装置以外の様々な装置に対して適用することができる。
図1は、実施の形態にかかる多地点テレビ会議システムのネットワーク構成の例を示した図である。本図に示すように、多地点テレビ会議システムは、会議端末120a〜120dと、映像合成装置110a〜cと、会議制御装置100と、これらを接続するネットワーク(多重通信網)とから構成される。
会議端末120a〜120dは、テレビ会議に参加するための装置であり、参加者を撮影した映像データを映像合成装置に送信し、他の会議端末の参加者を撮影した映像データを映像合成装置から受信し、当該映像データを表示する。
映像合成装置110a〜cは、会議端末120a〜120dから送信された映像データの受信処理と、受信した映像データから会議端末毎の映像データの合成処理と、合成した映像データを会議端末120a〜120dへの送信処理とを行う。
会議制御装置100は、会議端末120a〜120dが会議を開設する際、各会議端末120a〜120dと、映像合成装置110a〜cとの接続制御を行う。
なお、図1では、4台の会議端末120a〜120dがネットワークに接続されている場合を示しているが、テレビ会議に参加する会議端末数を制限するものではない。
また、図1に示すように、映像合成装置110aと、映像合成装置110bとが専用線を用いて1対1に接続され、いわゆる二者接続の専用回線で通信することができるようになっている(以下、クラスタ接続と呼ぶ)。また、映像合成装置110cは、他の映像合成装置とクラスタ接続されていない単独装置として、多地点テレビ会議システムに備えられている。
また、本実施の形態は、会議制御装置100(情報制御装置)と、映像合成装置110(情報合成装置)a〜cと、会議端末(端末装置)120a〜120dとを接続するネットワークの例として、インターネットのようなベストエフォート型のパケット交換型ネットワークを用いる場合の説明を行う。なお、これらを接続するネットワークはパケット交換型ネットワークに制限するものではなく、無線・有線を問わず、どのようなネットワークに適用してもよい。
図2は、第1の実施の形態にかかる映像合成装置110aの構成を示すブロック図である。図2に示すように、映像合成装置110aは、パケット通信部201と、制御部202と、映像データ通信部203と、映像合成部204と、映像伸張部205a〜eと、映像圧縮部206a〜eとを備える。なお、映像合成装置110b等も同様の構成とし、説明を省略する。
また、映像合成装置110aは、概略的には会議制御装置100からの指示に従い、当該指示のテレビ会議に参加する会議端末と接続し、各会議端末から映像データを受信し、受信した映像データを合成し、合成した映像データを各会議端末に送信する。
また、図2に示すように、本実施の形態にかかる映像合成装置110aは、伸張処理を行う5個の映像伸張部205a〜eと、圧縮処理を行う5個の映像圧縮部206a〜eとを備えている。これにより、映像合成装置110aは、会議端末5個と接続し、会議端末毎の映像データの圧縮処理と伸張処理を行うことができる。また、映像合成装置110aが実際に備える映像伸張部及び映像圧縮部の数は、当該装置で必要とされる最大会議端末数(リソース数)の仕様に応じて決定され、5個に制限するものではない。
パケット通信部201は、送信部221と、受信部222とを備え、ネットワーク150を介して各種データ、会議端末120a〜dとの間でセッション制御情報又はその他各種プロトコル情報の送受信処理を行なう。なお、各種データについては、送信部221及び受信部222毎に説明する。
また、パケット通信部201は、IETF(Internet Engineering Task Force)で標準化されているSIP(RFC3261:セッションの開始・切断等の制御を行なうシグナリングプロトコル)、RTP/RTCP(RFC3550:映像音声データ等のリアルタイムデータの送受信、または当該リアルタイムデータのモニタリング又は制御を行うプロトコル)、又はプロトコル情報を運ぶための下位レイヤプロトコルであるTCP/UDP、IP、Ethernet(登録商標)等の各種通信プロトコルを用いる。
また、本実施の形態にかかるパケット通信部201が使用するプロトコルは、映像データを用いた会議システムの仕様に準拠するものであり、これらのプロトコルの使用のみに限定するものではない。
送信部221は、後述する会議制御装置100に自装置(映像合成装置110a)を登録する登録情報と、会議端末との接続・切断処理のための制御データと、会議端末からの映像データを合成した映像データとを送信する。
また、登録情報は、自装置の識別子(例えばMACアドレス)、IPアドレスを含む情報とする。また、登録情報は、映像合成装置110aが他の映像合成装置とクラスタ接続されている場合、接続先の映像合成装置の識別子を含む情報とする。なお、登録時の処理手順については後述する。また、登録情報は、最大リソース数を含めても良い。また、最大リソース数とは、当該映像合成装置110aが処理可能な会議端末の数を示し、本実施の形態に係る映像合成装置110aは、5個となる。
受信部222は、会議制御装置100から会議開設要求と、会議端末との接続・切断処理のための制御データと、会議端末120a〜120dから映像データとを受信する。
映像伸張部205a〜eは、受信部222が受信した映像データの伸張処理を行う。また、1個の映像伸張部が、1個の会議端末から送信された映像データの伸張処理を担当する。これにより、受信した映像データが会議端末毎に異なる符号化処理(圧縮符号化方式・解像度・フレームレート・ビットレート等)が行われている場合、映像伸張部205a〜eは、受信した映像データ毎に対応する伸張処理を行う。
制御部202は、検出部211を備え、映像合成装置110a全体の制御を行う。また、制御部202は、映像データ通信部203に対してクラスタ接続処理の指示や、パケット通信部201が受信した種々のパケットのプロトコル解析を行う。また、制御部202は、会議制御装置100に映像合成装置110aを登録するための登録情報を生成し、パケット通信部201に出力する。これにより送信部221が、登録情報の送信処理を行う。
また、制御部202は、会議制御装置100から送信された情報に応じて、各会議端末との間の会議の開始や切断のセッション制御の指示を行う。
また、制御部202は、パケット通信部201が各会議端末から受信した映像データを対応する映像伸張部に出力する制御を行う。また、制御部202は、圧縮した合成映像データを送信先の会議端末に対応するプロトコルでパケット化し、当該パケットをパケット通信部201に出力する。また、制御部202は、映像合成部204における映像合成配置パターンを制御する。また、制御部202は、映像圧縮部206a〜e、映像伸張部205a〜eに対して、種々のパラメータや方式等の各種設定・変更の指示を行う。
検出部211は、後述する映像データ通信部203を制御して、専用線を介してクラスタ接続された映像合成装置の検出処理を行う。
映像データ通信部203は、ネットワーク150とは別の専用の信号線を介してクラスタ接続された映像合成装置110bとの間で映像データの送受信を行う。また、映像データ通信部203は、映像伸張部205a〜eで伸張処理が行われた映像データを送信し、映像合成装置110bにおいて伸張処理が行われた映像データを受信する。
また、映像データ通信部203は、当該専用の信号線を介して、クラスタ接続された映像合成装置の検出や、接続先の映像合成装置110bとの間で、識別子の交換を行う。識別子は、映像合成装置を識別するためのユニークな情報とし、本実施の形態においては例としてMACアドレスを用いる。
また、映像合成装置間を接続するクラスタ接続インタフェースとして、1対1に接続される信号線を用い、映像合成装置の設置時にケーブルやコネクタ等で接続する。本実施の形態においては、映像合成装置を1対1で接続する。これにより、例えば、映像データ通信部203が、接続検出用の信号線の電圧レベルを監視することで、映像合成装置がクラスタ接続されたことを検出することが可能となる。また、1対1の二者接続する専用回線で接続されていることから特別の認証や暗号処理を行わなくても、映像データ通信部203が適切な装置と情報の送受信を行っていることが保証される。
また、本実施の形態と異なる例として、映像合成装置間のクラスタ接続のインタフェースとして、例えば無線LANやBluetooth(登録商標)のような無線インタフェースを用いることもできる。これら無線インタフェースを用いて接続する場合、接続先が適切な(所望の)接続先であること、または交換する情報が適切な情報合成装置との間で適切な情報の送受信を行っていることを保証するための仕組みが必要となる。
本実施の形態に戻り、上述した映像合成装置を備える多地点テレビ会議システムは、会議開設時において複数の会議端末から送信される映像データを、クラスタ接続されている複数の映像合成装置間で分担することができる。これにより、映像合成装置110aが単独で処理可能な会議端末数より多くの会議端末で会議を開設することができる。
映像合成部204は、制御部202からの指示により、伸張処理された映像データを用いて、映像合成装置110aに接続された会議端末毎に、会議端末毎に異なる画面配置(レイアウト)の映像データを合成する。なお、会議端末毎の画面の配置例については後述する。
また、映像合成部204は、映像伸張部205a〜eにおいて伸張処理された映像データのみならず、映像データ通信部203から受信した映像データも合成する際に使用する。この映像データ通信部203から受信した映像データは、他の会議端末と接続された映像合成装置110bの映像伸張部205a〜eにおいて伸張処理され、映像合成部204に入力された映像データとする。つまり、映像合成装置110aは、当該装置に接続されていない会議端末の映像データを合成することができる。
例えば、映像合成装置110aには会議端末120aと会議端末120bとが接続され、クラスタ接続先の映像合成装置110bには会議端末120cと会議端末120dとが接続している場合について説明する。この場合、映像合成装置110aは、会議端末120a及び会議端末120bからのみ映像データを受信する。しかしながら、映像合成装置110aは、クラスタ接続先の映像合成装置110bから会議端末120cと会議端末120dからの(伸張済みの)映像データを、専用の信号回線を介して受信する。これにより、映像合成装置110aは、会議端末120a〜dの全ての映像データを含めて合成することができる。
なお、映像合成装置110bは、映像合成装置110aから、会議端末120aと会議端末120bの(拡張済みの)映像データを、専用の信号回線を介して受信するので、映像合成装置110bも会議端末120a〜dの全ての映像データを合成することができる。これにより、会議端末120a〜dの接続先の映像合成装置が異なる場合でも、会議端末120a〜dが同一の会議に参加している状態(合成映像)を生成できる。
映像圧縮部206a〜eは、映像合成部204において合成された映像データを、映像合成装置110aに接続された会議端末毎に圧縮する処理を行う。また、映像圧縮部206a〜eは、各会議端末への合成映像データを、会議端末毎に適した方式で圧縮する処理を行う。
つまり、1個の映像圧縮部が、1個の会議端末に送信する映像データの圧縮処理を担当する。これにより、会議端末毎に表示されるレイアウトが異なる合成映像データを、会議端末毎に異なる圧縮符号化方式又は圧縮パラメータで圧縮することができる。
会議端末毎に異なるレイアウトの合成映像データの例を示す。例えば会議端末120a〜120dが会議を行った場合、会議端末120aの合成映像データは会議端末120b〜120dから送信された映像データが合成され、会議端末120bの合成映像データは会議端末120a、120c、120dから送信された映像データが合成される等とする。
このように、各映像圧縮部206a〜eが1個の会議端末の映像データの圧縮処理を担当することで、会議端末毎に異なる圧縮符号化方式(例えば、MPEG2・MPEG4・H.263・H.264等)・解像度・フレームレート・ビットレート等を設定できる。
これにより、映像合成装置110aは、会議端末毎に異なるレイアウトの映像データ、又は会議端末毎に適切な圧縮処理を施された映像データを生成し、出力できる。なお、会議端末毎のレイアウトについては後述する。
図3は、第1の実施の形態にかかる会議制御装置100の構成を示すブロック図である。本図に示すように会議制御装置100の内部は、パケット通信部301と、制御部302と、リソース保持部303と、レイアウト管理部304とを備え、リソース保持部303に対して登録された映像合成装置を管理し、各会議端末と映像合成装置との接続を管理し、会議の開始・切断のための制御を行なう。
また、会議制御装置100は、映像合成装置において合成される合成映像データの画面レイアウトの制御を行なってもよい。なお、本会議制御装置100の各機能はソフトウエアとして実現可能とする。
リソース保持部303は、映像合成処理が実行可能な映像合成装置の情報を保持している。図4は、リソース保持部303が保持する映像合成装置の管理テーブルを示した図である。図4に示すように、管理テーブルは、“エントリ番号”と、“映像合成装置の識別子”と、“映像合成装置のIPアドレス”と、“最大リソース数”と、“使用リソース数”と、“クラスタ接続フラグ”と、“クラスタ接続先の映像合成装置の識別子”とを対応付けて保持している。なお、この各レコードを、映像装置の登録を示すエントリとする。
“映像合成装置の識別子”は、各映像合成装置を一意に識別する情報とする。この映像合成装置の識別子は、異なる映像合成装置で同一にならないこと保証される情報であればどのような情報を用いても良い。なお、本実施の形態においては、映像合成装置の識別子として、当該映像合成装置のネットワークインタフェースに割り当てられているMACアドレスを使用する。
“映像合成装置のIPアドレス”は、各映像合成装置がIP(Internet Protocol)を用いて通信を行なうためのアドレス情報とする。また、自識別子情報として用いても良い。
“最大リソース数”は、当該映像合成装置において、同時に接続可能な最大会議端末数を示している。図2に示した映像合成装置110aの場合‘5’となる。この“最大リソース数”は、映像合成装置のハードウェア構成等により定められる。
“使用リソース数”は、現在当該映像合成装置に接続している会議端末により消費されたリソース数を示している。また、“使用リソース数”は、通常、接続された一個の会議端末当たり、‘1’リソース消費される。また、“使用リソース数”は、一会議端末が複数の会議に同時に参加する場合、当該会議端末が複数のリソースを消費することも考えられる。この“最大リソース数”と“使用リソース数”の差分が、使用可能な許容リソース数を示している。
このような許容リソース数を保持することで、会議端末120a〜dから会議開設要求を受信した場合、当該会議の開設を担当する映像合成装置が特定可能となる。また、本実施の形態にかかる多地点テレビ会議システムでは、当該リソース数が許容する限りにおいて、複数の会議を開設することができる。
“クラスタ接続フラグ”は、当該映像合成装置が他の映像合成装置とクラスタ接続されているかどうかを示すフラグとする。
“クラスタ接続先の映像合成装置の識別子”は、当該映像合成装置が他の映像合成装置とクラスタ接続されている場合に、クラスタ接続先の映像合成装置の識別子を保持する。これにより、クラスタ接続先の映像合成装置を一意に識別できる。また、当該識別子は、上述した“映像合成装置の識別子”と同一定義の識別情報とする。本実施の形態において“クラスタ接続先の映像合成装置の識別子”は、クラスタ接続先の映像合成装置のネットワークインタフェースに割り当てられているMACアドレスとする。
図3に戻り、パケット通信部301は、送信部321と、受信部322とを備え、各種データ、映像合成装置110a〜cと会議端末120a〜dとの間での会議の開始・切断を制御するためのセッション制御情報、映像合成装置における映像合成のための画面レイアウト情報、その他各種プロトコル情報等の送受信処理を行なう。なお、各種データについては、送信部321及び受信部322毎に説明する。
また、パケット通信部301は、上述した映像合成装置110aと同様に、SIP、RTP/RTCP、またこれらプロトコル情報を運ぶための下位レイヤプロトコルであるTCP/UDP、IP、Ethernet(登録商標)等の各種通信プロトコルを用いることができる。
また、本実施の形態にかかるパケット通信部301が使用するプロトコルは、映像データを用いた会議システムの仕様に準拠するものであり、これらのプロトコルの使用のみに限定するものではない。
受信部322は、映像合成装置110a〜cから上述した登録情報の受信処理や、会議端末120a〜dから会議開設要求又は会議終了要求の受信処理を行う。
送信部321は、会議端末120a〜dに対して会議開設可能か否かの情報と、会議を開設する際に、映像データの合成処理を担当する映像合成装置に対して接続先の会議端末を特定する情報を送信する。なお、受信部322及び送信部321の送受信手順については、後に詳細に示す。
制御部302は、登録部311と、装置抽出部312と、判別部313と、割当部314とを備え、会議制御装置100全体の制御を行う。
登録部311は、受信部322が受信した登録情報を、リソース保持部303の管理テーブルに登録する処理を行う。つまり、登録部311は、管理テーブルに対して、登録情報に含まれる送信元の映像合成装置の識別子と、当該映像合成装置のIPアドレスと、当該映像合成装置の最大リソース数と、使用リソース数と、クラスタ接続フラグと、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する。なお、最大リソース数は、会議制御装置100において予め保持していても良いし、映像合成装置から送信されるものでも良い。また、登録部311は、使用リソース数に初期値‘0’を設定する。また、クラスタ接続フラグについては後述する。
判別部313は、受信した登録情報においてクラスタ接続先の映像合成装置の識別子が含まれている場合、クラスタ接続先の映像合成装置がリソース保持部303において既に保持されているか否か判別を行う。
判別部313は、受信した登録情報の“映像合成装置の識別子”と“クラスタ接続先の映像合成装置の識別子”の組み合わせが、既にリソース保持部303の任意のレコードで保持されている“映像合成装置の識別子”と“クラスタ接続先の映像合成装置の識別子”の組み合わせと一致するか判別する。
より詳細な例としては、判別部313は、受信した登録情報に含まれる“クラスタ接続先の映像合成装置の識別子”が、リソース保持部303の管理テーブルのフィールド“映像合成装置の識別子”で保持されているか判別する。そして、判別部313は、保持されていると判別した場合、当該識別子を保持しているレコードにおいて、登録情報の送信元の“映像合成装置の識別子”がフィールド‘クラスタ接続先の映像合成装置の識別子’で保持されているか判別する。そして、判別部313は、保持されていると判別した場合に、すでにクラスタ接続先の映像合成装置が既に登録されていると判別する。
そして、登録部311は、受信した登録情報にクラスタ接続先の識別子が無い場合、又は判別部313がクラスタ接続先の映像合成装置が登録されていないと判別した場合、クラスタ接続フラグに初期値‘無’を設定する。
また、登録部311は、判別部313により既に管理テーブルにクラスタ接続先の映像合成装置が登録されていると判別された場合、クラスタ接続フラグに‘有’を設定する。この場合、登録部311は、クラスタ接続先のレコードに対してクラスタ接続フラグを‘有’に更新する。このような処理を行うことで、映像合成装置が互いに接続を認識している場合に限り、クラスタ接続フラグが‘有’となる。これにより、クラスタ接続フラグを確認すれば、互いに認識している映像合成装置を特定できる。これにより、一方の映像合成装置がクラスタ接続先の誤検出しただけでは、クラスタ接続フラグが‘有’とならない。これにより、クラスタ接続フラグの確認を行うことで、相互にクラスタ接続された映像合成装置の抽出精度が向上する。
また、登録部311は、受信した登録情報の映像合成装置のエントリが、既に管理テーブルに登録されている場合、受信した登録情報を用いて更新処理を行う。これにより、最新の情報が管理テーブルに保持されることになる。
装置抽出部312は、各会議端末120a〜dから会議開設要求を受信したことをトリガーとして、リソース保持部303が保持する管理テーブルから、会議を開設するために使用する映像合成装置の識別子及びIPアドレス等の抽出処理を行う。
装置抽出部312が会議を開設するための映像合成装置を抽出した場合、制御部302は、各会議端末と映像合成装置との間の会議セッションを開設するための制御を行なう。
また、会議開始のトリガーは、会議端末120a〜cからの会議開設要求の受信以外の処理を条件としても良い。例えば、Web等から予約された情報をトリガーにして会議を開設することも考えられる。
割当部314は、装置抽出部312が抽出した映像合成装置に対して、会議開設要求を送信した会議端末120a〜dのうちどの会議端末の合成処理を担当するのか割り当てる処理を行う。
レイアウト管理部304は、会議に参加している会議端末毎の映像データのレイアウトを決定する画面レイアウト情報を管理する。管理している当該画面レイアウト情報は送信部321に出力し、送信部321が映像合成装置に送信する。これにより、映像合成装置は、レイアウト管理部304により会議端末毎に適した画面レイアウトで制御され、映像データを合成することができる。
また、レイアウト管理部304は、画面レイアウトを直接制御するだけでなく、会議に参加する各会議端末からの要求に応じて制御してもよいし、議長となる会議端末からの指示に応じて制御してもよい。また、レイアウト管理部304は、会議端末からの音声の有無(発話者の検出)に応じてレイアウトを変更する制御を行っても良い。また、映像合成装置110a〜cが会議端末毎に異なる合成映像データを配信する場合、レイアウト管理部304は、各会議端末からの指示により画面レイアウトの制御を行なってもよい。
次に、映像合成装置110aの会議制御装置100に対する登録手順について説明する。図5は、映像合成装置110aの会議制御装置100に対する登録手順を示すフローチャートである。なお、映像合成装置110aについて説明するが、他の映像合成装置についても同様とし、説明を省略する。
つまり、映像合成装置110a〜cからの登録処理が行われることで、初めて会議制御装置100が各映像合成装置110a〜cを認識できる。これにより、会議制御装置100は、認識した映像合成装置110a〜cと各会議端末120a〜dとを接続させ、会議を開始させることが可能となる。
まず、映像合成装置110aの制御部202は、起動と共に、初期設定を行う(ステップS401)。この初期設定は、映像合成装置110aのIPアドレスの設定を含めた各種ネットワーク設定と、映像合成装置110aの各種ハードウェアの設定等とが含まれる。また、映像合成装置110aのネットワーク設定(IPアドレス、デフォルトゲートウエイ等の設定を含む)には、DHCPサーバから取得した情報を設定してもよいし、事前に管理者により手動設定された情報を元に設定を行ってもよい。また、DHCPサーバは、映像合成装置110aに対して、ネットワーク情報だけでなく、接続すべき会議制御装置100の情報(IPアドレスやポート番号等)を通知してもよい。このように、多地点テレビ会議システムにおいて、ネットワークの接続にDHCPを使用することで、当該システムに接続される映像合成装置に対して、管理者の負担を軽減させた上で、容易に動作させることが可能となる。
次に、検出部211は、映像データ通信部203からクラスタ接続された映像合成装置の検出を行なう(ステップS402)。このクラスタ接続の検出は、映像データ通信部203の機能として実現される。例えば、クラスタ接続に用いられる専用線で、装置が接続されていない通常の状態において電気信号がLOWとなり、装置がクラスタ接続されて物理的に導通された場合に電気信号がHIGHにプルアップする手法を用いる等が考えられるが、他のどのような手法を用いても良い。
また、検出部211が、クラスタ接続された映像合成装置を検出した場合(ステップS402:Yes)、映像データ通信部203は、映像合成装置110aを示す識別子を、クラスタ接続先の映像合成装置に送信する(ステップS403)。
そして、映像データ通信部203は、クラスタ接続先の映像合成装置から、クラスタ接続先の映像合成装置を示す識別子を受信する(ステップS404)。
次に、送信部221は、会議制御装置100に登録情報を送信する(ステップS405)。この登録情報は、クラスタ接続先を検出しなかった場合は、映像合成装置110aの識別子、自IPアドレス、最大リソース数を含むものとする。また、登録情報は、クラスタ接続を検出した場合は、映像合成装置110aの識別子、映像合成装置110aのIPアドレス、最大リソース数、クラスタ接続先の映像合成装置の識別子を含むものとする。
これにより会議制御装置100は、当該映像合成装置110aをエントリとして登録する。なお、登録時に行われる詳細なメッセージの送受信については後述する。
そして、受信部222が、会議開始要求として、会議制御装置100からメッセージを受信したか否か判断する(ステップS406)。受信していない場合(ステップS406:No)、特に処理を行わない。
そして、受信部222が、会議制御装置100からメッセージを受信した場合(ステップS406:Yes)、会議のための処理を行う(ステップS407)。なお、会議開設のメッセージから、会議のために行う処理については後述する。
そして、検出部211は、クラスタ接続先の構成の変更の検出処理を行う(ステップS408)。変更を検出しない場合(ステップS408:No)、会議の開設要求を受信したか否かの判断を行う。
また、検出部211は、クラスタ接続先の構成の変更を検出した場合(ステップS408:Yes)、再びクラスタ接続があるか否かの判断から行う(ステップS402)。
本多地点テレビ会議システムにおいては、上述した処理により映像合成装置110a〜cは、会議制御装置100に自動的に登録されることになる。また、登録の際にはクラスタ接続の有無も送信される。これにより、会議制御装置100は、自動的にクラスタ接続の有無を含めて映像合成装置110a〜cの状態を認識することができる。そして、多地点テレビ会議システムにおいては、管理者による映像合成装置毎に手動設定を行う作業負担を軽減させることができる。
また、上述した処理手順により、クラスタ接続の変更が行われた場合に、直ちにクラスタ接続の検出処理を行い、クラスタ接続が変更された内容の登録情報の送信が行われることになる。これにより会議制御装置100の登録部311は、新たに受信した登録情報で、リソース保持部303が保持する管理テーブルの更新を行う。これにより、会議制御装置100は、常に最新の映像合成装置の状態を把握することができる。
次に、会議制御装置100が映像合成装置110a、110bの登録処理を行う際に送受信するメッセージについて説明する。図6は、会議制御装置100と、映像合成装置110a、110bとの間で登録時に行われるメッセージの送受信を示したシーケンス図である。
また、本実施の形態においては、映像合成装置110a〜cと会議制御装置100の間で行われる登録、会議の開始・終了等の各種セッション制御にSIP(Session Initiation Protocol)を用いて例について説明する。なお、SIPは、IPネットワークにおいて通話制御に用いられるプロトコルであり、IETFにより標準化されたものである。なお、本実施の形態は、各種セッション制御をSIPに制限するものではなく、他のどのような制御手法を用いても良い。
まず、映像合成装置110aと映像合成装置110bは、図5で示した処理手順により、起動したときにクラスタ接続されている互いの装置に対して接続検出処理を行い、識別子の交換処理を行う(ステップS501、ステップS502)。
次に、映像合成装置110aは、“Register”リクエストを、会議制御装置100に送信する(ステップS503)。なお、“Register”リクエストは、登録を要求していることを示す。
そして、会議制御装置100は、映像合成装置110aからの“Register”リクエストを受信することで、映像合成装置110aが登録要求を行っていることを検出する。次に、会議制御装置100は、成功したことを示す“200OK”レスポンスを映像合成装置110aに送信する(ステップS504)。
そして、映像合成装置110aは、“200OK”レスポンスの受信により、リクエストが受けいれられたことを認識し、続けて“Subscribe”リクエストを会議制御装置100に送信する(ステップS505)。
なお、“Subscribe”リクエストは、イベントの通知要請を示している。そして、送信される“Subscribe”リクエストには、登録情報である映像合成装置110aの識別子(00:00:aa:00:00:01)、映像合成装置110bのIPアドレス(192.168.10.10)、最大リソース数(5)、クラスタ接続先の映像合成装置110bの識別子(00:00:aa:00:00:02)等の情報を付加されている。
そして、“Subscribe”リクエストを受信した会議制御装置100は、“200OK”レスポンスを映像合成装置110aに送信する(ステップS506)。
そして、会議制御装置100は、リソース保持部303の管理テーブルに、受信した登録情報を登録する(ステップS507)。なお、管理テーブルに登録される情報及び詳細な処理手順については後述する。
次に、映像合成装置110bは“Register”リクエストを会議制御装置100に送信する(ステップS508)。
次に、会議制御装置100は、映像合成装置110bから“Register”リクエストを受信した場合に、映像合成装置110bが登録要求していることを検出する。そして、会議制御装置100は、“200OK”レスポンスを、映像合成装置110bに送信する(ステップS509)。
そして、“200OK”レスポンスを受信した映像合成装置110bは、“Subscribe”リクエストを会議制御装置100に送信する(ステップS510)。この際、送信される“Subscribe”リクエストには、登録情報である映像合成装置110bの識別子(00:00:aa:00:00:02)、映像合成装置110bのIPアドレス(192.168.10.11)、最大リソース数(5)、クラスタ接続先の映像合成装置110aの識別子(00:00:aa:00:00:01)が含まれている。
次に、“Subscribe”リクエスト受信した会議制御装置100は、“200OK”レスポンスを映像合成装置110bに送信する(ステップS511)。
そして、会議制御装置100は、受信した登録情報をリソース保持部303の管理テーブルに登録する(ステップS512)。この場合にすでにクラスタ接続先の映像合成装置110aが登録されているので、クラスタ接続フラグを“有”にする等の更新処理を行う。なお、詳細な登録手順については後述する。
以上に示す処理手順を行うことで、会議制御装置100は、映像合成装置110a、110bの情報を、クラスタ接続された旨と共に、リソース保持部303に登録することができる。
なお、上記シーケンス図では、ステップS503〜ステップS506と、ステップS508〜ステップS511が、装置毎に順序立てて実行されるように明記した。しかしながら、これらの処理手順は説明を容易にするために示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置110aと会議制御装置100との処理と、映像合成装置110bと会議制御装置100との処理とは、同時並行的に独立して行われるものとなる。
次に、会議制御装置100の受信した登録情報をリソース保持部303に登録する登録手順について説明する。図7は、会議制御装置100の受信した登録情報をリソース保持部303に登録する登録手順を示すフローチャートである。
まず、会議制御装置100の受信部322は、任意の映像合成装置から、登録情報を受信したか否か判断する(ステップS701)。登録情報を受信していないと判断した場合(ステップS701:No)、受信部322は、受信するまで当該処理を繰り返す。なお、この受信処理は、図6に示した“Subscribe”リクエストの受信に相当する。そして、会議制御装置100は、図示しないが“200OK”レスポンスを送信する。
また、受信部322が登録情報を受信したと判断した場合(ステップS701:Yes)、判別部313は、登録情報にクラスタ接続先の映像合成装置の識別子が含まれているか否か判別する(ステップS702)。
次に、判別部313は、登録情報に、クラスタ接続先の映像合成装置の識別子が含まれていると判別した場合(ステップS702:Yes)、当該クラスタ接続先の映像合成装置が、管理テーブルにおいてエントリとして登録されているか判別する(ステップS703)。なお、判別部313は、当該クラスタ接続先の映像合成装置の識別子を、管理テーブルにおいて、“映像合成装置の識別子”フィールドに含んでいるレコードを検出した場合に、エントリとして登録されていると判別する。
より詳細に例を示すと、判別部313は、ステップS703において、すでにクラスタ接続先の映像合成装置がエントリとして登録されていると判別した場合、さらに当該エントリの“クラスタ接続先の映像合成装置の識別子”が、登録情報を送信した映像合成装置の識別子と一致するか否かの判定も行う。そして、一致すると判定された場合に限り、互いに装置がクラスタ接続されていることを認識しているものとみなし、ステップS704に進むことにする。
そして、判別部313が登録情報にクラスタ接続先の映像合成装置の識別子が含まれていないと判別した場合(ステップS702:No)、及びクラスタ接続先の映像合成装置のエントリが登録されていないと判別した場合(ステップS703:No)、登録部311は、登録情報に含まれる映像合成装置の識別子と、当該装置のIPアドレスと、最大リソースと、使用リソースと、クラスタ接続フラグ‘無’と、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する(ステップS706)。また、映像合成装置の識別子と、当該装置のIPアドレスと、最大リソースと、使用リソースは、上述したステップS704と同様とする。また、クラスタ接続先の映像合成装置の識別子は、登録情報に含まれている場合に限り登録される。
図6に示した例では、ステップS507において会議制御装置100は、映像合成装置110aからの登録情報に含まれるクラスタ接続先の映像合成装置110bの識別子(00:00:aa:00:00:02)が、管理テーブルの“映像合成装置の識別子”フィールドに含まれているレコードを検出できない(例えば図4を参照)。このため、クラスタ接続先の映像合成装置110bを示すエントリが登録されていないことが確認できる。このような場合に、クラスタ接続フラグが‘無’となる。
図8は、登録部311が、図6に示したステップS507において、映像合成装置110aのエントリを登録した後の管理テーブルの例を示した図である。図8に示すように、映像合成装置110bのエントリが登録されていないので、映像合成装置110aのエントリは、クラスタ接続フラグ‘無’として登録される。
図7に戻り、判別部313が登録されていると判別した場合(ステップS703:Yes)、登録部311は、登録情報に含まれる映像合成装置の識別子と、当該装置のIPアドレスと、最大リソースと、使用リソースと、クラスタ接続フラグ‘有’と、クラスタ接続先の映像合成装置の識別子とを対応付けて登録する(ステップS704)。なお、映像合成装置の識別子と、当該装置のIPアドレスと、クラスタ接続先の映像合成装置の識別子と、最大リソース数は、登録情報に含まれているものとする。また、使用リソースは初期値‘0’が登録される。
次に登録部311は、すでにリソース保持部303の管理テーブルにおいて、登録されているクラスタ接続先の映像合成装置のエントリに対して、クラスタ接続フラグを‘有’で更新する(ステップS705)。
図6に示した例では、ステップS512において会議制御装置100は、映像合成装置110bの登録情報に含まれるクラスタ接続先の映像合成装置110aの識別子(00:00:aa:00:00:01)が、管理テーブルにエントリとして登録されていることを確認できる(図8のエントリ番号‘2’のレコードを参照)。このような場合に、映像合成装置110bのクラスタ接続フラグが‘有’となる。この場合、上述したように確認先の映像合成装置110aのエントリもクラスタ接続フラグを‘有’で更新される。
図9は、登録部311が、図6に示したステップS512において、映像合成装置110bのエントリを登録した後の管理テーブルの例を示した図である。図9に示すように、映像合成装置110aのエントリはすでに登録されているので、映像合成装置110bのエントリ(エントリ番号‘3’のレコード)は、クラスタ接続フラグ‘有’として登録される。また、映像合成装置110aのエントリ(エントリ番号‘2’のレコード)のクラスタ接続フラグも‘有’で更新される。
次に、会議制御装置100の会議開始・会議終了の処理手順について説明する。図10は、会議制御装置100の会議開始・会議終了の処理手順を示すフローチャートである。
まず、会議制御装置100の受信部322は、会議端末から会議開始要求を受信したか否か判別する(ステップS1001)。また、この会議開始要求には、会議の開始に必要とするリソース数も含まれていることとする。
そして、会議開始要求を受信した場合(ステップS1001:Yes)、装置抽出部312は、リソース保持部303の管理テーブルから、会議開始要求に含まれているリソース数を確保できる映像合成装置を抽出する(ステップS1002)。
また、装置抽出部312は、リソース数を確保できる映像合成装置を抽出できなかった場合(ステップS1002:No)、管理テーブルにおいて、当該リソース数を確保できるクラスタ接続された複数の映像合成装置を抽出する(ステップS1003)。つまり、一台の映像合成装置のリソースでは会議を開設できないと判断されたが、複数の映像合成装置のリソースを組み合わせることで会議を開設できるか判断することとなる。具体的な例としては、クラスタ接続された複数の映像合成装置の使用可能なリソース数の合計が、会議開始要求のリソース数より大きい場合に、当該複数の映像合成装置が会議を開設できるものとして抽出される。そして、これら複数の映像合成装置それぞれが、処理を負担することで会議が開設される。
そして、装置抽出部312は、リソース数を確保できる映像合成装置を抽出した場合(ステップS1002:Yes)、又は複数の映像合成装置を抽出した場合(ステップS1003:Yes)、送信部321は、会議開始要求を行った会議端末に対して会議開始OKである旨を送信する(ステップS1004)。そのあと、会議制御装置100において会議を開始するためのセッションを生成する(ステップS1005)。なお、詳細については後述する。
次に、複数の映像合成装置を抽出できなかった場合(ステップS1003:No)、送信部321は、会議開催要求を行った会議端末に、会議生成できない旨を送信する(ステップS1006)。
そして、受信部222は、受信した情報が会議開始要求ではないと判断した場合(ステップS1001:No)、受信した情報が会議終了要求であるか否か判断する(ステップS1007)。
そして、受信部222が受信した情報が会議終了要求であると判断した場合(ステップS1007:Yes)、会議制御装置100は、当該使用中の会議に対して終了するための制御を行なう(ステップS1008)。その後、制御部302が、リソース保持部303の管理テーブルにおいて会議の開設を担当していた映像合成装置のエントリに対して、当該会議で消費していたリソース数を減少させる処理を行う(ステップS1009)。これにより、会議リソースの開放が行われたことになる。
次に、会議制御装置100が、会議端末120a〜dによる会議開設要求に対して映像合成装置110a、110bで映像データの合成を分担する場合のメッセージについて説明する。図11は、会議制御装置100と、映像合成装置110a、110bと、会議端末120a〜dとの間で行われる会議開設時のメッセージの送受信を示したシーケンス図である。
なお、図11に示す送受信を制御する例において、映像合成装置110a〜cが保持しているリソース数の状況について説明する。図12は、図11に示す処理を行う前に、リソース保持部303が保持する管理テーブルの例を示した図である。図12に示すように、エントリ1の映像合成装置110cは全てのリソースが消費されている。そして、エントリ2の映像合成装置110aでは、最大リソース数が‘5’で使用リソース数が‘3’であるので、リソース数が‘2’余っている。そして、エントリ3の映像合成装置110bでは、最大リソース数が‘5’で使用リソース数が‘3’であるので、リソース数が‘2’余っている。そして、これら映像合成装置110aと映像合成装置110bとはクラスタ接続されているのが確認できる。
つまり、映像合成装置単体では2者以上の会議を開設できないが、映像合成装置110aと映像合成装置110bとで合成処理を分担することで4者までの会議を開設することができる状況とする。なお、この場合において、5者以上から会議を開始する要求を受け付けると、クラスタ接続を考慮してもリソースを確保できないので、会議生成できない旨が送信されることになる。
なお、本シーケンス図においても、通話制御プロトコルとしてSIPを用いた場合について説明するが、当該SIPを用いることに制限するものではない。
まず、会議端末120aが、会議端末120b〜dとの間で4者会議を開始するための会議開始要求を、会議制御装置100に送信する(ステップS1101)。また、会議端末120aは、会議開始要求として、要請しているイベント通知の伝送を示す“NOTIFY”リクエストを送信することとする。なお、会議開始要求は、会議端末120aではなく、他の会議端末が送信してもよい。
また、会議端末120a〜dが会議開始要求を会議制御装置100に送信するのではなく、他の要因をトリガーとして会議が開始されてもよい。例えば、予約会議の場合、会議制御装置100等に保持されている会議予約情報の会議開始時刻と現在時刻が一致した場合に、会議制御装置100が会議開始のための制御を行なってもよい。その場合は会議制御装置100に、現在時刻を取得するための時計部が必要となることはいうまでもない。このように会議開始の予約を可能としたことで、利用者が会議を行う際の手続の負担を軽減すると共に、事前に会議を行うためのリソースを確保できる。
そして、会議制御装置100は、確認応答として“200OK”レスポンスを会議端末120aに送信する(ステップS1102)。
次に、会議制御装置100は、空きリソースを持つ映像合成装置の抽出処理を行う(ステップS1103)。具体的には、図12に示した会議リソース状態の場合、装置抽出部312は、クラスタ接続されている映像合成装置110aと映像合成装置110bの残りリソースを組み合わせて、新たな会議を開設できることを認識する。そして、新たな会議を開設できることを認識した場合、制御部302が、管理テーブルの該当レコードに対して消費分のリソース数を増加させる処理を行う。そして、割当部314は、映像合成装置110aに対して会議端末120a及び会議端末120bの合成処理を割り当て、映像合成装置110bに対して会議端末120c及び会議端末120dの合成処理を割り当てる処理を行う。
そして、会議制御装置100の送信部321は、会議を準備できることを伝えるために、会議開始OKを示す“NOTIFY”リクエストを会議端末120aに送信する(ステップS1104)。もし、会議を開始するためのリソースがなければ、会議開始ができないことを示す“NOTIFY”リクエストを送信してもよい。
そして、会議端末は、“NOTIFY”リクエストを受信した場合に、確認応答として“200OK”レスポンスを会議制御装置100に送信する(ステップS1105)。
次に、会議制御装置100は、映像合成装置110aと会議端末120aとのセッションを確立するために“Refer(Invite)”リクエストを、映像合成装置110aに送信する(ステップS1106)。なお、“Refer”リクエストは、第3者呼制御と呼ばれ、映像合成装置110aと会議端末120aとの間のセッション(呼)の確立・切断を、第3者の立場である会議制御装置100が制御するために用いられる。
そして、“Refer(Invite)”リクエストを受信した映像合成装置110aの送信部221は、“202 Accepted”レスポンスを会議制御装置100に送信する(ステップS1107)。
次に、制御部202は、“Refer(Invite)"リクエストに含まれていた映像合成のための(画面)レイアウト情報を、映像合成部204に対して設定する(ステップS1108)。
また、映像合成装置110aは、受信した“Refer(Invite)”リクエストに会議端末120aへの接続の指示が含まれているので、送信部221が、会議端末120aとの間でセッションの確立を行なうために“Invite”リクエストを会議端末120aに送信する(ステップS1109)。
そして、“Invite”リクエストを受信した会議端末120aは、“200OK"レスポンスを映像合成装置110aに送信する(ステップS1110)。そして、会議端末120aは、映像合成装置110aとの間でRTPによる映像データの送受信を開始する(ステップS1111)。なお、“Invite”リクエストにはRTPで送受信する映像データの圧縮符号化方式や解像度・フレームレート・ビットレートといった映像データに関する各種パラメータが含まれてもよい。
同様に、会議制御装置100からの第3者呼制御より、映像合成装置110aと会議端末120bとの間でセッションの確立および映像の送受信が開始される(ステップS1112〜S1117)。
これにより、映像合成装置110aは、会議端末120aと会議端末120bの映像データを取得できる。そして、映像合成装置110aが受信した映像データに対して伸張処理を施した後、映像合成装置110aの映像データ通信部203は、伸張処理された映像データを映像合成装置110bに送信する処理を開始する(ステップS1118)。ただし、映像合成装置110bに対して送信する映像データは、伸張処理を施した全ての映像データを送信することに制限せず、例えば映像合成装置110bからの要求に応じて、要求された映像データだけ送信してもよい。
次に、会議制御装置100は、映像合成装置110bと会議端末120cとのセッションを確立するための“Refer(Invite)”リクエストを送信する(ステップS1119)。
そして、“Refer(Invite)”リクエストを受信した映像合成装置110bの送信部221は、“202 Accepted”レスポンスを会議制御装置100に送信する(ステップS1120)。
次に、映像合成装置110bの制御部202は、“Refer(Invite)"リクエストに含まれていた映像合成のための画面レイアウト情報を、映像合成部204に対して設定する(ステップS1121)。
そして、映像合成装置110bは、受信した“Refer(Invite)”リクエストに会議端末120cへの接続の指示が含まれているので、送信部221が、会議端末120cとの間でセッションの確立を行なうために“Invite”リクエストを会議端末120cに送信する(ステップS1122)。
そして、“Invite”リクエストを受信した会議端末120cは、“200OK"レスポンスを映像合成装置110bに送信する(ステップS1123)。そして、会議端末120cは、映像合成装置110bとの間でRTPによる映像データの送受信を開始する(ステップS1125)。
同様に、会議制御装置100からの第3者呼制御より、映像合成装置110bと会議端末120dとの間でセッションの確立および映像の送受信が開始される(ステップS1126〜S1130)。
これにより、映像合成装置110bは、会議端末120cと会議端末120dの映像データを取得できる。そして、映像合成装置110bが受信した映像データに対して伸張処理を施した後、映像合成装置110bの映像データ通信部203は、伸張処理された映像データを映像合成装置110aに送信する処理を開始する(ステップS1131)。ただし、映像合成装置110aに対して送信する映像データは、伸張処理を施した全ての映像データを送信することに制限せず、例えば映像合成装置110aからの要求に応じて、要求された映像データだけ送信してもよい。
以上の手順により、会議端末120a〜dとの間での会議の開催を行うことができる。なお、会議端末120a、bは、映像合成装置110aと接続され、会議端末120c、dは、映像合成装置110bと接続されている。つまり、映像合成装置110aと映像合成装置110bは、異なる映像データを受信している。しかし、映像合成装置110a、110bは、伸張処理を施した後の映像データに対して、専用線を介して送受信を行っている。これにより、各映像合成装置の映像合成部204で合成した各端末に送信する合成映像は、会議端末120a〜dの全ての映像を含めることができる。
なお、上記シーケンスではステップS1106〜S1111、ステップS1112〜ステップS1117、ステップS1119〜S1124、ステップS1125〜S1130が、装置毎に順序立てて実行されるように明記した。しかしながら、これらの処理手順は説明を容易にするために示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置110aと会議制御装置100および対応する会議端末との処理と、映像合成装置110bと会議制御装置100および対応する会議端末との処理とは、同時並行的に独立して行われるものとなる。
次に、映像合成装置110aが映像合成装置110bとクラスタ接続され、映像データの伸張・圧縮処理を分担している場合における会議端末からの映像データの映像合成処理手順について説明する。図13は、映像合成装置110aが映像合成装置110bとクラスタ接続されている場合に任意の会議端末の映像合成処理手順を示すフローチャートである。なお、映像合成装置110b、cは、クラスタ接続されている場合に同様の処理を可能とし、説明を省略する。
まず、映像合成装置110aの制御部202は、会議が終了するか否かを判断する(ステップS1301)。会議を終了すると判断する場合としては、例えば送信部221が会議終了要求を受け付けた場合等とする。
そして、制御部202は、会議が終了していないと判断した場合(ステップS1301:No)、受信部222が、受信した情報が、接続されている各会議端末からの映像データであるか否か判断する(ステップS1302)。
そして、受信部222が、受信した情報が映像データであると判断した場合(ステップS1302:Yes)、当該映像データを担当する映像伸張部205a〜eのうちいずれかが受信した映像データの伸張処理を行う(ステップS1303)。
そして、クラスタ接続された映像合成装置110bでも同一の会議を担当している場合、映像データ通信部203は、伸張処理された映像データの送信処理を行う(ステップS1304)。この場合、映像データ通信部203は、伸張処理された映像データの受信処理を行う(ステップS1305)。
次に、映像合成装置110aの映像合成部204は、伸張した各映像データを接続された会議端末毎に単一の映像データに合成する(ステップS1306)。なお、映像レイアウトについては後述する。
そして、映像合成装置110aの映像圧縮部206a〜eは、合成された映像データ毎に、それぞれ圧縮処理を行う(ステップS1307)。
次に、送信部221が、圧縮処理された映像データを、会議端末毎に送信する(ステップS1308)。
受信部222が、映像合成のための画面レイアウト情報を受信したか否か判断する(ステップS1309)。そして、映像合成のための画面レイアウトを受信したと判断した場合(ステップS1309:Yes)、制御部202が、映像合成部204にレイアウト情報を設定する(ステップS1310)。次にレイアウト画面の例について説明する。
図14−1は、会議端末において会議開設時に表示される画面レイアウトの例を示した図である。当該画面レイアウトは、上述したように制御部202において設定されることで実現される。また、画面レイアウトは、図14−1に示した例に制限するものではない。例えば、発話者を検出した場合には、発話者の映像データを拡大したレイアウトを設定しても良い。
図14−2は、会議端末において会議開設時に表示される画面レイアウトの第2の例を示した図である。このように発話者となる参加者Dの会議端末120dの映像データが拡大し、参加者A〜Cの映像データを下に縮小して表示しても良い。
図14−3は、会議端末において会議開設時に表示される画面レイアウトの第3の例を示した図である。図14−3においては、図14−2よりさらに参加者A〜Cを縮小して表示した場合である。
図14−4は、会議端末において会議開設時に表示される画面レイアウトの第4の例を示した図である。図14−4においては、参加者A〜Cを縮小して4隅に表示した場合である。図14−1〜図14―4に示すように、画面レイアウトは必要に応じてさまざまなバリエーションが考えられる。また、本実施の形態は、上述したレイアウトに制限するものではなく、他のどのようなレイアウトにしても良い。
また、このようなレイアウトを設定するためのレイアウト情報について説明する。図15は、レイアウト情報のデータ構造の例を示した図である。なお、このレイアウト情報は、会議制御装置100から送信されたものとし、制御部202が保持する。図15に示すように、レイアウト情報は、入力映像と、使用の有無と、縮小率と、配置位置とを対応付けられている。そして、レイアウト情報は、会議端末毎に保持されている。そして入力映像が1〜5まであるのは、当該映像合成装置において接続できる会議端末の数が‘5’だからである。
図15においては、会議端末の画面サイズが720×480ドットを想定している。そして、当該映像合成装置に入力される入力映像の1〜4までで一つの会議を開設している。このため、入力映像データ1〜4が、使用‘有’と設定されている。また、当該レイアウト情報は、図14−1に示すような均等4分割を行う場合のレイアウト情報とする。そして、レイアウト情報の配置位置において、起点となるX座標及びY座標の他に、レイヤ情報も保持している。これは、表示する優先度を示したものとする。これにより、入力映像データか重畳する場合に、どの入力映像データを優先して表示するか特定することができる。次にクラスタ接続している場合のレイアウト情報について説明する。
また、本実施の形態では、会議端末毎に合成処理を行うので、自分を表示対象から除いた映像データを作成することができる。例えば参加者A〜Dまで参加している場合に、参加者Aに対して送信する映像データには、参加者Aを除いた、参加者B〜Dのみ表示するように合成処理を行ってもよい。
また、本実施の形態では、入力映像データの映像先となる映像合成装置と関係なく、会議端末毎に用意されたレイアウト情報に従って、入力映像データの合成処理を行うので、利用者の好みに従った映像データを提供できる。
図16は、クラスタ接続した場合のレイアウト情報のデータ構造の例を示した図である。図16においては、図15と同様のフィールドを保持しているが、入力映像の数が異なる。つまり、当該映像合成装置の入力映像データ5個と、クラスタ接続先の入力映像データ5個から、映像データを合成することができる。図16に示した例は、当該映像合成装置の入力映像データ1及び2と、クラスタ接続先の映像合成装置の入力映像データ1‘と2‘と合成して、均等4分割レイアウトとした場合を示している。
このようにレイアウト情報を設定することで、会議端末に適切な映像データを合成することができる。
図13に戻り、映像合成装置110aの制御部202は、会議が終了すると判断した場合(ステップS1301:Yes)。会議を停止させるための制御を行う(ステップS1311)。
上述した処理を行うことで、映像合成装置110a〜cは、接続された会議端末から受信した映像データから、レイアウト情報に従って合成処理を行い、会議端末毎に適した映像データを送信することができる。なお、映像合成処理において、映像データの伸張・圧縮処理を他の映像合成装置と分担しない場合、ステップS1304及びステップS1305で映像データ通信部203による映像データの送受信が行われないが、他の処理手順は上述した処理手順と同様となる。
次に、本実施の形態にかかる多地点テレビ会議システムにおいて会議を終了する場合に行われるメッセージの送受信について説明する。図17は、会議制御装置100と、映像合成装置110a、110bと、会議端末120a〜dとの間で行われるメッセージの送受信を示したシーケンス図である。
なお、図17に示すメッセージの送受信では、会議端末120aが、会議端末120a〜dの4者会議を終了するための会議終了要求を会議制御装置100に送信した場合について説明するが、このような場合に制限するものではない。例えば、他の会議端末が会議終了要求を送信してもよい。また、各会議端末が会議終了要求を会議制御装置100に送信するのではなく、他の要因をトリガーとして会議を終了する制御を行ってもよい。例えば、会議制御装置100等に保持されている会議予約情報の会議終了時刻が、現時刻と一致した場合に、会議の終了するための制御を開始しても良い。
なお、本シーケンス図においても、通話制御プロトコルとしてSIPを用いた場合について説明するが、当該SIPを用いることに制限するものではない。
まず、会議中において、会議端末120a、120bは、接続している映像合成装置110aとの間で映像データの送受信を行っている(ステップS1401、S1402)。また、会議端末120c、120dは、接続している映像合成装置110bとの間で映像データの送受信を行なっている(ステップS1403、S1404)。また、クラスタ接続された映像合成装置110aと映像合成装置110bとの間でも伸張処理された映像データの送受信が行われている(ステップS1405)。
そして、会議端末120aは会議端末120a〜dとの間で4者会議を終了するための会議終了要求を示す“NOTIFY”リクエストを、会議制御装置100に送信する(ステップS1406)。
会議制御装置100の送信部321は、確認応答として“200OK”レスポンスを会議端末120aに送信する(ステップS1407)。
次に、会議制御装置100の送信部321は、映像合成装置110aと会議端末120aとのセッションを切断するための“Refer(BYE)”リクエストを送信する(ステップS1408)。
そして、“Refer(BYE)”リクエストを受信した映像合成装置110aの制御部202は、“202 Accepted”レスポンスを会議制御装置100に送信する(ステップS1409)。
また、映像合成装置110aは、受信した“Refer(BYE)”リクエストにより、会議端末120aとの切断を指示されたので、会議端末120aとの間のセッションを終了するために、“BYE”リクエストを会議端末120aに送信する(ステップS1410)。
そして、“BYE”リクエストを受信した会議端末120aは、“200OK”レスポンスを映像合成装置110aに送信する(ステップS1411)。
これにより、会議端末120aは、映像合成装置110aとの間のRTPによる映像データの送受信を停止する(ステップS1412)。
そして、ステップS1408〜S1412と同様の処理により、会議制御装置100からの第3者呼制御を行い、映像合成装置110aと会議端末120bとの間のセッションを終了し、映像データの送受信を停止する(ステップS1413〜S1416)。
次に、会議制御装置100の送信部321は、映像合成装置110bと会議端末120cとのセッションを切断するために“Refer(BYE)”リクエストを送信する(ステップS1418)。
そして、“Refer(BYE)”リクエストを受信した映像合成装置110bの制御部202は、“202 Accepted”レスポンスを会議制御装置100に送信する(ステップS1419)。
また、映像合成装置110bは、受信した“Refer(BYE)”リクエストにより会議端末120cとの切断を指示されたので、会議端末120cとの間のセッションを終了するために、“BYE”リクエストを送信する(ステップS1420)。
“BYE”リクエストを受信した会議端末120cは、“200OK"レスポンスを映像合成装置110bに送信する(ステップS1421)。
これにより、会議端末120cは、映像合成装置110bとの間のRTPによる映像データの送受信を停止する(ステップS1422)。
そして、ステップS1418〜S1422と同様の処理により、会議制御装置100からの第3者呼制御を行い、映像合成装置110bと会議端末120dとの間でセッションを終了し、映像データの送受信を停止する(ステップS1423〜S1427)。
そして、会議制御装置100は、使用中の会議リソースを解放する(ステップS1428)。例えば、制御部302が、管理テーブルの映像合成装置110aのエントリの使用リソースを‘2’減少させ、映像合成装置110bのエントリの使用リソースを‘2’減少させる。
以上の手順により、会議端末120a〜dの間の会議が終了する。なお、上記シーケンスではステップS1408〜S1412、ステップS1413〜S1417、ステップS1418〜S1422、ステップS1423〜S1427において、装置毎に順序立って終了処理が行われるように明記した。しかしながら、これらのより手順は説明を容易にするために順序立てて示したものであり、この処理手順に限定されるものではない。より詳細な例を示すと、映像合成装置110aと会議制御装置100、映像合成装置110bと会議制御装置100との間で同時並行的に独立して実行されることになる。
次に、本実施の形態にかかる装置のハードウェア構成について説明する。例えば、上述した映像合成装置110a〜cでは、複数の会議端末から受信した複数の映像データを伸張・合成・圧縮処理を行うこととした。しかしながら、処理対象となる映像データ量と処理に要するステップ数を考慮すると、単一のCPUによるソフトウエア処理で実現することは現状困難である。つまり、本実施の形態にかかる映像合成装置110a〜cにおいては、これらの処理をハードウェア化して、上述した処理を実現している。
図18は、映像合成装置110aのハードウェア構成の一例を示した図である。図18に示すように映像合成装置110aは、CPU1801と、RAM1802と、ネットワークI/F1803と、5個の映像圧縮伸張回路1804〜1808と、映像合成回路1809と、クラスタ接続I/F1810と、これらを接続するためのバス1811等を備えている。
図2の映像合成装置110aで示した映像伸張部205a〜eと映像圧縮部206a〜eは、図18に示すように映像圧縮伸張回路(ハードウエア)1805〜1808で実現している。なお、圧縮と伸張を個別の回路で実現してもよい。また、図2の映像合成部204は、映像合成回路(ハードウエア)1809で実現する。
また、図2のパケット通信部201はネットワークI/F1803(例えば、100Mbps対応のEthernet(登録商標)仕様のネットワークインタフェース)を介して情報の送受信を制御する。また、映像データ通信部203は、クラスタ接続I/F1810を介して映像データ等の送受信を制御する。
制御部202はCPU1801とCPU1801が利用するRAM1802を用いてソフトウエアで実現する。
そして、バス(例えば、PCI:PeripheralComponent Interconnect)は、CPU1801と、映像圧縮伸張回路1804〜1808と、映像合成回路1809と、ネットワークI/F1803との間を接続する。なお、図18では単一のバスに各要素が接続される構成を示しているが、バスブリッジを介して速度の異なる複数のバスの元に各要素が接続される構成でもよい。
そして、映像合成回路1809と、映像圧縮伸張回路1804〜1808との間においては、無圧縮の映像データのやり取りをするためのバス(例えば、ITU−R BT.656バス)を用いて接続する。
なお、これら各種内部バスインタフェースは設計指針に応じて決められるものである。
クラスタ接続I/F1810は、圧縮映像データを合成に必要な数分リアルタイムに送受信する専用の信号線であるとする。これを実現するために、本実施の形態においては、クラスタ接続I/F1810は、LVDS(Low Voltage Differential Signalling)仕様の10Gbps程度の信号線とする。これにより、クラスタ接続された映像合成装置間で復号済みのSD(Standard Definition)品質(250Mbps程度)の無圧縮映像データを、上述した会議端末台数分だけリアルタイムに送受信できる。ただし、本実施の形態は、信号線をLVDSに限定するものではない。
また、上述した実施の形態では、映像データをクラスタ接続I/F1810で送受信する場合について説明したが、送受信するデータに映像データ以外も含まれてよい。上述したように、本実施の形態にかかるクラスタ接続I/F1810は、ネットワークI/F1803より高速な通信(例えば、ネットワークI/F1803では通信速度が不足するような非圧縮の映像データを、確実に送信できる程度に高速な通信)を行い得るインタフェースを用いる。
また、映像合成装置の構成を全てプログラムで実現しても良い。
図19は、上述した実施の形態にかかる会議制御装置100のハードウェア構成を示す図である。会議制御装置100は、ハードウェア構成として、HDD1906内のプログラムに従って会議制御装置100の各部を制御するCPU1901と、会議制御装置100の制御に必要な種々のデータを記憶するRAM1903と、ネットワークに接続して通信を行うネットワークI/F1904と、会議制御プログラムや様々な情報を記憶・保持するHDD1906と、各部を接続するバス1905を備えている。また、会議制御装置100は、上述した構成を備えた、一般的なコンピュータに適用することができる。
上述した実施の形態にかかる会議制御装置100で実行される会議制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでHDD、CD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
この場合には、会議制御プログラムは、会議制御装置100において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した制御部302が主記憶装置上に生成されるようになっている。また、リソース保持部303と、レイアウト管理部304も会議プログラムの実行時に主記憶装置上に保持される。
また、上述した実施の形態にかかる会議制御装置100で実行される会議制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる会議制御装置100で実行される会議制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
また、本実施形態の会議制御プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
本実施の形態の会議制御装置100で実行される会議制御プログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から会議制御プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
なお、本実施の形態は、映像合成装置間のクラスタ接続を1:1に制限するものではなく、1:nの接続であっても良い。
また、本実施の形態においては、多地点テレビ会議システムが、映像データを用いる多地点テレビ会議システムの場合について説明した。クラスタ接続された専用線を介して送受信することは、映像データのように情報量が多い場合に、よりいっそう効果を発揮する。しかしながら、本実施の形態は、多地点テレビ会議システムを映像データに適用した場合に制限するものではなく、音声や、テキストチャット、スプレッドシート等のアプリケーションデータ等の多種多様なメディアデータに対して適用することができる。
本実施の形態においては、映像合成装置から送信される登録情報を、会議制御装置がリソース保持部303において保持する。これにより、会議制御装置は、会議端末から会議開設要求を受け付けた場合に、当該会議に適切な映像合成装置を割り当てることができる。この場合にクラスタ接続されていることが登録されている場合、会議制御装置は、自動的に、クラスタ接続された複数の映像合成装置で会議を開設するように制御することができる。このように管理者は、手動で設定を行う必要がないので、多地点会議を実現するための設定作業を軽減することができる。
また、本実施の形態にかかる多地点テレビ会議システムにおいては、管理者が作業を行わずとも、会議制御装置100が各映像合成装置を登録し、会議制御装置100からの制御により各映像合成装置のリソースを有効活用して多地点会議を行なうことが可能となる。
また、上述した実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
(変形例1)
上述した実施の形態において、映像合成装置110a〜cは、映像圧縮部206a〜eが最大リソースの数だけ備えている。しかしながら、本実施の形態は、映像合成部が備える映像圧縮部の数を制限するものではない。
上述した実施の形態において、映像合成装置110a〜cは、映像圧縮部206a〜eが最大リソースの数だけ備えている。しかしながら、本実施の形態は、映像合成部が備える映像圧縮部の数を制限するものではない。
そこで変形例1では、映像合成装置において、映像圧縮部を一つのみ備える場合について説明する。本変形例の場合、一映像合成装置当たり一つの会議の処理を担当する。また、映像合成装置がクラスタ接続されている場合、クラスタ接続された複数の映像合成装置で一つの会議を担当することもできる。そして、映像合成装置は、当該会議において、映像合成装置に接続された全ての会議端末に共通する画面配置・圧縮符号化方式・解像度・フレームレート・ビットレートで合成映像データを生成し、当該装置に接続された全ての会議端末に当該合成映像データを送信する。
また、映像合成装置は、スケーラブル符号化方式という圧縮符号化方式を用いてもよい。この場合、映像合成装置は、映像圧縮部を一つしか備えていなくとも、圧縮された映像データから、解像度又はビットレート等が異なる複数の映像データを取り出すことができる。これにより、会議端末毎に適した処理が施された映像データを送信することができる。
(変形例2)
上述した実施の形態において、映像合成装置110aと映像合成装置110bのクラスタ接続がなされた場合、まず、映像合成装置110aからの登録情報の受信により、会議制御装置100のリソース保持部303に、映像合成装置110aのエントリが登録される。この段階ではクラスタ接続されている旨が登録されていない。その後、映像合成装置110bの登録情報を受信した段階で、登録部311が、リソース保持部303に対して、クラスタ接続された旨を映像合成装置110a及び映像合成装置110bの各々のエントリに登録した。しかしながら、第1の実施の形態は、このような登録に制限するものではない。
上述した実施の形態において、映像合成装置110aと映像合成装置110bのクラスタ接続がなされた場合、まず、映像合成装置110aからの登録情報の受信により、会議制御装置100のリソース保持部303に、映像合成装置110aのエントリが登録される。この段階ではクラスタ接続されている旨が登録されていない。その後、映像合成装置110bの登録情報を受信した段階で、登録部311が、リソース保持部303に対して、クラスタ接続された旨を映像合成装置110a及び映像合成装置110bの各々のエントリに登録した。しかしながら、第1の実施の形態は、このような登録に制限するものではない。
例えば、映像合成装置110aと映像合成装置110bのクラスタ接続がなされた場合、映像合成装置110aと映像合成装置110bのいずれか一方から、登録情報として自装置の識別子とクラスタ接続先の装置の識別子を受信した段階で、会議制御装置100は、クラスタ接続されたものとしてリソース保持部303に登録することにしても良い。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、本実施形態では、会議制御装置100と映像合成装置110a〜cを別な装置として説明した。しかしながら、会議制御装置100が映像合成装置の機能を含む形態でもよい。その場合、複数の会議制御装置で多地点テレビ会議システムを実現した場合、複数存在する会議制御装置のうちいずれかの会議制御装置が、集約的に他の会議制御装置の登録等を行なえばよい。
また、上記実施形態及び変形例に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態及び変形例に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
以上のように、本発明にかかる情報制御装置、情報合成装置、情報制御プログラム及び情報合成プログラムは、複数の会議端末の映像データを複数の映像合成装置で分担して処理を行う場合の設定に関する技術として有用である。
100 会議制御装置
110a〜c 映像合成装置
120a〜c 会議装置
150 ネットワーク
151 クラスタ接続用専用線
201 パケット通信部
202 制御部
203 映像データ通信部
204 映像合成部
205a〜e 映像伸張部
206a〜e 映像圧縮部
211 検出部
221 送信部
222 受信部
301 パケット通信部
302 制御部
303 リソース保持部
304 レイアウト管理部
311 登録部
312 装置抽出部
313 判別部
321 送信部
322 受信部
1801 CPU
1802 RAM
1803 ネットワークI/F
1804〜1808 映像圧縮伸張回路
1809 映像合成回路
1810 クラスタ接続I/F
1811 バス
1901 CPU
1903 RAM
1904 ネットワークI/F
1905 バス
1906 HDD
110a〜c 映像合成装置
120a〜c 会議装置
150 ネットワーク
151 クラスタ接続用専用線
201 パケット通信部
202 制御部
203 映像データ通信部
204 映像合成部
205a〜e 映像伸張部
206a〜e 映像圧縮部
211 検出部
221 送信部
222 受信部
301 パケット通信部
302 制御部
303 リソース保持部
304 レイアウト管理部
311 登録部
312 装置抽出部
313 判別部
321 送信部
322 受信部
1801 CPU
1802 RAM
1803 ネットワークI/F
1804〜1808 映像圧縮伸張回路
1809 映像合成回路
1810 クラスタ接続I/F
1811 バス
1901 CPU
1903 RAM
1904 ネットワークI/F
1905 バス
1906 HDD
Claims (10)
- 専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置において、
各前記情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第1の識別情報と、当該情報合成装置の識別情報である第2の識別情報と、を受信する受信部と、
前記各情報合成装置から受信した前記第1の識別情報と、前記第2の識別情報と、を対応付けて保持する保持部と、
前記複数の情報合成装置のうち第1の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、前記複数の情報合成装置のうち第2の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、が一致する場合に、前記第1の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第2の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる割当部と、
を備えることを特徴とする情報制御装置。 - 前記多重通信網を介して、前記第1の情報合成装置に対して、割り当てられた前記所定の端末装置の識別情報を送信し、前記第2の情報合成装置に対して、割り当てられた前記他の端末装置の識別情報を送信する送信部と、
を備えることを特徴とする情報制御装置。 - 前記保持部は、同時に合成可能な前記被合成情報の最大合成数を、前記情報合成装置毎に保持し、
前記送信部は、前記所定の端末装置の台数を、前記第1の情報合成装置の前記最大合成数以下とすること、
を特徴とする請求項1に記載の情報制御装置。 - 前記端末装置する要求を前記受信部が受信することを契機として、前記割当部が、前記第1の情報合成装置に前記所定の端末装置を割り当て、前記第2の情報合成装置に前記他の端末装置を割り当てることを特徴とする請求項2に記載の情報制御装置。
- 現在時刻を得るための時計部を、さらに備え、
前記保持部は、前記所定の端末装置を第1の情報合成装置に、及び前記他の端末装置を前記第2の情報合成装置に割り当てるべき予約時刻を保持し、
前記時計部から得られる現在時刻が前記予約時刻となることを契機として、前記割当部が、前記第1の情報合成装置に前記所定の端末装置を割り当て、前記第2の情報合成装置に前記他の端末装置を割り当てること、
を特徴とする請求項2に記載の情報制御装置。 - 他の情報合成装置と二者接続する専用回線を介して前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第1の被合成情報を受信する第1の通信部と、
端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信し、前記情報制御装置から前記端末装置の識別情報を受信し、前記端末装置から第2の被合成情報を受信する第2の通信部と、
前記第1の被合成情報と前記第2の被合成情報とを合成して合成情報を生成する合成部と、
を備えることを特徴とする情報合成装置。 - 前記専用回線は、前記多重通信網よりも高速な通信をすることが可能であることを特徴とする請求項6に記載の情報合成装置。
- 他の情報合成装置と二者接続する専用回線を介して、前記他の情報合成装置の識別情報を受信し、自装置の識別情報を送信し、第1の被合成情報と第2の被合成情報とを受信する第1の通信部と、
情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する動作、前記情報制御装置から第1の端末装置の識別情報と前記第1の端末装置用のレイアウト情報と第2の端末装置の識別情報と前記第2の端末装置用のレイアウト情報とを受信する動作、第3の被合成情報を前記第1の端末装置から受信する動作、および第4の被合成情報を前記第2の端末装置から受信する動作、の動作群を、前記第1の端末装置と前記第2の端末装置と前記情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して行う第2の通信部と、
前記第1の被合成情報と、前記第4の被合成情報と、を前記第1の端末装置用のレイアウト情報に沿って合成することで、前記第1の端末装置へ送信する第1の合成情報を生成し、前記第2の被合成情報と、前記第3の被合成情報と、を前記第2の端末装置用のレイアウト情報に沿って合成することで、前記第2の端末装置へ送信する第2の合成情報を生成する合成部と、
を備えることを特徴とする情報合成装置。 - 専用回線で二者接続される複数の情報合成装置と、前記複数の情報合成装置が合成すべき被合成情報を送信する複数の端末装置と、を含む装置群が多重通信を行う多重通信網を介して、前記装置群と通信を行う情報制御装置としてコンピュータを動作させるプログラムにおいて、
前記各情報合成装置から、当該情報合成装置が前記専用回線で二者接続される他の情報合成装置の識別情報である第1の識別情報と、当該情報合成装置の識別情報である第2の識別情報と、を受信する機能、
前記各情報合成装置から受信した前記第1の識別情報と、前記第2の識別情報と、を対応付けて保持する機能、
前記複数の情報合成装置のうち第1の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、前記複数の情報合成装置のうち第2の情報合成装置から受信した前記第1の識別情報及び前記第2の識別情報と、が一致する場合に、前記第1の情報合成装置に対して前記複数の端末装置のうち所定の端末装置を割り当て、前記第2の情報合成装置に対し、前記複数の端末装置のうち他の端末装置を割り当てる機能、
を実現させるためのプログラム。 - 他の情報合成装置と専用回線を介して二者接続する第1の通信部と、端末装置と情報制御装置と前記他の情報合成装置とが多重通信を行う多重通信網を介して通信を行う第2の通信部と、を備えるコンピュータを情報合成装置として機能させるプログラムであって、
前記専用回線を介して前記他の情報合成装置の識別情報を受信する機能、
前記専用回線を介して前記他の情報合成装置へ自装置の識別情報を送信する機能、
前記多重通信網を介して前記情報制御装置へ前記他の情報合成装置の識別情報を前記自装置の識別情報と共に送信する機能、
前記多重通信網を介して前記情報制御装置から前記端末装置の識別情報を受信する機能、
前記専用回線を介して前記他の情報合成装置から第1の被合成情報を受信する機能、
前記多重通信網を介して前記端末装置から第2の被合成情報を受信する機能、
前記専用回線を介して前記他の情報合成装置へ前記第2の被合成情報を送信する機能、
前記第1の被合成情報を前記第2の被合成情報と合成して合成情報を生成する機能、
を実現させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006263550A JP2008085677A (ja) | 2006-09-27 | 2006-09-27 | 情報制御装置、情報合成装置及びプログラム |
EP07739565A EP2067355A2 (en) | 2006-09-27 | 2007-03-16 | Apparatus for synthesizing information, apparatus for controlling information, and computer program product |
US11/791,492 US20090225153A1 (en) | 2006-09-27 | 2007-03-16 | Apparatus For Synthesizing Information, Apparatus For Controlling Information, And Computer Program Product |
PCT/JP2007/056124 WO2008050499A2 (en) | 2006-09-27 | 2007-03-16 | Apparatus for synthesizing information, apparatus for controlling information, and computer program product |
CA002655198A CA2655198A1 (en) | 2006-09-27 | 2007-03-16 | Apparatus for synthesizing information, apparatus for controlling information, and computer program product |
CN200780026470.3A CN101491091A (zh) | 2006-09-27 | 2007-03-16 | 用于合成信息的装置、用于控制信息的装置以及计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006263550A JP2008085677A (ja) | 2006-09-27 | 2006-09-27 | 情報制御装置、情報合成装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008085677A true JP2008085677A (ja) | 2008-04-10 |
Family
ID=38169688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006263550A Pending JP2008085677A (ja) | 2006-09-27 | 2006-09-27 | 情報制御装置、情報合成装置及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20090225153A1 (ja) |
EP (1) | EP2067355A2 (ja) |
JP (1) | JP2008085677A (ja) |
CN (1) | CN101491091A (ja) |
CA (1) | CA2655198A1 (ja) |
WO (1) | WO2008050499A2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
JP2016530810A (ja) * | 2013-08-15 | 2016-09-29 | アルカテル−ルーセント | 複数の人の没入型ビデオを生成するための方法 |
JP2018046326A (ja) * | 2016-09-12 | 2018-03-22 | コニカミノルタ株式会社 | 画像処理装置および画像処理装置の制御プログラム |
CN108462854A (zh) * | 2017-02-17 | 2018-08-28 | 陈延祚 | 视频图像处理方法及其相关系统 |
JP2020005302A (ja) * | 2011-02-28 | 2020-01-09 | 株式会社リコー | 伝送管理装置 |
CN113163151A (zh) * | 2020-01-07 | 2021-07-23 | 明基智能科技(上海)有限公司 | 辨识视讯讯号来源的方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2934451B1 (fr) * | 2008-07-25 | 2010-09-10 | Alcatel Lucent | Etablissement et controle d'appel par equipement tiers. |
US8427520B2 (en) * | 2010-12-02 | 2013-04-23 | Polycom, Inc. | Removing a self image from a continuous presence video image |
JP5817276B2 (ja) * | 2011-07-14 | 2015-11-18 | 株式会社リコー | 多地点接続装置、映像音声端末、通信システム、及び信号処理方法 |
US8941708B2 (en) | 2011-07-29 | 2015-01-27 | Cisco Technology, Inc. | Method, computer-readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal |
US9756083B2 (en) * | 2013-02-01 | 2017-09-05 | Avaya Inc. | System and method for context-aware participant management |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115737A (ja) * | 1998-10-08 | 2000-04-21 | Mitsubishi Electric Corp | 多地点テレビ会議システム |
JP2006222942A (ja) * | 2005-01-17 | 2006-08-24 | Toshiba Corp | 映像合成装置、映像合成方法及び映像合成プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5323445A (en) * | 1991-03-07 | 1994-06-21 | Mitsubishi Denki Kabushiki Kaisha | Multi-location television conference system |
JP2830750B2 (ja) * | 1994-02-24 | 1998-12-02 | 日本電気株式会社 | 画像多地点通信制御装置と画像通信端末および画像通信システム |
JPH0888842A (ja) * | 1994-09-19 | 1996-04-02 | Oki Electric Ind Co Ltd | 画像伝送システム |
US5838664A (en) * | 1997-07-17 | 1998-11-17 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
JPH10304328A (ja) * | 1997-04-25 | 1998-11-13 | Fujitsu Ltd | テレビ会議システムにおいて、多画面合成信号を生成する方式 |
US8659636B2 (en) * | 2003-10-08 | 2014-02-25 | Cisco Technology, Inc. | System and method for performing distributed video conferencing |
US7061521B2 (en) * | 2003-12-16 | 2006-06-13 | Vugate Inc. | Video conference system providing private and attorney-client privileged communications |
US20050254440A1 (en) * | 2004-05-05 | 2005-11-17 | Sorrell John D | Private multimedia network |
-
2006
- 2006-09-27 JP JP2006263550A patent/JP2008085677A/ja active Pending
-
2007
- 2007-03-16 CA CA002655198A patent/CA2655198A1/en not_active Abandoned
- 2007-03-16 WO PCT/JP2007/056124 patent/WO2008050499A2/en active Application Filing
- 2007-03-16 EP EP07739565A patent/EP2067355A2/en not_active Withdrawn
- 2007-03-16 CN CN200780026470.3A patent/CN101491091A/zh active Pending
- 2007-03-16 US US11/791,492 patent/US20090225153A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000115737A (ja) * | 1998-10-08 | 2000-04-21 | Mitsubishi Electric Corp | 多地点テレビ会議システム |
JP2006222942A (ja) * | 2005-01-17 | 2006-08-24 | Toshiba Corp | 映像合成装置、映像合成方法及び映像合成プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011525770A (ja) * | 2008-06-23 | 2011-09-22 | ラドヴィジョン リミテッド | カスケード接続のマルチポイントテレビ会議装置を提供するためのシステム、方法及び媒体 |
JP2020005302A (ja) * | 2011-02-28 | 2020-01-09 | 株式会社リコー | 伝送管理装置 |
JP2016530810A (ja) * | 2013-08-15 | 2016-09-29 | アルカテル−ルーセント | 複数の人の没入型ビデオを生成するための方法 |
JP2018046326A (ja) * | 2016-09-12 | 2018-03-22 | コニカミノルタ株式会社 | 画像処理装置および画像処理装置の制御プログラム |
CN108462854A (zh) * | 2017-02-17 | 2018-08-28 | 陈延祚 | 视频图像处理方法及其相关系统 |
CN113163151A (zh) * | 2020-01-07 | 2021-07-23 | 明基智能科技(上海)有限公司 | 辨识视讯讯号来源的方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2655198A1 (en) | 2008-05-02 |
CN101491091A (zh) | 2009-07-22 |
US20090225153A1 (en) | 2009-09-10 |
WO2008050499A2 (en) | 2008-05-02 |
EP2067355A2 (en) | 2009-06-10 |
WO2008050499A3 (en) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008085677A (ja) | 情報制御装置、情報合成装置及びプログラム | |
US9172910B2 (en) | Apparatus for multi-party video call, server for controlling multi-party video call, and method of displaying multi-party image | |
EP2681909B1 (en) | Transmission management apparatus | |
CN102868873B (zh) | 一种远程呈现方法、终端和系统 | |
US8643695B2 (en) | Videoconferencing endpoint extension | |
EP2437491A1 (en) | Method and system for video conference control, network equipment and meeting places for video conference | |
US20170171513A1 (en) | Remote conference system, communication terminal, and program | |
JP6172610B2 (ja) | テレビ会議用システム | |
EP3110140A1 (en) | Video conference-based electronic whiteboard interaction method and terminal | |
JP6634686B2 (ja) | 情報処理装置、プログラム、通信プラットフォーム決定方法、伝送システム | |
EP3133807A2 (en) | Apparatus, system, and method of controlling display image, and carrier means | |
JP2022133291A (ja) | 伝送管理装置 | |
WO2015127799A1 (zh) | 协商媒体能力的方法和设备 | |
JP2008288974A (ja) | ビデオ会議システム及びビデオ会議装置 | |
US20100274909A1 (en) | Connection device and connection method | |
WO2020252409A1 (en) | Bridging video conference room system and associated methods | |
WO2016147538A1 (ja) | テレビ会議用通信装置 | |
JP2021525035A (ja) | 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法 | |
JP2017028347A (ja) | 情報処理装置、通信システム、プログラム | |
JP2010074668A (ja) | 会議端末装置およびサーバ装置 | |
US11102451B2 (en) | Videoconferencing server for providing multi-screen videoconferencing by using a plurality of videoconferencing terminals and method therefor | |
JP2017092646A (ja) | 情報処理システム、情報処理装置、情報処理方法及びプログラム | |
KR20170071251A (ko) | 회의 서비스를 제공하는 다중 접속 제어 장치 | |
JP6481937B2 (ja) | テレビ会議用通信装置 | |
JP2016167676A (ja) | 通信端末装置、通信管理システム、通信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110308 |