JP2014161029A - マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト - Google Patents

Abstract

【課題】マルチストリームかつマルチサイトのテレプレゼンス会議システムにおいてビデオストリームの動的なレイアウトのアレンジを自動的に行えるようにする。
【解決手段】ビデオ会議マルチポイント制御ユニット（ＭＣＵ）は、ビデオ会議エンドポイントのためのディスプレイレイアウトを自動的に生成する。ディスプレイレイアウトはエンドポイントから受信した複数のビデオストリームに関連づけられた属性と、エンドポイントのディスプレイ構成情報とに基づいて生成される。エンドポイントは各出力ストリーム毎に１以上の属性を含む。属性はビデオストリームの役割、コンテンツ、カメラ源等に基づいて割り当てられる。ディスプレイレイアウトは１以上の属性が変化したときに再生成される。ミキサはディスプレイレイアウトに基づいてエンドポイントで表示すべきビデオストリームを生成する。
【選択図】図３

Description

本発明は、大略、ビデオ会議システムに関し、特に、マルチストリームかつマルチサイトの会議システムに関する。

ビデオ会議システムは、少なくとも２箇所の出席者の間でのオーディオ、ビデオ及びその他の情報の交換を６行う。概して、各出席者の所在地におけるビデオ会議のエンドポイント（端末装置）は、その場所にいる出席者の映像（イメージ）を撮るためのカメラと、遠隔地にいる出席者の映像を表示するためのディスプレイ装置を含む。このビデオ会議エンドポイントは、また、デジタルコンテンツを表示するための追加のディスプレイ装置を含むことができる。ビデオ会議において２以上の出席者がいるシナリオにおいては、マルチポイント制御ユニット（ＭＣＵ: multi-point control unit）が会議制御用エンティティとして使用され得る。このＭＣＵエンドポイントは、典型的には、通信ネットワークを介して通信し、各エンドポイント間でビデオ、オーディオ、データチャンネルの送受信を行う。

テレプレゼンス（telepresence: テレビ出席）技術は、出席者に対して機能増強されたビデオ会議体験を提供する。それは、近いエンドポイントの出席者があたかも遠いエンドポイントの出席者と同じ部屋にいるかのように感じさせるものである。テレプレゼンスビデオ会議は、二人の人間のポイント間のビデオ会議から多数の出席者の多数ポイント（マルチポイント）間のビデオ会議までにわたる、様々な会議システムのために提供され得る。典型的には、テレプレゼンスは、近端での複数出席者の映像（イメージ）を撮るための複数カメラと、遠端にいる複数出席者の映像（イメージ）を表示するための複数ディスプレイを使用する。複数のビデオストリームが複数のエンドポイントから前記ＭＣＵに送信され、１以上の結合ビデオストリームにされ、複数ディスプレイ装置上で表示されるために該エンドポイントに戻される。例えば、３つのエンドポイントが関係するテレプレゼンスシステムにおいては、各エンドポイントが３つのカメラを持ち、前記ＭＣＵは合計９個のビデオストリームを受信するであろう。前記ＭＣＵは９個のビデオストリームを1以上の結合ビデオストリームに結合しなければならず、それらは各エンドポイントで複数ディスプレイ装置上にて表示されるべく戻される。これらの９個のビデオストリームは、各エンドポイントにおけるディスプレイの数とタイプに基づき、各エンドポイント毎にレイアウトされねばならない。更に、ＭＣＵは、現在の話者が所在しているエンドポイントから情報を受信するが、各エンドポイントから受信されている1以上のビデオストリームをもって、ＭＣＵは複数ビデオストリームのうちのどれが該現在の話者を含んでいるかを判定することができない。従って、目立たせて表示するために、エンドポイントから受信した多数のビデオストリームの１つを動的に選択することは、困難である。

従来のマルチポイント及びマルチストリームのビデオ会議システムにおいては、各エンドポイントに送るべき複数ビデオストリームのアレンジ（arrangement: 配列）は、手動操作で行われている。例えば、ＶＮＯＣとしても知られるビデオネットワークセンターは、テレプレゼンスビデオ会議の手動管理を引き受け、入力ビデオストリームの適宜のレイアウトを結合された出力ビデオストリームの中に含める。ＶＮＯＣでビデオ会議の手動管理を行う人間は、現在の話者を特定するためにビデオストリームをモニタし、それから、現在の話者を含むビデオストリームが各エンドポイントにおけるディスプレイスクリーン上で目立って表示されるように、レイアウトを手動でアレンジする。現在の話者の映像を目立たせて表示することは、表示されるビデオストリームの縮尺及びサイズを操作することに関わってくるかもしれない。再び、ビデオ会議の手動管理を行う人間は、縮尺及びサイズを操作することを手動で実行するであろう。しかし、ＶＮＯＣの手動管理には、人間の誤操作及び遅れの問題がある。加えて、操作装置のために特別の訓練を伴うことが必要とされる人間の操作者を使用することは、非常にコスト高となる。

まとめると、従来の手法は、ビデオストリームの静的なレイアウトのアレンジの問題があり、若しくは、動的なレイアウトのアレンジが望まれるならば、エラーしがちな手動制御を使用する必要があった。

連続的な存在、テレプレゼンス、ビデオ会議のＭＣＵ（マルチポイント制御ユニット）が、ビデオ会議のエンドポイントに提示されるべきビデオストリームのレイアウトを自動的に生成する。ビデオ会議の１エンドポイントは、２以上のカメラと、少なくとも１つのディスプレイ装置と、これらに結合したプロセッサ（処理装置）とを含み得る。プロセッサは、また、出力ストリームに対して属性を割り当てるためのストリーム属性モジュールを含み得る。該エンドポイントは、また、複数出席者の中から現在の話者の居所を判定するための話者位置探索手段を含み得る。それから、プロセッサは現在の話者を撮影するカメラを決定し得る。続いて、プロセッサは、該カメラによって生成されたビデオストリームに対して前記属性モジュールが或る属性を付与するように指示し得る。その属性とは、ＭＣＵ又は他のエンドポイントによって調べられるとき、それに関連するビデオストリームが該現在の話者の映像（画像）を含むことを示し得るものである。

前記属性モジュールは、単一のビデオストリームに対して様々な属性を割り当てることができる。いくつかの属性は、該ビデオストリームのソース（生成源）である１つのカメラの位置を特定する、位置ベース属性であってよい。例えば、位置ベース属性は、「ＦＲ」（右端）、「ＣＬ」（中央左）、その他の属性を含み得る。別のいくつかの属性は、該ビデオストリームに含まれた出席者の役割を特定する、役割ベース属性であってよい。例えば、役割ベース属性は、「人間」、「コンテンツ」、その他の属性を含み得る。役割ベース属性は、「人間／聴衆」、「人間／発表者」、その他等の階層化された分類を持っていてもよい。ビデオストリームには、１以上の属性が割り当てられ得る。例えば、右端のカメラで撮影され且つ現在の話者の映像を含むビデオストリームは、「ＦＲ」及び「話者」の属性を持ち得る。別の例として、聴衆の中の一人が現在の話者であるならば、「人間／聴衆」の役割ベース属性を持つビデオストリームは「話者」属性をも持ち得る。

ＭＣＵは、レイアウトマネージャ（レイアウト管理手段）とミキサを含み得る。レイアウトマネージャは、入力ビデオストリームの属性と各エンドポイントに関する構成情報とに基づいて、各エンドポイントに送られたビデオストリームのためのレイアウトを生成する。この構成情報とは、例えば、ディスプレイスクリーンの数、各ディスプレイスクリーンの外観比率、専用スピーカ付きディスプレイスクリーンなど、その他の情報を含む。ミキサは、レイアウトマネージャによって決定されたレイアウトに基づいて、複数のビデオストリームを結合することができる。レイアウトマネージャは、各入力ビデオストリームの属性、入力ビデオストリームの数、各エンドポイントの構成情報など、その他の情報の変化をモニタし、これらの変化に基づいてレイアウトを動的に変更する。

以下、添付図面を参照して本発明の実施例を詳細に説明する。

マルチポイントビデオ会議システムの一例を示すブロック図。

該マルチポイントビデオ会議システムにおける１つのエンドポイント（端末装置）の一例を示すブロック図。

2以上のエンドポイントをＭＣＵ（マルチポイント制御ユニット）を介して互いに通信可能に接続したマルチポイントビデオ会議システムの一例を示すブロック図。

ディスプレイ装置における表示レイアウトの一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。 ディスプレイ装置における表示レイアウトの別の一例を示す図。

レイアウトマネージャによって生成されたレイアウトデータの一例を示す図。

ビデオレイアウト処理においてレイアウトマネージャによって実行される手順の一例を示すフロー図。

図１は、マルチポイントビデオ会議システム１００の一例を示す。このシステム１００は、ネットワーク１１０、1以上のマルチポイント制御ユニット（ＭＣＵ）１０６、複数のエンドポイントＡ〜Ｅ（１０１〜１０５）を含む。ネットワーク１１０は、それに限られるものではないが、パケット切り換えネットワーク、回路切り換えネットワーク、あるいは両者の組み合わせからなっていてよい。エンドポイントＡ〜Ｅ（１０１〜１０５）は、オーディオ及びビデオデータの双方を送受信できるものであってよい。ネットワークを介した通信は、H.320、H.324、H.323、SIPなどその他の通信プロトコルに基づくものであってよく、また、H.263、H.264などその他の圧縮標準を使用するものであってよい。ＭＣＵ１０６は、２以上のエンドポイント間でセッションを開始し、管理することができる。概ね、ＭＣＵ１０６は、１以上のエンドポイントから受信したオーディオデータを混合し、混合オーディオデータを生成し、適切なエンドポイントに該混合オーディオデータを送信することができる。更に、ＭＣＵ１０６は、１以上のエンドポイントからビデオストリームを受信することができる。これらのビデオストリームの１以上が、該ＭＣＵ１０６によって結合ビデオストリームへと結合されてよい。結合されていると否とに係わらず、ビデオストリームは該ＭＣＵ１０６によって適切なエンドポイントに送信され、それらの各ディスプレイスクリーンで表示されるようになっていてよい。変更例として、ＭＣＵ１０６は複数のエンドポイントＡ〜Ｅ（１０１〜１０５）のうちいずれか１つの場所に配置されていてもよい。

図２は、複数のカメラと複数のディスプレイ装置を持つエンドポイント２００の一例を示す。カメラ２０２〜２０５は、その地の会議室内に臨席している複数出席者の映像を撮影するものであり、該会議室内の複数の異なる場所を撮影するように列をなして配置され得る。従って、カメラ２０２〜２０５は、ＦＲ（far-right: 右端）、ＣＲ（center right: 中央右）、ＣＬ（: center left中央左）、ＦＲ（far-left: 左端）、のようにラベル付けされることができる。勿論、これらのラベル付けは単なる一例にすぎない。これとは異なるラベル付けが可能であり、例えば、カメラ２０５がすべての出席者の映像を撮るように使用され、そしてそれがＷＲ（全部屋）としてラベル付けされ得るようにしてもよい。別の例として、カメラ２０２がパン−チルト−ズーム（ＰＴＺ）のできるタイプのカメラであってもよく、これはその地の複数出席者の中から現在の話者の映像を撮り、これにＣＳ（current speaker: 現在の話者）のラベル付けを得る。ラベル及び属性は、カメラに対応付けて、プロセッサ２０９内のメモリに記憶され得る。

プロセッサ２０９は、ビデオ及びオーディオストリームを圧縮化及び圧縮解除するためのコーデック（codec: 符号・復号化器）２１０を含み得る。例えば、コーデック２１０は、カメラ２０２〜２０５により発生されたビデオストリームを圧縮し、圧縮したビデオストリームを生成することができ、それは遠隔のエンドポイント及び／又はＭＣＵに送信される。更に、コーデック２１０は、遠隔のエンドポイント又はＭＣＵから受信したビデオストリームを圧縮解除し、ディスプレイ装置２０６，２０７，２０８上で該ビデオストリームを表示する。コーデック２１０は、H.261 FCIF、H263 QCIF、H263 FCIF、H261 QCIF、H263 SQCIF、H.264 その他のようなビデオコーデック及びG.711、G.722、G.722.1、G.723.1その他のようなオーディオコーデックを含み得る。

プロセッサ２０９は、現在の話者つまり現在話している出席者の所在場所を判定する話者位置探索（locator: 所在位置探索手段）モジュール２１３と通信し得る。話者位置探索モジュール２１３によって提供された情報は、受信した複数ビデオストリームのどれが現在の話者を含んでいるかを判定するために、プロセッサ２０９で使用され得る。話者位置探索モジュール２１３は、複数マイクロホンからなるマイクロホンアレイ２２４を使用し、現在の話者のような音源から受信した音を分析し、該マイクロホンアレイ２２４に対する現在の話者の相対的な所在位置を判定し得る。マイクロホンアレイ２２４は、水平に、あるいは垂直に、あるいはそれらの組み合わせで、間隔を置いて並んだ複数マイクロホンの列を含む。典型的には、アレイ内のマイクロホンの少なくとも１つは基準マイクロホンとして割り当てることができる。多数の候補位置が予め定義され得る。これらの各候補位置の各マイクロホンからの距離は予め知られる。各マイクロホンによって録られた生の音信号（acoustic signal: 生音信号）は、前記基準マイクロホンによって録られた該生音信号に対して遅延され得る。この遅延は、部分的に、該基準マイクロホンに対する候補音源位置及びマイクロホン位置の関数たり得る。それから、各候補位置に関連付けられた該遅延された各信号の信号エネルギーが判定される。従って、最も高い信号エネルギーに対応する候補位置が当該オーディオ音源の実際の位置を最も推定している位置として選択され得る。換言すれば、最大値類推予測を使用して、当該オーディオ音源の実際の最良の推定候補である可能性のある所定の候補音源が、該オーディオ音源の位置として選択され得る。明らかに、この推定の正確さは、複数候補位置の数の増加と空間的分布に従って改善され得る。例えば、マイクロホンから略半径１０フィートの距離で６１個の候補位置を使用することができる。マイクロホンアレイを使用する出席者の位置の判定についての詳細は、チュウその他の発明による「生音源の位置を計算するための装置及び方法」と題する米国特許第６９１２１７８号に記載されており、その記載を引用することにより本書内に組み込む。

典型的には、マイクロホンアレイ２２４とカメラ２０２〜２０５との空間的関係は固定されたままとされる。よって、マイクロホンアレイ２２４に対して相対的に知られた現在の話者の位置は、基準のフレームを変更することにより、カメラに対する該現在の話者の位置に容易に変換され得る。特定のパン−ズーム−チルト設定とされた各カメラは、会議室内の特定の場所を撮影し、それらの場所の境界は予め決定され得る。従って、プロセッサ２０９は、該カメラの基準フレーム内に表現された現在の話者の位置（居所）が該カメラによって撮影された会議室内の場所内にあるかどうかを判定し得る。もし現在の話者の位置が該カメラによって撮影された会議室内の場所内に含まれるならば、プロセッサ２０９は、ストリーム属性モジュール２１２がそのカメラによって生成されたビデオストリームに対して「話者」の属性を割り当てるように指示し得る。

ストリーム属性モジュール２１２は、出力ストリームに対して複数の属性（属性情報）を割り当てることができる。これらの属性は、出力ビデオストリームが、該ビデオストリームを表現し表示するためのＭＣＵ及び／又は遠隔のエンドポイントにとって使い勝手がよくなるようなものにする。これらの属性は、出力ストリームが送信される間に付加され得る。例えば、H.323及びH.320のようなプロトコルが出力データストリームをラベル付けするのに使用され得る属性定義を含むように拡張され得る。ビデオストリームは様々な属性を持つことができる。例えば、該ビデオストリームのソース（源）となっているカメラの相対的位置を特定する位置情報を、該ビデオストリームは持ち得る。図２に示すように、出力ストリーム２１５〜２１８はそれらのソースカメラの相対的位置を特定する属性を持つ。例えば、ストリーム２１５は、右端（ＦＲ）位置に置かれたカメラ２０２をソースとしているので、「ＦＲ」とラベル付けされる。同様に、ビデオストリーム２１７は、中央左（ＣＬ）位置に置かれたカメラ２０４をソースとしているので、「ＣＬ」とラベル付けされる。

ビデオストリームは、また、「人」、「コンテンツ」のような役割ベースの属性をも持つことができる。該ビデオストリームが人又は出席者の映像を含むならば、該ビデオストリームは「人」属性でラベル付けされ得る。役割ベースの属性は、更に階層的分類を持ち得る。例えば、ビデオ会議における多数の出席者が情報発表を交替して行うならば、「人／発表者」と「人／聴衆」の分類が提供され得る。「人／発表者」属性は、それに関連付けられたビデオストリームが話者を含むか否かに関わりなく、目立たせて表示されるべき人の映像を該ビデオストリーム内に含むように指示することができる。発表物のようなデジタルコンテンツを含むビデオストリームは、「コンテンツ」属性を持ち得る。例えば、プロセッサ２０９はコンピュータ２２４からデータコンテンツを受信し、このデータコンテンツは発表物、文書、ビデオ、その他を含み得る。データコンテンツは圧縮されて、「ＣＯＮ」という属性が与えられ得る。図示していないが、図２において、エンドポイントは専用のデータコンテンツディスプレイを含んでいてもよく、それは、ＭＣＵから遠隔のエンドポイントで受信したデータストリームを表示する。

ビデオストリームは、また、１以上の属性を持ち得る。例えば、ビデオストリームは、「人／聴衆、話者」、「人／発表者、話者」等、のような役割ベースの属性と「話者」属性との両方を持ち得る。「話者」属性は、ビデオストリームの役割から独立して、割り当てられる。例えば、仮に現在の話者が「人／聴衆」役割を持つビデオストリームに含まれていたとしても、「話者」属性が、当該ビデオストリームに追加的に割り当てられ得る。別の例として、ビデオストリームは、「ＦＲ」属性を持つとともに「話者」属性も持つビデオストリーム２１５のように、位置情報と「話者」属性との両方を持ち得る。上述した通り、プロセッサ２０９は、どのカメラが現在の話者を撮影しているかを特定できる。そうすると、該プロセッサーは、該特定されたカメラによって生成されたビデオストリームに「話者」属性を追加し得る。図2に示す例では、現在の話者は、カメラ２０２によって撮影されている。ビデオストリーム２１５は、それに関連付けられた「話者」の属性を持つ。現在の話者の位置が変わったとすると、当該プロセッサは、その時点で現在の話者を含んでいるビデオストリームに「話者」属性を再割り当てできる。例えば、別の話者が話し始めて、その現在の話者の映像がカメラ２０４によって撮影されるとすると、ビデオストリーム２１７は「ＣＬ」属性に加えて「話者」属性に割り当てられる。

また、図２において、単一の出力ストリーム２１５のみが複数の属性を持つものとして示されているが、かかる複数の属性は、１以上のストリームに割り当て得る。例えば、ストリーム２１８は、「人／発表者」及び「ＦＬ」のように複数の属性を持ち得る。すなわち、ビデオストリームは、１以上の属性を割り当てられ得るのであり、かつ、割り当てられた属性は、役割ベース、カメラ位置ベース、現在の話者ベース、又は、何らかの選ばれたプロパティに基づくものである。図２に示された複数の属性は通信のためにエンコードされている。

ビデオストリーム、データストリーム及びオーディオストリームは、それらの属性とともに、エンドポイント２００によって、ネットワーク１１０経由で、遠隔のエンドポイント又はＭＣＵに送信される。トランスミッター／レシーバ２１４は、ネットワーク１０とエンドポイント２００との間の物理インターフェースとなる。Ｔｘ／Ｒｘ２１４は、遠隔のエンドポイント又はＭＣＵからのビデオストリームを受信することもできる。例えば、ビデオストリーム２１９〜２２１は、プロセッサ２０９によって受信される。ビデオストリーム２１９〜２２１は、そのビデオストリームを評価する属性を含んでおり、そのビデオストリームの再生成又はレンダリングのためにプロセッサ２０９に利用される。例えば、ビデオストリーム２１９は、「話者」及び「Ｒ」属性を持つ。プロセッサ２０９は、ディスプレイ装置２０８に、右側に配置されるビデオストリーム２１９を表示する。更に、ビデオストリーム２１９が「話者」属性も持つので、ビデオストリームは、より目立って表示されうる。同様に、「Ｃ」属性を持つビデオストリーム２２０はディスプレイ装置２０７に表示され、また、「Ｌ」属性を持つビデオストリーム２２１はディスプレイ装置２０７に表示されうる。

図３は、ＭＣＵ１０６経由で２つ以上のエンドポイントが互いに通信する会議システム３００の一実施例を示す。エンドポイント１０１，１０２及び１０３は、図２に示したエンドポイントの一例と同様でよい。各エンドポイントは、それぞれ対応する出席者にテレプレゼンス体験を提供するための、カメラ及びディスプレイスクリーンの各種構成を有する。例えば、エンドポイントＡ１０１は４つのカメラと４つのディスプレイ装置を含み、エンドポイントＢ１０２は４つのカメラと３つのディスプレイ装置を含み、エンドポイントＣ１０３は１つのカメラと２つのディスプレイ装置を含みうる。ビデオストリームは各エンドポイントとＭＣＵ１０６の間で交換され得る。図においては、明確にするために、エンドポイントＡ１０１へ入出力するビデオストリームだけが詳細に示されている。ＭＣＵ１０６は、ビデオ、オーディオ、信号データが送受信されるネットワークインターフェース３２８を含む。

ＭＣＵ１０６はレイアウトマネージャ３０２及びミキサ３０３を含む。レイアウトマネージャ３０２は、各エンドポイントに送られる複数のビデオストリームのアレンジを含む表示又はビデオレイアウトを決定する。ビデオレイアウトの決定において、レイアウトマネージャ３０２は、受信したビデオストリームのうちどれがエンドポイントへ送られるべきかを決定するのみならず、それらが表示されるべき空間的アレンジも決定する。この決定は、受信したビデオストリームに関連付けられた属性と、エンドポイントに関連付けられた構成情報とに基づいてよい。レイアウトマネージャ３０２は、ＭＣＵ１０６によって受信された各ビデオストリームに関連付けられた属性を決定できる。例えば、ビデオストリーム３０７，３０８，３０９及び３１０に関連付けられた属性「ＦＲ、話者」３１７、「ＣＲ」３１８、「ＣＬ」３１９及び「ＦＬ」３２０は、エンドポイントＡ１０１から受信できる。同様に、複数のビデオストリーム及びそれら属性は、エンドポイントＢ１０２及びエンドポイントＣ１０３（それぞれ、単純化のため、３１５及び３１６により示されている）から、あるいは、いずれの追加的エンドポイントからも受信できる。各エンドポイントから受信した構成情報３２９は、ディスプレイ装置の数、各ディスプレイ装置のアスペクト比及び解像度、現在の話者専用のディスプレイ装置の存否、或いは、使用されているエンコード種類等が含まれる。詳しくは後述する通り、レイアウトマネージャ３０２は、各エンドポイントに送るビデオストリームのアレンジを生成できる。このアレンジは、信号パス３２１経由で実行のためにミキサ３０３に伝達される。

ミキサ３０３は、１以上のエンドポイントからビデオストリームを受信できる。ミキサ３０３は、レイアウトマネージャ３０２によって決定されたビデオストリームのアレンジを実行できる。例えば、ミキサ３０３は、エンドポイントＡ１０１，Ｂ１０２及びＣ１０３からのビデオストリームを受信し、レイアウトマネージャ３０２から受信した信号３２１に基づいて該ビデオストリームを結合して、結合したビデオストリームを各エンドポイントに送り返す。ミキサ３０３は、入力されるビデオ及びオーディオストリームをデコードし、且つ、出力されるビデオ及びオーディオストリームをエンコードするコーデック３２２を含み得る。例えば、オーディオコーデックは、Ｇ．７１１，Ｇ．７２２．Ｇ．７２２．１，Ｇ７２３．１などの標準的コーデックを含む。ビデオコーデックは、Ｈ．２６１ ＦＣＩＦ、Ｈ．２６３ ＱＣＩＦ、Ｈ．２６３ ＦＣＩＦ、Ｈ．２６１ ＱＣＩＦ、Ｈ．２６３ ＳＱＣＩＦ、Ｈ．２６４などの標準的コーデックを含む。コーデック３２２は、受信したエンドポイントにて使用されたエンコード方式に基づいて、出力されるオーディオ及びビデオストリームのエンコード方式を変更できる。

ミキサ３０３は、また、各種エンドポイントから受信したビデオフレームの操作を実行するための映像処理モジュール３２５を含んでよい。かかる操作は、２以上のフレームを１つのフレームに結合すること、スケーリング、クロッピング、オーバーレイイング等を含んでよく、より詳しくはアヴィシェイ・ハラヴィーによる「ビデオ会議において生成された複数のビデオストリームを結合するためのシステム及び方法」と題する米国特許第１２／５８１６２６号に記載されており、その記載を引用することにより本書内に組み込む。

ミキサ３０３は、また、出力ストリームに属性を割り当てるためのストリーム属性モジュール３２７を含んでよい。例えば、ストリーム属性モジュール３２７は、属性「ＦＬ」、「ＣＬ」、「ＣＲ、話者」及び「ＦＲ，ＣＯＮ」をそれぞれ対応するストリーム３１１，３１２，３１３及び３１４に割り当てる。当該ストリーム属性モジュール３２７は、レイアウトマネージャ３０２から、特定のビデオストリームに対してどの属性を割り当てるかに関する指示を受信できる。

ＭＣＵ１０６は、Ｈ．３２０、Ｈ．３２３及びＨ．３２４のような、これに限定もされもしないが、ＩＴＵ規格に従う。したがって、レイアウトマネージャ３０２は、メディアコントローラ（ＭＣ）の一部となり、ミキサ３０３はメディアプロセッサ（ＭＰ）の一部となる。ミキサ３０３、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、マイクロコントローラ、ＦＰＧＡ，ハードウェアとファームウェアの組み合わせ、マイクロプロセッサ上のソフトウェアなどにより実装できる。例えばコーデック３２２、映像処理モジュール３２５及びストリーム属性モジュール３２７など、ミキサ３０３内の各種モジュールは、それぞれ個別のハードウェアモジュールであってもよいし、あるいは、ソフトウェア（ファームウェア）モジュールであってもよい。レイアウトマネージャ３０２は、マイクロコントローラ、ＡＳＩＣ、ＦＰＡＧ、ハードウェア／ファームウェアの組み合わせなどのように、ハードウェアコンポーネントとして、分離して実装できる。

図４Ａは、各種エンドポイントのイメージのレイアウトの一例を示す。図示の例では、ＭＣＵ１０６は、１つのエンドポイント、例えば４つのディスプレイ装置４０２，４０４，４０６及び４０８を有するエンドポイントＥに、ビデオストリームを伝送する。ビデオ会議は、例えばＡ、Ｂ、Ｃ及びＤの４つの別のエンドポイントを含みうる。レイアウトマネージャ３０２は、５つのエンドポイントＡ、Ｂ、Ｃ、Ｄ及びＥのそれぞれにより生成されたビデオストリームに関連付けられた属性を受信し、各エンドポイントのディスプレイ装置毎に表示すべき出力ビデオストリームのレイアウトを決定する。出力ビデオストリームは、そのビデオストリームが表示されるべきディスプレイ装置を決定することをエンドポイントに可能とする属性を含む。例えば、エンドポイントＥで受信されるビデオストリームは、「ＦＬ」（左端ディスプレイ装置）、「ＣＬ」（中央左ディスプレイ装置）、「ＣＲ、話者」（中央右ディスプレイ装置）、及び、「ＦＲ」（右端ディスプレイ装置）などの属性を含む。各ディスプレイ装置の出力ビデオストリームは、多種のソースからのビデオストリームの結合からなる。レイアウトマネージャ３０２は、各ディスプレイ装置に表示すべき「セル」の数を決定できる。セルに表示されるビデオは単一のソースに対応するものである。例えば、ディスプレイ装置４０２に表示される結合ビデオストリームは、４つのセル４２１〜４２４により構成される。セルは、Ａ−ＦＬ（エンドポイントＡ，左端カメラ）、Ａ−ＣＬ（エンドポイントＡ，中央左カメラ）、Ｂ−ＦＬ（エンドポイントＢ、カメラ左端）、及びＢ−ＣＬ（エンドポイントＢ，中央左）のように、それぞれに割り当てられたソースにラベル付けされている。もちろん、ラベルは出席者には表示されない。

エンドポイントＥは、現在の話者を含むビデオストリームのみを表示するための１以上のディスプレイ装置を含む。いずれのディスプレイ装置も選択されうるが、一例として、ディスプレイ装置４０６が示されている。上述した通り、レイアウトマネージャ３０２は、各ビデオストリームに関連付けられた属性に基づく話者を、どのビデオストリームが含んでいるかを決定する。レイアウトマネージャ３０２は、現在の話者を含むビデオストリームに確保された特定のディスプレイ装置に、そのビデオストリームが表示されるようにアレンジすることに加えて、別のディスプレイ装置の１つのセルに同じビデオストリームが表示されるようにアレンジできる。例えば、図４Ａにおいて、エンドポイントＡの中央左側カメラから受信したビデオストリームは、現在の話者を含む。レイアウトマネージャ３０２は、ディスプレイ装置４０６に表示されていたビデオストリームのみを持つことに加えて、ディスプレイ装置４０２に表示されるビデオストリームのセル４２２を含む（セル４２２の出席者のイメージは、関連付けられたビデオストリームが話者を含むことを示すために、網掛け表示されている）。

レイアウトマネージャ３０２は、入力ストリームの属性の変化に応じて、出力ストリームを動的にアレンジできる。例えば、現在の話者が或るビデオストリームから別のビデオストリームに変化したとすれば、レイアウトマネージャ３０２は、この変化を反映して、出力ストリームを再アレンジする。図４Ｂの例示において、現在の話者は、エンドポイントＤの右側カメラに位置している。このビデオストリームは、それに関連付けられた話者属性を持っており、その属性はレイアウトマネージャ３０２によって検出されうる。従って、レイアウトマネージャは出力ストリームを再アレンジでき、それにより、ディスプレイ装置４０６に宛てられたビデオストリームは、直前まで表示されていたエンドポイントＡの中央左カメラからのビデオストリームとの入れ替わってエンドポイントＤの右側カメラから受信されたビデオストリームとなる。

レイアウトマネージャ３０２は、会議出席者に連続的な存在の経験を提供できる。言い換えれば、会議出席者は、全てのエンドポイントからのビデオストリームを同時に閲覧できるのであり、現在の話者を含むエンドポイントからのものだけを閲覧できるのではない。例えば、図４Ａを参照すると、現在の話者がエンドポイントＡに位置しているが、エンドポイントＥの出席者は、別のエンドポイントＡ、Ｂ、Ｃ及びＤのそれぞれからのビデオストリームを受信できる。更に、会議出席者は、現在の話者以外の出席者のビデオストリームを閲覧できる。例えば、現在の話者がエンドポイントＡにいるとすると、エンドポイントＥの出席者は、現在の話者を撮影しているビデオストリームに加えて、別の出席者を撮影しているビデオストリームを見られる。更に、現在の話者の位置が或るエンドポイントから別のエンドポイントに（例えばエンドポイントＡからエンドポイントＢに）変わったときも、レイアウトマネージャ３０２は、ビデオストリームの連続的な存在の表示を維持する。

図４Ｃは、エンドポイントの１つが、話者専用カメラを持つ場合の、ビデオストリームのレイアウトを例示している。例えば、ビデオストリームＣは、少なくとも、１つは部屋全体を撮影するためのカメラと、別の１つはその部屋内の現在の話者を撮影するためのカメラとの少なくとも２つのカメラを含む。部屋全体を撮影するカメラは広角カメラであってよく、話者のみを撮影するカメラはパン−ズーム−チルトカメラ（ＰＴＺカメラ）であってよい。エンドポイントは、現在の話者の位置を決定する話者位置探索モジュール（例えば、図２の符号２１３）を含んでよい。このプロセッサは、ＰＴＺカメラが現在の話者の映像を支配的に撮影できるように、該カメラを制御するための位置情報を利用する。エンドポイントのストリーム属性モジュールは、部屋全体を撮影しているカメラのビデオストリームに「Ｃ−ＷＲ」属性を割り当てて、ＰＴＺカメラのビデオストリームに「Ｃ−話者」属性を割り当てる。これらビデオストリームをエンドポイントＣから受信すると、ＭＣＵ１０６のレイアウトマネージャ３０２は、「Ｃ−ＷＲ」属性のビデオストリームをセル４８１に割り当てて、「Ｃ−話者」属性のビデオストリームをディスプレイ装置４０６にわりあてる。

図４Ａ〜４Ｃでは、ディスプレイ装置４０６は、現在の話者のみを表示するために確保されており、ディスプレイ装置４０６に送られたビデオストリームがセルに分割されていなかった。これに対して、図４Ｄに示す例は、現在の話者に加えてデジタルコンテンツを示す複数セルを含むものとなっている。ディスプレイ装置４０６に送られたビデオストリームは、３つのセル４６１、４６２及び４６３を含んでいる。セル４６１は、データコンテンツビデオストリームを含んでおり、そのデータコンテンツは、例えば１つのエンドポイントのコンピュータなど、ビデオストリームの起源の提示を含む。セル４６２及び４６３は、直近２人の現在の話者のイメージを含む。セル４６２又は４６３の１つは、関連付けられたビデオストリームを常に目立たせて表示するように指示する「人／発表者」属性を持つビデオストリームを表示する。

図４Ｅは、レイアウトマネージャ３０２が生成して、ミキサ３０３に送るレイアウトデータの一例を示す。ミキサ３０３は、当該ビデオ会議に参加しているエンドポイントへの出力ストリームを生成するために、このデータを使用できる。一例として図４Ｅは、図４Ａにおけるディスプレイスクリーン４０２及び４０６のための表示レイアウトに対応するレイアウトデータを示している。同じエンドポイントＥへの別のストリームのためのレイアウトデータも、別のエンドポイントへの別のストリームのためのレイアウトデータも、同じように生成されうる。

レイアウトデータ４９０は、ミキサ３０３がビデオストリームを結合するために使用する各種パラメータを含む。例えば、フレームサイズは、ストリーム１の各フレームの水平及び垂直ピクセル数を示す。レイアウトマネージャ３０２は、ディスプレイスクリーンの解像度に基づいてフレームサイズを決定する。解像度に関する情報は、典型的には、エンドポイントＥからの構成情報として受信される。ディスプレイスクリーンの解像度が７２０・１２８０とすると、レイアウトマネージャ３０２は、フレームサイズとして７２０・１２８０を選択する。セル数（Ｎｏ．）は、フレームが分割される部分の数を定義する。例えば、図４Ａにおいて、ディスプレイ装置４０２に表示されるフレームは、等しいサイズ（ｅｑｕａｌ）で２行２列（２・２）にアレンジされた４つのセルに分割されている。セルサイズは、各セルのサイズをピクセル単位で示している。複数のセルが等しくないサイズとなる実施例では、セルサイズの領域は、各セルに対応して追加のセルサイズを含む。セルサイズの次の領域は、当該フレーム内の各セルへのストリーム源を示している。この例では、上側の２つのセル、セル１及びセル２（図４Ａの部分４２１及び４２２に対応している）は、エンドポイントＡから受信され、且つ、それぞれ「ＦＬ」及び「ＣＬ」属性を持つビデオストリームに割り当てられている。レイアウトマネージャ３０２は、また、出力ストリームに或る属性を割り当てて、例えばディスプレイ装置４０２の左端（ＦＬ）など、どのディスプレイ装置にこのビデオストリームが表示されるべきかを受信しているエンドポイントＥが決定できようにしてもよい。レイアウトデータ４９１は、図４Ａのディスプレイ装置４０６上のビデオストリームのレイアウトに対応している。ディスプレイ装置４０６が１つのビデオストリーム（現在話者を含むもの）のみの表示専用であるため、そのフレームには１つのセルしか含まれない。レイアウトマネージャは、エンドポイントがディスプレイ装置４０６の中央左（ＣＲ）にストリーム２を表示できるように属性を割り当てうる。

レイアウトマネージャ３０２はレイアウトデータ（例えば４９０と４９１）を信号パス３２１経由でミキサ３０３に送信できる。レイアウトマネージャ３０２は、また、ミキサ３０３によってアクセス可能なメモリにレイアウトデータを保存できる。かかるメモリは、レジスタやＲＡＭ等を含む。ミキサ３０３は、レイアウトデータが変更されているかどうかを確認するためにレイアウトデータに繰り返しアクセスできる。或いは、レイアウトマネージャ３０２は、レイアウトデータが何かしら変更されるか、又は、メモリが更新される毎に、フラグをセットするか又は割り込み処理してもよい。

図５は、１つのエンドポイントにおけるディスプレイ装置上のビデオストリームのレイアウトを決定するためにレイアウトマネージャ３０２によって実行されるステップを詳細に示すフローチャートの例示である。レイアウトマネージャ３０２は、ビデオ会議に参加している他の各エンドポイントのレイアウトを決定するためにも同様な処理を実行する。ステップ５０１において、レイアウトマネージャ３０２は、ビデオ会議セッションに参加している全てのエンドポイントからの各入力ビデオストリームに関連付けられた属性を受信する。ステップ５０２において、レイアウトマネージャ３０２は、当該（処理対象の）エンドポイントのディスプレイ装置の数を特定する。ディスプレイ装置の数及びそれらのプロパティに関する情報は、構成情報の形式でリアルタイムに受信できる。かかる情報はＭＣＵ１０６のメモリに保存できる。

ステップ５０３において、レイアウトマネージャ３０２は、エンドポイントＥにおいて表示すべき入力ストリームの数がエンドポイントＥのディスプレイ装置の数を超えているいか否か決定する。エンドポイントＥにおいて表示すべき入力ストリームの数がエンドポイントＥのディスプレイ装置の数よりも少ないか又は同数ならば（ステップ５０３がＹＥＳ）、各ディスプレイ装置は単一のビデオストリームを表示しうる。従って、ＭＣＵ１０６は、２以上のビデオストリームを１つのビデオストリームに結合する必要はない。例えば、仮にエンドポイントＥが４つのディスプレイ装置を持っており、当該ビデオ会議には他に３つのエンドポイントが参加しており、それぞれ１つのビデオストリームを生成しているものとすると、レイアウトマネージャ３０２は、エンドポイントＥの３つのディスプレイ装置を、他の３つのエンドポイントのビデオストリームに関連付け得る。４つのディスプレイ装置は、デジタルコンテンツを含むビデオストリーム又は現在の話者を含むビデオストリームに割り当て得る。レイアウトマネージャ３０２が特定のディスプレイ装置にビデオストリームを割り当てると（ステップ５０４）、レイアウトマネージャ３０２は出力ストリームに属性を追加する（ステップ５０９）。かかる属性は、当該ビデオストリームが表示されるべきディスプレイ装置の相対位置、当該ビデオストリームがデジタルコンテンツ、話者等を含むかどうかを、含む。

エンドポイントＥにおいて表示すべき入力ストリームの数がエンドポイントＥの利用可能なディスプレイ装置の数より多いならば（ステップ５０３がＮＯ）、２以上のビデオストリームが１つのビデオストリームに結合される。レイアウトマネージャ３０２は、エンドポイントＥのディスプレイ装置のいずれかが現在の話者の表示専用になっているか確認する。ＹＥＳの場合、「話者」属性のビデオストリームが、当該ディスプレイ装置に宛てられる（ステップ５０５）。残りのディスプレイ装置は残りのビデオストリームの表示に使用される。

次に、レイアウトマネージャ３０２はディスプレイ装置毎のセル数を決定する（ステップ５０６）。一例として、ディスプレイ装置毎のセル数は、表示すべきビデオストリームの総数を利用可能なディスプレイ装置の数で除算することにより決定できる。別の要因として、ビデオストリームとディスプレイ装置のアスペクト比や、許容可能なビデオストリームのダウンスケーリング量などが、セルの数及サイズの決定において、考慮される。図４Ａに示された例を参照すると、レイアウトマネージャ３０２は、エンドポイントＥのディスプレイ装置の１つ、４０６が、現在の話者を含むビデオストリームを表示するために確保されることを決定できる。従って、エンドポイントＡ、Ｂ、Ｃ及びＤからの１１のビデオストリームを表示するために、３つのディスプレイ装置ッ４０２，４０４及び４０８ッがある。レイアウトマネージャ３０２は、２つのディスプレイ装置のディスプレイエリアを４つのセルに分割し、残り１つのディスプレイエリアを３つのセルに分割する。上記のディスプレイ装置毎のセル数を決定する方法は、一例に過ぎず、別の方法も想起できる。

ステップ５０７において、レイアウトマネージャ３０２は、複数のセルに複数のビデオストリームを割り当てる。複数のビデオストリームが共通の形式（フォーマット）であり、且つ、空間的相互関係を持たないのであれば、レイアウトマネージャ３０２は、ビデオストリームを何れのセルにも自由に割り当てうる。例えば、レイアウトマネージャ３０２は、１つのエンドポイントからの全てのビデオストリームを、１つのディスプレイ装置内の複数セルに割り当てる。しかし、一般に、ビデオ会議においては、ッ特にテレプレゼンスビデオ会議においてはッ、ＭＣＵ１０６により受信された１つのエンドポイントからの複数のビデオストリームは会議室の全体イメージの一部分（場所）を表しており、当該複数のビデオストリームが並んで表示されたときに会議室の全体イメージを再現できるようになっている。例えば、図４Ａを参照すると、レイアウトマネージャ３０２は、エンドポイントＡからの４つのビデオストリームを、４つのセル４２１、４２２、４４１及び４４２に並べてアレンジでき、ここで、セル４２１と４２２は１つのディスプレイ装置４０２に属しており、セル４４１と４４２とは隣接するディスプレイ装置４０４に属している。結果的に、１つのエンドポイントからの複数のビデオストリームは、複数のディスプレイ装置にわたり分配される。言い換えれば、表示されるビデオストリームの空間的相互関係は複数のディスプレイ装置に及ぶ。同様にして、エンドポイントＢからの４つのビデオストリームを、４つのセル４２３、４２４、４４３及び４４４に割り当てうる。同様に、エンドポイントＤからの２つのビデオストリームを２つのセル４８２及び４８３に割り当てて、エンドポイントＣからの１つのビデオストリームをセル４８１に割り当てうる。

入力ビデオストリームがセルに割り当てられたら、レイアウトマネージャ３０２はミキサ３０３に共通のディスプレイ装置上の複数のセルに割り当てられている複数のビデオストリームを結合する（組み合わせる）よう指示する（ステップ５０８）。例えば、図４Ａを参照すると、それぞれ、セル４２１、４２２、４４１及び４４２に関連付けられており、「Ａ−ＦＬ」、「Ａ−ＣＬ」、「Ａ−ＣＲ」及び「Ａ−ＦＲ」とラベル付けされた４つのビデオストリームは、単一の出力ビデオストリームに結合される。結合ビデオストリームは、どのディスプレイ装置に当該結合ビデオストリームが表示されるべきかを、受信したエンドポイントに決定させる属性を持つ。例えば、セル４２１、４２２、４４１及び４４２からのビデオストリームの結合ビデオストリームは、ディスプレイ装置４０２の左端「ＦＬ」を指示する属性を持つ。ステップ５０９において、レイアウトマネージャ３０２は、ミキサ３０３に、出力結合ビデオストリームに属性を追加するよう指示する。属性は、別のビデオストリームと結合されていないビデオストリーム（ステップ５０４の結果）にも追加されうる。

各エンドポイントへの出力ビデオストリームリームのレイアウトが構成されたら、レイアウトマネージャ３０２は、ステップ５１０において、受信されたビデオストリームの属性の何らかの変更及び／又はビデオストリーム数の変更の有無をモニタする。例えば、元は或る１つの入力ビデオストリームに関連付けられていた「話者」属性が、今は別の入力ビデオストリームに関連付けられているとすると、レイアウトマネージャ３０２は、この変更を検出し、出力ストリームのレイアウトを再構成して（ステップ５０３〜５０９を繰り返して）、現時点で「話者」属性を持つビデオストリームが各エンドポイントにおいて適切に表示されるようにする。例えば、図４Ａ及び４Ｂを参照すると、元はエンドポイントＡの中央左カメラ（Ａ−ＣＬ）から受信されていた入力ビデオストリームに関連付けられていた「話者」属性が、今はエンドポインＤの左カメラ（Ｄ−Ｌ）からのビデオストリームに関連付けられているとすると、レイアウトマネージャ３０２は、話者専用ディスプレイ４０６に送信されるビデオストリームがＡ−ＣＬからＤ−Ｌに変更されるように、レイアウトを再構成する。また、参加しているエンドポイントからの入力ビデオストリームの数が変更された場合、例えば、ビデオ会議セッションから或る１つのエンドポイントが退出した場合、レイアウトマネージャ３０２は、この変更を検出し、出力ビデオストリームを再構成する。従って、レイアウトマネージャは、ビデオストリームレイアウトの動的な再構成を提供できる。

上述の説明は一例に過ぎず、これに限定されない。この開示の閲覧により、この発明の種々の変形が、当業者にとって明らかとなる。この発明の範囲は、従って、上記実施例の説明には限定されず、その全範囲の等価とともに、添付の特許請求範囲の参照によって確定される。

１００ マルチポイントビデオ会議システム、１０１〜１０５，２００ エンドポイント、１０６ マルチポイント制御ユニット（ＭＣＵ）、１１０ ネットワーク、２０２〜２０５ カメラ、２０６，２０７，２０８ ディスプレイ装置、２０９ プロセッサ、２１０ コーデック、２１２ ストリーム属性モジュール、２１３ 話者位置探索モジュール、２１４ レシーバ、３００ 会議システム、３０２ レイアウトマネージャ、３０３ ミキサ、３２２ コーデック、３２５ 映像処理モジュール、３２５ イメージ処理モジュール、３２７ ストリーム属性モジュール、３２８ ネットワークインターフェース、３２９ 構成情報、４０２，４０４，４０６,４０８ ディスプレイ装置、４２１〜４２４，４４１〜４４４，４６１，４８１〜４８３ セル、４９０,４９１ レイアウトデータ

Claims (19)

1. ネットワークを介して少なくとも１つの他のエンドポイントと通信する１エンドポイントのためにディスプレイコンテンツを生成するための方法であって、
   前記少なくとも１つの他のエンドポイントから受信した複数のビデオストリームに関連付けられた属性と、前記１エンドポイントのディスプレイ構成情報であって、少なくとも該１エンドポイントにおけるディスプレイ装置の数を含む該ディスプレイ構成情報とに基づいて該１エンドポイントのためのディスプレイレイアウトを自動的に生成する手順であって、
   複数のセルを生成することと、
   前記少なくとも１つの他のエンドポイントから受信した複数のビデオストリームを前記複数のセルに割り当てることであって、１つのビデオストリームが１つのセルに割り当てられるようにすることとを含む前記手順と、
   1以上のセルのための１以上のビデオストリームを生成するために前記ディスプレイレイアウトに基づいて前記受信した複数のビデオストリームをミキシングする手順であって、前記複数のセルに関連付けられた複数のビデオストリームを組み合わせることを含む前記手順と
   を備え、
   前記ディスプレイレイアウトは、前記少なくとも１つの他のエンドポイントから受信した少なくとも２つのビデオストリーム間の空間的関係を保持することを特徴とする方法。
2. 前記ディスプレイレイアウトは、連続的な存在のレイアウトであることを特徴とする請求項１に記載の方法。
3. 少なくとも１つのビデオストリームが、これに関連付けられた１以上の属性を持つことを特徴とする請求項１に記載の方法。
4. いずれか１つの属性の変化に応じて、前記ディスプレイレイアウトを動的に再生成する手順を更に含むことを特徴とする請求項１に記載の方法。
5. 前記ディスプレイレイアウトを自動的に生成する前記手順は、第１の少なくとも１つの他のエンドポイントから受信した第１のビデオストリームを識別する手順を含み、前記関連付けられた属性は当該第１のビデオストリームが第１の現在の話者の映像を含むことを示す属性であることを特徴とする請求項１に記載の方法。
6. 前記ディスプレイレイアウトを自動的に生成する前記手順は、更に、前記第１のビデオストリームに属性を割り当てる手順を含み、前記属性は該出力ビデオストリームが現在の話者の映像を含むことを示す属性であることを特徴とする請求項５に記載の方法。
7. 前記ディスプレイレイアウトを自動的に生成する前記手順は、更に、第２の少なくとも１つの他のエンドポイントから受信した第２のビデオストリームを識別する手順であって、前記関連付けられた属性は当該第２のビデオストリームが第２の現在の話者の映像を含むことを示すものである手順と、前記第２のビデオストリームを前記出力ビデオストリームに割り当てる手順とを含むことを特徴とする請求項６に記載の方法。
8. 少なくとも前記複数のセルの２つは、前記少なくとも１つの他のエンドポイントから受信した前記関連付けられたビデオストリームの少なくとも２つの空間的関係を維持するような配列で、空間的に配列されることを特徴とする請求項１に記載の方法。
9. 少なくとも１つの他のエンドポイントから受信した複数のビデオストリームに関連付けられた属性と、１エンドポイントのディスプレイ構成情報であって、少なくとも該１エンドポイントにおけるディスプレイ装置の数を含む該ディスプレイ構成情報とに基づいて該１エンドポイントのためのディスプレイレイアウトを自動的に生成するよう構成されたレイアウトマネージャと、ここで、該レイアウトマネージャは、複数のセルを生成し、且つ、前記少なくとも１つの他のエンドポイントから受信した複数のビデオストリームを該複数のセルに割り当てることにより前記ディスプレイレイアウトを生成するよう構成されており、ここで、１つのビデオストリームは１つのセルに割り当てられ、
   前記レイアウトマネージャと通信可能に接続され、1以上のセルのための１以上のビデオストリームを生成するために前記ディスプレイレイアウトに基づいて前記受信した複数のビデオストリームをミキシングするよう構成されたミキサであって、前記複数のセルに関連付けられた複数のビデオストリームを組み合わせるように構成された前記ミキサと
   を具備し、
   前記ディスプレイレイアウトが、前記少なくとも１つの他のエンドポイントから受信した少なくとも２つのビデオストリーム間の空間的関係を保持することを特徴とするビデオ会議装置。
10. 前記ディスプレイレイアウトが、連続的な存在のレイアウトであることを特徴とする請求項９に記載のビデオ会議装置。
11. 少なくとも１つのビデオストリームが、これに関連付けられた１以上の属性を持つことを特徴とする請求項９に記載のビデオ会議装置。
12. 前記レイアウトマネージャが、いずれか１つの前記属性の変化に応じて、前記ディスプレイレイアウトを再生成するよう構成されていることを特徴とする請求項９に記載のビデオ会議装置。
13. 前記レイアウトマネージャと通信可能に接続され、複数のビデオストリームに関連付けられた属性を決定するよう構成されたストリーム属性モジュールを更に具備し、前記ストリーム属性モジュールは、第１の少なくとも１つの他のエンドポイントから受信した第１のビデオストリームを識別するものであり、前記関連付けられた属性は当該第１のビデオストリームが第１の現在の話者の映像を含むことを示すものであることを特徴とする請求項９に記載のビデオ会議装置。
14. 前記レイアウトマネージャは出力ビデオストリームに前記第１のビデオストリームを割り当てるよう構成され、且つ、
    前記ストリーム属性モジュールは前記出力ビデオストリームに属性を割り当てるよう構成され、前記属性は該出力ビデオストリームが現在の話者の映像を含むことを示す属性であることを特徴とする請求項１３に記載のビデオ会議装置。
15. 前記ストリーム属性モジュールは、第２の少なくとも１つの他のエンドポイントから受信した第２のビデオストリームを識別する手順であって、前記関連付けられた属性は当該第２のビデオストリームが第２の現在の話者の映像を含むことを示すものである手順と、前記第２のビデオストリームを前記出力ビデオストリームに割り当てる手順とを含むことを特徴とする請求項１４に記載のビデオ会議装置。
16. 該ビデオ会議装置が、マルチポイント制御ユニットである請求項９に記載のビデオ会議装置。
17. 前記マルチポイント制御ユニットが、或る１エンドポイントに配置されることを特徴とする請求項１６に記載のビデオ会議装置。
18. 該ビデオ会議装置が、或る１エンドポイントに配置されることを特徴とする請求項９に記載のビデオ会議装置。
19. 前記レイアウトマネージャは、少なくとも前記複数のセルの２つを、前記少なくとも１つの他のエンドポイントから受信した前記関連付けられたビデオストリームの少なくとも２つの空間的関係を維持するような配列で、空間的に配列するよう構成されることを特徴とする請求項９に記載のビデオ会議装置。

Images