JP2004072741A - バックチャンネルビデオインタフェースによりコンテンツ及び引き渡しの制御が可能な多数参加者会議システム - Google Patents

Abstract

【課題】バックチャンネルビデオインタフェースにより内容及び引き渡し制御可能な多数参加者会議システム
【解決手段】複数の参加者が参加できるテレビ会議システム用のバックチャンネル通信ネットワークを提供するもので、バックチャンネル通信ネットワークはクライアントと関連付けられる監視エージェントを含む。クライアントはピア・ツー・ピア形式のテレビ会議アプリケーションを実行するように構成される。ビデオ表示ウィンドウを監視する監視エージェントはピア・ツー・ピア形式の会議アプリケーションによって制御される。バックチャンネル接続で監視エージェントと通信しているバックチャンネルコントローラを含む。バックチャンネルコントローラは、クライアントと複数の会議クライアントとがバックチャンネル通信リンクで通信できるように構成される。クライアントのアウトバウンドビデオストリームイメージの中にサーバーのユーザインタフェースを挿入できるように構成されたイベントハンドラも含まれる。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、一般的には、テレビ会議システムに関し、より具体的には、予め存在しているピア・ツー・ピア形式のテレビ会議用のアプリケーション及び参加者が制御可能なコンテンツ引渡しインタフェースによって管理されるマルチポイント制御装置（ＭＣＵ）を活用する能力を有するシステムに関する発明である。
【０００２】
【従来の技術】
物理的に離れた場所にいる二人以上の参加者間の通信を容易にするために会議用デバイスが用いられる。ライブの映像や音声、その他の見たり聞いたりするデータを交換するための装置、もしくは各参加者と協同作業するための装置がある。一般的な会議の用途としては、会議／研修会、プレゼンテーション、研修／教育などがある。今日では、テレビ会議用ソフトウェアのおかげで、安価なカメラやマイクと共にパソコンを使用して会議の他の参加者と接続することができる。これらのマシンの中にはオペレーティングシステムがＭＩＣＲＯＳＯＦＴ　ＷＩＮＤＯＷＳ（Ｒ）をベースにしたオペレーティングシステムに搭載されているＭＩＣＲＯＳＯＦＴ’Ｓ　ＮＥＴＭＥＥＴＩＮＧアプリケーションなど、単純なピア・ツー・ピア形式のテレビ会議用ソフトウェアを提供するものがある。もしくは、ピア・ツー・ピア形式のテレビ会議用アプリケーションを安く別途購入することもできる。ソフトウェア及び安価なカメラ／マイク装置が手に入るので、テレビ会議はますます普及している。
【０００３】
テレビ会議には、動画の高容量の情報コンテンツに対応できるぐらい大規模かつ高速なネットワークがなければならない。音声及びビデオデータの通信では、参加者の人数やデータ交換のサイズが増えると、それに対応できるバンド幅が必要となる。たとえ圧縮技術を用いたり内容の大きさを限定したりしても、広く使われている安価なトランスポートシステムを用いて参加者が多い会議に十分なバンド幅を使用できるようにするのは容易なことではない。
【０００４】
図１Ａ〜１Ｃは、参加者が２名、３名、４名の会議それぞれの各参加者に必要なコンテンツ転送を説明した図である。図から分かるように、各人は他の参加者各々との間でコンテンツを送受信しなければならない。参加者数が増えると、各参加者に必要な接続量も増える。例えば、各々２つの接続を必要とする参加者が２人いる場合、各々４つの接続を必要とする参加者が３名いる場合、各々６つの接続を必要とする参加者が４名いる場合、といった具合に。所要接続量が増えると、これらの要件をサポートしているシステムはより込み入ったものになり、そして言うまでもなく、より高価なものになる。従って、ほとんどの安価なテレビ会議システムは、参加者がだれか一人としか接続できない、つまりピア・ツー・ピア接続に限定される。
【０００５】
これに対して膨大な接続量に対応できる装置がある。マルチポイント制御ユニット（ＭＣＵ）は、参加者全員が接続できるようにセントラルロケーションを作ることにより接続の問題を解決するのに役立つ。ＭＣＵは、効率よく３人以上の参加者が共用の会議を成立させるのを可能にする外部装置である。参加者テレビ会議ソフトウェアを用いてＭＣＵと各会議参加者との間でピア・ツー・ピア接続が確立される。図２Ａ〜２Ｃは、図１Ａ〜１Ｃの所要接続量に比べた時に、ＭＣＵによって削減される接続量を説明した図である。具体的に言えば、参加者２名の場合、参加者各人が２接続を有し、参加者が３名の場合、各人が３接続を有し、参加者４名の場合、各人が４接続を有する、といった具合である。ＭＣＵによって、参加者各人が管理しなければならない出力（ｏｕｔｇｏｉｎｇ）の接続量は減るが、大型の会議を管理するには必要な入力（ｉｎｃｏｍｉｎｇ）コンテンツの転送量が依然として大きすぎる。
【０００６】
ＭＣＵは、参加者各人に送る内容を減らすことにより参加者のマシンでの処理を減らすことができる。例えば、ＭＣＵは、いま話をしている参加者の内容だけを送るようにすることができる。もしくは、参加者の音声信号及びビデオ信号を組み合わせることもできる。ビデオを組み合わせると、参加者各人のビデオ信号がそのオリジナルサイズを小さくしたものに変換されるため信号損失が発生する。ＭＣＵは、参加者全員が聞けるように音声信号だけを組み合わせる一方、話をしている人のビデオ信号だけを送ることが多い。これらのオフロード技術を採用することによって、参加者各人に転送しなければならない情報が少なくなる。
【０００７】
ＭＣＵの欠点は、会議参加者に自由度がないことである。すなわち、参加者に提供できる構成機能が小さな集合に固定されている。その上、ＭＣＵは、遠隔アドミニストレータによって管理されることが多く、参加者の会議のプレゼンテーションの動的な構成が限定されてしまう。また、ピア・ツー・ピア形式のソフトウェアをＭＣＵと共に使用する際の制約は、ピア・ツー・ピア形式のソフトウェアは多数の参加者の会議環境に対応した機能を提供する設計になっていないことである。より具体的に言えば、オペレーティングシステムに搭載されていようと別個に購入しようと、ピア・ツー・ピア形式のソフトウェアアプリケーションは、ピア・ツー・ピア形式の会議環境専用の機能に限定されている。
【特許文献１】
米国特許出願公開第２００１／００４３５７１号明細書
【特許文献２】
米国再発行特許発明第６，２０２，０８４号明細書
【０００８】
【発明が解決しようとする課題】
そこで、ピア・ツー・ピア形式のテレビ会議ソフトウェアを持っている多数の参加者によるテレビ会議環境を、ユーザが構成機能及びコンテンツの引渡しを自由に定義できるような環境にするための方法及び装置を提供するために、先行技術の抱える問題を解決する必要がある。
【０００９】
【課題を解決するための手段】
大まかに言えば、本発明は、予め存在しているピア・ツー・ピア形式のテレビ会議用アプリケーションを有するクライアントで多数の参加者が参加できるテレビ会議環境を実現するための方法及びシステムを提供することにより、上記のニーズに応えるものである。参加者各々がカスタマイズ可能なビデオレイアウトを表示できるようにバックチャンネル接続を実現する。さらに、バックチャンネルで供給される情報を用いて音声配信（ａｕｄｉｏ　ｄｉｓｔｒｉｂｕｔｉｏｎ）をカスタマイズすることができる。なお、本発明を実現する方法は、プロセス、システム、グラフィカルユーザインタフェースなど色々とある。本発明の実施例を下にいくつか説明する。
【００１０】
一実施例において、テレビ会議システムを提供する。このテレビ会議システムは、モニター手段を有するクライアントコンポーネントを含み、監視エージェントはクライアントコンポーネントのビデオ表示ウィンドウ内でイベントを検出するように構成されている。会議セッションの参加者にビデオ及び音声のデータストリームを配信するように構成されたサーバーコンポーネントを含む。クライアントコンポーネント及びサーバーコンポーネント間でビデオ及び音声データストリームを運ぶ会議チャンネル通信接続を用意する。監視エージェントによって捕らえられたイベントをサーバーコンポーネントに送信するバックチャンネル通信接続を含む。バックチャンネル通信接続により、参加者各人がビデオ表示ウィンドウのビデオレイアウトを定義できるようになる。
【００１１】
別の実施例においては、複数の参加者間で会議するためのテレビ会議システムのバックチャンネル通信ネットワークを提供する。このバックチャンネル通信ネットワークは、クライアントと関連付けられた監視エージェントを含む。クライアントは、ピア・ツー・ピア形式のテレビ会議用アプリケーションを実行するように構成されている。監視エージェントは、ピア・ツー・ピア形式の会議用アプリケーションによって制御されるビデオ表示ウィンドウを監視する。バックチャンネル接続で監視エージェントと通信しているバックチャンネルコントローラを含む。バックチャンネルコントローラは、バックチャンネルコントローラ通信リンクでクライアントと複数の会議クライアントとの間の通信を可能にするように構成されている。クライアントのアウトバウンドビデオストリーム画像へのサーバーユーザインタフェースデータの挿入を可能にするように構成されたイベントハンドラも含む。
【００１２】
また別の実施例においては、多数の参加者間でテレビ会議セッションの会議コンテンツの引渡しを向上させるための方法を提供する。この方法は、クライアントと関連付けられるビデオ表示ウィンドウを監視することから始まる。次に、クライアント及びサーバー間にビデオストリーム及び音声ストリームを送信するための会議チャンネル接続が生じる。次に、会議チャンネル接続が生じていることが検出される。会議チャンネル接続を検出すると、この方法では、クライアント及びサーバー間のバックチャンネル通信が成立する。次に、サーバーユーザインタフェース（ＳＵＩ）がビデオストリームの中に挿入される。次に、クライアントのビデオ表示ウィンドウ内にビデオストリームが表示される。次に、ビデオ表示ウィンドウの有効領域内で能動的選択が検出される。次に、その能動的選択がバックチャンネル接続でサーバーに通信される。次に、ビデオストリーム及び音声ストリームのうちの一つの構成がサーバーで修正される。次に、その修正された構成が会議チャンネル接続でクライアントに供給される。
【００１３】
さらに別の実施例においては、複数の参加者間で参加者がカスタマイズ可能なテレビ会議セッションのビデオストリーム及び音声ストリームを供給するための方法を提供する。この方法は、各々が一人の参加者と関連付けられる複数のクライアントを用意することから始まる。次に、複数のクライアントと通信しているサーバーを用意する。次に、サーバーと複数のクライアント各々との間に第１通信チャンネル及び第２通信チャンネルを成立させる。第１通信チャンネルは音声／映像データを供給する。第２通信チャンネルはシステム情報を供給する。次に、クライアントのビデオ表示ウィンドウを監視する。次に、第１通信チャンネルで供給中の音声／ビデオデータを修正するためにビデオ表示ウィンドウの監視に基づくフィードバックが第２通信チャンネルで供給される。
【００１４】
またさらに別の実施例においては、多数の参加者間で参加者がカスタマイズ可能なテレビ会議セッションのビデオストリーム及び音声ストリームを供給するためのプログラム命令を有するコンピュータ可読メディアを提供する。このコンピュータ可読メディアは、参加者一人と各々関連付けられる複数のクライアントを提供するためのプログラム命令を含む。複数のクライアントと通信しているサーバーを提供するためのプログラム命令を含む。サーバーと複数のクライアント各々との間に第１通信チャンネル及び第２通信チャンネルを生じさせるためのプログラム命令を提供する。第１通信チャンネルは音声／ビデオデータを供給するのに対し、第２通信チャンネルはシステム情報を供給する。クライアントのビデオ表示ウィンドウを監視するためのプログラム命令を含む。第１通信チャンネルで供給中の音声／ビデオデータを修正するために表示ウィンドウの監視に基づいたフィードバックを第２通信チャンネルで供給するためのプログラム命令も含んでいる。
【００１５】
更なる実施例においては、複数の参加者のマルチポイント会議環境を提供するためにピア・ツー・ピア形式のテレビ会議用ソフトウェアを活用するように構成されたテレビ会議システムを提供する。このシステムは、クライアントコンポーネントを含む。クライアントコンポーネントは、ピア・ツー・ピア形式のテレビ会議用ソフトウェアを実行できるようになった会議クライアントを含む。会議クライアントは、会議チャンネルでビデオデータ及び音声データを通信する。クライアントコンポーネントは、会議チャンネルが使用中かどうか並びにイベントがビデオウィンドウ内に会議クライアントによって表示されているかどうかを監視するように構成されたクライアントモニターを含み、ビデオウィンドウ内のイベントはバックチャンネル接続で通信される。会議チャンネルがアクティブになると、バックチャンネル接続が生じる。このシステムはサーバーコンポーネントを含んでおり、サーバーコンポーネントはバックチャンネル接続でクライアントモニターと通信しているバックチャンネルコントローラを有する。サーバーコンポーネントは、複数の参加者各人にクライアントが構成可能なビデオストリームを供給する。
【００１６】
別の実施例においては、テレビ会議システムを提供する。このテレビ会議システムは、クライアントモニターと通信しているクライアントを有するクライアントコンポーネントを含む。テレビ会議システムは、サーバーコンポーネントを含む。クライアントコンポーネントとサーバークライアントとの間に定められた会議チャンネルを含む。会議チャンネルは、テレビ会議セッションのクライアントコンポーネントとサーバーコンポーネントの会議のエンドポイントとの間で交換されるリアルタイムの音声／ビデオデータ用の第１経路となる。クライアントコンポーネントとサーバーコンポーネントとの間に定められたバックチャンネルを含む。バックチャンネルは、クライアントモニターとサーバーコンポーネントとの間で交換されるシステム情報用の第２経路となる。
【００１７】
また別の実施例においては、複数の参加者にカスタマイズ可能な情報を引き渡すためにマルチユーザ会議環境を実現するべく構成された会議システムを提供する。この会議システムはクライアントコンポーネントを含む。クライアントコンポーネントは会議クライアントを含む。クライアントコンポーネントにはクライアントモニターが含まれている。クライアントモニターは会議クライアントの活動を監視するように構成されており、活動は会議クライアントによって表示されたビデオフレーム上で発生する。この会議システムはサーバーコンポーネントを含む。サーバーコンポーネントは、会議接続を実現するメディアハブサーバーコンポーネントを含んでいる。メディアハブサーバーコンポーネントにはメディアミキサがあり、メディアミキサは、会議クライアントに供給される音声及びビデオデータを、複数の会議クライアントからミディアミキサが受け取った音声及びビデオデータからアセンブルするように構成されている。メディアミキサにはビデオレイアウトプロセッサがあり、それは複数の会議クライアントの各々の合成ビデオイメージを生成するように構成されている。メディアミキサは複数の会議クライアントの各々に音声信号を供給するための音声配信プロセッサも含む。サーバーコンポーネントには接続マネージャーがあり、この接続マネージャーによって論理的な空間（ｌｏｇｉｃａｌ　ｒｏｏｍｓ）における複数の参加者の接続を可能にし、会議におけるコミュニケーションを共用できるようする。接続マネージャーは、クライアントモニターとメディアハブサーバーコンポーネントとの間の通信を可能にするバックチャンネルコントローラを含む。接続マネージャーにはイベントハンドラもあり、イベントハンドラはビデオレイアウトプロセッサを介してインタフェースデータを出力用ビデオストリームイメージの中に挿入するように構成されている。
【００１８】
さらにまた別の実施例においては、コンピュータモニターにレンダリングされたテレビ会議のためのグラフィカルユーザインタフェース（ＧＵＩ）を提供する。このＧＵＩには統合されたビデオコンポーネント（ｉｎｔｅｇｒａｔｅｄ　ｖｉｄｅｏ　ｃｏｍｐｏｎｅｎｔ）を定義している第１領域がある。統合ビデオコンポーネントはクライアントと関連付けられる。統合ビデオ成分は複数の参加者ビデオイメージを有する。統合ビデオコンポーネントはその表示ウィンドウ内の活動を検出するために監視される。ＧＵＩにはコンピュータシステムのファイルへのアクセスを可能にする第２領域がある。第２領域によりユーザはテレビ会議をサポートしているサーバーに送信するためにファイルの中から一つを選択することができるようになる。このサーバーはファイルの中から選択された一つをテレビ会議の参加者に通信する。
【００１９】
別の実施例において、多数の参加者に対応するマルチユーザ会議環境を実現するための方法を提供する。この方法は、サーバーコンポーネントと参加者と関連付けられた会議クライアントとの間の会議チャンネル接続を可能にするためのサーバーコンポーネントを成立させることから始まる。次に、参加者から会議チャンネル接続で音声及びビデオデータがサーバーコンポーネントに供給される。次に、バックチャンネル接続で多数のクライアントの各々のシステム選択がサーバーコンポーネントに通信される。次に、組合せられた音声及びビデオデータが会議チャンネル接続で参加者に配信される。組合せられた音声及びビデオデータがシステム選択によって定められた通りに表示される。次に、サーバーコンポーネントに対する対話を示す信号がバックチャンネル接続で通信される。対話を示す信号に応答して、組合せ音声及びビデオデータが修正され、会議チャンネル接続で会議クライアントに送られる。
【００２０】
また別の実施例においては、ピア・ツー・ピア形式の会議用アプリケーションを有する会議クライアント間にマルチユーザ会議環境を作るための方法を提供する。この方法は、会議クライアントの各々に対応したピア・ツー・ピア接続をエミュレートするように構成されたサーバーコンポーネントを用意することから始まる。次に、会議クライアント及びサーバーコンポーネント間の通信用に会議チャンネルが定められる。次に、会議クライアントのうちの一つと関連付けられたビデオ表示の有効領域におけるユーザの活動が監視される。次に、有効領域内でユーザによる能動的選択がサーバーコンポーネントに報告される。能動的選択の報告は会議チャンネルの外で起きる。サーバーコンポーネントが能動的選択の報告を受け取ることにより、音声／ビデオ信号の構成が修正され、会議クライアントに供給される。
【００２１】
さらに別の実施例においては、ピア・ツー・ピア形式会議用アプリケーションを有する会議クライアントと参加者各人に対応したピア・ツー・ピア接続をエミュレートするように構成されたサーバーコンポーネントとの間のマルチユーザ会議環境を作るための命令プログラムを有するコンピュータ可読メディアを提供する。コンピュータ可読メディアは会議クライアントとサーバーコンポーネットとの間で通信できるように会議チャンネルを定めるためのプログラム命令を含んでいる。会議クライアントのうちの一つに対するユーザの活動を監視するためのプログラム命令を含んでいる。監視された活動をバックチャンネル接続でサーバーコンポーネントに報告するためのプログラム命令を含む。サーバーコンポーネントが報告された活動を受け取ることにより会議クライアントに供給されるビデオ及び音声信号を修正するためのプログラム命令も入っている。
【００２２】
添付の図面と共に、本発明の原理を例を挙げて説明している下記の詳細な説明を読めば、本発明の他の態様並びに利点が明白になる。
【００２３】
【発明の実施の形態】
本発明を、多数の参加者からの音声／ビデオストリームを一つの音声／ビデオストリームにミックスするように構成されたマルチポイントコントローラを有するテレビ会議システムのための機器及び方法として説明する。マルチポイントコントローラは、サーバーが構築したインタフェース要素をクライアントが監視したイベントに基づいて音声／ビデオストリームの中に供給するように構成されている。但し、当業者ならば、これらの詳細を全て或いは部分的に知らなくても、本発明を実施できることは明らかである。その他の場合には、本発明を不要に曖昧にしないために、公知のプロセスオペレーションについては詳細な説明を省く。図１Ａ〜１Ｃ及び図２Ａ〜２Ｃについては、本明細書の「従来の技術」の項で説明している。
【００２４】
本発明の実施例は、マルチユーザ会議環境を実現するための方法並びに機器を提供するものである。マルチユーザ会議環境には、多数参加者機能を提供し、それと同時に予め存在しているピア・ツー・ピア形式のテレビ会議用ソフトウェアを有するクライアントを接続できるマルチポイント制御ユニットがある。会議システムは、予め存在しているテレビ会議用ソフトウェアに対する参加者の対話を監視するクライアントモニターにより機能性を定義することができる会議チャンネルへのパラレル接続を含む。一つの実施例では、ビデオストリームを表示しているウィンドウ内で発生する参加者の対話を監視する。事実上、予め存在しているテレビ会議用ソフトウェアのビデオストリームを見張っているという点で、クライアントモニターは会議のユーザと同じような働きをする。なお、クライアントモニターを定義しているコードは会議クライアントの外で実行される。つまり、クライアントモニターコードは会議クライアントソフトウェアとは別でしかも全く異なるものである。本明細書で使用しているように、クライアントモニター及び外部クライアントモニターという用語はどちらを用いても構わない。
【００２５】
テレビ会議システムには、クライアントコンポーネント及びサーバーコンポーネントがある。クライアントコンポーネントは、クライアントモニター及び会議クライアントを含む。クライアントモニターは会議クライアントからの入力を捕捉する。一実施例において、会議クライアントはピア・ツー・ピア形式のテレビ会議用のアプリケーションである。ピア・ツー・ピア形式のテレビ会議用アプリケーションの一例は、ＭＩＣＲＯＳＯＦＴのＮＥＴＭＥＥＴＩＮＧアプリケーションである。しかしながら、当業者ならば、どんなピア・ツー・ピア形式のテレビ会議アプリケーションでもここで説明する実施例に適応できることが分かる。従って、このシステムは、パソコンに既にインストールされているアプリケーションを拡張するもので、クライアントモニターが供給するデータにより機能性を向上させることができる。その上、クライアントモニターはグラフィカルユーザインタフェース（ＧＵＩ）を組み込むことができ、ＧＵＩにおいてピア・ツー・ピア形式のアプリケーションのビデオウィンドウは一つのコンポーネントとなる
クライアントモニターは、会議クライアントから捕らえた入力をサーバーコンポーネントに供給する。この捕捉入力は別の接続、つまり、バックチャンネル接続でサーバーコンポーネントに送られる。バックチャンネル接続は既存の会議クライアントの会議チャンネルとパラレルで動作する。一例として、バックチャンネルシステムにより、サーバーは、サーバーコンポーネントに供給された捕捉入力に基づいて参加者に表示されているＧＵＩを動的に修正することができる。例えば、クライアントモニターは、マウスのクリックやキーボードストロークと組み合わせたマウスのクリックなど、ビデオ信号を表示する会議クライアントのある領域内にマウスのポインタがくるとユーザが実行するイベントを捕捉することができる。一例として、解釈のために、イベントがバックチャンネル接続でサーバーコンポーネントに送られる。従って、バックチャンネル接続により、有効領域やビデオストリーム内のユーザインタフェースオブジェクトを使用して機能や内容を制御することができるようになる。そのために、クライアントイベントのサーバー処理に基づいてレイアウト内のいろいろな領域に与えられたビデオを、ここでは参加者と称しているユーザが、間接的に制御することになる。以下に説明するように、このシステムのバックチャンネル接続を用いて参加者間で追加の通信交換を利用することができる。
【００２６】
図３は、本発明の１実施例による、バックチャンネル通信リンクを有するテレビ会議システムのハイレベルの概観を示す簡約概要図である。ハブ＋ミキサ１２０は、テレビ会議システムのサーバー側コンポーネントを表わす。参加者Ｐ１（１２２ａ）からＰｎ（１２２ｎ）はテレビ会議システムのクライアントコンポーネントを表わす。参加者各人は２つの通信リンクでサーバーコンポーネント１２０とインタフェースをとる。通信リンク１２４は、クライアントコンポーネントとサーバーコンポーネント１２０との間にリアルタイムの音声及びビデオ信号を供給する会議チャンネルである。当業者であれば、会議チャンネル１２４ａ〜１２４ｎは、Ｈ．３２３規格、Ｓｅｓｓｉｏｎ　Ｉｎｉｔｉａｔｉｏｎ　Ｐｒｏｔｏｃｏｌ（ＳＩＰ）規格など、パケット切り替え型Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ（ＩＰ）ネットワークで使用するどんな規格でもサポートできることが分かる。バックチャンネル接続１２６は一つの通信リンクで、これにより、入力、つまり、ビデオ表示領域から捕捉されたイベントやクライアントコンポーネント１２２のクライアントモニターのグラフィカルユーザインタフェース（ＧＵＩ）をサーバーコンポーネント１２０に送れるようになる。
【００２７】
図４は、本発明の１実施例による、クライアントモニターバックチャンネルを用いた多数の参加者が参加できる会議システムの構成要素を示す概略図である。クライアントコンポーネントには、参加者Ａ（１２２ａ）から参加者Ｎ（１２２ｎ）といった、多数の参加者が含まれる。参加者１２２は、各々会議クライアント１４４及び会議モニター１４６を有する。例えば、参加者Ａ（１２２ａ）は、会議クライアントＡ（１４４ａ）及びクライアントモニターＡ（１４６ａ）を有する。一実施例としては、会議クライアントＡ（１４４ａ）は、ピア・ツー・ピア形式テレビ会議用ソフトウェアを有する。会議クライアントＡの役割は、別の参加者の呼び出し、会議セッションの確立及び切断、コンテンツの取込み及び送信、交換したコンテンツの受信及び再生などである。当然ながら、会議クライアントＡ（１４４ａ）からの呼び出しはメディアハブサーバー１３０を介して行われる。他の参加者も同様に、この会議に参加するために、参加者と関連付けられた会議クライアントを用いてメディアハブサーバー１３０に呼び出しをかける。一実施例として、会議クライアントＡ（１４４ａ）は、その会議クライアントが予め存在しているソフトウェアアプリケーションであった場合などは、会議のためのハイレベルのユーザインタフェースを有する。例えば、ピア・ツー・ピア形式のテレビ会議を可能にするアプリケーションソフトウェアとしては、ＭＩＣＲＯＳＯＦＴ　ＣｏｒｐｏｒａｔｉｏｎのＮＥＴＭＥＥＴＩＮＧがある。
【００２８】
クライアントモニター（ＣＭ）１４６は、会議クライアント１４４を監視する。ＣＭ（１４６ａ）は、会議クライアントＡ（１４４ａ）を監視するように構成されている。すなわち、ＣＭ（１４６ａ）は、一実施例として、会議クライアントＡ（１４４ａ）のビデオ表示ウィンドウを監視することによって、ユーザがソフトウェアアプリケーションとどのように対話しているか見る。加えて、ＣＭ（１４６ａ）は、ユーザの対話を解釈し、サーバーコンポーネントにそのユーザの対話を送信する。一実施例として、ＣＭ（１４６）は４つの機能を有するように構成されている。第１の機能は、会議チャンネルのスタート／ストップを監視し、参加者とサーバー間の会議チャンネルセッションに対してバックチャンネルの通信セッションをパラレルに確立することである。第２の機能は、ユーザ対話やマウスメッセージなどの、会議クライアント１４４によって表示されたビデオウィンドウ内のイベントを監視することである。第３の機能は、ＣＭ１４６とサーバーにあるバックチャンネルコントローラ１４０との間の制御メッセージ情報を処理することである。第４の機能は、参加者に、他の会議メンバーにイメージを表示したり送るのに使用できる外部ユーザインタフェースを提供し、接続されている他の参加者名を見せたり、図１４で詳細に説明するその他の通信情報やツールを表示することである。
【００２９】
先に述べたように、クライアントモニター１４６は会議クライアント１４４の活動を監視する。一例として、これには会議のコンテンツを含むビデオ表示領域へのユーザイベントの監視や、会議セッションの制御情報が含まれる。例えば、ＣＭ１４６は会議セッションの始まりと終わりを監視したり、会議クライアントからの呼び出しを監視したりする。会議クライアント１４４がメディアハブサーバー１３０に対して新たな会議セッションを始める呼び出しを行うと、ＣＭ１４６もメディアハブサーバーに対して呼び出しを行う。ＣＭ１４６からの呼び出しにより、参加者の会議セッション用のバックチャンネル接続が生じる。ＣＭ１４６はセッションの始まり／終わりのイベントを監視できるから、追加のユーザ設定をしなくてもバックチャンネル接続が自動的にスタートする。つまり、バックチャンネル接続はユーザには見えない。よって、新たなセッションは会議クライアント１４４の活動とパラレルで維持される。なお、会議チャンネル１２４は会議クライアント１４４とメディアハブサーバー１３０の会議接続１３８との間のビデオ／音声接続となる。一例として、会議チャンネル１２４は、クライアントコンポーネントとサーバーコンポーネント間で交信される会議セッションのリアルタイムビデオ／音声データの通信リンクとなる。
【００３０】
一実施例として、ＣＭ１４６は会議クライアント１４４が表示した会議のビデオフレームに発生する活動を特に監視する。例えば、ＣＭ１４６はＭＩＣＲＯＳＯＦＴ’Ｓ　ＮＥＴＭＥＥＲＩＮＧアプリケーションのビデオイメージを監視することができる。クライアントフレームのマウスの動きはプロトコルを用いてバックチャンネル接続１２６でメディアハブサーバー１３０にリレーされる。すると、バックチャンネルコントローラ１４０がこの動きを別の参加者、又はそれぞれの参加者のイベントハンドラ１４２に報告することができる。この実施例では、会議クライアント１４４のアプリケーションの監視はオペレーティングシステムレベルとアプリケーションレベルとの間のフックにより発生する。先に説明したように、テレビ会議用アプリケーションの外部からのマウスのクリックやキーボードのストロークをビデオウィンドウで監視することができる。
【００３１】
別の実施例において、ＣＭ１４６は参加者に別個のユーザインタフェースを提供する。このインタフェースは、会議クライアント１４４が表示したユーザインタフェースとパラレルで表示され、会議が始まった後もそのままにしておくことができる。もしくは、他の構成やセットアップにするために、会議セッションの前又は後にＣＭ１４６が表示したユーザインタフェースが表示されるようにしてもいい。ユーザインタフェースの一つの実施例を図１４に示す。
【００３２】
また別の実施例において、ＣＭ１４６は、会議クライアントを必要とせずに、メディアハブサーバー１３０が主催した通信セッションへの直接接続のインタフェースとなることができる。この実施例では、ＣＭ１４６はユーザインタフェースを表示し、これにより、会議のまとめ内容、会議の現況、参加者情報、共用データの内容、さらにはライブの会議音声などを戻すのにバックチャンネル接続１２６を使用できるようになる。これは、例えば、参加者が通信活動の監視だけを望んだ、つまり参加者が会議クライアント１４４を使用しないことを選択した場合に発生する。なお、会議クライアント１４４は最低限のデータ処理しか行なわないので、クライアントコンポーネントをシンクライアントと呼ぶこともできる。例えば、どんなテレビ会議アプリケーションでも、会議クライアント１４４になり得ることができる。既に述べたように、ＣＭ１４６ａは、会議クライアントＡ１４４ａのテレビ会議アプリケーションの走行開始及び停止を認識するように構成されているので、ＣＭは会議クライアントの走行開始及び停止に合わせて走行を開始及び停止することができる。ＣＭ１４６ａは、テレビ会議セッションとパラレルでサーバーコンポーネントから情報を受け取ることもできる。例えば、ＣＭ１４６ａは、参加者Ａ１２２ａに会議セッション中のイメージの共用を許可することができる。従って、クライアントモニター各々に対してイメージの共用を可能にするので、参加者各人がテレビ会議ソフトウェアのビデオ表示領域を用いるのではなくドキュメントビューワでイメージを見ることができるようになる。その結果、参加者は共用ドキュメントをはるかにきれいなイメージで見ることができる。一例として、クライアント各々が会議で共用されるドキュメントを見ることができる。
【００３３】
サーバーコンポーネントにはメディアハブサーバー１３０があり、これは参加者がカスタマイズできる情報を引き渡すように構成されたマルチポイント制御ユニット（ＭＣＵ）となる。なお、メディアハブサーバー１３０及びメディアハブサーバーのコンポーネントは本書で説明している機能を実行するように構成されたソフトウェアコードである。一例として、メディアハブサーバー１３０は、本書で説明している実施例を実現するハードウェアベースのサーバーのコンポーネントである。メディアハブサーバー１３０は、メディアミキサ１３２、バックチャンネルコントローラ１４０、イベントハンドラ１４２を含んでいる。メディアハブサーバー１３０は会議接続１３８にもなる。より具体的に言えば、会議接続Ａ１３８ａにより、会議クライアントＡ１４４ａのピア・ツー・ピア形式のテレビ会議用ソフトウェアがメディアハブサーバー１３０と通信できるようになるリンクが完成する。すなわち、会議用エンドポイント１３８ａが別のピアをエミュレートし、ピア・ツー・ピア接続を待っている会議クライアントＡ１４４ａとのハンドシェークを実行する。一実施例では、メディアハブサーバー１３０は、会議の通信を共用できるように別々の参加者の接続を選択可能な論理ルームに入れることによってＭｕｌｔｉｐｏｉｎｔ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ（ＭＣＵ）機能を提供する。ＭＣＵとして、メディアハブサーバー１３０は会議クライアントに対して１個の「ピア」としての働きをするが、多数の参加者から呼び出しを受け取ることもできる。当業者であれば、メディアハブサーバー１３０は同じ論理的空間への参加者全員を内部的にリンクして、空間毎の多数参加者会議セッションを定義し、各ピア・ツー・ピア会議クライアントは１個のピアとしてのみメディアハブと共に動作することが分かる。先に述べたように、メディアハブサーバー１３０は会議クライアント１４４のピア要件に準拠するように構成されている。例えば、ＭＩＣＲＯＳＯＦＴ’Ｓ　ＮＥＴＭＥＥＴＩＮＧのようなアプリケーションのように、会議クライアントがＨ．３２３に準拠した会議プロトコルを採用しる場合は、メディアハブサーバー１３０もそのＨ．３２３プロトコルをサポートしていなければならない。言い換えれば、会議通信は、Ｈ．３２３プロトコル、ＳｅｓｓｉｏｎＰｒｏｔｏｃｏｌｓ（ＳＩＰ）や、その他の参加者接続要件に一致する適切なＡＰＩを介して生じる。
【００３４】
引き続き、図４において、メディアミキサ１３２は、参加者全員の音声及びビデオの組合せから参加者各人特定の音声及びビデオ情報、その特定参加者構成情報、サーバーユーザインタフェース設定をアセンブルするように構成されている。メディアミキサ１３２は、参加者毎に入っているデータストリーム、つまり、音声／ビデオストリームを組み合わせることによって多重化の作業を行なう。ビデオレイアウトプロセッサ１３４及び音声配信プロセッサ１３６は会議信号をアセンブルするが、それについては以下により詳しく説明する。クライアントモニターバックチャンネルネットワークにより、メディアハブサーバー１３０がユーザの会議クライアント１４４との対話を監視すると共に、ピア・ツー・ピア形式のソフトウェアアプリケーションが追加の機能を有するように見えるようになる。その追加の機能は、本書で説明している多数参加者環境になるように、会議クライアント１４４によって実行されたソフトウェアアプリケーションのピア・ツー・ピアの機能を適合させる。クライアントモニターバックチャンネルネットワークには、クライアントモニター１４６のバックチャンネル接続１２６と、バックチャンネルコントローラ１４０、及びイベントハンドラ１４２がある。
【００３５】
バックチャンネル接続１２６は、会議チャンネル１２４に追加されたパラレル会議のようなものである。バックチャンネルコントローラ（ＢＣＣ）１４０は各クライアントモニターからの通信リンクを維持している。リンク上で定義されたプロトコルはメディアハブサーバー１３０で解釈されて、しかるべき宛先、つまり、他の参加者のバックチャンネルコントローラかイベントハンドラ１４２に渡されるか、あるいはＣＭ１４６に戻される。バックチャンネルコントローラ１４０は各々、バックチャンネルコントローラ通信リンク１４８で通信している。
【００３６】
一実施例において、メディアハブサーバー１３０は、会議参加者各人のスケーリングされたバージョンが入ったクライアントによる構成が可能なビデオストリームを供給する。メディアハブサーバー１３０の参加者のイベントハンドラ１４２は、参加者各人のステータス情報を維持することの他、その参加者のユーザインタフェースを構築するためにステータス情報をメディアミキサ１３２に渡す責任がある。別の実施例では、図８において以下により詳細に説明するように、サーバー側ユーザインタフェースを参加者のビデオ／音声ストリームの中に埋め込むこともできる。
【００３７】
図５は、本発明の１実施例による、クライアントモニターバックチャンネルを用いて非参加者が会議に加わることができる多数参加者が参加できる会議システムのコンポーネントの概略図である。非参加者接続１５０は、バックチャンネル通信リンク１４８と通信している。ここで、非参加者クライアント１５０とメディアハブサーバー１３０のバックチャンネルコントローラ１４０との間にバックチャンネル接続１２８を確立することができる。一実施例において、バックチャンネル通信リンク１４８により、バックチャンネルコントローラの各々が仲間内で通信できるようになるので、対応するクライアントモニター又は非参加者がそれぞれのバックチャンネル接続１２６で通信することができるようになる。従って、バックチャンネル通信リンク１４８及びバックチャンネル接続１２６でイメージやファイルをクライアント間で共用することができる。さらに、一実施例では、サーバーステータス、会議活動、出席している参加者、接続情報などの問合せで、メディアハブサーバー１３０にアクセスするのに非参加者のバックチャンネル接続を用いることができる。従って、非参加者バックチャンネル接続はサーバー又は会議セッションに通じる裏口としての働きをする。サーバーから、非参加者は会議やサーバーの性能などを表示する管理者パネルの情報を得ることができる。会議セッションから、非参加者は、会議の音声、テキスト、イメージや、その他の活動中の会議セッションに関係する情報など、限定された会議の内容をバックチャンネル通信リンク１４８で得ることができる。
【００３８】
図６は、本発明の１実施例による、メディアハブサーバーのハイレベルの概略図である。メディアハブサーバー１３０にはメディアミキサ１３２がある。ビデオレイアウトプロセッサ１３４がメディアミキサ１３２の中に入っている。一実施例で、ビデオレイアウトプロセッサ１３４は、選ばれたビデオレイアウト及び各参加者が定めた参加者構成情報を用いて他の全参加者のビデオをクライアントモニターバックチャンネルネットワークで組み合わせることによって各参加者のための合成ビデオイメージを生成する責任を負っている。参加者が選ぶビデオレイアウトのタイプは、会議のセッティングや参加者の人数により異なってくる。例えば、２ユーザ通信はピア・ツー・ピア接続と全く同じように見える。つまり、各参加者が相手方のビデオウィンドウを満たす。もしくは、３名以上のユーザの場合には、会議に参加している他の活動中のメンバーだけを表示する、つまり、参加者は自分自身のビデオストリームを見ない、タイル張りの構成可能なビデオ表示にすることができる。図１２及び１３に関連して、模式的なビデオレイアウトをより詳細に説明する。
【００３９】
メディアミキサ１３２には、音声配信プロセッサ１３６も入っている。会議環境では音声が重要な役割を果たすので、話者や他の参加者各々の話が聞こえることが重要である。打ち合わせ／研修会の会議では、各参加者が他の参加者全員の話を聞きたがるのが普通である。しかしながら、プレゼンテーション／トレーニングの会議では、話者は質問をする人の話だけを聞きたがるが、聴衆が聞きたいのは主に話者で、もし可能なら質問している人の話も聞きたい。これらのいろいろな構成は音声配信プロセッサ１３６を介してメディアハブサーバー１３０により提供されるオプションである。一実施例において、音声オプションは拡張されて、大声で話す参加者又は大声で話す参加者グループを聞くオプション、論理的にしかるべき参加者に「マイクを回す」能力を有する一人の話者だけに耳を傾けるオプションがある。その上、論理的「話者」が、他の参加者に配られる主ビデオイメージになることが多い。別の実施例では、以下にさらに説明するように、或る参加者に他の参加者への専用音声リンクを作らせるインタフェースが音声配信プロセッサ１３６により可能になる。
【００４０】
メディアミキサ１３２にはトランスコーディング１６０がある。トランスコーディング１６０により、あるフォーマットから別のフォーマットへの変換が可能になる。トランスコーディング１６０は、一般に、メディアミキサ１３２のビデオ及び音声処理機能に役立つ機能を実行する。当業者であれば、ビデオスケーリング、解像度及びビットデプス（ｂｉｔｄｅｐｔｈ）の変換、メディアストリームフォーマット変換、ビットレート制御の調整や、その他の要件を実行するのにいろいろなトランスコーディング法を用いなければならないことが分かる。一実施例において、トランスコーディングはさらにより完全な変換になることがある。例えば、一実施例では音声信号をテキストに変換することができる。そしてそのテキストは、図５の非参加者接続などの、非参加者接続に供給される。メディアハブサーバー１３０はセッションマネージャー１６４を有する。セッションマネージャー１６４は接続マネージャー１６２と通信し、情報をメディアミキサ１３２に供給する。セッションマネージャー１６４は、参加者会議接続をグループ化する論理的な空間を割り当てると共に制御し、それによりメディアハブサーバー１３０上で独立した別々の会議セッションを識別する。一実施例においては、セッションマネージャー１６４が維持する協同（ｃｏｌｌａｂｏｒａｔｉｏｎ）モデルにより、所定の会議セッションを管理し、協同行為を決定する一連の規則が定義される。これらの規則は、図８において説明する処理機能を調整するために、メディアミキサ１３２に通信される。
【００４１】
接続マネージャー１６２には、参加者毎に、会議チャンネルと、バックチャンネルコントローラ、及びイベントハンドラがある。図４に示した会議チャンネル及びバックチャンネルにより定義されたパラレルネットワークは接続マネージャー１６２により処理される。接続マネージャー１６２と通信する多数参加者会議のデバイス１６６ａ〜１６６ｎは、本発明の主旨に沿うものであればどのようなものでも構わない。先に説明したように、本発明の一実施例において、デバイス１６６ａ〜１６６ｎはシンクライアントである。
【００４２】
図７は、本発明の１実施例における、クライアントとメディアハブサーバーとの間のクライアントモニター接続を示すより詳細な概略図である。参加者Ａ１２２ａ用のクライアントは、会議クライアント１４４ａとクライアントモニター１４６ａとを有する。会議クライアント１４４ａは、ビデオ表示ウィンドウ１７０とのグラフィカルユーザインタフェース（ＧＵＩ）を有するピア・ツー・ピア形式テレビ会議用アプリケーションを有する。さらに、ＧＵＩは、会議参加者を識別する表示ボックス１７２だけでなく、テレビ会議用ソフトウェアに適した機能を可能にする多数のボタンを提供する。先に述べたように、クライアントモニター１４６ａは、表示ウィンドウ内のイベントを監視する。ＣＭ１４６ａは、メディアハブサーバー１３０とバックチャンネル接続１２６ａを確立させる。一実施例において、会議クライアント１４４ａがメディアハブサーバー１３０と会議チャンネル接続１２４ａを確立すると、ＣＭ１４６ａもバックチャンネル接続１２６ａを確立するために呼び出しをかける。バックチャンネル接続１２６ａは、ユーザインタフェース（ＵＩ）イベント、ステータス情報、接続している参加者などのシステム情報を運ぶ。一実施例において、バックチャンネル接続１２６ａは、ビデオ及び音声信号を会議チャンネル１２４ａに渡す方法を変更したり定義するための制御チャンネルとして使用される。すなわち、バックチャンネル接続１２６ａを介してＣＭ１４６ａから提供される情報により、各クライアントに引き渡される音声及びビデオストリーム及びそれらの混合方法が定義される。
【００４３】
引き続き、図７において、メディアハブサーバー１３０は接続マネージャー１６２及びメディアミキサ１３２を有する。なお、図６で示したセッションマネージャー１６４は、図７には記載されていないが、図７にも含まれている。接続マネージャー１６２は各参加者のコンポーネントを割り当てる。例えば、参加者Ａに割り当てられたコンポーネントには、参加者１２２ａのための会議接続１３８ａ、バックチャンネルコントローラ１４０ａ、イベントハンドラ１４２ａがある。先に説明したように、会議接続１３８ａは、会議クライアント１４４ａの会議エンドポイントとしての働きをする。バックチャンネルコントローラ１４０ａはクライアントモニター１４６ａからの通信リンクを維持している。イベントハンドラ１４２ａはバックチャンネルコントローラ１４０ａから送られてくるイベントを処理する。一実施例では、イベントハンドラ１４２ａは、参加者毎に、将来のイベントの処理に必要な状態情報を維持する。イベントハンドラ１４２ａがメディアミキサ１３２にこの情報を通信すると、次にメディアミキサが参加者のユーザインタフェースの構成を行なう。参加者Ａのユーザインタフェースの構成は次に会議接続１３８ａ及び会議チャンネル１２４ａで会議クライアント１４４ａに送信される。
【００４４】
ＣＭ１４６ａは、ビデオ表示ウィンドウ１７０を監視しながら、クライアントユーザインタフェースコンポーネントに加えて、会議クライアント１４４ａが一つのコンポーネントであるユーザインタフェースを定義することもできる。すなわち、ＣＭ１４６ａもユーザインタフェースを定義するモジュールを含んでおり、それについては図１４でより詳しく説明する。一実施例においては、ＣＭ１４６ａはピア・ツー・ピア形式のアプリケーションコンポーネントを監視すると共にクライアントユーザインタフェースを制御する。ここでは、図１４で説明するように、クライアントモニターの各々に接続しているクライアントモニターバックチャンネルネットワーク１４８と関係してクライアントモニターで更なる機能を提供することができる。なお、接続マネージャー１６２によって割り当てられたコンポーネントの構成は、参加者１２２ａに割り当てられたコンポーネントと比べ、残る参加者１２２ｂ〜１２２ｎについても類似している。さらに、参加者１２２ａから１２２ｎは各々、それぞれのバックチャンネルコントローラを介してクライアントモニターバックチャンネルネットワーク１４８で相互接続している。
【００４５】
図８は、本発明の１実施例による、参加者ごとに合成ビデオイメージを生成するように構成されたビデオレイアウトプロセッサの概略図である。前に述べたように、選択されるビデオレイアウトは会議のセッティングや参加者数により異なる。５人の参加者からのビデオ信号１７２ａ〜１７２ｎが、ビデオレイアウトプロセッサ１３４に供給される。ビデオレイアウトプロセッサ１３４は、判定基準集合に従って、会議参加者に配信するために入ってくるビデオストリームを組み合わせる。判定基準集合には、ＧＵＩ判定基準１７８、ユーザ判定基準１７６、モデル規則判定基準１７４がある。従って、一実施例では、各参加者に入力ビデオストリームの部分からなるビデオレイアウトが供給される。各ビデオレイアウト１８０ａ〜１８０ｅが、各参加者に会議チャンネルで戻される。例えば、ビデオレイアウト１８０ａを図７に示した会議クライアント１４４ａのビデオ表示ウィンドウ１７０に表示することができる。従って、会議クライアントのピア・ツー・ピア形式のアプリケーションはピアを表示しており、それは４人のように見える。
【００４６】
引き続き図８において、ビデオレイアウト１８０ａでは、参加者Ｃの映像は表示ウィンドウに大きく表示され、参加者Ｂ、Ｄ、Ｅは同じ大きさの小さめの領域に表示されている。領域１８２ａは、メディアハブサーバーが、そのユーザインタフェースを各参加者に配信されるアウトバウンドのビデオストリームイメージの中に直接挿入するための専用領域である。領域１８２ａは、あたかも別の参加者のビデオ表示であるかのように、メディアハブサーバーによって追加される。領域１８２ａには、サーバーユーザインタフェースによって決められたボタン、カラーパッチ、アイコン、あるいはその他の必要なイメージが配置される。例えば、一つのサーバーユーザインタフェースとして配置されたアイコンは、クリックされると参加者全員のレイアウトを変更する。また別の例では、質疑応答セッションが始まるまで、話者が、他の参加者の音声を禁止するインタフェースを有する。そして、決められたサーバーユーザインタフェース領域にユーザインタフェースアイコンを表示することにより、そのユーザインタフェースアイコンを用いて、現在の話者から別の参加者、つまり会議を進行する人に制御を渡したり、リクエストしたりすることができる。なお、領域１８２ａをある特定の参加者に拡張機能を提供するインタフェース領域として説明したが、同じ拡張機能がその他の参加者の領域１８２にも提供されることは言うまでもない。クライアントモニターは表示ウィンドウ内の参加者の活動を監視しているので、何かのアクションを起こすための、サーバーユーザインタフェース領域１８２ａ内でのアクションを捕らえることができる。なお、サーバーはインタフェースとして見えるようにビデオを挿入するが、アプリケーションレイヤーのビデオ最上層に置くオペレーティングシステムアイコン制御は作成しない。その結果、サーバーは、クライアントモニターを介してユーザが指示する通りに、ＧＵＩ要素、ＧＵＩ機能、ＧＵＩ要素の場所を動的に修正することができる。
【００４７】
ビデオ配信されたサーバーユーザインタフェースを領域１８２ａに表示するには、参加者Ａのクライアントモニターがマウス操作か、その他のイベントをバックチャンネルでメディアハブサーバーに送らなければならない。そうすると、メディアハブサーバーは、サーバーから参加者に提供されたユーザインタフェースに従って、つまり、ビデオイメージの中のイベントの場所に基づいて、これらのイベントを処理することができる。ユーザインタフェースはビデオストリームの中で送られるので、ビデオウィンドウを介してどのようなメディアハブサーバー構成にすることもできる。例えば、表示の一部を制御するためにビデオイメージ上のマウス操作をサーバーに送り返すことができる。もちろん、このフィードバックループにより機能制御用の閉じたユーザインタフェースを作ることができる。
【００４８】
図８は、採用可能な考えられる全てのレイアウトオプションを表示しているわけではないので、ビデオレイアウト１８０ａ〜１８０ｅは、本発明の主旨に沿ったものであればどのようなレイアウトに設計してもよい。例えば、サーバーユーザインタフェース（ＳＵＩ）領域１８２や他の領域を省略したり、動的に割り当てたりすることもできる。もちろん、領域を固定することもカスタマイズ可能にもすることもできることは言うまでもない。サーバーは固定のレイアウト集合を持つことができ、クライアントはレイアウトを定義するための既定のプロトコル又は言語を使用することができ、外部構造はレイアウトを定義するためにサーバーにレポートされる。会議クライアントとメディアハブサーバー間の会議用プロトコルは、会議チャンネルの能力を決めるために使用される。判定された能力により、参加者のビデオレイアウトのオプションがさらに限定される。当業者であれば、ビデオ及び音声のフォーマット、ビデオサイズ、フレームレートや、その他の属性は、会議のプロトコル、ネットワークのバンド幅、レイテンシ、その他の判定基準に基づいて決まることは言うまでもない。
【００４９】
一実施例においては、参加者の中にビデオキャブチャ装置、つまり、カメラをもっていない人がいるかもしれない。あるいは、ビデオキャプチャ装置の電源を切断したままにしておくことを選ぶかもしれない。しかし、ビデオキャプチャ装置をもっていない参加者も会議に参加することはできる。このような参加者を表わすアイコンのシンボルが他の会議メンバーに対して表示される。このシンボルによって他のメンバーがそのような参加者をビジュアルに識別し、それに応じてユーザインタフェースを制御することができる。このアイコンは、サーバーのメディアミキサによってビデオストリームレイアウトに挿入される。また、サーバーがそのような参加者に対して使用するデフォルトのアイコンを提供するのではなく、バックチャンネル接続を使用して参加者のクライアントモニターからカスタムアイコンを受け取るようにしてもよい。メディアミキサは、サーバーがデフォルトで有するアイコンの代わりに、このカスタムアイコンを使用する。また、参加者がビデオキャプチャ装置をもっていない場合には、その参加者は予め選択したイメージを定義することによって、他の参加者が受け取るビデオ表示を定義することができる。場合によっては、参加者が送信されたビデオストリームの代わりにこの予め選択したアイコンを使用することを選択することもある。例えば、参加者が会議からちょっと席をはずしたい、ビデオイメージを匿名のままにしておきたい場合など。バックチャンネル接続で命令が出されることにより、メディアハブサーバーはそうしたリクエストに応じることができる。
【００５０】
ビデオレイアウトプロセッサ１３４は、ビデオ信号をどのようにミックスするかを決めるための判定基準集合を用いる。判定基準集合は、ＧＵＩ判定基準１７８、ユーザ判定基準１７６、モデル規則判定基準１７４からなる。モデル規則判定基準１７４は、追従している協同モデルにより判定される。例えば、協同モデルには、一対一モデル、一対多数モデル、グループディスカッションモデルなどがある。従って、グループ協同は一対多数協同とは異なるモデル規則を有する可能性がある。ユーザ判定基準１７６は、活動中のセッションの協同モデルにより、使用可能なオプションの中からユーザによって定義される。例えば、ユーザは、多数の参加者を見る方法を決める、つまり、ビデオレイアウト１８０ａ〜１８０ｅなどいろいろな領域をどのように構成するか決めることができる。ＧＵＩ判定基準１７８は、既に説明したサーバーユーザインタフェース領域１８２で使用することのできる機能を含んでいる。一実施例では、判定基準集合は階層順に並んでいる。つまり、モデル規則判定基準１７４はユーザ判定基準１７６を限定し、ユーザ判定基準はＧＵＩ判定基準１７８を限定する。
【００５１】
図９は、本発明の１実施例による、音声配信プロセッサの概略図である。話者や他の参加者の話を聞けることが音声配信プロセッサ１３６のコア機能である。一般に知られているように、異なる協同モデルには異なる音声配信が必要となる。例えば、研修会の会議モデルでは、図７で説明したように、トレーニングの会議モデルとは構成が異なる。トレーニングの会議では、聴衆である参加者各々が話者の話を聞き、話者は聴衆である参加者各々の話を聞く。聴衆である参加者は、参加者の誰かが質問をするまでは、他の参加者の音声が聞こえなくてもよい。参加者Ａ１２２ａ〜Ｎ１２２ｎ各々の音声信号は、会議チャンネルで音声配信プロセッサ１３６に供給される。参加者Ａ１２２ａには他の参加者各々からの音声信号が供給される。もちろん、参加者Ａ１２２ａは自分の音声信号は聞かない。別のところで述べたように、各参加者は、音声信号の音量やどの信号を聞くかを決めることができる。なお、音声信号が会議チャンネルで送信されることは言うまでもない。
【００５２】
図１０は、本発明の１実施例による、プライベートな音声通信を提供するように構成された音声配信プロセッサの概略図である。プライベートな音声リンクを作成することができると、他の参加者には聞かれることなく、ある参加者と別の参加者が会議についての話しをすることができる。このようなプライベートコミュニケーションの間、Ｖｉｄｅｏ　Ｌａｙｏｕｔ　Ｐｒｏｃｅｓｓｏｒは、つながっている参加者のビデオイメージを一時的に停止させたり、予め選択しておいたイメージを供給することさえもできる。例えば、参加者Ａ１２２ａが話をしているとすると、音声配信プロセッサ１３６を介して参加者Ｃ１２２ｃと参加者Ｂ１２２ｂの間にミーティング内（ｉｎｔｒａ−ｍｅｅｔｉｎｇ）音声チャンネル１８４を作ることにより、参加者Ｃ１２２ｃは参加者Ｂ１２２ｂとプライベートな会話をすることができる。
【００５３】
一実施例としては、会議クライアントのビデオレイアウト内で、一方の参加者がマウスのポインタを他方の参加者のビデオイメージ上においてマウスボタンを押すことによって、二人の参加者間にミーティング内音声チャンネル１８４が構築される。従って、ミーティング内音声チャンネルを作るために、参加者Ｃ１２２ｃは自分のマウスポインタを参加者Ｂ１２２ｂのイメージ上に保持する。この接続は、マウスボタンが押さられている間だけ存続する。一実施例では、受け取り側の参加者は、彼とプライベートな会話をしているのが誰なのかを知ることができるビデオキュー（ｖｉｄｅｏ　ｃｕｅ）を見る。このビデオキューは、Ｖｉｄｅｏ　Ｌａｙｏｕｔ　Ｐｒｏｃｅｓｓｏｒによってビデオストリームの中に挿入される。なお当然ながら、クライアントモニターはビデオ表示ウィンドウを監視しているので、マウスの動きはバックチャンネルでメディアハブサーバーに報告される。当業者であれば、参加者は自分の音声を一人以上の参加者に向けることができることは明らかである。例えば、参加者Ｃ１２２ｃは、３者間の専用音声チャンネルをセットアップするために自分の音声を参加者Ｂ１２２ｂ及び参加者Ｃ１２２ｃに向けて送ることができる。別の実施例では、音声配信プロセッサは、参加者Ｂ１２２ｂと参加者Ｃ１２２ｃの間で会話がされている間、主たる話者、つまり、参加者Ａ１２２ａの音声を調整する。図８で既に説明したように、音声配信プロセッサ１３６は、ビデオレイアウトプロセッサと類似のセットアップ判定基準に従う。すなわち、モデル規則判定基準が協同規則を作り、ユーザ判定基準がモデル規則の範囲内でユーザの選考選好を確立し、ＧＵＩ判定基準が会議に何か音声信号を挿入する。例えば、一例として、モデル規則はこのようなプライベートな会議を排除にすることができる。
【００５４】
図１１Ａ〜１１Ｃは、本発明の１実施例による、音声ストリームをミックスするパターンの概略図である。図１１Ａに示すのは、４人の参加者Ａ〜Ｄのマトリックスである。これにおいて、各参加者は他の参加者からそれぞれ信号を受け取ることができる。例えば、参加者Ａは参加者Ｂ、Ｃ、Ｄから信号を受け取れる。参加者Ｂは参加者Ａ、Ｃ、Ｄから信号を受け取れるといった具合である。図１１Ｂに示すのは、参加者Ａ、Ｃ、Ｄ間のサブ会議用の音声マトリックスである。ここでは、参加者Ａが参加者Ｃ及びＤとプライベートな音声リンクを作っている。すなわち、ここでは参加者ＢはＡが送る音声信号を受け取らない。図１１Ｃに示すのは、参加者Ａ、Ｃ、Ｄ間のサブ会議機能が起動された時のマトリックスである。ここでは、参加者Ｂはサブ会議中は参加者Ａからいかなる信号も受け取らない。さらに、参加者Ａ、Ｃ、Ｄ間のサブ会議中、参加者ＡからＣ及びＤへの音声の音量はＡの音声信号の１００％となるが、残りの参加者からの音量はＣ、Ｄは５０％で受信するように設定されている。言うまでもなく、参加者がサブ会議を始めた人からの音声を聞くのに適当な音量であれば何パーセントの音量であってもよい。例えば、一実施例では、他の参加者の音量をゼロ（０）にすることができる。
【００５５】
上述のサブ会議の例について説明を続けると、参加者Ａが始めたサブ会議を一方向音声経路構成することも、双方向音声経路として構成することもできる。すなわち、一実施例として、参加者Ｃ、Ｄ間にサブ会議をスタートさせるという参加者Ａのアクションは、参加者Ｃ、Ｄが自分たちの音声を制御するのに何の影響も及ぼさない。従って、参加者Ａがサブ会議をしたのと同じように、参加者Ｃ、Ｄが選択された参加者にコメントを返したい場合には、参加者Ｃ、Ｄはマウスダウンインタフェースを使用しなければならない。別の実施例では、参加者Ｃ、Ｄとのサブ会議を参加者Ａがスタートさせると、あたかも参加者Ｃが参加者Ａ、Ｄとの専用リンクを選択したかのように、そして参加者Ｄが参加者Ａ、Ｃとの専用リンクを選択したかのように通信リンクが作られる。従って、参加者Ａのアクションにより、参加者Ｃ、Ｄからの音声が他の参加者、つまり、参加者Ｂに聞こえないようにブロックされる。
【００５６】
図１２は、本発明の１実施例による、会議クライアントのビデオ表示ウィンドウ上のイベントの作用を示す概略図である。例えば、ビデオレイアウト１８８は、主参加者のビデオが領域Ｒ１に配置され、他の参加者が領域Ｒ２、Ｒ３、Ｒ５に配置されるように構成されている。領域Ｒ４には、先に説明したサーバーユーザインタフェース（ＳＵＩ）がある。さらに具体的に言えば、参加者Ｂのビデオレイアウトは、ビデオレイアウト１９０と同様に、参加者Ａを一次領域に配置し、参加者Ｃ、Ｄ、Ｅを二次領域に配置した構成になっている。ポインタが参加者Ｅの領域にあるときに参加者Ｂがマウスをクリックすると、ビデオレイアウト１９２に示すように、参加者Ｅが一次領域に移動し、参加者Ａは一次領域からそれまで参加者Ｅがあった領域に移される。会議ビデオをＧＵＩ要素と考えて同じように修正することさえできる。例えば、参加者のビデオ領域をクリックしてサーバーコンポーネントが送ったイメージの明るさを変えることもできる。
【００５７】
図１３は、本発明の１実施例による、会議クライアントのビデオ表示ウィンドウ上のイベントの別の作用をしめす概略図である。ここでは、参加者がビデオレイアウト１９０の参加者Ｃをダブルクリックする。このダブルクリックという操作で、参加者Ｃのイメージがビデオ表示領域全体を占めるビデオレイアウト１９４に変わる。さらに、ポインタが参加者Ｃの表示上にある間にマウスをダブルクリックすると、イメージがビデオレイアウト１９０に戻る。なお、参加者がビデオ表示領域を構成できるように、適していればどんなイベントでも定義することができる。例えば、先に述べたように、ビデオ表示レイアウト上で参加者のビデオをダブルクリックしてマウスボタンを保持することによって、その参加者との音声接続が生じる。従って、サブ会議用のプライベート音声リンクが生まれる。他の一般的なアプリケーションインタフェースでも同様に、このイベントリストを拡張して特定のマウスボタン（つまり、右、中央、左）及びマウス操作時のキーボードの状態情報（つまり、シフトキーが押されている、コントロールキーが押されている、など）を含むようにすることができる。マウスの移動の追跡やキーストロークなど他のイベントを定義しても構わない。一実施例では、サーバーインタフェースは、ビデオレイアウト内にトレーニング用の会議で、聴衆である参加者に見せるための領域を提供することができる。参加者がクリックして質問があることを示すと、話者のユーザインタフェースが質問のあるメンバーを識別するビジュアルな合図を表示する。それに応えて、話者が仮想「マイク」を管理するインタフェースを有していて、参加者に質問の権利を許可するが、会議を続けるためにマイクの権利は参加者に譲らず話者が保持しておくこともできる。
【００５８】
バックチャンネルは、サーバーの構成やユーザインタフェースプロトコルのためだけにあるのではない。参加者間の通信チャンネルとしても使用することができる。クライアントモニターは、メディアハブサーバーを介してバックチャンネルで情報を共用したり交換したりすることにより、仲間内で通信し合うことができる。例えば、そのクライアントモニターは、会議クライアントが提供しているユーザインタフェースとパラレルに別のユーザインタフェースを表示したいかもしれない。一実施例では、クライアントモニターは参加者のコンピュータ上のＰＯＷＥＲＰＯＩＮＴアプリケーションのアプリケーションウィンドウを捕らえることができる。この情報を、例えば、ＪＰＥＧイメージとして、他のクライアントモニターに送信すると、そのモニターに表示される、というようにすることもできる。このようにすると、参加者は自分のプレゼンテーションの高解像度スライドイメージを、接続されたビデオキャプチャ装置の小さな解像度だけに頼るのではなく、他の参加者全員と共用することができる。
【００５９】
会議のコンテンツ情報、記録（ｓｕｍｍａｒｙ　ｎｏｔａｔｉｏｎ）、チャットや、その他のステータス情報をバックチャンネルで参加者間で受け渡しすることができる。一実施例では、メディアハブサーバーに対する専用のプロトコルにより、会議参加者の活動及び会議に参加していることを報告することができる。先に述べた例と同じく、このシステムは各クライアントのマシンの、サイズ変更可能なウィンドウの中に共用のＪＰＥＧイメージを表示する。受け取ったイメージは、スクロールバーを使用して、ウィンドウサイズに合わせてサイズを変えたり、実際の画素解像度に合わせて見たりすることができる。
【００６０】
図１４は、本発明の１実施例による、会議クライアントが提供するユーザインタフェースを含むクライアントモニターグラフィカルユーザインタフェースの概略図である。クライアントモニターＧＵＩ２００は、会議クライアントアプリケーションウィンドウＧＵＩ２０２と、クライアントモニターユーザインタフェース２０４とを含む。一実施例では、会議クライアントアプリケーションウィンドウＧＵＩ２０２は、クライアントモニターＧＵＩ２００のコンポーネントとして加えられている。すなわち、ピア・ツー・ピア形式のアプリケーションのコードがＧＵＩ　２０２を走行させている。なお、ＧＵＩ　２０２は図７に示した会議クライアント１４４ａ用ＧＵＩの別の表現である。クライアントユーザインタフェース２０４によりバックチャンネルで機能を拡張させることができる。例えば、ファイル、ドキュメント、イメージなどを、そのクライアントモニターと関連付けられるドキュメントビューワ領域２０６に表示するためにバックチャンネルで他のクライアントモニターに送ることができる。具体的に言えば、話者が説明しているＰＯＷＥＲＰＯＩＮＴのプレゼンテーションを参加者各人が見ることができる。なお、ピア・ツー・ピア形式のアプリケーションをＧＵＩ２００の一つのコンポーネントとしてＧＵＩ２００を立ち上げることができる。もしくは、ピア・ツー・ピア形式のアプリケーションを立ち上げ、拡張機能しなければならない時に別のＧＵＩを立ち上げるようにすることもできる。当業者であれば、参加者が提供されている機能から選択できるようにオプションを提供する際、スクロールバー、ドロップダウンメニュー、タブ、アイコン、ボタンなど、適切なものであればどんなナビゲーションツールでも採用できることが分かる。
【００６１】
クライアントユーザインタフェース２０４には、会議の参加者をリストにした参加者の領域２０８もある。参加者の領域２０８の参加者１に関して表示されているように、ある特定の参加者と関連付けられるファイルをリストにすることができる。ローカルファイル領域２１０には、参加者間で共用できるファイルが入っている。デバイス領域２１２は、或る特定のクライアントのために会議情報を供給するように構成されたリモートデバイスとなる。例えば、参加者がドキュメントを共用できるようにドキュメントを走査するために、それぞれのクライアントと通信しているスキャナーが用いられる。共用空間でドキュメントを見るために第２のドキュメントビューワ領域２１４を有している。さらに、領域２１２に載っている走査用デバイスから走査されているドキュメントを領域２１４で見ることができる。従って、ドキュメントが走査されるにつれて、参加者は領域２１４でそのドキュメントを見ることができる。会議ログ領域２１６は、会議に加わった参加者及び参加者が会議に加わった時間のログを提供する。なお、会議ログは、参加者がサインオフした時刻など、その他の必要な項目を記録することができる。さらにテレビ会議環境に適したユーザインタフェースとするために、予備領域２１８を使用することができる。なお、ＧＵＩ２００の構成は、適切なものであればどのようなもでもよい。一実施例では、バックチャンネルネットワークでビデオ及び音声信号を配信するのと同様に、バックチャンネルコントローラにより、サーバーがクライアント間にドキュメントを配信することができる。
【００６２】
一実施例においては、ユーザは分散型ネットワークでクライアントモニターをダウンロードすることができる。ここでは、ユーザは次にアプリケーションサービスプロバイダが管理するサーバー又は大企業の一つの組織や部門内での会議を可能にするローカルネットワーク上のサーバーを活用することができる。さらに、本願で説明した機能を使用可能にするコードを、ビデオプロジェクタなど、テレビ会議に使用されるデバイスのファームウェアに組み込むことができる。従って、プロジェクタからのイメージをバックチャンネルで会議の参加者に供給することができる。
【００６３】
図１５は、本発明の１実施例による、ピア・ツー・ピア形式の会議用アプリケーションを有する会議クライアント間にマルチユーザ会議環境を作る方法のフローチャートである。この方法は、サーバーコンポーネントを用意するオペレーション２３０から始まる。一例として、サーバーコンポーネントは会議クライアント毎にピア・ツー・ピア接続をエミュレートするように構成されている。適したサーバーコンポーネントの一つは、先に説明したメディアハブサーバーコンポーネントである。この方法はオペレーション２２０に進み、そこで会議クライアント及びサーバークライアント間の通信用に会議チャンネルが定められる。一例として、会議チャンネルはリアルタイムで音声及びビデオデータを提供するように構成されている。別の例では、Ｈ．３２３プロトコル及びＳＩＰプロトコルなどの会議用プロトコルをサポートする構成になっている。
【００６４】
図１５の方法は次にオペレーション２２４に進み、そこで有効領域におけるユーザの活動が監視される。ここでは、クライアントモニターが先に説明したビデオ表示領域を監視する。監視されている活動には、ビデオ表示領域でのユーザのマウス活動がある。この方法は次にオペレーション２２６に進み、そこで有効領域でのユーザの能動的選択が報告される。図１２及び１３において説明したように、ユーザが表示ウィンドウのビデオレイアウトのある領域をクリックする。会議チャンネルで送信されている会議セッションとパラレルで、能動的選択、つまり、マウスのクリックをクライアントモニターがバックチャンネルでサーバーに報告する。この方法は次にオペレーション２２８に進み、そこで、サーバーが能動的選択の報告を受け取るとそれに応じて、ユーザと関連付けられた会議クライアントに供給されている音声／ビデオ信号の構成が修正される。例えば、図１２において説明したように、ここではビデオ表示ウィンドウが修正される。
【００６５】
【発明の効果】
要約すれば、以上説明した発明はバックチャンネルで機能拡張を図るテレビ会議システムである。このシステムは予め存在しているピア・ツー・ピア形式のアプリケーションを採用して会議接続を実現するので、アプリケーションにはピア・ツー・ピア接続に見えるが、実際は多数の参加者から音声及びビデオ信号が供給されている。バックチャンネルネットワークは会議チャンネルに対してパラレルネットワークとしての働きをする。クライアントモニターは、ピア・ツー・ピア形式のアプリケーションの表示ウィンドウでマウス指向の操作などユーザのイベントを監視する。クライアントモニターが捕らえたデータは、バックチャンネルでメディアハブサーバーに送られる。メディアハブサーバーはそのデータに応答して、会議チャンネルで各参加者に送られるビデオ信号や音声信号を修正したり構成したりする。会議システムは、他の非参加者がバックチャンネルネットワークで参加するように構成されている。その上、バックチャンネルにより、クライアントモニターを介して定義及び制御されるクライアントインタフェースにより参加者間でファイルを共用することができる。一実施例では、ドキュメントを走査してシステムの中に取り込むためにスキャナーなど周辺クライアント機器が使用可能になっているので、ドキュメントをバックチャンネルネットワークで各参加者に提供することができる。各クライアントはクライアントインタフェースを介してドキュメントを見ることができる。
【００６６】
上記の実施例を考えれば、本発明は、コンピュータシステムに保持されたデータを必要とするいろいろなコンピュータ実行型オペレーションを採用できることが分かる。こうしたオペレーションとは、物理的数量の操作を必要とするオペレーションのことである。必ずしもそうとは限らないが、一般に、こうした数量は、保持、転送、組合せ、比較、さもなければ操作されることが可能な電気又は磁気信号の形を取る。さらに、実行される操作は、生成、識別、判定、或いは比較などといった言い方をされることが多い。
【００６７】
本発明をコンピュータ可読媒体にコンピュータ可読コードとして実装することもできる。コンピュータ可読媒体は、コンピュータシステムによって後から読み取ることができるデータを保持することが可能な任意のデータ記憶装置である。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク結合記憶装置（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、その他の光学式及び非光学式データ記憶装置などがある。コンピュータ可読コードを分散して保持及び実行するように、コンピュータ可読媒体をネットワークに結合されたコンピュータシステムで分散することができる。
【００６８】
上記の発明を明確に理解できるようにある程度詳細に説明してきたが、添付のクレームの範囲内で特定の変更並びに修正を実施できることは明らかである。従って、本願の実施例は、説明と捉え限定と捉えるべきものではない。また、本発明はここで述べた詳細に限定されるものではなく、添付のクレームの範囲及び等価物の範囲内で修正可能である。
【図面の簡単な説明】
【図１】従来の接続方法を説明した図。
【図２】ＭＣＵによる接続の減少を説明した図。
【図３】バックチャンネル通信を有するテレビ会議システムの概略図。
【図４】クライアントモニターバックチャンネルを用いる会議システム用のコンポーネントの概略図。
【図５】非参加者が会議に参加できる多数参加者会議システム用のコンポーネントの概略図。
【図６】メディアハブサーバーのハイレベル概略図。
【図７】クライアント、メディアハブサーバー間のクライアントモニター接続の概略図。
【図８】参加者各人に合成ビデオイメージを生成するように構成されたビデオレイアウトプロセッサの概略図。
【図９】音声配信プロセッサの概略図。
【図１０】専用音声通信ができるように構成された音声配信プロセッサの概略図。
【図１１】音声ストリームをミックスするためのパターンの概略図。
【図１２】会議クライアントのビデオ表示ウィンドウ上のイベントを示す概略図。
【図１３】会議クライアントのビデオ表示ウィンドウ上のイベントを示す概略図。
【図１４】会議クライアントが用意したユーザインタフェースを含むクライアントモニターグラフィカルユーザインタフェースの概略図。
【図１５】ピア・ツー・ピア形式の会議用アプリケーションを有する会議クライアント間にマルチユーザ会議環境を作るためのフローチャート。
【符号の説明】
１２０　　　　ハブ＋ミキサ
１２２　　　　参加者
１２４　　　　会議チャンネル接続
１２６　　　　バックチャンネル接続
１３０　　　　メディアハブサーバー
１３２　　　　メディアミキサ
１３４　　　　ビデオレイアウトプロセッサ
１３６　　　　音声配信プロセッサ
１４０　　　　バックチャンネルコントローラ
１４２　　　　イベントハンドラ
１４４　　　　会議クライアント
１４６　　　　クライアントモニター
１５０　　　　非参加クライアント
１６０　　　　トランスコーディング
１６２　　　　接続マネージャー
１６４　　　　セッションマネージャー
１６６　　　　デバイス
１７０　　　　表示ビデオウィンドウ
１７２　　　　ビデオ信号
１７４　　　　モデル規則判定基準
１７６　　　　ユーザ判定基準
１７８　　　　ＧＵＩ判定基準
１８０　　　　ビデオレイアウト

Claims (70)

1. テレビ会議システムであって、
   監視エージェントを有するクライアントコンポーネントを備え、前記監視エージェントはクライアントモニターのビデオ表示ウィンドウ内のイベントを検出するように構成されており、
   ビデオ及び音声データストリームを会議セッションの参加者に配信するように構成されたサーバーコンポーネントを備え、
   前記クライアントコンポーネントと前記サーバーコンポーネント間で前記ビデオ及び音声データストリームを運ぶ会議チャンネル通信接続を備え、
   前記監視エージェントによって捕捉されたイベントを前記サーバーコンポーネントに送信するバックチャンネル通信接続を備え、前記バックチャンネル通信接続により参加者各人が前記ビデオ表示ウィンドウのビデオレイアウトを定義できることを特徴とするテレビ会議システム。
2. 前記バックチャンネル通信接続は、参加者各人が、会議セッションの邪魔にならずに、他の参加者と通信することを可能にすることを特徴とする請求項１に記載のテレビ会議システム。
3. 前記バックチャンネル通信接続は、参加者各人が、会議セッションの邪魔にならずに、非参加者と通信することを可能にすることを特徴とする請求項１に記載のテレビ会議システム。
4. 前記バックチャンネル通信接続は、参加者の中の２名間のプライベートな音声リンクに対応できるように構成されており、前記監視エージェントがイベントを検出するとそれに応じてプライベート音声リンクが生じることを特徴とする請求項１に記載のテレビ会議システム。
5. 前記イベントはマウスボタンをダウン位置に維持し続け、その間マウスボタンと関連付けられるマウスポインタは前記ビデオ表示ウィンドウのある領域内にあることを特徴とする請求項４に記載のテレビ会議システム。
6. 前記領域は、参加者のビデオイメージかＧＵＩ要素かどちらか一つであることを特徴とする請求項５に記載のテレビ会議システム。
7. 前記イベントにはマウス活動及びキーボード活動があり、前記マウス活動及びキーボード活動は共に、マウス活動又はキーボード活動と関連付けられるポインタが前記ビデオ表示ウィンドウのある領域上にある間に発生することを特徴とする請求項１に記載のテレビ会議システム。
8. 複数の参加者が参加する会議のためのテレビ会議システムのバックチャンネル通信ネットワークであって、
   クライアントと関連付けられる監視エージェントを備え、クライアントはピア・ツー・ピア形式のテレビ会議用アプリケーションを実行するように構成されており、監視エージェントはピア・ツー・ピア形式の会議用アプリケーションによって制御されるビデオ表示ウィンドウを監視するものであり、
   バックチャンネル接続で前記監視エージェントと通信しているバックチャンネルコントローラを備え、バックチャンネルコントローラはバックチャンネルコントローラ通信リンクで前記クライアントと複数の会議クライアントとの間の通信を可能にするものであり、
   前記クライアント用のアウトバウンドビデオストリームイメージへのサーバーユーザインタフェースデータの挿入を可能にするように構成されたイベントハンドラを備えることを特徴とするバックチャンネル通信ネットワーク。
9. 前記バックチャンネルコントローラ及び前記イベントハンドラはサーバーコンポーネントと関連付けられることを特徴とする請求項８に記載のバックチャンネル通信ネットワーク。
10. 前記バックチャンネルコントローラは会議セッション中の前記複数の参加者間のファイルの配信を可能にすることを特徴とする請求項８に記載のバックチャンネル通信ネットワーク。
11. 前記イベントハンドラは前記複数の参加者各人の状態情報を維持することを特徴とする、請求項８に記載のバックチャンネル通信ネットワーク。
12. 前記イベントハンドラは、前記クライアントがユーザインタフェースを構築できるようにメディアミキサに前記状態情報を供給することを特徴とする請求項１１に記載のバックチャンネル通信ネットワーク。
13. 前記クライアントのユーザインタフェースにはサーバーのユーザインタフェース領域があり、前記サーバーのユーザインタフェース領域はインタフェースのように見えるように挿入されたビデオであることを特徴とする請求項１２に記載のバックチャンネル通信ネットワーク。
14. 前記イベントハンドラは前記クライアントのビデオ表示ウィンドウのビデオレイアウトを定義することを特徴とする請求項８に記載のバックチャンネル通信ネットワーク。
15. 前記クライアントのユーザインタフェースは前記ビデオ表示ウィンドウ内で定義されることを特徴とする請求項１２に記載のバックチャンネル通信ネットワーク。
16. 多数の参加者間でテレビ会議セッションの会議コンテンツの引渡しを向上させるための方法であって、
    クライアントと関連付けられるビデオ表示ウィンドウを監視し、
    前記クライアントとサーバー間でビデオストリーム及び音声ストリームを送信するための会議チャンネル接続を成立させ、
    前記会議チャンネル接続が生じたことを検出し、
    前記会議チャンネル接続を検出するとそれに応じて、当該方法は、
    前記クライアント及び前記サーバー間にバックチャンネル接続を生じさせることを含み、
    前記クライアントのビデオ表示ウィンドウにビデオストリームを表示し、
    前記ビデオ表示ウィンドウの有効領域（ａｃｔｉｖｅ　ｒｅｇｉｏｎ）内に能動的選択（ａｃｔｉｖｅ　ｓｅｌｅｃｔｉｏｎ）を検出し、
    能動的選択を前記バックチャンネル接続で前記サーバーに通信し、
    前記サーバーで前記ビデオストリーム及び音声ストリームのうちの一方の構成を修正し、
    前記修正された構成を前記会議チャンネル接続で前記クライアントに供給してなることを特徴とする方法。
17. サーバーユーザインタフェースをビデオストリームに挿入すること、
    をさらに含むことを特徴とする請求項１６に記載の方法。
18. 前記方法のクライアントとサーバーとの間にバックチャンネル接続を形成するオペレーションは参加者には見えないことを特徴とする請求項１６に記載の方法。
19. 能動的選択とは、マウスのアクション及びキーボード変更のうちの一つであることを特徴とする請求項１６に記載の方法。
20. 前記方法のビデオストリームの中にサーバーユーザインタェースを挿入するオペレーションは、バックチャンネル接続を含むバックチャンネル接続でデータをメディアハブサーバーに供給するイベントハンドラによって可能になることを特徴とする請求項１７に記載の方法。
21. 複数の参加者間のテレビ会議セッションのビデオ及び音声ストリームを参加者がカスタマイズできるようにするための方法であって、
    複数のクライアントを用意し、複数のクライアントは各々が一人の参加者と関連付けられ、
    前記複数のクライアントと通信しているサーバーを用意し、
    前記サーバーと前記複数のクライアントの各々との間に第１の通信チャンネル及び第２の通信チャンネルを成立させ、第１通信チャンネルは音声／ビデオデータを供給し、第２通信チャンネルはシステム情報を提供するものであり、
    クライアントのビデオ表示ウィンドウを監視し、
    第１通信チャンネルで供給された音声／ビデオデータを修正するために前記ビデオ表示ウィンドウの監視に基づくフィードバックを提供することからなることを特徴とする方法。
22. 前記サーバーはメディアハブサーバーコンポーネントを含むことを特徴とする請求項２１に記載の方法。
23. 前記複数のクライアントは各々、ピア・ツー・ピア形式テレビ会議アプリケーションでテレビ会議セッションに参加することを特徴とする請求項２１に記載の方法。
24. 前記サーバーは、前記複数のクライアント各々に会議接続を提供し、会議接続はピアをエミュレートするように構成されていることを特徴とする請求項２３に記載の方法。
25. 前記方法のクライアントのビデオ表示ウィンドウを監視するオペレーションは外部クライアントモニターで実行されることを特徴とする請求項２１に記載の方法。
26. 前記フィードバックは、前記クライアントと関連付けられる参加者のビデオレイアウト構成の選択を含むことを特徴とする請求項２１に記載の方法。
27. 前記フィードバックは、前記クライアントのビデオ表示ウィンドウを監視するように構成された外部クライアントモニターによって提供されることを特徴とする請求項２１に記載の方法。
28. 複数の参加者間のテレビ会議セッションのビデオ及び音声ストリームを参加者がカスタマイズできるようにするためのプログラム命令を有するコンピュータ可読メディアであって、
    複数のクライアントを設けるための命令プログラムを有し、複数のクライアントは各々が一人の参加者と関連付けられ、
    前記複数のクライアントと通信しているサーバーを設けるためのプログラム命令を有し、
    前記サーバーと前記複数のクライアント各々との間に第１通信チャンネル及び第２通信チャンネルを生じさせるためのプログラム命令を有し、第１通信チャンネルは音声／ビデオデータを供給し、第２通信チャンネルはシステム情報を供給するものであり、
    クライアントのビデオ表示ウィンドウを監視するためのプログラム命令を有し、
    第１通信チャンネルで供給されている音声／ビデオデータを修正するために第２通信チャンネルで前記表示ウィンドウの監視に基づくフィードバックを提供するためのプログラム命令を有することを特徴とするコンピュータ可読メディア。
29. 前記サーバーはメディアハブサーバーコンポーネントを含むことを特徴とする請求項２８に記載のコンピュータ可読メディア。
30. 第２通信チャンネルは外部クライアントモニターと前記サーバーのバックチャンネルコントローラとの間にあることを特徴とする請求項２８に記載のコンピュータ可読メディア。
31. 前記外部クライアントモニターは、前記クライアントのビデオ表示ウィンドウを監視するように構成されていることを特徴とする請求項３０に記載のコンピュータ可読メディア。
32. 第２通信チャンネルで専用音声リンクを使用可能にするためのプログラム命令をさらに含み、プライベート音声リンクはテレビ会議セッション中に参加者２名間に定義される、ことを特徴とする請求項２８に記載のコンピュータ可読メディア。
33. 複数のクライアント間に多数参加者会議環境を提供するためにピア・ツー・ピア形式テレビ会議用アプリケーションを利用するように構成されたテレビ会議システムであって、
    クライアントコンポーネントからなり、クライアントコンポーネントは、
    ピア・ツー・ピア形式テレビ会議ソフトウェアを実行するように構成された会議クライアントを含み、会議クライアントは会議チャンネルでビデオ及び音声データを通信し、
    前記会議チャンネルがアクティブかどうか監視すると共に前記会議クライアントによって表示されたビデオウィンドウ内のイベントを監視するように構成されたクライアントモニターを含み、ビデオウィンドウ内のイベントはバックチャンネルで通信され、バックチャンネルは前記会議チャンネルが活動状態になると成立し、
    サーバーコンポーネントからなり、サーバーコンポーネントは前記バックチャンネルで前記クライアントモニターと通信しているバックチャンネルコントローラを有し、サーバーコンポーネントは複数の参加者各々のためにクライアントが構成可能な音声／ビデオストリームを提供することを特徴とするテレビ会議システム。
34. 前記クライアントモニターは、前記会議クライアントによって表示されたビデオウィンドウが一つのコンポーネントとなるグラフィカルユーザインタフェースを定義することを特徴とする請求項３３に記載のテレビ会議システム。
35. 前記グラフィカルユーザインタフェースにより前記会議クライアントのファイルへのアクセスが可能になることを特徴とする請求項３５に記載のテレビ会議システム。
36. 前記複数の参加者各人は前記バックチャンネル接続で前記会議クライアントのファイルを使用できることを特徴とする請求項３５に記載のテレビ会議システム。
37. 前記サーバーコンポーネントは、前記複数の参加者各人からの個々の音声／ビデオ信号に基づいて前記複数の参加者各人の合成オーディオ／ビデオ信号を作成するように構成されたメディアミキサを含むことを特徴とする請求項３３に記載のテレビ会議システム。
38. テレビ会議システムであって、
    クライアントモニターと通信しているクライアントを含むクライアントコンポーネントと、
    サーバーコンポーネントと、
    前記クライアントコンポーネント及び前記サーバーコンポーネント間に定められた会議チャンネルとを備え、会議チャンネルはテレビ会議のために前記クライアントコンポーネントと前記サーバークライアントの会議用エンドポイントとの間で交換されるリアルタイムビデオ／音声データ用の第１経路となるものであり、さらに
    前記クライアントコンポーネント及び前記サーバークライアント間に定められ、前記クライアントモニター及び前記サーバーコンポーネント間で交換されるシステム情報用の第２経路となるバックチャンネルを備えることを特徴とするテレビ会議システム。
39. 前記クライアントはピア・ツー・ピア形式のテレビ会議用アプリケーションを含むことを特徴とする請求項３８に記載のテレビ会議用システム。
40. 前記クライアントモニターは、前記ピア・ツー・ピア形式の会議用アプリケーションと関連付けられる表示ウィンドウ内の活動を検出し、活動を検出するとそれに応答して、前記クライアントモニターは前記バックチャンネルで活動を前記サーバーコンポーネントに報告することを特徴とする請求項３９に記載のテレビ会議システム。
41. 前記活動は、マウスの移動、マウスのクリック、またはキーボード状態情報のうちの一つであることを特徴とする請求項４０に記載のテレビ会議システム。
42. 前記クライアントモニターはユーザインタフェースとなるように構成され、ユーザインタフェースは前記クライアントと関連付けられるピア・ツー・ピア形式のテレビ会議アプリケーションの表示ウィンドウを含むことを特徴とする請求項３８に記載のテレビ会議システム。
43. 前記サーバーコンポーネントは、前記バックチャンネルと関連付けられるバックチャンネルネットワークで前記テレビ会議の非参加者にアクセスできるように構成されていることを特徴とする請求項３８に記載のテレビ会議システム。
44. 前記サーバーコンポーネントは、
    前記クライアントコンポーネントへの合成オーディオ／ビデオデータストリームの配信を可能にするメディアミキサを含み、メディアミキサは２つのクライアント間で専用音声リンクが可能になるようにバックチャンネルネットワークと通信していることを特徴とする請求項３８に記載のテレビ会議システム。
45. 前記システム情報は前記クライアントと関連付けられるビデオ表示ウィンドウの構成を含むことを特徴とする請求項３８に記載のテレビ会議システム。
46. 前記システム情報は前記サーバーコンポーネントのメディアミキサに通信され、前記システム情報を受け取るとそれに応答して、メディアミキサが前記クライアントのビデオデータストリームを修正することを特徴とする請求項４５に記載のテレビ会議システム。
47. カスタマイズ可能な情報を複数の会議クライアントに引き渡すマルチユーザ会議環境となるように構成された会議システムであって、
    クライアントコンポーネントからなり、クライアントコンポーネントは、
    会議クライアントを含み、
    会議クライアントによって表示されるビデオフレーム上で発生する前記会議クライアントの活動を監視するように構成されたクライアントモニターを含み、
    サーバーコンポーネントからなり、前記サーバーコンポーネントは、
    会議接続を提供するメディアハブサーバーコンポーネントを含み、前記メディアハブサーバーコンポーネントは、
    メディアミキサを含み、前記メディアミキサは複数の会議クライアントから前記メディアミキサが受け取る音声及びビデオデータから、会議に供給する音声及びビデオデータをアセンブルするように構成され、前記メディアミキサは、前記複数の会議クライアントの各々の合成ビデオイメージを生成するように構成されたビデオレイアウトプロセッサと、
    前記複数の会議クライアントの各々の音声信号を供給するための音声配信プロセッサとを含み、前記メディアハブサーバーコンポーネントはさらに、
    会議通信を共用できるように複数の参加者の接続を論理ルーム（ｌｏｇｉｃａｌ　ｒｏｏｍｓ）にすることができる接続マネージャーを含み、前記接続マネージャーは、
    前記クライアントモニター及び前記メディアハブサーバーコンポーネント間の通信を可能にするバックチャンネルコントローラと、
    前記ビデオレイアウトプロセッサでアウトバウンドビデオストリームイメージの中にインタフェースデータを挿入するように構成されたイベントハンドラとを含むことを特徴とする会議システム。
48. 前記インタフェースデータにより会議クライアントは前記複数の会議クライアントと共用するローカルファイルをアクセスできるようになり、前記ローカルファイルは前記クライアントコンポーネントに含まれたコンピュータと関連付けられていることを特徴とする請求項４７に記載の会議システム。
49. 前記クライアントコンポーネント及び前記サーバーコンポーネントは、リアルタイムのオーディオ／ビデオデータを運ぶ会議チャンネル及びシステム情報を運ぶバックチャンネルで通信していることを特徴とする請求項４７に記載の会議システム。
50. 前記会議クライアントは、
    前記メディアハブサーバーコンポーネントの会議接続と通信しているピア・ツー・ピア形式のテレビ会議アプリケーションを含むことを特徴とする請求項４７に記載の会議システム。
51. コンピュータモニターにレンダリングされるテレビ会議用グラフィカルユーザインタフェース（ＧＵＩ）であって、
    統合ビデオコンポーネントを定義する第１領域からなり、前記統合ビデオコンポーネントはクライアントと関連付けられ、前記統合ビデオコンポーネントは複数の参加者のビデオイメージを有し、前記統合ビデオコンポーネントは統合ビデオコンポーネントの表示ウィンドウ内でのユーザの活動を検出するために監視されており、
    コンピュータシステムのファイルへのアクセスを可能にする第２領域からなり、前記第２領域によりユーザはテレビ会議をサポートしているサーバーに送るためにファイルの中から一つを選択することができ、サーバーは選択されたファイルの一つをテレビ会議の参加者に通信することを特徴とするＧＵＩ。
52. 前記ユーザ活動は、マウスの移動、マウスのクリック、またはキーボード状態情報のうちの一つであることを特徴とする請求項５１に記載のＧＵＩ。
53. 前記第１領域は、ピア・ツー・ピア形式のテレビ会議アプリケーションと関連付けられることを特徴とする請求項５１に記載のＧＵＩ。
54. 前記第２領域は、周辺機器が参加者が見ることのできる会議内容を増補できるようにすることを特徴とする請求項５１に記載のＧＵＩ。
55. 前記周辺機器は、スキャナー及びビデオプロジェクタのうちの一つであることを特徴とする請求項５４に記載のＧＵＩ。
56. 前記統合ビデオコンポーネントは前記サーバーとの第１通信リンクで提供され、前記第２領域で捕捉された情報は第２通信リンクで前記サーバーに提供されることを特徴とする請求項５１に記載のＧＵＩ。
57. 前記第１通信リンクは会議チャンネルで、前記第２通信リンクはバックチャンネルであることを特徴とする請求項５６に記載のＧＵＩ。
58. 多数の参加者が参加できるマルチユーザ会議環境を実現するための方法であって、
    参加者と関連付けられる会議クライアントとの間の会議チャンネル接続を可能にするためのサーバーコンポーネントを成立させ、
    前記参加者から前記サーバーコンポーネントに前記会議チャンネル接続で音声及びビデオデータを供給し、
    前記多数のクライアントの各々のシステム選択をバックチャンネル接続で前記サーバーコンポーネントに通信し、
    組み合わされた音声及びビデオデータを前記会議チャンネル接続で前記参加者に配信し、組み合わされた音声及びビデオデータはシステム選好によって定められる通りに表示され、
    前記参加者の前記会議クライアントに表示されたビデオイメージとの対話を監視し、
    前記対話を示す信号を前記バックチャンネル接続で前記サーバーコンポーネントに送り、
    前記対話を示す信号に応答して、前記会議チャンネル接続で前記会議クライアントに配信された前記組み合わせられた音声及びビデオデータを修正することからなることを特徴とする方法。
59. 前記会議チャンネル接続は、Ｈ．３２３プロトコル及びセッション開始プロトコル（ＳＩＰ）をサポートすることを特徴とする請求項５８に記載の方法。
60. 前記システム選択は、多数のクライアント各々のビデオレイアウト内のイメージの位置と、ビデオレイアウトの明るさ、及びビデオレイアウトに表示される参加者と関連付けられる音量レベルのうちの一つを含むことを特徴とする請求項５８に記載の方法。
61. 前記対話は、マウスの動き及び／又はキーボード信号のうちの一つと関連付けられることを特徴とする請求項５８に記載の方法。
62. ピア・ツー・ピア形式会議アプリケーションを有する会議クライアント間にマルチユーザ会議環境を作るための方法であって、
    前記会議クライアント各々のピア・ツー・ピア接続をエミュレートするように構成されたサーバーコンポーネントを設け、
    会議クライアントと前記サーバーコンポーネントの間で通信するための会議チャンネルを定め、
    前記会議クライアントの中の一つと関連付けられるビデオディスプレイの有効領域でのユーザ活動を監視し、
    前記有効領域でのユーザの能動的選択を前記サーバーコンポーネントに報告し、前記報告は会議チャンネル外で生じ、
    前記サーバーコンポーネントが前記能動的選択の報告を受信するとそれに応答して、前記会議クライアントに供給された音声／ビデオ信号の構成を修正することからなることを特徴とする方法。
63. 前記サーバーコンポーネントはメディアハブサーバーであることを特徴とする請求項６２に記載の方法。
64. 前記会議チャンネルは、前記会議クライアント及び前記サーバーコンポーネント間でリアルタイムの音声及びビデオデータを通信するように構成されていることを特徴とする請求項６２に記載の方法。
65. 前記方法のユーザによる能動的選択を報告するオペレーションはバックチャンネルで発生することを特徴とする請求項６２に記載の方法。
66. 前記バックチャンネルは、会議クライアントの中の一つのビデオ表示ウィンドウでの活動を追うように構成されたクライアントモニターと前記サーバーコンポーネントのバックチャンネルコントローラとの間の通信リンクを定めることを特徴とする請求項６５に記載の方法。
67. ピア・ツー・ピア形式の会議アプリケーションを有する会議クライアントと、参加者各人のピア・ツー・ピア接続をエミュレートするように構成されたサーバーコンポーネントとの間に、マルチユーザ会議環境を作るためのプログラム命令を有するコンピュータ可読メディアであって、
    会議クライアントと前記サーバーコンポーネントとの間の通信用会議チャンネルを定めるためのプログラム命令と、
    前記会議クライアントのうちの一つを有するユーザの活動を監視するためのプログラム命令と、
    監視された活動をバックチャンネル接続で前記サーバーコンポーネントに報告するためのプログラム命令と、
    前記活動報告を前記サーバーコンポーネントが受け取るとそれに応答して、前記会議クライアントに供給されたビデオ及び音声信号を修正するためのプログラム命令とを有することを特徴とするコンピュータ可読メディア。
68. 前記サーバーコンポーネントはメディアハブサーバーであることを特徴とする請求項６７に記載の方法。
69. 前記バックチャンネル接続により、前記会議クライアントのうちの一つのビデオ表示ウィンドウ内の活動を追うように構成されたクライアントモニターと前記サーバーコンポーネントのバックチャンネルコントローラとの間に、通信リンクが定められることを特徴とする請求項６７に記載の方法。
70. テレビ会議セッション時に２人の参加者間の専用音声リンクを使用可能にするためのプログラム命令を用意すること、
    をさらに含むことを特徴とする請求項６７に記載の方法。

Images