JP2021521741A - 複数のビデオ会議用端末を用いてビデオ会議を提供することが可能なビデオ会議サーバ及びそのオーディオエコー除去方法 - Google Patents

Abstract

複数のビデオ会議用端末を用いてマルチスクリーンビデオ会議を提供することが可能なビデオ会議サーバ及びその方法が開示される。本発明のビデオ会議サーバは、一つ又は二つのディスプレイを備えた従来の複数のビデオ会議端末（物理端末）を論理的にグループ化して、まるで一つのビデオ会議ポイントとして動作する「論理端末」かの如く動作するように実現することができる。ビデオ会議サーバは、論理端末を構成する複数の物理端末に提供する映像の分配を介して、論理端末がマルチスクリーンをサポートするかのように処理することができ、論理端末におけるエコー除去機能を提供する。【選択図】図２

Description

本発明は、マルチポイントビデオ会議システムに関し、特に、従来のテレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）装備なしでも複数のビデオ会議用端末を用いてマルチポイントビデオ会議のための複数の映像を表示することができるマルチスクリーンビデオ会議を提供することが可能なビデオ会議サーバ及びそのオーディオエコー除去方法に関する。

ビデオ会議システムは、通常、Ｈ．３２３やＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などの標準プロトコルを用いる標準基盤ビデオ会議端末（又はシステム）と、独自のプロトコルを用いる非標準ビデオ会議端末に分ける。
シスコ（ＣＩＳＣＯ）、ポリコム（ＰＯＬＹＣＯＭ）、アバイア（ＡＶＡＹＡ）、ライフサイズ（ＬＩＦＥＳＩＺＥ）などのメジャービデオ会議装備会社は、上述した標準プロトコルを用いたビデオ会議ソリューションを提供しているが、標準技術だけを利用して製品を作る場合、さまざまな機能を実現し難いため、非標準ビデオ会議システムを提供する会社も多い。

＜標準端末基盤のマルチビデオ会議のためのＭＣＵ＞
ビデオ会議システムは、２つのビデオ会議端末（二つのポイント）が接続される１：１ビデオ会議があり、複数のビデオ会議端末（複数のポイント）が同時に接続されるマルチポイントビデオ会議がある。ビデオ会議に参加したすべてのビデオ会議端末は、個別的に一つのビデオ会議ポイント（Ｐｏｉｎｔ）となり、ポイントごとに少なくとも１人の会議参加者が配席するのが一般的である。
標準ビデオ会議端末は、相手と１つのセッションを接続して通常一つの映像と音声のみを処理するので、基本的に１：１ビデオ会議に適用され、付加的に標準端末においてもＨ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ Ｆｌｏｏｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を利用すれば、文書会議のための補助映像をもう一つ処理することができる。したがって、標準ビデオ会議システムにおいて、１：１ではなく、３つ以上のポイントが接続されたマルチビデオ会議を行うためには、ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｉｎｇ Ｕｎｉｔ）と呼ばれる装置が必要である。ＭＣＵは、３つ以上のポイントから提供される映像をミキシング（Ｍｉｘｉｎｇ）して各ポイントのための映像を１つずつ作って標準端末に提供することにより、標準プロトコルの制約を解消する。
ビデオ会議に結合されたすべてのビデオ会議端末は、自分が生成した映像と音声データを圧縮して相手に送信するので、映像をミキシングするためには、デコーディング（Ｄｅｃｏｄｉｎｇ）、予め設定されたレイアウトに合わせて複数の映像をレンダリング（Ｒｅｎｄｅｒｉｎｇ）して新しい映像を作るミキシング、及びエンコーディング（Ｅｎｃｏｄｉｎｇ）を行う過程をさらに経なければならない。したがって、ミキシングは、相対的に多くの費用がかかる作業であるが、核心的な装備で使用されており、ＭＣＵ機能を備えたサーバは、一般に高価で流通している。
映像をミキシングすれば、端末では、一つの映像を処理するので、技術的に１：１で会議するときと差異がないが、ＭＣＵが提供する映像には、複数のポイントから提供される映像がＰＢＰ（Ｐｉｃｔｕｒｅ ｂｙ Ｐｉｃｔｕｒｅ）、ＰＩＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）などの形で結合されている。しかも、端末側で必要な帯域幅も１：１の場合と比較したとき、事実上差異がない。

＜非標準ビデオ会議システムにおけるマルチビデオ会議＞
非標準ビデオ会議システムでは、標準的なＭＣＵを使用せずに映像を処理し、標準映像端末との接続が必要であれば、別途のゲートウェイ（Ｇａｔｅｗａｙ）を用いる。複数のポイントの端末は、一つのサーバにログインし、特定の会議ルームに参加する手続きを経る。一部の非標準製品は、サーバが存在せず、Ｐ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で処理する場合もある。
非標準ビデオ会議システムにおいて、ＭＣＵ又はＭＣＵ機能を行う装置を使用しない理由は、ＭＣＵ機能を実現するために高価の高性能サーバが必要とされるからである。映像ミキシングを行う代わりに、各端末は、自分が生成した映像を他の参加者（他のポイントの端末）に単純にリレー（Ｒｅｌａｙ）する方法を多く使用する。リレー方式は、ミキシングよりもサーバのシステムリソースを少なく使用するという利点があるが、映像リレーに必要なネットワーク帯域幅は指数関数的に増えるという欠点がある。
例えば、５人が同じ会議ルームに参加しており、他の参加者の画面を全部一挙に見ているという仮定の下に計算を行うと、本人の映像をサーバに伝送し、他の４人の映像を受け取らなければならないので、２５倍（５×５）の帯域幅が必要である。もし１０個のビデオ会議端末が参加している場合であれば、１００倍（１０×１０）の帯域幅が必要である。ビデオ会議参加者が多くなると、必要な帯域幅が指数関数的に増加する。

＜文書ビデオ会議のためのトークンの取得＞
従来の一般的なビデオ会議端末は、メイン映像画面と文書映像画面を同時に２つのディスプレイ装置にそれぞれ出力することができるが、低価のビデオ会議装備の中には、単一ディスプレイ出力のみをサポートする場合が多い。単一ディスプレイのみサポートされるビデオ会議端末は、文書ビデオ会議のためのＨ．２３９又はＢＦＣＰをサポートすることもあり、サポートしないこともある。
単一ディスプレイがＨ．２３９又はＢＦＣＰプロトコルによる文書映像を表示するときには、通常、画面を分割して表示し、端末自体が２つの映像を様々な形態で表示するための複数のレイアウトを提供したりもする。また、端末において、メイン映像又は文書映像のうちのいずれか一つを選択して拡大する機能も殆どサポートする。
前述したように、ビデオ会議端末は、一つの映像を送出することができるが、Ｈ．２３９又はＢＦＣＰ技術を利用すれば、文書映像をさらに送出することができる。文書映像を送出するために、発表者は、発表者トークン（Ｔｏｋｅｎ）を取得しなければならないが、ビデオ会議に参加した端末のうち、只１つの端末（すなわち、一つのポイント）のみがトークンを持つことができる。そのため、参加者のメイン映像と文書映像を同時にサーバに送出することができるものは、発表者トークンを取得した端末だけである。

＜テレプレゼンス＞
一方、ＣＩＳＣＯやＰＯＬＹＣＯＭなどのメジャー企業では、テレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）技術の超高価のビデオ会議装備を供給するが、この装備は、３つ又は４つのディスプレイ出力をサポートするだけではなく、そのサポートされる出力ディスプレイの数だけの映像を発表者トークンなしで送出することができる。関連業界では、ビデオ会議のためのマルチ映像送出機能は、テレプレゼンス装備のみの固有な機能として認識されている。
テレプレゼンス装備は、一般なビデオ会議端末と連動せず、別途提供される高価のゲートウェイ装備があってこそ相互連動が可能である。そのように連動しても、一般ビデオ会議装備同士が通話する場合に比べて映像画質が非常に劣る。このような理由により、３つのディスプレイ出力を持つビデオ会議端末は、相対的にほぼ普及しておらず、標準技術という制約により拡張性に制限がかかっている状態である。

＜ビデオ会議システムのオーディオ装置＞
ビデオ会議システムでは、会議テーブル上に指定された席ごとに参加者のためのマイクを設置し、簡単な発言用ボタンを設置する。参加者は、自分の席にある発言用ボタンを押して発言する。マイクは、ガチョウの首のように曲がった形状のいわゆる「グースネック（Ｇｏｏｓｅｎｅｃｋ）マイク」が通常使用され、グースネックマイクに発言用ボタンが一体化されている場合が殆どである。
ほとんどのビデオ会議用端末は、エコー除去機能を持っている。例えば、Ａ端末とＢ端末とがビデオ通話をすると仮定する場合、Ａ端末は、発言者の音声の入力をマイクを介して受け、ビデオ通話の相手であるＢ端末に伝達するが、Ａ端末のスピーカーへ出力しない。これに対し、Ｂ端末から伝達されるオーディオ信号は、Ａ端末のスピーカーを介して出力されることにより会議が行われる。
Ｂ端末から伝達されるオーディオ信号がＡ端末のスピーカーを介して出力されると、そのオーディオ信号が再びＡ端末のマイクを介して入力されながらエコーが発生するのである。しかし、エコー除去機能を持つＡ端末は、マイクを介して入力される信号から、Ｂ端末から伝達されるオーディオ信号と波形が同じものを除去することにより、エコーを除去する。
Ａ端末は、マイクを介して入力されたオーディオ信号をスピーカーへ直接出力しないため、Ａ端末がエコー信号を除去しなくても、直ちにＡ端末のスピーカーへ出力されない。エコー信号は、Ｂ端末に伝達されながら、Ｂ側はＡ端末が提供したオーディオ信号であるため、そのまま出力しながらエコーを作る。また、そのエコー信号は、同じ過程でさらにＡ端末へ伝達されるが、Ａ端末は、Ｂ端末から提供されたオーディオ信号であるため、エコー信号をスピーカーへ出力する。このような過程が連続的に繰り返し行われることにより大きなノイズになるのである。
エコー除去方法は、入力された音声信号から、出力オーディオ信号と一致する波形を除去する方法である。通常、オーディオが出力装置から再生されて再びマイクに入力されて処理されるまで、通常数十乃至数百ミリ秒（ｍｓ）の遅延時間が発生する。遅延時間は、装置ごとに異なるので、入力されたオーディオ信号からエコー除去機能によって除去するオーディオ信号を検出することが容易ではない。再びマイクに入力されるときの信号強度が出力信号の強度と異なる部分も、音声波形の除去を難しくする。当然、ノイズが多い或いは音響が響く空間では、エコー除去がさらに難しい。よって、エコー除去はビデオ会議分野において複雑で難しい技術である。

韓国公開特許第１０−２０１６−００６２７８７号（ビデオ会議のために複数のビデオフィードをミキシング処理する方法、これを用いたビデオ会議端末装置、ビデオ会議サーバ及びビデオ会議システム）

本発明の目的は、論理端末体系を用いたビデオ会議サービスを提供するビデオ会議サーバの論理端末のためのオーディオ処理方法を提供することにある。
本発明の他の目的は、論理端末サービスにおけるオーディオエコー除去方法を提供することにある。
本発明の別の目的は、マルチポイントのビデオ会議サービスを提供し、複数のビデオ会議用端末を一つのビデオ会議ポイントとして処理する論理端末サービスを提供することができるビデオ会議サーバを提供することにある。

上記目的を達成するための本発明に係るビデオ会議サーバのビデオ会議サービス提供方法は、登録ステップ、呼接続ステップ、ソースオーディオ受信ステップ、オーディオ処理ステップ及びオーディオ出力ステップを含むことにより、論理端末が一つの仮想のビデオ会議ポイントとして動作するようにサービスする。
登録ステップは、複数の物理端末を一つの論理端末として登録して、前記複数の物理端末が一つのビデオ会議ポイント（Ｐｏｉｎｔ）かの如く動作するように登録し、前記複数の物理端末のうちのいずれか一つを出力担当−物理端末として登録する。呼接続ステップは、複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理端末に対しては、前記論理端末を構成する複数の物理端末と個別に接続する。ソースオーディオ受信ステップは、前記複数のビデオ会議ポイントが提供するソースオーディオ信号を受信し、前記論理端末に対しては、前記複数の物理端末のそれぞれから前記ソースオーディオ信号を受信する。オーディオ処理ステップは、前記ソースオーディオ受信ステップで受信した全体ソースオーディオのうち、他のビデオ会議ポイントから提供したオーディオ信号を、前記論理端末に提供する出力用オーディオ信号にミキシングする。オーディオ出力ステップは、前記論理端末に属する複数の物理端末のうちの前記出力担当−物理端末に前記出力用オーディオ信号を伝送する。
実施形態によって、本発明のビデオ会議サービス提供方法は、前記論理端末から受信されたソースオーディオ信号のうち、前記出力担当−物理端末ではない物理端末が提供したソースオーディオ信号に対して、前記出力用オーディオ信号を用いてエコーを除去するステップをさらに含んでもよい。
エコー除去の他の実施形態によれば、前記オーディオ出力ステップは、前記論理端末に属する複数の物理端末のうち、前記出力担当−物理端末ではない物理端末に前記出力用オーディオ信号を伝送し、前記出力用オーディオ信号をエコー除去用として伝送することにより、前記出力担当−物理端末ではない物理端末が前記出力用オーディオ信号をスピーカーへ出力しないようにしながら、エコー除去の基準オーディオ信号として使用するようにしてもよい。
一方、前記オーディオ処理ステップは、前記他のビデオ会議ポイントが、複数の物理端末を含む第２論理端末である場合、前記第２論理端末に属する複数の物理端末が提供したオーディオ信号の中から選択された一つのオーディオ信号を、前記第１論理端末に提供する出力用オーディオ信号にミキシングしてもよい。
一方、本発明のビデオ会議サービス方法は、前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記論理端末に対しては前記複数の物理端末のそれぞれから前記ソース映像を受信するソース映像受信ステップと、前記ソース映像受信ステップで受信した全体ソース映像のうち、他のビデオ会議ポイントから提供した映像を前記論理端末の複数の物理端末に分配することにより、前記論理端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供ステップと、を含んでもよい。
本発明は、ビデオ会議サービスを提供することができるビデオ会議サーバにも及ぶ。本発明のサーバは、端末登録部、通話接続部及びオーディオ処理部を含む。
端末登録部は、複数の物理端末を、一つのビデオ会議ポイント（Ｐｏｉｎｔ）かのように動作する一つの論理端末として登録し、前記複数の物理端末のうちのいずれか一つを出力担当−物理端末として登録する。通話接続部は、前記論理端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記論理端末に対しては前記論理端末を構成する複数の物理端末と個別的に接続し、前記複数のビデオ会議ポイントからソースオーディオ信号を受信し、前記論理端末に対しては前記複数の物理端末のそれぞれからソースオーディオ信号を受信する。オーディオ処理部は、前記受信した全体ソースオーディオのうち、他のビデオ会議ポイントから提供したオーディオ信号を前記論理端末に提供する出力用オーディオ信号にミキシングし、前記論理端末に属する複数の物理端末のうち、前記出力担当−物理端末に前記出力用オーディオ信号を伝送する。
本発明のビデオ会議サーバは、前記論理端末から受信されたソースオーディオ信号のうち、前記出力担当−物理端末ではない物理端末が提供したソースオーディオ信号に対して前記出力用オーディオ信号を用いてエコーを除去するエコー処理部をさらに含んでもよい。

本発明のビデオ会議サーバは、限られた個数（通常、一つ又は二つ）のディスプレイを備えた複数のビデオ会議端末（物理端末）を論理的にグループ化して、まるで一つのビデオ会議ポイントとして動作する論理端末かの如く動作するように実現することができる。ビデオ会議サーバは、論理端末を構成する複数の物理端末に提供する映像の分配を介して、論理端末がマルチスクリーンをサポートするかのように処理することができる。
マルチポイントビデオ会議において、ビデオ会議サーバは、論理端末が備えたスクリーン、すなわちディスプレイ装置の個数に合わせて他のビデオ会議ポイントの映像を分配するので、論理端末に含まれている物理端末の立場では、従来に比べて表示しなければならない他のビデオ会議ポイントの数が減少した効果がある。よって、１つのスクリーンに表示される映像の複雑度も低くなる。映像の複雑度が低くなるので、たとえ性能の劣る物理端末又は速度の低いネットワークにおける映像品質が改善されるという効果がある。
本発明の論理端末は、単にビデオ会議サーバの内部処理を介して実現されるものであり、物理端末の間に直接的な接続がないため、たとえ映像コーデックが互いに異なるか、システムのパフォーマンスが互いに異なるか、又はメーカーが互いに異なる物理端末であっても、一つの論理端末にグループ化して処理するのに問題がない。当然、論理端末を介してマルチスクリーンを提供するので、マルチスクリーンのサポートのために個別ビデオ会議端末のシステムリソースをアップグレードする必要もない。
本発明によれば、複数の物理端末で実現された論理ビデオ会議端末に対して、まるで一つのビデオ会議用端末かのようにオーディオが提供されるようにオーディオ信号を提供することができる。したがって、論理端末に属する複数の物理端末が個別にスピーカーを備えても、特定の出力担当−物理端末のみオーディオ信号を出力することにより、論理端末が一つのビデオ会議ポイントかの如く動作するようにする。
また、本発明によれば、複数の物理端末に対してまるで一つの論理端末かの如くオーディオ信号を処理する過程で、出力担当−物理端末ではない理由により、オーディオ信号を出力しない物理端末を介して入力される音声信号に含まれ得るエコーを除去することができる。

本発明の一実施形態に係るビデオ会議システムの構成図である。 図１の３つのポイントがすべて参加するマルチビデオ会議の接続図である。 本発明のビデオ会議サーバのマルチスクリーンビデオ会議サービス提供方法を示す図である。 図１のビデオ会議システムにおけるオーディオ信号処理を示す図である。 本発明のオーディオ処理方法の説明に提供されるフローチャートである。 論理端末におけるエコー除去方法の説明に提供されるフローチャートである。

以下、図面を参照して、本発明をさらに詳細に説明する。
図１を参照する。本発明のビデオ会議システム１００は、サーバ１１０と複数のビデオ会議端末とがネットワーク３０を介して接続されたものであって、２つの接続ポイント（Ｐｏｉｎｔ）が接続された１：１のビデオ会議だけでなく、３つ以上のポイントが接続されたマルチビデオ会議をサポートする。図１に示されているビデオ会議端末１１、１３、１５、１７、１９は、接続可能なビデオ会議端末を例示的に示したものである。
サーバ１１０とビデオ会議端末１１、１３、１５、１７、１９間の接続ネットワーク３０は、ＩＰ網（ＩＰ Ｎｅｔｗｏｒｋ）であり、ゲートウェイ（Ｇａｔｅｗａｙ）を介して接続される異種ネットワークを含むか、或いは異種ネットワークに接続できる。例えば、移動通信網を利用する無線電話も本発明のビデオ会議用端末になることがある。この場合、ネットワーク３０は、ゲートウェイ（Ｇａｔｅｗａｙ）を介して接続されてＩＰパケットを処理することができる移動通信網を含む。
サーバ１１０は、本発明のビデオ会議システム１００を全体的に制御し、従来の一般なビデオ会議処理用サーバ機能に加えて、端末登録部１１１、通話接続部１１３、映像処理部１１５、オーディオ処理部１１７及びエコー処理部１１９を含む。
端末登録部１１１は、以下で説明する物理端末と論理端末の登録、設定及び管理などを行い、通話接続部１１３は、本発明のビデオ会議の呼（Ｃａｌｌ）接続を制御する。映像処理部１１５は、ビデオ会議の呼が接続された場合に、物理端末及び／又は論理端末の間で提供する映像を処理（ミキシング、デコーディング、エンコーディングなど）することにより、テレプレゼンスなどのマルチスクリーン（Ｍｕｌｔｉ Ｓｃｒｅｅｎ）を実現する。
本発明における特徴的なオーディオ処理部１１７は、論理端末におけるオーディオ処理を制御し、エコー処理部１１９は、論理端末から伝送されるオーディオ信号に対してエコーを除去する。
端末登録部１１１、通話接続部１１３、映像処理部１１５、オーディオ処理部１１７及びエコー処理部１１９の動作については、以下で再度説明する。

論理端末
ビデオ会議システム１００に含まれているすべてのビデオ会議端末１１、１３、１５、１７、１９は、ビデオ会議に関する標準プロトコルをサポートし、背景技術で説明したテレプレゼンスサービスを提供することができる端末ではなく、一つのディスプレイ装置が接続されるか、或いは文書会議のため２つのディスプレイ装置が接続され得るビデオ会議端末である。標準プロトコルとしては、Ｈ．３２３又はＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などがある。当然、各ビデオ会議端末１１、１３、１５、１７、１９のうち、文書会議をサポートする端末は、Ｈ．２３９とＢＦＣＰ（Ｂｉｎａｒｙ Ｆｌｏｏｒ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）をサポートする。
例えば、サーバ１１０とビデオ会議端末１１、１３、１５、１７、１９との間にＳＩＰプロトコルによるＳＩＰセッションが生成されるとした場合、以下で説明する映像信号又はオーディオ信号は、ＲＴＰパケットの形で伝送される。
また、各ビデオ会議端末１１、１３、１５、１７、１９は、映像／音声コーデック（Ｃｏｄｅｃ）を備え、個別的に発言者の音声をオーディオ信号に変換するマイク１１−１、１３−１、１５−１、１７−１、１９−１とオーディオ出力のためのスピーカー１１−２、１３−２、１５−２、１７−２、１９−２を備えた従来のビデオ会議端末である。
本発明のビデオ会議システムに接続されるビデオ会議端末は、「論理端末」を構成することができる。論理端末は、複数のビデオ会議端末を、まるで一つのビデオ会議端末であるかの如く論理的に組み合わせたものである。論理端末は、２つ以上のビデオ会議端末で構成することができるが、論理端末を構成する複数のビデオ会議端末間の直接接続はない。言い換えれば、論理端末を構成するために、論理端末を構成する複数のビデオ会議端末間の直接接続は必要ない。
以下では、論理端末と従来の一般なビデオ会議端末を区分するために、従来の一般なビデオ会議端末を「物理端末」と称する。言い換えれば、論理端末は、複数のビデオ会議用物理端末が単に論理的に結合されたものである。
従来のビデオ会議端末は、それぞれが一つのビデオ会議ポイントとして動作し、本発明の論理端末に属する複数のビデオ会議端末は、全体として一つの端末かのように動作するので、全体として一つのビデオ会議ポイントとして動作する。他の側面では、論理端末は、そのメンバーである複数の物理端末が個別に保有しているディスプレイ装置をすべて合わせた個数だけのディスプレイ装置を備えた一つのビデオ会議ポイトになる。必要に応じて、論理端末は、その複数の構成端末のうちのいずれか一つを代表端末として指定することができる。論理端末がいくら多くの物理端末を含めても、ビデオ会議内では、一つのビデオ会議ポイントとして扱われる。
例えば、図１は第１ポイントＡ、第２ポイントＢ及び第３ポイントＣが相互接続されたマルチビデオ会議システム１００である。第１ポイントＡには第１論理端末１３０が配置され、第２ポイントＢには第２論理端末１５０が配置され、第３ポイントＣには第５物理端末１９が配置されることにより、図１のシステム１００は、２つの論理端末１３０、１５０と１つの物理端末１９とがサーバ１１０によって接続された状態である。第１論理端末１３０は、それぞれ１つのディスプレイ装置を有する第１及び第２物理端末１１、１３で構成されており、第２論理端末１５０は、２つのディスプレイ装置を有する第３物理端末１５と、１つのディスプレイ装置を有する第４物理端末１７で構成されている。
論理端末は、サーバ１１０によって管理される論理構成であり、サーバ１１０と端末間の標準プロトコルは、１：１の接続のみをサポートするので、サーバ１１０と論理端末との接続は、論理端末を構成する複数の物理端末のそれぞれがサーバ１１０と標準プロトコルに基づいて個別に接続されることを意味する。例えば、ＳＩＰプロトコルによれば、図１は論理端末の構成を問わず、５つの物理端末１１、１３、１５、１７、１９のそれぞれがサーバ１１０とＳＩＰセッション（Ｓｅｓｓｉｏｎ）を生成して合計５つのセッションが生成されたものである。

本発明によれば、ビデオ会議システムのサーバ１１０は次の接続をサポートする。
（１）一つの物理端末が一つの論理端末に接続されるビデオ会議
例えば、図１の第５物理端末１９が第１論理端末１３０を呼び出す場合である。サーバ１１０は、第１論理端末１３０を構成する第１及び第２物理端末１１、１３を同時又は順次に呼び出して接続する。
（２）論理単一端末が一つの物理端末を呼び出すビデオ会議
例えば、ユーザが、第１論理端末１３０のうちの代表端末である第１物理端末１１を用いて第５物理端末１９を呼び出す場合である。サーバ１１０は、第１論理端末１３０を構成する他の物理端末である第２物理端末１３と、受信側である第５物理端末１９を同時又は順次に呼び出して接続する。
（３）一つの論理端末が他の論理端末を呼び出すビデオ通話
例えば、図１の第１論理端末１３０が第２論理端末１５０を呼び出す場合である。ユーザが第１論理端末１３０の代表端末である第１物理端末１１を用いて第２論理端末１５０を呼び出す場合、サーバ１１０は、第２論理端末１５０を構成する２つの物理端末１５、１７を同時又は順次に呼び出し、発信側の代表端末以外の残りの端末である第２物理端末１３も呼び出して接続する。
（４）マルチポイントビデオ会議
本発明のビデオ会議システムは、図１に示すように、論理端末が一つのポイントに接続された３つのポイント以上の接続をサポートする。１つの論理端末と２つの物理端末とが接続されることもあり、２つ以上の論理端末と１つの物理端末とが接続されることもあり、２つ以上の論理端末同士が接続されることもある。マルチポイントの接続は、従来の公知の方法で処理することができる。ただし、新たに参加するポイントが論理端末であれば、そのメンバーである物理端末の全てと接続しなければならないということが異なる。

＜マルチスクリーンサポート＞
本発明のビデオ会議システム１００は、論理端末体系を用いてテレプレゼンスなどのマルチスクリーンを提供することができる。論理端末は、たとえ仮想の端末であるが、メンバーである複数の物理端末全体が提供することが可能なスクリーンの数だけを備えたものとして処理される。
サーバ１１０は、各論理端末に含まれているディスプレイ装置の個数（ｍ１、又はサーバが各論理端末に提供しなければならない映像の個数）と、ビデオ会議接続されたポイントに含まれている全体物理端末の個数（Ｍ、ソース映像の個数）とをマッチングする方法によってマルチビデオ会議映像を再構成することにより、論理端末に対してｍ３個の映像をｍ１個の映像に再編集して提供する。ここで、ｍ３は、論理端末がビデオ会議のために表示しなければならないソース映像の個数であって、次の数式１で表される。
［数式１］ｍ３＝Ｍ−ｍ２
このとき、ｍ２は各論理端末を構成する物理端末の個数である。
一方、各物理端末は、自分の映像（ソース映像）が表示されるように設定するか或いは要求することができる。この場合、各論理端末に対してｍ３個の映像をｍ１個の映像に再編集して、論理端末を構成する各物理端末に分配するとき、当該物理端末が提供したソース映像を一緒にミキシングして提供することができる。
ｍ３がｍ１と同じ値ではない限り、サーバ１１０は、ソース映像をミキシングする再処理が必要である。ただし、実施形態によって、論理端末に対してｍ３個の映像をｍ１個の映像に再編集せずに、ｍ３個の映像を一定の時間間隔で順次提供することができる。例えば、ｍ３＝３及びｍ１＝１の場合に、３つのソース映像をミキシングなどを介して再編集せずに３つのソース映像を順次提供することもできる。このような場合、従来の標準ビデオ会議端末では、不可能であったリレー方式のビデオ会議処理も可能となる。
一方、論理端末の構成か否かを問わず、本発明のビデオ会議に参加したいずれの物理端末であっても、発表者トークンを取得すると、２つのソース映像を提供することができる。例えば、発表者トークンの取得によって、第１物理端末１１は、メイン映像と一緒に文書会議用映像を一緒にサーバ１１０に提供することができる。この場合、Ｍは、ビデオ会議接続されたポイントに含まれている全体物理端末の個数に１を加えた値となる。
図２は図１の３つのポイントがすべて参加するマルチビデオ会議接続図であって、第１論理端末１３０、第２論理端末１５０及び第５物理端末１９が相互接続されて３つのポイントのマルチビデオ会議が接続されたと仮定する。図２を参照する。このビデオ会議に含まれている物理端末１１、１３、１５、１７、１９の個数は５つ（Ｍ＝５）である。つまり、５つの物理端末１１、１３、１５、１７、１９が提供する５つのソース映像１１ａ、１３ａ、１５ａ、１７ａ、１９ａがサーバ１１０へ提供されるので、サーバ１１０は、各ポイントが備えたディスプレイ装置の個数ｍ１に合わせて５つのソース映像を編集して各ポイントに提供する。
第１論理端末１３０は、第１物理端末１１と第２物理端末１３とを合わせて２つのディスプレイ装置を備えるので、ｍ１＝２、ｍ２＝２である。今回の３ポイントマルチビデオ会議で第１論理端末１３０にビデオ会議接続された端末は、物理端末を基準に３つ（ｍ３、３＝５−２）の第３乃至第５物理端末１５、１７、１９であるので、３つの物理端末が提供する３つのソース映像を２つの映像に再編集して表示しなければならない。どのスクリーンにどのソース映像を表示するかは別個に決定することができる。図２では、第１物理端末１１が第５物理端末１９のソース映像を表示し、第２物理端末１３が、第３物理端末１５と第４物理端末１７のソース映像とを一つにミキシングした映像を表示する。
第２論理端末１５０は、第３物理端末１５が２つのディスプレイ装置を備え、第４物理端末１７が一つのディスプレイ装置を備えて３つのディスプレイ装置を含むので、ｍ１＝３、ｍ２＝２である。したがって、第２論理端末１５０に対して、サーバ１１０は、３つの物理端末が提供するソース映像を３つの映像で表示する。表示すべきソース映像の個数とスクリーンの個数とが一致するので、１つずつ再度表示すればよい。どのスクリーンにどのソース映像を表示するかは別個に決定することができる。図２では、第３物理端末１５が第１及び第２物理端末１１、１３のソース映像をそれぞれ表示し、第４物理端末１７は第５物理端末１９が提供するソース映像を表示するように構成される。
第５物理端末１９にも数式１が同一に適用される。第５物理端末１９においてｍ１＝２、ｍ２＝１なので、サーバ１１０は、４つのソース映像（ｍ３＝５−１）を２個（ｍ１）の映像に再編集して第５物理端末１９に提供する。第５物理端末１９は、２つのディスプレイ装置に、第１論理端末１３０と第２論理端末１５０の全体４つの物理端末１１、１３、１５、１７が提供するソース映像を表示しなければならないので、４つのソース映像を適切に編集して２つの映像として表示するように構成される。
もし、第２論理端末１５０を構成する第３物理端末１５が発表者トークンを取得した場合、２つのソース映像を提供することができる。この場合、第２論理端末１５０は、全体３つのソース映像を提供するものとなり、Ｍは６となる。サーバ１１０が第１論理端末１３０、第２論理端末１５０及び第５物理端末１９に伝送するために処理しなければならないソース映像の個数も、上述したものより一つずつ多くなる。

論理端末に対するビデオ会議サービス（映像処理）
以下では、図３を参照して、サーバ１１０のマルチスクリーンビデオ会議サービス提供方法を説明する。説明の便利のために、図２において、第１論理端末１３０の第１物理端末１１を発信側とし、第２論理端末１５０を受信側として通話接続する過程を中心に説明する。まず、論理端末を登録する過程が必要である。

＜論理端末の登録ステップ：Ｓ３０１＞
サーバ１１０の端末登録部１１１は、物理端末と論理端末の登録を進行し、管理する。物理端末の登録は、論理端末の登録と同時に或いはそれより優先して実行されるべきであり、各物理端末の登録には、各端末のＩＰアドレス（ＩＰ Ａｄｄｒｅｓｓ）が必須的に必要である。
物理端末の登録過程は、従来の公知の様々な方法で登録することができる。例えば、ＳＩＰプロトコル上のレジスタ（Ｒｅｇｉｓｔｅｒ）コマンドによる位置登録過程を利用して物理端末の登録を行うこともできるが、この際には、物理端末の電話番号などが含まれ得る。物理端末の位置を登録すると、サーバ１１０は、当該物理端末が現在ターンオン（Ｔｕｒｎ Ｏｎ）されて動作中であるか否かを確認することができる。
論理端末の登録は、当該論理端末に含まれる物理端末を指定し、各物理端末に接続されたディスプレイ装置の個数が登録される。実施形態によっては、論理端末に含まれているディスプレイ装置間の配置（又は相対位置）と、ソース映像の個数ｍ３による映像ミキシング方式（リレー方式を含む）又はミキシング映像のレイアウト（Ｌａｙｏｕｔ）などを設定することもできる。例えば、端末登録部１１１は、第１物理端末１１と第２物理端末１３を第１論理端末１３０として構成する構成情報の入力を受け、登録して管理する。論理端末の登録は、端末登録部１１１が提供するＷｅｂページを利用するか、或いは別途の接続端末を利用することができる。
また、論理端末に対しては、以下で説明する論理端末を構成する物理端末のうちのいずれか一つが、オーディオ信号の出力のための物理端末（以下、出力担当−物理端末）として登録される。

＜ビデオ会議のための発信呼−接続ステップ：Ｓ３０３＞
各ビデオ会議ポイント間のビデオ会議呼設定は、サーバ１１０の通話接続部１１３が一つのポイントから呼接続要求を受信することにより開始する。ＳＩＰプロトコルの場合、通話接続部１１３は、ＳＩＰシグナリングメッセージであるＩＮＶＩＴＥを受信する。図２の例において、第１論理端末１３０の第１物理端末１１が第２論理端末１５０の第３物理端末１５を呼び出すので、通話接続部１１３は、発信側である第１物理端末１１が第３物理端末１５の電話番号又はＩＰアドレスを用いて第３物理端末１５を呼び出すＩＮＶＩＴＥメッセージを受信する。

＜発信者及び／又は受信者が論理端末であるか否かの照会：Ｓ３０５＞
サーバ１１０の通話接続部１１３は、受信側の電話番号が論理端末を構成する物理端末のうちのいずれか一つの電話番号（又はＩＰアドレス）であるかを端末登録部１１１に照会する。同様に、発信側が論理端末を構成する物理端末のうちのいずれか一つの電話番号（又はＩＰアドレス）であるか否かを端末登録部１１１に照会する。これにより、通話接続部１１３は、当該呼接続が論理端末への接続であるか否かを確認する。
実施形態によって、通話接続部１１３は、付加的に受信側が論理端末を構成する物理端末である場合に、当該物理端末がその論理端末の代表端末であるかをさらに確認することにより、受信側の代表端末でない場合には、受信側を論理端末として処理しなくてもよい。発信側の場合にも、当該発信側の属している論理端末の代表端末であるかをさらに確認することにより、発信側の代表端末ではない場合には、発信側を論理端末として処理しなくてもよい。

＜ビデオ会議接続：Ｓ３０７、Ｓ３０９＞
受信側の電話番号が論理端末であれば、通話接続部１１３は、受信側の論理端末に属する全ての物理端末とのＳＩＰセッション生成のための手続きを行う。図２の例において、受信側が第２論理端末１５０であるので、通話接続部１１３は、第３物理端末１５及び第４物理端末１７と個別にＳＩＰセッションを生成する。このとき、通話接続部１１３は、第３物理端末１５と第４物理端末１７に同時にＩＮＶＩＴＥメッセージを伝達してもよく、順次伝達してもよい（Ｓ３０７）。
図２の例において、発信側も論理端末であるので、通話接続部１１３は、第１論理端末１３０の第２物理端末１３ともＳＩＰセッションを生成する。図２の例において、第５物理端末１９がビデオ会議に参加した場合、第５物理端末１９ともＳＩＰセッションを生成する。したがって、第１論理端末１３０、第２論理端末１５０及び第５物理端末１９がビデオ会議に参加しながら、全体５つのＳＩＰセッションが生成される（Ｓ３０９）。
ＩＮＶＩＴＥを受信した受信側及び／又は送信側の全ての物理端末は、ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）情報を介して映像及び音声コーデックなどを選択する協商をする。成功的に協商が完了すると、実際にセッションが成立して呼が接続される。

＜各物理単一端末からソース映像を受信するステップ：Ｓ３１１＞
前述したように、論理端末の通話接続は、実際に論理端末を構成する個別物理端末との接続なので、複数のセッションが成立したものである。論理端末を構成する物理端末も個別にソース映像を生成してサーバ１１０へ伝送する。
したがって、図２の場合、ビデオ会議に第１論理端末１３０、第２論理端末１５０及び第５物理端末１９が参加したため、通話接続部１１３は、セッション接続された５つの物理端末１１、１３、１５、１７、１９が提供する５つのソース映像１１ａ、１３ａ、１５ａ、１７ａ、１９ａを受信する。

＜サーバのソース映像の再処理：Ｓ３１３＞
サーバ１１０の映像処理部１１５は、物理端末から受信されたソース映像を各ポイントのための映像に再びレンダリング（Ｒｅｎｄｅｒｉｎｇ）するためにソース映像をデコードし、ミキシングしてエンコードする。言い換えれば、映像処理部１１５は、各論理端末に対してｍ３個の映像をｍ１個の映像に再編集することができる。
映像処理部１１５は、各論理端末又は物理端末別に所定のレイアウトに従うか、或いは各端末側から要求するレイアウトに合わせてソース映像のミキシングを行う。
前述したように、映像処理部１１５の映像処理なしで、通話接続部１１３が所定の時間間隔で順次提供することにより、リレー形式でソース映像が表示されるようにすることもできる。この場合には、ミキシングなどの過程なしでそのまま伝送すればよく、当該端末の映像コーデックにマッチングさせる必要がある場合に映像フォーマットを変更するか或いはトランスコード（Ｔｒａｎｓ Ｃｏｄｉｎｇ）する程度で十分である。

＜エンコードされた映像データを各物理端末に伝送：Ｓ３１５＞
通話接続部１１３は、映像処理部１１５が各物理端末１１、１３、１５、１７、１９のために処理した映像を、ビデオ会議に参加中の各物理端末１１、１３、１５、１７、１９に提供する。これにより、ビデオ会議に参加中の各ポイントは、まるでマルチスクリーンによるテレプレゼンスのようなサービスの提供を受けることができる。
以上の方法によって本発明のビデオ会議システム１００のビデオ会議用マルチスクリーンが処理される。

（実施形態）Ｓ３０５ステップの他の方法
端末登録部１１１は、論理端末を登録するとき、当該論理端末のための仮想の電話番号を生成して登録することができる。このような場合に、Ｓ３０５ステップで受信側の電話番号が論理端末の仮想電話番号である場合にのみ、受信側を論理端末として処理することもできる。

論理端末に対するビデオ会議サービスの提供（オーディオ処理）
本発明のビデオ会議システム１００は、論理端末と呼ばれる機能を提供するので、従来のビデオ会議システム又は装置とは異なり、サーバ１１０におけるオーディオ信号処理が従来とは異なる。
サーバ１１０のオーディオ処理部１１７は、通話接続部１１３がビデオ会議に参加中の各ポイントから受信したＲＴＰパケットからオーディオ信号をデコードする。図４のビデオ会議システム１００は、図１のビデオ会議システム１００をオーディオ信号の処理の観点から示したものである。上述したように、各ビデオ会議端末１１、１３、１５、１７、１９は、映像／音声コーデック（Ｃｏｄｅｃ）を備え、個別に発言者の音声をオーディオ信号に変換するマイク１１−１、１３−１、１５−１、１７−１、１９−１とオーディオ出力のためのスピーカー１１−２、１３−２、１５−２、１７−２、１９−２を備えている。
上述したように、各ビデオ会議端末１１、１３、１５、１７、１９は、サーバ１１０と個別にＳＩＰセッションを形成するだけでなく、それぞれがビデオ会議用端末である。したがって、他の設定をしければ、サーバ１１０が構成したビデオ会議に参加しているすべての物理端末は、論理端末の構成か否かに関係なく、オーディオ信号をＳＩＰセッションを介してサーバ１１０に伝送することができる。以下では、図５を参照して、オーディオ処理部１１７によるオーディオ信号処理過程を説明する。図５の方法はＳ３０７及びＳ３０９ステップを経てＳＩＰセッションが生成された後に行われる。

＜ソースオーディオ受信ステップ：Ｓ５０１＞
図４を参照する。ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９は、サーバ１１０とＳＩＰセッションを個別に形成しており、それぞれのマイク１１−１、１３−１、１５−１、１７−１、１９−１に入力される音声又はオーディオをオーディオ信号に変換してＲＴＰパケットの形でサーバ１１０へ提供する。したがって、サーバ１１０の通話接続部１１３は、ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９が提供するすべてのＲＴＰパケットを受信する。このステップは、ソース映像受信に関するＳ３１１ステップに対応する。

＜ソースオーディオ処理ステップ：Ｓ５０３＞
オーディオ処理部１１７は、ＳＩＰセッションを介して受信されたＲＴＰパケットをデコードして、ビデオ会議に参加中のすべての物理端末１１、１３、１５、１７、１９が提供したオーディオ信号（以下、「ソースオーディオ信号」という。）を取得し、各ビデオ会議ポイントへ提供するオーディオ信号（以下、「出力用オーディオ信号」という。）に再びミキシングする。Ｓ３１３ステップに対応する。
各ビデオ会議ポイントへ提供する出力用オーディオ信号は、他のビデオ会議ポイントから提供するオーディオ信号をミキシングしたものであるが、この時、様々な方法が可能である。
（方法１）まず、各ビデオ会議ポイントが物理端末であるか論理端末であるかを問わず、当該ビデオ会議ポイントから提供されるすべてのオーディオ信号をミキシングすることができる。例えば、第１論理端末１３０側に送る出力用オーディオ信号には、第２論理端末１５０と第５物理端末１９が提供したソースオーディオ信号がミキシングされなければならないので、オーディオ処理部１１７は、第３物理端末１５、第４物理端末１７及び第５物理端末１９が提供したソースオーディオ信号をミキシングする。第２論理端末１５０側に送るオーディオ信号には、第１論理端末１３０と第５物理端末１９が提供したソースオーディオ信号がミキシングされなければならないので、オーディオ処理部１１７は、第１物理端末１１、第２物理端末１３及び第５物理端末１９が提供したソースオーディオ信号をミキシングする。第５物理端末１９側に送るオーディオ信号には、第１論理端末１３０と第２論理端末１５０が提供したソースオーディオ信号がミキシングされなければならないので、オーディオ処理部１１７は、第１物理端末１１、第２物理端末１３、第３物理端末１５及び第４物理端末１７が提供したソースオーディオ信号をミキシングする。
（方法２）他のビデオ会議ポイントが論理端末であれば、当該論理端末に属する物理端末の中から選択された一つの物理端末が提供するオーディオ信号のみを出力用オーディオ信号にミキシングすることもできる。例えば、第１論理端末１３０側に送る出力用オーディオ信号には、第２論理端末１５０と第５物理端末１９が提供したソースオーディオ信号がミキシングされなければならない。第２論理端末１５０には、第３物理端末１５と第４物理端末１７が含まれるので、オーディオ処理部１１７は、第３物理端末１５と第４物理端末１７の中から選択された一つの端末から提供したソースオーディオ信号のみを、第５物理端末１９が提供したソースオーディオ信号とミキシングするものである。この時、ミキシングのために選択されるソースオーディオ信号が、必ず出力担当−物理端末が提供するソースオーディオ信号である必要はない。
この方式を採用する理由はさまざまである。例えば、この方式の具体的な適用ステップで、第２論理端末１５０側の発言者の位置に最も近いマイクを介して入力されたオーディオ信号がミキシング用として選択され、第２論理端末１５０の残りの物理端末が提供するオーディオ信号はミキシングしないことがある。こうすれば、発言者の発言が第２論理端末１５０のすべてのマイク１５−１、１７−１に入力されるときに発生する微細な時間差によりオーディオや音声が明瞭に聞こえなくなるという問題を解決することができる。

＜出力用オーディオ信号の伝送：Ｓ５０５＞
オーディオ処理部１１７は、各ビデオ会議ポイントに提供するためにさらにミキシングした「出力用オーディオ信号」を、所定のオーディオ信号フォーマットで圧縮し、ＲＴＰパケットにエンコードしてさらに各ビデオ会議ポイントへ伝送する。ただし、論理端末側には、後述する出力担当−物理端末へ「出力用オーディオ信号」が伝送される。

出力担当−物理端末
論理端末の設定に関係なく、サーバ１１０は、ビデオ会議に参加中の全ての物理端末とＳＩＰセッションを形成し、オーディオ信号は、そのＳＩＰセッションを介して伝送される。このとき、第１ポイントＡと第２ポイントＢのようにビデオ会議ポイントが論理端末であれば、オーディオ処理部１１７は、出力担当−物理端末にのみ新しくエンコードしたオーディオ信号を伝送し、第３ポイントＣのようにビデオ会議ポイントが論理端末ではなく物理端末であれば、オーディオ処理部１１７は、従来と同様に、その物理端末に新たにエンコードしたオーディオ信号を伝送する。このために、サーバ１１０の端末登録部１１１は、論理端末の登録過程で、論理端末を構成する物理端末のいずれか一つの入力を「出力担当−物理端末」として受けて登録する。「出力担当−物理端末」は、上述した論理端末の代表端末であってもよく、代表端末とは異なる端末として定めてもよい。
論理端末がビデオ会議に参加する場合、他のビデオ会議ポイントが提供するオーディオ信号は、論理端末を構成するすべての物理端末を介して出力されるのではなく、出力担当−物理端末を介してのみ出力される。そうでなければ、同じオーディオ信号が複数のスピーカーを介して微細な時間差を置いて出力されるので、明瞭なオーディオを出力することができない。その他にも、出力担当−物理端末を定めなければ、エコー除去について複雑な場合の数が発生するために適切ではない。
したがって、論理端末を構成するすべての物理端末が発言者の音声などをオーディオ信号に変換してサーバ１１０へ提供することはできるが、サーバ１１０が提供するオーディオ信号は、出力担当−物理端末にのみ提供される。
図４を参照する。第１ポイントＡの第１論理端末１３０では、第１物理端末１１が出力担当−物理端末として登録され、第２ポイントＢの第２論理端末１５０では、第４物理端末１７が出力担当−物理端末として登録されたと仮定する。
オーディオ処理部１１７は、第１ポイントＡへ提供する出力用オーディオ信号１５ｂ＋１７ｂ＋１９ｂを、出力担当−物理端末である第１物理端末１１にのみ提供し、第２ポイントＢへ提供する出力用オーディオ信号１１ｂ＋１３ｂ＋１９ｂを第４物理端末１７にのみ提供する。第３ポイントＣは物理端末なので、オーディオ処理部１１７は、第３ポイントＣへ提供する出力用オーディオ信号１１ｂ＋１３ｂ＋１５ｂ＋１７ｂを第５物理端末１９に伝送する。
論理端末を構成する物理端末のうち、出力担当−物理端末ではない端末には、オーディオ信号がないＲＴＰパケットを伝送することができる。ここで、「オーディオ信号がない」というのは、例えば、振幅のないオーディオ信号を含む。実施形態によっては、オーディオ信号用ＲＴＰパケット自体を伝送しないこともある。
したがって、論理端末である第１ポイントＡでは、第１物理端末１１が自分のスピーカー１１−２を介して出力用オーディオ信号１５ｂ＋１７ｂ＋１９ｂを出力し、第２物理端末１３のスピーカー１３−２を介してはいずれのオーディオも出力されない。同様に、論理端末である第２ポイントＢでは、第４物理端末１７が自分のスピーカー１７−２を介して出力用オーディオ信号１１ｂ＋１３ｂ＋１９ｂを出力し、第３物理端末１５のスピーカー１５−２を介してはいずれのオーディオも出力されない。

論理端末におけるペアリングエコーキャンセリング（図６）
上述したように、サーバ１１０が構成したビデオ会議に参加しているすべての物理端末は、論理端末の構成か否かに関係なく、それぞれがビデオ会議用端末であるため、自分のマイクに入力されるソースオーディオ信号を自分のスピーカーへ出力しない。
また、サーバ１１０が構成したビデオ会議に参加している物理端末は、論理端末の構成か否かに関係なくエコー除去機能を備えることができる。ところが、入力されるソースオーディオ信号からエコーを除去するためには、基準となるオーディオ信号（出力用オーディオ信号）があるべきであるが、論理端末へ伝送する出力用オーディオ信号は、出力担当−物理端末にのみ伝送される。したがって、論理端末に属しながら出力担当−物理端末ではないビデオ会議端末は、エコー除去機能を行う基準オーディオ信号を保有しない。
図４の例において、第１論理端末１３０では、第１物理端末１１が出力担当−物理端末として設定されているので、オーディオ処理部１１７は、第１論理端末１３０へ伝送すべき出力用オーディオ信号を第１物理端末１１にのみ伝送し、第２物理端末１３には伝送しない。理解のために説明すると、オーディオ処理部１１７が第２物理端末１３にいずれのＲＴＰパケットも伝送しないことを意味するのではなく、単に出力のための第１物理端末１１に提供したオーディオ信号が提供されないのである。
逆に、第１論理端末１３０側では、第１物理端末１１と第２物理端末１３がそれぞれ自分のマイク１１−１、１３−１を介して受信したソースオーディオ信号１１ｂ、１３ｂをサーバ１１０へ伝送する。このとき、出力担当−物理端末である第１物理端末１１は、サーバ１１０から出力のためのオーディオ信号を受信したため、マイク１１−１に入力された信号に対してエコー除去を行うことができる。しかし、第２物理端末１３は、出力担当−物理端末ではないので、サーバ１１０から出力用オーディオ信号を受信しておらず、エコー除去の基準となる信号を保有していない状態である。
したがって、第２物理端末１３は、マイク１３−１に入力されたソースオーディオ信号に対してエコー除去を行うことができない。よって、本発明は、ビデオ会議サーバ１１０のエコー処理部１１９がエコー除去機能を行う。
エコー処理部１１９は、各ビデオ会議ポイントへ提供するための出力用オーディオ信号をミキシングする前に、エコー除去機能を行い、必要に応じて、基本的なノイズ除去を行うこともできる。本発明のエコー除去は、従来の一般なビデオ会議システム又は装備におけるエコー除去とは全く違う。以下では、本発明の特徴的なエコー除去機能を「ペアリングエコーキャンセリング（Ｐａｒｉｎｇ Ｅｃｈｏ Ｃａｎｃｅｌｌｉｎｇ）」という。
エコー処理部１１９は、論理端末側から受信されたソースオーディオが出力担当−物理端末が提供したものでなければ、その論理端末へ伝送した出力用オーディオ信号を用いてエコーを除去する。以下では、図６を参照して、ビデオ会議サーバ１１０のエコー除去方法を説明する。図６の方法も、図３のＳ３０７及びＳ３０９ステップに従って、サーバ１１０と各物理端末との間にＳＩＰセッションが生成された状態で行われる。
まず、Ｓ５０１ステップで、オーディオ処理部１１７がビデオ会議に参加した各物理端末１１、１３、１５、１７、１９からソースオーディオ信号を受信すると、エコー処理部１１９は、当該ソースオーディオ信号が、論理端末に属する物理端末であって出力担当−物理端末ではない端末が提供した信号であるかを判断する（Ｓ６０１、Ｓ６０３）。
Ｓ６０１、Ｓ６０３ステップの判断結果、当該ソースオーディオ信号が、論理端末に属する物理端末であって出力担当−物理端末ではない端末が提供した信号であれば、エコー処理部１１９は、当該論理端末に伝送した出力用オーディオ信号を基準にエコー除去機能を行う。エコー処理部１１９のエコー除去アルゴリズムは、入力されたオーディオ信号から出力オーディオ信号と一致する波形を除去するものであって、通常知られているエコー除去アルゴリズムを使用することができる。図４の例において、エコー処理部１１９は、第２物理端末１３が提供するソースオーディオ信号を、出力担当−物理端末である第１物理端末１１に伝送した出力用オーディオ信号と比較して、エコーを除去する。もし、第２物理端末１３が提供するソースオーディオ信号にエコーがあったならば、第１物理端末１１に伝送した出力用オーディオ信号と同じ波形なので、エコー除去アルゴリズムによって除去できる（Ｓ６０５）。
Ｓ６０１、Ｓ６０３ステップの判断結果、当該オーディオ信号が論理端末から伝送されたものではないか、或いは論理端末に属する物理端末として出力担当−物理端末が提供した信号であれば、エコー処理部１１９は、エコー除去機能を行わなくてもよい。これは、出力担当−物理端末が自体的にエコー除去機能を備えてエコーを除去することができるからである。他の方法として、Ｓ６０３ステップと同様に、第１物理端末１１に既に伝送した出力用オーディオ信号と比較してエコーを除去することができる。

以上の方法によって、本発明のペアリングエコーキャンセリングが行われる。
（実施形態）論理端末におけるオーディオ処理及びエコー除去の他の方法
上述した例において、オーディオ処理部１１７は、出力担当−物理端末にのみ出力用オーディオ信号を提供すると説明したが、必ずしもこれに限定される必要はない。例えば、論理端末を構成するすべての物理端末に同じ出力用オーディオ信号を提供することができる。ただし、出力担当−物理端末のみが該当出力用オーディオ信号を出力し、残りの物理端末は単に出力用オーディオ信号をエコー除去用基準オーディオ信号として使用する。
オーディオ処理部１１７は、論理端末を構成するすべての物理端末に同じ出力用オーディオ信号を送るが、出力担当−物理端末に提供するＲＴＰパケットには「出力用」と表示し、残りの物理端末に提供するＲＴＰパケットには当該オーディオ信号を「エコー除去用」と表示する。この場合、エコー除去は各物理端末で行われるので、サーバ１１０はエコー処理部１１９を備える必要がない。
例えば、図４の例において、オーディオ処理部１１７は、第１論理端末１３０へ提供する出力用オーディオ信号がある場合、出力担当−物理端末である第１物理端末１１には「出力用」と表示して伝送し、第２物理端末１３には「エコー除去用」と表示して伝送する。
これにより、第１物理端末１１は、出力用オーディオ信号をスピーカー１１−２を介して出力し、第２物理端末１３は、サーバ１１０から提供された出力用オーディオ信号をスピーカー１３−２を介して出力せずに保有し、マイク１３−１を介して受信するオーディオ信号からエコーを除去するために使用する。
以上では、本発明の好適な実施形態について図示及び説明したが、本発明は、上述した特定の実施形態に限定されず、請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有する者によって多様な変形実施が可能なのはもとより、それらの変形実施は本発明の技術的思想や展望から個別的に理解されてはならないだろう。

Claims (12)

1. ビデオ会議サーバのビデオ会議サービス提供方法であって、
   複数の物理端末を第１論理端末として登録して、前記複数の物理端末が一つのビデオ会議ポイント（Ｐｏｉｎｔ）の如き動作するように登録し、前記複数の物理端末のうちのいずれか一つを出力担当−物理端末として登録する登録ステップと、
   複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては前記第１論理端末を構成する複数の物理端末と個別に接続する呼接続ステップと、
   前記複数のビデオ会議ポイントが提供するソースオーディオ信号を受信し、前記第１論理端末に対しては前記複数の物理端末のそれぞれから前記ソースオーディオ信号を受信するソースオーディオ受信ステップと、
   前記ソースオーディオ受信ステップで受信した全体ソースオーディオのうち、他のビデオ会議ポイントから提供したオーディオ信号を、前記第１論理端末に提供する出力用オーディオ信号にミキシングするオーディオ処理ステップと、
   前記第１論理端末に属する複数の物理端末のうち、前記出力担当−物理端末に前記出力用オーディオ信号を伝送するオーディオ出力ステップと、を含むことにより、
   前記第１論理端末が一つの仮想のビデオ会議ポイントとして動作するようにすることを特徴とする、
   ビデオ会議サーバのビデオ会議サービス提供方法。
2. 前記第１論理端末から受信されたソースオーディオ信号のうち、前記出力担当−物理端末ではない物理端末が提供したソースオーディオ信号に対して前記出力用オーディオ信号を用いてエコーを除去するステップをさらに含むことを特徴とする、請求項１に記載のビデオ会議サーバのビデオ会議サービス提供方法。
3. 前記オーディオ出力ステップは、前記第１論理端末に属する複数の物理端末のうち、前記出力担当−物理端末ではない物理端末に前記出力用オーディオ信号を伝送し、前記出力用オーディオ信号をエコー除去用として伝送することにより、前記出力担当−物理端末ではない物理端末が前記出力用オーディオ信号をスピーカーへ出力しないようにしながら、エコー除去の基準オーディオ信号として使用するようにすることを特徴とする、請求項１に記載のビデオ会議サーバのビデオ会議サービス提供方法。
4. 前記オーディオ処理ステップは、前記他のビデオ会議ポイントが、複数の物理端末を含む第２論理端末である場合、前記第２論理端末に属する複数の物理端末が提供したオーディオ信号の中から選択された一つのオーディオ信号を、前記第１論理端末に提供する出力用オーディオ信号にミキシングすることを特徴とする、請求項１に記載のビデオ会議サーバのビデオ会議サービス提供方法。
5. 前記複数のビデオ会議ポイントが提供するソース映像を受信し、前記第１論理端末に対しては前記複数の物理端末のそれぞれから前記ソース映像を受信するソース映像受信ステップと、前記ソース映像受信ステップで受信した全体ソース映像のうち、他のビデオ会議ポイントから提供した映像を前記第１論理端末の複数の物理端末に分配することにより、前記第１論理端末が一つの仮想のビデオ会議ポイントとして動作するようにするマルチスクリーン映像提供ステップと、を含むことを特徴とする、請求項１に記載のビデオ会議サーバのビデオ会議サービス提供方法。
6. 前記呼接続ステップは、発信側のポイントから呼接続要求メッセージを受信するステップと、前記呼接続要求メッセージの受信に応じて発信側と受信側とを接続する間に、前記発信側又は受信側が前記第１論理端末であるか否かを照会するステップと、前記照会結果に基づいて前記発信側が第１論理端末の物理端末であれば、前記第１論理端末の残りの物理端末とも個別接続を生成するステップと、前記照会結果に基づいて前記呼接続要求された受信側が第２論理端末の物理端末であれば、前記第２論理端末の残りの物理端末とも個別接続を生成するステップと、を行うことを特徴とする、請求項１に記載のビデオ会議サーバのビデオ会議サービス提供方法。
7. ビデオ会議サービスを提供することが可能なビデオ会議サーバであって、
   複数の物理端末を一つのビデオ会議ポイント（Ｐｏｉｎｔ）かのように動作する第１論理端末として登録し、前記複数の物理端末のうちのいずれか一つを出力担当−物理端末として登録する端末登録部と、
   前記第１論理端末を含む複数のビデオ会議ポイント間のビデオ会議を接続し、前記第１論理端末に対しては前記第１論理端末を構成する複数の物理端末と個別に接続し、前記複数のビデオ会議ポイントからソースオーディオ信号を受信し、前記第１論理端末に対しては前記複数の物理端末のそれぞれからソースオーディオ信号を受信する通話接続部と、
   前記受信した全体ソースオーディオのうち、他のビデオ会議ポイントから提供したオーディオを、前記第１論理端末へ提供する出力用オーディオ信号にミキシングし、前記第１論理端末に属する複数の物理端末のうち、前記出力担当−物理端末に前記出力用オーディオ信号を伝送するオーディオ処理部と、を含むことを特徴とする、
   ビデオ会議サーバ。
8. 前記第１論理端末から受信されたソースオーディオ信号のうち、前記出力担当−物理端末ではない物理端末が提供したソースオーディオ信号に対して前記出力用オーディオ信号を用いてエコーを除去するエコー処理部をさらに含むことを特徴とする、請求項７に記載のビデオ会議サーバ。
9. 前記オーディオ処理部は、前記第１論理端末に属する複数の物理端末のうち、前記出力担当−物理端末ではない物理端末に前記出力用オーディオ信号を伝送し、前記出力用オーディオ信号がエコー除去用として伝送することにより、前記出力担当−物理端末ではない物理端末が前記出力用オーディオ信号をスピーカーへ出力しないようにしながらエコー除去の基準オーディオ信号として使用するようにすることを特徴とする、請求項７に記載のビデオ会議サーバ。
10. 前記オーディオ処理部は、前記他のビデオ会議ポイントが、複数の物理端末を含む第２論理端末である場合に、前記第２論理端末に属する複数の物理端末が提供したオーディオ信号の中から選択された一つのオーディオ信号を、前記第１論理端末に提供する出力用オーディオ信号にミキシングすることを特徴とする、請求項７に記載のビデオ会議サーバ。
11. 前記通話接続部が前記複数のビデオ会議ポイントからソース映像を受信し、前記第１論理端末に対しては前記複数の物理端末のそれぞれからソース映像を受信し、前記通話接続部が前記受信した全体ソース映像のうち、他のビデオ会議ポイントから提供した映像を前記第１論理端末の複数の物理端末に分配するように処理する映像処理部をさらに含むことを特徴とする、請求項７に記載のビデオ会議サーバ。
12. 前記通話接続部は、発信側のポイントから呼接続要求メッセージに応じて発信側と受信側を接続する間に、前記発信側又は受信側が前記第１論理端末であるか否かを照会し、前記発信側が第１論理端末の物理端末と照会されると、前記第１論理端末の残りの物理端末とも個別接続を生成し、前記呼接続要求された受信側が第２論理端末の物理端末と照会されると、前記第２論理端末の残りの物理端末とも個別接続を生成することを特徴とする、請求項７に記載のビデオ会議サーバ。

Images