JP2012523720A - 拡張通信ブリッジ - Google Patents

Abstract

【解決手段】
拡張通信ブリッジが、コンテキストインタフェースを含み、コンテキストインタフェースは、音声エンコーダの種類、装置、ネットワーク接続、ロケーション、通話の種類（ビジネス対私用）、個人の識別及び役職についての情報、及び通信セッション自体のコンテキスト並びに通信セッションに加わる各人のコンテキストについての他の情報を、オーディオブリッジが学習するのを可能にする。このコンテキスト情報は、全体的に見て通信に対する経験品質がどのような目標をもつのか、並びに経験品質の目標に合致するようにするため、各々の個々の貢献が一意的にどのように処理されるべきかを決定するのに使用される。ビジネス因子は、参加者によって提供された各信号に対して実行される処理の種類に関する決定に影響を及ぼすかもしれない。訂正操作は、実施形態において同様にクライアントネットワーク装置上でブリッジ によって実行されてもよい。ブリッジは、集中化されてもよく、分散化されてもよい。ビデオブリッジも同様に、実行されてもよい。
【選択図】 図３

Description

本出願は、通信ネットワークに関し、特に拡張通信ブリッジを提供するための方法及び装置に関する。

データ通信ネットワークは、種々のコンピュータ、サーバ、ノード、ルータ、スイッチ、ハブ、プロキシ、及び互いにデータを渡すように接続され設定された他の装置を含んでもよい。これらの装置はここでは、「ネットワーク要素」と呼ばれ、ネットワーク上の種々のネットワークリソースを提供してもよい。データは、ネットワーク上の通信リンクにおけるネットワーク要素間でプロトコルデータユニット（パケット、セル、フレーム、又はセグメント等）を渡すことによって、データ通信ネットワークを通して通信される。特定のプロトコルデータユニットが、ネットワーク上でそのソースと受け手の側との間で移動するように、多数のネットワーク要素及び多重通信リンクによって取り扱われてもよい。コンピュータ、電話、セルラー電話、パーソナル・デジタル・アシスタンツ、及び通信ネットワークに接続し、通信ネットワーク上でデータを送信／受信する他の種類のコンシューマ電子機器のようなホストコンピュータが、それ故、通信ネットワークによって提供される通信サービスのユーザとなる。

通話は、２人、３人、又は少数人を接続するように設定されてもよく、これらの個人が通信ネットワーク上で互いに話し合うのを可能にする。多数の人が通話に参加しようとするときは、オーディオブリッジが使用されてもよい。オーディオブリッジは基本的に、参加者からの入力を受信し、ミキシングすべき２、３、又は別の少数の信号を選択し、ミキシングされたオーディオを各参加者に提供する。これにより、多数の人が、同時に話し、ネットワーク上で所定の通信を聴くことができる。オーディオブリッジは、数年間用いられており、当該技術分野では周知である。

しかしながら、従来のオーディオブリッジは、常に高音質を提供するとは限らない。例えば、１人が非常な大声で話をする一方で、別の人はとても静かに話す場合がある。この不均衡は、多者通話において誰もが聴くことができるように、参加者が音のレベルを調整するのを困難にする。同様に、異なる参加者は、異なる通信技術を使用してオーディオブリッジに接続してもよく、これらの通信技術は、オーディオブリッジによって提供される音質全体に有害な影響を及ぼす可能性がある。例えば、多者通話の参加者は、セルラー、ＩＰベース、ワイヤレスＩＰベース、又は他の種類のハンドセットを使用して接続してもよい。これらの接続技術は異なる音の特性を有してもよく、これらの音の特性により、オーディオブリッジによって提供されるオーディオ全体がオーディオの質を減少させるかもしれない。

拡張通信ブリッジが、コンテキストインタフェースを含み、コンテキストインタフェースは、オーディオブリッジが、音声エンコーダの種類、装置、ネットワーク接続、ロケーション、通話の種類（ビジネス対私用）、個人の識別及び位置についての情報、及び通信セッション自体のコンテキスト並びに通信セッションに加わる各人のコンテキストについての情報を学習するのを可能にする。このコンテキスト情報は、全体的に見て通信に対する経験品質の目標がどのようなものであるか、並びに各個人の貢献が、経験品質の目標に合致させようとするため一義的にどのように処理されるべきかを決定するのに使用される。
ビジネス因子は、参加者によって提供された各信号について実行される処理の種類に関する決定に影響を及ぼすかもしれない。実施形態において、訂正操作がクライアントネットワーク装置上で同様にブリッジによって実行されてもよい。ブリッジは、集中化されてもよく、分散化されてもよい。ビデオブリッジが、同様に実装されてもよい。

本発明の態様が、特許請求の範囲において特徴とともに指摘されている。以下の図面は、単なる例示の目的のため１以上の実施形態を開示しており、本発明の範囲を限定することを意図していない。以下の図面において、同じ参照符号は同様な要素を表す。明瞭にするため、各図面においてすべての要素に名前を付されなくてもよい。

本発明の実施形態による通信ネットワークの一例の機能ブロック図である。 参加者Ａ〜Ｅと２種類の通信ブリッジとの間の情報の流れを示す機能ブロック図である。 参加者Ａ〜Ｅと２種類の通信ブリッジとの間の情報の流れを示す機能ブロック図である。 本発明の実施形態による例示的な拡張通信ブリッジの機能ブロック図である。

以下の詳細な説明は、本発明の十分な理解を提供するため、多数の特別な細部を記載している。しかしながら、当業者であれば、これらの特定の細部なしに本発明を実施してもよいことを認識するであろう。他の例では、周知の方法、プロシージャ、コンポーネント、プロトコル、アルゴリズム、及び回路は、本発明を分かりにくくしないように、詳細には記載されていない。

図１は、多者間通信セッションが実行されてもよい通信ネットワーク１０の一例を示している。多者間通信セッションは、オーディオ通話でもよく、必要に応じて、ビデオコンテンツをさらに含んでもよい。ここで使用される語「通信ブリッジ」は、通信セッション時に多者を接続することができる装置を指すのに使用される。通信セッションはオーディオ通信セッションでもよく、オーディオ／ビデオ通信セッションでもよい。従って、通信ブリッジという語はここでは、従来のオーディオのみのブリッジ並びにオーディオとビデオデータの両方を扱うことができるブリッジを包含する包括的な語として使用される。この説明の一部がオーディオに言及しているが、多者間オーディオ-ビデオ通信セッション上でオーディオを扱うのに同じ技術が使用されてもよいので、本発明は、オーディオのみのブリッジに限定されない。

図１は、多者間通信セッションが確立される通信ネットワークの一例を示している。図１に示される通信ネットワークの例では、ネットワーク１０は、拡張通信ブリッジ１２を含んでおり、その実施形態が図３に関連して後述される。人々は、多くの異なるアクセス技術を使用して、通信ブリッジ１２に接続してもよい。これらの接続技術が異なる特性を有するので、本発明の実施形態によれば、拡張通信ブリッジは、通話自体並びに各参加者と関連したコンテキストを決定することができる。拡張通信ブリッジは、コンテキスト情報を使用し、経験品質及びビジネスメトリックを考慮して当該特定の参加者のためにオーディオ処理を調整する。これは、通信ブリッジが、出力オーディオが通信セッションの種類に対して予想と一致するように、参加者オーディオストリームの各々に適用される処理を調整するのを可能にする。同様に、通信ブリッジは、どの処理がビジネス上の立場から意味をなし、収入の発生、重要なユーザの経験品質及び処理リソースを通信ブリッジによって最適化することができるかを決定するため、ビジネス因子を使用して容量対品質のトレードオフを行い、稼働費用（ＯｐＥｘ）を最少にする。

例えば、通信セッションにおいて、人は、他の参加者が通話時に聞こうしているクライアント又は顧客でもよい。通信ブリッジは、ミキシングされた出力オーディオストリームの１つとして含まれる当該人からのオーディオストリームを当該人が聞くことができるように優先的に選択してもよい。参加者の分類は、通信セッションの種類に応じて異なる分類を参加者に提供できるように、ビジネス因子の一部として含められてもよい。従って、例えば、ビジネス上不可欠な通信（例えば、顧客の多者通話）に基づき、通信ブリッジは、高品質の経験を保証するため、より多くの処理を導入してもよい。同様に、通信ブリッジは、最良の品質のため、そして顧客が会話に容易に割り込むことができることを保証するため、顧客の回線にバイアスをかけてもよい。直接的に収益を生じないブリッジに対して、通信ブリッジの処理要素の使用は、ブリッジが出来るだけ多数の同時通話及びユーザをサポートすることを保証するよう最適化されてもよい。

図１は、通信セッションに接続するのに使用される幾つかの具体的なアクセス技術を示している。例えば、人は、通信ブリッジによってホストされる通信セッションに加わるため、セルラーアクセスネットワークを介して、例えばベーストランシーバステーションを介して、セルラー電話１４で話してもよい。同様に、別のユーザは、当該ユーザがワイヤレスアクセスポイント２０を介して通信セッションに接続するのに使用されるワイヤレスＩＰフォン１８を有してもよい。他のユーザは、ユーザ自身のラップトップ又はデスクトップコンピュータ、ＰＤＡ、又は他のコンピューティング装置２２上にロードされたソフトテレフォニークライアントを有してもよい。これらのユーザは、インターネット上でゲートウェイ２４を介して通信セッションに接続してもよい。さらに他のユーザは、企業ネットワークに接続したユーザ機器２６（ＩＰフォン、ソフトクライアント等）から通信セッションに加わってもよい。通信ブリッジが企業ネットワークの外部に置かれている場合には、ユーザは、企業ゲートウェイ２８を介して通信セッションに接続してもよい。ブリッジに接続する多くの他の方法が同様に存在してもよく、時が経つにつれて開発されてもよく、図１に示される選択は、限定することを意図していない。

図１に例示されるように、人が通信セッションに接続する多くの異なる方法がある。通信セッションに接続するのに使用される特定の装置及びアクセス技術次第で、通信ブリッジによって受信されるユーザからの信号の特性は、大幅に変動してもよい。本発明の実施形態によれば、通信ブリッジ は、各参加者と関連したコンテキスト情報を決定し、当該参加者からの信号並びに当該参加者への信号を処理するため、コンテキスト情報を使用する。これにより、通信ブリッジは、通信ブリッジによってミキシングされた合成オーディオ出力の鮮明度を増大させるため、ユーザが通信セッションに接続した特定の方法に適合することができる。

図２Ａは、多数の人が通信セッション時に互いに話をするのを可能にするため、通信ブリッジがどのように動作することができるかの一例を示している。図２Ａに示される例では、通信ブリッジは、特定の通信セッションに接続している参加者の各々から、入力オーディオを受信する。この例では、５人の参加者Ａ、Ｂ、Ｃ、Ｄ、Ｅがいる。通信セッションは、多数の参加者を有してもよく、本発明は、この特定の例に限定されない。通信ブリッジは、一緒にミキシングされ、参加者に提示される入力のサブセットを選択する。この例では、通信ブリッジは、一緒にミキシングされ、通信セッション上で出力オーディオとして提供される、参加者Ａ、Ｂ、Ｅからの入力を選択した。従って、非アクティブな参加者の各々には、参加者Ａ、Ｂ、Ｅからのミキシングされた入力を含む出力オーディオストリームが提供される。アクティブな参加者は、参加者自身の音声を含まないミキシング音を受信し、即ち、ＡはミキシングされたＢとＥを受信し、ＢはミキシングされたＡとＥを受信し、ＥはミキシングされたＡとＢを受信する。

図２Ｂは、選択機能が通信ブリッジによって中央で実施されるが、ミキシングが分散態様で発生する別の種類の通信ブリッジを示している。図２Ｂに示されるような分散式ブリッジでは、通信ブリッジ１２は、どの参加者が通信セッション上で聴取されかを決定し、各参加者に多数の音声ストリームを出力する。例えば、図２Ｂでは、通信ブリッジは、通信セッション上で聴取される参加者Ａ、Ｂ、Ｅを選択した。従って、ブリッジは、音声ストリームＡ、音声ストリームＢ、音声ストリームＥを各参加者に出力した。参加者は、これらの入力音声ストリームをミキシングするローカルミキシング機能を有しており、ユーザは、ミキシングされたオーディオを聴いてもよい。ここに記載された発明の態様は、いずれの種類のブリッジに適用してもよい。

図３は、本発明の実施形態による例示的な拡張通信ブリッジ１２を示している。図３に示される例では、ユーザは、ユーザ装置３０Ａ〜３０Ｆを介して通信ブリッジ１２に接続する。各ユーザは、同じユーザ装置を使用して通信ブリッジに接続してもよく、異なるユーザ装置を使用してもよい。一般に、ユーザは、当該特定のユーザにとって便利であり利用可能であるどのような種類のユーザ装置を使用しても通信ブリッジに接続することを期待している。

図３に示される実施形態では、通信ブリッジは、通信セッションを開始し、通信セッションに加わる時、通信セッション中、そして必要に応じて通信セッションを去ることに関連して、ユーザが対話するアプリケーションインタフェース３２を有している。例えば、通信ブリッジは、特定の電話番号に電話することによってアクセスされてもよい。ユーザが通信セッション用のアクセス電話番号に電話すると、ユーザは、アプリケーションインタフェースに接続され、そのアプリケーションインタフェースは、カンファレンスＩＤ番号、セキュリティアクセスコード、又は他の同様な情報をユーザに要求するかもしれない。典型的には、アプリケーションインタフェースは、対話型音声応答及び／又はＤＴＭＦ信号モジュールを有しており、このモジュールにより、ユーザは、通信セッションを開始し、加わり、修正し、終了するため、自動化システムと対話することができる。

アプリケーションインタフェースにより、ユーザは、通信ブリッジと対話することができ、そしてまた、通信ブリッジは、ユーザ装置と交渉して、ユーザ装置が通信セッションをどのように実行するかを決めることができる。例えば、アプリケーションインタフェースは、ユーザ装置によって使用されるボコーダを通信セッションのために選択し、ユーザ装置と通信セッションが通信する速度を調整するため、制御及びシグナリングを実行してもよい。下層の接続に関する他の機能も同様に、ユーザ装置が通信ブリッジに接続するとき、交渉されてもよい。

一実施形態では、通信セッション中、ＡＰＩは、ユーザ装置によって生成される信号を改善するため、訂正操作をするようにユーザに指示するかもしれない。かくして、この実施形態では、ブリッジＡＰＩは、参加者に戻す情報を送ることができる。例えば、ＡＰＩは、エンドユーザが取るべき訂正操作を示唆するメッセージをエンドユーザに伝達することができ、これにより、エンドユーザは、通信セッション上でのオーディオの質を向上させる支援をすることができる。例えば、ＡＰＩは、多者通話上でノイズの量を減らすため、ノイズのある接続において、マイクロフォンの音を弱めるように参加者に指示してもよい。必要に応じて、これは、ノイズのある参加者のためにノイズのある参加者の装置をＡＰＩが直接制御することによって、実行されてもよい。

ＡＰＩは、オーディオ及びマイクロフォンのゲインのような加入クライアントの問題を遠隔的に制御し修復してもよい。参加者がコンピュータ上で実行されるソフトクライアントを使用し、例えば、参加者がヘッドセットで話している場合には、その人のラップトップ上の別のマイクロフォンが、その人の音声を拾い上げるのと同時に、他の周囲環境のノイズも拾い上げてもよい。ＡＰＩは、ラップトップのマイクロフォンを無効にすることができ、又はノイズのプロファイリング及び消去のためラップトップからの信号を使用することができる。

同様に、ＡＰＩは、参加者によって提供されるオーディオレベルを検出して、より大きく又はより穏やかに話すよう参加者に信号を送ることができ、又は、マイクロフォンをノイズ源から離れるように移動させて信号ノイズ比を改善させることができる。同様に、ＡＰＩは、端末装置と直接対話して、端末装置によって提供される信号レベルを自動的に調整することができる。これにより、ＡＰＩは、端末装置の音を弱めたり、端末装置におけるオーディオゲインを調整したりして、参加者が穏やかに話している場合には参加者の音声を増幅し、参加者が大声で話している場合には増幅レベルを減少させ、通信セッション上での各参加者の音量全体を調節することができる。

ＡＰＩは、他の訂正操作を取ったり、エンドユーザ装置で他の処理操作を実行したりしてもよい。例えば、コンテキストインタフェース及び推論エンジン４６は、ユーザ装置３０Ａから提供された信号又はユーザ装置３０Ａに提供された信号で実施される処理を決定し、ユーザ装置３０Ａに指示してこれらの処理の全部または一部を実行する。かくして、この実施形態では、コーデックの選択、エコー処理、ノイズ消去、及び他の事前処理及び事後処理機能は、ＡＰＩの指示を受けてユーザ装置で実行されてもよい。

ユーザは、アプリケーションインタフェースと対話して、通信セッション中に特定の機能を選択してもよい。例えば、ユーザは、ローカルミュート制御を有してもよく、或いは、通信ブリッジは、ミュート制御を提供してもよい。かくして、アプリケーションインタフェース は、ユーザが、そのオーディオストリームを選択して多者通話上で出力されるかどうかを制御することを可能にしてもよい。アプリケーションインタフェースはまた、ユーザが通話の機能を選択することを可能にしてもよい。

特定のユーザ装置次第で、アプリケーションインタフェースは、通信セッション中、参加者に付加的な情報を提供してもよい。例えば、アプリケーションインタフェースは、特定の箇所でその時点に話している人と共に参加者が追跡することができるように、最新の話者に関する情報を提供してもよい。アプリケーションインタフェースは、ユーザが、全体として通信セッション上で、必要に応じてスピーカー毎にオーディオのボリュームを指定することを可能にしてもよい。

オーディオブリッジが三次元オーディオミキシングを利用する場合には、ブリッジは、通話に関して特定の個人のロケーションを割り当て、他の参加者に対して、その個人が着座している方向から音が生じて聞こえるように、オーディオをミキシングしてもよい。三次元オーディオミキシングの例には、オーディオが左方／右方又は前方／後方から生ずるという空間的な知覚をユーザが得ることができるように、オーディオ処理の同調及び遅延の使用が含まれる。三次元オーディオを実行する異なる方法が開発されてきており、将来的に開発されてもよく、オーディオブリッジは、これらの処理技術を使用して、オーディオブリッジの各ユーザに対して参加者のロケーションを調整してもよい。かくして、オーディオの方向性は、通信セッション上で話している人を決定することを支援してもよい。

アプリケーションインタフェースは、ユーザ装置がカンファレンスブリッジに情報を提供することを可能にしてもよく、カンファレンスブリッジは、その際、コンテキストインタフェースに通され、カンファレンスブリッジが、通信セッションのコンテキスト全体並びに通信セッション上での当該ユーザの特定のコンテキストについてより多く知るのを可能にする。例えば、アプリケーションインタフェース は、通信セッションに接続する装置の種類、装置上で実行されるクライアントの種類を検出し、装置が通信セッション中に任意のノイズ消去技術を用いるか否かのような、装置上で実行される機能の種類を決定してもよい。アプリケーションインタフェースは、ネットワーク接続の種類（例えば、セルラー、ワイヤレスＩＰ、ＩＰ、ＰＯＴＳ）、及び発信者が住宅接続からの接続かビジネス上の接続かを検出してもよい。アプリケーションインタフェースは、通話が屋外又は屋内で実行されているかに関するユーザからの入力を受信してもよく、最初の接続の際（ユーザが通信セッションにログインするとき）、バックグランドノイズレベルを聴取して、ユーザに提供されるサービスの品質及び必要に応じて接続におけるバックグランドノイズレベルを決定してもよい。

ビジネス上のコンテキストでは、カレンダプログラムを通して、ミーティング、例えば電話会議の予定を立てるのが普通である。人が自分のコンピュータ上にソフトテレフォニークライアントも有するとき、その人は、自分のカレンダプログラムから直接に通信セッションを起動してもよく、カレンダプログラムはその際、テレフォニーアプリケーションを呼び出して通信セッションに接続する。この場合及び他の場合において、通信セッションについての情報は、参加者のカレンダから拾い集められ、通信セッションにおける参加者の役割は、ソフトテレフォニークライアントによってアプリケーションインタフェースに提供されてもよい。例えば、その人が通信セッションを編成した人であった場合には、当該情報は、アプリケーションインタフェースに提供されてもよい。同様に、編成における人の役割及び編成の識別は、ユーザが通信セッションに接続するとき、アプリケーションインタフェースに提供されてもよい。

アプリケーションインタフェースによって収集された情報は、一実施形態では、コンテキストインタフェース４６に渡される。コンテキスト情報の多くがアプリケーションインタフェースによって収集されてもよいが、コンテキストインタフェース及び推論エンジンによって使用される情報を収集する他の方法が同様に実行されてもよいので、本発明は、このやり方に限定されない。コンテキストインタフェース４６は、以下においてより詳細に論じられる。

通信ブリッジはまた、通信セッションを実行するオーディオブリッジ３４を有している。
図３では、メディアパスは、太線を使用して例示されており、制御情報のフローは、細線を使用して示されている。オーディオブリッジは、コントロール３６と、オーディオミキサー３８と、セレクタ４０とを含む。コントロール３６は、アプリケーションインタフェース３２と対話して、オーディオブリッジによって実行される１又はそれ以上の通信セッションに参加者を選択的に入れる。オーディオミキサーは、通信セッション上で参加者に伝達される信号をミキシングする機能を実施する。セレクタ４０は、オーディオミキサーによってミキシングされ、通信セッション上で出力する１、２、３又は他の少数のオーディオ入力を選択する。

動作時に、ユーザがアプリケーションインタフェース３２を介して通信セッションに加わるとき、アプリケーションインタフェース３２は、コントロール３６に指示して、オーディオブリッジ３４によって開始されようとしている特定の通信セッションにユーザを加え、又はオーディオブリッジ３４によってホストされる現存する通信セッションにユーザを加える。ユーザが通信セッションに加えられると、セレクタ４０は、ユーザからの入力を受信し始め、適当な場合には、通信セッション上で出力ストリーム にミキシングされるように、当該ユーザによってオーディオを選択する。オーディオミキサーはまた、ユーザが通信セッションに加わると、通信セッションからの出力オーディオをユーザに提供する。

本発明の実施形態によれば、通信ブリッジ１２は、オーディオエンハンサ４２を含み、オーディオエンハンサ４２は、コンテキストインタフェース及び推論エンジン４６から受信されたコンテキスト情報４４に従って各ユーザのオーディオを別個に処理する。オーディオエンハンサは、コントロール４８を含み、コントロール４８は、オーディオプロセッサ５０をプログラムして、セレクタ４０によって選択された信号に特定のオーディオ処理アルゴリズムを適用する。セレクタ４０によってオーディオプロセッサに提供された各チャンネルは、別のオーディオ処理アルゴリズムを使用して個々に処理されるので、個々のチャンネルは、当該特定のチャンネルと関連したコンテキストに従って最適化されてもよい。図３に示される実施形態では、オーディオプロセッサ５０によって処理するため、セレクタ４０がオーディオチャンネルを選択するが、所望ならばオーディオプロセッサが選択する機能を実行するので、本発明は、この点に関しては限定されない。

上述のように、一実施形態では、入力オーディオチャンネルの全てが、通信セッション上でユーザに出力するためオーディオミキサー３８によって一緒にミキシングされるわけではない。従って、好ましくは、選択プロセス（セレクタ４０又はオーディオプロセッサ５０によって実行されるか否か）は、通信セッションに貢献する関連したオーディオチャンネルのみがオーディオプロセッサ５０によって処理されるように、オーディオ処理の前に実施されるべきである。別の実施形態では、入力オーディオチャンネルのより大きなサブセットは、選択処理に先立って、幾つかのオーディオ処理を受ける。例えば、ノイズ又はゲイン問題があることが検出されたチャンネルからのオーディオ入力は、選択を最適化するために、選択処理に先立って前処理されてもよい。同様に、人が自然に穏やかに話して、通信ブリッジによってホストされる会話に割り込むのを容易にするため、信号は、選択に先立ってゲイン調整を受けてもよい。

従って、図３に示されるように、通信ブリッジは、入力オーディオを受信し、信号がセレクタに入力される前に信号を処理するように設定されたプリプロセッサ４１を含んでもよい。プリプロセッサによって実施される処理の種類は、オーディオ信号の前処理を後処理と連動させることができるように、オーディオエンハンサ４２によって制御されてもよい。同様に、オーディオエンハンサ４２はまた、どの信号が優先的に選択されて通信セッション上で出力されるかをセレクタが決定するのを支援するため、セレクタに入力を提供してもよい。

図３に示される実施形態では、プリプロセッサ４１、セレクタ４０、オーディオプロセッサ５０、及びオーディオミキサー３８は、オーディオ信号に関連して実行されてもよく、異なる機能を説明するため、別々の四角形として図示されている。必要に応じて、これらの機能の幾つか又は全てが単一のＦＰＧＡ又は他のプログラム可能な回路に結合されてもよいので、本発明は、この型式には限定されない。かくして、例えば、信号は、前処理、選択、オーディオ処理、オーディオミキシングを実施する単一のチップに入力され、複数の個々にミキシングされたオーディオチャンネルを通信セッションへの幾人かの参加者に出力してもよい。信号処理用に最適化された専用のプロセッサ又は汎用のマイクロプロセッサ上で動作するソフトウェアを含む、通信ブリッジを実行する多くの方法が可能である。

コンテキストインタフェース及び推論エンジン４６は、コンテキスト情報４４をオーディオエンハンサ４２に提供し、特定のチャンネルについて実施されるべき種類の処理、及び必要に応じて特定のオーディオチャンネルの処理に関連して使用されるべきパラメータに関して、オーディオエンハンサに指示する。

コンテキストインタフェースは、通信セッションの各参加者について情報を収集する。例えば、例示された実施形態では、コンテキストインタフェース及び推論エンジン４６は、参加者により使用中の音声エンコーダ（ボコーダ）５２、ネットワーク接続５４の種類、装置５６の種類、及び装置５８により使用中の通信クライアントについての入力を受信する。これらのパラメータにより、コンテキストインタフェース及び推論エンジン４６は、ユーザ装置によって提供された信号をオーディオプロセッサでどのように処理すべきかに影響を及ぼすかもしれない接続及び装置の物理的特性について学習することができる。

コンテキストインタフェースはまた、全体的に見て通信セッションについての、並びに通信セッションにおけるユーザの参加についてのソーシャルコンテキスト情報を収集する。
例えば、コンテキストインタフェース及び推論エンジン４６は、ユーザのカレンダ６０からの入力を受信し、通信セッションのソーシャルコンテキストを学習してもよい。
これにより、通信ブリッジは、私用通話の場合と比べて、ビジネス通話に対して異なる処理を実行してもよい。同様に、編成及び編成６２における人の役割は、通信セッション上でブリッジによって提供されるサービスの品質に影響を及ぼしてもよい。同様に、営業用の多者通話における顧客のような特定の参加者に対して、これらの参加者の経験品質を増大させ、当該特定の参加者が会話に割り込むのを容易にし、或いは通信セッション中にその参加者が処遇される仕方を調整するため、優先権が与えられてもよい。

人が通話しているロケーションはまた、通信ブリッジ１２に関連していてもよい。例えば、人が外から通話する場合には、周囲バックグラウンドノイズの量は、人が静かな屋内のロケーションから通話する場合よりも、大きくなるかもしれない。同様に、人がオフィスからではなく家から通話している場合には、その人によって提供されるオーディオに関するバックグラウンドノイズ特性は、異なるかもしれない。

オーディオブリッジはまた、特定のユーザから受信されたオーディオをどのように処理するかを決定するため、サービスの品質６５を見てもよい。例えば、ユーザが家から通話し、比較的静けさに包まれた接続である場合には、通信ブリッジは、その接続から静けさの一部を除去しようとするため、信号にフィルタをかけようとするかもしれない。他のサービス品質の因子が同様に、決定されてもよい。オーディオブリッジは、品質、コスト及び容量を最適化するようにブリッジのリソースを割り当てる方法を決定するため、ビジネスファクタールール７０のセッションプライオリティ６６を使用してもよい。例えば、顧客との多者通話は、ビジネス環境における内部での多者通話と比較して、コンピュータリソースに対する優先権を取得してもよい。サービスとして作動するカンファレンスブリッジにおいては、プレミアムサブスクリプションを有する顧客には、他の格安な料金を提供される顧客に対して優先権が与えられてもよい。

オーディオブリッジは、最適化、推論及び接続問題の記録、及びコンテキスト履歴８０におけるコンテキストの記録を保存してもよい。コンテキスト履歴は、オーディオ処理に対する起点設定として使用されることができる。例えば、一貫して高ゲインを得ているユーザ は、当該ユーザがブリッジを呼び出すときに自動的に適用されるゲインリダクションを有することができる。ユーザの識別に加えて、ユーザ装置、接続の種類、コーデック等のような他のコンテキスト入力は、コンテキスト履歴内に維持されることができる。保存を最適化するため、高頻度で優先度の高いユーザのみのコンテキストが保存されてもよい。

オーディオエンハンサは、コンテキストインタフェース及び推論エンジン４６からの入力を受信し、それを経験品質の因子６８及びビジネス因子７０と結合して、オーディオプロセッサ５０における信号を処理する方法を決定する。経験品質の因子６８は、通信セッションの性質についてのユーザの認識を記載する因子である。例えば、エコー消去又は抑制は、過剰なエコーが音響の忠実度を妨げないように実行することが重要であるかもしれない。エコー抑制に対する経験品質の因子は、最適なトータルエコーラウドネス比（ＴＥＬＲ）値並びに許容ＴＥＬＲ値を指定してもよい。これらのＴＥＬＲ値は、多者通話の特定のコンテキスト及び他の因子に依存してもよい。

例えば、ビジネス上の多者通話は、エコーの寛容性が小さく、それ故、第１組の最適及び許容ＴＥＬＲ値が、ビジネス上の多者通話用に指定されてもよい。ティーンエイジャーは、エコーに対して異なる寛容性を有してもよく、それ故、第２組の最適及び許容ＴＥＬＲ値が、このクラスのユーザ用に指定されてもよい。同様に、家族の事柄を話す身内間での会話は、エコーに対して異なる寛容性を有してもよく、それ故、第３組の最適及び許容ＴＥＬＲ値が、このクラスのユーザ用に指定されてもよい。

エコーに加えて、最適及び許容閾値が、ノイズレベル、全体ラウドネス値、及び他の同様な性質等の他のオーディオ性質に対して指定されてもよい。かくして、経験品質の因子は、オーディオエンハンサの目標値を与えて、オーディオエンハンサが信号を過剰処理するのを防止して、特定の性質（例えば、エコー消去）を増大させるが、その場合、それによりエンドユーザに対するサウンドの質全体を鋭敏に増大させずに不要なコンピュータリソースを取得するかもしれない。

ビジネス因子は、コスト及びセッション優先度を盛り込んで、信号が通信ブリッジによってどのように処理されるべきかを決定することを可能にする。特定の処理は、集中的な計算であるかもしれず、それ故、通信ブリッジの処理能力の大きな割合を占める。通信ブリッジが有限の計算リソースを有するので、集中的な計算処理の実行は、通信ブリッジが取り扱うことができる通信セッションの数を制限する。通信セッションの数に基づき、通信ブリッジの所有者に支払われる場合には、集中的な計算処理の実行は、通信ブリッジによって生成される収入に影響を及ぼすかもしれない。

ビジネス因子により、通信ブリッジが通信セッション上で参加者用の経験品質を最適化することができるだけでなく、ブリッジがネットワーク上で生成することができる収入の量を最適化することができるように、ビジネス上の決定を実行することができる。例えば、ビジネス因子は、ブリッジのロードが小さい時、通信ブリッジが通信セッションに対して高品質の処理を実行し、次いでブリッジがより混雑した状態になると、低品質の処理を重要度の小さい通信セッションに置換することを可能にしてもよい。これにより、ブリッジは、オーディオエンハンサが現存する通信セッションをどのように処理するかを調整することによって収入を最大にするように、ロード状態を調整することができる。

コンテキストインタフェース及び推論エンジンは、これらの種類の入力及び可能であれば他の入力を受信し、信号に対して適当なオーディオ処理アルゴリズムを決定する。これにより、カンファレンスブリッジは、優れたオーディオ性能を提供することによって、ソーシャルコンテキストに合わせて調整可能なカンファレンスユーザの経験を高め、個々の参加者は、従来のオーディオブリッジと比較してビジネスインテリジェンスを一体化することによって、コラボレーションの有効性を増大させることができる。

オーディオプロセッサは、特定の個々の参加者に対して、通信セッション上で当該参加者に対するサウンドの品質を最適化するため、多くの異なる種類の処理技術を実行してもよい。処理の種類の一例は、エコー制御に対する線形又は非線形アプローチが実行されるべきか否かを決定することでもよい。特に、エコー処理に対する線形アプローチが選択される場合には、エコーキャンセラが使用されるのに対して、非線形アプローチは、エコー消去ではなく、エコー抑制の使用を必要とするであろう。エコー消去は、オーディオプロセッサ５０が、受信した信号の一部が実際の信号であり、その一部がエコーであることを学習する処理である。その際、適応フィルタが、エコーを信号から取り去るため、組み込まれてもよい。これにより、エコーを信号から取り去ったり消去したりすることができ、その結果、理論的には、エコーは、非エコー信号への影響を最小にした状態で信号から取り除かれる。

これに対して、エコー抑制は、信号のエコー部分のみを取り除くのではなく、むしろ逆信号全体を遮断することができる。エコーが話者に向かって移動するので、１つの共通のアプローチは、オーディオを逆方向において遮断し、そのライン上でのエコーの知覚を減少させることである。これは、適応フィルタを設ける必要がないので、エコー消去よりも簡単であるが、双方の人が同時に話すことができない。特に、第１の人が話をしているときに第２の人が話をし始める場合には、エコー抑制は、第２の人から第１の人に向かって移動するオーディオがエコーとなり、その場合には、第２の人からのオーディオを抑制することが考えられるかもしれない。従って、エコー抑制では、完全な双方向会話をすることは難しい。

エコー制御に対する線形アプローチ（エコー消去）を実行すべきか、又は非線形アプローチ（エコー抑制）を使用すべきかを決定する幾つかの方法がある。これを行う１つの方法は、当該特定ユーザによって使用されているボコーダの種類を見ることである。典型的にはＩＴＵによってＧ．ｘｘｘシリーズスタンダードの形態で長年にわたって指定されてきた多くのボコーダがある。例えば、Ｇ．７１１、Ｇ．７２６及びＧ．７２２ボコーダは一般に線形であり、従って、これらのボコーダの１つを使用して実行された通話に関連して、エコー消去が使用されてもよい。これに対して、Ｇ．７２０、ＥＶＲＣ及び変形物、ＡＭＲ、Ｇ．７２３．１、Ｇ．７２２．２は典型的には非線形であり、従って、これらのボコーダの１つが通信セッション参加者によって使用中である場合には、エコー抑制を使用しなければならないかもしれない。モバイルユーザは多くの場合、エンハンスト・バリアブルレート・コーデック（ＥＶＲＣ）又はアダプティブ・マルチレート・コンプレッション（ＡＭＲ）のようなボコーダを使用しているかもしれないが、ビジネスユーザは、Ｇ．７０２／Ｇ．７１１／Ｇ．７２２のようなボコーダを使用することが多く、家庭のユーザは、Ｇ．７２９又はＧ．７１１ボコーダを使用することが多い。従って、ネットワーク接続の種類は、当該人によって使用中の特定のボコーダに影響を及ぼすかもしれない。

エコー抑制又はエコー消去の選択は、 通信セッションに加わる各人に対してコンテキストインタフェース及び推論エンジン４６によって別個に実行されるので、最適なエコー処理は、当該特定の人に対して実行されるかもしれない。

ボコーダの種類に加えて、ネットワーク障害もまた、非線形エコー抑制を実施する必要性を表すかもしれない。検出されるネットワーク障害の例には、パケット損失及びジッターが含まれ、これらは、パターン、スパイク率、バーストサイズ、周波数／発生等に従って更に特徴づけられるかもしれない。スパイク率のような測定されたジッター特性は、ネットワークジッター特性における頻繁な変化を表すかもしれない。パケット損失率が、それを下回ると標準的なパケット損失隠匿アルゴリズムが軽微な人工物で動作する比率を超える場合には、エコー消去の代わりに、エコー抑制が使用されるべきである。

ユーザ単位にエコー処理を実施することに加えて、オーディオエンハンサは、ユーザ単位にノイズ制御を実施することもできる。チャンネル上にバックグラウンドノイズがある場合には、バックグラウンドノイズを減少させるため、或る形態のノイズ抑制を実行するのが望ましい。しかしながら、ノイズ抑制がチャンネルに関与する信号を消失させるかもしれないので、ノイズを抑制するのを積極的にしすぎないことが重要である。

本発明の実施形態によれば、ノイズ抑制のレベルと種類は、特定のユーザ及びユーザのロケーションと会話の種類（ビジネス／日常）のようなコンテキスト情報をもつ通信チャンネルの特定の特性に応じて調整されることができる。典型的には、ノイズリダクションエンジンは、オーディオエンハンサによって実行されてもよいが、本発明は、このやり方に限定されない。

一実施形態では、ノイズ抑制のレベルと種類は、話者とノイズリダクションエンジンとの間のボコーダの種類に基づいて調整されることができる。ボコーダには、２つの一般的な種類、即ち、元の波形を保持する波形ボコーダと、元の信号を復元して成分にし、次いで成分を個々に圧縮するパラメトリックボコーダとがある。Ｇ．７１１又はＧ．７２６のような波形ボコーダが使用される場合には、ノイズ 抑制アルゴリズムは、より積極的なものにすることができる。パラメトリックボコーダが使用される場合には、圧縮比に応じて、ノイズ抑制は、より積極的でないものにすべきである。

さらに、信号に対するノイズの比率を決定するため、ノイズフロア測定が使用されてもよい。周囲環境のノイズフロアが特定の閾値以上である場合には、参加者がユーザ装置のエリアで条件を変えてノイズ閾値の減少を支援することができるように、アプリケーションインタフェース３２を介して参加者に通知を送ってもよい。例えば、参加者は、スピーカーフォンを装着してもよく、装置のマイクロフォンは、コンピュータファン、プロジェクタファン、又は他の種類のノイズ源のようなノイズ源に非常に近接して置かれてもよい。
参加者は、通話時にファンが大きなノイズを発生させることに気付かないかもしれない。
参加者に通知を送ることにより、参加者は、フォンを移動させたり、スピーカーフォンではなくヘッドセットに切り換えたりすることができるかもしれない。

同様に、屋外環境は典型的には、屋内環境よりも音が大きい。人が外から話している場合には、信号のノイズの量を減少させるため、補償／調整が行われてもよい。例えば、ノイズ消去処理は、人が屋内から話している場合よりも人が屋外から話している場合に、より積極的なものになるかもしれない。

従って、上述のように、各参加者のコンテキストは、コンテキストインタフェース及び推論エンジンによって収集され処理される。コンテキストは、参加者の氏名、会社の役職、会話の種類（ビジネス、日常、身内、１０代）を含んでもよく、これらは、コンテキストインタフェース及び推論エンジンが通信セッション上でオーディオの所要の品質を決定するのを支援する。例えば、ビジネス上の多者通話は、各様にサポートされる必要があるかもしれず、十代の人々の間での多者通話又は家族間での多者通話よりも、異なるオーディオの品質を有している。かくして、通信セッションは、ソーシャルコンテキストと関連した予想に基づき、経験品質の所要の閾値を決定するために、使用されてもよい。その際、これらの経験品質の因子は、エコー抑制、ノイズリダクション、ボリューム均衡等の点で、通話の処理を調整するのに使用されてもよく、これは、通信セッション上で一緒にミキシングされるオーディオストリームについてオーディオプロセッサによって実行される。

一実施形態では、通信ブリッジは、参加者について利用可能なコンテキスト情報、通話のコンテキスト並びに装置の種類、ネットワーク接続の種類及び参加者がどのように通信ブリッジに接続されたかと関連した他の性質についての物理的な情報を使用して、経験品質に影響を及ぼす幾つかの因子に対する改良が可能か否かを決定する。例えば、通信ブリッジは、エコー消去、ノイズリダクション、ラウドネス比、又は他の因子を向上させることができるか否かを決定してもよい。その際、通信ブリッジは、利用可能なメカニズムがエンドユーザの経験品質を変える程にその因子を向上させるか否かを決定してもよい。もしそうでなければ、利用可能なメカニズムを適用する理由はない。たとえ通信ブリッジが、利用可能なメカニズムを使用してエンドユーザの経験品質を向上させることができるとしても、そのようにすることがビジネスの視点から見て価値があるか否かを決定するため、通信ブリッジは、通信セッションと関連したソーシャルコンテキストを見てもよい。

信号処理ネットワーク機器の動的統合用のメカニズム（ＭＤＣＳＰＮＥ）は、音声の質を拡張するため信号処理機能を連動させるＩＴＵ‐Ｔの勧告案である。特定の実行に応じて、ネットワーク上の異なる場所において異なる音声の質の拡張を適用すると、処理間での意図しない干渉のため、望ましくない劣化が生ずることがある。通信ブリッジにおいてオーディオプロセッサを介して多数の音声の質の拡張処理を実行することによって、これらの拡張は、この種の意図しない干渉及び付随する潜在的なオーディオの質の劣化を回避するように、連動させてもよい。

図３に示される実施形態では、通信ブリッジは、サービス保証インタフェース７２を含み、サービス保証インタフェース７２は、ネットワークの状態に関するネットワークからの入力を受信し、この入力を通して、通信ブリッジは、是正措置を講じてもよい。サービス保証インタフェースはまた、ブリッジの状態を提供し、サービス保証システムに作用するオーディオにより、サービス保証システムは、ブリッジが時間の経過につれてどのように作用するかを知ることができる。同様に、サービス保証システムは、ネットワークがどのように動作するのかを通信ブリッジが学習することができるように、ネットワークの状態に関する動作情報を提供してもよい。例えば、上述のように、ネットワークのパケット損失比及びジッター特性は、使用するエコー処理の種類を通信ブリッジが決定するのを支援してもよい。サービス保証インタフェース７２は、ネットワークの動作状態に関する情報を得て、特定の信号に対するエコー処理の実行時にコンテキストインタフェース及び推論エンジンがこれらのパラメータを決定するのを支援することができる。

本発明の方法によって実施され、ここで説明した機能全ては、利用するサブルーチンを実装したソフトウェアプログラム及び当業者には公知の他のプログラミング技術を使用して実施されてもよいことを理解すべきである。もう１つの選択肢として、これらの機能が、ハードウェア、ファームウェア、又はハードウェア、ソフトウェア、及びファームウェアの組み合わせで実行されてもよい。かくして、本発明は、特定の実装に限定されない。

制御ロジックは、ネットワーク要素内のコンピュータで読み取り可能なメモリ内に記憶され、マイクロプロセッサ上で動作される１組のプログラム指示として実行されてもよい。しかしながら、以前の実施形態に関連したこの実施形態において、ここに記載されている論理装置の全てが、別個の構成部品、集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなプログラム可能な論理装置又はマイクロプロセッサと関連して使用されるプログラム可能な論理回路、又はこれらの任意の組み合わせを含む任意の他の装置を使用して具体化されることは、熟練者には明らかである。プログラム可能な論理回路は、読み取り専用メモリチップ、コンピュータメモリ、ディスク、又は他の記憶媒体のような有形の媒体内に一時的に又は恒久的に取り付けることができる。このような実施形態は全て、本発明の範囲内に包含されることを意図している。

図示され、ここに記載された実施形態のさまざまな変形及び修正を本発明の精神及び範囲の範囲内において行ってもよいことを理解すべきである。従って、上述の説明に含まれ、添付図面に示された事項は全て、限定的な意味ではなく、例示的な意味とみなされることを意図している。本発明は、以下の請求項及びそれらの等価物において規定されたもののみに限定される。

Claims (21)

1. 通信セッションの参加者と通信し、前記通信セッションの参加者が通信ブリッジによってホストされる通信セッションに加わることを可能にするアプリケーションインタフェースと、
   前記通信ブリッジによってホストされる前記通信セッションを実行し、前記通信セッションの参加者の各々から入力オーディオストリームを受信し、前記通信セッションの参加者に提示するためミキシングされる前記入力オーディオストリームのサブセットを選択するオーディオブリッジと、
   前記通信セッションの参加者の各々に対する通信コンテキスト及び前記通信セッションのソーシャルコンテキストを決定し、前記選択された入力オーディオストリームの各々に適用される音声品質の拡張処理の一意の組を選択するコンテキストインタフェース及び推論エンジンと、
   音声品質拡張のそれぞれの一意の組が、前記通信セッションの参加者に提示するためにミキシングされる前に、前記選択された入力ストリームの各々に個々に適用されるように、前記選択された入力オーディオストリームの各々に関するオーディオ処理を個々に実施するオーディオエンハンサと、
   を含む拡張通信ブリッジ。
2. 前記通信セッションの参加者の各々に対する前記通信コンテキストが、前記通信セッションの参加者の各々に対するネットワークコンテキストを含む、請求項１に記載の拡張通信ブリッジ。
3. 前記ネットワークコンテキストは、少なくとも一部がインタフェースを介してネットワークサービス保証システムにより決定される、請求項１に記載の拡張通信ブリッジ。
4. 前記コンテキストインタフェースはさらに、前記選択された入力オーディオストリームの各々に適用される音声品質の拡張処理の一意の組を選択するため、経験品質因子を使用する、請求項１に記載の拡張通信ブリッジ。
5. 前記コンテキストインタフェースがさらに、特定の音声の品質拡張処理が、前記選択された入力オーディオストリームのうち１又は複数に適用されるには高価すぎるか否かを決定するため、ビジネス因子を使用する、請求項４に記載の拡張通信ブリッジ。
6. 前記経験品質因子が、前記通信セッションの前記ソーシャルコンテキストに基づいて選択される、請求項４に記載の拡張通信ブリッジ。
7. 前記音声品質拡張処理が、エコー制御と、ゲイン制御と、ノイズ抑制とを含む、請求項１に記載の拡張通信ブリッジ。
8. 前記エコー制御が、前記入力オーディオストリーム上で使用中のボコーダの種類に基づき、特定の選択された入力オーディオストリームに対してエコー消去及びエコー抑制を実行する選択を含む、請求項７に記載の拡張通信ブリッジ。
9. 前記オーディオ信号の波形特性を保持する前記ボコーダが前記入力オーディオストリーム上で使用されている場合に、エコー消去が用いられる、請求項８に記載の拡張通信ブリッジ。
10. 非線形特性をもつボコーダが前記入力オーディオストリーム上で使用されている場合に、エコー抑制が用いられる、請求項８に記載の拡張通信ブリッジ。
11. より積極的なノイズ抑制が、 パラメトリックボコーダに対してではなく、波形保持ボコーダに対して実行される、請求項７に記載の拡張通信ブリッジ。
12. コンテキストインタフェース及び推論エンジンがまた、前記通信セッションの参加者の各々のソーシャルコンテキストを決定し、前記特定の通信セッションの参加者の各々の前記ソーシャルコンテキストに基づき、前記オーディオエンハンサがどのようにオーディオ処理を個々に実施するかを調整する、請求項１に記載の拡張通信ブリッジ。
13. 前記ソーシャルコンテキストが、前記選択された入力オーディオストリームの１つとして含まれる、前記通信セッションの参加者のうち少なくとも１人からのオーディオを優先的に選択するのに使用される、請求項１に記載の拡張通信ブリッジ。
14. 前記ソーシャルコンテキストが、私的な通信セッションと比較してビジネス関連の通信セッションを優先するのに使用される、請求項１に記載の拡張通信ブリッジ。
15. 前記アプリケーションインタフェースが、前記通信ブリッジが前記通信セッション中に前記参加者に指示を提供するのを可能にする、請求項１に記載の拡張通信ブリッジ。
16. 前記指示の１つが、前記参加者をノイズ源から遠去かる方へ、前記通信セッションに接続するのに使用されている通信装置を移動させるように、前記参加者の１人に指示するメッセージである、請求項１５に記載の拡張通信ブリッジ。
17. 前記指示の１つが、前記参加者を前記通信セッションに接続するのに使用されている通信装置上でミュート機能を作動させるように、前記参加者の１人に指示するメッセージである、請求項１５に記載の拡張通信ブリッジ。
18. 前記アプリケーションインタフェースは、前記通信ブリッジが、経験品質因子及びビジネス因子に基づき、前記参加者の１人と関連した通信装置のゲインレベル、ノイズリダクション、ミュート、又はコーデック選択を制御し調整するのを可能にする、請求項１に記載の拡張通信ブリッジ。
19. 前記アプリケーションインタフェースが、前記通信セッションの１つへの前記参加者の各々によって使用中の通信装置の種類を検出し、通信装置の前記種類の情報を前記コンテキスト及びインタフェースエンジンに提供する、請求項１に記載の拡張通信ブリッジ。
20. 前記通信ブリッジが、ビデオデータ並びにオーディオデータを取り扱う、請求項１に記載の拡張通信ブリッジ。
21. 前記通信ブリッジが、以前の通信セッションと関連して使用された処理操作の履歴を維持し、前記通信セッションの初期設定を決定するため前記履歴を使用する、請求項１に記載の拡張通信ブリッジ。

Images