JP2015508245A - オーディオ・レンダリング・システムおよびそのための方法 - Google Patents

Abstract

オーディオ・レンダリング・システムは、主として非反射音響経路に沿って聴取位置（１０３）にオーディオをレンダリングする第一のスピーカー配置（１０７）と、主として反射音響経路に沿ってオーディオをレンダリングする第二のスピーカー配置（１１５）とを有する。オーディオ・レンダラー（１０１）は、多チャネル・オーディオ信号のチャネル信号を第一のオーディオ信号および該第一のオーディオ信号より拡散した音に対応する第二のオーディオ信号に上方混合する上方混合器（２０３）を有する。上方混合は多チャネル信号の二つのチャネルについての相関指標に応じて行なわれる。相関指標は相関推定器（２１３）によって生成される。ドライバ（２０５、２０７）が第一および第二のオーディオ信号からそれぞれ第一および第二のスピーカー配置（１０７、１１５）を駆動する。本アプローチは、特定的な音源についての位置誤差を導入することなく、より包み込むようなオーディオ経験を提供しうる。

Description

本発明はオーディオ・レンダリング・システムに、排他的にではないが詳細には、サラウンド・サウンド・オーディオ・レンダリング・システムのような空間的オーディオ・レンダリング・システムに関する。

単純なステレオを超える多チャネル・オーディオ・レンダリング、特に多チャネル空間的サウンド・レンダリングが、サラウンド・サウンド・ホームシネマ・システムのようなアプリケーションを通じて一般的になっている。典型的には、そのようなシステムは聴取位置に対して特定の空間的位置に位置されるスピーカーを使う。たとえば、5.1ホームシネマ・システムは、一つのスピーカーが聴取位置の真正面（中央チャネル）、一つのスピーカーが聴取位置の前方左側、一つのスピーカーが聴取位置の前方右側、一つのスピーカーが聴取位置の後方左側、そして一つのスピーカーが聴取位置の後方右側に位置される五つのスピーカーを介して空間的サウンドを提供する。さらに、非空間的な低域スピーカーがしばしば設けられる。

そのような通常のシステムは、聴取位置に対する特定の公称位置におけるオーディオ信号の再生に基づいている。典型的には各オーディオ・チャネルについて一つのスピーカーが設けられ、よってスピーカーはシステムについてのあらかじめ決定されたまたは公称上の位置に対応する位置に配置される必要がある。

空間的多チャネル、特にサラウンド・サウンド・システムでは、多くのオーディオ・システムでは、より熱中させるユーザー経験を提供することが望まれている。これはたとえば、新たな位置に配置でき、それにより所与の聴取位置にいる聴取者にとってより包み込むようなサウンド・レンダリングを提供する追加的なスピーカーを導入することによって達成できる。しかしながら、コンテンツはしばしば特定の、典型的にはレガシー駆動のフォーマットで提供されるので、オーディオ・レンダリング・システムは多くのそのようなアプリケーションにおいて、受け取った信号から新たなチャネルを生成することが要求されることがある。たとえば、ステレオ信号について、聴取位置の横または背後からレンダリングされることのできるチャネルを導出することが望ましいことがありうる。五チャネル・サラウンド・サウンド・システムについては、たとえば聴取者より高まった位置からまたは聴取者の横にレンダリングするための第六および第七のチャネルを生成することが望ましいことがありうる。

このように、オーディオ・レンダリング・システムは、追加的なチャネルを生成するために一つまたは複数の入力チャネルの上方混合〔アップミキシング〕を実行してもよい。よって、システムは、与えられた入力オーディオ信号から追加的なスピーカー駆動信号を合成するアルゴリズムを用いてもよい。

しかしながら、そのような上方混合についての決定的な問題は、空間的歪みまたは他の歪みが導入されるべきではなく、結果として得られるレンダリングされたオーディオステージは相変わらず自然なものとして知覚されるべきであるということである。具体的には、より熱中させるおよび包み込むようなサウンド経験が、結果としてたとえば空間的によく定義された音源がその知覚される位置を変えることなく、提供されることが望ましい。

新しいチャネルを合成するためのオーディオの上方混合のためには多くのアルゴリズムおよびアプローチが提案されているが、これらは最適なパフォーマンスを与えないきらいがある。具体的には、合成されたチャネルを生成してレンダリングするたいていのレンダリング・システムは、最適ではない出現経験を提供する傾向があるおよび／または空間的によく定義された音源に空間的な歪みを導入する傾向がある。

よって、改善されたオーディオ・レンダリング・アプローチ、特に上方混合が一つまたは複数の追加的なチャネルを合成することを許容するオーディオ・レンダリング・アプローチが有利であろう。特に、向上した柔軟性、低下した複雑さ、改善されたユーザー経験、より包み込むようなサウンド経験、低下した空間的歪みおよび／または改善されたパフォーマンスを許容するオーディオ・レンダリング・アプローチが有利であろう。

よって、本発明は、単独でまたは任意の組み合わせにおいて上述した欠点の一つまたは複数を好ましくは緩和、軽減または解消しようとするものである。

本発明のある側面によれば、オーディオ・レンダラーと；前記オーディオ・レンダラーに結合され、聴取位置にオーディオをレンダリングするよう構成された第一のスピーカー配置であって、該第一のスピーカー配置から前記聴取位置への方向が前記第一のスピーカー配置の主ローブの3dBビーム幅の範囲内である指向性放射パターンを有する、第一のスピーカー配置と；前記オーディオ・レンダラーに結合され、聴取位置にオーディオをレンダリングするよう構成された第二のスピーカー配置であって、該第二のスピーカー配置から前記聴取位置への方向が前記第二のスピーカー配置の主ローブの3dBビーム幅の外側である指向性放射パターンを有する、第二のスピーカー配置とを有するオーディオ・レンダリング・システムであって、前記オーディオ・レンダラーは：多チャネル・オーディオ信号を受領する受領器と；前記多チャネル・オーディオ信号の第一チャネル信号および第二チャネル信号についての相関指標を生成するための相関推定器と；相関指標に応答して前記第一チャネル信号を第一のオーディオ信号および第二のオーディオ信号に上方混合する上方混合器であって、前記第二のオーディオ信号は前記第一のオーディオ信号より拡散した音に対応する、上方混合器と；前記第一のオーディオ信号から前記第一のスピーカー配置を駆動するための第一のドライバと；前記第二のオーディオ信号から前記第二のスピーカーを駆動するための第二のドライバとを有する、システムが提供される。

本発明は、聴取者に対する改善されたユーザー経験を提供してもよい。特に、より包み込むような、より没頭させるユーザー経験がしばしば達成されうる。多くのシナリオでは、拡張されたサウンドステージが知覚できる。サウンドステージは自然なものとして知覚されることができ、空間的によく定義された位置の空間的歪みが低減されうる。特に、二つのチャネルの間の相関／コヒーレンスに基づく上方混合と、非反射経路および反射経路を使うレンダリングとの組み合わせは、多くの実装において、改善された知覚されるサウンドステージ拡張を提供しうる。特に、それは典型的には強い空間的手がかりをもたないものとして知覚される環境音の空間的拡張を許容しつつ、同時に、特定のよく定義された個々の空間的音源が不変に感じられることを許容しうる。このアプローチは、特に、サウンドステージにおける個別的な音源を変えることなく、一般的な環境音を拡張して、ますますユーザーを取り囲むよう知覚されるようにするオーディオ・レンダリングを与えうる。

特に、非拡散音／直接音に空間的歪みや誤りを導入することなく、拡散音が、より抱擁するようなサウンドステージを提供するよう空間的に拡張されうる。

多くの実施形態において、多くのオーディオ信号について、本アプローチは、明瞭に定位可能であるとともに非常に包囲的な環境音を送達することができることがある。これは典型的には、いかなるユーザー対話もなしに達成されうる。

多くの実施形態において、第一および第二のチャネルは具体的には、ステレオまたはサラウンド・サウンド・セットアップの左前方および右前方チャネルであってもよい。多くの実施形態において、第一および第二のチャネルは具体的には、サラウンド・サウンド・セットアップの左サラウンドおよび右サラウンド・チャネルであってもよい。第一チャネル信号に適用される上方混合は第二チャネル信号にも適用されてもよい。

二つのスピーカー配置からの指向性放射パターンは、実質的に同じであっても、あるいは異なっていてもよい。主ローブのビーム幅はいくつかの実施形態では比較的狭くてもよく（たとえば±20°）、あるいはたとえば他の実施形態では比較的広くてもよい（たとえば±120°）。いくつかの実施形態では、第一のスピーカー配置は二つ（以上）の実質的に等しいローブをもつ指向性放射パターンを有していてもよく、その場合、これらの主ローブのいずれかがその3dBビーム幅内に聴取位置への方向を含んでいてもよい。いくつかの実施形態では、第二のスピーカー配置は二つ（以上）の実質的に等しいローブをもつ指向性放射パターンを有していてもよく、その場合、これらの主ローブのいずれもその3dBビーム幅内に聴取位置への方向を含まないのでもよい。たとえば、バイポーラー・スピーカーによって実装される第二のスピーカー配置については、両方のローブが聴取位置への方向をその3dBビーム幅内に含まないことになる。

第一のスピーカー配置は、使用に際して、主として非反射音響経路に沿って聴取位置にオーディオをレンダリングしてもよい。第一のスピーカーは具体的には、最初の波面後の最初の20ms以内に第一のスピーカー配置から聴取位置に到達するオーディオ・エネルギーの半分超が一つまたは複数の直接経路を介して到達するよう構成されていてもよい。上記20ms以内の音の一部は可能性としては反射音響経路を通じて聴取位置に到達してもよいが、この時間区間内に第一のスピーカー配置から聴取位置に到達するオーディオ・エネルギーの半分超は多くの実施形態およびシナリオでは、反射されたものではないことになる。上記20msの時間区間外の音は、典型的には残響音であることとなり、空間的手がかりはわずかであり、弱い。残響音は部屋の音響効果のみに依存し、スピーカー・セットアップおよび配置には依存しない傾向がある。

第二のスピーカー配置は、使用に際して、主として反射音響経路に沿って聴取位置にオーディオをレンダリングしてもよい。第二のスピーカーは具体的には、最初の波面後の最初の20ms以内に第二のスピーカー配置から聴取位置に到達するオーディオ・エネルギーの半分超が一つまたは複数の直接経路を介して到達するのではないよう構成されていてもよい。上記20ms以内の音の一部は可能性としては非反射音響経路を通じて聴取位置に到達してもよいが、この時間区間内に第二のスピーカー配置から聴取位置に到達するオーディオ・エネルギーの半分超は多くの実施形態およびシナリオでは、少なくとも一度反射されていることになる。典型的な反射は、レンダリング・システムが位置している部屋の壁、天井または床からであってもよい。

第二のオーディオ信号は、第一のオーディオ信号より拡散した音に対応することができる。これは、第二のオーディオ信号は、第一のオーディオ信号についてよりも、相関指標が第一チャネル信号と第二チャネル信号との間のより低い相関を示す信号成分の割合が高いという意味においてである。第二のオーディオ信号は第一のオーディオ信号より（第一および第二のチャネルの間の）より相関していない音に対応することができる。第一および第二のオーディオ信号がより拡散したまたはより拡散していない音を表わすまたはそのような音に対応するという言及をするとき、この言及は、入力多チャネル信号によって表わされるオーディオ・シーンとの関連で考えられる。このオーディオ・シーンは、いくつかの空間的によく定義された（点状の）源および空間的によく定義されていないより拡散した音成分をもつオーディオ環境を表わしていてもよい。第二のオーディオ信号は、第一のオーディオ信号よりも、入力多チャネル／捕捉されたオーディオ・シーンの拡散音のエネルギーのより高い割合を含むという意味で、第一のオーディオ信号より拡散した音に対応することができる。同様に、第一のオーディオ信号は、第二のオーディオ信号より入力多チャネル／捕捉されたオーディオ・シーンの空間的によく定義されたオーディオ源のオーディオ・エネルギーのより高い割合を含んでいることによって、第二のオーディオ信号より拡散していない音に対応することができる。このように、ある信号がある度合いの拡散性を表わすという言及をするとき、これは、もとの多チャネル信号から、よって捕捉されたオーディオ・シーンから含んでいる音成分の特性に関係しうる。拡散性／非拡散性という用語は、信号に言及するときは、一般に、指向性／非指向性、定位可能／定位不可能および／または前景／背景のような用語に対応することがある。

第一のオーディオ信号は主として、空間的に特定的なオーディオ源（点状源のような）に対応する第一チャネル信号の音成分を含んでいてもよい。一方、第二のオーディオ信号は主として、空間的に非特定的な環境音に対応する第一チャネル信号の音成分を含んでいてもよい。具体的には、第二のオーディオ信号は主として背景音を反映していてもよく、一方、第一のオーディオ信号は主として特定的な前景音源を反映していてもよい。

本発明のある任意的な特徴によれば、前記オーディオ・レンダラーは、第一チャネル信号を複数の時間‐周波数区間に分割するよう構成されており、前記相関推定器は、各時間‐周波数区間について相関値を生成するよう構成されており、前記上方混合器は、各時間周波数区間について、その時間周波数区間についての第一チャネル信号の信号値に、前記時間‐周波数区間についての相関値の単調減少関数である第一の重みによって重み付けすることによって、第二のオーディオ信号を生成するよう構成されている。

これは、特に有利なアプローチを提供することがある。特に、これはチャネル間で高度に相関している音成分と高度に相関していない音成分の効率的な分離を提供することがある。このアプローチは、第一のオーディオ・チャネルの拡散音成分に対応する第二のオーディオ信号の効果的な生成を許容しうる。

本発明のある任意的な特徴によれば、前記上方混合器はさらに、各時間周波数区間について、その時間周波数区間についての第一チャネル信号の信号値に、前記時間‐周波数区間についての相関値の単調増加関数である第二の重みによって重み付けすることによって、第一のオーディオ信号を生成するよう構成されている。

これは、特に有利なアプローチを提供することがある。特に、これはチャネル間で高度に相関している音成分と高度に相関していない音成分の効率的な分離を提供することがある。このアプローチは、第一のオーディオ・チャネルの非拡散音成分に対応する第一のオーディオ信号と、第一のオーディオ・チャネルの拡散音成分に対応する第二のオーディオ信号との効果的な生成を許容しうる。

本発明のある任意的な特徴によれば、前記上方混合器はさらに、前記第一チャネル信号および前記第二チャネル信号についてのエネルギー差推定値に応じて前記重みを決定するよう構成されている。

このアプローチは、たとえば拡散音と非拡散音への改善された分離を許容しうる。特に、前記第一および第二のチャネルの一つに計画されている、すなわちエネルギーが前記チャネルの一つに主として位置している空間的によく定義された（たとえば点状の）源について改善された考慮を提供しうる。

前記エネルギー差は、個々の時間周波数区間において、時間周波数区間の群に対して、あるいは全周波数に対して評価されてもよい。

利得は、前記エネルギー差の関数として決定されてもよく、特に、前記エネルギー差の単調減少関数であってもよい。

本発明のある任意的な特徴によれば、前記相関推定器は、複数の時間周波数区間の相関値の周波数平均に応じて前記周波数区間についての相関値を決定するよう構成されている。

これは改善されたパフォーマンスを提供することがあり、特に、多くの実施形態において、また多くの信号について、前記第一チャネル信号の上方混合によって引き起こされる歪みを低減しうる。

本発明のある任意的な特徴によれば、前記上方混合器はさらに、前記多チャネル信号についてのオーディオ・コンテンツ特性に応じて前記重みを決定するよう構成されている。

これは多くの実施形態において改善されたユーザー経験を提供しうる。たとえば、特定のオーディオ信号の拡散音および非拡散音のレンダリングの改善された適応を提供しうる。たとえば、そのオーディオ・コンテンツにとってより適切なサウンドステージが生成されうる。

本発明のある任意的な特徴によれば、前記オーディオ・レンダラーは、前記第一のオーディオ信号のレンダリング属性を、前記第二のオーディオ信号とは独立に修正するよう構成されていてもよい。

これは多くの実施形態において改善されたユーザー経験を提供しうる。たとえば、特定のオーディオ信号の拡散音および非拡散音のレンダリングの改善された適応を提供しうる。たとえば、そのオーディオ・コンテンツにとってより適切なサウンドステージが生成されうる。

本発明のある任意的な特徴によれば、前記レンダリング属性は前記第一のオーディオ信号についてのオーディオ・レベルである。

これは多くの実施形態において改善されたユーザー経験を提供しうる。たとえば、環境背景音および前景音の源の間のバランスが動的に変えられることを許容しうる。

代替的または追加的に、前記オーディオ・レンダラーは、前記第二のオーディオ信号のオーディオ・レベルを、前記第一のオーディオ信号とは独立に修正するよう構成されていてもよい。

本発明のある任意的な特徴によれば、前記レンダリング属性は空間的オーディオ放射パターン属性である。

これは多くの実施形態において改善されたユーザー経験を提供しうる。特に、オーディオ放射パターンが、環境背景音および前景の点状音源のレンダリングについて独立に最適化されることを許容しうる。オーディオ放射パターン属性は、たとえば動的に可変なビーム形成器とともに使われるスピーカー・アレイのビーム・パターン／形状の属性であってもよい。

代替的または追加的に、前記オーディオ・レンダラーは、前記第二のオーディオ信号の空間的オーディオ放射パターン属性を、前記第一のオーディオ信号とは独立に修正するよう構成されていてもよい。

本発明のある任意的な特徴によれば、前記第二のスピーカー配置についての指向性放射パターンは聴取位置の方向において落ち込み〔ノッチ〕をもつ。

これは、レンダリングされる拡散音成分の改善された知覚を提供することによって、改善されたユーザー経験を提供しうる。第二のスピーカー配置は特に、第二のドライバに含まれるビーム形成器によって制御されるオーディオ・アレイであってもよい。適応的ビーム形成器は、（可能性としては動的に）聴取位置の方向にヌルを方向制御するよう構成されていてもよい。

本発明のある任意的な特徴によれば、第二のスピーカー配置はバイポーラー・スピーカー配置を有する。

これは、複雑さの低い実装を維持しつつ有利なパフォーマンスを許容しうる。

本発明のある任意的な特徴によれば、第一のスピーカー配置および第二のスピーカー配置は一つのスピーカー・エンクロージャーに含まれる。

これは実際的な実装を提供することがあり、多くの場合において、オーディオ環境において一つのスピーカー・エンクロージャーを配置するだけでよいので、ユーザーにとって有利でありうる。二つのスピーカー配置は、異なる方向に向けられた一つまたは複数の駆動ユニットの別個の複数のセットによって実装されてもよい。もう一つの例として、第一および第二のスピーカー配置は、第一および第二のオーディオ信号のそれぞれについて異なるビーム形成器によって駆動される単一のオーディオ・アレイによって実装されてもよい。それらのビーム形成器は異なる方向にビームを生成する。

本発明のある任意的な特徴によれば、前記多チャネル・オーディオ信号は空間的多チャネル信号であり、その各チャネルはある空間的スピーカー配位の公称位置に関連付けられており、第二のスピーカー配置は前記公称位置とは異なる位置に位置されている。

これは、多くの実施形態において、改善されたユーザー経験およびより包み込むようなサウンド・レンダリングを提供しうる。特に、点状オーディオ源の位置を維持したまま、より大きなサウンドステージの知覚を提供しうる。

本発明のある任意的な特徴によれば、前記第二のドライバは高められたスピーカー位置に関連付けられている。

これは、多くの実施形態において、改善されたユーザー経験およびより包み込むようなサウンド・レンダリングを提供しうる。特に、点状オーディオ源の位置を維持したまま、より大きなサウンドステージの知覚を提供しうる。

本発明のある側面によれば、オーディオをレンダリングする方法が提供される。

本発明のこれらおよびその他の側面、特徴および利点は、以下に記述する実施形態から明白となり、これを参照することで明快にされるであろう。

本発明の実施形態は、あくまでも例として、付属の図面を参照して記述される。
本発明のいくつかの実施形態に基づくオーディオ・レンダリング・システムの要素の例を示す図である。 本発明のいくつかの実施形態に基づくオーディオ・レンダラーの要素の例を示す図である。 多チャネル・オーディオ信号の二つのチャネル間の相関指標の例を示す図である。

以下の記述は、空間的サラウンド・サウンド・システムに適用可能な本発明の実施形態に焦点を当てているが、本発明はこの用途に限定されず、他の多くのオーディオ・レンダリング・システムに対しておよびこれにおいて適用可能であることは理解されるであろう。

図１は、本発明のいくつかの実施形態に基づくオーディオ・レンダリング・システムの例を示している。

本システムにおいて、オーディオ・レンダラー１０１は多チャネル信号を受領する。それは、この特定の例では、五チャネル空間的多チャネル信号である。多チャネル信号は、聴取位置１０３に対して特定の空間的位置に位置されたスピーカーに関連付けられた空間的チャネルをもつ通常の五チャネル信号であってもよい。たとえば、5.1ホームシネマ・システムは、一つのスピーカー１０５が聴取位置の真正面（中央チャネル）、一つのスピーカー１０７が聴取位置の前方左側、一つのスピーカー１０９が聴取位置の前方右側、一つのスピーカー１１１が聴取位置の後方左側、そして一つのスピーカー１１３が聴取位置の後方右側に位置される五つのスピーカーを介して空間的サウンドを提供する。さらに、非空間的な低域効果チャネルが低域スピーカー（図示せず）により設けられ、レンダリングされてもよい。

このように、図１のシステムは、聴取位置１０３にいる聴取者に空間的サウンド経験を提供しうる。しかしながら、単に通常の五チャネル・レンダリングを提供するのではなく、図１のシステムは、受領された信号から追加的なチャネルを合成するようさらに構成される。具体的には、図１のシステムは、一つのチャネルを二つのチャネルに分解し、該二つのチャネルを二つの異なるスピーカー配置からレンダリングしてもよい。

この特定の例では、左前方チャネルが第一の信号および第二の信号に分解される。ここで、第一の信号は、左前方チャネルのための公称位置に特に位置されていてもよい第一のスピーカー１０９を駆動し、第二の信号は第一のスピーカー１０９と共位置であってもよく、あるいは他のところに位置していてもよい第二のスピーカーを駆動する。

今の例では、右前方チャネルは同様に分解され、それにより追加的なスピーカー配置１１７が追加的な信号をレンダリングするために使われる。

本システムでは、このように、二つの前方横チャネルのそれぞれにおける信号は二つの異なる信号に分割される。さらに、生成される信号の一方は、特定的な（点状）音源からの音のような非拡散音に主として対応し、一方、他方の信号はより拡散した音に主として対応する。この区別および分解は、多チャネル・オーディオ信号の異なるチャネルの間の相関の評価に基づいている。特に、点状源はチャネル間の高度の相関を示す傾向があり、一方、たとえば残響効果、非指向性雑音などに由来する音のような拡散音は、高度の相関を示さない傾向がある。本システムでは、異なる信号を異なるようにレンダリングすることによって、これら二つのチャネルの個々の特性がさらに強調される。特に、非拡散信号は多分に直接音響経路を介してレンダリングされ、一方、拡散信号は多分に間接経路を介してレンダリングされる。

本システムは特に、環境の、より拡散した背景音と特定的な空間的によく定義された前景音源との間の区別をしようとする盲目的な分解アルゴリズムを適用してもよい。

たとえば、映画におけるオーディオ・シーンはしばしば、聴取者に対して前景にある音源（ダイアログおよび何らかの効果）およびより遠距離にあるまたは背景にある音要素（環境の音および時には背景音楽）からなることがある。後者の型の音は典型的には、特定的な空間手がかりの乏しい拡散音であろう。

理論上は、このようにしたコンテンツの盲目的な分解は追加的な手がかりなしではきわめて難しい。しかしながら、多くのステレオおよび多チャネル録音では、もとの混合はすでに、前景と背景の音要素が異なる仕方で混合される仕方で生成されている。具体的には、しばしば前景の音要素は典型的には一つか二つのスピーカーでのみ現われ、その場合、それらの要素はゼロ時間遅延において大きな信号レベル相互相関をもつ。他方、背景の音要素は典型的には二つ以上のスピーカーに配置され、典型的にはチャネル対の間でのゼロ遅延相互相関は弱い。主として一つのチャネルにパンされるいくつかの前景音も低い相互層間を示すことがあるが、後述するように、そのようなシナリオは明示的に検出され、補償されうる。

図１のシステムでは、信号の相関ベースの分解が使われ、これはしばしば、一方が主として拡散背景音に対応し、他方が主として非拡散前景音要素に対応する二つの信号を生成できることを達成することができる。

本システムでは、これら二つの信号は、異なる指向性放射パターンをもつスピーカー配置によってレンダリングされることができる。具体的には、前景信号をレンダリングするスピーカー配置は、直接聴取位置１０３に向けられてもよい。すなわち、聴取位置は、そのスピーカー配置の主ローブの（3dB）ビーム幅内にはいってもよい。対照的に、背景信号をレンダリングするスピーカー配置は、直接聴取位置１０３から背けるように向けられてもよい。よって、このスピーカー配置については、聴取位置は、主ローブの（3dB）ビーム幅の外であってもよい。よって、そのような配置は、反射音響経路を介してレンダリングされる音の割合に対する直接音響経路を介してレンダリングされる音の割合が、背景オブジェクトのレンダリングよりも前景オブジェクトのレンダリングについて、ずっと高いことを保証しうる。このように、レンダリングされる音の相対的な拡散性は、前景オブジェクトに比して背景オブジェクトについて高められる。

具体的には、ひとたび分解されたオーディオ信号が生成されたら、前景信号は、（20msの）非残響時間区間については主として直接音響経路を介して聴取位置１０３に信号をレンダリングするスピーカー配置によって再生されることができ、それにより強い空間的手がかりを提供し、その結果、明瞭に定位できる音像ができる。他方、背景信号は、（20msの）非残響時間区間については主として反射される経路を介して聴取位置１０３にオーディオをレンダリングするスピーカー配置によって再生されてもよく、それにより背景音の拡散性の増大を与える。これは、音が多くの方向から到来するように知覚される、より包み込むような聴取経験を提供するために追加的な背景チャネルが使用されることができるので、多くの実施形態において特に有利でありうる。このように、前景チャネルを使って特定的な前景音源の位置が変化しないことを保証しつつ、より大きなサウンドステージの知覚が達成されうる。

図２は、図１のシステムのうち、一つの入力チャネルからの二つの出力チャネルの生成に関係するいくつかの要素の例を示している。具体的には、図２は図１の左前方チャネルについての要素を示していると考えてもよいが、このアプローチは右前方チャネルにも適用可能であり、実は、のちに異なる仕方でレンダリングされる二つの出力チャネルに上方混合される、いかなるオーディオ信号にも等しく可能であることは理解されるであろう。

図２は、多チャネル信号を受領するよう構成された受領器２０１を有するオーディオ・レンダラー１０１を示している。

受領器２０１は、多チャネル信号の信号の一つの信号をフィードされる上方混合器２０３に結合されている。この例では、上方混合器２０３は左前方チャネルをフィードされる。上方混合器２０３は、受領した信号を上方混合して二つの出力信号を生成するよう構成されている。第二の信号は、第二の信号より拡散音のより高い割合を含む。よって、上方混合器２０３は入力信号を、主として、拡散したまたは空間的によく定義されていない音源に対応する音成分と、拡散しておらず典型的には空間的に比較的よく定義されている音成分とに分割してもよい。第一の信号は典型的には主として特定的な前景要素に対応してもよく、一方、第二の信号は典型的には背景音に対応してもよい。以下、二つの信号は前景信号および背景信号と称される。

本システムでは、前景信号と背景信号への分解は、多チャネル信号の二つのチャネルの間の相関を考えることによって実行される。このアプローチは、特に、拡散／背景信号が、多チャネル信号の異なるチャネル間の低い相関をもつよう生成される傾向があり、一方、点状の／特定的な前景オブジェクトは高い相関をもつ傾向があることを活用しうる。このように、上方混合器２０３は、高い相関をもつ音成分を前景信号に、低い相関をもつ音成分を背景信号に差し向けようとすることによって、信号を分解してもよい。こうして、前景信号は、背景信号よりも、相関した音成分のより高い濃度をもちうる。

前景信号は、上方混合器２０３および外部スピーカー配置１０７に結合されている第一のドライバ２０５にフィードされる。外部スピーカー配置１０７（以下では前景スピーカー１０７と称される）は一つまたは複数のスピーカー・ドライバ／オーディオ・トランスデューサを有していてもよい。

背景信号は、上方混合器２０３および外部スピーカー配置１１５に結合されている第二のドライバ２０７にフィードされる。外部スピーカー配置１１５（以下では背景スピーカー１１５と称される）は一つまたは複数のスピーカー・ドライバ／オーディオ・トランスデューサを有していてもよい。

このように、二つの生成された信号は異なるスピーカー配置（speaker arrangement）（簡単のためスピーカーとも称されるが、複数のスピーカー・ドライバを有していてもよく、実は、たとえばオーディオ・アレイおよび諸チャネルをレンダリングするためのビーム形成を使って、いくつかのスピーカー・ドライバを共有していてもよいことは理解されるであろう）を使って独立にレンダリングされる。

さらに、個々のスピーカーは、レンダリングされるオーディオ信号の特定の型に特に好適なレンダリングを提供するよう構成されている。こうして、スピーカーの特性は、二つの生成される信号の個々の特性について特に有利なレンダリングを提供するようなものである。

本システムでは、前景スピーカー配置１０７および背景スピーカー配置１１５はいずれも指向性スピーカーであり、よって指向性放射パターン（たとえば、放射の角度の関数としての相対的な利得として与えられる）をもつ。指向性放射パターンは、最大放射レベル（最大利得）が達成される主ローブを有する。そのような主ローブのビーム幅は、放射（パワー）レベル（利得）が最大放射レベル（利得）より3dB低いところまで低下した二つの点の間のビームの幅として与えられる3dBビーム幅として決定されてもよい。（バイポーラー・スピーカーのような）いくつかのスピーカー配置については、放射パターンは複数の同一のローブを示してもよい（すなわち、二つ以上の主ローブがあってもよい）。

D1のシステムでは、前景スピーカー配置１０７は、聴取位置１０３が主ローブの（または二つ以上ある場合には主ローブの任意のものの）3dBビーム幅内にはいるよう配置される。対照的に、背景スピーカー配置１１５は、聴取位置１０３が主ローブの（または二つ以上ある場合にはすべての主ローブの）3dBビーム幅内にはいらないよう配置される。この配置は特に、前景信号の、（後述するように初期の非残響時間区間での）主として直接音響経路に沿ったレンダリングを許容しうる。一方、背景信号は、（やはり前記非残響時間区間内で）主として反射音響経路に沿ってレンダリングされる。

特に図１のシステムでは、前景スピーカー１０７は、20msの非残響時間区間内では主として前景スピーカー１０７から聴取位置１０７への非反射音響経路に沿ってレンダリングされるオーディオを聴取位置にレンダリングするよう構成される。こうして、前景スピーカー１０７からの最初の波面後の最初の20ms以内のオーディオ・エネルギーの少なくとも半分は、聴取位置１０３に直接的な非反射経路を介して到達する。実際、多くのシナリオにおいて、音エネルギーの少なくとも75%またさらには90%が直接経路を介しうる。そのような直接的なレンダリングは、強い空間的手がかりを与え、聴取者に、前景スピーカー１０７からレンダリングされた音成分が前景スピーカー１０７の位置から発しているように知覚されることを許容する空間的手がかりを与える。これは、他の空間的チャネルからの（特に前方右および中央チャネルからの）対応する音成分とともに、特定的な空間的によく定義されたオーディオ要素がサウンドシーンにおいて位置され、特定的なよく定義された位置をもつ音源として知覚されることを許容するパン効果を提供する。

対照的に、背景スピーカー１１５は、20msの非残響時間区間内では主として背景スピーカー１１５から聴取位置１０３への反射音響経路に沿ってレンダリングされるオーディオを聴取位置にレンダリングするよう構成される。こうして、背景スピーカー１１５からの（最初の波面から20ms以内の）早期のオーディオ・エネルギーの少なくとも半分は、聴取位置１０３に非直接的な、反射されたレンダリングを介して到達する。実際、多くのシナリオにおいて、音エネルギーの少なくとも75%またさらには90%が反射経路を介しうる。反射は、システムが位置している室内の壁、床、天井、障害物などから生じてもよい。

そのような間接的なレンダリングの結果として、レンダリングされるオーディオは時間および空間の両方において広がり、それは聴取者に与えられる、スピーカー位置に関係する空間的手がかりの量を減らすことになる。聴取者はその代わり、広がった、より著しい拡散特性をもつ音を知覚しうる。このように、反射された音の使用は、より拡散した背景または環境音に対応する背景信号の拡散性の性質を高める。そのような拡散音は、たとえばファントム・オーディオ源または移動したオーディオ源の知覚を導入することなく、より大きな、より包み込むようなサウンドシーンの知覚を聴取者に与えるのに特に好適である。

諸サウンド・レンダリング・システムにおいて、レンダリングされるエネルギーのかなりの部分は聴取位置に残響信号成分として到達する。スピーカーから聴取位置への音響伝達関数のそのような残響尾部は比較的長く、推定するのが難しいことがある。さらに、残響伝搬は特定のスピーカー・セットアップとは独立である傾向があり、一般には主として部屋の特性に依存する。

残響尾部は、聴取者に対して非常に限られた空間的手がかりを提供する。図２のシステムでは、二つのスピーカー配置のレンダリングの間の区別は、空間的知覚における区別を提供するために使われる。よって、それらは初期の非残響時間区間については非常に異なるレンダリングを提供するよう構成され、残響尾部についての特性はそれほど有意ではない。したがって、それらのスピーカー配置は、20msの伝搬時間差区間として定義される非残響時間区間内では非常に異なるレンダリングを与えるよう構成されるが、この20msの伝搬時間差区間外では、レンダリング特性は有意とは考えられず、実際、二つのレンダリング・システムについて同じであってもよい。

このように、二つのスピーカー配置は、最初の波面から20ms以内に聴取位置１０３に到達するオーディオは第一のスピーカー配置１０１について直接経路を介して到達するよう構成される。等価だが、スピーカー配置から聴取位置１０３への音響伝達関数の最も早期の0でない値から（すなわち、聴取位置に到達する最初の波面から）最初の20msは、前景スピーカー１０７にとっては主として直接音響経路の結果であり、背景スピーカー１１５にとっては主として反射された経路の結果である。

以下では、レンダリングにおける区別および前景スピーカー１０７と背景スピーカー１１５のレンダリングの間の差への言及は、簡単のため、特性がこの20msの時間区間についてであることに明示的に言及しないことがあるが、たとえばレンダリングが主として直接音響経路または間接音響経路を介することへの言及がこの時間区間内で考えられるべきであることは理解されるであろう。

上方混合器２０３は、上方混合されるチャネル（今の特定の例では左前方チャネル）と他のチャネルとの相関の評価に基づいて前景および背景信号を生成するよう構成される。特に、上方混合されるチャネルと他のチャネルとの間の相関を示す相関指標が、新しい信号を合成するために上方混合器によって使用される。

よって、オーディオ・レンダラー１０１は、上方混合されるチャネルの信号と他のチャネルの信号についての相関指標を生成するよう構成されている相関推定器２１３を有する。考えているチャネルが左前方チャネルである例では、相関指標は典型的には、多くのシナリオにおいて、有利には、左前方チャネルの右前方チャネルに対する相関を示してもよい。たとえば、考えているチャネルが左サラウンド・チャネルである例については、相関指標は典型的には、多くのシナリオにおいて、有利には、左サラウンド・チャネルの右サラウンド・チャネルに対する相関を示してもよい。これらの相関は、むろん、それぞれ右前方チャネルおよび右サラウンド・チャネルについても等しく適切である。

図２の例では、相関推定器２１３は、直接相関を実行することによって相関指標を生成するよう構成されている。相関指標は、時間‐周波数タイルとも称される複数の時間周波数区間のそれぞれについて特定の相関値を有していてもよい。実際、信号の上方混合は時間‐周波数タイルにおいて実行されてもよく、相関指標は各時間‐周波数タイルについて相関値を与えてもよい。

いくつかの実施形態では、相関指標の分解能は、上方混合の時間‐周波数タイルの分解能より低くてもよい。たとえば、相関値は、いくつかの知覚的有意性帯域（perceptual significance band）のそれぞれについて、たとえばいくつかのERB帯域のそれぞれについて与えられてもよい。各知覚的有意性帯域は複数の時間‐周波数タイルをカバーしてもよい。

相関指標は上方混合器２０３にフィードされてもよく、上方混合器２０３はそれぞれ前景および背景信号についての利得を決定することに進むことができる。特に、入力信号はセグメント分割されて周波数領域に変換されてもよい。時間セグメントにおける各周波数領域値（FFTビン値）について（すなわち、各時間周波数タイルについて）、上方混合器２０３は、前景信号値を、対応する時間‐周波数タイルについての相関値から導出される前景利得をそれに乗算することによって生成してもよい。前景利得は、相関が増すにつれて増大してもよい。結果として、入力信号の相関した成分の高い重み付けを有する周波数領域信号が生成される。

同様に、時間セグメントにおける各周波数領域値（FFTビン値）について（すなわち、各時間周波数タイルについて）、上方混合器２０３は、背景信号値を、対応する時間‐周波数タイルについての相関値から導出される背景利得をそれに乗算することによって生成してもよい。背景利得は、相関が増すにつれて減少してもよい。結果として、入力信号の相関した成分の低い重み付けを有する周波数領域信号が生成される。

二つの生成された周波数信号は次いでもとの時間領域に変換されて、背景信号および前景信号を与えてもよい。

上方混合器２０３は、特に、信号の全体的なエネルギー・レベルを厳密にまたは近似的に維持するよう、前景利得および背景利得を決定してもよい（特に、利得の和または平方和が1とされてもよい）。上方混合器２０３はさらに、知覚される音質を改善しうる、利得の周波数領域平滑化を提供するよう構成されていてもよい。

より詳細には、入力信号は、短時間入力信号ベクトル
x(n)＝[x(n), x(n−1), …, x(n−K＋1)]^T
または離散フーリエ変換を使って得られるスペクトル・ベクトル
X(n,ω)＝Fwx(n)
によって与えられてもよい。ここで、Fはフーリエ基底関数の行列であり、窓関数wはたとえば対角線上でハニング窓関数係数および他所で0の対角行列である。

今の特定の例では、左前方および右前方チャネルが上方混合され、よって上方混合はステレオ信号
X(n,ω)＝[X₁(n,ω), X₂(n,ω)]
に適用される。

そのようなステレオ・ベクトル信号のMチャネル・ベクトル信号

への上方混合は、各変換成分について別個に実行できる。ω番目の周波数成分について、上方混合されたベクトル信号は次式によって与えられる。

ここで、G(n,ω)は行列演算である。

フィルタ行列は今の特定の例では、次の形に書ける。

この行列は左チャネルと右チャネルを混合しない（行列中の0）。これは設計上の選択であり、チャネル交差項が0でなく、両側の間の混合を生じるアルゴリズムを設計することも可能であることは理解されるであろう。これは典型的には、前景チャネルの合成についてよりも背景チャネルの合成についてより有益でありうる。

行列の利得は相関指標から決定される。

さらに、前景信号についての重み（すなわち、g₁₁およびg₃₁）は、相関指標の（特に、その時間周波数タイルにおける相関値の）単調増加関数として決定される。こうして、特定の時間周波数タイルの信号エネルギーの前景信号への割り当ては、二つの空間的チャネルが相関しているほど、増大する。利得は他のパラメータおよび事情にも依存していてもよいが、相関値との関係は単調増加となることは理解されるであろう。

背景信号についての重み（すなわち、g₂₂およびg₄₂）は、相関指標の（特に、その時間周波数タイルにおける相関値の）単調減少関数として決定される。こうして、特定の時間周波数タイルの信号エネルギーの背景信号への割り当ては、二つの空間的チャネルの相関が少ないほど、すなわちより拡散音に対応するほど、増大する。利得は他のパラメータおよび事情にも依存していてもよいが、相関値との関係は単調減少となることは理解されるであろう。

このように、上方混合器２０３は両側の横前方信号を、相関している信号成分および相関していない信号成分に、よって典型的には拡散した環境音および非拡散前景音に、分解する。

相関推定器２１３は、今の特定の例では二つの前方チャネルの間である相関値を決定する。二入力データ・シーケンスについて、相関係数は次のように定義できる。

ここで、<…>は変数n上での二つのデータ・セットの内積の期待値の計算を表わす。相関係数Cの値が1に近づくとき、それら二つのチャネルにおいてコンテンツがコヒーレントであると言うことができる。

二つの入力チャネルの信号パワーおよび積は、各周波数ビンにおいて次のように得ることができる：
φ_ij(n,ω)＝X_i(n,ω)X_j(n,ω)^* （i,j＝1,2）
ここで、*は複素共役を表わす。これらの瞬時量が与えられると、たとえば適応パラメータλ₁をもつ一次積分器（first-order integrator）を使って、時間方向フィルタリングが適用されて、
φ_ij(n,ω)＝λ₁φ_ij(n,ω)＋(1−λ₁)φ_ij(n−1,ω)
によって与えられるスライディング窓推定値を生じてもよい。

すると、各時間‐周波数タイルについての相関値は次のように決定されてもよい。

しばしば、（周波数）ビンごとの演算のため、周波数領域における可変性の高いどんな関数も、オーディオ信号処理のための利得関数として適用されると、かなりの量の可聴アーチファクトを生じることがある。図３の黒い実線は、そのような重み付け（利得）関数の例を示している。これは実際には、上記の諸公式に従って得られた相関値である。この曲線上の各値は、重み付け関数の所望される機能性を表わしていてもよいが、多くのシナリオでは、周波数方向における追加的な平均化プロセスがオーディオ品質を実質的に改善しうる。

したがって、図２のシステムでは、相関推定器２１３はさらに、複数の時間周波数区間の相関値の（重み付けされた）周波数平均化に応じて、所与の時間周波数区間について相関値を決定するよう構成されている。こうして、スペクトル平滑化が実行できる。

よって、相関値は次のように決定されてもよい。

ここで、S[・]は、好適な周波数平滑化関数を示す。たとえば、三角状または矩形の平滑化関数が適用されてもよい。複雑さの低い例として、平滑化関数Sは単に、現在の時間周波数タイルについての未平滑化相関値およびN個の（周波数領域において）周辺の未平滑化相関値の平均を決定してもよい。

すると、個々の利得係数
g_kp(n,ω) k＝1,2, p＝1,…,4
はたとえば次のように決定されてもよい。

いくつかの実施形態では、他のパラメータまたは特性が利得を決定するときに考慮に入れられてもよい。特に、図２のシステムでは、相関推定器２１３は任意的に、それらのチャネルについてのエネルギー差推定値に応じて利得を決定してもよい。

具体的には、考慮されてもよい重要な特殊なケースは、強い空間的によく定義された音源が一つのスピーカーに集中しているとき、たとえば音源が左または右にハード・パンされるときである。この場合にも相関係数は小さくなり、これはシステムに対して、対応する時間‐周波数領域が環境拡散音である可能性が高いことを指示することになる。これは通例、望ましくない。極端な横パンされたコンテンツは典型的には、拡散してレンダリングされるのではなく、ステレオ像において極端な横にあることが意図されているからである。

たとえば、登場人物の声がステージ上を左から右へ（または右から左へ）動く映画オーディオ・トラックのいくつかの例がある。動きが極端な右または左のパン方向で開始または終了する場合には、単純な相関ベースの分離では、動きの開始または終了時に声がいきなり拡散かつ環境音になることになりうる。これは、非常に気づきやすいアーチファクトである。これは、振幅パンに基づく他の多くの動的な空間的効果にも当てはまる。

本システムは、そのような問題に特に対処しようとしてもよい。これは、今の例では、チャネル間のエネルギー差に応じて利得を適応させることによってなされる。

具体的には、利得についての追加的な重み関数h(n,ω)が、二つのチャネル間の信号エネルギー差の推定値に基づいて決定されてもよい。

第一に、二つの入力チャネル間の振幅差が各周波数ビンにおいて計算される：
E(n,ω)＝log(X_i(n,ω))−log(X_j(n,ω))
次いで、各フレームにおいて、得られた推定値に時間積分および周波数領域平滑化を適用して、重み関数h(n,ω)を
h(n,ω)＝S[λ₂h(n,ω)＋(1−λ₂)E(n−1,ω)]
と更新する。

関数h(n,ω)は、チャネル１が支配的なスペクトル領域では正であり、他方のチャネルがより多くのエネルギーをもつエリアでは負である。最後に、h(n,ω)の正および負の値は、たとえばロジスティック関数
f(x)＝(2/(1＋exp(−x)/χ))＋2
を使って、

によって範囲[0,1]に別個にマッピングされる。

このマッピング関数のパラメータは典型的にはχ＝0.6である。χ＝0.0の値では、実際には、ハード・パンされる横信号の解消のない方法を得ることになる。このパラメータの値は自由に選ぶことができる。

最後に、実際の利得g_kp(n,ω)は次のように計算されることができる。

ここで、これらの式は次のエネルギー規格化項を使っている。

このように、本システムは、拡散した環境／背景音に対応する可能性の高い成分および非拡散の前景音に対応する可能性の高い成分を分離し、それにより特徴的な属性をもつ二つの相異なるチャネルへの上方混合を提供する。

多くのシステムにおいて、オーディオ・レンダラー１０１は、二つのチャネルについてのレンダリングの属性を個々に適応させるよう構成されていてもよい。よって、オーディオ・レンダラー１０１は、信号の一方についてのレンダリング属性を、他方の信号についての設定とは独立に変更または設定することができる。レンダリング信号処理は特に、たとえば拡散性の度合いの適用可能な限界を制御するために、ユーザー制御によって適応されてもよい。

例として、オーディオ・レンダラー１０１は、信号の一方についてのオーディオ・レベルを、他方の信号とは独立に設定することができる。たとえば、前景信号についてのボリュームに対する背景信号についてのボリュームが修正されてもよく、望ましいオーディオ経験を提供するよう設定されてもよい。このように、本システムでは、背景および前景のボリュームが、二つの前方横信号について個々に設定されてもよい。これは、多くのシナリオにおいて改善されたユーザー経験を提供しうる。たとえば、これは、背景音に対するダイアログの強調を許容でき、それによりたとえば耳が遠いユーザーを補助することができる。

もう一つの例として、本システムは、二つの信号について個々に空間的レンダリング特性を変更してもよい。このように、前方横チャネルについての拡散背景音および直接前景音を伝統的なシステムの場合と同じ仕方でレンダリングするのではなく、本システムは個々の型の音を異なる仕方でレンダリングすることができ、特に、前景音を、スピーカーの位置に関係する強い空間的手がかりを与えるようにレンダリングすることができる。一方、背景音は反射される経路を介してレンダリングされ、そのためその音をレンダリングするスピーカーの位置についての強い空間的手がかりを与えない。

さらに、いくつかの実施形態では、スピーカー１０７、１１５の一方についての放射パターン（たとえばビーム・パターン）が動的に適応可能であってもよい。たとえば、スピーカー１０７、１０５の一方が、動的適応可能ビーム形成器をもつスピーカー・アレイを使って実装されてもよい。実際、いくつかの実施形態では、同じオーディオ・アレイが、異なるビーム形成器と一緒になって、背景信号および前景信号の両方をレンダリングしてもよい。すなわち、両方のスピーカー配置１０５、１１７が同じオーディオ・アレイによって、ただし異なる方向でのレンダリングを与えるための異なるビーム形成パラメータを使って実装されてもよい。

動的ビーム形成をもつ場合、システムは、二つの信号について異なる方向におけるオーディオ・レンダリングを個々に方向制御してもよい。たとえば、システムは、聴取者の位置を、ビデオ・ベースの頭部追跡システムを使って、追跡してもよい。その際、ビーム形成パラメータは、ユーザーの位置に基づいて二つの信号について個々に適応されてもよい。たとえば前景信号については、ビーム形状の最大を聴取位置の方向に向けるようビーム形成重みが設定されることができ、一方、背景信号については、聴取位置の方向にヌルを向けるようビーム形成重みが設定されることができる。

個々の実施形態の個別的な選好、要求および制約に依存してスピーカー配置１０７、１１５の異なる実装が使用できることは理解されるであろう。

実際、上述したように、スピーカー配置は、二つの異なるビーム形成器（あるいは等価なことだが、異なるビーム形成重みを使う同じ物理的なビーム形成機能）によって駆動される一つまたは二つのオーディオ・アレイとして実装されてもよい。ビーム形成重みは、いくつかの実施形態では、固定であってもよく、それにより固定された放射パターンを与えてもよい。そのような場合、オーディオ・アレイは、前景信号については聴取位置に強い直接経路を与えるような角度にされてもよいが、背景信号についてはそうではなく、むしろ、アレイは、聴取位置の方向においてビーム・パターンの落ち込み（典型的にはヌル）を与えるような角度にされてもよい。

他の実施形態では、より複雑さの低いアプローチが使われてもよい。たとえば、前景信号について使われるスピーカーは、聴取位置のほうに向けられた通常のスピーカー・ドライバであってもよい。背景スピーカー配置は、聴取位置から離れるほうに、典型的には好適な反射を提供するため壁のほうに、向けられた通常のスピーカー・ドライバであってもよい。

多くの実施形態において、二つのスピーカー１１５、１０７は、放射パターンが異なる方向になるような配置で、単一のスピーカー・エンクロージャーに含まれることができる。具体的には、前景スピーカーは前方発射配位に位置されてもよく、一方、背景スピーカーは側方発射配位に位置されていてもよい。スピーカー・エンクロージャーが公称位置に位置され、聴取位置のほうに向けられるとき、前景スピーカーは主として直接経路に沿ってオーディオをレンダリングし、一方、背景スピーカーは典型的には、たとえばスピーカーの横の壁からの反射を介してオーディオをレンダリングすることになる。

多くの実施形態では、背景スピーカー配置１１５は、バイポーラー・スピーカー配置によって実装されてもよい。それにより、二つのドライバは同じ駆動信号を、ただし180°の位相差をもってフィードされてもよく、二つのドライバは反対方向に向けられる。このアプローチは、二つの反対方向への強い音放射を、中間でのヌルとともに、生成することになる。ヌルは聴取位置の方向に向けられることができる。この配置は、複雑さの低い、よって低コストの実装を提供するが、それでいていくつかの方向において背景信号の強いレンダリングを提供でき、それにより多くの異なる反射を提供できる。さらに、直接経路オーディオ・レンダリングは最小にされることができる。よって、背景信号の拡散レンダリングが低コスト実装を介して達成できる。このアプローチは、バイポーラー配置の二つのドライバが側方発射配位に配置されており、前景信号をレンダリングするために使われる第三のドライバが前方発射配位に配置された単一のエンクロージャー内の実装について特に好適でありうる。

いくつかの実施形態では、背景信号および前景信号はいずれも、同じ位置から、実際、それらが生成される空間的オーディオ・チャネルに関連付けられた公称位置または参照位置からレンダリングされてもよい。そのようなアプローチは特に、両方のスピーカー配置を有する単一のスピーカー・エンクロージャーを使ってもよい。

しかしながら、他の実施形態では、生成された信号の少なくとも一つは、異なる位置からレンダリングされてもよい。特に、多くの実施形態において、前景信号は上方混合されたチャネルの参照位置または公称位置からレンダリングされてもよい。これは、オーディオステージにおける前景オブジェクトの位置が修正されないことを保証する。しかしながら、背景信号は前景信号とは異なる位置から、特に上方混合されるチャネルの公称位置とは別の位置からレンダリングされてもよい。これは、拡張されたサウンドステージを提供することができ、特に、実質的により大きなサウンドステージの知覚を提供しうる。

具体的には、背景スピーカーは高められたスピーカーからレンダリングされてもよく、それにより公称上、レンダリング配位に関連付けられている水平面外に広がるサウンドステージを提供しうる。

いくつかの実施形態では、同様の効果が、（少なくとも部分的に）上方発射スピーカー・ドライバを背景信号について使って達成されてもよい。ここで、上方発射スピーカーは前景信号についてのスピーカー・ドライバ（単数または複数）と同じエンクロージャー内に設けられる。

（たとえば聴取者の上の）高められた音の再生を許容するシステムについて、本アプローチは、そのような高められた位置のスピーカーについて適切な信号を生成するよう適応されることができる。たいていの場合、ディスクまたは放送のような利用可能なメディアは専用の高さ信号を含まない。これを克服するために、記載される上方混合アルゴリズムが使用されてもよい。既存の解決策はしばしば、他のチャネルと無相関でない信号を生成し、それにより潜在的に、主たる音源を含む完全な音像を高める。これらの源の所望される位置がたいていの場合、水平面上にあり、高められた位置からのレンダリングは水平面からの位置オフセットが導入される結果になるので、好都合ではない。他の解決策は、やや低いオーディオ・レベルで高さ信号を生成することによって、この問題を回避する。いずれの場合にも、高められたスピーカーの可能な利点は完全には使われない。しかしながら、記載されるアプローチは、より拡散した背景音に主として対応するオーディオ信号成分を抽出するために使用できる。次いで、対応する信号は、たとえば高められたスピーカーを通じて再生されることができ、それにより音的包み込みおよび現実感を増し、一方、位置シフトのような煩わしいアーチファクトは導入しない。

いくつかの実施形態では、記載されるアプローチは、複数のチャネル／チャネル・セットに適用されてもよい。たとえば、前方左および右チャネルについての記載されるアプローチは、サラウンド左および右チャネルに適用されてもよい。このように、個別的な例として、本システムは、5.1サラウンド・サウンド・オーディオの空間的チャネルのような五つの入力信号を受け容れてもよく、中央、指向性の左／右／サラウンド左／サラウンド右および拡散性の左／右／サラウンド左／サラウンド右である九つのスピーカー信号を出力してもよい。

いくつかの実施形態では、分解された信号は、それらの信号の少なくとも一つについて、再合成されてもよい。具体的には、公称位置におけるスピーカーのための出力信号は、前景信号および背景信号の組み合わせとして生成されてもよい。この再結合は、拡散背景音が、第二のスピーカー（たとえば高められたスピーカー）からのみならず、もとの位置からもレンダリングされることを許容しうる。しかしながら、典型的には、直接経路に沿ってのレンダリングおよび追加的なスピーカーによって与えられる背景音の追加的レンダリングについて補償するために、背景信号成分の相対レベルは、もとの信号に対して、低減させられる。

いくつかの実施形態では、上方混合器２０３はさらに、受領された多チャネル信号についてのオーディオ・コンテンツ特性に応答して、入力信号を背景信号と前景信号に分解するために使われる利得を決定するよう構成される。

実際、利得因子を修正することによって、直接チャネルと環境チャネルとの間のバランスが調整されることができ、これは特に、オーディオ・コンテンツに依存して処理を自動的に適応させるために使用されてもよい。

オーディオ・コンテンツはたとえば、コンテンツを記述するメタデータによって特徴付けられてもよい。たとえば、オーディオが、たとえばテレビジョン番組のオーディオに対応する場合、オーディオがたとえばサッカー・ゲーム（前景の源はほとんどなく、かなりの拡散背景音（群衆の環境音）がある）から、討論番組（前景音源がほとんどなく、典型的には背景音がほとんどない）からなどのいずれの音であるかを記述するためにメタデータが提供されてもよい。利得は、そのような値に依存して調整されてもよい。たとえば、各コンテンツ・カテゴリーについて、背景および前景分解についての利得を（反対方向に）スケーリングするスケール因子が記憶されていてもよい。

いくつかの実施形態では、適応は、平均された周波数応答、すべての多チャネルの相対信号エネルギーなどといった、オーディオ信号の特性に応答してであってもよい。

上記の記述は明確のため本発明の実施形態を、種々の機能的な回路、ユニットおよびプロセッサに言及しつつ記述していることが理解されるであろう。しかしながら、本発明を損なうことなく、異なる機能的な回路、ユニットまたはプロセッサの間での任意の好適な機能の分配が使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されるよう示されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、特定の機能ユニットまたは回路への言及は、厳密な論理的または物理的な構造または編成を示すというよりは、記載される機能を提供する好適な手段に言及したものとしてのみ見るべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明のある実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、任意の好適な仕方で実装されてもよい。実際、機能は単一のユニットに、複数のユニットに、または他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットで実装されてもよいし、あるいは物理的および機能的に、異なるユニット、回路およびプロセッサの間で分散されていてもよい。

本発明はいくつかの実施形態との関連で述べてきたが、本稿に記載される特定の形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記載されているように見えることがありうるが、当業者は、記載される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項において、有する／含むの語は他の要素またはステップの存在を排除するものではない。

さらに、個別に挙げられてはいても、複数の手段、要素、回路または方法ステップが、たとえば単一の回路、ユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれていたとしても、それらは可能性としては有利に組み合わされうるのであって、異なる請求項に含まれていることが、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、このカテゴリーへの限定を含意するのではなく、むしろ、その特徴が適宜他のカテゴリーの請求項にも等しく適用可能であることを示す。さらに、請求項における特徴の順序は、それらの特徴が作用しなければならないいかなる特定の順序をも含意しない。特に、方法請求項における個々のステップの順序はそれらのステップがその順序で実行されなければならないことを含意するものではない。むしろ、ステップは任意の好適な順序で実行されうる。さらに、単数形での言及は複数を排除するものではない。「ある」「第一の」「第二の」などの言及は複数を排除するものではない。請求項における参照符号は、単に明快にするための例として与えられているのであって、いかなる仕方であれ特許請求の範囲を限定するものと解釈してはならない。

Claims (15)

1. オーディオ・レンダラーと；
   前記オーディオ・レンダラーに結合され、聴取位置にオーディオをレンダリングするよう構成された第一のスピーカー配置であって、該第一のスピーカー配置から前記聴取位置への方向が前記第一のスピーカー配置の主ローブの3dBビーム幅の範囲内である指向性放射パターンを有する、第一のスピーカー配置と；
   前記オーディオ・レンダラーに結合され、聴取位置にオーディオをレンダリングするよう構成された第二のスピーカー配置であって、該第二のスピーカー配置から前記聴取位置への方向が前記第二のスピーカー配置の主ローブの3dBビーム幅の外側である指向性放射パターンを有する、第二のスピーカー配置とを有するオーディオ・レンダリング・システムであって、
   前記オーディオ・レンダラーは：
   多チャネル・オーディオ信号を受領する受領器と；
   前記多チャネル・オーディオ信号の第一チャネル信号および第二チャネル信号についての相関指標を生成するための相関推定器と；
   相関指標に応答して前記第一チャネル信号を第一のオーディオ信号および第二のオーディオ信号に上方混合する上方混合器であって、前記第二のオーディオ信号は前記第一のオーディオ信号より拡散した音に対応する、上方混合器と；
   前記第一のオーディオ信号から前記第一のスピーカー配置を駆動するための第一のドライバと；
   前記第二のオーディオ信号から前記第二のスピーカー配置を駆動するための第二のドライバとを有する、
   オーディオ・レンダリング・システム。
2. 前記オーディオ・レンダラーは、前記第一チャネル信号を複数の時間‐周波数区間に分割するよう構成されており、前記相関推定器は、各時間‐周波数区間について相関値を生成するよう構成されており、前記上方混合器は、各時間周波数区間について、その時間周波数区間についての前記第一チャネル信号の信号値に、前記時間‐周波数区間についての相関値の単調減少関数である第一の重みによって重み付けすることによって、前記第二のオーディオ信号を生成するよう構成されている、
   請求項１記載のオーディオ・レンダリング・システム。
3. 前記上方混合器はさらに、各時間周波数区間について、その時間周波数区間についての前記第一チャネル信号の信号値に、前記時間‐周波数区間についての相関値の単調増加関数である第二の重みによって重み付けすることによって、前記第一のオーディオ信号を生成するよう構成されている、
   請求項２記載のオーディオ・レンダリング・システム。
4. 前記上方混合器はさらに、前記第一チャネル信号および前記第二チャネル信号についてのエネルギー差推定値に応じて前記重みを決定するよう構成されている、請求項２記載のオーディオ・レンダリング・システム。
5. 前記相関推定器は、複数の時間周波数区間の相関値の周波数平均に応じて前記周波数区間についての相関値を決定するよう構成されている、請求項２記載のオーディオ・レンダリング・システム。
6. 前記上方混合器はさらに、前記多チャネル信号についてのオーディオ・コンテンツ特性に応じて前記重みを決定するようさらに構成されている、請求項２記載のオーディオ・レンダリング・システム。
7. 前記オーディオ・レンダラーは、前記第一のオーディオ信号のレンダリング属性を、前記第二のオーディオ信号とは独立に修正するよう構成されている、請求項１記載のオーディオ・レンダリング・システム。
8. 前記レンダリング属性は前記第一のオーディオ信号についてのオーディオ・レベルである、請求項７記載のオーディオ・レンダリング・システム。
9. 前記レンダリング属性は空間的オーディオ放射パターン属性である、請求項７記載のオーディオ・レンダリング・システム。
10. 前記第二のスピーカー配置についての指向性放射パターンは前記聴取位置の方向において落ち込みをもつ、請求項１記載のオーディオ・レンダリング・システム。
11. 前記第二のスピーカー配置はバイポーラー・スピーカー配置を有する、請求項１記載のオーディオ・レンダリング・システム。
12. 前記第一のスピーカー配置および前記第二のスピーカー配置は一つのスピーカー・エンクロージャーに含まれる、請求項１記載のオーディオ・レンダリング・システム。
13. 前記多チャネル・オーディオ信号は空間的多チャネル信号であり、その各チャネルはある空間的スピーカー配位の公称位置に関連付けられており、前記第二のスピーカー配置は前記公称位置とは異なる位置に位置されている、請求項１記載のオーディオ・レンダリング・システム。
14. 前記第二のドライバは高められたスピーカー位置に関連付けられている、請求項１記載のオーディオ・レンダリング・システム。
15. 第一のスピーカー配置および第二のスピーカー配置からオーディオをレンダリングする方法であって、前記第一のスピーカー配置は、該第一のスピーカー配置から聴取位置への方向が前記第一のスピーカー配置の主ローブの3dBビーム幅の範囲内である指向性放射パターンを有し、前記第二のスピーカー配置は、該第二のスピーカー配置から前記聴取位置への方向が前記第二のスピーカー配置の主ローブの3dBビーム幅の外側である指向性放射パターンを有しており、当該方法は：
    多チャネル信号を受領する段階と；
    前記多チャネル信号の第一チャネル信号および第二チャネル信号についての相関指標を生成する段階と；
    相関指標に応答して前記第一チャネル信号を第一のオーディオ信号および第二のオーディオ信号に上方混合する段階であって、前記第二のオーディオ信号は前記第一のオーディオ信号より拡散した音に対応する、段階と；
    前記第一のオーディオ信号から前記第一のスピーカーを駆動する段階と；
    前記第二のオーディオ信号から前記第二のスピーカーを駆動する段階とを含む、
    方法。

Images