JP2010534012A - 強化された知覚的品質を備えたステレオ信号を生成する方法及び装置 - Google Patents

Abstract

本発明は、中央信号とサイド信号とを用いてステレオ信号のアップミックスの前に強化されたサイド信号を生成することで、強化された知覚的品質を備えたステレオ信号を生成する。中央信号の少なくとも一部のデコリレート済表現及び／又はサイド信号の少なくとも一部のデコリレート済表現を生成する。強化されたサイド信号は、サイド信号の表現を、中央信号のその一部のデコリレート済表現と結合するか、サイド信号のデコリレート済表現及び中央信号のその一部のデコリレート済表現と結合するか、又は中央信号のその一部及びサイド信号のその一部のデコリレート済表現と結合するか、のいずれかにより生成される。中央信号の表現と強化されたサイド信号とを使用して、強化された知覚的品質を備えたステレオ信号を生成する。
【選択図】 図１

Description

本発明の実施形態は、強化された知覚的品質を備えたステレオ信号の生成に関し、特に、より良好な特徴を備えたステレオ信号を生成するために、中央信号(mid-signal)とサイド信号とにより表現された信号を処理する方法に関するものである。

近年、携帯機器において、大量の音楽を記憶し再生させることが可能になってきた。特に、音楽コンテンツがヘッドホンを介してどこでも再生可能であることから、このような装置の使用は広く普及した。通常、再生すべきコンテンツは、ステレオ即ち２つの独立チャネルにミックスされている。しかし、コンテンツの製作は、スピーカを介した再生、即ち、通常の２チャネルステレオの設備を使用した再生のために製作されてきた。つまり、ステレオチャネルは、２つのスピーカを使用して最高の品質を提供できるように、即ち元の聴覚的場面の空間的知覚を可能な限り提供できるように、音楽スタジオにおいてミックスされてきた。他方、ヘッドホンを介してこのようなステレオ録音を聴くことは、音声の頭内定位(in-head localization)をもたらし、つまりは強く混乱した空間的印象をもたらす。換言すれば、２つのスピーカ間のいずれかの位置に定位させるべく意図された仮想の音源が、人間の聴覚システムの聴覚心理特性に従って、リスナーの頭部内において定位されてしまう。このような現象は、いかなるクロストークも反射も知覚されないために発生する。即ち、知覚されない事が人間の聴覚システムの刺激となり、リスナーの頭部内で音源を定位させることになる。コンテンツがスピーカを介して再生された時か、又はより一般的には「現実の」環境を介して送信された時に、人間の聴覚システムがそれらクロストークや反射のような信号特性に慣れていることに起因して、この刺激が発生する。

ヘッドホンを介する再生の前に左右のチャネルを処理することで、この課題を解決するため、これまでいくつかの方法や装置が提案されてきた。しかし、これらの手法、例えば頭部伝達関数を使用する手法は、演算の点で非常に複雑である。これらの手法は、ヘッドホンを用いて音楽を再生する時に、室内でスピーカを聞いている状態をシミュレーションすることで、人間の聴覚システムを刺激し、音源を頭外において定位させるように意図したものである。即ち、例えば音声経路のクロストークや室壁からの反射が人工的に信号に追加される。現実的な状態を達成するため、リスナーの胴体と頭部と耳介との特性をさらに考慮に入れるために、左右のチャネルに対してフィルタリングを適用しなければならない。この種のシミュレーションが正確になればなる程、より大きな演算能力が必要となる。演算はあまり複雑ではないが幾分良い結果を得るためには、それらのモデルは、例えばクロストークに関して低減され、またある場合には、非常に少数の壁反射に限られるが、その場合には低次のフィルタリングにより実行可能である。人間の身体自体からの影響も低次のフィルタによって近似することができる。しかし、これらのフィルタは、例えば非特許文献１に記載のように、反射された信号のそれぞれに対してだけではなく、直接信号に対しても使用されなければならない。

モノラル音声信号が供給された場合でも、ステレオ(立体)音声的な聴覚体験を提供するための他の方法も提案されてきた。ある手法は、入力信号（モノラル音声）を両方のチャネルへと供給し、他方でその信号の減衰され遅延された表現を生成する。この表現はその後、第１チャネルへと加算されかつ第２チャネルから減算される。

ステレオ信号はまた、中央信号（合計信号）とサイド信号（差分信号）とを含む中央−サイド表現へと変換されることも多い。合計信号は右チャネルと左チャネルとを合計して形成し、差分信号は左チャネルと右チャネルとの差を計算して形成する。殆どの音楽ステレオ信号においては、最も重要な仮想音源とはリスナーの前方に定位されるものである。なぜなら、これらの音源は通常、録音における主演の音声又は主演の楽器を表現するからである。これらの音源は２チャネル設定のスピーカの間に定位するよう意図されたものであるため、その信号要素は左チャネルにも右チャネルにも含まれる。従って、これら重要な信号は、主として合計信号（中央信号）によって表現され、差分信号（サイド信号）で表現されることは少ない。そのため、リスナーの頭部外において定位を達成しようとするときには、そのような中央−サイド表現は非常に注意深く処理する必要がある。

合計及び差分信号に基づく従来の頭外信号処理においては、合計信号は、未処理のままか、又は、特定のフィルタにより個別に処理もしくはフィルタリングされるかのいずれかであった。しかし、単に合計信号とサイド信号とを別々にフィルタリングし、それらの信号を左右のチャネルへと再配分するだけでも、頭外定位(out-of-head localization)又は知覚された空間幅を増大させるためには、無益な程に高度な演算を必要とする。さらに、従来の中央−サイド・アップミキサによって実行されているような、フィルタリングされた合計信号を差分信号へと加算（減算）する方法は、出力信号内の仮想音源の知覚された位置をシフトさせる結果をもたらす。

M.R. Schroeder: An Artificial Stereophonic Effect Obtained from Using a Single Signal, 9th annual meeting of the AES, preprint 14, 1957

本発明の目的は、既存の方法で生成されたステレオ信号と変化した再生習慣との状況の下で、強化された知覚的品質を効果的に実現できるステレオ信号を生成する概念を提供することである。

本発明のいくつかの実施形態は、中央信号（合計信号）とサイド信号（差分信号）とに基づき、強化された知覚的品質を備えたステレオ信号の生成を可能にする。中央信号の一信号部分とサイド信号の一表現とがミックスされた時、頭外定位と音声信号のステージ幅とが増大する。但しこのとき、中央信号のその信号部分とサイド信号のその表現とは、ある程度互いにデコリレートされている。結合を実行することで、強化されたサイド信号を導出することができ、このサイド信号は、ヘッドホンを介して再生されるべきステレオ出力信号を生成する中央−サイド・アップミキサへの入力として使用できる。アップミキシングの前に中央信号の一部をサイド信号へとミキシングすることで、リスナーの頭部の前方における仮想オーディオ源の知覚的幅を増大させることができる。なぜなら、リスナーの直前方ではない位置の音源の情報を含むサイドチャネルに対し、前記中央信号の一部が配分されるからである。しかし、音声場面又は仮想音源の知覚された左又は右へのシフトを回避するため、スペクトル内で信号の建設的又は破壊的な干渉を不規則的に分配すべく、結合されるべき信号が互いにデコリレートされている。より正確に言えば、信号のデコリレート後には、信号のスペクトルの様々な部分が様々に干渉する。これを達成するため、デコリレータが適用され、中央信号の少なくとも一部のデコリレート済表現、及び／又はサイド信号の少なくとも一部のデコリレート済表現を生成する。

サイド信号とミックスされた信号の一部のデコリレート済表現を使用することにより、再生されたステレオ信号は、ヘッドホンを用いて聴いた時にその信号が頭部内で定位されなくなるという点において、強化された知覚的品質を有する。この効果を達成するために、中央信号の一部のデコリレート済表現が供給され、サイド信号へとミックスされても良い。

本発明の他の実施形態に従えば、合計信号の少なくとも一部のデコリレート済表現が、サイド信号の少なくとも一部のデコリレート済表現と同様に供給される。両方のデコリレート済表現が、サイド信号と、又はその供給されたサイド信号の修正により導出されたサイド信号の表現と、結合(ミックス)される。

本発明のさらに他の実施形態に従えば、中央信号の一部はサイド信号の表現と結合され、このときそのサイド信号の少なくとも一部は、中央信号のその一部に対してデコリレートされている。この状態は、サイド信号のその一部のデコリレート済表現を生成した後に、この生成されたデコリレート済表現とサイド信号とを結合することにより達成できる。

本発明のさらに他の実施形態に従えば、オーディオ信号の高周波部分だけを処理する目的で、その信号の高周波部分がデコリレートされる。その結果、比較的短い波長に起因して、有意な反響誘導効果がリスナーに対して生じる。そのため、信号の低周波部分への邪魔なアーチファクトの侵入を回避することができる。

本発明のさらに他の実施形態に従えば、オーディオ復号器内において上述の概念を実行するためのオーディオ処理器を使用し、復号器内における中間信号(intermediate signal)として生成された２チャネル信号の中央−サイド表現を直接的に処理し、この処理により、生成されるステレオ信号の知覚的品質を強化しても良い。そのため、本発明のさらなる実施形態では、中央信号とサイド信号とを周波数ドメインにおいて処理し、その結果、各信号の周波数表現は直接的に処理されることができ、時間ドメイン表現へと再変換する必要がない。この点は、例えば基礎となるステレオ信号の周波数ドメインにおける中央−サイド表現である中間信号を供給するオーディオ解凍器(audio decompressor)が使用された場合に、大きな利点をもたらす。つまり、この実施形態は、例えばＭＰ３やＡＡＣ復号器、又は同様の装置の中で効果的に実現することができ、信号をヘッドホンへと供給するモバイル再生装置の知覚的品質を高めることができる。

要約すれば、本発明のいくつかの実施形態は、ステレオ信号を生成するための新規なオーディオ処理方法を使用し、この方法によれば、生成された信号がヘッドホンを介して再生されたときでも頭内定位を避けることができる。この方法は、高い知覚的品質を生み出す。即ち、向上した知覚的品質を有するステレオ信号を生成する可能性を生み出す一方で、スペクトル配分や過渡挙動など信号の他の特性については知覚的影響を与えない。さらに、頭外定位やステージ幅の点において空間的知覚が向上している一方で、音源の配置は保存できる。演算上の複雑さが低いことから、本発明の実施形態は、たとえ処理能力や電源の点で制限があったとしても、携帯型の音楽再生装置において容易に実施できる。

本発明のいくつかの実施形態を添付の図面を参照しながら以下に説明する。

オーディオ処理器の一実施形態を示した図である。 従来の２チャネルステレオミキサの一例を示した図である。 中央信号及びサイド信号のデコリレート済信号部分を使用するオーディオ処理器の一実施形態を示した図である。 デコリレータ設定の他の実施形態を示した図である。 一体型デコリレータ設定を使用する一実施形態を示した図である。 オーディオ復号器の一実施形態を示した図である。 ステレオ信号を生成する方法の一実施形態を示した図である。

図１は、右チャネル４ａと左チャネル４ｂとを有し、強化された知覚的品質を備えたステレオ信号４を生成するためのオーディオ処理器２の一つの実施形態を示す。このステレオ信号４は、オーディオ処理器２に入力される中央信号６ａとサイド信号６ｂとに基づいて生成される。ここで、中央及びサイド信号であるＭ及びＳは、オリジナルの左右のチャネルの合計及び差分を形成することで生成されたＭ及びＳ信号であるか、又は、これらＭ及びＳ信号に基づく信号、即ち、これら信号の修正信号である点に注目すべきである。この点は、本発明の以後の説明においても同じである。これらの修正信号は、オリジナルの中央及びサイド信号だけに基づいている。つまり、修正済サイド信号はサイド信号だけを用いて生成され、修正済中央信号は中央信号だけを用いて生成される。そのため、修正済の中央信号及びサイド信号は、中央信号の表現Ｍ_R及びサイド信号の表現Ｓ_Rと呼ぶことにする。

オーディオ処理器２は、デコリレータ８と、信号結合器１０と、中央−サイド・アップミキサ１２とを含む。デコリレータ８は、中央信号６ａとサイド信号６ｂとを入力として受け取るか、あるいはこれら信号の表現を受け取る。代わりに、いくつかの実施形態においては、中央信号６ａとサイド信号６ｂとの表現をデコリレータ８自身が導出しても良い。デコリレータは、中央信号の少なくとも一部のデコリレート済表現及び／又はサイド信号の少なくとも一部のデコリレート済表現を生成する。いくつかの実施形態によれば、信号のデコリレートされた部分とはオリジナル信号の高域通過フィルタリングされた部分であり、そのため、これらの高周波数領域だけにおける処理を実行し、この処理は知覚的な進化を生み出す。

他の実施形態においては、任意の表現生成器４２と４４とを含んでも良く、これらの表現生成器は、元の中央信号６ａと元のサイド信号６ｂとを入力として受け取り、デコリレータに入力される表現ｍ及びｓだけではなく、中央信号の表現(Ｍ_R)及びサイド信号の表現(Ｓ_R)をも生成する。

デコリレータ８によって導出されたデコリレート済の表現は、信号結合器１０へと入力され、この信号結合器１０はさらに、サイド信号又はサイド信号の表現Ｓ_Rを受け取る。信号結合器１０は、この信号結合器へと入力された信号を結合させることで、強化されたサイド信号１４を導出する。ある実施形態によれば、この結合は、サイド信号の表現Ｓ_Rと中央信号の一部のデコリレート済表現ｍ⁺とを使用しても良い。他の実施形態によれば、この結合は、サイド信号の表現Ｓ_Rと、サイド信号の一部のデコリレート済表現ｓ⁺と、中央信号の一部のデコリレート済表現ｍ⁺とに基づくものであっても良い。さらに他の実施形態によれば、この結合は、サイド信号の表現Ｓ_Rと、中央信号の（デコリレートされていない）一部ｍと、サイド信号の少なくとも一部のデコリレート済表現ｓ⁺とに基づくものであっても良い。

いくつかの実施形態によれば、合計信号部分とサイド信号部分とは対応する信号部分であり、例えば同一の周波数領域を表現するものである。そのため、これらの部分を導出するときは、同一のフィルタ特性を有する高域通過フィルタが使用される。

信号結合器１０は上述のようにして強化されたサイド信号１４（Ｓ’）を導出し、このサイド信号は中央信号の寄与を含む。この寄与とサイド信号とは（少なくとも関連する周波数領域において）互いにデコリレートされており、その結果、後続の中央−サイド・アップミキサ１２において信号部分が結合されるときに、発生可能な建設的あるいは破壊的な干渉がスペクトル内部で不規則的に配給される。中央−サイド・アップミキサ１２は、一方では強化されたサイド信号１４を、他方では中央信号６ａ又は中央信号の表現Ｍ_Rを入力として受け取る。この中央−サイド・アップミキサは、特にヘッドホンによって再生されたときに強化された品質を有するステレオ信号４を導出する。

本発明のいくつかの実施形態においては、前記アップミキサは、ステレオ信号の左チャネルが強化されたサイド信号と中央信号とを合計することにより生成されるというアップミキシング規則を使用する。これらの実施形態においては、右チャネル４ａは、中央信号６ａ（又は中央信号の表現Ｍ_R）と強化されたサイド信号１４との間の差分を計算することで形成される。

図１に記載したオーディオ処理器の実施形態では、アップミックスの前に、中央信号の信号部分がサイド信号へと分配される。換言すれば、中央−サイド・信号ドメインにおける中央信号とサイド信号との処理はインターリーブされ、その結果、このように処理された信号の頭外定位をもたらす。このような頭外定位は、演算の複雑さが問題となる従来の中央−サイド・信号処理技術を使用した場合には、達成が困難である。

図２は従来の信号処理の一例を示し、ここでは左チャネル２０ａと右チャネル２０ｂとを有するステレオ信号２０が、従来の中央−サイド・合成器２４を用いて中央信号２２ａとサイド信号２２ｂとに変換される。中央信号２２ａは第１フィルタ２６ａを用いてフィルタリングされ、サイド信号２２ｂは第２フィルタ２６ｂを用いてフィルタリングされる。中央信号２２ａとサイド信号２２ｂとのフィルタリング済の表現は、中央−サイド・アップミキサ２８を用いてアップミックスされ、左チャネルＬ’（３０ａ）と右チャネルＲ’（３０ｂ）とを有する処理済のステレオ信号３０を導出する。

しかし、前記処理はインターリーブされていないため、聴覚的場面の知覚的拡大あるいはリスナーの頭部外における定位は、信号処理の演算の複雑さをかなり増大させない限り、達成が困難である。

図３は本発明のある実施形態を示し、中央信号の一部のデコリレート済表現と、サイド信号の一部のデコリレート済表現とを使用するものである。オリジナルステレオ信号４０は、中央−サイド・合成器２４を用いて中央信号６ａとサイド信号６ｂとを有する表現へと変換される。

信号処理器２は、このようにして供給された中央信号６ａとサイド信号６ｂとに対して作動する。この信号処理器２は、サイド信号６ｂのための第１表現生成器４２と、中央信号６ａのための第２表現生成器４４とを含む。オーディオ処理器２の信号結合器４６は、第１の合計連結点(summation-node)４６ａと第２の合計連結点４６ｂとを含む。このオーディオ処理器は中央−サイド・アップミキサ４８をさらに含み、このアップミキサは、強化された知覚的品質を有するステレオ信号５０をオーディオ処理器２の出力において生成する。

表現生成器４２と４４とは、それぞれの入力信号、即ち中央信号６ａとサイド信号６ｂとを使用して、これら入力信号の高域通過フィルタリング済の信号部分を、これら入力信号自身へと加算又は減算することで、それら信号の高周波部分を強調又は減衰させ、それら入力信号の表現であるＭ_RとＳ_Rとを生成する。そのため、第１表現生成器４２は、高域通過フィルタ５２と、第１の信号スケーラ(scaler)５４ａと、第２の信号スケーラ５４ｂと、合計連結点５６とを備える。第２表現生成器４４は、高域通過フィルタ６２と、第３の信号スケーラ６４ａと、第４の信号スケーラ６４ｂと、合計連結点６６とを備える。

信号スケーラ５４ａ，５４ｂ，６４ａ，６４ｂは、その入力において信号をスケールする。即ち、信号にスケールファクタを乗算する方法で、信号に対してスケールファクタを適用する。第１表現生成器４２の高域通過フィルタ５２は、入力としてサイド信号６ｂのコピーを受け取り、その出力において、高域通過フィルタリング済の信号部分Ｓ_Hiを出力する。この高域通過フィルタリング済の信号部分Ｓ_Hiは、第１の信号スケーラ５４ａへと入力される。他方、サイド信号６ｂ又はこの信号のコピーは、第２の信号スケーラ５４ｂへと入力される。

信号スケーラ５４ａと５４ｂとのスケールファクタは予め決定することができ、又は、他の実施形態においては、ユーザーからの操作により決められても良い。合計連結点５６は、スケールされた高域通過フィルタリング済信号部分Ｓ_Hiと、スケールされたサイド信号とを受け取り、これらの信号を合計し、その結果、（第１表現生成器４２の出力でもある）この合計連結点５６の出力において、サイド信号の表現Ｓ_R(７０)を出力する。同様に、第２表現生成器４４は、その出力において中央信号の表現Ｍ_R(７２)を出力する。

オーディオ処理器２は、第１デコリレーション回路７４と第２デコリレーション回路７６とをさらに含む。第１デコリレーション回路７４は、スケーラ７４ａと、デコリレータ７４ｂと、遅延回路７４ｃとを含み、第２デコリレーション回路７６は、６番目の信号スケーラ７６ａと、デコリレータ７６ｂと、遅延回路７６ｃとを含む。

ここで強調すべき点は、デコリレーション構成７４と７６とは、可能性のあるデコリレーション構成又はデコリレータの単なる一例として理解すべきである点である。特に、遅延の構成（遅延回路７６ｃと７４ｃ）は必ずしも必要ではない。代わりに、デコリレータ７４ｂと７６ｂはある程度の遅延をそれ自身で実行しても良い。他の実施形態によれば、この遅延は省略されても良い。上述したように、結合されるべき信号部分は互いにデコリレートされていなければならない。従って、互いにデコリレートされた信号を提供するため、デコリレータ７４ｂ（デコリレータ２）と７６ｂ（デコリレータ１）とは異なるものでも良い。

信号スケーラ７４ａと７６ａのスケールファクタは、事前に決定されても良いし、ユーザーの操作に委ねられても良い。デコリレータ７４ｂと７６ｂとは、それらの入力における信号からある程度デコリレートされた信号を生成する。つまり、これらデコリレータの入力における信号と、これらデコリレータから出力された信号との間の正規化された相関関係の絶対値の最大値は、１よりもかなり低い値になる。ここで、これらデコリレータの詳しい構成は重要でないという点に注意すべきである。むしろ、従来技術に係る様々な構成を使用することができ、また、それらを任意に組み合わせて使用することもできる。例えば、種々の全域通過フィルタを使用しても良い。さらに例えば、一連の２次ＩＩＲフィルタを使用して、中央信号及びサイド信号の高域通過フィルタリングされた部分のデコリレート済表現を生成することも可能であろう。各フィルタは任意のフィルタ特性、例えばランダム生成器を用いて生成された特性を備えても良い。デコリレーションは様々な種類のデコリレータを用いて達成しても良く、例えば、フィードバック遅延ネットワーク等を含む反響アルゴリズムを用いて達成しても良い。全域通過フィルタと同様に、フィードフォワード・コムフィルタやフィードバック・コムフィルタを使用しても良く、全域通過フィルタと例えばフィードフォワード及びフィードバック・コムフィルタとを組み合わせても良い。他の構成においては、例えばランダムノイズを使用して、デコリレータの入力において信号をフィルタリングし、デコリレート済信号を出力しても良い。

デコリレーション回路７４と７６とは、遅延回路７４ｃと７６ｃとをさらに含み、これら遅延回路は、デコリレータ７４ｂと７６ｂとにより生成されたデコリレート済信号に対し、任意の追加的遅延を適用しても良い。デコリレーション回路７６は、中央信号の高域通過フィルタリング済信号部分のデコリレート済表現ｍ⁺（８２）を出力し、他方、デコリレーション回路７４は、サイド信号の高域通過フィルタリング済信号部分のデコリレート済表現ｓ⁺（８４）を出力する。図３に示す特定の例においては、信号結合器４６は、サイド信号の表現７０とサイド信号の上記部分のデコリレート済表現８４と中央信号の上記部分のデコリレート済表現８２との３つの要素を、合計連結点４６ａ及び４６ｂを使用して合計することにより、結合する。図３に示す特定の例においては、最初に、中央信号の上記部分のデコリレート済表現８２と、サイド信号の上記部分のデコリレート済表現８４とが、例えば合計連結点４６ａを使用して両方の要素を合計することにより、結合される。次に、このように結合された信号と、サイド信号の表現７０とが、例えば合計連結点４６ｂを使用して両方の要素を合計することにより、結合される。ここで注目すべきは、この結合（合計）の前にこれら合計されるべき信号をスケーリングすることで、この合計を修正しても良いという点である。負の値を用いてスケーリングすることにより、この合計はまた、差分の形成をももたらすことができる。強化されたサイド信号９０を導出するとき、合計連結点４６ａ及び４６ｂ内において、さらなるデコリレーション手段が追加的に実行されても良い。

スペクトルの全ての部分に対する均等間隔の建設的又は破壊的な干渉を回避するために、かつ、オーディオ場面の知覚的印象の幅を拡大させるために、デコリレータ７４ｂを使用してサイド信号のデコリレート済表現８４を生成し、その後、表現８４をサイド信号の表現７０と結合させる。頭外定位と空間拡大との効果を達成する目的で、強化されたサイド信号を形成するためにそのサイド信号の表現と結合される中央信号の部分は、そのサイド信号の表現の対応する部分からはデコリレートされているべきである。つまり、中央信号の高域通過フィルタリング済の部分Ｍ_Hiとサイド信号の高域通過フィルタリング済の部分Ｓ_Hiとを結合するときには、サイド信号の高周波部分Ｓ_Hiと中央信号の高周波部分Ｍ_Hiとは、互いにデコリレートされているべきである。必要に応じ、これら両方の部分は、サイド信号の表現７０からも互いにデコリレートされても良い。

しかし、他の実施形態においては、中央信号のデコリレート済表現８２とサイド信号の表現７０とは、直接的に結合されても良い。なぜなら、これらの表現はデコリレータ７６ｂによって互いにデコリレートされているからである。

さらに他の実施形態においては、高域通過フィルタリング済の信号部分Ｍ_Hiとサイド信号の表現とが直接的に結合されても良い。結合に際し、このサイド信号の表現の高周波部分は、対応する信号部分の相互デコリレーションを得るために事前にデコリレートされている。

上述した他の実施形態の場合には、高域通過フィルタ５２と６２とのフィルタ特性は、異なっていても良く、また同一でも良い。

さらに、信号スケーラ５４ａ，５４ｂ，６４ａ，６４ｂ，７４ａ，７６ｂのスケールファクタは、広い範囲内で変化しても良い。いくつかの実施形態によれば、これらのスケールファクタは、信号Ｍ及びＳ即ち中央信号及びサイド信号の合計のエネルギーが、中央信号の表現７２と強化されたサイド信号９０との生成において保存されるように選択される。

頭外定位と印象幅拡大という効果を増大させようとするとき、スケールファクタは、強化されたサイド信号９０がサイド信号６ｂよりも大きなエネルギー又はラウドネスを持つように、選択される。このようなシナリオにおいては、上記のエネルギー保存のゆえに、中央信号の減衰が必要になる、即ち、１よりも小さなスケールファクタを選択する必要があるかもしれない。位相を変化させようとする場合には、適切なスケールファクタは０よりも小さくなっても良い。

図３に記載のような本発明によるオーディオ処理器の実施形態を使用すれば、サイド信号の高周波部分をデコリレートすることで、仮想の聴取室のクロストークや拡散された音場の単純かつ効果的なシミュレーションをもたらすことができる。

いくつかの実施形態によれば、選択されたスケールファクタによっては、中央信号の低周波部分を減少させることも可能である。この状態は、リスナーの頭部周辺で音波が回折するような低周波におけるクロストークの単純なシミュレーションとなる。中央信号の一部を頭外処理へと組み込むことで、前方の音源の空間的拡大をもたらす。デコリレート済の中央信号ｍ⁺をサイド信号Ｓへとミキシングすることで、ステレオイメージ幅をさらに拡大させることができる。さらに、この処理は非常に効果的である一方で、高い知覚的品質と低い複雑さを備えた、自然に聞こえる頭外処理をもたらす。上述又は後述の実施形態で詳細に説明するように、中央信号Ｍ及びサイド信号Ｓの一部のデコリレーションを組み合わせるとき、この効果はさらに増大する。

要約すれば、ある信号処理器のある特定の実施形態は、以下のように説明できる。

中央信号Ｍ及びサイド信号Ｓを供給する。これらの信号は外部から供給されても良いし、又は、オリジナルステレオ信号あるいはステレオチャネルＬ及びＲを合計して、例えば合計信号Ｍ及び差分信号Ｓを形成する処理器の内部で供給されても良い。

次に、高域通過フィルタリング済の信号経路Ｓ_Hiを生成する。この高域通過フィルタリング済の信号経路Ｓ_Hiのスケーリング（減衰又は増幅）されたコピーを、減衰された主経路Ｓに対して加算する。また、この高域通過フィルタリング済の信号経路Ｓ_Hiのコピーをスケーリングしかつデコリレートし、及び／又はその信号を遅延させた後に、主経路に対して加算する。

さらに、合計信号Ｍを以下の様に処理する。

中央信号Ｍの高域通過フィルタリング済の信号経路Ｍ_Hiを生成する。この高域通過フィルタリング済の信号経路Ｍ_Hiのコピーを減衰させ、それを減衰された主経路Ｍに対して加算する。また、この信号経路Ｍ_Hiの更なるコピーを減衰させかつデコリレートし、及び／又はその信号を遅延させる。

次に、減衰済かつデコリレート済であり、しかも遅延されているかもしれない信号部分Ｍ_Hiを、他の信号の主経路Ｓに対して加算することで、これらの信号を結合させる。

最後に、主経路Ｓと主経路Ｍとの合計又は差分を演算することで、出力信号ＬとＲとを合成又は生成する。

図４に示すように、高周波部分Ｍ_HiとＳ_Hiとのデコリレーションは、部分的に１つの工程において処理されても良い。なぜなら、この実施形態においては互いにデコリレートされた信号を使用しているからである。しかし、デコリレートされた信号を結果としてもたらす他の設定も、利用されても良い。

図４に示すように、高周波フィルタリング済の信号部分Ｍ_HiとＳ_Hiとのデコリレート済の信号部分ｍ⁺（８２）とｓ⁺（８４）とは、合計連結点４６ａによって加算され、その後、第３のデコリレータ９２を適用し、その後には、任意の遅延回路９４がさらに追加されても良い。

図４に示すように、デコリレート済信号の結合の後に、強化されたサイド信号を形成するための結合が実行されても良い。互いにデコリレートされた信号部分を確保するために、他の実施形態における他の実施例においては、３つのデコリレータ７４ｂ，７６ｂ，９２のうちの１つは省略されても良い。

図５は、複数の入力を備えるデコリレータ１００を使用する、他のデコリレーションの方法を示す。複数の入力を備えるデコリレータ１００を使用することで、このデコリレータ１００の入力に対し、高域通過フィルタリング済の信号要素Ｍ_HiとＳ_Hiとを直接的に入力させることが可能になる。デコリレータ１００は、例えば図４に示す処理に従い、その生成済信号のデコリレーションと結合とを実行する。そのため、デコリレータ１００は、例えば図４に示す信号処理を実行するブラックボックスとして理解しても良い。デコリレータ１００の内部に遅延機能が含まれていない場合には、デコリレータ１００の次に遅延回路９４が設けられても良い。

他の実施形態においては、デコリレータ９２又は１００は、互いに対してデコリレートされた複数の出力、即ち複数の相互デコリレート済信号を出力しても良い。このようなシナリオにおいては、出力信号は、左右のチャネルへと直接的に供給されても良いし、中央信号の表現あるいは強化されたサイド信号へと直接的に供給されても良い。

さらに他の実施形態によれば、このデコリレーションはスペクトルドメインにおいて実行されるので、頭外処理、即ち本発明のオーディオ処理器の適用が、ＭＰ３やＡＡＣ等の圧縮されたオーディオ信号の復号化の中に効果的に含ませることが可能となる。

ステレオチャネル信号の中央−サイド表現が復号化の過程で生成されたとき、及び／又はその復号化がスペクトルドメインあるいは信号のスペクトル表現において実行されたとき、上述の点は非常に有利である。典型的な適用シナリオは、本発明の信号処理器の実施例を例えば携帯電話又は特殊なマルチメディア再生装置など、携帯可能な音楽再生装置の中に実装したものであろう。

図６は、そのような構成例の一例を示す。図６に示すように、音楽データは符号化された表現１１０の中に記憶又は入力され、復号器１１２へと送られる。この復号器は、音楽データ１１０を復号化又は解凍して入力信号を生成する。この入力信号は、特定の実装形態によるが、左チャネル及び右チャネルを含むステレオ信号か、又は中央チャネル及びサイドチャネルを有する中央−サイド表現を含むステレオ信号でも良い。さらに、これらの表現は、スペクトルドメインだけではなく、時間ドメインで生成されて良い。図６に示すオーディオデータの信号処理又は再構成では、後述するように、ユーザー制御により、このシステムのいくつかのパラメータへのアクセスが可能となる。

前記入力信号１１４はバイパス回路へと入力され、この回路は、ユーザー制御１１６のユーザー入力に依存して、本発明の実施例である信号処理器２を迂回するか、又はこの信号１４０を信号処理器２へと入力あるいは送信する。信号処理器２は、ステレオ信号の知覚的品質を、そのパラメータ化から独立して、即ち時間ドメインか周波数ドメインで作動するかに関係なく、強化する可能性を提供する。信号がバイパス経路１２０に沿って送られた場合、未処理の信号は任意のイコライザ１２２へと入力されても良い。このイコライザは、ユーザー制御１１６により供給されるユーザーパラメータに依存して信号を修正するために使用され、その出力においてヘッドホン信号１２４を出力する。しかし、バイパス回路が信号を信号処理器２への入力として導いた場合には、頭外処理を実行することができ、知覚的に強化されたステレオ信号が導出される。

図６の実施形態によれば、信号処理器２のスケールファクタや高域通過フィルタのしきい値周波数などの操作パラメータは、ユーザー制御１１６による影響又は制御を受けても良い。このユーザー制御１１６は、制御値処理回路１２６に対する制御値又は操作値を提供し、この制御値処理回路１２６は、ユーザー入力をクロスチェックし、さらに、例えばエネルギー保存処理を実行するために、このユーザー入力パラメータを修正するように構成されても良い。

信号処理器２により処理された後で、任意の後処理が後処理器１２８により実行されても良い。後処理器１２８は、ユーザー制御１１６を介して供給されたユーザー入力により任意に操作可能である。この後処理は、例えばイコライゼーションやダイナミックレンジ圧縮などのようなダイナミック処理を含む。

要約すれば、通常は音楽コンテンツを圧縮した状態で記憶する携帯機器の中に信号処理器を実装することには、複数の重要な利点がある。圧縮されたオーディオコンテンツを復号化した後で、ＰＣＭデータ又はその周波数表現に対し、本発明の信号処理器が使用されてもよい。代わりに、本発明の方法は、スペクトルドメイン又は時間ドメインにおいて、圧縮されたオーディオ信号の復号化の中に直接的に一体化されても良い。任意の方法として、本発明の方法又は信号処理器を制御する可能性として、この信号処理器による処理をオン・オフで切り換える構成も考えられる。さらに、本発明の信号処理器によって使用されるスケールファクタ等のパラメータは、ユーザーによって調整されても良い。そのため、制御値の適切なセットが供給されても良く、これらセットは、ある処理工程、即ち制御値処理器１２６により、適切なパラメータへと変換される。

さらに、上述のように改善された信号に対し、イコライゼーションやダイナミックス処理等のような任意の後処理が適用されても良い。もしこの装置自身がユーザー制御されたイコライゼーションアルゴリズムを提供する場合には、信号処理器の出力及び／又は任意の後処理の出力に対し、このアルゴリズムを追加的に適用しても良い。

完全な処理連鎖の出力、即ち信号処理器のある実施例の出力、又は後処理及び／又はユーザー制御されたイコライゼーションの出力は、音楽再生装置のヘッドホンプラグへと供給される。

図７は、中央信号６ａとサイド信号６ｂとを使用して、強化された知覚的品質を備えたステレオ信号４を生成する方法のある実施形態を示す。デコリレーション工程１５０においては、中央信号の少なくとも一部のデコリレート済表現１５２及び／又はサイド信号の少なくとも一部のデコリレート済表現１５４が生成される。

強化工程１６０においては、強化されたサイド信号１６２（Ｓ’）が生成されるが、この生成は、サイド信号の表現１６４（Ｓ_R）を、中央信号の一部のデコリレート済表現１５２と一緒に結合するか、中央信号の一部のデコリレート済表現１５２とサイド信号の一部のデコリレート済表現１５４と一緒に結合するか、又は中央信号の一部１６８とサイド信号の一部のデコリレート済表現１５４と一緒に結合するか、のいずれかで実行される。

アップミキシング工程１６９においては、強化されたサイド信号１６２と中央信号の表現Ｍ_Rとを使用して、強化された知覚的品質を備えたステレオ信号４が導出される。

任意の表現生成工程１４８においては、中央信号６ａとサイド信号６ｂの信号部分ｍとｓばかりでなく、中央及び／又はサイド信号の表現Ｍ_RとＳ_Rが生成されても良い。代わりに、これら信号部分の生成は、前処理されていない信号に対して操作する他の処理工程の中で直接的に実行されても良い。つまり、これら表現の生成は、ステレオ信号を生成する本発明の方法の他の工程の中で実行されても良い。

本発明の方法の所定の実施条件にもよるが、本発明の方法は、ハードウエアにおいてもソフトウエアにおいても実現可能である。この実施の形態は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するデジタル記憶媒体、特に、ディスク、ＤＶＤ又はＣＤを用いて実行できる。したがって、一般に本発明は、機械読出し可能なキャリアに格納されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されたときに本発明の方法を実行するように作動する。したがって、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法の少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムと言い換えることができる。

以上の説明は、特定の実施形態を参照しながら説明したが、本発明の趣旨や範囲から逸脱しない限り、形態及び詳細の変更が可能であることは、当業者には明らかである。異なる実施形態に対して適用する中で、ここに示し、後述する特許請求の範囲の記載によって理解されるより広い概念から外れない範囲で、様々な変更の可能性があることは理解されるべきである。

Claims (22)

1. 中央信号とサイド信号とを使用して強化された知覚的品質を備えたステレオ信号を生成するオーディオ処理器であって、前記中央信号はオリジナルの左チャネルと右チャネルの合計を表現し、前記サイド信号はオリジナルの左チャネルと右チャネルの差分を表現するものであり、
   前記中央信号の少なくとも一部のデコリレート済表現及び／又は前記サイド信号の少なくとも一部のデコリレート済表現を生成するデコリレータと、
   前記サイド信号の表現を、前記中央信号の前記一部のデコリレート済表現と結合するか、前記サイド信号の前記一部のデコリレート済表現及び前記中央信号の前記一部のデコリレート済表現と結合するか、又は前記中央信号の前記一部及び前記サイド信号の前記一部のデコリレート済表現と結合するか、のいずれかにより、強化されたサイド信号を生成する信号結合器と、
   前記中央信号の表現と前記強化されたサイド信号とを使用して、前記強化された知覚的品質を備えたステレオ信号を生成する中央−サイド・アップミキサと、
   を含むことを特徴とするオーディオ処理器。
2. 前記信号結合器は、結合されるべき前記信号の重み付き合計を形成することを特徴とする、請求項１に記載のオーディオ処理器。
3. 前記デコリレータは、前記中央信号及び／又は前記サイド信号の高周波部分のデコリレート済表現を生成することを特徴とする、請求項１に記載のオーディオ処理器。
4. 前記デコリレータは、前記中央信号及び／又は前記サイド信号の前記一部をデコリレートすることによりデコリレート済信号を導出することを特徴とする、請求項１に記載のオーディオ処理器。
5. 前記デコリレータは、前記デコリレート済信号に対して所定の遅延をさらに適用することを特徴とする、請求項４に記載のオーディオ処理器。
6. 前記信号結合器は、前記中央信号及び前記サイド信号を、結合されるべき前記信号の表現として使用することを特徴とする、請求項１に記載のオーディオ処理器。
7. 前記サイド信号と前記サイド信号の高域通過フィルタリング済の信号部分とを使用して、前記サイド信号の表現を生成する表現生成器をさらに備えることを特徴とする、請求項１に記載のオーディオ処理器。
8. 前記表現生成器は、前記高域通過フィルタリング済の信号部分を生成する高域通過フィルタを備えることを特徴とする、請求項７に記載のオーディオ処理器。
9. 前記デコリレータは、前記サイド信号の高域通過フィルタリング済の信号部分を使用して、前記サイド信号の前記デコリレート済表現を生成することを特徴とする、請求項８に記載のオーディオ処理器。
10. 前記表現生成器は、前記結合の前に、前記サイド信号及び前記高域通過フィルタリング済の信号部分の強度を調整するための、第１信号スケーラ及び第２信号スケーラをさらに備えることを特徴とする、請求項７に記載のオーディオ処理器。
11. 前記中央信号と前記中央信号の高域通過フィルタリング済の信号部分とを使用して、前記中央信号の表現を生成する第２の表現生成器をさらに備えることを特徴とする、請求項１に記載のオーディオ処理器。
12. 前記第２の表現生成器は、前記中央信号の高域通過フィルタリング済の信号部分を生成する第２の高域通過フィルタを備えることを特徴とする、請求項１１に記載のオーディオ処理器。
13. 前記デコリレータは、前記中央信号の高域通過フィルタリング済の信号部分を使用して、前記中央信号の前記デコリレート済表現を生成することを特徴とする、請求項１２に記載のオーディオ処理器。
14. 前記第２の表現生成器は、前記結合よりも前に前記中央信号及び前記中央信号の高域通過フィルタリング済の信号部分の強度を調整するための、第３信号スケーラ及び第４信号スケーラをさらに備えることを特徴とする、請求項１１に記載のオーディオ処理器。
15. 前記中央信号及び前記サイド信号の周波数表現を使用することを特徴とする、請求項１に記載のオーディオ処理器。
16. 前記中央−サイド・アップミキサは、前記強化された知覚的品質を備えたステレオ信号の左チャネルを、前記中央信号の表現と前記強化されたサイド信号との重み付き合計によって生成し、前記強化された知覚的品質を備えたステレオ信号の右チャネルを、前記中央信号の表現と前記強化されたサイド信号との重み付き差分によって生成することを特徴とする、請求項１に記載のオーディオ処理器。
17. 中央信号とサイド信号とを使用して強化された知覚的品質を備えたステレオ信号を生成する方法であって、前記中央信号はオリジナルの左チャネルと右チャネルの合計を表現し、前記サイド信号はオリジナルの左チャネルと右チャネルの差分を表現するものであり、
    前記中央信号の少なくとも一部のデコリレート済表現及び／又は前記サイド信号の少なくとも一部のデコリレート済表現を生成する工程と、
    前記サイド信号の表現を、前記中央信号の前記一部のデコリレート済表現と結合するか、前記サイド信号の前記一部のデコリレート済表現及び前記中央信号の前記一部のデコリレート済表現と結合するか、又は前記中央信号の前記一部及び前記サイド信号の前記一部のデコリレート済表現と結合するか、のいずれかにより、強化されたサイド信号を生成する工程と、
    前記中央信号の表現と前記強化されたサイド信号とをアップミックスし、前記強化された知覚的品質を備えたステレオ信号を導出する工程と、
    を含むことを特徴とする方法。
18. 前記強化されたサイド信号を生成する工程は、結合されるべき前記信号の重み付き合計を形成する工程を含むことを特徴とする、請求項１７に記載の方法。
19. 前記デコリレート済表現は、前記中央信号及び／又は前記サイド信号の高周波部分から生成されることを特徴とする、請求項１７に記載の方法。
20. コンピュータ上で作動するときに、中央信号とサイド信号とを使用して強化された知覚的品質を備えたステレオ信号を生成する方法を実行するためのプログラムコードを有するコンピュータプログラムであり、前記中央信号はオリジナルの左チャネルと右チャネルの合計を表現し、前記サイド信号はオリジナルの左チャネルと右チャネルの差分を表現し、この方法は、
    前記中央信号の少なくとも一部のデコリレート済表現及び／又は前記サイド信号の少なくとも一部のデコリレート済表現を生成する工程と、
    前記サイド信号の表現を、前記中央信号の前記一部のデコリレート済表現と結合するか、前記サイド信号の前記一部のデコリレート済表現及び前記中央信号の前記一部のデコリレート済表現と結合するか、又は前記中央信号の前記一部及び前記サイド信号の前記一部のデコリレート済表現と結合するか、のいずれかにより、強化されたサイド信号を生成する工程と、
    前記中央信号の表現と前記強化されたサイド信号とをアップミックスし、前記強化された知覚的品質を備えたステレオ信号を導出する工程と、
    を含むことを特徴とするコンピュータプログラム。
21. 強化された知覚的品質を備えたステレオ信号を生成するオーディオ復号器であって、
    オリジナルの左チャネルと右チャネルの合計を表現する中央信号と、オリジナルの左チャネルと右チャネルの差分を表現するサイド信号とを供給する信号供給器と、
    請求項１に記載のオーディオ処理器と、を含むことを特徴とするオーディオ復号器。
22. 前記信号供給器は、圧縮されたオーディオデータストリームを解凍することで前記中央信号と前記サイド信号とを生成するオーディオ解凍器を含むことを特徴とする、請求項２１に記載のオーディオ復号器。

Images