JP2009532982A - 多重チャンネルオーディオ信号のラウドネス修正 - Google Patents

Abstract

多重チャンネルオーディオ信号の全知覚ラウドネスＬ_ｍを所定の量Ｓ_ｍでスケーリングする方法であって、ここで知覚ラウドネスは信号出力Ｐの非線形関数であり、個々のチャンネルＬ_ｃの各々の知覚ラウドネスを全てのチャンネルＳ_ｍの全知覚ラウドネスのスケーリングの所望量に実質的に等しい量によりスケーリングし、これは全知覚ラウドネススケーリングＳ_ｍの計算における精度及び要求精度を前提としている。個々のチャンネルの各々の知覚ラウドネスは、個々のチャンネルの各々の利得を変化させることによりスケーリングしてもよく、その利得はチャンネルの出力のスケーリングである。更に、選択的には、実際の全ラウドネススケーリングと全ラウドネススケーリングの所望量との間の差を減じるように、各チャンネルに適用されたラウドネススケーリングを修正してもよい。

Description

本発明はオーディオ信号処理に関する。特に、本発明は、知覚対空間バランスを保つために、全てのチャンネルの間の相対知覚ラウドネスをほぼ保ちつつ、多重チャンネルオーディオ信号の全体的な知覚ラウドネスを調節することに関する。本発明は、方法のみならず、それに対応するコンピュータプログラム及び装置も含む。

参照する文献及びその引用
本発明のより良い理解の観点から有益である知覚（音響心理学的なラウドネス）の測定及び調整のための特定の技術は以下の国際特許出願公開公報に説明されている。即ち、ＷＯ２００４／１１１９９４ Ａ２，Ａｌａｎ Ｊｅｆｆｒｅｙ Ｓｅｅｆｅｌｄｔ他，公開日２００４年１２月２３日、発明の名称”Ｍｅｔｈｏｄ，Ａｐｐａｒａｔｕｓ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｐｒｏｇｒａｍ ｆｏｒ Ｃａｌｃｕｌａｔｉｎｇ ａｎｄ Ａｄｊｕｓｔｉｎｇ ｔｈｅ Ｐｅｒｃｅｉｖｅｄ Ｌｏｕｄｎｅｓｓ ｏｆ ａｎ Ａｕｄｉｏ Ｓｉｇｎａｌ”及び”Ａ Ｎｅｗ Ｏｂｊｅｃｔｉｖｅ Ｍｅａｕｒｅ ｏｆ Ｐｅｒｃｅｉｖｅｄ Ｌｏｕｄｎｅｓｓ，”Ａｌａｎ Ｓｅｅｆｅｌｄｔ他、オーディオ技術学会学会論文６２３６，サンフランシスコ，２００４年１２月２８日である。これら出願公開公報ＷＯ２００４／１１１９９４ Ａ２及び上記論文はその全体が参照により本明細書に組み込まれている。

本発明のより良い理解の観点から有益である知覚（音響心理学的なラウドネス）の測定及び調整のための他の技術は以下の国際特許出願公開公報に説明されている。即ち、ＷＯ２００６／０４７６００ Ａ１，Ａｌａｎ Ｊｅｆｆｒｅｙ Ｓｅｅｆｅｌｄｔ他，公開日２００６年 ５月 ４日、発明の名称”Ｃａｌｃｕｌａｔｉｎｇ ａｎｄ Ａｄｊｕｓｔｉｎｇ ｔｈｅ Ｐｅｒｃｅｉｖｅｄ Ｌｏｕｄｎｅｓｓ ａｎｄ／ｏｒ Ｐｅｒｃｅｉｖｅｄ Ｓｐｅｃｔｒａｌ Ｂａｌａｎｃｅ ｏｆ ａｎ Ａｕｄｉｏ Ｓｉｇｎａｌ”である。この出願公開公報ＷＯ２００６／０４７６００ Ａ１及び上記論文はその全体が参照により本明細書に組み込まれている。

背景技術
オーディオ信号の知覚ラウドネスを客観的に測定するための多くの方法が存在する。方法の例としては、ラウドネスの音響心理学的モデル（例えば”Ａｃｏｕｓｔｉｃ――Ｍｅｔｈｏｄ ｆｏｒ ｃａｌｃｕｌａｔｉｎｇ ｌｏｕｄｎｅｓｓ ｌｅｖｅｌ，” ＩＳＯ ５３２ （１９７５）及びＰＣＴ／ＵＳ２００５／０３８５７９出願）のみならず、Ａ， Ｂ及びＣ加重出力測定がある。加重出力測定は以下のようにして操作される。即ち、入力オーディオ信号を採り、公知のフィルタ（これは、より知覚的に感じ易い周波数を強調し、且つ知覚的に感じにくい周波数には重きを置かない）を適用して、所定の時間長に亘ってフィルタ濾波された信号の出力を平均化する。音響心理学的方法は、通常はより複雑であって、ヒトの耳の働きの良好なモデルを得ようとするものである。これらの方法は、信号を耳の 周波数応答及び感度を模擬する周波数帯域に分割し、様々な信号出力によるラウドネスの非線形性知覚のみならず、周波数及び時間的マスキングのような音響心理学的現象を考慮して、これらの周波数を操作して統合する。全ての方法の目的は、オーディオ信号についての主観的な印象に対して緊密に整合する数量的な測定値を導出することにある。

ヒトの聴覚系の非線形性の正確なモデリングは、ラウドネスの知覚的なモデルの基礎をなす。１９３０年代には、Ｆｌｅｔｃｈｅｒ及びＭｕｎｓｏｎは、音のレベルが増大すると、感度の相対的な変化が減少することを見出した。１９５０年代には、Ｚｗｉｃｋｅｒ及びＳｔｅｖｅｎｓは、Ｆｌｅｔｃｈｅｒ及びＭｕｎｓｏｎの研究を基にしていて、より精密で現実的なモデルを開発した。Ｚｗｉｃｋｅｒによって公表された図１は、１ＫＨｚのトーンと均一な刺激的な雑音（ＵＥＮ、全ての重要な帯域にある等しい出力を伴う雑音）との両方のラウドネスの増大を示す。しばしば「聴力閾値」と称される信号レベルより下では、ラウドネスは知覚されない。この閾値よりも上では、ラウドネスが信号レベルで線形に増大する漸近線まで知覚ラウドネスの急激な上昇がある。図１は１ＫＨｚトーンについての非線形挙動を示すが、図２におけるＩＳＯ２２６の等しいラウドネス輪郭は、同様な挙動を示すものの、これは正弦波トーンについての周波数の関数である。等高線（１０フォン単位である）は、ヒトの耳が等しい大きさで知覚する周波数に亘る音圧レベルを示す。最も低い線は、「聴力閾値」を周波数の関数として表す。低いレベルでは、等しいラウドネスの線は互いに密に圧縮されて、音圧レベルにおける比較的に小さな変化が、高いレベルにおけるよりも知覚ラウドネスにおけるより重要な変化を起こす。

ヒトの聴覚系の非線形及び周波数変動挙動は、オーディオ信号の知覚音色及び心象における直接的な影響を及ぼす。特定の音圧レベルで提示される複雑な広帯域オーディオ信号（例えば音楽）は、特定のスペクトルバランス又は音色を持つものとして知覚される。同じオーディオ信号が異なる音圧レベルで提示されるのであれば、図２で示すように、周波数が異なれば知覚ラウドネスの増加も異なり、オーディオ信号の知覚スペクトルバランス又は音色が異なる。複数のラウドスピーカー全体で提示される複雑な広帯域多重チャンネルオーディオ信号も、特定の空間バランスを持つものとして知覚される。空間バランスは、二つ以上のラウドスピーカーの間でオーディオ信号の相対的なレベルのために、混合の全体的な拡散のみならず、混合における音要素の位置の印象を意味する。同じ多重チャンネルオーディオ信号が、異なる全体的な音圧レベルにて提示されるならば、知覚ラウドネスにおける非線形増加及び周波数に亘るラウドネスの異なる増加は、多重チャンネルオーディオ信号の知覚空間バランスの変化を導く。これは、チャンネル間にレベルに有意差があるときに特に顕著である。より静かなチャンネルは、ラウドネスが大きなチャンネルとは影響が異なり、ラウドネスが大きなチャンネルは、例えば全体的なレベルが減じるときに、静かなチャンネルを聴力閾値よりも下げて、聴覚的に消えるようにする。

多くの状況では、オーディオ信号の知覚ラウドネスを調節若しくはスケーリングしたいという要望がある。最も明らかな例は、消費者向け音楽プレーヤー、ホームシアター受信機/増幅器及び専門的なミキシングコンソールを含む多くの装置に見られる伝統的なボリューム又はレベルコントロールである。この単純なボリューム又はレベル制御利得は、ヒトの聴覚系並びに知覚音色及び空間バランスにおける結果的な変化を考慮することなく、オーディオ信号を調節する。

最近では、Ｓｅｅｆｅｌｄｔら（上述のＷＯ２００４／１１１９９４Ａ２出願）及びＳｅｅｆｅｌｄｔ（上述のＰＣＴ／ＵＳ２００５／０３８５７９出願）は、モノラルオーディオ信号の知覚ラウドネスの正確なスケーリングを可能とする観点で、且つその実施が広帯域又は多重バンドであるか否かによって、知覚音色を維持する発明を開示している。そのような発明の局面によると、所望のラウドネススケーリング又は目標ラウドネスは、基本的に、ラウドネス測定モデルを逆にして、オーディオ信号に適用することができる広帯域利得又はマルチバンド利得を計算することによって達成される。

そのような試みはモノラルオーディオ信号のラウドネス調節の問題を解決するが、多重チャンネルオーディオ信号のラウドネスを如何に調節するかという問題は依然として残っている。

多重チャンネルラウドネスは、代表的には各チャンネルの累乗の合計の関数として計算される。上述したＡ，Ｂ及びＣ加重測定などの加重累乗法については、多重チャンネルラウドネスは、各チャンネルにおける加重累乗の単純な合計である。一般に、ラウドネスの音響心理学的モデルのためには、臨界帯域パワースペクトル又は励起スペクトルが各々のチャンネルについて最初に計算され、次いで励起スペクトルが一つの励起スペクトルを発生させるように全てのチャンネルに亘って合計される。各々の励起帯域は、例えば図１のように、非線形性を通じて、特定のラウドネスとして知られている帯域当りのラウドネスの測定値を形成し、特定のラウドネスは一つの広帯域ラウドネス値を計算するように周波数全体で合計される。加重出力と心理音響方法との両方について、各チャンネルにおける出力の合計の関数は、頭部伝達関数（ＨＲＴＦ）効果を考慮して、付加的なチャンネル毎の重み付けを含む。

多重チャンネル信号のラウドネスは比較的簡単に計算することができるので、全てのチャンネルに適用されるとき、ラウドネスの全体的な所望の変化を起こすように、一つの利得を計算することが可能である。しかしながら、この一つの利得は、多重チャンネル・プレゼンテーションの他の特質における好ましくない影響を及ぼすおそれがある。多重チャンネル・プレゼンテーションにおけるチャンネル間の相対的な信号レベルに差が存在するならば、且つ全てのチャンネルが同一の利得によってスケーリングされるならば、より静かなチャンネルには、ラウドネスの大きいチャンネルよりも、そのラウドネスの大きな知覚変化がある。これは、或るチャンネルが可聴閾値よりも下がると、最悪の場合には知覚空間バランスの変化を引き起こし得る。例えば、フィルムのための多くの５．１のオーディオ混合において、前方チャンネルは、周囲チャンネルよりもかなり高いレベルの信号を含む。特に中央チャンネルは通常は会話を再生させることに用いられている。しかしながら、より低いレベルの周囲のチャンネルは、混合で拡散の感覚を引き起こす信号を含むかもしれない。それは例えば、大きな部屋で誰かが話している効果を模擬する目的で、会話の反響する部分を含むかもしれない。そのような信号のラウドネスが、同じ利得を全てのチャンネルに適用することによって減少するにつれて、周囲チャンネルは前方チャンネルよりもラウドネスの減少が早く、結局は可聴閾限よりも下がる。その結果は、意図された拡散空間バランスの深刻な崩壊である。

本発明の局面によると、多重チャンネル・プレゼンテーションの全体的な知覚ラウドネスの所望のスケーリングは所望の精度で達成でき、その一方で、知覚空間バランス又は音色を保つ目的でチャンネルの中の相対的な知覚ラウドネスを所望の精度で保持する。

本発明の開示
本発明は多重チャンネルオーディオ信号の全知覚ラウドネスＬ_ｍを所定の量Ｓ_ｍでスケーリングする方法を意図しており、ここで知覚ラウドネスは信号出力Ｐの非線形関数であり、個々のチャンネルＬ_ｃの各々の知覚ラウドネスを全てのチャンネルＳ_ｍの全知覚ラウドネスのスケーリングの所望量に実質的に等しい量によりスケーリングし、これは全知覚ラウドネススケーリングＳ_ｍの計算における精度及び要求精度を前提としている。

個別のチャンネルの各々の知覚ラウドネスは個別のチャンネルの各々の利得の変化によりスケーリングされ、ここで利得はチャンネル出力のスケーリングである。

更に選択的には、各チャンネルに適用されるラウドネスのスケーリングは、実際の全体的ラウドネススケーリングと全体的なラウドネススケーリングの所望量との間の差を減じるために修正する。

各チャンネルに適用されるラウドネススケーリングは、共通の乗数を各チャンネルの利得に適用するか、または、各々のチャンネルのスケーリングへ共通のスケーリング補正値を加えることにより修正してもよい。

各チャンネルの知覚ラウドネス及び全体的な知覚ラウドネスは、共に複数の周波数帯の各々において測定し、各チャンネルの振幅を、そのような周波数帯で調整してもよい。周波数帯域は臨界帯域としてもよい。代替的に、各々のチャンネルの知覚ラウドネスと全体的な知覚ラウドネスとは、共に一つの広帯域の周波数帯域で測定してもよい。

他の観点では、本発明は、上述の方法の何れかを実行するのに適している装置により実施される。

更に他の観点では、本発明はコンピュータプログラムによって実施され、そのプログラムは、コンピュータに上述の方法の何れかを実行させるように、コンピュータ読取り可能な媒体に保存される。

本発明の一般的な説明
一般に、ラウドネスＬの大きさ、信号出力Ｐの関数Ｆとして記述される。信号出力Ｐはオーディオ信号の出力の大きさである。これは、Ａ，Ｂ又はＣ加重出力又は多重帯域励起スペクトルとなりえる。例えば、ＡＮＳＩ Ｓ１．４２−２００１（Ｒ２００６），聴覚的測定のための聴感補正回路の米国標準規格設計応答を参照されたい。関数Ｆは、ラウドネスの増加における変動に近似するように設計された非線形性である。この関数は、単独の広帯域出力の大きさに適用された図１の単独ＵＥＮ関数と同じくらい単純であるか、又はラウドネスの心理音響モデルと同じくらい複雑であり、後者においては、励起スペクトルが、帯域ごとに異なる非線形性を通じて、特定のラウドネススぺクトルへ、次いで単独のラウドネス値へ変換される（例えば上述のＰＣＴ／ＵＳ２００５／０３８５７９号における如し）。Ａ加重出力などの伝統的な加重出力はヒトの聴覚系の周波数変動感受性を考慮しようとするが、それらはレベル感受性における変動における感受性は考慮していなことに留意されたい。従って上述したような非線形性を通じて伝統的な加重出力の大きさを経ることは有益であろう。

ラウドネス関数が可逆であると仮定すると、信号出力Ｐの利得スケーリングｇは、利得変化が知覚ラウドネスの特定の所望のスケーリングsをもたらすように計算できる。

従って利得ｇは出力Ｐのスケーリングであり、ここでｓはラウドネスＬのスケーリングである。

関数Fが線形であるならば、式２ａはｇＬ＝ｇＦ｛Ｐ｝＝ｇＬに単純化でき、これは自明な解ｇ＝ｓを与え、これは信号出力Ｐに依存しない。しかしながら、非線形関数Ｆによれば、利得ｇは、一般に、図２ｂに示すように信号出力Ｐの関数である。換言すれば、異なる信号出力Ｐは、同一のラウドネススケーリングｓについての異なる利得ｇを要求する。

多重チャンネルオーディオ信号のラウドネスＬｍの全体的な（全てのチャンネルの）大きさは、実際には、多重チャンネルオーディオ信号における各チャンネルのチャンネル当り出力Ｐｃの合計の関数として近似される。チャンネルの合計数はＣである。

チャンネル当り出力の合計は頭部伝達関数（ＨＲＴＦ）効果を考慮に入れて重み付けられることに留意されたい。即ち、異なる空間的方向からの信号は、僅かに異なる相対知覚ラウドネスを有する。リスナーが多重チャンネルを再生させているラウドスピーカーに関連していることが判明しているか、又はそのように仮定すると、個々のチャンネル信号の関数（一般に、チャンネル信号のフィルタ濾波された合計）としてリスナーの耳に到達する信号のモデルを構築できるであろう。従ってラウドネスは、そのような耳の信号から計算してもよい。しかしながら実際には、チャンネル信号の出力合計を実行することは、大部分のリスニング環境について役立つ。

ここで再びラウドネス関数が可逆であると仮定すると、全てのチャンネルに適用された単独の利得ｇ_ｍは、その計算結果が全体的な知覚ラウドネスの所望のスケーリングＳ_ｍになるように計算してもよい。

しかしながら、全てのチャンネルに対して同じ利得ｇ_ｍを適用することは、修正されたオーディオの空間的バランスに好ましくない影響を及ぼし得る。特に、利得ｇ_ｍの計算は、大きな量の出力を有するチャンネルに最も影響される。他のチャンネルが、それほど大きくない出力を有するならば、利得ｇ_ｍはヒトのラウドネス認識の非線形性に起因して、高レベルチャンネルに比べて、これらの低レベル・チャンネルにおいて相当に異なる知覚変化を引き起こす。スケーリングＳ_ｍがラウドネスの減衰に対応するならば、過度な減衰がこれらの低レベルチャンネルへ適用されるであろう。その結果、混合の空間バランスへのそのような低レベルチャンネルの相対的な寄与が減らされるので、最悪の場合には、そのチャンネルは完全に聞こえなくなる。

本発明は、多重チャンネルオーディオ信号の空間バランスを、そのオーディオ信号の全体的ラウドネスに対する望ましい変化を与えつつ、維持する問題に対処する。多重チャンネルオーディオ信号の空間バランスを正確に測定して特徴付けることは、非常に複雑である。様々なチャンネルのスペクトルの一部分が、チャンネルが鳴っているスピーカーの間の仮想音源位置へ聴覚的に拡散し、チャンネルの他の部分はリスナーを取り囲む拡散音場の知覚を形成するように組み合わせられる。これらの様々な成分の知覚ラウドネスを相互の関係で測定することは、よく理解されていない問題である。というのは、特定のオーディオ信号成分が他の成分を部分的にマスキングする複雑な現象を伴うためである。マスキングの程度は、空間位置及び各音源の拡散性のみならず、各音源のレベルの関数である。空間バランスのこれらの観点の全てを正確に測定することが可能であったとしても、それらの相対測定値を全体的ラウドネスをスケールして保存しようと試みることは、おそらく複雑な線形最適化プロセスを伴う。

しかしながら、二つのチャンネルの単純な例、即ち各チャンネルが、他のチャンネルにおける信号に空間的に重畳しない信号を含む例を考えられたい。各チャンネルは、何れの音源も他方をマスキングしていない明瞭に識別される音源として知覚される。この単純な例の場合に、二つの成分の相対的なラウドネスを維持することが、（各チャンネルの利得ではなく）同じ量によって個々のチャンネルのラウドネスをスケーリングすることにより達成されることが明らかである。発明者は、一般にこの解決を多重チャンネル信号に適用することは、好ましくない副次的な悪影響をもたらすことなく、空間バランスの維持を助けるということを見出した。

本発明の観点の基本的な実現において、個々のチャンネルLc（隔絶して採る）の知覚ラウドネスは、全体的知覚ラウドネススケーリングの計算における精度さ及び要求精度を条件として、全てのチャンネルの全体的知覚ラウドネスのスケーリングの所望量Ｓ_ｍに実質的に等しいスケーリングの量Ｓ_ｃによりスケールできる。この解決は、高レベルチャンネルの影響のために可聴閾値よりも下に落ちている低レベルチャンネルの上述の問題を軽減する。個別のチャンネルＬ_ｃの各々の知覚ラウドネスにおけるこのようなスケーリングは、各チャンネルの個別の利得ｇ_ｃ（ここで、そのような利得ｇ_ｃはチャンネル出力Ｐ_ｃのスケーリングである）を調整することにより達成される。以下に説明するように、そのような個々のチャンネル利得ｇ_ｃは、式４ａ及び４ｂに関連して上述した利得ｇ_ｍとは一般に同じではないことに留意されたい。これは例えば、Ｃチャンネルの各々についての式５ａ及び５ｂの参照によって、より良く理解されるであろう。

ここでＳ_ｃ＝Ｓ_ｍである。

本発明のこのような基本的な実施は空間バランスを実質的に維持して、多くのアプリケーションで使用可能であるが、そのような実施例は、関数Ｆの非線形性に起因して、多重チャンネル知覚ラウドネスＬｎの所望の全体的なスケーリングＳ_ｍを達成されることは保証しないであろう。Ｆが非線形であるので、式４ｂによって与えられる利得ｇ_ｍは、式５ｂにより与えられた利得ｇ_ｃに一般に等しくない。従って、全てのチャンネルへのｇ_ｍの適用の後の全てのチャンネルのラウドネスは、利得ｇ_ｃをそれぞれのチャンネルの各々へ適用した後の全てのチャンネルのラウドネスとは一般に等しくない。即ち、

式６ａの左辺に式４ａと式５ｂによるｇ_ｃとを代入すると、等価表現を得る。即ち、

このように、（１）所望の全体的知覚ラウドネススケーリング因子Ｓ_ｍ（これは例えば式６ｂの右辺により記述される）による個々のチャンネルＬ_ｃの各々の知覚ラウドネスのスケーリングから生じる全てのチャンネルの知覚ラウドネスと（２）全体的知覚ラウドネススケーリング因子Ｓ_ｍ（これは例えば式６ｂの左辺により記述される）による直接的なスケーリングから生じる全てのチャンネルの知覚ラウドネスとの間の差又はエラーがある。このエラーは、スケーリング・デルタΔＳ_ｍとして表現でき、これは所望の全体的ラウドネススケーリングＳ_ｍで合計されるとき、式６ｂを変化させて等式にする。即ち、

或いは、項を整理すると、

ヒトの知覚の非線形レベルの挙動を現実的にモデル化する任意の関数Ｆについて、このようなエラーは一般に小さい。というのは、ラウドネスの増加は、大きな範囲に亘って線形に近いためである。しかしながら、そのようなエラーを最小にするためには、選択的な補正を本発明の基本的な実施例に加えることが望ましい。一般性を喪失することなく、個々のチャンネルの各々のラウドネススケーリングへ導入されたスケーリングΔＳ_ｃなどの補正を表すようにして、式６ｄにおける全体的ラウドネススケーリング・エラーΔＳ_ｍが減少する。一般に、スケーリング・デルタΔＳ_ｃはチャンネルからチャンネルへ異なる。これらチャンネル・スケーリング・デルタΔＳ_ｃを式６ｄへ編入すると、修正表現を得る。即ち、

従って、このような補正の適用による個々のチャンネル利得はＣチャンネルの各々についての次式により与えられる。

若干の許容範囲内で、チャンネル・スケーリング・デルタΔＳ_ｃに到達するために任意の適宜な技術を用いて、式６ｅにおける全体的ラウドネススケーリング・エラーΔＳ_ｍの絶対値が、式６ｄにおけるそれよりも小さくなるようにしてもよい。このようにΔＳ_ｍの絶対値は、より小さくされる。以下に示す二つの実施例においては、それは、理想的には、零になる。しかしながら、ΔＳ_ｍの絶対値における低減の程度は、各チャンネル・スケーリング・デルタΔＳ_ｃのサイズに対して相殺されるようにして、聴覚的チャンネルラウドネス変動の人為的な結果を最小にしてもよく、この場合のΔＳ_ｍの理想的な値は零ではない。補正実施例の二つの例を以下に説明する。

そのような補正を実行する一つの方法の例は、式５ｂにおけるように本発明の基本的な実施によって先ず個々のチャンネル利得ｇ_ｃを計算し、次いで、全てのチャンネルについての単独の補正利得Ｇを計算し、これに各チャンネル利得ｇ_ｃを乗じると、補正チャンネル利得 ｇ^Δ _ｃ＝Ｇｇ_ｃを得る。利得Ｇを計算して、利得ｇ^Δ _ｃの各チャンネルへの適用の後の全体的なラウドネスは、所望量によりスケールされた最初の全体的ラウドネスに等しい。即ち、

Ｇを解くと、以下を得る。

この補正は全体的ラウドネススケーリング・エラーΔＳ_ｍの絶対値を低減する。理想的には、７ａ式（ここではΔＳ_ｍ因子はなく、スケーリング・エラーは零に設定されている）の検討から明らかなように、それは零へ減じる。実用的な構成においては、スケーリング・エラーは、計算精度、信号処理時間のずれ等の結果として零ではないこともあろう。また、上述のように、各チャンネル・スケーリング・デルタΔＳ_ｃのサイズは、ΔＳ_ｍエラー因子の低減の程度を制限するように考慮してもよい。

対応するチャンネル・スケーリング・デルタΔＳ_ｃは直接に指定されるのではなく、Ｇの計算を通じて暗黙的に指定される。Ｇが与えられると、式６ｆの項を整理して、補正チャンネル利得ｇ^Δ _ｃの適用の後の特定のチャンネルのラウドネスの比として各チャンネルのスケーリング・デルタΔＳ_ｃについて解いて、最初のチャンネルのラウドネスから所望の全体的ラウドネススケーリングを引くと、

ΔＳ_ｃについては解く必要が無いことに留意されたい（全体的（多重チャンネル）ラウドネスに対する望ましい補正は、共通のＧ因子の適用により各チャンネル利得を調整することにより生じる）。式７ｃは最初の補正例の解説における説明の目的で示した。

実際には、個々のチャンネル利得により達成される全体的ラウドネススケーリングは、所望の全体的ラウドネススケーリングＳ_ｍに近似するので、結果として生じる補正利得Ｇは一般に単一性に近く、対応するチャンネル・スケーリング・デルタは零に近似する。その結果、補正は何らかの好ましくない空間変化を引き起こすことはないであろう。

補正を適用する他の方法の例は、全てのチャンネルについてΔＳ_ｃ＝ΔＳとなるように、全てのチャンネルに共通なチャンネル・スケーリング・デルタΔＳを見つけることであり、これは全体的ラウドネススケーリング・エラーΔＳ_ｍの絶対値の低減をもたらす。理想的には、式８（ここではΔＳ_ｍ因子がなく、スケーリング・エラーはゼロに設定される）の検討から明らかなように、それは零へ減じる。実際的な配置構成においては、スケーリング・エラーは、計算精度、信号処理時間のずれなどの結果としての零にならないこともあろう。これらの制限を６ｅ式に当て嵌めると、以下の条件を得る。

式８をΔＳについて解いて、全てのチャンネルについてΔＳ_ｃ＝ΔＳである式６ｆを用いて、対応する補正チャンネル利得ｇ^Δ _ｃを計算してもよい。実際には、ΔＳについて式８を解くことは、反復的な数学的方法を必要とするので、先に説明した第１の補正の実施形態よりもあまり望ましくはない。

二つの上述した補正例の観点を以下の表に纏める。

多重チャンネル信号の個別のチャンネルの各々に対するほぼ同一のラウドネススケーリングを適用すると同時に、全体的ラウドネスに対するほぼ望ましい変化を適用する他の技術も存在し得るものであり、本発明はそのような全ての技術を包含することを意味する。

発明を実施するための最良の態様
上述のＷＯ２００４／１１１９９４ Ａ２出願及び上述のＰＣＴ／ＵＳ２００５／０３８５７９出願において、Ｓｅｅｆｅｌｄｔ他及びＳｅｅｆｅｌｄｔは、とりわけ、音響心理学的モデルに基づく知覚ラウドネスの客観的尺度を開示する。モノフォニックのオーディオ信号ｘ［ｎ］から、その方法は先ず、時間ブロックｔの間に臨界帯域ｂにおいて内耳の基底膜に沿うエネルギーの分布に近似する励起信号Ｅ［ｂ，ｔ］を計算する。この励起は、オーディオ信号の短時間離散型フーリエ変換（ＳＴＤＦＴ）から以下のようの計算し得る。

ここでＸ［ｋ，ｔ］は、時間ブロックｔ及び瓶ｋにおけるｘ［ｎ］のＳＴＤＦＴを表す。Ｔ［ｋ］は、外耳及び中耳を通じてのオーディオの伝送をシュミレーションするフィルタの周波数応答を表し、且つＣ_ｂ［ｋ］は、臨界帯域ｂに対応する位置における基底膜の周波数応答を表す。図３は、４０のバンドが等価矩形帯域幅（ＥＲＢ）スケールに沿って一様に離間した臨界帯域フィルタ応答の適宜なセットを表し、これはＭｏｏｒｅ及びＧｌａｓｂｅｒｇにより定義されている（Ｂ．Ｃ．Ｊ．Ｍｏｏｒｅ，Ｂ．Ｇｌａｓｂｅｒｇ，Ｔ．Ｂａｅｒ，”Ａ Ｍｏｄｅｌ ｆｏｒ ｔｈｅ Ｐｒｅｄｉｃｔｉｏｎ ｏｆ Ｔｈｒｅｓｈｏｌｄｓ， Ｌｏｕｄｎｅｓｓ，ａｎｄ Ｐａｒｔｉａｌ Ｌｏｕｄｎｅｓｓ，””Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， Ｖｏｌ．４５，Ｎｏ．４， Ａｐｒｉｌ １９９７， ｐｐ．２２４−２４０）。各フィルタ形状は丸み付け指数関数によって記述され、帯域は１ＥＲＢの離間を用いて分布されている。最後に、式（９）におけるスムージング時定数λｂは、帯域ｂの範囲内でヒトのラウドネス知覚の集積時間に比例して優位に選ばれるようにしてもよい。

等しいラウドネス輪郭を用いて、図２に描かれるように、各々の帯域における励起は、１ＫＨｚにおける同じラウドネスを生成する励起レベルへ変換される。特定のラウドネス、即ち周波数及び時間に亘って分布する知覚ラウドネスの大きさは、圧縮非線形性を通じて変換励起Ｅ_１ＫＨｚ［ｂ，ｔ］から計算される。特定のラウドネスＮ［ｂ，ｔ］を計算するためのそのような適宜な関数の一つは、以下のように与えられる。即ち、

ここでＴＱ_１ＫＨｚは、静謐の閾値１ＫＨｚであり、定数β及びαは、図１に示すようにラウドネスデータの増大に一致するように選ばれる。最後に、総ラウドネスＬ［ｔ］は、ソーン単位で表されており、帯域全体で特定のラウドネスを合計することによって計算される。即ち、

オーディオ信号を調節するために、広帯域の利得ｇ［ｔ］を計算したいという要望もあろう。この広帯域の利得ｇ［ｔ］は、オーディオ信号を乗じるときに、調節されたオーディオのラウドネスとなり、これは、上述の音響心理学的な技術で測定したように、或る所望の目標ラウドネス

に等しい。

目標ラウドネス

は、様々な手法で計算し得る。例えば、ボリュームコントロールの場合、それは最初のラウドネスＬ［ｔ］の固定スケーリングとして計算されるようにしてもよい。これに代えて、自動利得制御（ＡＧＣ）又はダイナミックレンジ制御（ＤＲＣ）など、ラウドネスＬ［ｔ］のより高度な関数を用いてもよい。

を計算する方法に関係なく、対応する利得ｇ［ｔ］は同様に計算される。関数Ｆ_Ｌは励起からラウドネスへの変換を表すとすると、

を得る。利得ｇ［ｔ］を計算すると、

これら（１２ａ−ｂ）を整理すると、解を得る。即ち、任意のｂについて、

である。ここでｓ［ｔ］は、

に関連するラウドネススケーリングであり、

及び逆関数Ｆ_Ｌ ^−１は、最初の励起Ｅ［ｂ，ｔ］の広帯域スケーリングである励起を生成することを余儀なくする。関数Ｆ_Ｌの性質（帯域全体の加重に続く各帯域へ適用される）に起因して、逆関数Ｆ_Ｌ ^−１についての閉じた解は存在しない。その代わりに、上述のＷＯ２００４／１ １１９９９４Ａ２出願に説明されら反復的な技術を用いて利得ｇ［ｔ］を解いてもよい。

オーディオを修正するために広帯域利得ｇ［ｔ］を計算するのではなく、これに代えて、多帯域利得ｇ［ｂ，ｔ］を計算するようにしてもよく、これは、最初のオーディオに適用されたときに、その特定のラウドネスが或る所望の目標の特定ラウドネス

に実質的に等しい修正されたオーディオ信号をもたらす。広帯域利得（知覚スペクトルバランスの制御または音色）の代わりにマルチバンド利得を計算することにより、オーディオの知覚スペクトルバランス又は音色を達成できる。例えば、ボリュームコントロールにより、目標とする特定のラウドネスは元の特定のラウドネスＮ［ｂ，ｔ］のバンド独立スケーリングとして計算され、ボリュームが変化してもオーディオの最初の音色が保存される。上述のＰＣＴ／ＵＳ２００５／０３８５７９出願には、Ｎ［ｂ，ｔ］の関数としての

を計算するための他の様々な手法が説明されており、これはＡＧＣ、マルチバンドＤＲＣ、ダイナミックＥＱ（ＤＥＱ）を含む。励起から特定のラウドネスまでの変化を表す関数Ｆ_Ｎを導入すると、

利得ｇ［ｂ，ｔ］は次のように計算される。

（１３ａ−ｂ）式を整理すると、次の解を得る。

ここでｓ［ｂ，ｔ］は

に関連する特定のラウドネススケーリングである。即ち、

上述のＰＣＴ／ＵＳ２００５／０３８５７９号においては、（１２ｃ）においてＦ_Ｎ ^−１を計算するための幾つかの手法が説明されており、これは閉じた表現式、ルックアップテーブル、及び反復的検索を含む。

ここでマルチチャンネルオーディオ信号Ｘ_ｃ［ｎ］，ｃ＝１．．．Ｃ，を考えると、これから励起Ｅｃ［ｂ，ｔ］を各チャンネルｃのために計算できる。マルチチャンネル信号についての励起Ｅｍ［ｂ，ｔ］は、全てのチャンネル励起を合計することによって計算できる。即ち、

また、対応する全ラウドネス及び特定のラウドネスは全励起から下記に従って計算できる。

同様に、個々のチャンネルのラウドネスと特定のラウドネスは、各々のチャンネル励起から以下のように計算できる。

いま、マルチチャンネルオーディオ信号を修正し、総ラウドネスＬ_ｍ［ｔ］がｓ_ｍ［ｔ］によってスケールするか、或いは全特定ラウドネスＮ_ｍ［ｂ，ｔ］をｓ_ｍ［ｂ，ｔ］によりスケールすることを望んだとする。前者の場合には、広帯域利得ｇ_ｍ［ｔ］について次のように解ける。

後者の場合には、多帯域利得ｇ_ｍ［ｂ，ｔ］について次のように解ける。

両方の場合において、同じ利得が全てのチャンネルｃに適用されるが、既に述べたように、この結果として起こり得ることは、多重チャンネル信号の知覚空間バランスの歪である。それに代えて、空間バランスを保存するためには、各チャンネルについて利得ｇ_ｃ［ｔ］又はｇ_ｃ［ｂ，ｔ］を計算して、個々のチャンネルラウドネス又は特定ラウドネスの各々を所望量によってスケールするようにしてもよい。

このように、全てのチャンネル間の相対的なラウドネス又は特定のラウドネスが保たれる。しかしながら、これらの利得ｇ_ｃ［ｔ］又はｇ_ｃ［ｂ，ｔ］が最初の多チャンネルオーディオの対応するチャンネルに適用されると、結果として生じる修正された多重チャンネルオーディオ信号の総ラウドネスは、所望量によってスケールされる最初の多重チャンネルオーディオ信号の総ラウドネスに必ずしも等しいとは限らない。更に詳しくは、

及び

多くの場合、式（１８ａ）及び（１８ｂ）の二辺はほぼ等しいので、或るアプリケーションについては、結果として生じるエラーは無視できるであろう。しかしながら、最良の結果のためには、全てのチャンネルに適用される補正利得Ｇ［ｔ］又はＧ［ｂ，ｔ］を計算してもよい。

及び

このようにして、所望の総ラウドネススケーリングを達成するようにしてもよい。殆どの場合には、補正利得Ｇ［ｔ］又はＧ［ｂ，ｔ］は小さいので、多重チャンネル信号の空間バランスは概ね保たれる。

図４ａ−４ｆにおいては、五つのチャンネル（即ち、左、中央、右、左サラウンド、及び右サラウンド）からなる多重チャンネルオーディオ信号の修正のための特定のラウドネス及び多帯域利得のプロットが表されている。この特定のオーディオ信号は、中央のチャンネルにおけるダイアローグが優位を占めており、残りの四つのチャンネルは、大きなホールにおける印象を伝えるために用いられる非常に低いレベルの雰囲気信号からなる。この特定の場合のために、マルチバンド利得ｇ_ｍ［ｂ，ｔ］及びｇ_ｃ［ｂ，ｔ］（ｃ＝１．．．５）が、全てのバンドｂについてのｓ_ｍ［ｂ，ｔ］＝０．１６の特定のラウドネススケーリングを達成する目的で計算される。図４ｂにおける中央チャンネル（ｃ＝２）を見ると、全てのチャンネルｇ_ｍ［ｂ，ｔ］及びチャンネル特定利得ｇ_２［ｂ，ｔ］についての同じ利得の適用から生じている二つの特定のラウドネススペクトルが殆ど同一であることが解る。これは、中央チャンネルが大部分の信号エネルギーを包含するので、組み合わせ励起Ｅｍ［ｂ，ｔ］からのｇｍ［ｂ，ｔ］の計算は、主にこのチャンネルに影響されるためである。しかしながら、残りのチャンネルを見ると、ｇ_ｍ［ｂ,ｔ］とｇ_c［ｂ,ｔ］の適用から生じている二つの特定のラウドネススペクトルの間の大きな相違が注目される。これらの場合、信号が中央チャンネルに比べて非常に小さいので、ｇ_ｍ［ｂ,ｔ］の適用は、０．１６の所望のスケーリングよりも遥かに小さい修正された特定ラウドネスをもたらす。多くの帯域について、修正された特定のラウドネスは、可聴閾値よりも下に落ちる。これは、左右のサラウンドチャンネル（Ｃ＝４及び５）に最も明らかである。他方、ｇ_c［ｂ,ｔ］のアプリケーションは、所望の特定ラウドネススケーリングをもたらす。図４ｆにおいては、全てのチャンネルに対するｇｍ［ｂ，ｔ］の適用及び各知覚チャンネルに対するｇ_ｃ［ｂ，ｔ］の適用の後の全てのチャンネル組み合わせの特定のラウドネスが示されている。前者の場合には、修正された特定のラウドネスが、予想されたように、最初の所望量によってスケールされた最初の組合せ特定ラウドネスと等しいことに留意されたい。それぞれのチャンネルの各々へのｇ_ｃ［ｂ,ｔ］の適用は、この結果に近似する修正された特定のラウドネスをもたらすが、より低い帯域及びより高い帯域に小さなエラーが存在する。このエラーは補正利得Ｇ［ｂ,ｔ］の更なる適用によって除去され、これは大部分の帯域ｂについて０ｄＢに近いものである。帯域中のＧ［ｂ,ｔ］の平均絶対値は０．６ｄＢであり、且つＧ［ｂ,ｔ］の最大絶対値は僅か３.７ｄＢである。図４ａ−図４ｅに戻ると、補正利得の適用が個々のチャンネルの各々の修正された特定のラウドネスに僅かな影響を及ぼす点に留意されたい。
実施
本発明は、ハードウェア又はソフトウェア、或いはそれらの両方の組合せ（例えば、プログラム可能な論理アレイ）の組合せで実行されるようにしてもよい。特に明記しない限り、発明の一部として含まれるアルゴリズムとプロセスには、特定のコンピュータ又は他の装置に本質的に関連するものではない。特に、様々な汎用マシンを本明細書における教示に従って記述されたプログラムにより使用してもよく、或いは、必須の方法ステップを実行するためにより特化した装置（例えば、集積回路）を構築することはより便利であろう。このように、本発明は少なくとも一つのコンピュータプログラムで実行されるようにしてもよく、そのプログラムは少なくとも一つのプログラム可能なコンピュータシステム上で実行され、その各々は少なくとも一つのプロセッサー、少なくとも一つのデータ記憶システム装置（揮発性及び不揮発性メモリ及び／又は記憶要素を含む）、少なくとも一つの入力デバイス又はポート、及び少なくとも一つの出力デバイス又はポートを含む。プログラム・コードは、本明細書に説明された機能を実行して、出力情報を生成するように、入力データに適用される。出力情報は、公知の方式で一つ以上の出力デバイスに適用される。

このようなプログラムの各々は、任意の好ましいコンピュータ言語（機械、アセンブリ、又は高水準プロシージャ、論理的又は対象指向プログラミング言語を含む）でコンピュータシステムと交信するように実行してもよい。何れの場合でも、言語はコンパイル型又はインタープリテッド型言語としてもよい。

このようなコンピュータプログラムの各々は、好ましくは、記憶媒体又はデバイス（例えば、個体メモリ又は媒体、或いは磁気又は光学媒体）へ記憶又はダウンロードされており、これは汎用又は専用プログラム可能コンピュータにより読取り可能であり、その記憶媒体又はデバイスがコンピュータシステムにより読取られたときに本明細書に説明された手順を実行するようにコンピュータを構成し操作するようにされている。本発明のシステムは、コンピュータプログラムが組み込まれたコンピュータ読取可能記録媒体として実施することも考えられ、その記憶媒体は、コンピュータシステムを特定且つ所定の方式で作動させて、本明細書に説明された機能を実行するように構成されている。

本発明の幾つかの実施例について説明した。それでもなお、本発明の要旨及び目的から逸脱することなく、様々な変更例をなし得ることを理解されたい。例えば、本明細書に説明したステップの幾つかは、順序独立としてもよい。即ち、説明した順序とは異なる順序で実行することができる。

図１は１ＫＨｚトーンと均一な刺激的雑音（ＵＥＮ）との両方についてのラウドネスの非線形の増大を示す。 図２はＩＳＯ ２２６の等しいラウドネス輪郭を示す。水平目盛は周波数（ヘルツ）（１０目盛の対数関数ベース）であり、垂直目盛は音圧レベル(デシベル）である。 図３は音響心理学的モデルのための励起信号を計算するのに有益な一組の重要の帯域フィルタ応答を示す。 図４ａは多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。 図４ｂは多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。 図４ｃは多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。 図４ｄは多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。 図４ｅは多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。 図４ｆ は多重チャンネルオーディオ信号の特定のラウドネスの修正から生じる特定のラウドネススペクトル及び利得を示す。

Claims (9)

1. 多重チャンネルオーディオ信号の全知覚ラウドネスＬ_ｍを所定の量Ｓ_ｍでスケーリングする方法であって、ここで知覚ラウドネスは信号出力Ｐの非線形関数であり、
   個々のチャンネルＬ_ｃの各々の知覚ラウドネスを全てのチャンネルＳ_ｍの全知覚ラウドネスのスケーリングの所望量に実質的に等しい量によりスケーリングし、これは全知覚ラウドネススケーリングＳ_ｍの計算における精度及び要求精度を前提としている方法。
2. 請求項１の方法において、個々のチャンネルの各々の知覚ラウドネスが個々のチャンネルの各々の利得を変化させることによりスケーリングされ、その利得はチャンネルの出力のスケーリングである方法。
3. 請求項１又は２の方法において、実際の全ラウドネススケーリングと全ラウドネススケーリングの所望量との間の差を減じるように、各チャンネルに適用された前記ラウドネススケーリングを修正することを更に含む方法。
4. 請求項３の方法において、各々のチャンネルに適用された前記ラウドネススケーリングが、各チャンネルの利得に共通の乗数を適用するか、又は各チャンネルのスケーリングに共通のスケーリング補正値を加えることにより修正される方法。
5. 請求項１乃至４の何れか一項に記載の方法において、各チャンネルの前記知覚ラウドネスと前記全知覚ラウドネスとの両方が、複数の周波数帯域の各々で測定されると共に、各チャンネルの振幅が、該周波数帯で調節される方法。
6. 請求項５の方法において、前記周波数帯域が臨界帯域である方法。
7. 請求項１乃至４の何れか一項に記載の方法において、各チャンネルの前記知覚ラウドネスと前記全知覚ラウドネスとの両方が、一つの広帯域周波数帯で測定される方法。
8. 請求項１乃至７の何れか一項に記載の方法を実行するように適合された装置。
9. 請求項１乃至７の何れか一項に記載の方法をコンピュータに実行させるように、コンピュータ読取り可能な媒体に記憶されたコンピュータプログラム。

Images