JP2012239196A - オーディオダイナミクス処理に限定を加える階層制御経路 - Google Patents

Abstract

【課題】オーディオダイナミクス処理のための方法を提供する。
【解決手段】オーディオ信号のダイナミクスを修正するのに役立つ情報を、各階層レベル１以上のノードを持つ複数の各階層レベルにおける１以上のそれぞれのノードで動作する１以上の装置又は処理により導出し、各階層レベルで動作するこの１以上の装置又は処理では、それより１つ低い各階層レベルで動作する１以上の装置又は処理がオーディオ信号の徐々に小さくなるサブディビジョンの１以上の特性の測度を取得できるように、オーディオ信号の１以上の特性の測度を取得する。
【選択図】図２ａ

Description

本発明はオーディオ信号プロセッサ、オーディオ信号処理及び、オーディオ信号プロセッサとオーディオ信号処理を制御するためのソフトウェアに関する。本発明の特徴によれば、ダイナミクス処理の階層制御経路が提供され、性能を改善するために階層的手法により、オーディオ信号ダイナミクス処理に限定が加えられる。

オーディオダイナミクス処理の目的は、オーディオ信号の相対的レベル又は相対的ダイナミクスを望ましい制限の範囲内に収まるよう変更することである。これは、ある形式のオーディオ信号レベルの測度（例えば、ｒｍｓレベル又はピークレベル）を生成し、このレベルの測度の関数となる信号修正値（例えばゲイン変化）を計算し適用する。このような動作モードを有するダイナミクスプロセッサは、ＡｌａｎＪｅｆｆｒｅｙ Ｓｅｅｆｅｌｄｔによる国際特許出願ＰＣＴ／ＵＳ２００５／０３８５７９、２００６年５月４日ＷＯ２００６／０４７６００として公開、に開示されており、このダイナミクスプロセッサには、自動ゲイン制御、ダイナミックレンジ制御（ＤＲＣｓ）、伸張器、リミッタ、ノイズゲート、等が含まれている。このＳｅｅｆｅｌｄｔによる国際特許出願は米国をも指定国としている。この出願はそのすべてを参照として本願に組み込まれる。

図１は、オーディオ信号（多チャンネルオーディオ信号のうちの１つのチャンネル又は、１つだけのチャンネルを持つオーディオ信号）を処理する一般的なオーディオダイナミクスプロセッサの高レベルブロック図である。このプロセッサは２つの経路を持つと考えることができる。すなわち、上部「信号」経路２と下部「制御」経路４である。下部制御経路において、オーディオ信号のレベルが計測装置又は計測処理（「レベル計測」）６により計測され、この計測値、すなわち信号レベルの測度は、信号修正パラメータを計算するためにダイナミクス制御装置又はダイナミクス制御処理（「ダイナミクス制御」）８で用いられる。このようなパラメータは、信号修正制御信号として働き、ダイナミクス処理機能に従いオーディオ信号を修正するために用いられる。ダイナミクス処理機能は、以下に説明する図３ｂに示したような望ましいダイナミクス処理の形態となる。図示のとおり、修正パラメータは、入力オーディオ信号から導出される。代替的に、修正パラメータを、処理済の（出力）オーディオから、又は、入力オーディオ信号と出力オーディオ信号の結合から導出してもよい。オーディオ信号経路２において、ダイナミクス制御８により生成された修正パラメータを、オーディオの修正を制御するためにオーディオに適用し、それにより処理済のオーディオを生成する。オーディオ信号に修正パラメータを適用することは、多くの既知の方法で行うことができ、一般に乗算記号１２により示される。オーディオ信号経路２において、オーディオには、時間遅れ装置又は時間遅れ処理（「時間遅れ」）１０により時間遅れを加え、レベルの推定及びダイナミクス制御処理に関連して生じた時間遅れを補償することができる。

多チャンネルオーディオ素材を扱うとき、信号修正を計算し適用する場合に、可聴アーティファクトを生じさせないよう注意を払わなければならない。多チャンネルオーディオ信号入力を受け取る基本的なダイナミクスプロセッサは、全体として結合されたすべてのチャンネルを代表する信号レベルを計算することができる、そして、同じ修正をこのような全体的なレベルの測度のような値に基づき全チャンネルに適用する。同様の方法で、すべてのチャンネルを修正するときに、このような方法は、すべてのチャンネルで相対的なレベルを保持し、空間音像（例えば、知覚できる拡散性及びチャンネル間でパンする実質的な音像位置を含む）を保つ上で利点を有する。このような方法は、修正が過剰にならない限りうまく動作する。

しかし、望ましい修正がもっと厳格なものであるときに問題が生じることがある。非常に高い圧縮をもつダイナミックレンジ制御装置に適用する多チャンネルオーディオ信号（例えば５．１チャンネル）を考える。このようなプロセッサにより、上記圧縮の閾値が大きく減少し、信号レベルを閾値に近づける。すべてのチャンネルを結合した後のトータルレベルが圧縮閾値より低くなるような、すべてのチャンネルに相対的に一定レベルのバックグランド音楽がオーディオ信号に含まれると仮定する。さらに、短いが大音量の会話セグメントが中央チャンネルに入って来ると仮定する。この会話音により、すべてのチャンネルの全体的なレベルが圧縮閾値を越え、それにより信号全体に減衰が加えられる。会話が終了すると、信号レベルは圧縮閾値を下回り、減衰が加えられなくなる。結果として、左チャンネル、右チャンネル、左サラウンドチャンネル、右サラウンドチャンネルからのバックグランドミュージックが、レベルが揺らいでいるように聞こえ、または中央チャンネルの会話に応じて急激に増減（ｐｕｍｐｉｎｇ）するように聞こえる。この現象は非常に不自然な音であり、リスナーを混乱させる。この形のアーティファクト、すなわち、クロスモジュレーション（ｃｒｏｓｓ−ｍｏｄｕｌａｔｉｏｎ）又はインターモジュレーション（ｉｎｔｅｒｍｏｄｕｌａｔｉｏｎ）は、オーディオダイナミクス処理の分野でよく認識されており、一般的な先行技術における解決方法では、各チャンネルに独立にダイナミックレンジ制御を適用している。このような解決手段は先に述べた問題を修正できるかもしれないが、オーディオの部分音像を変化させるという不都合を有することがある。特に、２つのチャンネルに異なる量の減衰が加えられるため、実質的に２つのチャンネル間でパンする音源が「ふらつく」ことがある。したがって、この増減（ｐｕｍｐｉｎｇ）と音像が不安定となる問題の両方に対処する解決手段が求められる。

単一チャンネルのオーディオのスペクトルを考えたときにも同様の問題が存在する。信号レベルが圧縮閾値以下の高周波数の中に持続的に弦楽の響きが含まれている単一チャンネルを考える。ここで、非常に音量の大きいバスドラムをたたくことにより低周波数領域で圧縮閾値以上に信号レベルを瞬間的に増大させることを考える。全体信号が瞬間的に減衰することにより、弦楽の響きがバスドラムの影響によりそのレベルが不自然に増減するように聞こえる。従来技術におけるこの問題の一般的な解決手段は、オーディオ信号を複数の周波数帯域に分割し、各帯域に独立にダイナミックレンジ制御を適用することである。これにより、急激な増減（ｐｕｍｐｉｎｇ）の問題を低減できるが、知覚できるスペクトルバランス又は音質を変えてしまうことがある。したがって、知覚できるスペクトルバランスの変化を減少する一方急激な増減も減少するような解決手段の必要性が存在する。

オーディオダイナミクス処理のための方法を提供する。

本発明の１つの特徴によれば、オーディオ信号のダイナミクスを修正するのに役立つ情報を、各階層レベルで１以上のノードを持つ複数の各階層レベルにおける１以上のそれぞれのノードで動作する１以上の装置又は処理により導出し、各階層レベルで動作するこの１以上の装置又は処理では、それより１つ低い各階層レベルで動作する１以上の装置又は処理がオーディオ信号の徐々に小さくなるサブディビジョンの１以上の特性の測度を取得できるように、オーディオ信号の１以上の特性の測度を取得する。オーディオ信号のダイナミクスを修正するのに役に立つ情報は、その情報を導出する装置又は処理と関連づけられた装置又は処理においてオーディオ信号に適用されるか又は、そのような情報は、例えば、メタデータとしてオーディオ信号とともに運ばれ、その情報が空間的に及び／又は時間的に離れたオーディオ信号に適用できるようにする。オーディオの徐々に小さくなるサブディビジョンは、（１）チャンネルサブディビジョン及び（２）周波数帯域サブディビジョンのうちのどちらか一方又は両方を含むことができる。各階層レベルにおける前記１以上の装置又は１以上の処理では、そのノードの階層レベルでオーディオの測度を取得し、そのオーディオ信号の測度から情報を導出することができ、また、以下に説明するように、他の階層レベルにおける１以上の装置又は１以上の処理から受け取った情報からも情報を導出することができる。

階層の最上部のレベルは、オーディオ信号の全体的な測度を取得するルートノードを具備する。多チャンネルオーディオ信号の場合は、少なくとも１つの低い階層レベルは、それぞれがオーディオ信号のチャンネルサブディビジョンにおける測度を取得する複数のノードを具備することができ、少なくとも１つのさらに低い階層レベルは、それぞれがオーディオ信号のチャンネルの周波数サブディビジョンの測度を取得する複数のノードを具備することができる。単一チャンネルのオーディオ信号の場合は、少なくとも１つの低い階層レベルは、それぞれがオーディオ信号の周波数サブディビジョンの測度を取得する複数のノードを具備することができる。

本発明のさらなる特徴によれば、特定の階層レベルでオーディオ信号の測度から導出された情報を、１以上のさらに低い階層レベルに送ることができ、その階層レベルでの装置又は処理の動作に影響を与えることができる。特定の階層レベルでオーディオ信号の測度から導出された情報は、１以上の低い階層レベルで動作する装置及び処理の動作に影響を与えるのに役立つ情報のみならず、オーディオ信号のダイナミクスを修正するのに役立つ情報も具備する。

本発明のさらなる特徴によれば、特定の低い階層レベルでオーディオ信号の測度から導出された情報、及び、そのような低い階層レベルに送られて来た情報から導出された情報を、その低い階層レベルでの装置又は処理の動作に影響を与えるために用いることができる。このような影響は、例えば、低い階層レベルにこれまでとは違った情報の修正を生じさせる。代替的に、又は付加的に特定の低い階層レベルでオーディオ信号の測度から導出された情報、及び、そのような低い階層レベルに送られて来た情報から導出された情報を、１段階以上高い階層レベルの階層に送ることができ、その高い階層レベルでの装置又は処理の動作に影響を与えることができる。このような影響は、例えば、高い階層レベルをさもなければ、１以上の低い階層に送っていたかもしれない情報、又はオーディオ信号を修正するために用いれらていたかも知れない情報の修正を生じさせる。

図２ａは、情報が制御経路を上から下へ送られる（「トップダウン」階層構造）、本発明の特徴による階層的制御経路構造の１例の図式的外観を示す。トップダウン制御経路のこの例において、ダイナミクスプロセッサ又はダイナミクス処理への入力信号は、マルチバンドオーディオ信号であり、階層レベルは（１）全チャンネルの全帯域（「全体」階層レベル）、（２）多チャンネルオーディオ信号内のチャンネル（「チャンネル」階層レベル）、及び（３）各チャンネル内の周波数帯域（「帯域」階層レベル）である。本図の右側にある各ダイナミクス制御装置又は各ダイナミクス制御処理の出力は、信号修正制御信号として機能することができ、以下に述べるような図２ｂに示した処理がなされるオーディオ信号のそれぞれのチャンネル及び帯域でオーディオ信号を修正するために、この出力を適用することができる。あるいは、このような制御信号をオーディオ信号とともにメタデータとして送り、例えば、図２ｂのような方法で、空間的に及び／又は時間的に離れた場所にあるオーディオ信号にこの信号を適用することもできる。さらに以下で説明するように、下位の階層へと送られる情報は、オーディオ信号に適用した場合に、オーディオ信号の修正を制御するために適した修正パラメータだけではない。すなわち、下位の階層へと送られる情報は、ダイナミクス制御装置又はダイナミクス制御処理内で使うことのできる制御パラメータを含むことができ、それにより、そのような装置又は処理の動作に影響を与えることができる（このような制御パラメータを「ダイナミクス制御パラメータと称することができ、このパラメータは、オーディオ信号を直接的又は間接的に制御するのに適切な「修正パラメータ」を含むことができる）。

図２ａの階層的制御経路に適用する入力信号は、図２ａの制御経路がその一部をなすオーディオダイナミクスプロセッサに適用されるオーディオ信号から、又は、代替的に、そのようなオーディオダイナミクスプロセッサの処理済の（出力）オーディオから、又は入力オーディオ信号と出力オーディオ信号の結合から導出することができる。

図２ａにおいて、実線は、チャンネルｘ_１・・・ｘ_ｃを有し、各チャンネルが１以上の周波数帯域すなわち、サブ帯域ｂ_１・・・ｂ_ｎを有する、多チャンネルオーディオ信号の流れを表す。原則として本発明の特徴は、アナログ、又はデジタル、又はアナログ／デジタルのハイブリッドの実施の形態とすることができるが、実際的な実施の形態では、オーディオの処理は、デジタル領域で行うことができる。各ダイナミクス制御装置又は各ダイナミクス制御処理から出力される破線は、それぞれのダイナミクス制御装置又はそれぞれのダイナミクス制御処理により生成される１以上のダイナミクス制御パラメータを表す。ダイナミクス制御パラメータは、限定を加えるという目的で、制御経路階層の低い階層レベルにおけるダイナミクス制御装置又はダイナミクス制御処理に接続することができる。例えば、以下に示す例に関連して説明したように、長期信号レベルの値、長期ゲインの値、及び短期ゲインの値は、限定を加えるために、全体階層レベルからチャンネル階層レベルへ、そして、チャンネル階層レベルから帯域階層レベルへ、送ることができる。このうち、帯域階層レベルにおける短期ゲインのみが、ここに記載の例では、オーディオ信号のダイナミクスを制御するために適用される（そして記載例に示すように、そのような短期ゲインは時間平滑することができる）。

原則として、下方の階層に送った情報は、１以上の階層レベルに適用することを省略することができる。さらに、原則として、帯域階層レベル以外の階層レベルからの情報を、オーディオ信号のダイナミクスを制御するために（帯域階層レベルからの情報に加えて、あるいは、帯域階層レベルからの情報に代えて）適用することができる。この情報は時間平滑化することができる。

このように、図２ａの制御経路の例に置いて、チャンネルｘ_１・・・ｘ_ｃを有する多チャンネルオーディオ信号は、第１の階層的制御経路レベル、すなわち全体階層レベルに適用され、そこで、装置又は処理（「全体レベルの測度」）１４が、結合したすべてのオーディオチャンネルの全体についての平均信号レベルの測度を計算する。全体レベル１４では多チャンネルオーディオ信号のうちの１つのチャンネルあるいは１つしかチャンネルを持たないオーディオ信号ではなく、多チャンネルオーディオ信号全体に対して動作することを除いて、全体レベル１４での動作は、図１のレベル６の動作に似ている。全体レベル１４で得られた測定値、すなわち全体信号レベルの測度は、ダイナミクス制御装置又はダイナミクス制御処理（「ダイナミクス制御」）１６で、１以上の信号修正パラメータを含むことができる１以上の全体階層レベルダイナミクス制御パラメータを計算するために用いられる。ダイナミクス制御１６で計算したダイナミクス制御パラメータの一部又は全部は、チャンネル階層レベルにおけるダイナミクス制御２０に送られ、そこでの動作におけるダイナミクス制御で用いられる。全体階層レベルのダイナミクス制御１６又はそのシステムの機能により計算した修正パラメータは、オーディオ信号に適用することができるが、この例では適用していない。

次に、２番目の階層制御経路レベル、すなわち、本例では次に低い階層レベルであるチャンネル階層レベルにおいて、各チャンネルｘ_１〜ｘ_ｃは、それぞれレベルの計測装置又はレベルの計測処理１８−１〜１８−ｃとダイナミクス制御装置又はダイナミクス制御処理２０−１〜２０−ｃのペアに適用される。各レベルの計測１８−１〜１８−ｃは、図１のレベルの計測６と同様に動作し、適用する特定のオーディオチャンネルの平均信号レベルの測度を計算する。レベル／ダイナミクス制御のペアにおいて各ダイナミクス制御２０−１〜２０−ｃのレベルの測度から、１以上の信号修正パラメータを含む１以上のダイナミクス制御パラメータを計算する。しかし、図１のダイナミクス制御８が、修正パラメータではなくダイナミクス制御パラメータを生成する点で異なるのに加えて、図２ａの構成におけるダイナミクス制御２０−１〜２０−ｃ、上記の次の階層的ステップにおいてダイナミクス制御１６で計算する１以上のダイナミクス制御パラメータを受け取る点でも異なる。このような高い階層レベルダイナミクス制御パラメータは、それぞれのダイナミクス制御２０−１〜２０−ｃの動作に制約又は影響を与えるために使うことができる。ダイナミクス制御２０で計算したダイナミクス制御パラメータの一部又は全部は、帯域階層レベルでそのようなダイナミクス制御で用いるために帯域階層レベルにおけるダイナミクス制御２６に送ることができる。１以上のダイナミクス制御２０で計算した修正パラメータ又はその機能は、オーディオ信号に適用することができるが、この例では適用していない。

次に、３番目の階層制御経路レベル、すなわち、帯域階層レベルにおいて、オーディオ信号の各チャンネルｘ_１〜ｘ_ｃは、各オーディオチャンネルを複数の周波数帯域ｂ_１〜ｂ_ｎに分割する、分割装置又は分割機能（「帯域分割」）２２−１〜２２−ｃに適用される。オーディオ信号を周波数帯域に分割するための多くの装置及び処理が当業者に知られている（フィルターバンク、帯域通過フィルター、直交鏡像フィルター、時間・周波数変換、等）。どんな帯域分割装置を用いるにしても本発明にとって本質的ではない。各チャンネルの各周波数帯域は、それぞれレベルの測度２４−１−１〜２４−２−Ｎとダイナミクス制御装置又はダイナミクス制御処理２６−１−１〜２６−ｃ−ｎのペアに適用される。各レベルの測度２４−１−１〜２４−２−Ｎは、図１のレベルの測度６と同様に動作し、その周波数帯域に適用されるオーディオチャンネルの特定の周波数帯域についての平均信号レベルの測度を計算する。したがって、チャンネル階層レベルではなく周波数領域階層レベルで動作する。ペアになったレベルの測度によりもたらされる信号レベルの測度から、図１のダイナミクス制御８と同様にして、各ダイナミクス制御２６−１−１〜２６−ｃ−ｎは、信号修正パラメータを計算する。しかし、図１のダイナミクス制御８とは異なり、図２ａの例におけるダイナミクス制御２６−１−１〜２６−ｃ−ｎは、上記の次の階層的なステップにおける同じチャンネルに関連づけられたダイナミクス制御２０で計算した１以上のダイナミクス制御パラメータも受け取ることができる。このような高い階層レベルの修正パラメータは、チャンネル内の帯域で動作するそれぞれのダイナミクス制御２６−１−１〜２６−ｃ−ｎの動作を限定しあるいはその動作に影響を与えるために用いることができる。ダイナミクス制御２６−１−１〜２６−ｃ−ｎの各々により計算される１以上の修正パラメータは、図２ｂに示すように、オーディオの各チャンネルの帯域に適用することができる。帯域階層レベルでは、帯域階層レベルが本実施例では最低レベルの階層なので、ダイナミクス制御２６がダイナミクス制御パラメータ出力を出す必要はなく（全く必要ない）、１以上の修正パラメータのうちの１出力を出す代わりに、図２ｂに示すように、ダイナミクス制御をオーディオ信号の修正を制御するために用いることができる。

図２ｂを参照して、図１の上部信号経路と同様にして、オーディオの各チャンネルの（オーディオチャンネル１帯域１からオーディオ チャンネルｃ帯域ｎまでの）特定の帯域は、それぞれの時間遅れ１０−１−１〜１０−ｃ−ｎとそれぞれの乗算器１２−１−１〜１２−ｃ−ｎとに適用される。図１に示すように、１以上の修正パラメータに応答してオーディオを修正する適切な方法を示すために乗算器の記号で一般的に乗算器を示している。各乗算器は、それに対応するダイナミクス制御２６−１−１〜２６−ｃ−ｎから１以上の修正パラメータを受け取る（つまり、チャンネル１帯域１のオーディオは、チャンネル１帯域１のダイナミクス制御からの修正パラメータにより修正される）。あるいは、他の階層レベルで生成された修正パラメータ又は修正パラメータの関数をオーディオ信号、１以上のオーディオ信号のチャンネル、及び／又は１以上のオーディオ信号のチャンネルの１以上の帯域に適用することもできる。

図２ａと図２ｂは、全体階層レベル、チャンネル階層レベル、及び帯域階層レベルの３つのレベルの階層を示しているが、本発明の特徴は３つのレベルの階層に限定されず、階層を異なった順序にすることもできる。例えば多帯域修正を行うことを望まない場合は、全体階層レベルとチャンネル階層レベルのみを有する２つのレベルの階層が適切となろう。同様に、チャンネル同士が独立していることを望まないかもしれず、従って、全体階層レベルと帯域階層レベルのみの２つのレベルの階層を用いるかもしれない。言い換えれば、異なるチャンネルに異なる修正パラメータを適用したくないかもしれない。すなわち、帯域を別々に扱うが、各帯域をすべてのチャンネルに亘って同じように修正することを望むかもしれない。上述のとおり、各階層レベルは１以上の装置又は処理を具備することができる。図２ａ及び図６の３つの階層の例をそれ以上の階層レベルを具備するように拡張することができる。例えば、１つのレベルで信号を複数の帯域に分割するのではなく、第１の帯域レベルで信号を２つの帯域に分割することもできる。次いで、第２の帯域レベル等でこれらの帯域をさらに２つ以上の帯域に分割することもできる。同様に、チャンネル分割が２以上の階層レベルで生じるようにすることもできる。例えば、全体レベルの後、チャンネルを、第１のチャンネル階層レベルで３つのグループ、すなわち、（１）右と左、（２）中央、及び（３）左サラウンドと右サラウンドに分割することができる。そして、次のチャンネル階層レベルで、右と左のグループは明確に右と左に分割することができる。同様に左サラウンドと右サラウンドのグループは、明確に左サラウンドと右サラウンドに分割することができる。

図２ａ及び図２ｂ及びその変形として例示した方法で限定を受ける制御経路の階層は、圧縮器、リミッター、伸張器等の種々のダイナミクス処理のアプリケーションに適用することが可能である。しかし、説明を簡単にするために、本発明の特徴を示す実施例は、オーディオ信号の元のダイナミックレンジが減少するダイナミックレンジ制御（ＤＲＣｓ）の状況下で説明する。言い換えれば、オーディオの大音量の部分を小さくし、及び／又は静かな部分は大きくする。そのような処理は、例えば、夜中に平均音量を下げて、選択したオーディオを聞きたいときに、この処理は有用である。

図３ａは、一般的な入出力のプロフィールすなわちＤＲＣの伝達関数であり、横軸が入力信号レベルの対数表現、縦軸が出力信号レベルの対数表現である。信号レベルは一般に多くの尺度で表すことができる。例えば、好ましい実施の形態として記載した、ｒｍｓレベルや心理音響的な音量レベルで表すことができる。図の「ヌル帯域（ｎｕｌｌｂａｎｄ）」すなわち伝達関数において傾きは一定であり、信号の修正が行われないことを示している。ヌル帯域の上下で、圧縮が適用されていることを示す部分より傾きが小さい。すなわちヌル帯域の上ではオーディオは減衰しており、ヌル帯域の下ではオーディオは押し上げられている。図３ｂは、縦軸の出力信号レベルを対数ゲインに置き換えた、図３ａと等価な入出力のプロフィールすなわち伝達関数を表し、入力信号レベルを入力したとき、必要とされる出力信号レベルが得られる。この文脈において、用語「ゲイン」とは、一般に信号を増大又は減衰させる修正作用を意味する。このような「ゲイン」は、信号に直接乗算する値であることもあり、或いは、これから好ましい実施の形態で説明するような知覚音量の増幅減衰のようなより洗練されたものである場合もある。このゲインに限定を加えるので、この実施例に用いられるのはこの代替的なダイナミクスのプロフィールすなわち伝達関数（すなわち、図３ｂの表現）である。

図２ａのような３層の階層的な制御経路構成に関して、限定を加えることは、図３ｂに示したような、全体階層レベルに、好ましいダイナミクス処理のプロフィールを指定することにより始まる。このようなプロフィールは、一般に、全体階層レベルにおける信号ゲインＧの信号レベルＬに対する関数Ｆ_Ｔ｛Ｌ｝として表すことができる。従って、

各信号レベルの測度Ｌは、計測されたものであるが（例えばｒｍｓ、ピーク値、他）、関連するダイナミクス処理関数Ｆ_Ｔ｛Ｌ｝から計算された概念的なゲインに関連づけられていると考えることができる。

先の式からこれは以下のようになる。

このような会話が入ったとき、中央チャンネルの短期信号レベルＬ_Ｃは大きく増大し圧縮閾値Ｆ_Ｃを越え、その結果減衰することになる。残りのチャンネル中の信号レベルはその状態のままであるが、減衰することはない。このようにして、短期空間的音像を変えるとことと引き替えに、クロスチャンネル変動が減少または防止される。しかし、音量の大きな会話が続く場合は、全体信号レベルＬ_Ｔは、平均全体信号レベルＬ_Ｔが徐々に上昇し圧縮閾値を越える。今度はこれにより、チャンネル関数Ｆ_Ｃの構成にこの限定が使われるので、徐々にすべてのチャンネルに適用される減衰の程度が大きくなる。これは、中央チャンネル中の会話の継続に適用される減衰レベルに届くすべてのチャンネルに平均減衰が適用されるまで続く。したがって、本発明に係る階層的限定により、クロスチャンネル変動を減少または防止し、空間的音像を保存することができる。

Ｉ）全チャンネルの限定

ＩＩ）チャンネルから帯域への限定

図５ａ及び図５ｂは全体からチャンネル及び帯域へ範囲の限定を送る２つの例を示している。各場合において、階層の現在のレベルから次のレベルへと領域の限定が下方に送られる。最上行でチャンネル階層レベルで、上記ロジックから限定Ｉ．Ａ．ｉが加えられる。帯域階層レベルで、限定ＩＩ．Ａ．ｉｉが加えられる。最終行で、チャンネル階層レベルで限定Ｉ．Ａ．ｉｉｉが加えられ、限定ＩＩ．Ａ．ｉが帯域階層レベルで加えられる。

（ボトムアップ限定）
上記例において、限定は「トップダウン」方式で上位階層レベルから下位階層レベル（図２ａと図２ｂの例では、全体からチャンネルへ、そして帯域へ）に送られている。トップダウン方式の第１の限定とともに、「ボトムアップ」方式の第２の限定が組み込まれる本発明のさらなる特徴を実行することも有益である。

本発明の他の特徴によれば、図６は、図２ａのトップダウンの階層的限定に加えて図２ａの文脈中に、階層的「ボトムアップ」限定を適用したものの一般的な概観を示したものである。図２ａの例におけるトップダウン限定の途中に、ダイナミクス制御の各々が、図６の破線で表した１以上の限定パラメータを生成する。

図２ａの例に関して示したように、図６の階層的制御経路に適用する入力信号は、図６の制御経路の一部をなすオーディオダイナミクスプロセッサに適用したオーディオ信号から、あるいは、オーディオダイナミクスプロセッサのような処理済の（出力）オーディオから、又は、このような入力オーディオ信号と出力オーディオ信号の組み合わせから導出することができる。

ボトムアップ限定を適用する処理を始めるために、まずトップダウンパラメータを分析装置又は分析処理（「分析」）２７で、すべてのチャンネルのすべての帯域について分析し、第２の帯域階層的限定を生成し、帯域レベルですべてのダイナミクス制御に送ることができるようにするか、あるいは、階層を上位方向にすべてのチャンネルに送ることができるようにする。さらに以下に説明するように、分析２７では、例えば、そのすべての入力の平均値又は最低値を計算することができる。図６において、このような１以上の二次的な帯域限定は、帯域階層レベルにおける分析２７からの２重破線出力として示されている。このような１以上の２次的な帯域限定は、帯域階層レベルの各ダイナミクス制御２６’−１−１〜２６’−ｃ−ｎに適用又はそこで使用され、図２ａのトップダウンダイナミクス制御パラメータにさらなる限定を加える。このように２重に限定された（すなわち、上位方向に限定され、かつ、下位方向に限定された）１以上のダイナミクス制御パラメータは、各帯域ダイナミクス制御２６’−１−１〜２６’−ｃ−ｎの２重破線出力として示されている。言い換えると、２重破線で示されたダイナミクス制御２６’−１−１〜２６’−ｃ−ｎの各々により生成された２重に限定されたダイナミクス制御パラメータは、図２ａのダイナミクス制御２６−１−１〜２６−ｃ−ｎにより生成された、トップダウン限定された修正パラメータをさらに分析２７の出力からの１以上のボトムアップ２次限定により限定する結果となる。

あるいは、分析２７の出力から２次的限定が上位階層のチャンネル階層レベルに送られる。この場合、チャンネル階層レベルで、破線で表した、すべてのチャンネルにわたってトップダウン限定がなされたダイナミクス制御パラメータは、分析２７から受け取った１以上の２次的帯域限定とともに分析装置又は分析機能（「分析」）２１で分析されて、チャンネル階層レベルで、２重破線で示された、２重に限定された修正パラメータが生成される。このような２次的なチャンネル階層レベルの限定は、チャンネル階層レベルにおける各ダイナミクス制御２０−１〜２０−ｃで用いられて、チャンネル階層レベルにおける各ダイナミクス制御２０’の出力で２重破線で示された、１以上の２重に限定されたダイナミクス制御パラメータを生成する。

あるいは、分析２１の出力から２次的限定もまた、上位階層の全体階層レベルに送られる。この場合、全体階層レベルに対するトップダウン限定がなされたダイナミクス制御パラメータは、２次的チャンネル限定とともに分析装置又は分析処理（「分析」）１７で分析され、全体階層レベルで、１以上の２重に限定されたダイナミクス制御パラメータを生成する。

このような２次的ボトムアップ限定を適用した後、ダイナミクス制御の１つの出力において２重に限定されたダイナミクス制御パラメータをオーディオの修正に用いることができる。例えば、帯域階層レベルでのダイナミクス制御２６’−１−１〜２６’−ｃ−ｎの出力におけるパラメータは、オーディオ信号の各チャンネル内の個々の帯域を修正するために用いることができる。あるいは、チャンネル階層レベルでのパラメータを帯域横断的に均一に各チャンネルを修正するために用いることもでき、全体階層レベルでのパラメータをすべてのチャンネルを修正するために均一に用いることもでき、あるいは、様々な階層レベル又はその機能で、いくつかのパラメータの組み合わせをオーディオ信号の修正に用いてもよい。

（時間平滑）
記載した、トップダウンとボトムアップの、階層的限定を適用することは、時間に対するゲイン曲線に突然の不連続点をもたらす。未修正のままにしておくと、このような不連続点が処理済のオーディオに可聴アーティファクトをもたらすことがある。従って、オーディオを修正するために用いる前に、限定したゲインを平滑化することは本発明の実際の実施の形態において好ましいことである。このような平滑化は、種々の方法で行うことができるが、ひとつの方法は以下の好ましい実施の形態で説明する。

多チャンネルオーディオ信号のうちの１つのチャンネル又は１つだけのチャンネルを持つオーディオ信号を処理する、一般的な先行技術におけるハイレベルブロック図である。 情報がトップからボトムへと制御経路階層を下位の方向に送られてゆく（「トップダウン」階層構造）、本発明の特徴による階層制御経路の実施例の図式的概観である。 図２ａ及び／又は図２ａ及び図６ａのような制御経路で導出された情報に基づき、オーディオ信号が修正されるオーディオ経路の実施例の図式的概観である。 ダイナミックレンジ制御（ＤＲＣ）の典型的入力／出力プロフィール又は伝達関数である。ここで、横軸は入力信号レベルの対数表現であり、縦軸は望ましい出力信号レベルの対数表現である。 縦軸の出力信号レベルをゲインの対数に置き換えた、図３ａの入力／出力プロフィール又は伝達関数と等価な表現である。これを入力信号レベルに適用したとき、望ましい出力信号レベルとなる。 図３ｂの方法で入力／出力プロフィール又は伝達関数を示す、本発明の特徴を理解するために有用な例示である。ここで、最初の上位階層レベルの最初のプロフィールは、平均化した限定を考慮に入れて下位階層レベルで再構成される。 図３ｂの方法で入力／出力プロフィール又は伝達関数を示す、本発明の特徴を理解するために有用な例示である。ここで、最初の上位階層レベルの最初のプロフィールは、平均化した限定を考慮に入れて下位階層レベルで再構成される。 図３ｂの方法で入力／出力プロフィール又は伝達関数を示す、本発明の特徴を理解するために有用な例示である。ここで、最初の上位階層レベルの最初のプロフィールは、平均化した限定を考慮に入れて下位階層レベルで再構成される。 図３ｂの方法で入力／出力プロフィール又は伝達関数を示す、本発明の特徴を理解するために有用な例示である。ここで、最初の上位階層レベルの最初のプロフィールは、ある範囲までの限定を考慮に入れて下位階層レベルで再構成される。 図３ｂの方法で入力／出力プロフィール又は伝達関数を示す、本発明の特徴を理解するために有用な例示である。ここで、最初の上位階層レベルの最初のプロフィールは、ある範囲までの限定を考慮に入れて下位階層レベルで再構成される。 本発明の付加的な特徴による階層的制御経路の一例を示す図式的概観である。ここで、図２のトップダウン階層情報に加えて、制御経路の階層をボトムからトップへ情報が送られる（「ボトムアップ」階層構成）。 ＭｏｏｒｅとＧｌａｓｂｅｒｇにより定義された、等価矩形帯域幅（ＥＲＢ）スケールに従って４０帯域が均一間隔に存在する、適切な臨界帯域フィルター応答を示す。 １組の等感度曲線である。

（発明を実施するための最良の形態）
Ａｌａｎ Ｊｅｆｆｒｅｙ Ｓｅｅｆｅｌｄｔの前記国際特許出願ＰＣＴ／ＵＳ２００５／０３８５７９、ＷＯ２００６／０４７６００として国際公開され、音量知覚の心理音響的なモデルを用いて、オーディオ信号の知覚音量及び／又は知覚バランスを測定し修正する構成が、とりわけ開示されている。これには、知覚音量領域において、オーディオダイナミクス処理を行ういくつかの利点を挙げながら、このような処理を行うための構成の使用について説明がなされている。しかし、Ｓｅｅｆｅｌｄｔが開示した構成は本発明によりさらに改良することができる。本発明の好ましい実施の形態について、次に心理音響的な音量モデルの文脈で説明する。

最初のステップとして、多チャンネルデジタルオーディオ信号ｘ_ｃ［ｎ］，ｃ＝１．．．Ｃの、周波数及び時間にわたって分布する知覚音量の測度が以下のステップで計算される。まず最初に、時間ブロックｔの期間、臨界帯域ｂで内耳基底膜に沿ってのエネルギーの分布を近似する各チャンネルのエキサイテーション信号Ｅ_ｃ［ｂ，ｔ］が計算される。このエキサイテーションは、以下のようにオーディオ信号の短時間離散フーリエ変換（ＳＴＤＦＴ）により計算することができる。

ここで、Ｘ_Ｃ［ｋ，ｔ］は、ブロックｔ、ビンｋにおけるｘ_ｃ［ｎ］のＳＴＤＦＴを表す。Ｔ［ｋ］は、外耳中耳を通るオーディオの伝達を模擬するフィルターの周波数応答を表し、Ｃ_ｂ［ｋ］は、臨界帯域ｂに対応する位置での基底膜の周波数応答を表す。図７は、ＭｏｏｒｅとＧｌａｓｂｅｒｇによって定義された（Ｂ．Ｃ．Ｊ．Ｍｏｏｒｅ、Ｂ．Ｇｌａｓｂｅｒｇ、Ｔ．Ｂａｅｒによる「ＡＭｏｄｅｌ ｆｏｒ ｔｈｅＰｒｅｄｉｃｔｉｏｎ ｏｆ Ｔｈｒｅｓｈｏｌｄｓ，Ｌｏｕｄｎｅｓｓ」、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ， Ｖｏｌ．４５，Ａｐｒｉｌ １９９７， ｐｐ．２２４−２４０）等価矩形帯域幅（ＥＲＢ）スケールに従って均一間隔に４０の帯域が存在する、適切な臨界帯域フィルター応答を示す。各フィルターの形は、端数を切り捨てた指数関数で記述され、帯域は１ＥＲＢの間隔を用いて分配される。式（４）における平滑化時定数λ_ｂは、帯域ｂで人の感知音量の積分時間に比例するよう選ぶことが有利である。

チャンネルエキサイテーション毎に加えて、全チャンネルにわたってチャンネルエキサイテーションを積算することにより、全体オーディオ信号を代表するエキサイテーションを計算してもよい。すなわち、

図８に示したような等感度曲線を用いることにより、各帯域における全体エキサイテーション及びチャンネルエキサイテーションは、次に、１ｋＨｚにおける音量と同じ音量を生じるエキサイテーションレベルに、各帯域が変換される。最後に、全体特定音量スペクトル及びチャンネル特定音量スペクトルは、非線形圧縮により、変換されたエキサイテーションＥ_Ｃ’［ｂ，ｔ］及びＥ_Ｔ’［ｂ，ｔ］から計算される。変換されたエキサイテーションから特定音量ＮをＮ＝Φ｛Ｅ｝として計算するための関数を一般に参照して、そのような適切な関数は以下のようになる。

ここで、ＴＱ_ｌｋＨｚは、ｌｋＨｚにおける閾値であり、定数βとαは公にされた音量の成長に適合するように選ばれる。この関数を用いて、全体特定音量スペクトル及びチャンネル特定音量スペクトルを以下のように計算する。

次いで、全体域にわたって全体特定音量値スペクトル及びチャンネル特定音量スペクトルを積算することにより、全体音量値及びチャンネル音量値を計算する。

入力が知覚音量の対数を取り出力が好ましい知覚音量の縮小拡大係数の対数を取る好ましいダイナミクス関数ＦＴから始まり、本発明の一般説明で詳細に説明したトップダウン限定とボトムアップ限定が適用され、それぞれＧ_Ｔ’［ｔ］、Ｇ_Ｃ’［ｔ］、及びＧ_Ｃ’［ｂ，ｔ］で表される、限定された全体対数音量縮小拡大係数値、限定されたチャンネル対数音量縮小拡大係数値、及び限定された帯域対数音量縮小拡大係数値を生成する。

帯域対数音量縮小拡大係数Ｇ_Ｃ’［ｂ，ｔ］はオーディオ信号を修正するために用いられる。しかしこの値は、限定を適用することにより生じた時間的不連続点を除去するために、まず最初に時間的に平滑化しなければならない。この平滑化では、速い時定数と遅い時定数とを有効に用い、どちらを使うかは、Ｌ_Ｃ［ｂ，ｔ］とＧ_Ｃ’［ｂ，ｔ］の両方を同時に平滑化することを基本にして決定する。もし、Ｌ_Ｃ［ｂ，ｔ］がその平滑化されたものより増大し、Ｇ_Ｃ’［ｂ，ｔ］がその平滑化されたものより減少した場合は、速い時定数を用いる。それ以外の場合は、遅い時定数を用いる。具体的には、Ｌ_Ｃ［ｂ，ｔ］とＧ_Ｃ’［ｂ，ｔ］の時間平滑化されたものは、以下の計算により求める。

関数Ψ｛・｝がエキサイテーションから特定音量への変換を表すとすると、帯域可変ゲインｇ_ｃ［ｂ，ｍ］は各チャンネルで以下のように計算される。

式（１３ａ）を再構成すると、解が得られる。

Ａｌａｎ Ｊｅｆｆｒｅｙ ＳｅｅｆｅｌｄｔによるＷＯ２００６／０４７６００として国際公開された前記国際特許出願ＰＣＴ／ＵＳ２００５／０３８５７９において、式（１３ｂ）における逆関数Ψ−１を計算する、閉形式表現、ルックアップテーブル、反復サーチを含む、いくつかの技法が記載されている。

最後に、帯域可変ゲインｇ_ｃ［ｂ，ｍ］を元のＳＴＤＦＴに対応するビンの各臨界帯域に適用して修正されたＳＴＤＦＴを生成する。

サンプルのブロックを一部重なり合わせて加算させるデジタルオーディオ処理の詳細は、Ｆｉｅｌｄｅｒ他の米国特許５，８９９，９６９（「Ｆｒａｍｅ−ｂａｓｅｄａｕｄｉｏ ｗｉｔｈ ｇａｉｎ−ｃｏｎｔｒｏｌｗｏｒｄｓ」）に開示されており、この特許はすべて本願に参照として組み込む。

本発明は、限定を加えない場合より等しい値に近づくような限定を課することを意図している。同様に、ダイナミクス処理プロフィールを１つの階層レベルから他の階層レベルに、同じプロフィール形状のままで送ることが記載されているが（例えば、図３ｂ）、このような形状の同一性は理想化された例である。本発明は、ダイナミクス処理プロフィールを１つの階層レベルから他の階層レベルに送ることを意図するものであり、ここで、送られたプロフィールは、１以上のより上位のレベルのプロフィールの近似であり、近似の程度はダイナミクス処理装置又はダイナミクス処理の方法の創作者により選択される。

（実施形態）
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムも、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。

このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードすることが好ましい。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。

本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。

１４、１８、２４…計測処理、１６、２０、２６…ダイナミクス制御。

Claims (13)

1. オーディオダイナミクス処理のための方法であって、
   各階層レベルで１以上のノードを有する複数の階層レベルの各々のノードで動作する１以上の装置又は処理により導出された情報に応答してオーディオ信号のダイナミクスを修正することを備え、
   各階層レベルにおいて動作する前記１以上の装置又は処理は、それより１つ低い各階層レベルで動作する１以上の装置又は処理が前記オーディオ信号の徐々に小さくなるサブディビジョンの１以上の特性の測度を取得できるように、前記オーディオ信号の１以上の特性の測度を取得し、各階層レベルの各ノードにおいて前記１以上の装置又は処理は、該階層レベルにおいて前記オーディオ信号の測度を取得し、前記オーディオ信号のこのような測度から及び別の階層レベルにおける１以上の装置又は１以上の処理から受け取った情報から情報を導出し、前記オーディオ信号の徐々に小さくなるサブディビジョンは、（１）チャンネルサブディビジョン及び（２）周波数帯域サブディビジョンのうちのどちらか一方又は両方を含む、方法。
2. オーディオダイナミクス処理のための方法であって、
   各階層レベルで１以上のノードを有する２つの階層レベルの各々のノードで動作する１以上の装置又は処理により導出された情報に応答してオーディオ信号のダイナミクスを修正することを備え、
   各階層レベルにおいて動作する前記１以上の装置又は処理は、より低い各階層レベルで動作する１以上の装置又は処理が前記オーディオ信号のより小さいサブディビジョンの１以上の特性の測度を取得できるように、前記オーディオ信号の１以上の特性の測度を取得し、各階層レベルの各ノードにおいて前記１以上の装置又は処理は、該階層レベルにおいて前記オーディオ信号の測度を取得し、前記オーディオ信号のこのような測度から及び他方の階層レベルにおける１以上の装置又は１以上の処理から受け取った情報から情報を導出し、前記オーディオ信号のより小さいサブディビジョンは、（１）チャンネルサブディビジョン及び（２）周波数帯域サブディビジョンのうちの一つを含む、方法。
3. 最初の、最上位の階層レベルは、全体的なオーディオ信号の測度を取得するルートノードを具備する、請求項１または請求項２に記載の方法。
4. 前記オーディオ信号は多チャンネルのオーディオ信号であり、少なくとも１つの低い階層レベルは、各ノードが前記オーディオ信号のサブディビジョンの測度を取得する複数のノードを含み、少なくとも１つのさらに低い階層レベルは、それぞれが前記オーディオ信号のチャンネルの周波数サブディビジョンの測度を取得する複数のノードを含む、請求項１に記載の方法。
5. 前記オーディオ信号は単一チャンネルのオーディオ信号であり、少なくとも１つの低い階層レベルは、それぞれがオーディオ信号の周波数サブディビジョンの測度を取得する複数のノードを含む、請求項１に記載の方法。
6. 特定の階層レベルでオーディオ信号の測度から導出された情報は、前記階層の低位方向に、１以上のさらに低い階層レベルへと送られ、その階層レベルでの装置又は処理の動作に影響を与える、請求項１に記載の方法。
7. 特定の階層レベルでオーディオ信号の測度から導出された情報は、１以上の低い階層レベルでの装置及び処理の動作に影響を与えるのに役立つ情報のみならず、オーディオ信号のダイナミクスを修正するのに役立つ情報も含む、請求項６に記載の方法。
8. 特定の低い階層レベルで前記オーディオ信号の測度から導出された情報、及び、そのような低い階層レベルに送られて来た情報から導出された情報が、そのような低い階層レベルでの装置又は処理の動作に影響を与えるために用いられる、請求項６又は請求項７に記載の方法。
9. そのような低い階層レベルでの装置又は処理の動作に影響を与えることにより、低い階層レベルにこれまでとは違った情報の修正を生じさせる、請求項８に記載の方法。
10. 特定の低い階層レベルでオーディオ信号の測度から導出された情報、及び、そのような低い階層レベルに送られて来た情報から導出された情報は、１段階以上高い階層レベルの階層に送られ、その高い階層レベルでの装置又は処理の動作に影響を与える、請求項６又は請求項７に記載の方法。
11. そのような高い階層レベルの階層で動作する前記装置又は処理に影響を与えることにより、高い階層レベルに、さもなければ１以上の低い階層に送っていたかもしれない情報、又はオーディオ信号を修正するために用いられていたかも知れない情報の修正を生じさせる、請求項１０に記載の方法。
12. 請求項１乃至請求項１１のいずれか１項に記載の方法を実行するように構成された装置。
13. 請求項１乃至請求項１１のいずれか１項に記載の方法をコンピュータに実行させるための、コンピュータ読取可能な媒体に保存されたコンピュータプログラム。