JP2017526265A - オーディオ信号の強化のための装置と方法及び音響強化システム - Google Patents

Abstract

オーディオ信号を強化するための装置は、オーディオ信号を処理して過渡部分及び調性部分が低減又は除去された処理済み信号を得る信号処理部と、処理済み信号から第１のデコリレート済み信号と第２のデコリレート済み信号とを生成するデコリレータと、を含む。本装置はさらに、第１のデコリレート済み信号と第２のデコリレート済み信号とオーディオ信号又はオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、２チャネルオーディオ信号を取得する結合部を備える。本装置はさらに、オーディオ信号の異なる部分が異なる重みファクタによって乗算され、２チャネルオーディオ信号がデコリレーションの時間変化度を有するように、オーディオ信号を分析することによって時間変化する重みファクタを制御するためのコントローラを備える。【選択図】 図１

Description

本出願は、オーディオ信号処理に関し、特にモノラル又はデュアルモノラル信号のオーディオ処理に関する。

聴覚シーンは直接音と環境音のミックスとしてモデル化され得る。直接音（又は方向性音）は音源、例えば楽器、ボーカリスト又はラウドスピーカによって放射され、受信者、例えばリスナーの耳又はマイクロホンに最短の可能な経路で到達する。間隔をあけたマイクロホンのセットを使用して直接音を捕える場合、受信される信号はコヒーレントである。対照的に、環境（又は拡散）音は、多くの間隔をあけた音源又は例えば室内残響、拍手喝采、又はバブル雑音に寄与する音響反射境界によって放射される。間隔をあけたマイクロホンのセットを使用して環境音場を捕捉する場合、受信される信号は少なくとも部分的に非コヒーレントである。

モノラル音響再生は、幾つかの再生シナリオ（例えばダンスクラブなど）において、又は幾つかのタイプの信号（例えばスピーチ録音など）について、適切であると考えられるが、大半の音楽録音、映画音響、テレビ音響はステレオ信号である。ステレオ信号は、環境（又は拡散）音及び音源の方向と幅の感覚を創造し得る。このことは、空間キューによって符号化されたステレオ情報によって達成される。最も重要な空間キューはチャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）、及びチャネル間コヒーレンス（ＩＣＣ）である。したがって、ステレオ信号及び対応する音響再生システムは２つ以上のチャネルを有する。ＩＣＬＤ及びＩＣＴＤは方向感覚に寄与する。ＩＣＣは、音の幅感覚を誘起し、環境音の場合に、音が全ての方向から到来するように知覚される。

多チャネル音響再生は種々のフォーマットで存在するが、大半のオーディオ録音及び音響再生システムは依然として２チャネルを有している。２チャネルステレオ音響は、娯楽システムについては標準であり、リスナーもそれに慣れている。しかしながら、ステレオ信号は２つのチャネル信号を有するだけに限定されず、２チャネル以上の信号を有し得る。同様に、モノラル信号は１つのチャネル信号を有するだけに限定されず、複数かつ互いに同一のチャネル信号を有してもよい。例えば、２つの同一のチャネル信号を含むオーディオ信号は、デュアルモノラル信号と呼ばれても良い。

ステレオ信号に代えてモノラル信号がリスナーに対して利用可能であるという理由は、様々にある。第１に、昔の録音はモノラルであり、その時代にはステレオ技術が使用されていなかったためである。第２に、伝送又は記憶媒体の帯域幅の制約が、ステレオ情報の損失を招き得るからである。顕著な例は、周波数変調（ＦＭ）を用いたラジオ放送である。ここで、伝送の妨害源、マルチパス歪み又は他の障害はノイズの多いステレオ情報をもたらし、そのステレオ情報は、２チャネル信号の伝送のために、両チャネル間の差信号として典型的に符号化される。受信状況が劣悪である場合には、部分的又は完全にステレオ情報を廃棄することは通常の慣行である。

ステレオ情報の損失は、音質の低下を招く可能性がある。一般に、多数のチャネルを含むオーディオ信号ほど、少数のチャネルを含むオーディオ信号に比べて、より高い音質を含み得る。リスナーはより高い音質を持つオーディオ信号を聞きたいと欲するであろう。媒体を介する伝送又は媒体への記憶のデータレートのような効率上の理由により、音質は低下しやすい。

したがって、オーディオ信号の音質を強化するための必要性が存在する。

欧州特許出願公開ＥＰ２５４１５４２Ａ１

したがって、本発明の目的は、オーディオ信号の強化のための装置又は方法を提供することであり、及び／又は再生されたオーディオ信号の感覚を増大させることである。

この目的は、請求項１に係るオーディオ信号を強化する装置、請求項１４に係るオーディオ信号を強化する方法、請求項１３に係る音響強化システム、又は請求項１５に係るコンピュータプログラムによって達成される。

本発明は、受信されたオーディオを少なくとも２つの部分に分割することにより、かつ受信された信号の分担の少なくとも１つをデコリレートすることにより、空間キューを人工的に生成することによって、受信されたオーディオ信号は強化され得る、という知見に基づいている。部分同士の重み付き結合は、ステレオとして知覚されるオーディオ信号、つまり強化されたオーディオ信号の受信を可能にする。適用される重みを制御することは、デコリレーションの程度の変化を可能にし、つまり強化の程度の変化を可能にし、デコリレーションが音質を低下させる困惑効果をもたらしうる場合に、強化のレベルを低くすることが可能になる。このように、スピーチ信号のように低いデコリレーションが適用され又はデコリレーションが適用されないような部分又は期間を含み、かつ音楽信号のように多くの又はより高度のデコリレーションが適用されるような部分又は期間を含む、可変のオーディオ信号は、強化されることができる。

本発明の実施形態は、オーディオ信号を強化する（enhancing）装置を提供する。この装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する信号処理部を含む。この装置は、さらに処理済み信号から第１のデコリレート済み信号と第２のデコリレート済み信号とを生成するデコリレータを含む。この装置はさらに、結合部とコントローラとを備える。結合部は、第１のデコリレート済み信号と第２のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを時間可変重みファクタ（time variant weighting factors）を使用して重み付き結合し、２チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ２チャネルオーディオ信号がデコリレーションの時間変化度（time variant degree）を有するようになる。

単一チャネルを持つ信号、又は複数であるが殆ど同一のチャネル信号を持つ信号などのように、ステレオ（又は多チャネルの）情報を殆ど持たないか又は全く持たないオーディオ信号は、本強化が適用された後、多チャネル例えばステレオ信号として知覚され得る。受信されたモノラル又はデュアルモノラルオーディオ信号は、異なる経路で異なるように処理されることができ、１つの経路ではオーディオ信号の過渡及び／又は調性部分が低減され又は除去される。このように、デコリレートされ、そのデコリレート済み信号がオーディオ信号又はこのオーディオ信号から導出された信号を含む第２経路と重み付き結合されるように処理された信号は、２つの信号チャネルを取得することを可能にし、それら２つのチャネルが１つのステレオ信号として知覚されるように、それら２つの信号チャネルは互いに対して高いデコリレーションファクタを含み得る。

デコリレート済み信号とオーディオ信号（又はそれから導出された信号）とを重み付き結合するために使用される重みファクタを制御することによって、デコリレーションの時間変化度が取得され得るので、オーディオ信号を強化することが望ましくない効果をもたらし得る状況においては、その強化が低減され又は省かれ得る。例えば、１つのラジオスピーカの１つの信号、又は他の顕著な音源信号を強化することは望ましくないこともある。なぜなら、複数の音源位置から１つのスピーカを知覚することは、リスナーにとって困惑させる効果をもたらすからである。

さらなる実施形態によれば、オーディオ信号を強化する装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する、信号処理部を含む。この装置はさらに、デコリレータと結合部とコントローラとを含む。デコリレータは、処理済み信号から第１のデコリレート済み信号と第２のデコリレート済み信号とを生成するよう構成される。結合部は、第１のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、２チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ２チャネルオーディオ信号がデコリレーションの時間変化度を有するようになる。このことは、モノラル信号又はモノラル信号と同様な信号（例えばデュアルモノラル又はマルチモノラル信号）をステレオチャネル・オーディオ信号として知覚させることを可能にする。

オーディオ信号を処理するために、コントローラ及び／又は信号処理部は、周波数ドメインでオーディオ信号の表現を処理するよう構成されてもよい。この表現は、複数の又は多数の周波数帯域（サブバンド）を含んでもよく、各帯域は部分、つまりオーディオ信号の部分又はオーディオ信号のスペクトルをそれぞれ含む。各周波数帯域について、コントローラは２チャネルオーディオ信号におけるデコリレーションの知覚レベルを予測するよう構成されてもよい。コントローラはさらに、オーディオ信号の幾つかの部分（周波数帯域）についてデコリレーションの程度を高め得るよう重みファクタを増大させ、オーディオ信号の幾つかの部分についてデコリレーションの程度を低減し得るよう重みファクタを減少させるよう構成されてもよい。例えば、拍手喝采又はバブル雑音のような非顕著な音源信号を含む部分は、顕著な音源信号を含む部分に比べて、より高いデコリレーションを可能にする重みファクタによって結合されてもよい。ここで、顕著な音源信号という用語は、例えば、スピーチ、楽器、ボーカリスト又はラウドスピーカのように、直接音として知覚される信号の部分について用いられる。

前記処理部は、幾つか又は全ての周波数帯域の各々について、周波数帯域が過渡又は調性成分を含むかどうかを決定し、かつ過渡又は調性部分の低減を可能にするスペクトル重みを決定するよう構成されてもよい。スペクトル重み及びスケーリングファクタは、それぞれ複数の可能な値を含んでもよく、それにより二値決定に起因する困惑効果が低減され及び／又は回避され得る。

コントローラはさらに、２チャネルオーディオ信号におけるデコリレーションの知覚レベルが目標値付近のある範囲内にあるように、重みファクタをスケールするよう構成されてもよい。その範囲は、例えば目標値の±２０％、±１０％又は±５％まで広がっても良い。目標値は、例えば調性及び／又は過渡部分の尺度のために予め決定された値であってもよく、例えば、変化する過渡及び調性部分を含むオーディオ信号が、変化する目標値を取得できるように決定されてもよい。これにより、オーディオ信号がデコリレート済みであるか又はスピーチのように顕著な音源に対してデコリレーション無しが望まれている場合には、低度又は皆無にもなるデコリレーションが実行され、他方、信号がデコリレートされておらず及び／又はデコリレーションが望まれる場合には、高度なデコリレーションが実行されることが可能になる。重みファクタ及び／又はスペクトル重みは、多数の値又はほぼ連続的に決定され、及び／又は調整されてもよい。

デコリレータは、オーディオ信号の残響又は遅延に基づいて、第１のデコリレート済み信号を生成するよう構成されてもよい。コントローラは、またオーディオ信号の残響又は遅延に基づいて、試験デコリレート済み信号を生成するよう構成されてもよい。残響は、オーディオ信号を遅延させ、オーディオ信号とその遅延済みバージョンとを、有限インパルス応答フィルタ構造に類似するよう結合することにより実行されてもよく、ここで残響は無限インパルス応答フィルタとして実装されてもよい。遅延時間及び／又は遅延及び結合の数は変化し得る。試験デコリレート済み信号のためにオーディオ信号を遅延させ又は残響させる遅延時間は、第１のデコリレート済み信号のためにオーディオ信号を遅延させ又は残響させるための遅延時間よりも短くてもよく、これは例えば遅延フィルタのフィルタ係数がより少ないという結果をもたらしてもよい。デコリレーションの知覚強度を予測するためには、デコリレーションのより低い程度、従ってより短い遅延時間でも十分であり、遅延時間及び／又はフィルタ係数を低減させることで、演算量及び／又は演算パワーを低減させることが可能になる。

以下に、本発明の好ましい実施形態について、添付の図面を参照しながら説明する。

オーディオ信号を強化する装置の概略ブロック図を示す。 オーディオ信号を強化するさらなる装置の概略ブロック図を示す。 デコリレーションの予測された知覚強度のレベルに基づいて、スケーリングファクタ（重みファクタ）の計算を示す例示的な表を示す。 重みファクタを部分的に決定するために実行され得る方法の一部の概略フローチャート図を示す。 デコリレーションの知覚レベルの尺度を閾値と比べたある場合を示す、図４ａの方法のさらなるステップの概略フローチャート図を示す。 図１におけるデコリレータとして作動し得る、デコリレータの概略ブロック図を示す。 少なくとも１つの過渡（短時間）信号部分を含む、オーディオ信号のスペクトルを含む概略図を示す。 調性部分を含むオーディオ信号の概略スペクトルを示す。 過渡処理ステージによって実行される可能な過渡処理を示す概略的な表である。 調性処理ステージによって実行され得る可能な調性処理を示す例示的な表である。 オーディオ信号を強化する装置を含む音響強化システムの概略ブロック図を示す。 前景／背景処理に従う入力信号の処理の概略ブロック図である。 入力信号の前景信号及び背景信号への分離を示す図である。 スペクトル重みを入力信号へ適用するよう構成された装置の概略ブロック図を示す。 オーディオ信号を強化するための方法の概略フローチャート図を示す。 直接信号成分又はドライ信号成分と残響信号成分とを含むミックス信号における、残響／デコリレーションの知覚レベルのための尺度を決定する装置を示す。 ラウドネスモデル処理部の構成を示す図である。 ラウドネスモデル処理部の構成を示す図である。 ラウドネスモデル処理部の構成を示す図である。 図１２、１３ａ、１３ｂ、１３ｃに関する幾つかの態様の中で既に説明された、ラウドネスモデル処理部の構成を示す。

同一又は同等な要素、又は同一又は同等な機能を有する要素は、異なる図であっても、以下の説明では同一又は同等な参照番号によって示されている。

以下の説明では、複数の詳細例が本発明の実施形態のさらに完全な説明を提供するために説明される。しかしながら、本発明の実施形態は、それらの特異な詳細に拘わらず実施され得ることは、当業者にとっては自明のことであろう。換言すれば、周知の構造や装置は、本発明の実施形態を不明瞭にするのを避けるため、その詳細よりもブロック図の形態で示される。さらに、以下に示される異なる実施形態の特徴は、特に不可能の注意書きがない限り、互いに結合が可能である。

以下では、オーディオ信号の処理について言及する。装置又はその構成要素は、オーディオ信号を受信し、提供し、及び／又は処理するよう構成されてもよい。個々のオーディオ信号は、時間ドメイン及び／又は周波数ドメインにおいて受信され、提供され、又は処理されてもよい。時間ドメインにおけるオーディオ信号表現は、例えばフーリエ変換などの方法でオーディオ信号の周波数表現へと変換されてもよい。周波数表現は、例えば短時間フーリエ変換（ＳＴＦＴ）、離散コサイン変換及び／又は高速フーリエ変換（ＦＦＴ）を使用して取得されてもよい。代替的又は追加的に、周波数表現は直交ミラーフィルタ（ＱＭＦ）を含み得るフィルタバンクによって取得されてもよい。オーディオ信号の周波数ドメイン表現は、フーリエ変換から公知のように、それぞれのフレームが複数のサブバンドを含む複数のフレームを含み得る。各サブバンドはオーディオ信号の一部を含む。オーディオ信号の時間表現及び周波数表現は一方から他方へと変換され得るので、以下の説明ではオーディオ信号が時間ドメイン表現であるか又は周波数ドメイン表現であるかに限定されるべきでない。

図１は、オーディオ信号１０２を強化するための装置１０の概略ブロック図を示す。オーディオ信号１０２は、周波数ドメイン又は時間ドメインで表現される、例えばモノラル信号、又はデュアルモノラル信号のようなモノラル状信号である。装置１０は信号処理部１１０、デコリレータ１２０、コントローラ１３０、及び結合部１４０を備えている。信号処理部１１０は、オーディオ信号１０２を受信し、オーディオ信号１０２を処理して処理済み信号１１２を得るよう構成され、その処理によりオーディオ信号１０２に比べて処理済み信号１１２の過渡部分及び調性部分を低減し又は除去するよう構成されている。

デコリレータ１２０は、処理済み信号１１２を受信し、その処理済み信号１１２から第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とを生成するよう構成されている。デコリレータ１２０は、処理済み信号１１２を少なくとも部分的に残響（reverberating）させることにより、第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とを生成するよう構成されてもよい。第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とは、第１のデコリレート済み信号１２２が第２のデコリレート済み信号１２４に比べて短い又は長い時間遅延（残響時間）を持つように、残響のための異なる時間遅延を含んでもよい。また、第１又は第２のデコリレート済み信号１２２又は１２４は、遅延又は残響フィルタを介さずに処理されてもよい。

デコリレータ１２０は、第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とを結合部１４０へ提供するよう構成されている。コントローラ１３０は、オーディオ信号１０２を受信し、かつオーディオ信号１０２を分析することによりオーディオ信号１０２の異なる部分が異なる重みファクタａ又はｂによって乗算されるように時間可変重みファクタａ，ｂを制御するよう構成される。したがって、コントローラ１３０は、重みファクタａ及びｂを決定するよう構成されたコントロールユニット１３２を含む。コントローラ１３０は、周波数ドメインにおいて作動するよう構成されてもよい。コントロールユニット１３２は、短時間フーリエ変換（ＳＴＦＴ）、高速フーリエ変換（ＦＦＴ）、及び／又は標準的なフーリエ変換（ＦＴ）を使用して、オーディオ信号１０２を周波数ドメインへ変換するよう構成されてもよい。オーディオ信号１０２の周波数ドメイン表現は、フーリエ変換から周知のように複数のサブバンドを含んでも良い。各サブバンドはオーディオ信号の一部を含む。代替的に、オーディオ信号１０２は周波数ドメインにおける信号の表現であってもよい。コントロールユニット１３２は、オーディオ信号のデジタル表現の各サブバンドについて、ペアとなる重みファクタａ、ｂを制御及び／又は決定するよう構成されてもよい。

結合部は、第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とオーディオ信号１０２から導出された信号１３６とを、重みファクタａ，ｂを使用して重み付き結合するよう構成されている。オーディオ信号１０２から導出された信号１３６は、コントローラ１３０によって提供されてもよい。したがって、コントローラ１３０は任意選択の導出ユニット１３４を備えていてもより。導出ユニット１３４は、オーディオ信号１０２の部分を、例えば適応、修正、又は強化するよう構成されてもよい。特に、導出ユニット１１０は、信号処理部１１０によって減衰され、低減され又は除去されているオーディオ信号１０２の部分を増幅するよう構成されてもよい。

信号処理部１１０は、また周波数ドメインで作動するよう構成されてもよく、しかも信号処理部１１０がオーディオ信号１０２のスペクトルの各サブバンドについての過渡部分及び調性部分を低減し又は除去するように、オーディオ信号１０２を処理するよう構成されてもよい。このことは、過渡部分が少ないか若しくは含まない、又は調性部分が少ないか含まない（ノイズの多い）サブバンドについて、少ない処理又は全く処理を必要としないことをもたらす可能性がある。代替的に、結合部１４０は、導出された信号に代えてオーディオ信号１０２を受信してもよく、つまりコントローラ１３０は導出ユニット１３４を備えずに構成され得る。その場合、信号１３６はオーディオ信号１０２と同じであってもよい。

結合部１４０は、重みファクタａ，ｂを含む重み信号１３８を受信するよう構成される。結合部１４０は、さらに第１チャネルｙ₁と第２チャネルｙ₂とを含む出力オーディオ信号１４２を取得するよう構成され、つまりオーディオ信号１４２は２チャネルオーディオ信号である。

信号処理部１１０、デコリレータ１２０、コントローラ１３０及び結合部１４０は、オーディオ信号１０２、そのオーディオ信号から導出された信号１３６、及び／又は処理済み信号１１２、１２２及び／又は１２４をフレーム毎に及びサブバンド毎に処理するよう構成されてもよく、その場合、信号処理部１１０、デコリレータ１２０、コントローラ１３０及び結合部１４０が、１つ以上の周波数帯域（信号の部分）を一度に処理することによって、各周波数帯域に対して上述した動作を実行するよう構成されてもよい。

図２はオーディオ信号１０２を強化するための装置２００の概略ブロック図を示す。この装置２００は、信号処理部２１０、デコリレータ１２０、コントローラ２３０及び結合部２４０を備える。デコリレータ１２０は、ｒ１で示された第１のデコリレート済み信号１２２と、ｒ２で示された第２のデコリレート済み信号１２４とを生成するよう構成される。

信号処理部２１０は、過渡処理ステージ２１１と、調性処理ステージ２１３と、結合ステージ２１５とを備える。信号処理部２１０はオーディオ信号１０２の表現を周波数ドメインで処理するよう構成される。オーディオ信号１０２の周波数ドメイン表現は、多数のサブバンド（周波数帯域）を含み、過渡処理ステージ２１１と調性処理ステージ２１３とは各周波数帯域を処理するよう構成される。代替的に、２０Ｈｚ、５０Ｈｚ又は１００Ｈｚ以下、及び／又は１６ｋＨｚ、１８ｋＨｚ又は２２ｋＨｚ以上の周波数帯域のように、ある周波数範囲又は周波数帯域をさらなる処理から除外するために、オーディオ信号１０２の周波数変換によって得られたスペクトルは低減、つまりカットされてもよい。このことは、演算量の削減を可能にし、そのためさらに高速及び／又はさらに正確な処理が可能になる。

過渡処理ステージ２１１は、各処理済みの周波数帯域について、周波数帯域が過渡部分を含むかどうかを決定するよう構成される。調性処理ステージ２１３は、各周波数帯域についてオーディオ信号１０２が周波数帯域内に調性部分を含むかどうかを決定するよう構成される。過渡処理ステージ２１１は、少なくとも過渡部分を含む周波数帯域について、スペクトル重みファクタ２１７を決定するよう構成され、そのスペクトル重みファクタ２１７は個々の周波数帯域と関連している。図６ａ及び６ｂで説明するように、過渡特性及び調性特性はスペクトル処理によって識別されてもよい。過渡レベル及び又は調性レベルは、過渡処理ステージ２１１及び／又は調性処理ステージ２１３によって測定されてもよく、スペクトル重みに変換されてもよい。調性処理ステージ２１３は、少なくとも調性部分を含む周波数帯域についてスペクトル重みファクタ２１９を決定するよう構成される。スペクトル重みファクタ２１７、２１９は多数の可能値を含んでもよく、スペクトル重みファクタ２１７及び／又は２１９の大きさは、その周波数帯域内の過渡部分及び／又は調性部分の量を示している。

スペクトル重みファクタ２１７及び２１９は、絶対値又は相対値を含んでも良い。例えば、絶対値は周波数帯域における過渡音及び／又は調性音のエネルギー値を含んでも良い。代替的に、スペクトル重みファクタ２１７及び／又は２１９は、０と１との間の値のような相対値を含んでもよく、値０は周波数帯域が過渡又は調性部分を全く含まないか又は殆ど含まないことを示し、値１は周波数帯域が過渡及び／又は調性部分の大部分又は完全に含むことを示している。スペクトル重みファクタは、３、５、１０個のような多数の値（ステップ）、例えば（０，０．３及び１）、（０．１，０．２，．．．，１）などの値のうちの１つを含み得る。縮尺の大きさ、最小値と最大値との間のステップの数は、少なくともゼロであり得るが、好ましくは少なくとも１及びさらに好ましくは少なくとも５である。好ましくは、スペクトル重み２１７及び２１９の多数の値は、最小値と、最大値と、最小値及び最大値の間の値とを含む、少なくとも３個の値を含む。最小値と最大値との間の値が多ければ多いほど、各周波数帯域のより連続的な重み付けが可能となり得る。最小値と最大値は、０と１、又はそれ以外の値同士の間の縮尺へとスケールされてもよい。最大値は過渡性及び／又は調性の最高レベル又は最低レベルを示していても良い。

結合ステージ２１５は、後述するように、周波数帯域の各々についてのスペクトル重みを結合するよう構成される。信号処理部２１０は結合済みスペクトル重みを周波数帯域の各々に適用するよう構成される。例えば、スペクトル重み２１７及び／又は２１９、又はそれらスペクトル重みから導出された値は、処理済み周波数帯域においては、オーディオ信号１０２のスペクトル値と乗算されていてもよい。

コントローラ２３０は、信号処理部２１０から、スペクトル重みファクタ２１７及び２１９、又はそれらに対して関連している情報を受信するよう構成される。導出された情報は、例えばテーブルのインデックス番号、スペクトル重みファクタと関連しているインデックス番号であってもよい。コントローラは、オーディオ信号１０２をコヒーレント信号部分、すなわち過渡処理ステージ２１１及び／又は調性処理ステージ２１３によって低減又は除去されていないか、又は一部分だけが低減又は除去された部分、に関して強化するよう構成される。簡単に言えば、導出ユニット２３４は信号処理部２１０によって低減され又は除去されない部分を増幅してもよい。

導出ユニット２３４は、ｚで示された、オーディオ信号１０２から導出された信号２３６を提供するよう構成される。結合部２４０は、信号ｚ（２３６）を受信するよう構成される。デコリレータ１２０は、ｓで示された処理済み信号２１２を信号処理部２１０から受信するよう構成される。

結合部２４０は、デコリレート済み信号ｒ１及びｒ２を重みファクタ（スケーリングファクタ）ａ及びｂと結合して、第１チャネル信号ｙ１と第２チャネル信号ｙ２とを取得するよう構成される。信号チャネルｙ１とｙ２は出力信号２４２へと結合されてもよく、又は別個に出力されてもよい。

換言すれば、出力信号２４２は、（典型的に）相関信号ｚ（２３６）とデコリレート済み信号ｓ（それぞれｒ１又はｒ２）との結合である。デコリレート済み信号は、２つのステップ、すなわち過渡及び調性信号成分の第１抑圧（低減し又は除去する）ステップと第２デコリレーションステップとで得られる。過渡信号成分及び調性信号成分の抑圧は、スペクトル重み付けによって実施される。信号は、周波数ドメインでフレーム毎に処理される。スペクトル重みは、各周波数ｂｉｎ（周波数帯域）及び各時間フレームについて計算される。そして、オーディオ信号は全帯域で処理され、すなわち考慮されるべき全ての部分が処理される。

処理の入力信号は単一チャネル信号ｘ（１０２）であってもよく、出力信号は２チャネル信号ｙ＝［ｙ１，ｙ２］であってもよく、ここで、添字は第１チャネルと第２チャネル、例えばステレオ信号の左チャネルと右チャネルとを示している。出力信号ｙは、次式のように、スケーリングファクタａ及びｂを用いて、２チャネル信号ｒ＝［ｒ１，ｒ２］を単一チャネル信号ｚと線形結合することによって計算されてもよい。
y1 = a x z + b x r1 (1)
y2 = a x z + b x r2 (2)
ここで、ｘは式（１）及び（２）における乗算演算子を示している。

式（１）及び（２）は定性的に解釈されるべきであり、信号ｚ、ｒ１及びｒ２の配分が重みファクタを変化させることによって制御され得る（変化され得る）ことを示している。例えば、逆数で割り算するような逆演算を形成することによって、異なる演算によっても同等又は等価結果が得られ得る。代替的に又は追加的に、２チャネル信号ｙを得るために、スケーリングファクタａ及びｂ、及び／又はｙ１及び／又はｙ２のための値を含む、参照テーブルが使用されてもよい。

スケーリングファクタａ及び／又はｂは、相関の知覚強度と共に単調減少するように計算されてもよい。知覚強度について予測されたスカラー値が、スケーリングファクタを制御するために使用されてもよい。

ｒ１とｒ２とを含むデコリレート済み信号ｒは、２つのステップで計算され得る。第１は、過渡及び調性信号成分の減衰が信号ｓをもたらす。第２は、信号ｓのデコリレーションが実行されてもよい。

例えば、スペクトル重み付けによって、過渡信号成分及び調性信号成分の減衰が実行される。その信号は周波数ドメインでフレーム毎に処理される。スペクトル重みは、各周波数ｂｉｎ及び時間フレームについて計算される。減衰の目的は２つある。
１．過渡又は調性信号成分は典型的に、所謂前景信号に属し、ステレオイメージ内でのそれらの位置は、中心に位置づけられることが多い。
２．強い過渡信号成分を有する信号のデコリレーションは、知覚可能なアーチファクトをもたらす。強い調性信号成分を有する信号のデコリレーションもまた、調性成分（即ち正弦波）が周波数調性された場合、即ち少なくとも、周波数変調が、あまりに低速で行われ、信号スペクトルの（非ハーモニックでもあり得る）倍音の濃縮化に起因して、周波数の変化として知覚されてしまい音色の変化として知覚されない場合には、知覚可能なアーチファクトをもたらす。

相関信号ｚは、過渡及び調性信号成分を強化する処理を適用すること、例えば信号ｓを計算するための抑制の逆を定性的に適用することによって、取得されてもよい。代替的に、例えば未処理の入力信号は、そのまま使用され得る。ｚは２チャネル信号である場合もあり得ることに注意すべきである。実際、多くの記憶メディア（例えばコンパクトディスク）は、信号がモノラルであっても２チャネルを使用している。２つの同じチャネルを持つ１つの信号は、「デュアルモノラル」と呼ばれる。入力信号ｚがステレオ信号であり、かつこの処理の目的は立体音響効果を増大させるため、という場合もあり得る。

デコリレーションの知覚強度は、特許文献１に記載のように、ラウドネスの計算モデルを用いた後期残響の予測される知覚強度と同様に予測されてもよい。

図３は、デコリレーションの予測される知覚強度のレベルに基づいた、スケーリングファクタ（重みファクタ）ａ及びｂの計算を示す例示的テーブルを示している。

例えば、デコリレーションの知覚強度は、その値が、知覚されるデコリレーションの低いレベル、又はデコリレーションのないレベルを示す０の値と、デコリレーションの高いレベルを示す１０の値との間で変化し得るスカラー値を含むように予測され得る。そのレベルは、例えばリスナーテスト又は予測的シミュレーションに基づいて決定されてもよい。代替的に、デコリレーションのレベルの値は最小値と最大値との間の範囲を含んでも良い。デコリレーションの知覚レベルの値は、最小値及び最大値を超える値を受け入れるよう構成されてもよい。好ましくは、相関の知覚されるレベルは、少なくとも３つの異なる値を受け入れてもよく、より好ましくは少なくとも７つの異なる値を受け入れても良い。

知覚されるデコリレーションの決定されたレベルに基づいて適用されるべき重みファクタａ及びｂは、メモリに格納されてもよく、コントローラ１３０又は２３０によってアクセス可能である。知覚されるデコリレーションのレベルの増大に伴って、結合部によってオーディオ信号又はそれから導出された信号と乗算されるべきスケーリングファクタａも、また増大してもよい。知覚されるデコリレーションの増大したレベルは、「信号は既に（部分的に）デコリレートされている」と解釈されてもよく、その結果、デコリレーションのレベルが増大するに伴って、オーディオ信号又はそれから導出された信号が、出力信号１４２又は２４２の中でより高い割合を含むようにしてもよい。デコリレーションのレベルの増大に伴って、重みファクタｂは減少するよう構成され、すなわち信号処理部の出力信号に基づいてデコリレータによって生成された信号ｒ１及びｒ２が、結合部１４０又は２４０で結合されるときに、より少ない割合を含んでもよい。、

重みファクタａは、少なくとも１（最小値）と大きくても９（最大値）のスカラー値を含むように示され、重みファクタｂは、最小値２と最大値８とを含む範囲内のスカラー値を含むように示されているが、両重みファクタａ及びｂは、最小値と、最大値と、好ましくは最小値及び最大値の間の少なくとも１つの値とを含むある範囲内の値を含んでも良い。代替的に、図３に示された重みファクタａ及びｂの値に対して代替的に、かつ知覚されるデコリレータのレベル増大に伴って、重みファクタａは線形的に増大してもよい。代替的又は追加的に、重みファクタｂは知覚されるデコリレーションのレベル増大に伴って線形的に減少してもよい。加えて、知覚されるデコリレーションのレベルに関し、あるフレームについて決定された重みファクタａ及びｂの合計が一定又はほぼ一定であってもよい。例えば、知覚されるデコリレーションのレベル増大に伴って、重みファクタａが０から１０まで増大し、かつ重みファクタｂが値１０から０へ減少してもよい。両方の重みファクタが線形的に、例えばステップサイズ１毎に減少又は増大する場合には、重みファクタａ及びｂの合計が、知覚されるデコリレーションの各レベルについて、１０の値を持っても良い。適用されるべき重みファクタａ及びｂは、シミュレーション又は実験により決定され得る。

図４ａは、例えばコントローラ１３０及び／又は２３０によって実行され得る方法４００の一部の概略フローチャートを示す。コントローラは、ステップ４１０におけるデコリレーションの知覚レベルについての尺度を、例えば図３に示されたようにスカラー値において決定するよう構成される。ステップ４２０では、コントローラは決定された尺度と閾値とを比較するよう構成される。その尺度が閾値より高い場合には、コントローラは、ステップ４３０において重みファクタａ及び／又はｂを修正し又は適応させるよう構成される。ステップ４３０では、コントローラは、重みファクタｂを減少させるか、重みファクタａを増大させるか、又はａ及びｂについての基準値に対して重みファクタｂを減少させかつ重みファクタａを増大させるよう構成される。閾値は、例えばオーディオ信号の周波数帯域内で変化してもよい。例えば、閾値は、低レベルのデコリレーションが望ましいか又は目標とされることを指示する顕著な音源信号を含む周波数帯域については、低い値を含んでもよい。代替的又は追加的に、閾値は、高レベルのデコリレーションが望ましいことを示す顕著でない音源信号を含む周波数帯域については、高い値を含んでもよい。

顕著でない音源信号を含む周波数帯域の相関を増大させ、顕著な音源信号を含む周波数帯域についてのデコリレーションを制限することを目的としてもよい。閾値は、例えば重みファクタａ及び／又はｂが受け入れ可能な値範囲の２０％、５０％又は７０％であってもよい。例えば図３に関して言えば、閾値は、１つの顕著な音源信号を含む１周波数フレームについて、７より低くてもよく、５より低くてもよく、又は３より低くてもよい。デコリレーションの知覚レベルが高すぎる場合には、次に実行ステップ４３０によって、デコリレーションの知覚レベルは低減されてもよい。重みファクタａ及びｂは、単独で又は同時に変化してもよい。図３に示された表は、例えば重みファクタａ及び／又はｂの初期値であって、コントローラによって適応させられるべき初期値を含む値であってもよい。

図４ｂは、ある場合を示す方法４００の追加ステップの概略フローチャートを示し、その場合とは、デコリレーションの知覚レベルについての尺度（ステップ４１０で決定される）が閾値と比較され、その尺度が閾値より低い場合（ステップ４４０）である。コントローラは、デコリレーションの知覚レベルを向上させ、それにより尺度が少なくとも閾値である値を含むように、重みファクタｂを増大させるか、重みファクタａを減少させるか、又はａ及びｂについての基準値に対して重みファクタｂを増大させかつ重みファクタａを減少させるよう構成される。

代替的又は追加的に、コントローラは、２チャネルオーディオ信号におけるデコリレーションの知覚レベルが目標値付近のある範囲内を維持するように、重みファクタａ及びｂをスケールするよう構成されてもよい。その目標値は、例えば閾値であってもよく、その閾値は、重みファクタ及び／又はスペクトル重みが決定されるべき周波数帯域に含まれた信号のタイプに基づいて変化してもよい。目標値付近の範囲は、目標値の±２０％、±１０％又は±５％まで延びていても良い。これにより、知覚されるデコリレーションがほぼ目標値（閾値）にあるとき、重みファクタの適応を停止させることが可能になる。

図５は、デコリレータ１２０としても作動し得るデコリレータ５２０の概略ブロック図を示す。デコリレータ５２０は、第１のデコリレートフィルタ５２２と第２のデコリレートフィルタ５２４とを含む。第１のデコリレートフィルタ５２６と第２のデコリレートフィルタ５２８とは、共に処理済み信号ｓ（５１２）を例えば信号処理部から受信するよう構成される。デコリレータ５２０は、処理済み信号５１２と第１のデコリレートフィルタ５２６の出力信号５２３とを結合して第１のデコリレート済み信号５２２（ｒ１）を取得し、第２のデコリレートフィルタ５２８の出力信号５２５を結合して第２のデコリレート済み信号５２４（ｒ２）を取得するよう構成される。信号の結合にあたって、デコリレータ５２０は、信号をインパルス応答を用いて畳み込んでもよく、及び／又はスペクトル値を実数値及び／又は虚数値と乗算してもよい。代替的又は追加的に、除算、合計、差分などのような他の操作が実行されてもよい。

デコリレートフィルタ５２６及び５２８は、処理済み信号５１２を残響又は遅延させるよう構成されてもよい。デコリレートフィルタ５２６及び５２８は、有限インパルス応答（ＦＩＲ）及び／又は無限インパルス応答（ＩＩＲ）フィルタを備えていてもよい。例えば、デコリレートフィルタ５２６及び５２８は、処理済み信号５１２を、時間及び／又は周波数に亘って減衰し又は指数関数的に減衰するノイズ信号から得られたインパルス応答を用いて畳み込んでもよい。このことは、信号５１２に関して残響を含むデコリレート済み信号５２３及び／又は５２５を生成するのを可能にする。残響信号の残響時間は、例えば５０ｍｓと１０００ｍｓとの間の値、８０ｍｓと５００ｍｓとの間の値、及び／又は１２０ｍｓと２００ｍｓとの間の値を有しても良い。残響時間は、インパルスによって励起された後、残響パワーが小さな値、例えば初期パワーより６０ｄＢ下方まで減衰するのにかかる持続時間として理解することができる。好ましくは、デコリレートフィルタ５２６及び５２８はＩＩＲフィルタを含む。このことは、少なくとも幾つかのフィルタ係数をゼロに設定し、この（ゼロの）フィルタ係数の計算を省くことができるようにした場合に、計算量を削減できる。任意選択的には、デコリレートフィルタは２個以上のフィルタを含むことができ、これらフィルタは直列及び／又は並列に接続される。

換言すると、残響はデコリレーション効果を含む。デコリレータは、デコリレートするだけでなく、鳴り響き（sonority）を僅かに変化させてもよい。技術的に、残響は、そのインパルス応答を考慮することにより特徴付けられ得る線形時間不変（ＬＴＩ）システムとみなすことができる。インパルス応答の長さは、残響についてＲＴ６０と呼ばれることが多い。これは、インパルス応答が６０ｄＢに低下するまでの時間のことである。残響は、１秒又は数秒までの長さを有してもよい。デコリレータは、残響と同様な構造を含む一方で、インパルス応答の長さに影響を及ぼすパラメータの異なる設定を含むように構成されてもよい。

図６ａは、少なくとも１つの過渡（短時間）信号部分を含むオーディオ信号６０２ａのスペクトルを有する説明図を示す。過渡信号部分は広帯域スペクトルをもたらす。このスペクトルは、周波数ｆに亘って振幅Ｓ（ｆ）として示され、そのスペクトルは多数の周波数帯域ｂ１−３へとサブ分割されている。過渡信号部分は、１つ以上の周波数帯域ｂ１−３において決定されてもよい。

図６ｂは、調性成分を含むオーディオ信号６０２ｂの概略スペクトルを示す。スペクトルの実例は、７つの周波数帯域ｆｂ１−７の中で示されている。周波数帯域ｆｂ４は、周波数帯域ｆｂ１−７の中央に配置され、他の周波数帯域ｆｂ１−３及びｆｂ５−７と比べたとき、最大振幅Ｓ（ｆ）を有する。中心周波数（周波数帯域ｆｂ５）に対して距離が増加するに伴い、周波数帯域は、振幅が漸次減少する調性信号の倍音の繰り返しを含む。信号処理部は、例えば振幅Ｓ（ｆ）を評価することによって、調性成分を決定するよう構成されてもよい。調性成分の増大する振幅Ｓ（ｆ）は、信号処理部によって、減少するスペクトル重みファクタと組み合わされても良い。そして、ある周波数帯域内での過渡成分及び／又は調性成分の割合が高くなる程、信号処理部の処理済み信号におけるその周波数帯域の寄与が低下してもよい。例えば、周波数帯域ｆｂ４のスペクトル重みは、ゼロの値又はゼロ近傍の値、又は周波数帯域ｆｂ４が低い割合を持つと考えられることを示す他の値を含んでもよい。

図７ａは、信号処理部１１０及び／又は２１０のような信号処理部によって実行される可能な過渡処理２１１を示す概略表である。信号処理部は、周波数ドメインにおけるオーディオ信号の表現の考慮されるべき各周波数帯域において、過渡成分の割合などの量を決定するよう構成される。評価は、少なくとも１つの最小値（例えば１）と大きくても最大値（例えば１５）とを含む開始値を持つ過渡成分の量の決定を含んでも良く、ここで高い値は周波数帯域内で過渡成分の量が多いことを示してもよい。周波数帯域での過渡成分の量が多くなればなる程、例えばスペクトル重み２１７についての個々のスペクトル重みは小さくなってもよい。例えば、スペクトル重みは、０のような少なくとも１つの最小値と、大きくても１のような１つの最大値の値を含んでもよい。スペクトル重みは、最小値と最大値との間の複数の値を含んでもよく、ここでスペクトル重みは、考慮ファクタ及び／又は後の処理のための周波数帯域の考慮ファクタを示してもよい。例えば、スペクトル重み０は周波数帯域が完全に減衰されるべきであることを示してもよい。代替的に、他のスケーリング範囲が実装されてもよく、つまり図７ａに示された表が、過渡周波数帯域である周波数帯域の評価及び又はスペクトル重みのステップサイズの評価に関し、他のステップサイズを有する表へとスケールされ及び／又は変換されてもよい。スペクトル重みは連続的に変化することさえ可能である。

図７ｂは、例えば調性処理ステージ２１３によって実行され得る可能な調性処理を示す具体的な表である。周波数帯域内での調性成分の量が多くなればなる程、個々のスペクトル重み２１９は小さくなってもよい。例えば、周波数帯域での調性成分の量は、最小値１と最大値８との間でスケールされてもよく、その最小値は周波数帯域が調性成分を全く又は殆ど含まないことを示す。最大値は、その周波数帯域が多量の調性成分を含むことを示してもよい。スペクトル重み２１９のような個々のスペクトル重みも、また最小値と最大値とを含んでもよい。例えば０．１のような最小値は、周波数帯域がほぼ完全に又は完全に減衰されたことを示してもよい。最大値は、周波数帯域が殆ど減衰されないか、又は全く減衰されないことを示してもよい。スペクトル重み２１９は、最小値と、最大値と、好ましくは最小値と最大値との間の少なくとも１つの値とを含む、複数の値の１つを受け入れても良い。代替的に、調性周波数帯域の割合が減少するにつれて、スペクトル重みが考慮ファクタとなるように、スペクトル重みも減少してもよい。

信号処理部は、信号処理部２１０について説明したように、過渡処理に関するスペクトル重み及び／又は調性処理に関するスペクトル重みと、周波数帯域のスペクトル値とを結合してもよい。例えば、処理済み周波数帯域について、スペクトル重み２１７及び／又は２１９の平均値が結合ステージ２１５によって決定されてもよい。周波数帯域のスペクトル重みは、オーディオ信号１０２のスペクトル値と結合、例えば乗算され得る。代替的に、結合ステージは、両方のスペクトル重み２１７及び２１９を比較し、及び／又は両方のうち低いスペクトル重み又は高いスペクトル重みを選択し、その選択されたスペクトル重みをスペクトル値と結合するよう構成されてもよい。代替的に、スペクトル重みは異なる方法、例えば合計、差分、商又は係数として、結合されてもよい。

オーディオ信号の特性は、時間とともに変化し得る。例えば、ラジオ放送信号はまずスピーチ信号（顕著な音源信号）及びその後の音楽信号（非顕著な音源信号）又はその逆を含んでも良い。また、スピーチ信号及び／又は音楽信号内で変動が起こり得る。このことは、スペクトル重み及び／又は重みファクタの素早い変化をもたらす可能性がある。信号処理部及び／又はコントローラは、例えば２つの信号フレーム間の最大ステップサイズを制限することによって、２つのフレーム間での変動を減少させ又は制限するように、スペクトル重み及び／又は重みファクタを追加的に適応させるよう構成されてもよい。オーディオ信号の１つ以上のフレームは、ある時間期間で合計されてもよく、ここで信号処理部及び／又はコントローラは以前の時間期間、例えば１つ以上の以前のフレームのスペクトル重み及び／又は重みファクタを比較し、現実の時間期間について決定されたスペクトル重み及び／又は重みファクタとの差がある閾値を越えたかどうかを決定するよう構成されてもよい。その閾値は例えばリスナーにとって困惑させる効果をもたらす値を表現してもよい。信号処理部及び／又はコントローラは、そのような困惑させる効果が減少し又は防止されるように変動を制限するよう構成されてもよい。代替的に、以前と現実の時間期間のスペクトル重み及び／又は重みファクタを比較するために、差に代えて、比のような他の数学的表現が決定されてもよい。

換言すれば、各周波数帯域には、調性及び／又は過渡特性の量を含む特徴が割り当てられている。

図８は、オーディオ信号１０２を強化するための装置８０１を含む、音響強化システム８００の概略ブロック図を示す。音響強化システム８００は、オーディオ信号を受信し、オーディオ信号を装置８０１へと提供する信号入力１０６を備える。音響強化システム８００は、２つのラウドスピーカ８０８ａ、８０８ｂを有する。ラウドスピーカ８０８ａは信号ｙ１を受信するよう構成される。ラウドスピーカ８０８ｂは信号ｙ２を受信するよう構成され、ラウドスピーカ８０８ａ，８０８ｂによって信号ｙ１、ｙ２が音波又は音信号へと変換されてもよい。信号入力１０６は、有線又はラジオアンテナのような無線の信号入力であってもよい。装置８０１は、例えば装置１００及び／又は２００であってもよい。

相関信号ｚは、過渡及び調性成分を強化する（定性的に信号ｓを計算するための抑圧の逆）処理を適用することによって取得される。結合部によって実行された結合は、
ｙ（ｙ１／ｙ２）＝スケーリングファクタ１・ｚ＋スケーリングファクタ２・スケーリングファクタ（ｒ１／ｒ２）
によって線形的に表現されてもよい。これらスケーリングファクタはデコリレーションの知覚強度を予測することによって取得され得る。

代替的に、信号ｙ１及びｙ２は、ラウドスピーカ８０８ａ及び／又は８０８ｂによって受信される前にさらに処理されてもよい。例えば、信号ｙ１及び／又はｙ２は、それら信号ｙ１及び／又はｙ２を処理することによって導出された１つ又は複数の信号がラウドスピーカ８０８ａ及び／又は８０８ｂへ提供されるように、増幅、イコライズなどの処理が施されても良い。

オーディオ信号へ付加された人工的残響は、その残響のレベルが可聴であるが、あまり大き過ぎ（集中的で）ないように実装されてもよい。可聴又は困惑させるレベルは、試験及び／又はシミュレーションで決定されてもよい。高すぎるレベルは、明確性を損ない、パーカッションの音が時間的にスラー付けされるので、良好には聞こえない。目標レベルは入力信号に依存してもよい。もし入力信号が少量の過渡を含み、周波数変調を伴う少量のトーンを含む場合には、残響は低い程度で可聴であり、レベルは増大してもよい。デコリレータは同様な活動原理を含み得るので、デコリレーションについても同じことが当てはまる。ゆえに、デコリレータの最適な強度は、入力信号に基づいても良い。この計算は修正されたパラメータを用いて同様に行われ得る。信号処理部及びコントローラにおいて実行されるデコリレーションは、構造的に同じであるが異なるセットのパラメータを用いて作動される、２つのデコリレータを用いて実行されてもよい。デコリレーション処理部は、２チャネルステレオ信号だけでなく、３つ以上の信号を持つチャネルに適用されてもよい。デコリレーションは、全ての信号ペアのデコリレーションのための全ての値までを含み得る相関計量を用いて定量化されてもよい。

本発明方法の知見は、空間キューを生成し、その空間キューを、処理済み信号がステレオの感覚を創造するように、信号に導入することである。その処理は、以下の基準に従って設計されているとみなされても良い。
１．高い強度（又はラウドネスレベル）を持つ直接音源は、中央に定位される。これらは顕著な直接音源、例えば音楽レコーディングにおけるシンガー又はラウド楽器である。
２．環境音は拡散性として知覚される。
３．拡散性は、低い強度（即ち低いラウドネスレベル）を持つ直接音源に対し、環境音に対する場合よりも多分低い程度で付加される。
４．処理は自然に聞こえ、かつアーチファクトを導入すべきではない。

設計基準は、オーディオレコーディングの製造における慣例及びステレオ信号の信号特性と一貫している。
１．顕著な直接音は、典型的に中央にパンされ、つまりそれら直接音は無視できるＩＣＬＤ及びＩＣＴＤとミックスされる。これら信号は高いコヒーレンスを示す。
２．環境音は低いコヒーレンスを示す。
３．残響環境において多数の直接音、例えばオーケストラを伴うオペラシンガーをレコーディングする場合、各直接音の拡散性の量はマイクロホンまでの距離に関係している。なぜなら、直接信号と残響との比は、マイクロホンまでの距離が増大するにつれて減少するからである。従って、低い強度で捕捉された音は、典型的には顕著な直接音に比べて低いコヒーレント（又はその逆、より拡散性）である。

この処理は、デコリレーションによって空間情報を生成する。換言すれば、入力信号のＩＣＣが減少する。特殊なケースにおいてのみ、デコリレーションは完全に非相関な信号をもたらす。典型的には、部分的デコリレーションが達成されるのが望ましい。この処理は方向性キュー（directional cues）（すなわちＩＣＬＤ及びＩＣＴＤ）を操作しない。この制限の理由は、直接音源のオリジナル又は意図された位置に関する情報が全く利用できないからである。

上述の設計基準によれば、デコリレーションは、次のようにミックス信号内の信号成分へ選択的に適用される。
１．設計基準１で説明したような信号成分に対しては、デコリレーションが全く適用されないか、又は少しだけ適用される。
２．設計基準２で説明したような信号成分に対しては、デコリレーションが適用される。このデコリレーションは、処理の出力で取得されるミックス信号の知覚幅に対して大いに貢献する。
設計基準３で説明したような信号成分に対しては、デコリレーションが適用されるが、設計基準２で説明された信号成分に比べてより少ない程度だけ適用される。

この処理は、前景信号ｘ_aと背景信号ｘ_bとの付加的混合、即ちｘ＝ｘ_a＋ｘ_bとして入力信号ｘを表す、信号モデルによって示される。前景信号は設計基準１で説明された全ての信号成分を含む。背景信号は設計基準２で説明された全ての信号成分を含む。設計基準３で説明された全ての信号成分は、分離された信号成分のいずれか１つに排他的に割り当てられる訳ではなく、前景信号及び背景信号内に部分的に含まれる。

出力信号ｙは、ｙ＝ｙ_a＋ｙ_bとして計算され、ここでｙ_bはｘ_bをデコリレートすることにより計算され、ｙ_a＝ｘ_aであるか、又は代替的にｙ_aはｘ_aをデコリレートすることにより計算される。換言すると、背景信号はデコリレーションを用いて処理され、前景信号はデコリレーションを用いて処理されないか、又はデコリレーションを用いて処理されるが、背景信号に比べて低い程度だけデコリレートされる。図９ｂはこの処理を示す。

この手法は、上述の設計基準に合致するだけではない。さらなる利点は、デコリレーションを適用した際に前景信号は所望でない音調（coloration）を招く傾向があり得るが、背景はそのような可聴アーチファクトを導入することなくデコリレートされ得るということである。従って、上述の処理は、混合における全ての信号成分に対してデコリレーションを均等に適用する処理に比べて、良好な音品質を獲得する。

これまで入力信号は、個別に処理され、出力信号へと結合される「前景信号」と「背景信号」として示された２つの信号に分解されてきたが、同様な理論的根拠をもたらす等価な方法も可能であることに注意すべきである。

信号分解は、オーディオ信号、すなわち時間にわたる波形形状を呈する信号を出力する処理である必要は必ずしもない。その代わり、信号分解は、デコリレーション処理への入力として使用可能で、その後で波形信号へ変換可能な他の信号表現をもたらすことができる。そのような信号表現の実例は、短時間フーリエ変換によって計算されるスペクトログラムである。一般に、逆転可能な線形変換は適切な信号表現をもたらす。

代替的に、空間キューは、入力信号ｘに基づいてステレオ情報を生成することによって、先行する信号分解を用いずに選択的に生成される。導出されたステレオ情報は、時間変化しかつ周波数選択的な値で重み付けられ、入力信号と結合される。時間変化しかつ周波数選択的な重みファクタは、背景信号が優勢な時間−周波数領域において大きく、前景信号が優勢な時間−周波数領域おいて小さくなるように、計算される。このことは、背景信号と前景信号との時間変化しかつ周波数選択的な比を定量化することによって、定式化できる。重みファクタは背景対前景比から計算されることができ、例えば単調増加する関数を用いて計算され得る。

代替的に、先行する信号分解は３つ以上の分離信号をもたらすことができる。

図９ａ及び９ｂは、例えば信号の１つにおける調性／過渡部分を抑圧（低減又は除去）することによる、前景信号と背景信号への入力信号の分離を示す。

入力信号が前景信号と背景信号との加算的混合であるとの仮定を用いて、簡素な処理が導出される。図９ｂはこれを示す。ここで、分離１は前景信号又は背景信号のいずれか一方の分離を示す。前景信号が分離された場合、出力１は前景信号を示し、出力２は背景信号である。背景信号が分離された場合には、出力１は背景信号を示し、出力２は前景信号である。

信号分離方法の設計及び構成は、前景信号及び背景信号は互いに異なる特性を持つという知見に基づいている。しかしながら、理想的な分離とのずれ、すなわち顕著な直接音源の信号成分の背景信号への漏れ、又は環境信号成分の前景信号への漏れは、受け入れ可能であり、最終的結果の音質を必ずしも損なうものではない。

時間的特性に関し、一般に前景信号のサブバンド信号の時間的包絡は、背景信号のサブバンド信号の時間的包絡に比べてより強い振幅変調を示すことが観測され得る。対照的に、背景信号は典型的に前景信号に比べて過渡的ではない（又は衝撃的ではない、すなわちより持続的である）。

スペクトル特性に関しては、一般に前景信号はより調性的であり得ることが観測され得る。対照的に、背景信号は典型的に前景信号に比べて雑音が多い。

位相特性に関しては、一般に背景信号の位相情報は前景信号の位相情報よりノイズが多いことが観測され得る。前景信号の多くの実例についての位相情報は、複数の周波数帯域に亘って調和している。

顕著な音源信号に類似した特性を示す信号は、背景信号よりも前景信号である場合が多い。顕著な音源信号は、調性信号成分とノイズ信号成分との間の遷移によって特徴付けられ、ここで調性信号成分は時間変化するフィルタリング済みのパルス列であり、その基本周波数は強く変調されている。スペクトル処理はこれら特性に基づいていてもよく、分解はスペクトル減算（spectral subtraction）又はスペクトル重み付けによって実行されてもよい。

スペクトル減算は、例えば周波数ドメインで実行され、入力信号の連続的な（多分オーバラップしている）部分の短いフレームのスペクトルが処理される。基本原理は、所望信号と干渉信号との加算的混合であると仮定される入力信号の振幅スペクトルから、干渉信号の振幅スペクトルの推定を減算することである。前景信号の分離に関し、所望信号は前景信号であり、干渉信号は背景信号である。背景信号の分離に関して、所望信号は背景信号であり、干渉信号は前景信号である。

スペクトル重み付け(又は短時間スペクトル減衰)は同じ原理に基づいており、入力信号表現をスケーリングすることによって干渉信号を減衰させる。周波数帯域インデックスｎと時間インデックスｋとを持つ多数の周波数帯域Ｘ（ｎ，ｋ）を有する信号表現を導出するために、入力信号(x)は、短時間フーリエ変換（ＳＴＦＴ）、フィルタバンク又は他の手段を用いて変換される。入力信号の周波数ドメイン表現は、サブバンド信号が時間可変重みＧ（ｎ，ｋ）を用いてスケールされるように処理される。
Ｙ（ｎ，ｋ）＝Ｇ（ｎ，ｋ）Ｘ（ｎ，ｋ） （３）

重み付け演算Ｙ（ｎ，ｋ）の結果は、出力信号の周波数ドメイン表現である。出力時間信号ｙ（ｔ）は、周波数ドメイン変換の逆処理、例えば逆ＳＴＦＴを用いて計算される。図１０はスペクトル重み付けを示す。

デコリレーションは１つ又は複数の同一の入力信号の処理を指しており、互いに（部分的又は完全に）非相関であるが、入力信号と同様に聞こえる複数の出力信号が得られる処理のことである。２つの信号の相関は、相関係数又は正規化済み相関係数を用いて測定され得る。２つの信号Ｘ₁（ｎ，ｋ）及びＸ₂（ｎ，ｋ）についての周波数帯域における正規化済み相関係数ＮＣＣは、次のように定義される。

ここで、Φ_1,1及びΦ_2,2はそれぞれ第１と第２の入力信号の自動パワースペクトル密度（ＰＳＤ）であり、Φ_1,2はクロスＰＳＤであり、次式で与えられる。

ここで、ε｛・｝は期待値演算であり、Ｘ^*はＸの複素共役を示す。

デコリレーションは、デコリレートフィルタを使用することによって、又は周波数ドメインで入力信号の位相を操作することによって実行され得る。デコリレートフィルタの実例は全域通過フィルタであり、その定義によって、入力信号のスペクトルの大きさを変更せず、それらの位相だけを変更するフィルタである。これにより、出力信号が入力信号と同様に聞こえるという意味で、出力信号を中立的に発音させることになる。他の実例は、フィルタ又は線形時間不変システムとしてもモデル化され得る残響（reverberation）である。一般に、デコリレーションは、入力信号の複数の遅延済み（及び恐らくフィルタリング済み）のコピーを、入力信号に付加することによって達成され得る。数学用語で言えば、人工的残響は入力信号の残響（又はデコリレーション）システムのインパルス応答を用いた畳み込みとして実行され得る。遅延時間が短い。具体的には５０ｍｓより短い場合には、信号の遅延済みコピーは別の信号（エコー）として知覚されない。エコー感をもたらす遅延時間の厳密な値がエコー閾値であり、その値はスペクトル的及び時間的信号特性に依存する。例えば、それは、インパルス状の音の場合の方が、包絡がゆっくりと上昇する音の場合よりも小さい。当面の課題については、エコー閾値よりも短い遅延時間を使用するのが望ましい。

一般的な場合、デコリレーションは、Ｎ個のチャネルを有する入力信号を処理し、出力のチャネル信号が相互に（部分的又は完全に）非相関であるＭ個のチャネルを有する信号を出力する。

上述の方法についての多くの適用シナリオにおいて、入力信号を定常的に処理することは適切でなく、入力信号の分析に基づいて処理を活性化し、かつその影響力を制御することが適切である。その一例がＦＭ放送であり、そこでは、伝送障害がステレオ音響情報の完全な又は部分的な欠損をもたらす場合にのみ上述の方法が適用される。他の例は、音楽録音のコレクションの聴取であり、そこでは録音の一部がモノラル音であり、他の一部がステレオ録音である。両方のシナリオは、オーディオ信号のステレオ音響情報の時間変化する量によって特徴付けられる。このことは、ステレオ音響強化の活性化と影響力との制御、つまりアルゴリズムの制御を必要とする。

その制御は、オーディオ信号の空間キュー（ＩＣＬＤ，ＩＣＴＤ，ＩＣＣ又はその一部）を推定するオーディオ信号の分析によって実行される。その推定は周波数選択的な手法で実行され得る。推定の出力は、処理の活性化又は影響力を制御するスカラー値へマップされる。信号分析は入力信号、又は代替的に、分離された背景信号を処理する。

処理の影響力を制御するための単純な方法は、入力信号の（恐らくスケール済みの）コピーを、ステレオ音響強化の（恐らくスケール済みの）出力信号に対して付加することにより、その影響力を減少させることである。制御信号を時間に亘ってローパスフィルタリングすることによって、制御の円滑な遷移が達成される。

図９ａは、前景／背景処理に従う、入力信号１０２の処理９００の概略ブロック図を示す。入力信号１０２は、前景信号９１４が処理され得るように分離される。ステップ９１６では、前景信号９１４に対してデコリレーションが実行される。ステップ９１６は任意である。代替的に、前景信号９１４は処理されなくてもよく、すなわちデコリレートされなくてもよい。処理経路９２０のステップ９２２では、背景信号９２４が抽出され、即ちフィルタリングされる。ステップ９２６では、背景信号９２４がデコリレートされる。ステップ９０４では、デコリレート済み前景信号９１８（代替的に前景信号９１４）とデコリレート済み背景信号９２８とがミックスされ、出力信号９０６が得られる。換言すれば、図９ａはステレオ音響強化のブロック図を示す。前景信号と背景信号とが計算される。背景信号はデコリレーションによって処理される。任意選択的に、前景信号はデコリレーションによって処理され得るが、背景信号に比べてより低い程度にデコリレートされてもよい。処理済み信号は出力信号へと結合される。

図９ｂは、入力信号１０２の分離ステップ９１２'を含む処理９００'の概略ブロック図を示す。分離ステップ９１２'は上述と同様に実行されてもよい。前景信号（出力信号１）９１４'は分離ステップ９１２'によって得られる。背景信号９２８'は、前景信号９１４'と、重みファクタａ及び／又はｂと、入力信号１０２とを、結合ステップ９２６'において結合することにより得られる。背景信号（出力信号２）９２８'は結合ステップ９２６'によって得られる。

図１０は、スペクトル重みを、例えば入力信号であり得る入力信号１００２に対して適用するよう構成された装置１０００の概略ブロック図を示す。時間ドメインの入力信号１００２は、周波数ドメインのサブバンドＸ（１，ｋ）．．．Ｘ（ｎ，ｋ）に分割される。フィルタバンク１００４は、入力信号１００２をＮ個のサブバンドへと分割するよう構成されている。装置１０００はＮ個の計算分枝を有し、それら分枝は、時点（フレ―ム）ｋにおけるＮ個のサブバンドの各々について、過渡スペクトル重み及び／又は調性スペクトル重みＧ（１，ｋ）．．．Ｇ（ｎ，ｋ）を決定するよう構成されている。スペクトル重みＧ（１，ｋ）．．．Ｇ（ｎ，ｋ）はサブバンド信号Ｘ（１，ｋ）．．．Ｘ（ｎ，ｋ）と結合され、重み付きサブバンド信号Ｙ（１，ｋ）．．．Ｙ（ｎ，ｋ）が得られる。装置１０００は、重み付きサブバンド信号を結合して、時間ドメインにおいてＹ（ｔ）として示されるフィルタリング済み出力信号１０１２を得るよう構成された、逆処理ユニット１００８を有している。装置１０００は、信号処理部１１０又は２１０の一部であってもよい。換言すれば、図１０は、入力信号の前景信号及び背景信号への分解を示す。

図１１は、オーディオ信号を強化するための方法１１００の概略フローチャートを示す。この方法１１００は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する第１ステップ１１１０を含む。この方法１１００は、処理済み信号から第１のデコリレート済み信号と第２のデコリレート済み信号とを生成する、第２ステップ１１２０を含む。方法１１００のステップ１１３０では、第１のデコリレート済み信号と第２のデコリレート済み信号とオーディオ信号又はこのオーディオ信号からコヒーレンス強化により導出された信号とが、時間変化する重みファクタを用いて重み付き結合され、２チャネルオーディオ信号が得られる。方法１１１０のステップ１１４０では、オーディオ信号を分析することにより、オーディオ信号の異なる部分が異なる重みファクタによって乗算され、２チャネルオーディオ信号がデコリレーションの時間変化度を持つように、時間変化重みファクタが制御される。

以下では、ラウドネス尺度に基づいてデコリレーションの知覚レベルを決定する可能性について詳細を説明する。以下に説明するように、ラウドネス尺度は残響の知覚レベルを予測可能にし得る。上述のように、残響はまたデコリレーションと呼ぶことができ、残響の知覚レベルもデコリレーションの知覚レベルとみなし得る。デコリレーションに関し、残響は１秒より短くてもよく、例えば５００ｍｓより短く、さらに２５０ｍｓより短く、又は２００ｍｓより短くてもよい。

図１２は、直接信号成分又はドライ信号成分１２０１と、残響信号成分１０２とを含むミックス信号における残響の知覚レベルについての尺度を決定する装置を示す。ドライ信号成分１２０１と残響信号成分１２０２とはラウドネスモデル処理部１２０４へと入力される。ラウドネスモデル処理部は、ドライ信号成分１２０１と残響信号成分１２０２とを受信するよう構成され、さらに図１３ａに示す知覚フィルタステージ１２０４ａとそれに後続するラウドネス計算部１２０４ｂとを備えている。ラウドネスモデル処理部は、その出力において第１のラウドネス尺度１２０６と第２のラウドネス尺度１２０８とを生成する。両ラウドネス尺度は、第１のラウドネス尺度１２０６と第２のラウドネス尺度１２０８とを結合する結合部１２１０へと入力され、残響の知覚レベルのための尺度１２１２を最終的に得る。実装に依存して、知覚レベル１２１２の尺度は、異なる信号フレームについて知覚されるラウドネスについての少なくとも２つの尺度の平均値に基づいて残響の知覚レベルを予測する、予測部１２１４へと入力され得る。しかしながら、図１２における予測部１２１４は任意であり、知覚レベルについての尺度をある値範囲又はＳｏｎｅ−ｕｎｉｔレンジなどのユニット範囲へと実際に変換してもよく、Ｓｏｎｅ−ｕｎｉｔレンジとはラウドネスに関係する定量的値を与えるために有効である。しかしながら、予測部１２１４によって処理されない知覚レベル１２１２の尺度の他の利用もまた、例えばコントローラにおいて使用可能であり、コントローラは予測部１２１４によって出力された値に必ずしも依拠する必要はなく、知覚レベル１２１２についての尺度を、直接形式で、又は好ましくはある種の平滑化された形式で、直接的に処理することができ、その平滑化された形式では、残響信号又はゲインファクタｇのレベル補正が強く変化しないようにするため、時間に亘る平滑化が好ましい。

特に、知覚フィルタステージは、直接信号成分と残響信号成分又はミックス信号成分とをフィルタリングするよう構成され、ここで知覚フィルタステージは、人間などの対象物の聴覚的知覚メカニズムをモデル化し、フィルタリング済み直接信号とフィルタリング済み残響信号又はフィルタリング済みミックス信号とを得るよう構成される。実装に依存して、知覚フィルタステージは並列的に作動する２つのフィルタを含んでもよく、又は、１つの且つ同じフィルタが３つの信号、つまり残響信号とミックス信号と直接信号との各々をフィルタリングするために実際に使用され得るので、記憶部と単一フィルタとを含んでもよい。この文脈において、図１３ａでは聴覚的知覚メカニズムをモデル化するｎ個のフィルタを示したが、実際には２個のフィルタで十分であろうし、又は、残響信号成分とミックス信号成分と直接信号成分とを含むグループから２つの信号をフィルタリングする、単一のフィルタでも十分であろう。

ラウドネス計算部１２０４ｂ又はラウドネス推定部は、フィルタリング済み直接信号を使用して第１のラウドネス関連尺度を推定し、フィルタリング済み残響信号又はフィルタリング済みミックス信号を使用して第２のラウドネス関連尺度を推定するよう構成され、ここでミックス信号は、直接信号成分と残響信号成分との重畳から導出される。

図１３ｃは残響の知覚レベルについての尺度を計算する４つの好ましいモードを示す。一構成は部分的なラウドネスに依拠しており、ここで直接信号成分ｘと残響信号成分ｒの両方はラウドネスモデル処理部で使用されるが、第１尺度ＥＳＴ１を決定するために、残響信号は励振として使用され、直接信号はノイズとして使用される。第２ラウドネス尺度ＥＳＴ２を決定するためには状況が変化し、直接信号成分は励振として使用され、残響信号成分はノイズとして使用される。次に、結合部によって生成された補正の知覚レベルについての尺度は、第１ラウドネス尺度ＥＳＴ１と第２ラウドネス尺度ＥＳＴ２との間の差である。

しかしながら、図１３ｃの横欄２、３、４で示される他の演算上効率的な実施形態がさらに存在する。これらのより演算上効率的な尺度は、ミックス信号ｍと直接信号ｘと残響信号ｒとを含む３つの信号の総ラウドネスを計算することに依拠している。図１３ｃの最終の縦欄に示された結合部により実行される所要の計算に依存して、第１ラウドネス尺度ＥＳＴ１はミックス信号又は残響信号の総ラウドネスであり、第２ラウドネス尺度ＥＳＴ２は直接信号成分ｘ又はミックス信号成分ｍの総ラウドネスであり、ここで実際の結合は図１３ｃに示す通りである。

図１４は、図１２，１３ａ，１３ｂ，１３ｃに関する幾つかの態様において既に説明してきたラウドネスモデル処理部の構成を示す。特に、知覚フィルタステージ１２０４ａは各分枝について時間−周波数変換器１４０１を含み、ここで、図３の実施形態では、ｘ［ｋ］が励振を示し、ｎ［ｋ］はノイズを示す。時間／周波数変換済み信号は耳伝達関数ブロック１４０２（同じ結果をもたらすもののより高い演算付加となるが、耳伝達関数は代替的に、時間−周波数変換器より先に計算され得ることに注意されたい）へ送られ、このブロック１４０２の出力は、励振パターン計算ブロック１４０４へ入力され、その後、時間的統合ブロック１４０６へと送られる。次に、ブロック１４０８において、この実施形態では特定のラウドネスが計算され、ここでブロック１４０８は図１３ａのラウドネス計算ブロック１２０４ｂに対応する。次に、ブロック１４１０において周波数にわたる統合が実行され、ブロック１４１０は、図１３ｂにおいて１２０４ｃ、１２０４ｄとして既に記載した加算部に対応する。ブロック１４１０は、励振とノイズの第１セットについての第１尺度を生成し、励振とノイズの第２セットについての第２尺度を生成することに注目すべきである。特に、図１３ｂを考慮した場合には、第１尺度を計算するための励振は残響信号であり、ノイズは直接信号であり、一方で第２尺度を計算する場合には、状況が変化し、励振は直接信号成分であり、ノイズは残響信号成分である。それ故、２つの異なるラウドネス尺度を生成するためには、図１４に示す手順が２度実行されている。しかしながら、異なるように作動するブロック１４０８においてのみ計算上の変更が行われるので、ブロック１４０１〜１４０６のブロックによって示されるステップは１度だけ実行されればよく、時間的統合ブロック１４０６の結果は、図１３ｃに示す構成について第１の推定済みラウドネスと第２の推定済みラウドネスとを計算するために、記憶され得る。他の実施形態については、ブロック１４０８は、各分枝のための個別ブロック「総ラウドネス計算」によって置き換え可能であり、この構成においては、１つの信号が励振と考えられるか又はノイズであると考えられるかは無意味である点に留意すべきである。

これまで幾つかの態様を装置の文脈で説明してきたが、これら態様は対応する方法の記述も表現していることは明白であり、そこではブロック又は装置は方法ステップ又は方法ステップの特徴に対応している。同様に、方法ステップの文脈で説明された態様はまた、対応するブロック又は項目の説明、又は対応する装置の特徴を表現している。

ある実装要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納された電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどの、デジタル記憶媒体を使用して実行され得る。

本発明に従う幾つかの実施形態は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。

一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは、例えば機械読み取り可能なキャリアに格納されていても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。

換言すれば、本発明方法の一実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

本発明方法の他の実施形態は、上述した方法の１つを実行するために、その上に記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。

本発明方法の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、添付した特許請求の範囲によってのみ限定されるべきであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。

さらなる実施形態によれば、オーディオ信号を強化する装置は、オーディオ信号を処理して、処理済み信号の過渡部分及び調性部分を低減又は除去する信号処理部を含む。この装置はさらに、デコリレータと結合部とコントローラとを含む。デコリレータは、処理済み信号から第１のデコリレート済み信号と第２のデコリレート済み信号とを生成するよう構成される。結合部は、第１のデコリレート済み信号と、第２のデコリレート済み信号と、オーディオ信号又はこのオーディオ信号からコヒーレンス強化によって導出された信号とを、時間可変重みファクタを使用して重み付き結合し、２チャネルオーディオ信号を取得するよう構成される。コントローラは、オーディオ信号を分析することによって時間可変重みファクタを制御するよう構成され、それによりオーディオ信号の異なる部分が異なる重みファクタによって乗算され、かつ２チャネルオーディオ信号がデコリレーションの時間変化度を有するようになる。このことは、モノラル信号又はモノラル信号と同様な信号（例えばデュアルモノラル又はマルチモノラル信号）をステレオチャネル・オーディオ信号として知覚させることを可能にする。

図１は、オーディオ信号１０２を強化するための装置１００の概略ブロック図を示す。オーディオ信号１０２は、周波数ドメイン又は時間ドメインで表現される、例えばモノラル信号、又はデュアルモノラル信号のようなモノラル状信号である。装置１００は信号処理部１１０、デコリレータ１２０、コントローラ１３０、及び結合部１４０を備えている。信号処理部１１０は、オーディオ信号１０２を受信し、オーディオ信号１０２を処理して処理済み信号１１２を得るよう構成され、その処理によりオーディオ信号１０２に比べて処理済み信号１１２の過渡部分及び調性部分を低減し又は除去するよう構成されている。

結合部は、第１のデコリレート済み信号１２２と第２のデコリレート済み信号１２４とオーディオ信号１０２から導出された信号１３６とを、重みファクタａ，ｂを使用して重み付き結合するよう構成されている。オーディオ信号１０２から導出された信号１３６は、コントローラ１３０によって提供されてもよい。したがって、コントローラ１３０は任意選択の導出ユニット１３４を備えていてもより。導出ユニット１３４は、オーディオ信号１０２の部分を、例えば適応、修正、又は強化するよう構成されてもよい。特に、導出ユニット１３４は、信号処理部１１０によって減衰され、低減され又は除去されているオーディオ信号１０２の部分を増幅するよう構成されてもよい。

図５は、デコリレータ１２０としても作動し得るデコリレータ５２０の概略ブロック図を示す。デコリレータ５２０は、第１のデコリレートフィルタ５２６と第２のデコリレートフィルタ５２８とを含む。第１のデコリレートフィルタ５２６と第２のデコリレートフィルタ５２８とは、共に処理済み信号ｓ（５１２）を例えば信号処理部から受信するよう構成される。デコリレータ５２０は、処理済み信号５１２と第１のデコリレートフィルタ５２６の出力信号５２３とを結合して第１のデコリレート済み信号５２２（ｒ１）を取得し、処理済み信号５１２と第２のデコリレートフィルタ５２８の出力信号５２５とを結合して第２のデコリレート済み信号５２４（ｒ２）を取得するよう構成される。信号の結合にあたって、デコリレータ５２０は、信号をインパルス応答を用いて畳み込んでもよく、及び／又はスペクトル値を実数値及び／又は虚数値と乗算してもよい。代替的又は追加的に、除算、合計、差分などのような他の操作が実行されてもよい。

図６ａは、少なくとも１つの過渡（短時間）信号部分を含むオーディオ信号６０２ａのスペクトルを有する説明図を示す。過渡信号部分は広帯域スペクトルをもたらす。このスペクトルは、周波数ｆに亘って振幅Ｓ（ｆ）として示され、そのスペクトルは多数の周波数帯域ｆｂ１−３へとサブ分割されている。過渡信号部分は、１つ以上の周波数帯域ｆｂ１−３において決定されてもよい。

図６ｂは、調性成分を含むオーディオ信号６０２ｂの概略スペクトルを示す。スペクトルの実例は、７つの周波数帯域ｆｂ１−７の中で示されている。周波数帯域ｆｂ４は、周波数帯域ｆｂ１−７の中央に配置され、他の周波数帯域ｆｂ１−３及びｆｂ５−７と比べたとき、最大振幅Ｓ（ｆ）を有する。中心周波数（周波数帯域ｆｂ４）に対して距離が増加するに伴い、周波数帯域は、振幅が漸次減少する調性信号の倍音の繰り返しを含む。信号処理部は、例えば振幅Ｓ（ｆ）を評価することによって、調性成分を決定するよう構成されてもよい。調性成分の増大する振幅Ｓ（ｆ）は、信号処理部によって、減少するスペクトル重みファクタと組み合わされても良い。そして、ある周波数帯域内での過渡成分及び／又は調性成分の割合が高くなる程、信号処理部の処理済み信号におけるその周波数帯域の寄与が低下してもよい。例えば、周波数帯域ｆｂ４のスペクトル重みは、ゼロの値又はゼロ近傍の値、又は周波数帯域ｆｂ４が低い割合を持つと考えられることを示す他の値を含んでもよい。

上述の設計基準によれば、デコリレーションは、次のようにミックス信号内の信号成分へ選択的に適用される。
１．設計基準１で説明したような信号成分に対しては、デコリレーションが全く適用されないか、又は少しだけ適用される。
２．設計基準２で説明したような信号成分に対しては、デコリレーションが適用される。このデコリレーションは、処理の出力で取得されるミックス信号の知覚幅に対して大いに貢献する。
３．設計基準３で説明したような信号成分に対しては、デコリレーションが適用されるが、設計基準２で説明された信号成分に比べてより少ない程度だけ適用される。

入力信号が前景信号と背景信号との加算的混合であるとの仮定を用いて、簡素な処理が導出される。図９ｂはこれを示す。ここで、分離９１２’は前景信号又は背景信号のいずれか一方の分離を示す。前景信号が分離された場合、出力１は前景信号を示し、出力２は背景信号である。背景信号が分離された場合には、出力１は背景信号を示し、出力２は前景信号である。

図１４は、図１２，１３ａ，１３ｂ，１３ｃに関する幾つかの態様において既に説明してきたラウドネスモデル処理部の構成を示す。特に、知覚フィルタステージ１２０４ａは各分枝について時間−周波数変換器１４０１を含み、ここで、図１４の実施形態では、ｘ［ｋ］が励振を示し、ｎ［ｋ］はノイズを示す。時間／周波数変換済み信号は耳伝達関数ブロック１４０２（同じ結果をもたらすもののより高い演算付加となるが、耳伝達関数は代替的に、時間−周波数変換器より先に計算され得ることに注意されたい）へ送られ、このブロック１４０２の出力は、励振パターン計算ブロック１４０４へ入力され、その後、時間的統合ブロック１４０６へと送られる。次に、ブロック１４０８において、この実施形態では特定のラウドネスが計算され、ここでブロック１４０８は図１３ａのラウドネス計算ブロック１２０４ｂに対応する。次に、ブロック１４１０において周波数にわたる統合が実行され、ブロック１４１０は、図１３ｂにおいて１２０４ｃ、１２０４ｄとして既に記載した加算部に対応する。ブロック１４１０は、励振とノイズの第１セットについての第１尺度を生成し、励振とノイズの第２セットについての第２尺度を生成することに注目すべきである。特に、図１３ｂを考慮した場合には、第１尺度を計算するための励振は残響信号であり、ノイズは直接信号であり、一方で第２尺度を計算する場合には、状況が変化し、励振は直接信号成分であり、ノイズは残響信号成分である。それ故、２つの異なるラウドネス尺度を生成するためには、図１４に示す手順が２度実行されている。しかしながら、異なるように作動するブロック１４０８においてのみ計算上の変更が行われるので、ブロック１４０１〜１４０６のブロックによって示されるステップは１度だけ実行されればよく、時間的統合ブロック１４０６の結果は、図１３ｃに示す構成について第１の推定済みラウドネスと第２の推定済みラウドネスとを計算するために、記憶され得る。他の実施形態については、ブロック１４０８は、各分枝のための個別ブロック「総ラウドネス計算」によって置き換え可能であり、この構成においては、１つの信号が励振と考えられるか又はノイズであると考えられるかは無意味である点に留意すべきである。

Claims (15)

1. オーディオ信号（１０２）を強化するための装置（１００；２００）であって、
   前記オーディオ信号（１０２）を処理して、処理済み信号（１１２；２１２）の過渡部分及び調性部分を低減又は除去する、信号処理部（１１０；２１０）と、
   前記処理済み信号（１１２；２１２）から第１のデコリレート済み信号と第２のデコリレート済み信号（１２４；ｒ２）とを生成するデコリレータ（１２０；５２０）と、
   前記第１のデコリレート済み信号（１２２；５２２、ｒ１）と第２のデコリレート済み信号（１２４；ｒ２）と前記オーディオ信号又は前記オーディオ信号（１０２）からコヒーレンス強化によって導出された信号とを、時間可変重みファクタ（ａ，ｂ）を使用して重み付き結合し、２チャネルオーディオ信号（１４２；２４２）を取得する結合部（１４０；２４０）と、
   前記オーディオ信号の異なる部分（ｆｂ１−ｆｂ７）が異なる重みファクタ（ａ，ｂ）によって乗算され、前記２チャネルオーディオ信号（１４２；２４２）がデコリレーションの時間変化度を有するように、前記オーディオ信号（１２２）を分析することによって前記時間可変重みファクタ（ａ，ｂ）を制御するためのコントローラ（１３０；２３０）と、
   を備える装置。
2. 請求項１に記載の装置において、前記コントローラ（１３０；２３０）は、高度のデコリレーションを許可する前記オーディオ信号（１０２）の部分（ｆｂ１−ｆｂ７）について前記重みファクタ（ａ，ｂ）を増大させ、かつ低度のデコリレーションを許可する前記オーディオ信号（１０２）の部分（ｆｂ１−ｆｂ７）について前記重みファクタ（ａ，ｂ）を減少させるよう構成された、装置。
3. 請求項１又は２に記載の装置において、前記コントローラ（１３０；２３０）は、前記２チャネルオーディオ信号（１４２；２４２）におけるデコリレーションの知覚レベルが目標値付近のある範囲内であって、前記目標値の±２０％までの範囲内にとどまるように、前記重みファクタ（ａ，ｂ）をスケールするよう構成されている、装置。
4. 請求項３に記載の装置において、前記コントローラ（１３０；２３０）は、前記オーディオ信号（１０２）を残響させることにより残響オーディオ信号を取得し、かつ前記残響オーディオ信号（１０２）と前記オーディオ信号とを比較することにより比較結果を取得して、前記目標値を決定するよう構成されており、前記コントローラは前記デコリレーションの知覚レベル（２３２）を前記比較結果に基づいて決定するよう構成されている、装置。
5. 請求項１乃至４のいずれか１項に記載の装置において、前記コントローラ（１３０；２３０）は、前記オーディオ信号（１０２）における顕著な音源信号部分を決定し、前記顕著な音源信号部分についての前記重みファクタ（ａ，ｂ）を、顕著な音源信号部分を含まないオーディオ信号（１０２）の部分に比べて減少させるよう構成され、
   前記コントローラ（１３０；２３０）は、前記オーディオ信号（１０２）における非顕著な音源信号部分を決定し、前記非顕著な音源信号部分についての前記重みファクタ（ａ，ｂ）を、非顕著な音源信号部分を含まないオーディオ信号（１０２）の部分に比べて増大させるよう構成されている、装置。
6. 請求項１乃至５のいずれか１項に記載の装置において、前記コントローラ（１３０；２３０）は、
   前記オーディオ信号（１０２）の一部分から試験デコリレート済み信号を生成し、
   前記オーディオ信号の前記一部分及び前記試験デコリレート済み信号からデコリレーションの知覚レベルについての尺度を導出し、かつ
   前記デコリレーションの知覚レベルについての尺度から前記重みファクタ（ａ，ｂ）を導出するよう構成されている、装置。
7. 請求項６に記載の装置において、前記デコリレータ（１２０；５２０）は、第１の残響時間を有する前記オーディオ信号（１０２）の残響に基づいて前記第１のデコリレート済み信号（１２２；ｒ１）を生成するよう構成され、前記コントローラ（１３０；２３０）は、第２の残響時間を有する前記オーディオ信号（１０２）の残響に基づいて前記試験デコリレート済み信号を生成するよう構成され、前記第２の残響時間は前記第１の残響時間より短い、装置。
8. 請求項１乃至７のいずれか１項に記載の装置において、
   前記コントローラ（１３０；２３０）は、前記重みファクタ（ａ，ｂ）がそれぞれ可能値の第１多数の１つの値を含むように前記重みファクタ（ａ，ｂ）を制御するよう構成され、前記第１多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも３つの値を含み、
   前記信号処理部（１１０；２１０）は、前記オーディオ信号（１０２）の一部分を周波数ドメインでそれぞれ表現している周波数帯域の第２多数についてのスペクトル重み（２１７、２１９）を決定するよう構成され、前記スペクトル重み（２１７、２１９）はそれぞれ可能値の第３多数の１つの値を含み、前記第３多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも３つの値を含む、装置。
9. 請求項１乃至８のいずれか１項に記載の装置において、前記信号処理部（１１０；２１０）は、
   前記オーディオ信号（１０２）が周波数ドメインへ変換され、かつ周波数帯域（ｆｂ１−ｆｂ７）の第２多数が前記オーディオ信号（１０２）の一部分の第２多数を周波数ドメインで表すように、前記オーディオ信号（１０２）を処理するよう構成され、
   各周波数帯域（ｆｂ１−ｆｂ７）について、前記オーディオ信号（１０２）の過渡処理（２１１）についての処理値を表す第１スペクトル重み（２１７）を決定するよう構成され、
   各周波数帯域（ｆｂ１−ｆｂ７）について、前記オーディオ信号（１０２）の調性処理（２１３）についての処理値を表す第２スペクトル重み（２１９）を決定するよう構成され、
   各周波数帯域（ｆｂ１−ｆｂ７）について、前記第１スペクトル重み（２１７）と前記第２スペクトル重み（２１９）との少なくとも１つを、前記周波数帯域（ｆｂ１−ｆｂ７）における前記オーディオ信号（１０２）のスペクトル値へ適用するよう構成され、
   前記第１スペクトル重み（２１７）及び前記第２スペクトル重み（２１９）はそれぞれ、可能値の第３多数の１つの値を含み、前記第３多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも３つの値を含む、装置。
10. 請求項９に記載の装置において、前記信号処理部（１１０；２１０）は、前記周波数帯域（ｆｂ１−ｆｂ７）の第２多数のそれぞれについて、前記周波数帯域（ｆｂ１−ｆｂ７）について決定された前記第１スペクトル重み（２１７）と前記第２スペクトル重み（２１９）とを比較するよう構成され、前記２つの値の１つが小さな値を含むかどうかを決定し、前記小さな値を含む前記スペクトル重み（２１７、２１９）を、前記周波数帯域（ｆｂ１−ｆｂ７）における前記オーディオ信号（１０２）のスペクトル値に適用するよう構成される、装置。
11. 請求項１乃至１０のいずれか１項に記載の装置において、前記デコリレータ（５２０）は、前記処理済みオーディオ信号（５１２、ｓ）をフィルタリングして前記第１のデコリレート済み信号（５２２、ｒ１）を取得するよう構成された第１のデコリレートフィルタ（５２６）と、前記処理済みオーディオ信号（５１２、ｓ）をフィルタリングして第２のデコリレート済み信号（５２４、ｒ２）を取得するよう構成された第２のデコリレートフィルタ（５２８）とを含み、前記結合部（１４０；２４０）は、前記第１のデコリレート済み信号（５２２、ｒ１）と前記第２のデコリレート済み信号（５２４、ｒ２）と前記オーディオ信号（１０２）又はこのオーディオ信号（１０２）から導出された信号（１３６；２３６）とを重み付き結合して、前記２チャネルオーディオ信号（１４２；２４２）を取得するよう構成された、装置。
12. 請求項１乃至１１のいずれか１項に記載の装置において、周波数帯域（ｆｂ１−ｆｂ７）の第２多数について、前記周波数帯域（ｆｂ１−ｆｂ７）の各々が、前記周波数ドメインにおいて表された第１の期間を有する前記オーディオ信号（１０２）の一部分を含み、
    前記コントローラ（１３０；２３０）は、前記重みファクタ（ａ，ｂ）がそれぞれ可能値の第１多数の１つの値を含むように前記重みファクタ（ａ，ｂ）を制御するよう構成され、前記第１多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも３つの値を含み、
    前記コントローラ（１３０；２３０）は、現実の期間について決定された重みファクタ（ａ，ｂ）の１つと以前の期間について決定された重みファクタ（ａ，ｂ）の１つとに基づいた比又は差が、閾値より大きいか又は等しい場合に、前記比又は差の値が減少するように、現実の期間について決定された前記重みファクタ（ａ，ｂ）を適応させるよう構成され、
    前記信号処理部（１１０；２１０）は、それぞれが可能値の第３多数の１つの値を含む、前記スペクトル重み（２１７；２１９）を決定するよう構成され、前記第３多数は最小値と最大値と前記最小値と最大値との間の値とを含む少なくとも３つの値を含む、装置。
13. 請求項１乃至１２のいずれか１項に記載のオーディオ信号を強化するための装置（８０１）と、
    前記オーディオ信号（１０２）を受信するよう構成された信号入力（１０６）と、
    前記２チャネルオーディオ信号（ｙ₁／ｙ₂）又は前記２チャネルオーディオ信号（ｙ₁／ｙ₂）から導出された信号を受信し、前記２チャネルオーディオ信号（ｙ₁／ｙ₂）又は前記２チャネルオーディオ信号（ｙ₁／ｙ₂）から導出された信号から音響信号を生成するよう構成された、少なくとも２個のラウドスピーカ（８０８ａ，８０８ｂ）と、
    を備えた音響強化システム（８００）。
14. オーディオ信号（１０２）を強化するための方法（１１００）であって、
    前記オーディオ信号（１０２）を処理して、処理済み信号（１１２；２１２）の過渡部分及び調性部分を低減又は除去するステップ（１１１０）と、
    前記処理済み信号（１１２；２１２）から第１のデコリレート済み信号（１２２、ｒ１）と第２のデコリレート済み信号（１２４；ｒ２）とを生成するステップ（１１２０）と、
    前記第１のデコリレート済み信号（１２２、ｒ１）と第２のデコリレート済み信号（１２４、ｒ２）と前記オーディオ信号（１０２）又は前記オーディオ信号（１０２）からコヒーレンス強化によって導出された信号（１３６；２３６）とを、時間可変重みファクタ（ａ，ｂ）を使用して重み付き結合し、２チャネルオーディオ信号（１４２；２４２）を取得するステップ（１１３０）と、
    前記オーディオ信号の異なる部分が異なる重みファクタ（ａ，ｂ）によって乗算され、前記２チャネルオーディオ信号（１４２；２４２）がデコリレーションの時間変化度を有するように、前記オーディオ信号（１０２）を分析することによって前記時間可変重みファクタ（ａ，ｂ）を制御するステップ（１１４０）と、
    を備える方法。
15. コンピュータ上で実行されたとき、請求項１４に記載のオーディオ信号を強化する方法を実行するための、プログラムコードを有するコンピュータプログラムが格納された非一時的記憶媒体。

Images