JP2014513819A - パラメトリックオーディオコーディング方式の鑑識検出 - Google Patents

Abstract

本文献は、オーディオ鑑識に関し、特にパラメトリックオーディオ符号化／復号のトレースのブラインド検出に関する。具体的に、本文献は、ＰＣＭ符号化波形などの非圧縮波形からの、ＳＢＲやＳＰＸなどのパラメトリック周波数拡張オーディオコーディングの検出に関する。時間ドメインオーディオ信号中における周波数拡張コーディング履歴を検出する方法を説明する。この方法は、時間ドメインオーディオ信号を周波数ドメインに変換して、それにより低周波サブバンドと高周波サブバンドを含む対応する複数のサブバンドの複数のサブバンド信号を生成するステップと、低周波サブバンドのサブバンド信号と高周波サブバンドのサブバンド信号との間の関係度を決定するステップであって、関係度は複数のサブバンド信号に基づき決まるステップと、関係度が関係閾値より大きいとき、周波数拡張コーディング履歴を決定するステップとを有する。

Description

本文献は、オーディオ鑑識に関し、特にオーディオ信号中のパラメトリックオーディオ符号化／復号のトレースのブラインド検出に関する。具体的に、本文献は、ＰＣＭ（pulse code modulation）符号化波形などの非圧縮波形からの、ＳＢＲ（spectral band replication）やＳＰＸ（spectral extension）などのパラメトリック周波数拡張オーディオコーディングの検出、及び／またはパラメトリックステレオコーディングの検出に関する。

ＨＥ−ＡＡＣ（high efficiency-advanced audio coding）は、低域及び中域ビットレート（例えば、ステレオコンテンツの場合、２４−９６ｋｂ／ｓ）における効率的な音楽オーディオコーデックである。ＨＥ−ＡＡＣでは、オーディオ信号は係数２だけダウンサンプリングされ、得られた低帯域信号がＡＡＣ波形コード化される。除去された高周波は、追加的な低ビットレート（一般的には、１オーディオチャンネル当たり３ｋｂ／ｓ）で、ＳＢＲを用いて、パラメトリックにコード化される。結果として、オーディオ信号のスペクトル帯域全体にわたる通常のＡＡＣ波形コード化と比較して、総ビットレートを大幅に削減できる。

送信されるＳＢＲパラメータは、ＡＡＣ復号された低帯域出力から高周波数帯域を生成する方法を記述する。この高周波帯域の生成プロセスは、低帯域信号から高周波帯域へのパッチのコピーアンドペーストまたはコピーアップ（copy-up）プロセスを含む。ＨＥ−ＡＡＣでは、パッチは、ＡＡＣコード化されなかった高周波コンテンツを再生するために高周波にコピーアップされる一群の隣接サブバンドを記述する。コーディングビットストリーム状態に応じて、一般的に２−３パッチが適用される。通常は、パッチパラメータは、一コーディングビットレート状態の時間にわたり変わらない。しかし、ＭＰＥＧ標準では、パッチパラメータは時間的に変化する。人工的に生成された高周波帯域のスペクトルエンベロープは、符号化ビットストリーム中で送信されるエンベロープパラメータに基づいて修正される。コピーアッププロセスとエンベロープ調整の結果として、元のオーディオ信号の特徴を知覚的に維持することができる。

ＳＢＲコーディングでは、ノイズ及び／またはトーンの追加／削除により、拡張周波数レンジにおいて信号をさらに調整するために、すなわち高帯域信号を調整するために、他のＳＢＲパラメータを用いることもできる。

本文献では、ＰＣＭオーディオ信号が、（例えば、ＨＥ−ＡＡＣを用いて）ＭＰＥＧ ＳＢＲ技術などのパラメトリック周波数拡張オーディオコーディングを用いてコード化（符号化と復号）されたか評価する手段を提供する。言い換えると、本文献では、非圧縮ドメインのオーディオ信号を分析し、そのオーディオ信号が以前パラメトリック周波数拡張オーディオコーディングにかけられたか判断する手段を提供する。さらに言い換えると、（例えば、ＰＣＭフォーマットの）（復号された）オーディオ信号について、そのオーディオ信号が、ある符号化／復号方式を用いて以前符号化されたか否か知ることが望ましい。具体的に、オーディオ信号の高周波スペクトル成分がＳＢＲにより生成されたか否かを知りたいことがある。また、送信されたモノ信号（mono signal）に基づきステレオ信号が生成されたか、またはステレオ信号のある時間／周波数領域が同じモノ信号の時間／周波数データのものか、知りたい場合がある。

言うまでもなく、本文献に概説する方法はオーディオコーディングのコンテキストで説明するが、時間／周波数データの複製を組み込むいかなるオーディオ処理の形式にも適用可能である。具体的に、これらの方法はブラインドＳＢＲのコンテキストで適用可能である。ブラインドＳＢＲはＳＢＲパラメータが送信されないオーディオコーディングの特殊な場合である。

可能性のあるユースケースとしては、ＳＢＲ関連の知的財産権の保護があり、例えばＭＰＥＧ ＳＢＲ技術、または基本的にＳＢＲに基づくその他の新しいパラメトリック周波数拡張コーディングツール、例えばＭＰＥＧ−Ｄ ＵＳＡＣ（Universal Speech and Audio Codec）のエンハンストＳＢＲ（ｅＳＢＲ）の不正使用の監視がある。さらに、（復号された）ＰＣＭオーディオ信号以外の情報が利用できない時に、トランスコーディング及び／または再符号化を改善できる。例として、復号されたＰＣＭオーディオ信号の高周波スペクトル成分が帯域幅拡張プロセスにより生成されたことが分かれば、オーディオ信号を再符号化する時にこの情報を使える。具体的に、再符号化器のパラメータ（例えば、クロスオーバ周波数とパッチパラメータ）を、高周波スペクトル成分がＳＢＲ符号化され、一方低帯域信号は波形符号化されるように、設定できる。これにより、普通の波形コーディング及び高音質帯域幅拡張と比較して、ビットレートを節約できる。さらに、（復号された）オーディオ信号の符号化履歴に関する知識を使って、高ビットレート波形符号化された（例えば、ＡＡＣまたはドルビーデジタル）コンテンツの音質保証に使える。これは、（復号される）オーディオ信号に、過去、トランスパレントなコーディング方法ではないＳＢＲコーディングやその他のパラメトリックコーディング方式が適用されていないことを確認することにより達成できる。また、符号化履歴に関する知識は、例えば、（復号される）オーディオ信号中に検出されるＳＢＲパッチの数とサイズを考慮することにより、（復号される）オーディオ信号の音質評価の基礎になる。

そのため、本文献は、ＰＣＭ符号化された波形におけるパラメトリックオーディオコーディング方式の検出に関する。その検出は、周波数及び／またはオーディオチャンネルにわたる繰り返しパターンの分析により行われる。識別されるパラメトリックオーディオコーディング方式は、ＨＥ−ＡＡＣｖ１またはｖ２のMPEG Spectral Band Replication (SBR)、ＨＥ−ＡＡＶｖ２のParametric Stereo (PS)、Dolby DigitalまたはDolby Digital PlusのDolby Digital Plus and CouplingのSpectral Extension (SPX)である。分析は信号位相情報に基づくものなので、提案の方法は、パラメトリックオーディコーディングで一般的に使われる大きさ修正（magnitude modifications）に対してロバストである。ＳＢＲコーディング方式では、低周波サブバンドを高周波領域にコピーして、知覚的意味（perceptual sense）でエネルギーエンベロープを調整することにより、高周波コンテンツをオーディオ復号器で生成する。パラメトリック空間オーディオコーディング方式（例えば、ＰＳ、カップリング）では、複数のオーディオチャンネルのデータが、単一のオーディオチャンネルのみに関連する送信データから生成される。周波数サブバンド中の位相情報を分析することにより、ＰＣＭ波形から、データの複製をロバストにトラックバック（track back）できる。
［関連出願との相互参照］
この出願は、２０１１年５月１９日に出願された米国仮特許出願第６１／４８８，１２２号の優先権を主張するものである。この文献はここにその全体を参照援用する。

一態様では、オーディオ信号の、例えば時間ドメインオーディオ信号のコーディング履歴における周波数拡張コーディングを検出する方法を説明する。言い換えると、本文献で説明する方法は、時間ドメインオーディオ信号（例えば、パルスコード変調されたオーディオ信号）に適用できる。本方法により、（時間ドメインの）オーディオ信号が過去に周波数拡張符号化／復号にかけられたか判断することができる。かかる周波数拡張コーディング／デコーディング方式の例はＨＥ−ＡＡＣとＤＤ＋コーデックである。

本方法は、前記時間ドメインオーディオ信号を周波数ドメインに変換して、それにより対応する複数のサブバンドの複数のサブバンド信号を生成するステップを有する。あるいは、複数のサブバンド信号が提供されてもよい。すなわち、本方法は、変換を適用しなくても、複数のサブバンド信号を取得することができる。複数のサブバンドは低周波サブバンドと高周波サブバンドを有する。この目的において、本方法は、二次ミラーフィルタ（ＱＭＦ）バンク、修正離散余弦変換、及び／または高速フーリエ変換などの、サウンドエンコーダで一般的に利用される時間ドメインから周波数ドメインへの変換を適用してもよい。かかる変換の結果として、複数のサブバンド信号が得られる。各サブバンド信号はオーディオ信号の周波数スペクトルの異なる部分（excerpt）に、すなわち異なるサブバンドに対応する。具体的に、サブバンド信号は、低周波サブバンドまたは代替的に高周波サブバンドに分けられる（attribute）。低周波サブバンドの複数のサブバンド信号は、クロスオーバ周波数以下の周波数を含みまたは対応し、一方、高周波サブバンドの複数のサブバンド信号は、クロスオーバ周波数より高い周波数を含みまたは対応する。言い換えると、クロスオーバ周波数は、周波数拡張コーダで画定される周波数であり、クロスオーバ周波数より高いオーディオ信号の周波数成分は、クロスオーバ周波数以下のオーディオ信号の周波数成分から生成される。

そのため、複数のサブバンド信号は、複数のフィルタを有するフィルタバンクを用いて生成される。周波数拡張方式のパッチパラメータの正しい特定のために、フィルタバンクは、周波数拡張コーダのデコーダで使われるフィルタバンク（例えば、ＨＥ−ＡＡＣの場合６４oddly stackedフィルタ及びDD+の場合２５６oddly stackedフィルタ）と同じ周波数特性（例えば、同数のチャンネル、同じ中心周波数と帯域幅）を有する。パッチ分析のロバスト性を向上するため、停止帯域減衰を大きくすることにより、隣接帯域へのリークを最小化すると有益である。これは、例えば、デコーダで用いられる元のフィルタバンクと比較して、高いフィルタ次数（例えば、フィルタ次数の２倍）で実現できる。言い換えると、フィルタバンクの高い周波数選択性を確保するために、フィルタバンクの各フィルタは、それぞれのフィルタの停止帯域にある周波数の所定のロールオフ閾値を越えるロールオフを有する。例として、（ＨＥ−ＡＡＣで用いるフィルタの場合のように）約６０ｄBの停止帯域減衰を有するフィルタを用いる替わりに、オーディオ拡張コーディングの検出に用いるフィルタの停止帯域減衰を７０または８０ｄBに上げ、それにより検出性能を高くする。これは、ロールオフ閾値が７０または８０ｄB減衰に対応することを意味する。そのため、異なるサブバンド信号中のオーディオ信号の異なる周波数成分を分離するため、フィルタバンクが十分に選択的であるようにする。高い選択性は、最小数のフィルタ係数を有するフィルタを用いることにより、実現できる。例として、複数のフィルタのうちのフィルタは、Ｍ個のフィルタ係数を有する。ここでＭは６４０より大きくても良い。

留意点として、オーディオ信号は複数のオーディオチャンネルを有し、例えばオーディオ信号はステレオオーディオ信号または５．１または７．１オーディオ信号などのマルチチャンネルオーディオ信号である。本方法は、一または複数のオーディオチャンネルに適用できる。代替的にまたは追加的に、本方法は、複数のオーディオチャンネルをダウンミックスして、ダウンミックスされた時間ドメインオーディオ信号を決定するステップを有する。そのため、本方法は、ダウンミックスされた時間ドメインオーディオ信号に適用できる。具体的に、前記複数のサブバンド信号は前記ダウンミックスされた時間ドメインオーディオ信号から生成される。

本方法は、前記オーディオ信号の最大周波数を決定するステップを有してもよい。言い換えると、本方法は、時間ドメインオーディオ信号の帯域幅を決定するステップを有しても良い。オーディオ信号の最大周波数は、周波数ドメインにおいてオーディオ信号のパワースペクトルを分析することにより決定できる。最大周波数より高いすべての周波数において前記パワースペクトルがパワー閾値未満であるように、前記最大周波数を決定できる。オーディオ信号の帯域幅の決定の結果、コーディング履歴検出方法は、最大周波数までのオーディオ信号の周波数スペクトルに限定できる。そのため、前記複数のサブバンド信号は前記最大周波数のまたはそれ未満の周波数のみを含んでいてもよい。

本方法は、前記低周波サブバンドのサブバンド信号と前記高周波サブバンドのサブバンド信号との間の関係度を決定するステップを有していても良い。前記関係度は前記複数のサブバンド信号に基づき決めることができる。例として、関係度は、低周波サブバンド中の一群のサブバンド信号と高周波サブバンド中の一群のサブバンドとの間の類似性を示す。かかる関係度は、オーディオ信号の分析により、及び／または周波数拡張コーディング履歴を有するオーディオ信号のトレーニングセットから得られた確率モデルの利用により、決定できる。

留意点として、複数のサブバンド信号は複素値であってもよく、すなわち複数のサブバンド信号は複数の複素サブバンド信号に対応する。そのため、複数のサブバンド信号は、対応する複数の位相信号及び／または対応する複数の強さ信号をそれぞれ有する。かかる場合、前記関係度は前記複数の位相信号に基づき決めることができる。また、前記関係度は前記複数の強さ信号に基づき決めることができる。パラメトリックコーディング方式の場合、位相信号を分析すると有益であることが分かった。さらに、複素波形信号により有用な情報が得られる。具体的に、複素位相データから得られる情報を組み合わせて用いて、検出方式のロバスト性を高めることができる。これは、特にパラメトリックコーディング方式が、（変調スペクトルコーデックでのように）周波数に応じた強さデータのコピーアッププロセスを含む場合である。

さらにまた、関係度を決定するステップは、前記低周波サブバンドの一群のサブバンド信号から生成された高周波サブバンドの一群のサブバンドを決定するステップを有してもよい。かかる一群のサブバンド信号は、連続したサブバンドの、すなわち直接的に隣接したサブバンドのサブバンド信号を含む。

本方法は、前記関係度が関係閾値より大きいとき、周波数拡張コーディング履歴を決定するステップとを有してもよい。関係閾値は実験的に決定してもよい。具体的に、関係閾値は、周波数拡張コーディングの履歴を有する一組のオーディオ信号から、及び／または周波数拡張コーディングの履歴を有さない一組のオーディオ信号からでも決定できる。

関係度を決定するステップは、前記複数のサブバンド信号間の一組の相互相関値を決定するステップを有する。第１と第２のサブバンド信号間の相関値は、所定の時間遅れにおける第１と第２のサブバンド信号の対応するサンプルの積の時間的平均として決定できる。所定の時間遅れはゼロであってもよい。言い換えると、所与の時点における（及び所定の時間遅れにおける）第１と第２のサブバンド信号の対応サンプルをかけることにより、その時点における乗算結果を求める。乗算結果はある時間にわたり平均され、それにより平均乗算結果を求め、これを相互相関値の決定に用いることができる。

留意点として、マルチチャンネル信号（例えば、ステレオや５．１／７．１信号）の場合、マルチチャンネル信号をダウンミックスして、そのダウンミックスオーディオ信号に対して一組の相互相関値を決めても良い。あるいは、マルチチャンネル信号の一部または全部のチャンネルに対して、異なる複数の組の相互相関値を決定してもよい。異なる複数の組の相互相関値を平均して、一組の平均相互相関値を決定してもよい。これをコピーアップパッチの検出に使える。

具体的に、複数のサブバンド信号は、K個のサブバンド信号を含み、Ｋ＞０（例えば、Ｋ＞１であり、Ｋは６４以下である）。パラメータＫは、周波数拡張コーデックのデコーダにおいて、失われた高周波サブバンドを生成するのに使われたチャンネル数と等しくても良い。スペクトル拡張の検出のためだけなら、６４バンドで十分であろう（６４チャンネルの場合、周波数パッチは一般的には帯域幅より広い）。ＤＤ＋におけるＳＰＸでパッチを正しく識別するためには、増やしたＫ個（例えば、Ｋ＝２５６）のサブバンドを用いることができる。そのため、前記一組の相互相関値は、前記複数のサブバンド信号の異なるサブバンド信号のすべての組合せに対応する（Ｋ−１）！個の相互相関値を含む、オーディオ信号における周波数拡張コーディング履歴を決定するステップは、前記一組の相互相関値から少なくとも一の最大相互相関値を決定するステップを有してもよい。

留意点として、本文献に概説する分析方法は、時間依存的に実行してもよい。上記の通り、一般的に、周波数拡張コーデックは時間依存パッチパラメータを用いる。しかし、周波数拡張コーデックは時間的にパッチパラメータを変更するように構成してもよい。これは、オーディオ信号のウィンドウを分析することにより、考慮できる。オーディオ信号のウィンドウは所定の長さ（例えば、１０ないし２０秒以下）を有する。パッチパラメータが時間的に変化しない場合、オーディオ信号の異なるウィンドウに対して求めた一組の相互相関値を平均することにより、本文献で説明する分析方法のロバスト性を高めることができる。分析方法の複雑性を低減するため、平均されたオーディオ信号のウィンドウに基づき一組の相互相関値を決定する前に、異なるウィンドウのオーディオ信号（すなわち、異なるオーディオ信号のセグメント）を平均する。

一組の相互相関値は、Ｋ×Ｋ対称相関マトリックスで平均できる。相関マトリックスの主対角線は、任意の値を、例えばゼロに対応する値を、または複数のサブバンド信号の自己相関値に対応する値を有する。相関マトリックスは、ある構造やパターンを決定できる画像と考えても良い。これらのパターンにより、複数のサブバンド信号間の関係度に関する表示（indication）が得られる。相関マトリックスは対称であることを考慮すると、相関マトリックスの一方の（主対角線の下または上の）「三角形」のみを分析すればよい。そのため、本文献で説明する方法ステップは、相関マトリックスのかかる一方の「三角形」のみに適用される。

上記の通り、相関マトリックスは、低周波サブバンドと高周波サブバンドとの間の関係を示すパターンを有する画像と考えることができる。検出すべきパターンは、相関マトリックスの主対角線に平行な、局所的に相関が大きくなった対角線である。相関マトリックス中の相互相関値が極大となるかかる対角線を強調するために、ラインエンハンスメント方式を相関マトリックスに（または相関マトリックスをチルトしたものに（対角構造が垂直構造または水平構造になるように、相関マトリックスをチルトできる））適用してもよい。ラインエンハンスメントの一例は前記相関マトリックスをエンハンスメントマトリックス

で畳み込んで、エンハンスされた相関マトリックスを求めるステップを有しても良い。ラインエンハンスメントやその他のパターンエンハンスメント手法を適用したとき、周波数拡張コーディング履歴を決定するステップは、前記主対角線を除く、前記エンハンスされた相関マトリックスのうち少なくとも一の最大相互相関値が前記関係閾値を越えると決定するステップを有してもよい。言い換えると、関係度の決定は、エンハンスされた相関マトリックスに（及びエンハンスされた一組の相互相関値に）基づく。

本方法は、時間ドメインオーディオ信号に適用された周波数拡張コーディング方式の具体的なパラメータを決定するように構成できる。かかるパラメータは、例えば、周波数拡張コーディング方式のサブバンドコピーアッププロセスに関するパラメータである。具体的に、低周波サブバンド（ソースサブバンド）のどのサブバンド信号を高周波サブバンド（ターゲットサブバンド）のサブバンド信号にコピーアップしたか、決定できる。この情報は、パッチング情報として参照でき、相関マトリックス中の相互相関値が極大になる対角線から決定できる。

そのため、本方法は、前記相関マトリックスを分析して、相互相関値が極大になる一または複数の対角線を検出するステップをさらに有してもよい。かかる一または複数の対角線を検出するため、以下の基準を適用できる：相互相関値が極大になる対角線は前記相関マトリックスの主対角線上にはない；及び／または、相互相関値が極大になる対角線は１より大きい極大相互相関値を有する。ここで、前記１より大きい極大相互相関値の各々は最小相関閾値より大きく。最小相関閾値は、一般的には、関係閾値より小さい。

前記１より大きい極大相互相関は、前記相関マトリックスの主対角線に平行な対角線状に配置されている場合に、対角線を検出できる。及び／または、前記相関マトリックスの行の前記二以上の極大相互相関値の各々について、同じ行かつすぐ隣接する左側の列の相互相関値は前記最小相関閾値以下であり、及び／または同じ行かつすぐ隣する右側の列の相互相関値は前記最小相関閾値以下である。

上記の通り、相関マトリックスの分析は、相関マトリックスの一方の「三角形」のみに限定できる。前記主対角線の上または下に相互相関値が極大になる二以上の対角線を検出することがある。これは、周波数拡張コーディング方式において複数のコピーアップパッチが適用されたことを示す。他方、相互相関値が極大になる三以上の対角線が検出されたとき、三以上の対角線のうちの少なくとも一つが、コピーアップパッチ間の相関を示す。かかる対角線はコピーアップパッチを示すものではなく、識別すべきである。かかるパッチ間相関を利用して、検出方式のロバスト性を高めることができる。

相関マトリックスは、その行がソースサブバンドを示し、その相関マトリックスの列がターゲットサブバンドを示すように構成される。留意点として、相関マトリックスの列がソースサブバンドを示し、相関マトリックスの行がターゲットサブバンドを示す構成も同様に可能である。この場合、本方法は「行」と「列」を交換することにより使える。

適当なコピーアップパッチを分離するため、本方法は、相関マトリックスの同じソースサブバンドに対して、相互相関値が極大になる少なくとも２つの冗長対角線を検出するステップを有しても良い。最低のターゲットサブバンドを有する少なくとも２つの冗長な対角線を、複数のソースサブバンドから複数のターゲットサブバンドへの真正なコピーアップパッチとして特定することができる。他の対角線は、異なるコピーアップパッチ間の相関を示す。

コピーアップ対角線を特定すれば、対角線のソース及びターゲットサブバンドのペアは、高周波サブバンドにコピーアップされた低周波サブバンドを示す。

コピーアップ対角線のエッジ（すなわち、その始め及び／または終わりの点）は、その対角線の他の相関点に対して、最大相関値が小さいことが分かる。これは、複数のサブバンド信号を決定するのに使われた変換が、時間ドメインオーディオ信号に適用された周波数拡張コーディング方式で使われた変換とは異なる周波数解像度を有することによる。そのため、検出した対角線のエッジが「弱い」ということは、フィルタバンド特性のミスマッチ（例えば、サブバンド数のミスマッチ、中心周波数のミスマッチ、及び／またはサブバンドの帯域幅のミスマッチ）を示し、それゆえ時間ドメインオーディオ信号に適用された周波数拡張コーディング方式のタイプに関する情報を提供する。

上記の観察を利用するため、本方法は、検出された対角線の始め及び／または終わりの前記検出された対角線の極大相互相関値がぼやけ閾値より小さいことを検出するステップを有していてもよい。ぼやけ閾値は、一般的には、最小相関閾値より大きい。本方法は、前記変換ステップのパラメータを、複数の周波数拡張コーディング方式に用いた変換ステップのパラメータと比較するステップを行っても良い。具体的に、変換次数（すなわち、サブバンド数）を比較する。前記比較するステップに基づき、前記オーディオ信号に適用された周波数拡張コーディング方式を、複数の周波数拡張コーディング方式から決定できる。例として、サブバンド数が多いフィルタバンクを用いるとき、及びパッチボーダーがＨＥ−ＡＡＣで用いられたフィルタバンクのグリッドに合わないとき、周波数拡張コーディング方式はＨＥ−ＡＡＣではないと結論づけることができる。

周波数拡張コーディング方式により適用された具体的な復号モードを検出するため、相関マトリックスを分析する。これは、例えば、低パワー（ＬＰ）または高画質（ＨＱ）復号ができるＨＥ−ＡＡＣに当てはまる。この目的のため、様々な相関閾値を画定できる。具体的に、前記一組の相互相関値のうち最大相互相関値が復号モード閾値より低いか高いか判断し、それにより前記オーディオ信号に適用された周波数拡張コーディング方式の復号モードを検出することができる。復号モード閾値は最小相関閾値より大きくても良い。さらにまた、復号モード閾値は関係閾値より大きくても良い。ＬＰまたはＨＱデコーディングの場合、最大相互相関値が復号モード閾値より小さい（しかし、関係閾値より大きい）とき、ＬＰデコーディングが検出できる。最大相互層間値が復号モード閾値より大きいとき、ＨＱデコーディングが検出できる。

上記の通り、低周波サブバンドのサブバンド信号と高周波サブバンドのサブバンド信号との間の関係度は、確率モデルの利用を含んでもよい。そのため、本方法は、周波数拡張コーディング履歴を有するトレーニングオーディオ信号から求めた一組のトレーニングベクトルから決定した確率モデルを設けるステップを有しても良い。前記確率モデルは前記複数の高周波サブバンドと前記低周波サブバンドにより張られたベクトル空間のベクトル間の確率的関係を記述する。複数のサブバンドがＫ個のサブバンドを含み、ベクトル空間の次元がＫであると仮定する。代替的にまたは追加的に、前記確率モデルは前記複数のサブバンドと前記低周波サブバンドとにより張られたベクトル空間のベクトル間の確率的関係を記述する。複数のサブバンドがＫ個のサブバンドを含み、そのうちのＫｌが低周波サブバンドであり、ベクトル空間の次元がＫ＋Ｋｌであると仮定する。以下、後者の確率モデルをさらに詳しく説明する。しかし、本方法は最初の確率モデルにも等しく適用できる。

前記確率的モデルはガウシアンミクスチャモデルであり得る。具体的に、前記確率モデルは複数のミクスチャ成分を有し、各ミクスチャ成分は前記ベクトル空間の平均ベクトルと、前記ベクトル空間の共分散マトリックスＣとを有する。ｉ番目のミクスチャ成分の平均ベクトルμ_ｉは前記ベクトル空間のクラスタの重心を表し、前記ｉ番目のミクスチャ成分の共分散マトリックスＣ_ｉは前記ベクトル空間の異なる次元間の相関を表す。平均ベクトルμ_ｉと共分散マトリックスＣ_ｉ、すなわち確率モデルのパラメータは、ベクトル空間の一組のトレーニングベクトルを用いて決定できる。ここで、トレーニングベクトルは周波数拡張コーディング履歴がある一組のトレーニングオーディオ信号から決定できる。

本方法は、低周波サブバンドのサブバンド信号が与えられたとき、複数のサブバンド信号の推定を提供するステップを有しても良い。前記推定は前記確率モデルに基づいて決定できる。具体的に、好いては、確率モデルの平均ベクトルμ_ｉと共分散マトリックスＣ_ｉに基づき決定できる。さらに具体的には、前記推定は

で決定できる。Ｅ［ｙ｜ｘ］は前記低周波サブバンドのサブバンド信号ｘが与えられたときの、前記複数のサブバンド信号ｙの推定であり、ｈ_ｉ（ｘ）は前記サブバンド信号ｘが与えられたときの、前記ガウシアンミクスチャモデルのｉ番目のミクスチャ成分の関係性を示し、μ_ｉ ^ｙは前記複数のサブバンドに対応する平均ベクトルμ_ｉの成分であり、μ_ｉ ^ｘは前記低周波サブバンドのサブ空間に対応する平均ベクトルμ_ｉの成分であり、Ｑは前記ガウシアンミクスチャモデルの成分の数であり、Ｃ_ｉ ^ｙｘとＣ_ｉ ^ｘｘは前記共分散マトリックスＣ_ｉのサブマトリックスである。関係性インジケータｈ_ｉ（ｘ）は、低周波サブバンドのサブバンド信号ｘが前記ガウシアンミクスチャモデル

のｉ番目のミクスチャ成分に入る確率である。

推定が提供されると、関係度は前記複数のサブバンド信号の推定と、前記複数のサブバンド信号との間の推定誤差に基づき決定できる。推定誤差は平均二乗誤差であってもよい。

前記オーディオ信号は、例えば第１と第２のチャンネルを有するマルチチャンネル信号であってもよい。第１と第２のチャンネルはそれぞれ左右チャンネルであってもよい。この場合、マルチチャンネル信号に適用される、ＭＰＥＧパラメトリックステレオ符号化やＤＤ（＋）（またはＭＰＥＧインテンシティステレオ）で用いられるカップリングなどの具体的なパラメトリック符号化方式を決定することが望ましい。この情報は、第１と第２のチャンネルの複数のサブバンド信号から検出できる。第１と第２のチャンネルの複数のサブバンド信号を決定するために、本方法は、第１と第２のチャン得るを周波数ドメインに変換し、それにより複数の第１のサブバンド信号と複数の第２のサブバンド信号とを生成するステップを有する。前記第１と第２のサブバンド信号は複素値であり、第１と第２の位相信号を含む。その結果、複数の位相差サブバンド信号を、対応する第１と第２のサブバンド信号の差として決定できる。

本方法は、複数の位相差値を決定するステップであって、各位相差値は前記対応する位相差サブバンド信号のサンプルの時間的平均として決定するステップを行っても良い。オーディオ信号のコーディング履歴のパラメトリックステレオ符号化は、複数の位相差値中の周期構造を検出することにより決定できる。具体的に、周期構造は、正と負の位相差値の間の隣接サブバンドの位相差値の振動を含み、ここで振動する位相差値の強さが振動閾値を越える。

第１と第２のチャンネルのカップリングまたは一般的にマルチチャンネル信号の場合には複数のチャンネル間のカップリングを検出するため、本方法は、各位相差サブバンド信号に対して、位相差閾値より小さい位相差を有するサンプル部分（fraction）を決定するステップを有しても良い。高周波サブバンドのサブバンド信号のその部分が部分閾値（fraction threshold）を越えたことを検出したとき、オーディオ信号のコーディング履歴中の第１と第２のチャンネルのカップリングを決定できる。

他の一態様による、オーディオ信号のコーディング履歴におけるパラメトリックオーディオコーディングツール（例えば、パラメトリックステレオコーディングまたはカップリング）の利用を検出する方法を説明する。前記オーディオ信号は、例えば左右チャンネルである第１と第２のチャンネルを有するマルチチャンネル信号であってもよい。本方法は、複数の第１のサブバンド信号と複数の第２のサブバンド信号とを提供するステップを有する。前記複数の第１のサブバンド信号は前記マルチチャンネル信号の第１のチャンネルの時間／周波数ドメイン表現に対応する。前記複数の第２のサブバンド信号は前記マルチチャンネル信号の第２のチャンネルの時間／周波数ドメイン表現に対応する。そのため、複数の第１と第２のサブバンド信号は、時間ドメインから周波数ドメインへの変換（例えば、ＱＭＦ）を用いて生成される。前記複数の第１と第２のサブバンド信号は、複素値であり、複数の第１と第２の位相信号を含む。

本方法は、対応する第１と第２の位相信号の、前記複数の第１と第２の位相信号との差として、複数の位相差サブバンド信号を決定するステップを有しても良い。前記複数の位相差サブバンド信号から前記オーディオ信号のコーディング履歴におけるパラメトリックオーディオコーディングツールの使用を検出する。

具体的に、本方法は、複数の位相差値を決定するステップであって、各位相差値は前記対応する位相差サブバンド信号のサンプルの時間的平均として決定するステップを有していてもよい。オーディオ信号のコーディング履歴のパラメトリックステレオ符号化は、複数の位相差値中の周期構造を検出することにより検出できる。

代替的にまたは追加的に、本方法は、各位相差サブバンド信号について、サンプルの一部が位相差閾値より小さい位相差を有すると判断するステップを有する。オーディオ信号のコーディング履歴における第１と第２のチャンネルのカップリングは、その部分が、高周波サブバンドのサブバンド信号の、クロスオーバ周波数（カップリングのコンテキストではカップリング開始周波数とも呼ぶ）より高い周波数におけるサブバンド信号の部分閾値（fraction threshold）を越えることを検出することにより、検出できる。

さらに別の一態様では、ソフトウェアプログラムを説明する。これはプロセッサで実行され、コンピューティングデバイスで実行されると、本文献に概説した方法ステップを実行するように構成される。

他の一態様では、記憶媒体を説明する。これはプロセッサで実行され、コンピューティングデバイスで実行されると、本文献に概説した方法ステップを実行するように構成されたソフトウェアプログラムを有する。

さらに他の一態様では、コンピュータプログラム製品を説明する。これは、コンピュータで実行されたとき、本文献に概説した方法を実行する実行可能命令を有する。

留意点として、本文献で説明する好ましい実施形態を含む方法とシステムは、スタンドアロンで用いても、この文献に開示される他の方法及びシステムと組み合わせて用いてもよい。さらに、本文献で説明する方法とシステムのすべての態様は任意的に組み合わせられる。特に、請求項の発明特定事項は互いに任意に組み合わせることができる。

以下、添付した図面を参照して例示により本発明を説明する。
大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 大きさ、複素及び／または位相データを用いた相関ベースの分析の一例を示す図である。 複素、位相のみデータに基づく最大相互相関値を示す図である。 複素、位相のみデータに基づく確率密度関数を示す図である。 複素、位相のみデータに基づく最大相互相関値を示す図である。 複素、位相のみデータに基づく確率密度関数を示す図である。 相関ベースの分析に用いられるプロトタイプフィルタの周波数応答を示す図である。 異なる分析フィルタバンクを用いて決定される類似性マトリックス例の間の比較を示す図である。 異なる分析フィルタバンクを用いて決定される類似性マトリックス例の間の比較を示す図である。 異なる分析フィルタバンクを用いて決定される最大相互相関値の例を示す図である。 異なる分析フィルタバンクを用いて決定される確率密度関数例を示す図である。 異なる分析フィルタバンクを用いて決定される確率密度関数例を示す図である。 異なる分析フィルタバンクを用いて決定される確率密度関数例を示す図である。 パッチ検出に用いるスキュー類似性マトリックス（skewed similarity matrices）例を示す図である。 表１のコーディング条件によりＨＥ−ＡＡＣ再符号化されたデータの類似性マトリックス例を示す図である。 ＳＰＸでＤＤ＋符号化されたデータの類似性マトリックス例を示す図である。 パラメトリックステレオ及びカップリング検出に用いられる位相差グラフ例を示す図である。 パラメトリックステレオ及びカップリング検出に用いられる位相差グラフ例を示す図である。

上記の概説のように、ＭＰＥＧ ＳＢＲ符号化では、オーディオ信号は低減サンプルレートと帯域幅で波形符号化される。失われる高周波は、送信サイド情報を用いて低周波部分を高周波部分にコピーすることにより、復号器で再構成される。送信されるサイド情報（例えば、空間エンベロープパラメータ、ノイズパラメータ、トーン付加／除去パラメータ）は、低帯域信号から得られるパッチに適用される。パッチは高周波にコピーアップ（copy up）または写されている。このコピーアッププロセスの結果として、ある低帯域のスペクトル部分とコピーアップされた広帯域信号のスペクトル部分との間に相関があるはずである。これらの相関は、復号されたオーディオ信号においてスペクトル帯域複製（spectral band replication）ベースの符号化を検出する基礎となり得る。

低帯域信号のスペクトル部分と広帯域信号のスペクトル部分との間の相関は、コピーアップされるパッチへのサイド情報すなわちＳＢＲパラメータの適用により低減または除去されていることがある。しかし、コピーアップされるパッチへのＳＢＲパラメータの適用は、コピーアップされるパッチの位相特性（すなわち、複素値のサブバンド係数の位相）には大きく影響しないことが分かっている。言い換えると、コピーアップされる低周波帯域の位相特性は、高周波帯域に大部分保存される。保存の程度は、一般的には、符号化された信号のビットレートと、符号化されるオーディオ信号の特性とに依存する。そのため、（復号された）オーディオ信号のスペクトル部分の位相データの相関を用いて、ＳＢＲ符号化のコンテキストで行われる周波数パッチ動作をトレースバック（trace back）することができる。

以下、ＰＣＭ波形の相関ベースの分析方法を説明する。これらの方法を用いて、ＭＰＥＧ ＨＥ−ＡＡＣのＳＢＲやＤｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ（ＤＤ＋）のＳＰＸなどのパラメトリック周波数拡張ツールを利用するオーディオコーディングの名残を検出できる。また、具体的なパラメータ、具体的には周波数拡張プロセスのパッチング情報を抽出できる。この情報を効率的な再符号化に用いることができる。さらに、ＨＥ−ＡＡＣｖ２で用いられるＭＰＥＧ ＰＳ（Parametric Stereo）とＤＤ（＋）で用いられるカップリング（Coupling）の存在を示す他の手段を説明する
留意点として、ＤＤ＋で用いられる帯域幅拡張の基本原理はＭＰＥＧ ＳＢＲに似ている。その結果、ＭＰＥＧ ＳＢＲ符号化オーディオ信号のコンテキストで本文献で概説する分析手法は、以前ＤＤ＋符号化されたオーディオ信号にも等しく適用可能である。すなわち、分析方法をＨＥ−ＡＡＣのコンテキストで概説するが、この方法はその他のＤＤ＋などの帯域幅拡張ベースの符号化器にも適用できる。

オーディオ信号分析方法は、オーディオ符号化器／復号器の様々な動作モードで動作しなければならない。さらに、これらの分析方法は、これらの異なる動作モードを区別できなければならない。例として、ＨＥ−ＡＡＣコーデックは２つの異なるＨＥ−ＡＡＣ復号モードを利用する：ＨＱ（High Quality）復号とＬＰ（Low Power）復号である。実数値のクリティカルサンプルされたフィルタバンクを用いることにより、ＨＱモードで用いられる複素値のオーバーサンプルされたフィルタバンクと比較して、ＬＰモードでは復号器の複雑性が低減される。通常、ＬＰモードを用いて復号されたオーディオ信号には、小さく聞き取り不能なエイリアシングプロダクツがある。これらのエイリアシングプロダクツは音質に影響するので、分析されるＰＣＭオーディオ信号を復号するのに用いられた復号モードを検出することが望ましい。同様に、ＳＢＲに基づくＵＳＡＣなどその他の周波数拡張コーデックにおいて、異なる復号モードや複雑性モードも識別すべきである。

ＨＥ−ＡＡＣｖ２の場合、ＰＳ（parametric stereo）に適用されるが、復号器は一般的にＨＱモードを用いる。ＰＳにより２０−３２ｋｂ／ｓなどの低ビットレートで音質を改善できるが、６４ｋｂ／ｓなどの高ビットレートにおけるＨＥ−ＡＡＣｖ１のステレオ音質にはかなわないのが普通である。ＨＥ−ＡＡＣｖ１は３２ないし９６ｋｂ／ｓのビットレートにおいて最も効率的であるが、高ビットレートではトランスパレントではない。言い換えると、６４ｋｂ／ｓにおけるＰＳ（ＨＥ−ＡＡＣｖ２）の音質は、６４ｋｂ／ｓにおけるＨＥ−ＡＡＣｖ１の音質より劣るのが一般的である。他方、３２ｋｂ／ｓのＰＳは、６４ｋｂ／ｓのＨＥ−ＡＡＣｖ１より少し悪いだけであり、３２ｋｂ／ｓのＨＥ−ＡＡＣｖ１よりはずっとよい。それゆえ、（復号された）オーディオ信号のおおまかな音質評価をする上で、実際のコーディング条件に関する知識は有用なインジケータである。

例えばドルビーデジタル（ＤＤ）とＤＤ＋で使われるカップリング（coupling）では、高周波におけるヒアリング位相不感受性（hearing phase insensitivity）を利用する。概念的には、カップリングはＭＰＥＧ ＩＳ（Intensity Stereo）に関連する。ＭＰＥＧ ＩＳでは、ビットストリームにおいて、チャンネル間レベル差（inter channel level difference）パラメータとともに、信号オーディオチャンネルのみ（または、１つのオーディオチャンネルのみのスケールファクタ帯域に関する係数）が送信される。これらのパラメータの時間／周波数共有により、特にマルチチャンネルオーディオの場合、符号化されたビットストリームのビットレートが大きく削減される。そのため、再構成されるオーディオチャンネルの周波数ビンを相関させ、共有されるサイドレベル情報を求める。この情報は、カップリングを用いるオーディオコーデックの検出に使うことができる。

第１のアプローチでは、（復号された）オーディオ信号は、例えばＰＣＭ波形信号は、分析フィルタバンクを用いて時間／周波数ドメインに変換される。一実施形態では、分析フィルタバンクはＨＥ−ＡＡＣエンコーダで用いられるものと同じ分析フィルタバンクである。例えば、６４帯域複素値フィルタバンク（係数２でオーバーサンプルされる）を用いて、オーディオ信号を時間／周波数ドメインに変換できる。マルチチャンネルオーディオ信号の場合、ダウンミックスオーディオ信号を生成するため、フィルタバンク分析の前に、複数のチャンネルをダウンミックスしてもよい。そのため、フィルタバンク分析（例えば、ＱＭＦフィルタバンクを用いるもの）を、ダウンミックスオーディオ信号に対して行える。あるいは、複数のチャンネルの一部または全部にフィルタバンク分析を行っても良い。

フィルタバンク分析の結果として、複数のフィルタバンクサブバンドに対して、複数の複素サブバンド信号が得られる。これらの複数の複素サブバンド信号は、オーディオ信号の分析の基礎となる。具体的に、複数の複素サブバンド信号または複数の複素ＱＭＦビンの位相角を決定できる。

さらにまた、オーディオ信号の帯域幅は、パワースペクトル分析を用いて、複数の複素サブバンド信号から決定できる。例えば、各サブバンドの平均エネルギーを決定してもよい。その後、高周波のすべてのサブバンドが所定のエネルギー閾値より低い平均エネルギーを有するサブバンドとして、カットオフサブバンドを決定できる。これはオーディオ信号の帯域幅の尺度となる。さらにまた、オーディオ信号のサブバンド間の相関の分析は、（後で説明するように）カットオフサブバンドまたはそれより低い周波数を有するサブバンドに限定できる。

また、分析時間レンジにわたるすべてのＱＭＦ帯域間のゼロ遅延での相互相関を決定でき、それにより自己類似性（self-similarity）マトリックスを得られる。言い換えると、すべてのサブバンド信号のペア間の相互相関（ゼロ時間遅延のもの）を決定できる。その結果、対称自己類似性マトリックスが得られれ、例えば、６４ＱＭＦ帯域の場合には６４×６４マトリックスとなる。この自己類似性マトリックスを用いて、周波数ドメインにおける繰り返し構造を検出できる。具体的に、自己類似性マトリックスの最大相関値（または複数の最大相関値）を用いて、オーディオ信号中のスペクトル帯域複製（spectral band replication）を検出できる。一または複数の最大相関値の決定のため、主対角線上の自己相関値は除外しなければならない（自己相関値は異なるサブバンド間の相関を示さないからである）。さらにまた、最大値の決定は、以前に決定されたオーディオ帯域幅の限界まで制限できる。すなわち、自己類似性マトリックスの決定は、カットオフサブバンドと低周波数のサブバンドに制限できる。

留意点として、マルチチャンネルオーディオ信号の場合、上記の手順はマルチチャンネルオーディオ信号のすべてのチャンネルに独立に適用できる。この場合、マルチチャンネル信号の各チャンネルに対して自己類似性マトリックスを決定できる。すべてのオーディオチャンネルにわたる最大相関値は、マルチチャンネルオーディオ信号中のSBRベース符号化の存在のインジケータと考えることができる。具体的には、最大自己相関値が所定の相関閾値を越えるとき、その波形信号は周波数拡張ツールによりコード化されたものと分類できる。

留意点として、上記の手順は、（位相角ＱＭＦデータとは対照的に）複素またはマグニチュードＱＭＦデータに基づく。しかし、周波数拡張コーディングでは、パッチされた低帯域信号のマグニチュードエンベロープは、元の高周波データにより修正されているので、マグニチュードデータの分析に基づく場合、相関は小さくなっていることが予想される。

図１ａないし図１ｆにおいて、ＨＥ−ＡＡＣ（左列）コーデックと普通のＡＡＣ（右列）コーデックにかけたオーディオ信号に対して、自己類似性マトリックスを調べる。すべての画像は０と１の間でスケールされており、１は黒に対応し、０は白に対応する。図１のマトリックスのｘ軸及びｙ軸はサブバンドインデックスに対応する。これらの画像において主対角線は具体的なＱＭＦ帯域の自己相関に対応する。分析された最大ＱＭＦ帯域は、推定オーディオ帯域幅に対応する。推定オーディオ帯域幅は一般的には普通のＡＡＣ条件よりもＨＥ−ＡＡＣ条件の方が高い。言い換えると、（復号された）オーディオ信号の帯域幅またはカットオフ周波数は、例えば、パワースペクトル分析に基づき推定できる。カットオフ周波数より高いオーディオ信号のスペクトル帯域は、一般的に、大きなノイズを含むので、カットオフ周波数より高いスペクトル帯域の自己相関係数は検知できる結果を生じない。図示した例では、ＨＥ−ＡＡＣ符号化信号の場合、６４ＱＭＦ帯域のうち６２が分析され、ＡＡＣ符号化信号の場合、６４ＱＭＦ帯域のうち５０が分析された。

主対角線と平行に走る高相関ラインは、ＱＭＦ帯域との相関または類似性の程度が高いことを示し、それゆえ潜在的に周波数パッチを示す。これらのラインがあることは、（復号された）オーディオ信号に周波数拡張ツールが適用されたことを示唆する。

図１ａ及び１ｂには、複素ＱＭＦサブバンド信号のマグニチュード情報に基づいて決定された自己類似性マトリックス１００、１０１が示されている。言うまでもなく、ＱＭＦサブバンドのマグニチュードのみに基づく分析の結果、ダイナミックレンジが比較的小さい相関係数が得られる。その結果、マグニチュードのみによる分析はロバスト周波数拡張分析には合わない。それにもかかわらず、（中央対角線の横に沿った対角線により示された）ＨＥ−ＡＡＣパッチ情報は、ＱＭＦサブバンドのマグニチュードのみを用いて自己類似性マトリックスを決定したときに、見える。

言うまでもなく、位相ベース分析（図１ｃ及び図１ｄ）のダイナミックレンジは高いので、周波数拡張の分析により適している。具体的に、ＨＥ−ＡＡＣ及びＡＡＣ符号化オーディオ信号に対する位相のみに基づく自己類似性マトリックス１１０と１１１をそれぞれ示す。主対角線１１５はＱＭＦサブバンドの位相値の自己相関係数を示す。さらにまた、対角線１１２と１１３は、サブバンドインデックスが１１ないし２８の範囲にある低帯域と、サブバンドインデックスが２９ないし４６及び４７ないし６０の範囲にある高帯域との間の相関が高いことを示す。対角線１１２と１１３は、インデックスが約１１ないし２８の低帯域から、インデックスが約２９ないし４６の高帯域にコピーアップされたパッチ（参照数字１１２）と、インデックスが約１５ないし２８の低帯域からインデックスが約４７ないし６０の高帯域にコピーアップされたパッチ（参照数字１１３）とを示す。しかし、留意点として、第２のＨＥ−ＡＡＣパッチ１１３の対応する値は比較的弱い。さらにまた、留意点として、対角線１１４はオーディオ信号中のコピーアップパッチを示すものではない。対角線１１４は、２つのコピーアップパッチ１１２と１１３の類似性または相関を示している。

図１ｄ及び図１ｅの自己類似性マトリックス１２０、１２１は、複素ＱＭＦサブバンドデータ（すなわち、マグニチュードと位相情報）を用いて決定されている。図から分かるように、すべてのＨＥ−ＡＡＣパッチははっきり見えるが、マトリックス１１０と１１１に示した位相のみに基づく分析の場合よりも、高い相関を示すラインのシャープさが少し低く、全体的なダイナミックレンジが小さい。

上記の分析方法をさらに評価するため、１６０の音楽ファイルと１３の異なるコーディング条件について、自己類似性マトリックス１１０、１１１、１２０、１２１から求めた最大自己相関値をプロットした。１３の異なるコーディング条件は、表１に列挙したパラメトリック周波数拡張（ＳＢＲ／ＳＰＸ）ツールを有する及び有さないコーダを含む。

表１は、分析された異なるコーディング条件を示す。表から分かるように、コピーアップパッチと周波数拡張ベースコーディングは、十分な確度で検出できる。これは、表１に列挙したオーディオ条件１ないし１３に対して最大相関値２００、２２０と確率密度関数２１０、２３０を示した図２ａと図２ｄから分かる。パラメトリック周波数拡張コーディングの利用の全体的な検出信頼性は、図５ｂと６ｂのコンテキストで示したように、検出閾値を適当に選択すれば、１００％に近い。

図２ａ及び図２ｂに示した分析結果は、複素サブバンドデータ（すなわち、位相とマグニチュード）に基づき、図２ｃ及び図２ｄに示した分析結果は、ＱＭＦサブバンドの位相のみに基づく。グラフ２００から分かるように、パラメトリック周波数拡張ベース符号化（ＳＢＲまたはＳＰＸ）方式（コーデックＮｏ．１ないし８及びＮｏ．１２）にかけられたオーディオ信号は、パラメトリック周波数拡張符号化を含まない符号化方式（コーデックＮｏ．９ないし１１及びＮｏ．１３）にかけられたオーディオ信号より、最大相関値２０１が高い（参照数字２０２を参照）。また、これは、グラフ２１０において、（ＳＢＲ／ＳＰＸベースコーデックＮｏ．１ないし８及びＮｏ．１２の場合の）確率密度関数２１１、及び（非ＳＢＲ／ＳＰＸベースコーデックＮｏ．９ないし１１及びＮｏ．１３の場合の）確率密度関数２１２にも示されている。図２ｃ及び図２ｄに示した位相のみの分析の場合にも同様の結果が得られる（グラフ２２０は最大相関値２２１と２２２を示す；グラフ２３０はＳＢＲ／ＳＰＸベースコーデック及び非ＳＢＲベースコーデックの場合の確率密度関数２３１、２３２を示す）。

相関ベースの分析方法のロバスト性は、適当な分析フィルタバンクの選択など、様々な手段で改善できる。（修正された）隣接ＱＭＦ帯域からの漏れにより、元の低周波帯域位相特性が変わる。これは、異なるＱＭＦ帯域の位相について決定される相関度に影響を与える。そのため、シャープな周波数セパレーションを与える分析フィルタバンクを選択すると有益である。分析フィルタバンクの周波数セパレーションは、プロトタイプフィルタを用いた分析フィルタバンクの設計で長さを長くする修正を加えることによりシャープになる。一例では、（図２ａないし図２ｄの結果に用いたフィルタの６４０サンプル長と比較して、）１２８０サンプル長を有するプロトタイプフィルタを設計し実装した。長いプロトタイプフィルタの周波数応答３０２と、元のプロトタイプフィルタの周波数応答３０１とを図３に示した。新しいフィルタの停止帯域減衰３０２が大きくなったことがはっきり分かる。

図４ａと図４ｂは、ＱＭＦサブバンドの位相のみデータに基づき決定された自己類似性マトリックス４００と４１０を示す。マトリックス４００には短いフィルタ３０１を用い、マトリックス４１０には長いフィルタ３０２を用いた。第１の周波数パッチ４０１が、ＱＭＦ帯域３（ｘ軸）から始まる対角線で示され、帯域インデックス２０ないし３５（ｙ軸）のターゲットＱＭＦ帯域をカバーしている。マトリックス４１０に用いた選択性の高いフィルタの場合、第２の周波数パッチ４１２がＱＭＦ帯域Ｎｏ．８から始まっていることが分かる。この第２の周波数パッチ４１２は、元のフィルタ３０１を用いて求めたマトリックス４００には現れていない。

留意点として、第２のパッチ４１２があることは、ｘ軸のＱＭＦ帯域２４から始まる対角線４０３から、推論することができる。しかし、帯域２５は第１のパッチのターゲットＱＭＦ帯域だから、対角線４０３は、両方のパッチで利用されたＱＭＦソース帯域のパッチ間類似性を示す。さらに留意点として、ＱＭＦソース帯域領域はオーバーラップするが、ターゲットＱＭＦ帯域領域はオーバーラップしない。これは、ＱＭＦソース帯域が複数のターゲットＱＭＦ帯域にパッチされるが、一般的に、すべてのターゲットＱＭＦ帯域は一意的な対応ＱＭＦソース帯域を有する。図から分かるように、セパレーションが大きい分析フィルタバンク３０２を用いることにより、図４ｂの類似性を示す線４０１、４１２は、（選択性が高くない分析フィルタバンク３０１を用いて決定された）図４ａにおいて類似性を示す線４０１と比較して、コントラストとシャープネスが高くなっている。

選択制が高いプロトタイプフィルタ３０２は、図５ａと図５ｂに示したように、位相のみデータと複素データに基づく分析で評価された。複素データベースの最大相関値５００は、選択性が高くない元のフィルタ３０１（図２ａを参照）を用いて決定された相関値２００と同様である。しかし、位相のみに基づく最大相関値５０１は、２つのクラスタ５０２と５０３にはっきりと分かれている。クラスタ５０２は周波数拡張で符号化されたオーディオ信号を示し、クラスタ５０３は周波数拡張を用いずに符号化されたオーディオ信号を示す。また、ローパワーＳＢＲ復号（コーディング条件２，４）の利用は、ハイクオリティＳＢＲ復号（コーディング条件１，３，５）の利用とは区別できる。これは、少なくとも、（コーディング条件６，７，８のように）その後の再符号化が行われていない場合である。

複素データに基づき、及び位相のみデータに基づき決定される最大相関値に対応する確率密度関数６００と６１０を図６ａと図６ｂにそれぞれ示した。さらにまた、ＨＱ ＳＢＲ符号化（参照数字６２１）とＬＱ ＳＢＲ符号化（参照数字６２２）の検出を示すために、図６ｃは図６ｂの一部６２０を示す。図から分かるように、複素データを用いるとき、周波数拡張を用いないコーディング方式の確率密度関数６０２は、周波数拡張を用いるコーディング方式の確率密度関数６０１と、部分的にオーバーラップする。他方、位相のみデータを用いるとき、確率密度関数６１２（周波数拡張を用いないコ―ディング方式）と確率密度関数６１１（周波数拡張を用いるコーディング方式）とはオーバーラップせず、ロバストなＳＢＲ／ＳＰＸ符号化の検出方式となる。さらにまた、図６ｃから分かるように、位相のみ分析方法により、コーディングモード間の区別ができる。具体的に、位相のみ分析方法により、ＬＰ復号（参照数字６２２）とＨＱ復号（参照数字６２１）間の区別ができる。

そのため、選択性が高い分析フィルタバンクの利用により、類似性マトリックスベースの周波数拡張検出方式のロバスト性が高くなる。代替的にまたは追加的に、類似性マトリックス中で対角線構造（すなわち、周波数パッチのインジケータ）をよりはっきりときわだたせるために、ラインエンハンスメント方式を用いても良い。ラインエンハンスメント方式の一例では、類似性マトリックスCにエンハンスメントマトリックスｈ、例えば

を作用させる。ここで、ラインエンハンスメント類似性マトリックスは、エンハンスメントマトリックスｈを類似性マトリックスＣに畳み込むことにより決まる。ラインエンハンスメントマトリックスの最大値は、オーディオ信号中に周波数拡張があることのインジケータと捉えることができる。

サブバンド間の相互相関係数を含む自己類似性マトリックスを用いて、周波数拡張パラメータを、すなわちオーディオ信号を符号化する時に周波数拡張に用いたパラメータを決定できる。周波数パッチングパラメータの抽出は、自己類似性マトリックスのライン検出方式に基づく。具体的に、高帯域にパッチされた低帯域を決定できる。この対応情報は、低帯域と高帯域との間の同じまたは類似の対応を使えるので、再符号化にとって有用である。

自己類似性マトリックス（例えば、マトリックス４１０）をグレーレベル画像と考えると、画像処理で知られている任意のライン検出方法（例えば、エッジ検出後のハフ変換）を使うことができる。例として、図７に示したように、一方法例を評価用に実装した。

適当なライン検出方式を設計するために、分析方法をよりロバストにするため、コーデック情報を用いる。例えば、低周波帯域を用いて高周波帯域をパッチすることができ、またはその逆ができると仮定する。さらにまた、パッチされたＱＭＦ帯域は単一のソース帯域のものである（すなわち、パッチはオーバーラップしない）と仮定する。他方、同じＱＭＦソース帯域を複数のパッチで用いても良い。これにより、（例えば、図４ｂの対角線４０３のように）パッチされた高帯域間の相関が高くなる。それゆえ、本方法は、実際のパッチとパッチ間の類似性との間を区別するように構成すべきである。さらなる仮定として、標準的なデュアルレート（オ―バーラップしていない）ＳＢＲの場合、ＱＭＦソース帯域はサブバンドインデックス１−３２のレンジにある。

上記の仮定の一部または全部を用いて、一例のライン検出方式は、次のステップのいずれかを用いる：
− （例えば、選択性が高いフィルタ３０２を用いて）ＱＭＦドメインの位相のみベースの自己類似性マトリックス４１０を比較するステップ；
− 主対角線に平行なすべてのラインが垂直ラインにより表されるように、類似性マトリックス４１０をチルト（tilt）する；結果として、ｘ軸が、対応するターゲットＱＭＦ帯域を決定するためにソースＱＭＦ帯域（ｙ軸）に適用される（複数のサブバンドとして）周波数シフトに対応する；
− パッチ同士の類似性を示すラインを削除するステップ；これはソース帯域のレンジに関する知識を用いることにより達成できる；
−オーディオ帯域幅の外側のラインを削除する；これは例えばパワースペクトル分析を用いて、オーディオ信号の帯域幅を決定することにより達成できる；
−主対角線（すなわち、自己相関）を削除する；類似性マトリックス４１０をチルトした後、主対角線はｘ＝０における垂直ラインに、すなわち周波数シフトがないことに対応する。
−水平方向の一または複数の極大を検出し、チルトされたマトリックス内の他の相関値をすべてゼロに設定する；
−すべての相関値を（適応的）閾値より低いゼロに設定する；
−垂直ライン（すなわち、相関値が閾値より大きく、１帯域より長い）を検出する。

図７は、ライン処理前の類似性マトリックス（参照数字７００）と、ライン処理後の類似性マトリックス（参照数字７１０）とを示す。図から分かるように、ぼやけた垂直パッチライン７０１と７０２は、上記の方式を用いてはっきりと分離され、それぞれパッチライン７１１と７１２となる。

上記のアプローチ（または同様のライン検出方式）を用いて、パッチ検出を行う。具体的に、上記のアプローチを、表１に列挙したＨＥ−ＡＡＣコーディング（コーディング条件１−８）の場合に評価した。検出性能は、すべてのパッチパラメータが正しく特定されたオーディオファイルのパーセンテージとして決められる。図から分かるように、位相のみデータに基づく分析は、複素データに基づく分析より、再符号化していないＨＥ−ＡＡＣ（コーディング条件１−５）に対して大幅によい検出結果を与える。これらのコーディング条件の場合、パッチングパラメータ（ソース帯域とターゲット帯域間のマッピング）を高い信頼度で決定できる。そのため、オーディオ信号を再符号化する時、推定されるパッチングパラメータを用いることができ、それにより再符号化プロセスにより信号がさらに劣化することを回避または低減できる。

ＨＱ−ＳＢＲ復号信号と比較して、ＬＰ−ＳＢＲ復号信号の場合、パッチパラメータ検出レートは低下する。ＡＡＣ再符号化信号（コーディング条件６−８）の場合、両方の方法の検出レート（位相のみデータに基づくものと複素データに基づくもの）は低レベルに低下する。これはさらに詳細に分析した。条件６について、類似性マトリックス８００を図８に示した。図から分かるように、第１のパッチ８０１ははっきりしており、上記のライン検出方式により正しく識別できる。他方、第２のパッチ８０２はそれほどはっきりしていない。第２のパッチ８０２の場合、ソース及びターゲットＱＭＦ帯域は正しく検出されたが、ライン検出方式により決定されたＱＭＦ帯域数が少なすぎた。図８から分かるように、高い帯域に向かって相関が小さくなっていることによる。このような薄くなるラインは、上で概説した閾値ベースのアルゴリズムではうまく検出できないかもしれない。しかし、例えば、（グレー画像をバイナリ画像に変換するのに使われる）Noboyuki Ostu著「A Threshold Selection Method from Gray-Level Histograms」（IEEE Transactions on Systems, Man and Cybernetics, Vol. SMC-９, No. １, January １９７９, pages ６２-６６）に記載された方法などの適応的閾値ライン検出方法を用いてパッチパラメータ決定方式のロバスト性を高めることができる。上記の文献は参照援用する。

上記の通り、本文献で説明する方法は、ＳＰＸ符号化を含む様々な周波数拡張方式に適用できる。そのため、オーディオ信号に適用された周波数帯域方式で用いられるフィルタバンク解像度に必ずしも対応しない分析フィルタバンクの解像度に基づき、類似性マトリックスを決定できる。これは図９に示されている。一例の類似性マトリックス９００は、ＤＤ＋コーディングにかけられたオーディオ信号の６４帯域複素ＱＭＦ分析に基づき決定された。周波数パッチ９０１がはっきりと見える。しかし、パッチの開始点と終了点は容易には検出できない。これは、ＤＤ＋に用いられるＳＰＸ方式が、類似性マトリックス９００を決定するのに用いた６４帯域ＱＭＦよりも細かい解像度を有するフィルタバンクを用いることによる。チャンネルがもっと多いフィルタバンクを、例えば、（ＤＤ／ＤＤ＋で用いられる２５６係数ＭＤＣＴによる）２５６帯域ＱＭＦバンクを用いると、より正確な結果を得ることができる。言い換えると、周波数拡張コーディング方式のチャンネル数に対応したチャンネルを用いると、より正確な結果が得られる。

全般的に言えることとして、周波数解像度が高い分析フィルタバンクを用いれば、例えば周波数拡張コーディングに用いるフィルタバンクの周波数解像度と同じかより高い周波数解像度を有する分析フィルタバンクを用いれば、（周波数拡張コーディングの検出と、パッチパラメータの決定との両方の点において）より正確な分析結果が得られる。

上で指摘したように、ＤＤ＋コーディングは、ＨＥ−ＡＡＣとは異なる周波数拡張の周波数解像度を用いる。上に示したように、周波数拡張に実際に用いられた周波数解像度とは異なる周波数解像度を周波数拡張に用いると、パッチボーダーすなわちパッチの最低及び／または最高帯域がぼけることがある。この情報を用いて、オーディオ信号に適用されたコーディングシステムに関する情報を決定できる。言い換えると、周波数パッチボーダーを評価することにより、コーディング方式を決定できることがある。例えば、パッチボーダーが類似性マトリックスの決定に用いられる６４ＡＭＦ帯域グリッドとぴったり合わない場合、コーディング方式はＨＥ−ＡＡＣではないと結論できる。

さらに望ましくは、ＨＥ−ＡＡＣｖ２でのパラメトリックステレオ（ＰＳ）符号化の利用及びＤＤ／ＤＤ＋でのカップリングの利用を検出する手段を提供する。ＰＳはステレオコンテンツのみに関係し、カップリングはステレオ及びマルチチャンネルのオーディオに適用される。両ツールの場合、ビットストリームにおいて、単一チャンネルによるデータのみが少量のサイド情報とともに送信される。サイド情報は、復号器において、送信されたチャンネルから他のチャンネル（すなわち、第２のステレオチャンネルやマルチチャンネル）を生成するために用いられる。ＰＳはオーディオの全帯域幅にわたりアクティブであるが、カップリングは高周波のみに適用される。カップリングはインテンシティステレオ（ＩＳ）のコンセプトに関連し、チャンネル間相関分析により、または左右チャンネルの位相情報の比較により検出できる。ＰＳでは、逆相関方式（decorrelation scheme）により元の信号のチャンネル間相関特性が維持されるので、左右チャンネル間の位相関係は複雑である。しかし、ＰＳ逆相関では、図１０ａに示したように、平均チャンネル間位相差に特徴的なフィンガープリントが残る。この特徴的なフィンガープリントを検出できる。

ＰＳ符号化の使用の検出方法例では、次のステップのどれかが適用される：
−（復号された）オーディオ信号の両チャンネルの複素６４帯域ＱＭＦ分析を行うステップ；
−各ＱＭＦビンの左右位相角差を計算するステップ；
言い換えると、ＱＭＦビン中の複素サンプルの位相を評価するステップ；
具体的には、左右チャンネルの対応するサンプルの位相差を決定する；
−すべてのＱＭＦフレームにわたる平均位相角差を決定するステップ；
異なる符号化をされた信号の平均位相角差例１０００を図１０ａに示した；
−ＰＳは高周波で特徴的な周期的構造１００１を示す；
例えば、ピークフィルタリングとえネルぎー計算により、この特徴的構造を検出できる。

カップリングの使用の検出方法例では、次のステップのどれかが適用される：
−（復号された）オーディオ信号の両チャンネルの複素６４帯域ＱＭＦ分析を行うステップ；
−各ＱＭＦビンの左右位相角差を計算するステップ；
−ＱＭＦビンごとに位相角差が小さいサンプルの数を計算する、すなわち各ＱＭＦ帯域について位相角差が所定閾値未満（一般的には、位相角差＜π／１００）のサンプルを計算するステップ；
異なる符号化をした信号の位相角差１０１０が小さいサブバンドサンプルの割合／パーセンテージ１０１０を図１０ｂに示した；
−図１０ｂのグラフ１０１１に示したように、ＱＭＦ帯域に沿った大きな増加はカップリングの利用を示す。

上に外接したように、スペクトル帯域幅複製方法により、低周波係数中の情報に基づき高周波係数を生成する。これは、帯域幅複製方法により低周波係数と高周波係数との間に何らかの関係または相関が生じることを示唆する。以下、（復号された）オーディオ信号がスペクトル帯域幅複製にかけられたことを検出するさらに別のアプローチを説明する。このアプローチでは、低周波係数と高周波係数との間の関係を捉える確率モデルを構成する。

低周波係数と高周波係数との間の関係を捉えるため、Ｎ個のスペクトル低帯域ベクトル｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝よりなるトレーニングデータセットを生成する。低帯域ベクトル｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝は、所定の最大周波数Ｆ_{ｎａｒｒｏｗ}（例えば、８ｋＨｚ）を有するオーディオ信号から計算できるスペクトルベクトルである。すなわち、｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝は、例えば１６ｋＨｚのサンプリングレートのオーディオから計算したスペクトルベクトルである。低帯域ベクトルは、例えば、ＨＥ−ＡＡＣまたはＭＰＥＧ ＳＢＲ符号化オーディオ信号の、すなわち周波数拡張コーディングの履歴を有するオーディオ信号の低周波帯域に基づき決定される。

さらにまた、これらのＮ個のスペクトルベクトル｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝の帯域幅拡張バージョンは、帯域幅複製方法（例えば、ＭＰＥＧ ＳＢＲ）を用いて決定できる。ベクトル｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝の帯域幅拡張バージョンを｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝とする。｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝の最大周波数コンテンツは所定最大周波数Ｆ_ｗｉｄｅ（例えば、１６ｋＨｚ）である。これは、Ｆ_{ｎａｒｒｏｗ}（例えば、８ｋＨｚ）とＦ_ｗｉｄｅ（例えば、１６ｋＨｚ）との間の周波数係数は｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝に基づいて生成されることを示唆する。

このトレーニングデータセットが与えられたとき、ｚ_ｊ＝｛ｘ_ｊ，ｙ_ｊ｝（すなわち、狭帯域スペクトルベクトルと広帯域スペクトルベクトルの連結）として、一組のベクトル｛ｚ_１，ｚ_２，．．．ｚ_Ｎ｝の同時密度（joint density）は、

により決定できる。ここで、ｎはベクトルｚ_ｉの次元である。ＧＭＭにおいて、Ｑは同時密度ｐ（ｚ｜λ）の近似に使われるガウシアンミクスチャモデル（ＧＭＭ）の成分数であり、μ_ｉはｉ番目のミクスチャ成分の平均であり、Ｃ_ｉはｉ番目のミクスチャ成分の共分散である。

留意点として、ｚの共分散マトリックス（すなわちＣ_ｉ）は、

と書ける。ここで、Ｃ_ｉ ^ｘｘは低帯域スペクトルベクトルの共分散マトリックスを指し、Ｃ_ｉ ^ｙｙは広帯域スペクトルベクトルの共分散マトリックスを指し、Ｃ_ｉ ^ｘｙは低帯域及び広帯域スペクトルベクトル間の相互共分散マトリックスを指す。

同様に、ｚの平均ベクトル（μ_ｉ）は

と書ける。ここで、μ_ｉ ^ｘはｉ番目のミクスチャ成分の低帯域スペクトルベクトルの平均であり、μ_ｉ ^ｙはｉ番目のミクスチャ成分の広帯域スペクトルベクトルの平均である。

同時密度に基づき、すなわち決定される平均ベクトルμ_ｉと共分散マトリックスＣｉとに基づき、低帯域スペクトルベクトル（ｘ_ｉ）を広帯域スペクトルベクトル（ｙｉ）にマッピングする関数Ｆ（ｘ）を定義できる。この例では、Ｆ（ｘ）は元の広帯域スペクトルベクトルと再構成されたスペクトルベクトルとの間の平均二乗誤差を最小化するように選択される。この仮定の下、Ｆ（ｘ）は

と決定できる。

ここで、Ｅ［ｙ｜ｘ］は、観測された低帯域スペクトルベクトルｘが与えられたとして、ｙの条件付き期待値を指す。ｈ_ｉ（ｘ）項は、観測された低帯域スペクトルベクトルｘが推定されたＧＭＭのｉ番目のミクスチャ成分（式（１）を参照）から生成される確率を指す。

ｈ_ｉ（ｘ）項は

で計算できる。

上記の統計モデルを用いて、ＳＢＲ検出方式は次のように記述できる。式（１）と（２）に基づき、低帯域スペクトルベクトルとそれに対応する広帯域スペクトルベクトルとを含むトレーニングデータを用いて、低周波成分と高周波成分との関係を捉えることができる。

新しい（復号された）オーディオ信号から決定された新しい広帯域スペクトルベクトル（ｕ）が与えられたとき、統計モデルを用いて、その（復号された）オーディオ信号の高周波スペクトル成分が帯域複製方法に基づいて生成されたかどうか判断できる。帯域幅複製が行われたか検出するために、以下のステップを実行できる：
入力された広帯域スペクトルベクトル（ｕ）を２つの部分ｕ＝［ｕ_ｘ ｕ_ｈｉ］に分割する。ｕ_ｘは帯域スペクトルベクトルに対応し、ｕ_ｈｉは、帯域幅複製方法により生成されたまたはされていないオーディオ信号のスペクトルの高周波部分に対応する。

統計モデルを用いて、具体的には式（２）を用いて、ｕｘに基づき広帯域ベクトルＦ（ｕ_ｘ）を推定する。高周波成分が式（１）の確率モデルにより生成された場合、予測誤差‖ｕ−Ｆ（ｕ_ｘ）‖は小さい。そうでない場合、予測誤差は大きく、帯域幅複製方法により高周波成分が生成されなかったことを示す。結果として、予測誤差‖ｕ−Ｆ（ｕ_ｘ）‖を好適な誤差閾値と比較することにより、入力ベクトル「ｕ」にＳＢＲが行われたか、すなわち（復号された）オーディオ信号がＳＢＲ処理にかけられたか検出できる。

留意点として、代替的に、上記の統計モデルは低帯域ベクトル｛Ｘ_１，Ｘ_２，．．．Ｘ_Ｎ｝とそれに対応する高帯域ベクトル｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝を用いて決定できる。ここで、高帯域ベクトル｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝は帯域幅複製方法（例えば、ＭＰＥＧ ＳＢＲ）を用いて｛ｘ_１，ｘ_２，．．．ｘ_Ｎ｝から決定されたものである。これは、ベクトル｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝が、帯域幅複製方法を用いて生成された高帯域成分のみを含み、高帯域成分が生成された低帯域成分を含まないことを意味する。一組のベクトル｛ｚ_１，ｚ_２，．．．ｚ_Ｎ｝は、ｚ_ｊ＝｛ｘ_ｊ ｙ_ｊ｝であり、低帯域スペクトルベクトルと高帯域スペクトルベクトルとの連結として決定される。こうすることにより、ガウシアンミクスチャモデル（ＧＭＭ）の次元を減らし、全般的な複雑性を低減できる。留意点として、上記の式は、｛ｙ_１，ｙ_２，．．．ｙ_Ｎ｝が高帯域ベクトルである場合にも適用できる。

本文献では、（復号された）オーディオ信号を分析する方法とシステムを説明した。これらの方法とシステムを用いて、オーディオ信号が周波数拡張ベースのコーデックにかけられたか、例えばＨＥ−ＡＡＣまたはＤＤ＋にかけられたか、判断できる。さらにまた、これらの方法とシステムを用いて、対応する低周波サブバンドと高周波サブバンドのペア、復号モード（ＬＰまたはＨＱ復号）、パラメトリックステレオ符号化の利用、カップリングの利用など、周波数拡張ベースのコーデックにより用いられたパラメータを検出できる。説明した方法とシステムは、（復号された）オーディオ信号（例えば、ＰＣＭオーディオ信号）の履歴に関する情報が無くても、（復号された）オーディオ信号のみから上記の情報を決定するように構成される。

本文献で説明した方法とシステムはソフトウェア、ファームウェア、及び／又はハードウェアとして実施できる。あるコンポーネントは、例えば、デジタル信号プロセッサやマイクロプロセッサ上で動作するソフトウェアとして実施できる。他のコンポーネントは、例えば、ハードウェアとして、及び／又は特定目的集積回路として実施できる。

Claims (38)

1. オーディオ信号のコーディング履歴における周波数拡張コーディングを検出する方法であって、
   低周波サブバンドと高周波サブバンドを含む対応する複数のサブバンドの複数のサブバンド信号を提供するステップであって、
   前記複数のサブバンド信号は前記オーディオ信号の時間／周波数ドメイン表現に対応するステップと、
   前記低周波サブバンドのサブバンド信号と前記高周波サブバンドのサブバンド信号との間の関係度を決定するステップであって、
   前記関係度は前記複数のサブバンド信号に基づき決まるステップと、
   前記関係度が関係閾値より大きいとき、周波数拡張コーディング履歴を決定するステップとを有する、方法。
2. 前記複数のサブバンド信号は、
   複素値擬似二次ミラーフィルタバンク、
   修正離散余弦変換、
   修正離散正弦変換、
   離散フーリエ変換、
   変調重複変換、
   複素変調重複変換、または
   高速フーリエ変換、のうちの一を用いて生成される、
   請求項１に記載の方法。
3. 前記複数のサブバンド信号は複数のフィルタを含むフィルタバンクを用いて生成され、各フィルタはその停止帯域内にある周波数所定のロールオフ閾値を越えるロールオフを有する、
   請求項１または２に記載の方法。
4. 前記複数のフィルタは、Ｍ個のフィルタ係数を有し、Ｍは検出すべき前記周波数拡張コーディングにより用いられたフィルタ係数の数より大きい、
   請求項３に記載の方法。
5. 前記オーディオ信号は複数のオーディオチャンネルを有し、
   前記方法は、前記複数のオーディオチャンネルをダウンミックスして、ダウンミックスされた時間ドメインオーディオ信号を決定するステップを有し、
   前記複数のサブバンド信号は前記ダウンミックスされた時間ドメインオーディオ信号から生成される、
   請求項１ないし４いずれか一項に記載の方法。
6. 前記オーディオ信号の最大周波数を決定するステップをさらに有し、
   前記複数のサブバンド信号は前記最大周波数のまたはそれ未満の周波数のみを含む、
   請求項１ないし５いずれか一項に記載の方法。
7. 最大周波数を決定するステップは、
   前記周波数ドメインのオーディオ信号のパワースペクトルを分析するステップと、
   最大周波数より高いすべての周波数において前記パワースペクトルがパワー閾値未満であるように、前記最大周波数を決定するステップとを有する、
   請求項６に記載の方法。
8. 前記複数のサブバンド信号は、複数の位相信号とそれに対応する複数の強さ信号を含む複数の複素サブバンド信号であり、
   前記関係度は、前記複数の強さ信号ではなく、前記複数の位相信号に基づき決定される、
   請求項１ないし７いずれか一項に記載の方法。
9. 関係度を決定するステップは、前記低周波サブバンドの一群のサブバンド信号から生成された高周波サブバンドの一群のサブバンドを決定するステップを有する、
   請求項１ないし８いずれか一項に記載の方法。
10. 関係度を決定するステップは、前記複数のサブバンド信号間の一組の相互相関値を決定するステップを有する、
    請求項１ないし９いずれか一項に記載の方法。
11. 第１と第２のサブバンド信号間の相関値を決定するステップは、ゼロ時間遅れにおける第１と第２のサブバンド信号の対応するサンプルの積の時間的平均を決定するステップを有する、
    請求項１０に記載の方法。
12. 前記複数のサブバンド信号はＫ個のサブバンド信号を有し、
    前記一組の相互相関値は、前記複数のサブバンド信号の異なるサブバンド信号のすべての組合せに対応する（Ｋ−１）！個の相互相関値を含む、
    請求項１０または１１に記載の方法。
13. 周波数拡張コーディング履歴を決定するステップは、前記一組の相互相関値から少なくとも一の最大相互相関値を決定するステップを有する、
    請求項１０ないし１２いずれか一項に記載の方法。
14. 前記一組の相互相関値は、主対角線が任意の値、例えばゼロまたは前記複数のサブバンド信号の自己相関値に対応する値を有する対称Ｋ×Ｋ相関マトリックスで構成される、
    請求項１２または１３に記載の方法。
15. 前記相関マトリックスの相互相関値が極大になる一または複数の対角線を強調するため、前記相関マトリックスにラインエンハンスメントを適用するステップをさらに有する、
    請求項１４に記載の方法。
16. ラインエンハンスメントは前記相関マトリックスをエンハンスメントマトリックス
    

    

    で畳み込んで、エンハンスされた相関マトリックスを求める、
    請求項１５に記載の方法。
17. 周波数拡張コーディング履歴を決定するステップは、前記主対角線を除く、前記エンハンスされた相関マトリックスのうち少なくとも一の最大相互相関値が前記関係閾値を越えると決定するステップを有する、
    請求項１６に記載の方法。
18. 前記相関マトリックスを分析して、相互相関値が極大になる一または複数の対角線を検出するステップをさらに有し、
    相互相関値が極大になる対角線は前記相関マトリックスの主対角線上にはなく、
    相互相関値が極大になる対角線は二以上の極大相互相関値を有し、
    前記二以上の極大相互相関値の各々は最小相関閾値より大きく、
    前記二以上の極大相互相関は、前記相関マトリックスの主対角線に平行な対角線状にあり、
    前記相関マトリックスの行の前記二以上の極大相互相関値の各々について、同じ行かつすぐ隣接する左側の列の相互相関値は前記最小相関閾値以下であり、及び／または同じ行かつすぐ隣する右側の列の相互相関値は前記最小相関閾値以下である、
    請求項１４ないし１７いずれか一項に記載の方法。
19. 前記主対角線の上または下に相互相関値が極大になる三以上の対角線を検出し、
    前記相関マトリックスの行はソースサブバンドを示し、前記相関マトリックスの列はターゲットサブバンドを示し、
    前記方法は、さらに、
    前記相関マトリックスの同じソースサブバンドの極大相互相関値を有する少なくとも２つの冗長な対角線を検出するステップと、
    最低のターゲットサブバンドを有する少なくとも２つの冗長な対角線を、複数のソースサブバンドから複数のターゲットサブバンドへのコピーアップパッチとして特定するステップとを有する、
    請求項１８に記載の方法。
20. 検出された対角線の始め及び／または終わりの前記検出された対角線の極大相互相関値がぼやけ閾値より小さいことを検出するステップと、
    前記変換ステップのパラメータを、複数の周波数拡張コーディング方式に用いた変換ステップのパラメータと比較するステップと、
    前記比較するステップに基づき、前記オーディオ信号に適用された前記複数の周波数拡張コーディング方式のうち周波数拡張コーディング方式を決定するステップとを有する、
    請求項１８または１９に記載の方法。
21. 前記一組の相互相関値のうち最大相互相関値が復号モード閾値より低いか高いか判断するステップであって、それにより前記オーディオ信号に適用された周波数拡張コーディング方式の復号モードを検出するステップをさらに有する、
    請求項１０ないし２０いずれか一項に記載の方法。
22. 前記オーディオ信号は第１と第２のチャンネルを有するマルチチャンネル信号であり、
    前記方法は、さらに、
    前記第１と第２のチャンネルを周波数ドメインに変換して、それにより複数の第１のサブバンド信号と複数の第２のサブバンド信号を生成するステップであって、
    前記第１と第２のサブバンド信号は複素値であり、第１と第２の位相信号を含むステップと、
    複数の位相差サブバンド信号を、対応する第１と第２のサブバンド信号の差として決定するステップとを有する、
    請求項１ないし２１いずれか一項に記載の方法。
23. 複数の位相差値を決定するステップであって、各位相差値は前記対応する位相差サブバンド信号のサンプルの時間的平均として決定するステップと、
    前記複数の位相差値の周期構造を検出し、それにより前記オーディオ信号のコーディング履歴中のパラメトリックステレオ符号化を検出するステップとを有する、
    請求項２２に記載の方法。
24. 前記周期構造は正と負の位相差値の間の隣接サブバンドの位相差値の振動を含み、
    前記振動する位相差値の強さは振動閾値より大きい、
    請求項２３に記載の方法。
25. 各位相差サブバンド信号について、サンプルの一部が位相差閾値より小さい位相差を有すると判断するステップと、
    前記一部が前記高周波サブバンドのうちのサブバンドの一部閾値を越えることを検出し、それにより前記オーディオ信号のコーディング履歴中の前記第１と第２のチャンネルのカップリングを検出するステップとを有する、
    請求項２２ないし２４いずれか一項に記載の方法。
26. 前記関係度を決定するステップは、
    周波数拡張コーディング履歴を有するトレーニングオーディオ信号から求めた一組のトレーニングベクトルから決定した確率モデルを設ける段階であって、
    前記確率モデルは前記複数の高周波サブバンドと前記低周波サブバンドにより張られたベクトル空間のベクトル間の確率的関係を記述するステップと、
    前記低周波サブバンドのサブバンド信号が与えられたとき、前記高周波サブバンドの複数のサブバンド信号の推定を設けるステップであって、
    前記推定は前記確率モデルに基づいて決定されるステップと、
    前記高周波サブバンドの複数のサブバンド信号の推定と、前記高周波サブバンドの複数のサブバンド信号とから求めた推定誤差に基づき関係度を決定するステップとを有する、
    請求項１ないし９いずれか一項に記載の方法。
27. 前記確率モデルは前記複数のサブバンドと前記低周波サブバンドとにより張られたベクトル空間のベクトル間の確率的関係を記述するし、
    前記低周波サブバンドのサブバンド信号が与えられたとき、前記複数のサブバンド信号の推定を設け、
    関係度は前記複数のサブバンド信号の推定と、前記複数のサブバンド信号との間の推定誤差に基づき決定される、
    請求項２６に記載の方法。
28. 前記確率的モデルはガウシアンミクスチャモデルである、
    請求項２７に記載の方法。
29. 前記確率モデルは複数のミクスチャ成分を有し、各ミクスチャ成分は前記ベクトル空間の平均ベクトルと、前記ベクトル空間の共分散マトリックスＣとを有する、
    請求項２８に記載の方法。
30. ｉ番目のミクスチャ成分の平均ベクトルμ_ｉは前記ベクトル空間のクラスタの重心を表し、
    前記ｉ番目のミクスチャ成分の共分散マトリックスＣ_ｉは前記ベクトル空間の異なる次元間の相関を表す、
    請求項２９に記載の方法。
31. 前記推定は
    

    

    で決定され、
    Ｅ［ｙ｜ｘ］は前記低周波サブバンドのサブバンド信号ｘが与えられたときの、前記複数のサブバンド信号ｙの推定であり、ｈ_ｉ（ｘ）は前記サブバンド信号ｘが与えられたときの、前記ガウシアンミクスチャモデルのｉ番目のミクスチャ成分の関係性を示し、μ_ｉ ^ｙは前記複数のサブバンドに対応する平均ベクトルμ_ｉの成分であり、μ_ｉ ^ｘは前記低周波サブバンドのサブ空間に対応する平均ベクトルμｉの成分であり、Ｑは前記ガウシアンミクスチャモデルの成分の数であり、Ｃ_ｉ ^ｙｘとＣ_ｉ ^ｘｘは前記共分散マトリックスＣ_ｉのサブマトリックスである、
    請求項３０に記載の方法。
32. ｈ_ｉ（ｘ）は低周波サブバンドのサブバンド信号ｘ前記ガウシアンミクスチャモデル
    

    

    のｉ番目のミクスチャ成分に入る確率である、
    請求項３１に記載の方法。
33. オーディオ信号のコーディング履歴において、パラメトリックオーディオコーディングツールの使用を検出する方法であって、前記オーディオ信号は第１のチャンネルと第２のチャンネルを含むマルチチャンネル信号であり、前記方法は、
    複数の第１のサブバンド信号と複数の第２のサブバンド信号とを提供するステップであって、前記複数の第１のサブバンド信号は前記マルチチャンネル信号の第１のチャンネルの時間／周波数ドメイン表現に対応し、前記複数の第２のサブバンド信号は前記マルチチャンネル信号の第２のチャンネルの時間／周波数ドメイン表現に対応し、前記複数の第１と第２のサブバンド信号は複素値であり複数の第１と第２の位相信号を含むステップと、
    対応する第１と第２の位相信号の、前記複数の第１と第２の位相信号との差として、複数の位相差サブバンド信号を決定するステップと、
    前記複数の位相差サブバンド信号から前記オーディオ信号のコーディング履歴におけるパラメトリックオーディオコーディングツールの使用を検出するステップとを有する、方法。
34. 複数の位相差値を決定するステップであって、各位相差値は前記対応する位相差サブバンド信号のサンプルの時間的平均として決定するステップと、
    前記複数の位相差値の周期構造を検出し、それにより前記オーディオ信号のコーディング履歴中のパラメトリックステレオ符号化を検出するステップとを有する、
    請求項３３に記載の方法。
35. 各位相差サブバンド信号について、サンプルの一部が位相差閾値より小さい位相差を有すると判断するステップと、
    前記一部が、クロスオーバ周波数より高い周波数において、サブバンド信号の一部閾値を越えることを検出し、それにより前記オーディオ信号のコーディング履歴中の前記第１と第２のチャンネルのカップリングを検出するステップとを有する、
    請求項３３ないし３４いずれか一項に記載の方法。
36. プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし３５いずれか一項の方法ステップを実行するソフトウェアプログラム。
37. プロセッサで実行するために構成され、計算デバイスで実行されると、請求項１ないし３５いずれか一項の方法ステップを実行するソフトウェアプログラムを有する記憶媒体。
38. コンピュータで実行されると、請求項１ないし３５いずれか一項に記載の方法を実行する実行可能命令を有するコンピュータプログラム製品。

Images