JP2016515723A - インターリーブされた波形符号化のためのオーディオ・エンコーダおよびデコーダ - Google Patents

Abstract

オーディオ信号のデコードおよびエンコードのための方法および装置が提供される。特に、デコード方法は、クロスオーバー周波数より上の周波数範囲のある部分集合に対応するスペクトル内容をもつ波形符号化された信号を受領することを含む。波形符号化された信号は、クロスオーバー周波数より上のオーディオ信号のパラメトリック高周波数再構成とインターリーブされる。このようにして、オーディオ信号の高周波数帯域の改善された再構成が達成される。

Description

本稿に開示される発明は概括的にはオーディオ・エンコードおよびデコードに関する。詳細には、オーディオ信号の高周波数再構成を実行するよう適応されたオーディオ・エンコーダおよびオーディオ・デコーダに関する。

オーディオ符号化システムはオーディオの符号化のために、純粋な波形符号化、パラメトリック空間的符号化およびスペクトル帯域複製（SBR: Spectral Band Replication）アルゴリズムを含む高周波数再構成アルゴリズムといった種々の方法論を使用する。MPEG-4標準はオーディオ信号の波形符号化およびSBRを組み合わせる。より正確には、エンコーダは、クロスオーバー周波数までのスペクトル帯域についてはオーディオ信号を波形符号化して、クロスオーバー周波数より上のスペクトル帯域はSBRエンコードを使ってエンコードしてもよい。オーディオ信号の波形符号化された部分はその後、SBRエンコードの間に決定されたSBRパラメータと一緒にデコーダに伝送される。すると、オーディオ信号の波形符号化された部分およびSBRパラメータに基づいて、デコーダはクロスオーバー周波数より上のスペクトル帯域におけるオーディオ信号を再構成する。これについてはレビュー論文の非特許文献１で論じられている。

このアプローチの一つの問題は、強いトーン性成分、すなわち強いハーモニック成分またはSBRアルゴリズムによってうまく再構成されない高スペクトル帯域中の何らかの成分が出力において欠けるということである。

この目的に向け、SBRアルゴリズムは欠失ハーモニクス検出手順を実装する。SBR高周波数再構成によって適正に再構成されないトーン性成分がエンコーダ側で識別される。これらの強いトーン性成分の周波数位置の情報がデコーダに伝送され、そこで、欠けているトーン性成分が位置しているスペクトル帯域のスペクトル内容がデコーダで生成された正弦波によって置き換えられる。

Brinker et al., "An overview of the Coding Standard MPEG-4 Audio Amendments 1 and 2: HE-AAC, SSC, and HE-AAC v2", EURASIP Journal on Audio, Speech and Music Processing, Volume 2009, Article ID 468971

SBRアルゴリズムにおいて提供されている欠失ハーモニクス検出の利点は、いくらか簡略化して言うと、トーン性成分の周波数位置およびその振幅レベルだけをデコーダに伝送すればよいので、非常に低ビットレートの解決策であるということである。SBRアルゴリズムの欠失ハーモニクス検出の欠点は、非常に粗いモデルであるということである。もう一つの欠点は、伝送レートが低いとき、すなわち1秒当たりに伝送されうるビット数が少なく、その結果としてスペクトル帯域が広いとき、大きな周波数範囲が正弦波によって置換されてしまうということである。

SBRアルゴリズムのもう一つの欠点は、オーディオ信号において現われる過渡成分をぼかしてしまう傾向があるということである。典型的には、SBR再構成されたオーディオ信号には過渡成分の前エコーおよび後エコーがある。このように、改善の余地がある。

以下では、例示的な実施形態について、付属の図面を参照して、より詳細に記述する。
例示的な実施形態に基づくデコーダの概略図である。 例示的な実施形態に基づくデコーダの概略図である。 例示的な実施形態に基づくデコード方法のフローチャートである。 例示的な実施形態に基づくデコーダの概略図である。 例示的な実施形態に基づくエンコーダの概略図である。 例示的な実施形態に基づくエンコード方法のフローチャートである。 例示的な実施形態に基づく信号伝達方式の概略的な図解である。 ａ〜ｂは、例示的な実施形態に基づくインターリーブ段の概略的な図解である。 すべての図面は概略的であり、一般に、本発明を明快にするために必要な部分を示すのみである。他の部分は省略されたり、単に示唆されるだけのことがある。特に断わりのない限り、同様の参照符号は異なる図面において同様の部分を指す。

上記に鑑み、高周波数帯域における過渡成分およびトーン性成分の改善された再構成を提供するエンコーダおよびデコーダならびに関連する方法を提供することが目的である。

〈Ｉ．概観 ― デコーダ〉
本稿での用法では、オーディオ信号は純粋なオーディオ信号またはオーディオビジュアル信号またはマルチメディア信号のオーディオ部分またはメタデータと組み合わせたこれらの任意のものでありうる。

第一の側面によれば、例示的実施形態はデコード方法、デコード装置およびデコードのためのコンピュータ・プログラム・プロダクトを提案する。提案される方法、装置およびコンピュータ・プログラム・プロダクトは一般に同じ特徴および利点をもつことがある。

例示的実施形態によれば、オーディオ処理システムにおけるデコード方法であって：第一のクロスオーバー周波数までのスペクトル内容をもつ第一の波形符号化された信号を受領する段階と；前記第一のクロスオーバー周波数より上の周波数範囲の部分集合に対応するスペクトル内容をもつ第二の波形符号化された信号を受領する段階と；高周波数再構成パラメータを受領する段階と；前記第一の波形符号化された信号および前記高周波数再構成パラメータを使って高周波数再構成を実行して、前記第一のクロスオーバー周波数より上のスペクトル内容をもつ周波数拡張された信号を生成する段階と；前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブする段階とを含む、方法が提供される。

本稿での用法では、波形符号化された信号は、波形の表現の直接的な量子化；最も好ましくは入力波形信号の周波数変換のラインの量子化によって符号化された信号と解釈される。これは、信号が信号属性の一般的モデルの変形によって表現されるパラメトリック符号化に対するものである。

このように、本デコード方法は、第一のクロスオーバー周波数より上の周波数範囲の部分集合における波形符号化されたデータを使い、それを高周波数再構成された信号とインターリーブすることを提案する。このようにして、第一のクロスオーバー周波数より上の周波数帯域における信号の重要な部分、たとえばパラメトリック高周波数再構成アルゴリズムでは典型的にはうまく再構成されないトーン性成分や過渡成分が波形符号化されうる。結果として、第一のクロスオーバー周波数より上の周波数帯域における信号のこれらの重要な部分の再構成が改善される。

例示的な実施形態によれば、第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は疎な部分集合である。たとえば、該部分集合は、複数の孤立した周波数区間からなっていてもよい。これは、前記第二の波形符号化された信号を符号化するためのビット数が少ない点で有利である。それでも、複数の孤立した周波数区間をもつことにより、オーディオ信号のトーン性成分、たとえば単独のハーモニクスが、前記第二の波形符号化された信号によってうまく捕捉されうる。結果として、高周波数帯域についてのトーン性成分の再構成の改善が低ビット・コストで達成される。

例示的な実施形態によれば、前記第二の波形符号化された信号は、再構成されるべきオーディオ信号中の過渡成分を表わしていてもよい。過渡成分（transient）は典型的には短い時間的範囲、たとえば48kHzのサンプリング・レートで約100時間サンプル、たとえば5ないし10ミリ秒のオーダーの時間的範囲に限定されているが、広い周波数範囲をもつことがある。したがって、該過渡成分捕捉するために、第一のクロスオーバー周波数より上の周波数帯域の前記部分集合は、前記第一のクロスオーバー周波数と第二のクロスオーバー周波数との間に延在する周波数区間を含みうる。これは、過渡成分の改善された再構成が達成されうる点で有利である。

例示的実施形態によれば、前記第二のクロスオーバー周波数は時間の関数として変化する。たとえば、前記第二のクロスオーバー周波数は、オーディオ処理システムによって設定された時間フレーム内で変化しうる。このようにして、過渡成分の短い時間的範囲が考慮されうる。

例示的実施形態によれば、高周波数再構成を実行する段階は、スペクトル帯域複製（SBR）を実行することを含む。高周波数再構成は典型的には周波数領域で、たとえば64サブバンドなどの擬似直交ミラー・フィルタ（QMF: Quadrature Mirror Filters）領域で、実行される。

例示的実施形態によれば、周波数拡張された信号を第二の波形符号化された信号とインターリーブする段階は、周波数領域、たとえばQMF領域で実行される。典型的には、実装の簡単および両信号の時間および周波数特性に対するよりよい制御のために、インターリーブは、高周波数再構成と同じ周波数領域で実行される。

例示的実施形態によれば、受領される第一および第二の波形符号化された信号は、同じ修正離散コサイン変換（MDCT）を使って符号化される。

例示的実施形態によれば、デコード方法は、高周波数再構成パラメータに従って、周波数拡張された信号のスペクトル内容を調整し、それにより周波数拡張された信号のスペクトル包絡を調整することを含んでいてもよい。

例示的実施形態によれば、インターリーブは、第二の波形符号化された信号を周波数拡張された信号に加えることを含んでいてもよい。これは、第二の波形符号化された信号がトーン性成分を表わす場合、たとえば第一のクロスオーバー周波数より上の周波数範囲の前記部分集合が複数の孤立した周波数区間を含むときには、好ましいオプションである。第二の波形符号化された信号を周波数拡張された信号に加えることは、SBRから知られているハーモニクスのパラメトリックな加算を模倣し、SBRの上にコピーした信号を、トーン性成分を好適なレベルで混合することによって大きな周波数範囲が単一のトーン性成分によって置換されることを回避するために使うことを許容する。

例示的実施形態によれば、インターリーブは、周波数拡張された信号のスペクトル内容を、第二の波形符号化された信号のスペクトル内容に対応する第一のクロスオーバー周波数より上の周波数範囲の前記部分集合において、第二の波形符号化された信号のスペクトル内容によって置換することを含む。これは、第二の波形符号化された信号が過渡成分を表わすとき、たとえば第一のクロスオーバー周波数より上の周波数範囲の前記部分集合がしたがって前記第一のクロスオーバー周波数とある第二のクロスオーバー周波数との間に延在する周波数区間を含みうるときに、好ましいオプションである。置換は典型的には、第二の波形符号化された信号によってカバーされる時間範囲についてのみ実行される。このようにして、周波数拡張された信号において存在する過渡成分および潜在的な時間ぼけを置換するのに十分でありながら、できるだけ少ない部分が置換されうる。よって、インターリーブは、SBR包絡時間グリッドによって指定される時間セグメントに限定されない。

例示的実施形態によれば、第一および第二の波形符号化された信号は別個の信号であってもよい。つまり、別個に符号化されたものである。あるいはまた、第一の波形符号化された信号および第二の波形符号化された信号は共通の、合同符号化される信号の第一および第二の信号部分をなす。後者の選択肢は、実装の観点から、より魅力的である。

例示的実施形態によれば、デコード方法は、第二の波形符号化された信号が利用可能である一つまたは複数の時間範囲および第一のクロスオーバー周波数より上の一つまたは複数の周波数範囲に関係するデータを含む制御信号を受領することを含んでいてもよく、ここで、周波数拡張された信号を第二の波形符号化された信号とインターリーブする段階は、該制御信号に基づく。これは、インターリーブを制御する効率的な仕方を提供するという点で有利である。

例示的実施形態によれば、制御信号は、周波数拡張された信号とインターリーブするために第二の波形符号化された信号が利用可能である第一のクロスオーバー周波数より上の前記一つまたは複数の周波数範囲を示す第二のベクトルと、周波数拡張された信号とインターリーブするために第二の波形符号化された信号が利用可能である前記一つまたは複数の時間範囲を示す第三のベクトルとのうち少なくとも一方を含む。これは、制御信号を実装する便利な方法である。

例示的実施形態によれば、制御信号は、高周波数再構成パラメータに基づいてパラメトリック再構成されるべき、第一のクロスオーバー周波数より上の一つまたは複数の周波数範囲を示す第一のベクトルを含む。このようにして、ある種の周波数帯域については周波数拡張された信号が第二の波形符号化された信号より優先されてもよい。

例示的実施形態によれば、第一の側面の任意のデコード方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトも提供される。

例示的実施形態によれば、オーディオ処理システムのためのデコーダであって：第一のクロスオーバー周波数までのスペクトル内容をもつ第一の波形符号化された信号、前記第一のクロスオーバー周波数より上の周波数範囲の部分集合に対応するスペクトル内容をもつ第二の波形符号化された信号および高周波数再構成パラメータを受領するよう構成された受領段と；前記第一の波形符号化された信号および前記高周波数再構成パラメータを前記受領段から受け取り、前記第一の波形符号化された信号および前記高周波数再構成パラメータを使って高周波数再構成を実行して、前記第一のクロスオーバー周波数より上のスペクトル内容をもつ周波数拡張された信号を生成する高周波数再構成段と；前記高周波数再構成段からの前記周波数拡張された信号および前記受領段からの前記第二の波形符号化された信号を受け取って、前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブするインターリーブ段とを有する、デコーダも提供される。

例示的実施形態によれば、前記デコーダは、本稿に開示されるどのデコード方法を実行するよう構成されていてもよい。

〈ＩＩ．概観 ― エンコーダ〉
第二の側面によれば、例示的実施形態はエンコード方法、エンコード装置およびエンコードのためのコンピュータ・プログラム・プロダクトを提案する。提案される方法、装置およびコンピュータ・プログラム・プロダクトは一般に同じ特徴および利点をもつことがある。

上記のデコーダの概観において提示した特徴およびセットアップに関する利点は一般に、エンコーダについての対応する特徴およびセットアップについて有効でありうる。

例示的実施形態によれば、オーディオ処理システムにおけるエンコード方法であって：エンコードされるべきオーディオ信号を受領する段階と；受領されたオーディオ信号に基づいて、第一のクロスオーバー周波数より上の受領されたオーディオ信号の高周波数再構成を可能にする高周波数再構成パラメータを計算する段階と；受領されたオーディオ信号に基づいて、受領されたオーディオ信号のスペクトル内容が波形符号化され、その後デコーダにおいてオーディオ信号の高周波数再構成とインターリーブされるべき、第一のクロスオーバー周波数より上の周波数範囲の部分集合を同定する段階と；第一のクロスオーバー周波数までのスペクトル帯域について受領されたオーディオ信号を波形符号化することによって第一の波形符号化された信号を生成する段階と；第一のクロスオーバー周波数より上の周波数範囲の前記同定された部分集合に対応するスペクトル帯域について受領されたオーディオ信号を波形符号化することによって第二の波形符号化された信号を生成する段階とを含む、方法が提供される。

例示的実施形態によれば、第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は、複数の孤立した周波数区間を含んでいてもよい。

例示的実施形態によれば、第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は、前記第一のクロスオーバー周波数とある第二のクロスオーバー周波数との間に延在する周波数区間を含んでいてもよい。

例示的実施形態によれば、前記第二のクロスオーバー周波数は時間の関数として変化してもよい。

例示的実施形態によれば、高周波数再構成パラメータは、スペクトル帯域複製（SBR）エンコードを使って計算される。

例示的実施形態によれば、エンコード方法はさらに、デコーダにおいて前記受領されたオーディオ信号の高周波数再構成が前記第二の波形符号化された信号と加えられることを補償するよう、高周波数再構成パラメータに含まれるスペクトル包絡レベルを調整することを含んでいてもよい。デコーダにおいて前記第二の波形符号化された信号が高周波数再構成された信号に加えられるので、組み合わされた信号のスペクトル包絡レベルは、前記高周波数再構成された信号のスペクトル包絡レベルとは異なる。デコーダにおける組み合わされた信号が目標のスペクトル包絡を得るよう、スペクトル包絡レベルにおけるこの変化がエンコーダにおいて考慮されうる。エンコーダ側で上記の調整を実行することにより、デコーダ側で必要とされるインテリジェンスが軽減されうる。あるいは別の言い方をすれば、エンコーダからデコーダへの具体的な信号伝達により、どのように状況に対処するかについてのデコーダにおける特定の規則を定義する必要がなくなる。これは、広く展開されている可能性のあるデコーダを更新する必要なしに、エンコーダの将来の最適化による、本システムの将来の最適化を許容する。

例示的実施形態によれば、高周波数再構成パラメータを調整する段階は、第二の波形符号化された信号のエネルギーを測定し；第二の波形符号化された信号の測定されたエネルギーを、第二の波形符号化された信号のスペクトル内容に対応するスペクトル帯域についてのスペクトル包絡レベルから減算することにより、高周波数再構成された信号のスペクトル包絡を制御するために意図されたスペクトル包絡レベルを調整することを含んでいてもよい。

例示的実施形態によれば、第二の側面の任意のエンコード方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトも提供される。

例示的実施形態によれば、オーディオ処理システムのためのエンコーダであって：エンコードされるべきオーディオ信号を受領するよう構成された受領段と；前記オーディオ信号を前記受領段から受け取り、受領されたオーディオ信号に基づいて、第一のクロスオーバー周波数より上の受領されたオーディオ信号の高周波数再構成を可能にする高周波数再構成パラメータを計算するよう構成された高周波数エンコード段と；受領されたオーディオ信号に基づいて、受領されたオーディオ信号のスペクトル内容が波形符号化され、その後デコーダにおいてオーディオ信号の高周波数再構成とインターリーブされるべき、第一のクロスオーバー周波数より上の周波数範囲の部分集合を同定するよう構成されたインターリーブ符号化検出段と；前記オーディオ信号を前記受領段から受け取り、第一のクロスオーバー周波数までのスペクトル帯域について受領されたオーディオ信号を波形符号化することによって第一の波形符号化された信号を生成し、第一のクロスオーバー周波数より上の周波数範囲の前記同定された前記部分集合を前記インターリーブ符号化検出段から受け取り、周波数範囲の前記受領された同定された部分集合に対応するスペクトル帯域について受領されたオーディオ信号を波形符号化することによって第二の波形符号化された信号を生成するよう構成された波形符号化段とを有する、エンコーダが提供される。

例示的実施形態によれば、エンコーダはさらに、前記高周波数エンコード段からの前記高周波数再構成パラメータおよび前記インターリーブ符号化検出段からの前記第一のクロスオーバー周波数より上の周波数範囲の同定された部分集合を受領し、受領されたデータに基づいて、デコーダにおいて前記受領されたオーディオ信号の高周波数再構成を前記第二の波形符号化された信号とその後インターリーブすることについて補償するよう、高周波数再構成パラメータを調整するよう構成された包絡調整段を有していてもよい。

例示的実施形態によれば、前記デコーダは、本稿に開示されるどのデコード方法を実行するよう構成されていてもよい。

〈ＩＩＩ．例示的実施形態 ― デコーダ〉
図１は、デコーダ１００の例示的実施形態を示している。デコーダは、受領段１１０、高周波数再構成段１２０およびインターリーブ段１３０を有する。

デコーダ１００の動作についてここで、デコーダ２００を示す図２の例示的実施形態および図３のフローチャートを参照してより詳細に説明する。デコーダ２００の目的は、再構成されるべきオーディオ信号の高周波数帯域に強いトーン性成分がある場合に高周波数についての改善された信号再構成を与えることである。受領段１１０はステップD02において、第一の波形符号化された信号２０１を受領する。第一の波形符号化された信号２０１は第一のクロスオーバー周波数f_cまでのスペクトル内容をもつ。すなわち、第一の波形符号化された信号２０１は、第一のクロスオーバー周波数f_cより下の周波数範囲に制限されている低帯域信号である。

受領段１１０はステップD04において、第二の波形符号化された信号２０２を受領する。第二の波形符号化された信号２０２は第一のクロスオーバー周波数f_cより上の周波数範囲のある部分集合に対応するスペクトル内容をもつ。図２の図示した例では、第二の波形符号化された信号２０２は、複数の孤立した周波数区間２０２ａおよび２０２ｂに対応するスペクトル内容をもつ。このように、第二の波形符号化された信号２０２は、複数の帯域制限された信号から構成されていて、各帯域制限された信号が孤立した周波数区間２０２ａおよび２０２ｂの一つに対応すると見られてもよい。図２では、二つの周波数区間２０２ａおよび２０２ｂのみが示されている。一般には、第二の波形符号化された信号のスペクトル内容は、さまざまな幅の任意の数の周波数区間に対応しうる。

受領段１１０は、第一および第二の波形符号化された信号２０１および２０２を二つの別個の信号として受領してもよい。あるいはまた、第一および第二の波形符号化された信号２０１および２０２は、受領段１１０によって受領される共通の信号の第一および第二の信号部分をなしていてもよい。換言すれば、第一および第二の波形符号化された信号は、たとえば同じMDCT変換を使って合同符号化されていてもよい。

典型的には、受領段１１０によって受領される第一の波形符号化された信号２０１および第二の波形符号化された信号２０２は、MDCT変換のような重複窓掛け変換を使って符号化される。受領段は、第一および第二の波形符号化された信号２０１および２０２を時間領域に変換するよう構成されている波形デコード段２４０を有していてもよい。波形デコード段２４０は典型的には、第一および第二の波形符号化された信号２０１および２０２の逆MDCT変換を実行するよう構成されたMDCTフィルタバンクを有する。

受領段１１０はさらに、ステップD06において、以下で開示される高周波数再構成段１２０によって使われる高周波数再構成パラメータを受領する。

受領段１１０によって受領された第一の波形符号化された信号２０１および高周波数パラメータは次いで、高周波数再構成段１２０に入力される。高周波数再構成段１２０は典型的には、周波数領域、好ましくはQMF領域で動作する。したがって、高周波数再構成段１２０に入力される前に、第一の波形符号化された信号２０１は好ましくは周波数領域、好ましくはQMF領域に、QMF分解段２５０によって変換される。QMF分解段２５０は典型的には、第一の波形符号化された信号２０１のQMF変換を実行するよう構成されたQMFフィルタバンクを有する。

第一の波形符号化された信号２０１および高周波数再構成パラメータに基づいて、高周波数再構成段１２０は、ステップD08において、第一の波形符号化された信号２０１を第一のクロスオーバー周波数f_cより上の周波数に拡張する。より具体的には、高周波数再構成段１２０は、第一のクロスオーバー周波数f_cより上のスペクトル内容をもつ周波数拡張された信号２０３を生成する。このように、周波数拡張された信号２０３は広帯域信号である。

高周波数再構成段１２０は、高周波数再構成を実行するための任意の既知のアルゴリズムに従って動作しうる。特に、高周波数再構成段１２０は、非特許文献１のレビュー論文において開示されるSBRを実行するよう構成されていてもよい。よって、高周波数再構成段は、いくつかのステップで周波数拡張された信号２０３を生成するよう構成されたいくつかのサブ段を有していてもよい。たとえば、高周波数再構成段１２０は、高周波数生成段２２１、パラメトリック高周波数成分追加段２２２および包絡調整段２２３を有していてもよい。

手短かには、高周波数生成段２２１は、第一のサブステップD08aにおいて、周波数拡張された信号２０３を生成するために、第一の波形符号化された信号２０１をクロスオーバー周波数f_cより上の周波数範囲に拡張する。この生成は、第一の波形符号化された信号２０１のサブバンド部分を選択し、高周波数再構成パラメータによって案内されて特定の規則に従って、第一の波形符号化された信号２０１の選択されたサブバンド部分を第一のクロスオーバー周波数f_cより上の周波数範囲の選択されたサブバンド部分にミラーまたはコピーすることによって実行される。

高周波数再構成パラメータはさらに、周波数拡張された信号２０３に欠けているハーモニクスを加えるための欠失ハーモニクス・パラメータを含んでいてもよい。上記で論じたように、欠失ハーモニクス（harmonics）は、スペクトルの任意の強いトーン性（tonal）部分と解釈される。たとえば、欠失ハーモニクス・パラメータは、欠けているハーモニクスの周波数および振幅に関係するパラメータを含んでいてもよい。欠失ハーモニクス・パラメータに基づいて、パラメトリック高周波数成分追加段２２２は、サブステップD08bにおいて、正弦波成分を生成し、該正弦波成分を周波数拡張された信号２０３に加える。

高周波数再構成パラメータはさらに、周波数拡張された信号２０３の目標エネルギー・レベルを記述するスペクトル包絡パラメータを含んでいてもよい。スペクトル包絡パラメータに基づいて、包絡調整段２２３はサブステップD08cにおいて、周波数拡張された信号２０３のスペクトル内容、すなわち周波数拡張された信号２０３のスペクトル係数を調整し、それにより周波数拡張された信号２０３のエネルギー・レベルがスペクトル包絡パラメータによって記述される目標エネルギー・レベルに対応するようにする。

高周波数再構成段１２０からの周波数拡張された信号２０３および受領段１１０からの第二の波形符号化された信号は次いでインターリーブ段１３０に入力される。インターリーブ段１３０は典型的には高周波数再構成段１２０と同じ周波数領域、好ましくはQMF領域で動作する。よって、第二の波形符号化された信号２０２は典型的には、QMF分解段２５０を介してインターリーブ段に入力される。さらに第二の波形符号化された信号２０２は典型的には、高周波数再構成段１２０が高周波数再構成を実行するのにかかる時間を補償するために、遅延段２６０によって、遅延させられる。このようにして、第二の波形符号化された信号２０２および周波数拡張された信号２０３は、インターリーブ段１３０が、同じ時間フレームに対応する信号に対して作用するよう、整列される。

インターリーブ段１３０は、次いでステップD10において、インターリーブされた信号２０４を生成するために、第二の波形符号化された信号２０２を周波数拡張された信号２０３とインターリーブする、すなわち組み合わせる。第二の波形符号化された信号２０２を周波数拡張された信号２０３とインターリーブするために種々のアプローチが使用されうる。

ある例示的実施形態によれば、インターリーブ段１３０は、周波数拡張された信号２０３および第二の波形符号化された信号２０２を加算することによって、周波数拡張された信号２０３を第二の波形符号化された信号２０２とインターリーブする。第二の波形符号化された信号２０２のスペクトル内容は、第二の波形符号化された信号２０２のスペクトル内容に対応する周波数範囲の前記部分集合において、周波数拡張された信号２０３のスペクトル内容に重なる。周波数拡張された信号２０３および第二の波形符号化された信号２０２を加算することにより、インターリーブされた信号２０４は、重なる周波数については、周波数拡張された信号２０３のスペクトル内容および第二の波形符号化された信号２０２の周波数内容を含むことになる。加算の結果として、インターリーブされた信号２０４のスペクトル包絡レベルは重なる周波数については増大する。好ましくは、下記で開示されるように、加算に起因するスペクトル包絡レベルの増大は、高周波数再構成パラメータに含まれるエネルギー包絡レベルを決定するときにエンコーダ側で考慮される。たとえば、重なる周波数についてのスペクトル包絡レベルは、デコーダ側でのインターリーブに起因するスペクトル包絡レベルの増大に対応する量だけ、エンコーダ側で減少させられてもよい。

あるいはまた、加算に起因するスペクトル包絡レベルの増大は、デコーダ側で考慮されてもよい。たとえば、第二の波形符号化された信号２０２のエネルギーを測定し、測定されたエネルギーを、スペクトル包絡パラメータによって記述される目標エネルギー・レベルと比較し、インターリーブされた信号２０４のスペクトル包絡レベルが目標エネルギー・レベルと等しくなるよう周波数拡張された信号２０３を調整するエネルギー測定段があってもよい。

もう一つの例示的実施形態によれば、インターリーブ段１３０は、周波数拡張された信号２０３および第二の波形符号化された信号２０２が重なる周波数について、周波数拡張された信号２０３のスペクトル内容を第二の波形符号化された信号２０２のスペクトル内容で置き換えることによって、周波数拡張された信号２０３を第二の波形符号化された信号２０２とインターリーブする。周波数拡張された信号２０３が第二の波形符号化された信号２０２によって置換される例示的実施形態では、周波数拡張された信号２０３および第二の波形符号化された信号２０２のインターリーブについて補償するためにスペクトル包絡レベルを調整することは必要ない。

高周波数再構成段１２０は好ましくは、第一の波形符号化された信号２０１をエンコードするために使われた根底にあるコア・エンコーダのサンプリング・レートに等しいサンプリング・レートをもって動作する。このようにして、第一の波形符号化された信号２０２を符号化するために使われたのと同じMDCTのような同じ重複窓掛け変換が、第二の波形符号化された信号２０２を符号化するために使用されうる。

インターリーブ段１３０はさらに、受領段から、好ましくは波形デコード段２４０、QMF分解段２５０および遅延段２６０を介して第一の波形符号化された信号２０１を受領し、第一のクロスオーバー周波数の下および上の周波数についてのスペクトル内容をもつ組み合わされた信号２０５を生成するために、インターリーブされた信号２０４を第一の波形符号化された信号２０１と組み合わせるよう構成されていてもよい。

インターリーブ段１３０からの出力信号、すなわちインターリーブされた信号２０４または組み合わされた信号２０５は、その後、QMF合成段２７０によって時間領域に変換し戻されてもよい。

好ましくは、QMF分解段２５０およびQMF合成段２７０は同数のサブバンドを有する。つまり、QMF分解段２５０に入力される信号のサンプリング・レートはQMF合成段２７０から出力される信号のサンプリング・レートに等しい。結果として、第一および第二の波形符号化された信号を波形符号化するために使われた（MDCTを使う）波形符号化器は、出力信号と同じサンプリング・レートで動作する。こうして、第一および第二の波形符号化された信号は、同じMDCT変換を使って、効率的にかつ構造的に簡単に符号化されることができる。これは、波形符号化器のサンプリング・レートが典型的には出力信号のサンプリング・レートの半分に制限され、その後の高周波数再構成モジュールが高周波数再構成のほかにアップサンプリングを行なっていた従来技術と好対照である。これは、出力周波数範囲全体をカバーする周波数を波形符号化する能力を制限する。

図４は、デコーダ４００の例示的実施形態を示す。デコーダ４００は、再構成されるべき入力オーディオ信号中に過渡成分がある場合において高周波数についての改善された信号再構成を与えることが意図されている。図４の例と図２の例の間の主たる相違は、スペクトル内容の形および第二の波形符号化された信号の継続時間である。

図４は、時間フレームの複数のその後の時間部分の間のデコーダ４００の動作を示している。ここでは三つのその後の時間部分が示されている。時間フレームはたとえば2048個の時間サンプルに対応してもよい。特に、第一の時間部分の間に、受領段１１０は、第一のクロスオーバー周波数f_c1までのスペクトル内容をもつ第一の波形符号化された信号４０１ａを受領する。第一の時間部分の間は第二の波形符号化された信号は受領されない。

第二の時間部分の間に、受領段１１０は、第一のクロスオーバー周波数f_c1までのスペクトル内容をもつ第一の波形符号化された信号４０１ｂおよび第一のクロスオーバー周波数f_c1より上の周波数範囲のある部分集合に対応するスペクトル内容をもつ第二の波形符号化された信号４０２ｂを受領する。図４の図示した例では、第二の波形符号化された信号４０２ｂは、第一のクロスオーバー周波数f_c1とある第二のクロスオーバー周波数f_c2の間に延在する周波数区間に対応するスペクトル内容をもつ。このように、第二の波形符号化された信号４０２ｂは、第一のクロスオーバー周波数f_c1と第二のクロスオーバー周波数f_c2の間の周波数帯域に制限された、帯域制限された信号である。

第三の時間部分の間に、受領段１１０は、第一のクロスオーバー周波数f_c1までのスペクトル内容をもつ第一の波形符号化された信号４０１ｃを受領する。第三の時間部分については、第二の波形符号化された信号は受領されない。

第一および第三の図示した時間部分については、第二の波形符号化された信号はない。これらの時間部分については、デコーダは、従来のSBRデコーダのような高周波数再構成を実行するよう構成された通常のデコーダのように動作する。高周波数再構成段１２０は、それぞれ第一の波形符号化された信号４０１ａおよび４０１ｃに基づいて、周波数拡張された信号４０３ａおよび４０３ｃを生成する。しかしながら、第二の波形符号化された信号がないので、インターリーブ段によってインターリーブは実行されない。

第二の図示した時間部分については、第二の波形符号化された信号４０２ｂがある。第二の時間部分については、デコーダ４００は図２に関して述べたのと同じ仕方で動作する。具体的には、高周波数再構成段１２０が第一の波形符号化された信号および高周波数再構成パラメータに基づいて高周波数再構成を実行し、周波数拡張された信号４０３ｂを生成する。周波数拡張された信号４０３ｂはその後、インターリーブ段１３０に入力され、そこで第二の波形符号化された信号４０２ｂとインターリーブされて、インターリーブされた信号４０４ｂにされる。図２の例示的実施形態との関連で論じたように、インターリーブは、加算または置換アプローチを使って実行されうる。

上記の例では、第一および第三の時間部分については第二の波形符号化された信号はない。これらの時間部分については、第二のクロスオーバー周波数は第一のクロスオーバー周波数に等しく、インターリーブは実行されない。第二の時間フレームについては、第二のクロスオーバー周波数は第一のクロスオーバー周波数より大きく、インターリーブが実行される。一般に、第二のクロスオーバー周波数は、このように時間の関数として変わりうる。具体的には、第二のクロスオーバー周波数は時間フレーム内で変わることもある。インターリーブは、第二のクロスオーバー周波数が第一のクロスオーバー周波数より大きく、デコーダによって表わされる最大周波数より小さいときに実行される。第二のクロスオーバー周波数が該最大周波数に等しい場合は、純粋な波形符号化に対応し、高周波数再構成は必要とされない。

図２および図４に関して述べた実施形態は組み合わされてもよいことを注意しておく。図７は、周波数領域、好ましくはQMF領域に関して定義された時間周波数マトリクス７００を示している。ここで、インターリーブがインターリーブ段１３０によって実行される。図示した時間周波数マトリクス７００は、デコードされるべきオーディオ信号の一つのフレームに対応する。図示したマトリクスは16個の時間スロットおよび第一のクロスオーバー周波数f_c1から始まる複数の周波数サブバンドに分割されている。さらに、八番目の時間スロットより下の時間範囲をカバーする第一の時間範囲T₁、八番目の時間スロットをカバーする第二の時間範囲T₂および八番目の時間スロットより上の時間スロットをカバーする第三の時間範囲T₃が示されている。SBRデータの一部として、種々のスペクトル包絡が種々の時間範囲T₁ないしT₃に関連付けられていてもよい。

今の例では、エンコーダ側で、周波数帯域７１０および７２０における二つの強いトーン性成分がオーディオ信号において同定されている。周波数帯域７１０および７２０は、SBR包絡帯域と同じ帯域幅であってもよい。すなわち、スペクトル包絡を表わすために使われるのと同じ周波数分解能であってもよい。帯域７１０および７２０におけるこれらのトーン性成分は、完全な時間フレームに対応する時間範囲をもつ。すなわち、トーン性成分の時間範囲は時間範囲T₁ないしT₃を含む。エンコーダ側で、第一の時間範囲T₁の間に７１０および７２０のトーン性成分を波形符号化することが決定されている。このことは、トーン性成分７１０ａおよび７２０が第一の時間範囲T1の間は斜線を付されていることによって示されている。さらに、エンコーダ側で、第二および第三の時間範囲T₂およびT₃の間に第一のトーン性成分７１０は、図２のパラメトリック高周波数成分段２２２との関連で説明したように正弦波を含めることによって、デコーダによってパラメトリック再構成されるべきであることが決定されている。このことは、（第二の時間範囲T₂）および第三の時間範囲T₃の間の第一のトーン性成分７１０ｂの直交斜線パターンによって示されている。第二および第三の時間範囲T₂およびT₃の間、第二のトーン性成分７２０はまだ波形符号化される。さらに、この実施形態では、第一および第二のトーン性成分は、加算によって高周波数再構成されたオーディオ信号とインターリーブされ、よってエンコーダは、伝送されるスペクトル包絡、SBR包絡をしかるべく調整している。

さらに、エンコーダ側で、過渡成分７３０がオーディオ信号において識別されている。過渡成分７３０は、第二の時間範囲T₂に対応する継続時間をもち、第一のクロスオーバー周波数f_c1と第二のクロスオーバー周波数f_c2の間の周波数区間に対応する。エンコーダ側では、過渡成分の位置に対応するオーディオ信号の時間‐周波数部分を波形符号化することが決定されている。この実施形態では、波形符合された過渡成分のインターリーブは置換によって行なわれる。この情報をデコーダに伝達するために、信号伝達方式がセットアップされる。信号伝達方式は、どの時間範囲においておよび／または第一のクロスオーバー周波数f_c1より上のどの周波数範囲において第二の波形符号化された信号が利用可能であるかに関係する情報を含む。信号伝達方式は、いかにしてインターリーブが実行されるべきか、すなわち、インターリーブが加算によるか置換によるかに関係する規則に関連付けられていてもよい。信号伝達方式は、下記で説明するように種々の信号を加算または置換することの優先順位を定義する規則に関連付けられていてもよい。

信号伝達方式は、「追加正弦波」とラベル付けされた、各周波数サブバンドについて、正弦波がパラメトリックに加算されるべきか否かを示す、第一のベクトル７４０を含む。図７では、第二および第三の時間範囲T₂およびT₃における第一のトーン性成分７１０ｂの加算が、第一のベクトル７４０の対応するサブバンドについての「1」によって示されている。第一のベクトル７４０を含む信号伝達は、従来技術から知られている。これらは、正弦波が始まることがいつ許されるかについて、従来技術のデコーダにおいて定義されている規則である。規則は、ある特定のサブバンドについて、新しい正弦波が検出される場合、すなわち第一のベクトル７４０の「追加正弦波」信号伝達があるフレームにおける0から次のフレームにおける1に移行する場合、そのフレームに過渡イベントがあるのでない限り、正弦波がそのフレームの先頭において始まるというものである。過渡イベントがある場合には、正弦波は該過渡成分において始まる。図示した例では、フレーム内に過渡イベント７３０があり、周波数帯域７１０についての正弦波によるパラメトリック再構成がなぜ過渡イベント７３０のあとにやっと開始されるのかを説明する。

信号伝達方式はさらに、「波形符号化」とラベル付けされた第二のベクトル７５０を含む。第二のベクトル７５０は、各周波数サブバンドについて、オーディオ信号の高周波数再構成とインターリーブするために波形符号化された信号が利用可能であるかどうかを示す。図７では、第一および第二のトーン性成分７１０および７２０についての波形符号化された信号の利用可能性は、第二のベクトル７５０の対応するサブバンドについての「1」によって示されている。今の例では、第二のベクトル７５０における波形符号化されたデータの利用可能性の指示は、インターリーブが加算によって実行されることの指示でもある。しかしながら、他の実施形態では、第二のベクトル７５０における波形符号化されたデータの利用可能性の指示は、インターリーブが置換によって実行されることの指示であってもよい。

信号伝達方式はさらに、「波形符号化」とラベル付けされた第三のベクトル７６０を含む。第三のベクトル７６０は、各時間スロットについて、オーディオ信号の高周波数再構成とインターリーブするために波形符号化された信号が利用可能であるかどうかを示す。図７では、過渡成分７３０についての波形符号化された信号の利用可能性は、第三のベクトル７６０の対応する時間スロットについての「1」によって示されている。今の例では、第三のベクトル７６０における波形符号化されたデータの利用可能性の指示は、インターリーブが置換によって実行されることの指示でもある。しかしながら、他の実施形態では、第三のベクトル７６０における波形符号化されたデータの利用可能性の指示は、インターリーブが加算によって実行されることの指示であってもよい。

第一、第二および第三のベクトル７４０、７５０、７６０をいかにして具現するかについては多くの代替的な選択肢がある。いくつかの実施形態では、ベクトル７４０、７５０、７６０は、その指示を与えるために論理的な0または論理的な1を使う二進ベクトルである。他の実施形態では、ベクトル７４０、７５０、７６０は異なる形を取ってもよい。たとえば、ベクトル中の「0」のような第一の値が、その特定の周波数帯域または時間スロットについて波形符号化されたデータが利用可能でないことを示してもよい。ベクトル中の「1」のような第二の値が、その特定の周波数帯域または時間スロットについてインターリーブが加算によって実行されることを示してもよい。ベクトル中の「2」のような第三の値が、その特定の周波数帯域または時間スロットについてインターリーブが置換によって実行されることを示してもよい。

上記の例示的な信号伝達方式は、衝突の場合に適用されうる優先順位に関連付けられていてもよい。例として、置換による過渡成分のインターリーブを表わす第三のベクトル７６０は、第一および第二のベクトル７４０および７５０より優先してもよい。さらに、第一のベクトル７４０は第二のベクトル７５０より優先してもよい。ベクトル７４０、７５０、７６０の間の任意の優先順位が定義されうることが理解される。

図８のａは、図１のインターリーブ段１３０をより詳細に示している。インターリーブ段１３０は、信号伝達デコード・コンポーネント１３０１、決定論理コンポーネント１３０２およびインターリーブ・コンポーネント１３０３を有していてもよい。上記で論じたように、インターリーブ段１３０は、第二の波形符号化される信号８０２および周波数拡張された信号８０３を受領する。インターリーブ段１３０は、制御信号８０５をも受領してもよい。信号伝達デコード・コンポーネント１３０１は、制御信号８０５を、図７に関して記述した信号伝達方式の第一のベクトル７４０、第二のベクトル７５０および第三のベクトル７６０に対応する三つの部分にデコードする。これらは決定論理コンポーネント１３０２に送られ、該決定論理コンポーネント１３０２が論理に基づいて、どの時間／周波数タイルについて第二の波形符号化された信号８０２および周波数拡張された信号８０３のどちらを使うかを示す、QMFフレームについての時間／周波数マトリクス８７０を生成する。時間／周波数マトリクス８７０は、インターリーブ・コンポーネント１３０３に送られ、第二の波形符号化された信号８０２を周波数拡張された信号８０３とインターリーブするときに使われる。

決定論理コンポーネント１３０２は図８のｂにより詳細に示されている。決定論理コンポーネント１３０２は、時間／周波数マトリクス生成コンポーネント１３２０１および優先度付けコンポーネント１３０２２を有していてもよい。時間／周波数生成コンポーネント１３０２１は、現在のQMFフレームに対応する諸時間／周波数タイルをもつ時間／周波数マトリクス８７０を生成する。時間／周波数生成コンポーネント１３０２１は、第一のベクトル７４０、第二のベクトル７５０および第三のベクトル７６０からの情報を時間／周波数マトリクスに含める。たとえば、図７に示されるように、ある周波数について第二のベクトル７５０に「1」（あるいはより一般には0とは異なる任意の数）があれば、前記ある周波数に対応する諸時間／周波数タイルが時間／周波数マトリクス８７０において「1」（あるいはより一般にはベクトル７５０において存在する数に）に設定され、それらの時間／周波数タイルについて第二の波形符号化された信号８０２とのインターリーブが実行されるべきであることを示す。同様に、ある時間スロットについて第三のベクトル７６０において「1」（あるいはより一般には0とは異なる任意の数）があれば、前記時間スロットに対応する諸時間／周波数タイルが時間／周波数マトリクス８７０において「1」（あるいはより一般には0とは異なる任意の数に）に設定され、それらの時間／周波数タイルについて第二の波形符号化された信号８０２とのインターリーブが実行されるべきであることを示す。同様に、ある周波数について第一のベクトル７４０に「1」があれば、前記ある周波数に対応する諸時間／周波数タイルが時間／周波数マトリクス８７０において「1」に設定され、出力信号８０４が、前記ある周波数がたとえば正弦波信号を含めることによりパラメトリックに再構成された周波数拡張された信号８０３に基づくべきであることを示す。

いくつかの時間／周波数タイルについては、第一のベクトル７４０、第二のベクトル７５０および第三のベクトル７６０からの情報の間に衝突があるであろう。つまり、ベクトル７４０〜７６０の二つ以上が、時間／周波数マトリクス８７０の同じ時間／周波数タイルについて「1」のような0とは異なる数を示す。そのような状況では、優先度付けコンポーネント１３０２２は、時間／周波数マトリクス８７０における衝突を取り除くためにいかにしてそれらのベクトルからの情報に優先度付けするかについて決定をする必要がある。より正確には、優先度付けコンポーネント１３０２２は、出力信号８０４が周波数拡張された信号８０３に基づくべきか（つまり第一のベクトル７４０に優先権を与える）、周波数方向での第二の波形符号化された信号８０２のインターリーブによるべきか（つまり第二のベクトル７５０に優先権を与える）あるいは時間方向での第二の波形符号化された信号８０２のインターリーブによるべきか（つまり第三のベクトル７５０に優先権を与える）を決定する。

この目的のために、優先度付けコンポーネント１３０２２は、ベクトル７４０〜７６０の優先順位に関係するあらかじめ定義された規則を有する。優先度付けコンポーネント１３０２２は、いかにしてインターリーブが実行されるべきか、すなわちインターリーブが加算と置換のどちらによって実行されるべきかに関係するあらかじめ定義された規則をも有していてもよい。

好ましくは、これらの規則は次のようなものである。

・時間方向のインターリーブ、すなわち、第三のベクトル７６０によって定義されるインターリーブが最高の優先度を与えられる。時間方向のインターリーブは好ましくは、第三のベクトル７６０によって定義される時間／周波数タイルにおける周波数拡張された信号８０３を置換することによって実行される。第三のベクトル７６０の時間分解能は、QMFフレームの時間スロットに対応する。QMFフレームが2048個の時間領域サンプルに対応する場合、時間スロットは典型的には128個の時間領域サンプルに対応してもよい。

・周波数のパラメトリック再構成、すなわち、第一のベクトル７４０によって定義される周波数拡張された信号８０３を使うことが、二番目に高い優先度を与えられる。第一のベクトル７４０の周波数分解能は、SBR包絡帯域のようなQMFフレームの周波数分解能である。第一のベクトル７４０の信号伝達および解釈に関係する従来技術の規則は有効なままである。

・周波数方向のインターリーブ、すなわち第二のベクトル７５０によって定義されるインターリーブが最低の優先順位を与えられる。周波数領域におけるインターリーブは、第二のベクトル７５０によって定義される時間／周波数タイルにおいて周波数拡張された信号８０３を加えることによって実行される。第二のベクトル７５０の周波数分解能は、SBR包絡帯域のようなQMFフレームの周波数分解能に対応する。

〈ＩＩＩ．例示的実施形態 ― エンコーダ〉
図５は、オーディオ処理システムにおいて使うのに好適なエンコーダ５００の例示的な実施形態を示している。エンコーダ５００は、受領段５１０、波形エンコード段５２０、高周波数エンコード段５３０、インターリーブ符号化検出段５４０および伝送段５５０を有する。高周波数エンコード段５３０は、高周波数再構成パラメータ計算段５３０ａおよび高周波数再構成パラメータ調整段５３０ｂを有していてもよい。

エンコーダ５００の動作について、図５および図６のフローチャートを参照して以下に述べる。ステップE02では、受領段５１０はエンコードされるべきオーディオ信号を受領する。

受領されたオーディオ信号は、高周波数エンコード段５３０に入力される。受領されたオーディオ信号に基づいて、高周波数エンコード段５３０、特に高周波数再構成パラメータ計算段５３０ａは、E04において、第一のクロスオーバー周波数f_cより上の受領されたオーディオ信号の高周波数再構成を可能にする高周波数再構成パラメータを計算する。高周波数再構成パラメータ計算段５３０ａは、SBRエンコードのような、高周波数再構成パラメータを計算するためのいかなる既知の技法を使ってもよい。高周波数エンコード段５３０は典型的にはQMF領域において動作する。このように、高周波数再構成パラメータを計算する前に、高周波数エンコード段５３０は受領されたオーディオ信号のQMF分解を実行してもよい。結果として、高周波数再構成パラメータはQMF領域に関して定義される。

計算された高周波数再構成パラメータは、高周波数再構成に関係するいくつかのパラメータを含んでいてもよい。たとえば、高周波数再構成パラメータは、いかにして第一のクロスオーバー周波数f_cより下の周波数範囲の選択されたサブバンド部分から第一のクロスオーバー周波数f_cより上の周波数範囲のサブバンド部分にオーディオ信号をミラーまたはコピーするかに関係するパラメータを含んでいてもよい。そのようなパラメータは、時に、パッチング構造を記述するパラメータと称される。

高周波数再構成パラメータはさらに、第一のクロスオーバー周波数より上の周波数範囲のサブバンド部分の目標エネルギー・レベルを記述するスペクトル包絡パラメータを含んでいてもよい。

高周波数再構成パラメータはさらに、前記パッチング構造を記述するパラメータを使って第一のクロスオーバー周波数より上の周波数範囲においてオーディオ信号が再構成されたら欠失するであろうハーモニクスまたは強いトーン性成分を示す、欠失ハーモニクス・パラメータを含んでいてもよい。

次いで、インターリーブ符号化検出段５４０がステップE06において、受領されたオーディオ信号のスペクトル内容が波形符号化されるべき、第一のクロスオーバー周波数f_cより上の周波数範囲のある部分集合を同定する。換言すれば、インターリーブ符号化検出段５４０の役割は、高周波数再構成が望ましい結果を与えない、第一のクロスオーバー周波数より上の周波数を同定することである。

インターリーブ符号化検出段５４０は、第一のクロスオーバー周波数f_cより上の周波数範囲の関連する部分集合を同定するために種々のアプローチを取り得る。たとえば、インターリーブ符号化検出段５４０は、高周波数再構成によってうまく再構成されない強いトーン性成分を識別してもよい。強いトーン性成分の識別は受領されたオーディオ信号に基づいていてもよく、たとえばオーディオ信号のエネルギーを周波数の関数として決定し、高いエネルギーをもつ周波数を、強いトーン性成分を含むものとして識別することによってもよい。さらに、識別は、受領されたオーディオ信号がデコーダにおいてどのように再構成されるかについての知識に基づいていてもよい。特に、そのような識別は、第一のクロスオーバー周波数より上の周波数帯域についての受領されたオーディオ信号のトーン性指標と受領されたオーディオ信号の再構成のトーン性指標との比であるトーン性クオータに基づいていてもよい。高いトーン性クオータは、該トーン性クオータに対応する周波数についてはオーディオ信号がうまく再構成されないことを示す。

インターリーブ符号化検出段５４０はまた、高周波数再構成によってうまく再構成されない、受領されたオーディオ信号の過渡成分を検出してもよい。そのような識別は、受領されたオーディオ信号の時間‐周波数分析の結果であってもよい。たとえば、過渡成分が現われる時間‐周波数区間が、受領されたオーディオ信号のスペクトログラムから検出されてもよい。そのような時間‐周波数区間は典型的には、受領されたオーディオ信号の時間フレームより短い時間範囲をもつ。対応する周波数範囲は典型的には、第二のクロスオーバー周波数まで延びる周波数区間に対応する。したがって、第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は、インターリーブ符号化検出段５４０によって、第一のクロスオーバー周波数から第二のクロスオーバー周波数へ延びる区間として識別されてもよい。

インターリーブ符号化検出段５４０はさらに、高周波数再構成パラメータ計算段５３０ａから高周波数再構成パラメータを受領してもよい。高周波数再構成パラメータからの欠失ハーモニクス・パラメータに基づいて、インターリーブ符号化検出段５４０は、欠けているハーモニクスの周波数を識別し、第一のクロスオーバー周波数f_cより上の周波数範囲の同定された前記部分集合において、該欠けているハーモニクスの周波数の少なくとも一部を含めるよう決定してもよい。そのようなアプローチは、パラメトリック・モデルの限界内では正しくモデル化できないオーディオ信号中の強いトーン性成分がある場合に有利でありうる。

受領されたオーディオ信号は波形エンコード段５２０にも入力される。波形エンコード段５２０は、ステップE08において、受領されたオーディオ信号の波形エンコードを実行する。特に、波形エンコード段５２０は、第一のクロスオーバー周波数f_cまでのスペクトル帯域についてオーディオ信号を波形符号化することによって、第一の波形符号化された信号を生成する。さらに、波形エンコード段５２０は、インターリーブ符号化検出段５４０から同定された部分集合を受領する。次いで、波形エンコード段５２０は、第一のクロスオーバー周波数より上の周波数範囲の同定された部分集合に対応するスペクトル帯域について受領されたオーディオ信号を波形符号化することによって、第二の波形符号化された信号を生成する。よって、第二の波形符号化された信号は、第一のクロスオーバー周波数f_cより上の周波数範囲の同定された部分集合に対応するスペクトル内容をもつことになる。

例示的実施形態によれば、波形エンコード段５２０は、まずすべてのスペクトル帯域について受領されたオーディオ信号を波形符号化し、次いで、第一のクロスオーバー周波数f_cより上の周波数の同定された部分集合に対応する周波数について、そのようにして波形符号化された信号のスペクトル内容を除去することによって、第一および第二の波形符号化された信号を生成してもよい。

波形エンコード段はたとえば、MDCTフィルタバンクのような重複窓掛け変換フィルタバンクを使って波形符号化を実行してもよい。そのような重複窓掛け変換フィルタバンクは、ある時間的長さをもつ窓を使い、そのためある時間フレームにおける変換された信号の値が前後の時間フレームの信号の値によって影響される。この事実の効果を軽減するために、ある量の時間的な過剰符号化を実行することが有利であることがある。つまり、波形符号化段５２０は受領されたオーディオ信号の現在の時間フレームだけでなく、受領されたオーディオ信号の前後の時間フレームも波形符号化する。同様に、高周波数エンコード段５３０は受領されたオーディオ信号の現在の時間フレームだけでなく、受領されたオーディオ信号の前後の時間フレームもエンコードしてもよい。このようにして、第二の波形符号化された信号と、オーディオ信号の高周波数再構成との間の改善されたクロスフェードがQMF領域において達成できる。さらに、これは、スペクトル包絡データ境界の調整の必要性を減らす。

第一および第二の波形符号化された信号は別個の信号であってもよいことを注意しておく。しかしながら、好ましくは、それらは共通の信号の第一および第二の波形符号化された信号部分をなす。そうであれば、それらは、受領されたオーディオ信号に対する単一の波形エンコード処理を実行する、たとえば受領されたオーディオ信号に対して単一のMDCT変換を適用することによって生成されうる。

高周波数エンコード段５３０、特に高周波数再構成パラメータ調整段５３０ｂは、第一のクロスオーバー周波数f_cより上の周波数範囲の同定された部分集合をも受領してもよい。受領したデータに基づいて、高周波数再構成パラメータ調整段５３０ｂは、ステップE10において、高周波数再構成パラメータを調整してもよい。特に、高周波数再構成パラメータ調整段５３０ｂは、同定された部分集合に含まれるスペクトル帯域に対応する高周波数再構成パラメータを調整してもよい。

たとえば、高周波数再構成パラメータ調整段５３０ｂは、第一のクロスオーバー周波数より上の周波数範囲のサブバンド部分の目標エネルギー・レベルを記述するスペクトル包絡パラメータを調整してもよい。これは、デコーダにおいて第二の波形符号化された信号がオーディオ信号の高周波数再構成と加算される場合に特に重要である。その場合、第二の波形符号化された信号のエネルギーが高周波数再構成のエネルギーに加えられるからである。そのような加算を補償するために、高周波数再構成パラメータ調整段５３０ｂは、第二の波形符号化された信号の測定されたエネルギーを、第一のクロスオーバー周波数f_cより上の周波数範囲の同定された部分集合に対応するスペクトル帯域についての目標エネルギー・レベルから減算することにより、エネルギー包絡パラメータを調整してもよい。このようにして、第二の波形符号化された信号および高周波数再構成がデコーダにおいて加算されるときに、全信号エネルギーが保存される。第二の波形符号化された信号のエネルギーは、たとえば、インターリーブ符号化検出段５４０によって測定されてもよい。

高周波数再構成パラメータ調整段５３０ｂは、欠失ハーモニクス・パラメータをも調整してもよい。より具体的には、欠失ハーモニクス・パラメータによって示される欠けているハーモニクスを含むサブバンドが第一のクロスオーバー周波数f_cより上の周波数範囲の同定された部分集合の一部である場合、そのサブバンドは、波形エンコード段５２０によって波形符号化される。こうして、高周波数再構成パラメータ調整段５３０ｂは、そのような欠けているハーモニクスを、欠失ハーモニクス・パラメータから除去してもよい。そのような欠けているハーモニクスはデコーダ側でパラメトリック再構成される必要がないからである。

次いで伝送段５５０が、波形エンコード段５２０からの第一および第二の波形符号化された信号および高周波数エンコード段５３０からの高周波数再構成パラメータを受領する。伝送段５５０は、受領されたデータを、デコーダへの伝送のためのビットストリームにフォーマットする。

インターリーブ符号化検出段５４０はさらに、前記ビットストリームに含めるために、伝送段５５０に情報を信号伝達してもよい。特に、インターリーブ符号化検出段５４０は、いかにして第二の波形符号化された信号がオーディオ信号の高周波数再構成とインターリーブされるべきか、たとえばインターリーブが信号の加算によって実行されるべきか信号の一方を他方で置換することによって実行されるべきかおよびどの周波数範囲およびどの時間区間について波形符号化された信号がインターリーブされるべきかを信号伝達してもよい。たとえば、信号伝達は、図７を参照して論じた信号伝達方式を使って実行されてもよい。

〈等価物、拡張、代替その他〉
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。

さらに、図面、本開示および付属の請求項の吟味から、本開示を実施する当業者によって、開示される実施形態に対する変形が理解され、実施されることができる。請求項において、「有する／含む」の語は他の要素またはステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。

上記で開示されたシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。むしろ、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働していくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体（または非一時的な媒体）および通信媒体（または一時的な媒体）を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。

Claims (29)

1. オーディオ処理システムにおけるデコード方法であって：
   第一のクロスオーバー周波数までのスペクトル内容をもつ第一の波形符号化された信号を受領する段階と；
   前記第一のクロスオーバー周波数より上の周波数範囲のある部分集合に対応するスペクトル内容をもつ第二の波形符号化された信号を受領する段階と；
   高周波数再構成パラメータを受領する段階と；
   前記第一の波形符号化された信号および前記高周波数再構成パラメータを使って高周波数再構成を実行して、前記第一のクロスオーバー周波数より上のスペクトル内容をもつ周波数拡張された信号を生成する段階と；
   前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブする段階とを含む、
   デコード方法。
2. 前記第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は複数の孤立した周波数区間を含む、請求項１記載のデコード方法。
3. 前記第一のクロスオーバー周波数より上の周波数帯域の前記部分集合は、前記第一のクロスオーバー周波数とある第二のクロスオーバー周波数との間に延在する周波数区間を含む、請求項１記載のデコード方法。
4. 前記第二のクロスオーバー周波数が時間の関数として変化する、請求項３記載のデコード方法。
5. 前記第二のクロスオーバー周波数が、前記オーディオ処理システムによって設定された時間フレーム内で変化する、請求項３または４記載のデコード方法。
6. 高周波数再構成を実行する段階は、スペクトル帯域複製（SBR）を実行することを含む、請求項１ないし５のうちいずれか一項記載のデコード方法。
7. 高周波数再構成を実行する段階は、周波数領域で実行される、請求項１ないし６のうちいずれか一項記載のデコード方法。
8. 前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブする段階は、周波数領域で実行される、請求項１ないし７のうちいずれか一項記載のデコード方法。
9. 前記周波数領域が直交ミラー・フィルタ（QMF）領域である、請求項６または７記載のデコード方法。
10. 受領される前記第一および第二の波形符号化された信号は、同じMDCT変換を使って符号化されている、請求項１ないし９のうちいずれか一項記載のデコード方法。
11. 前記高周波数再構成パラメータに従って、前記周波数拡張された信号のスペクトル内容を調整し、それにより前記周波数拡張された信号のスペクトル包絡を調整する段階をさらに含む、請求項１ないし１０のうちいずれか一項記載のデコード方法。
12. 前記インターリーブする段階は、前記第二の波形符号化された信号を前記周波数拡張された信号に加算することを含む、請求項１ないし１１のうちいずれか一項記載のデコード方法。
13. 前記インターリーブする段階は、前記第二の波形符号化された信号のスペクトル内容に対応する前記第一のクロスオーバー周波数より上の周波数範囲の前記部分集合において、前記周波数拡張された信号のスペクトル内容を前記第二の波形符号化された信号のスペクトル内容によって置換することを含む、請求項１ないし１１のうちいずれか一項記載のデコード方法。
14. 前記第一の波形符号化された信号および前記第二の波形符号化された信号が共通の信号の第一および第二の信号部分をなす、請求項１ないし１３のうちいずれか一項記載のデコード方法。
15. 前記第二の波形符号化された信号が利用可能である一つまたは複数の時間範囲および前記第一のクロスオーバー周波数より上の一つまたは複数の周波数範囲に関係するデータを含む制御信号を受領することをさらに含み、前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブする段階は、該制御信号に基づく、請求項１ないし１４のうちいずれか一項記載のデコード方法。
16. 前記制御信号は、前記周波数拡張された信号とインターリーブするために前記第二の波形符号化された信号が利用可能である前記第一のクロスオーバー周波数より上の前記一つまたは複数の周波数範囲を示す第二のベクトルと、前記周波数拡張された信号とインターリーブするために前記第二の波形符号化された信号が利用可能である前記一つまたは複数の時間範囲を示す第三のベクトルとのうち少なくとも一方を含む、請求項１５記載のデコード方法。
17. 前記制御信号は、前記高周波数再構成パラメータに基づいてパラメトリック再構成されるべき、前記第一のクロスオーバー周波数より上の一つまたは複数の周波数範囲を示す第一のベクトルを含む、請求項１５または１６記載のデコード方法。
18. 請求項１ないし１７のうちいずれか一項記載のデコード方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
19. オーディオ処理システムのためのデコーダであって：
    第一のクロスオーバー周波数までのスペクトル内容をもつ第一の波形符号化された信号、前記第一のクロスオーバー周波数より上の周波数範囲のある部分集合に対応するスペクトル内容をもつ第二の波形符号化された信号および高周波数再構成パラメータを受領するよう構成された受領段と；
    前記第一の波形符号化された信号および前記高周波数再構成パラメータを前記受領段から受け取り、前記第一の波形符号化された信号および前記高周波数再構成パラメータを使って高周波数再構成を実行して、前記第一のクロスオーバー周波数より上のスペクトル内容をもつ周波数拡張された信号を生成する高周波数再構成段と；
    前記高周波数再構成段からの前記周波数拡張された信号および前記受領段からの前記第二の波形符号化された信号を受け取って、前記周波数拡張された信号を前記第二の波形符号化された信号とインターリーブするインターリーブ段とを有する、
    デコーダ。
20. オーディオ処理システムにおけるエンコード方法であって：
    エンコードされるべきオーディオ信号を受領する段階と；
    受領されたオーディオ信号に基づいて、第一のクロスオーバー周波数より上の前記受領されたオーディオ信号の高周波数再構成を可能にする高周波数再構成パラメータを計算する段階と；
    前記受領されたオーディオ信号に基づいて、前記受領されたオーディオ信号のスペクトル内容が波形符号化され、その後デコーダにおいて前記オーディオ信号の高周波数再構成とインターリーブされるべき、前記第一のクロスオーバー周波数より上の周波数範囲のある部分集合を同定する段階と；
    第一のクロスオーバー周波数までのスペクトル帯域について前記受領されたオーディオ信号を波形符号化することによって第一の波形符号化された信号を生成し、前記第一のクロスオーバー周波数より上の周波数範囲の同定された前記部分集合に対応するスペクトル帯域について前記受領されたオーディオ信号を波形符号化することによって第二の波形符号化された信号を生成する段階とを含む、
    エンコード方法。
21. 前記第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は、複数の孤立した周波数区間を含む、請求項２０記載のエンコード方法。
22. 前記第一のクロスオーバー周波数より上の周波数範囲の前記部分集合は、前記第一のクロスオーバー周波数とある第二のクロスオーバー周波数との間に延在する周波数区間を含む、請求項２０または２１記載のエンコード方法。
23. 前記第二のクロスオーバー周波数が時間の関数として変化する、請求項２２記載のエンコード方法。
24. 前記高周波数再構成パラメータは、スペクトル帯域複製（SBR）エンコードを使って計算される、請求項２０または２１記載のエンコード方法。
25. デコーダにおいて前記受領されたオーディオ信号の高周波数再構成が前記第二の波形符号化された信号に加えられることを補償するよう、前記高周波数再構成パラメータに含まれるスペクトル包絡レベルを調整する段階をさらに含む、請求項２０ないし２４のうちいずれか一項記載のエンコード方法。
26. 前記高周波数再構成パラメータを調整する段階は、
    前記第二の波形符号化された信号のエネルギーを測定し；
    前記第二の波形符号化された信号の測定されたエネルギーを、前記第二の波形符号化された信号のスペクトル内容に対応するスペクトル帯域についてのスペクトル包絡レベルから減算することにより、前記スペクトル包絡レベルを調整することを含む、
    請求項２５記載のエンコード方法。
27. 請求項２０ないし２６のうちいずれか一項記載のエンコード方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
28. オーディオ処理システムのためのエンコーダであって：
    エンコードされるべきオーディオ信号を受領するよう構成された受領段と；
    前記オーディオ信号を前記受領段から受け取り、受領されたオーディオ信号に基づいて、第一のクロスオーバー周波数より上の前記受領されたオーディオ信号の高周波数再構成を可能にする高周波数再構成パラメータを計算するよう構成された高周波数エンコード段と；
    前記受領されたオーディオ信号に基づいて、前記受領されたオーディオ信号のスペクトル内容が波形符号化され、その後デコーダにおいて前記オーディオ信号の高周波数再構成とインターリーブされるべきであるような前記第一のクロスオーバー周波数より上の周波数範囲のある部分集合を同定するよう構成されたインターリーブ符号化検出段と；
    前記オーディオ信号を前記受領段から受け取り、第一のクロスオーバー周波数までのスペクトル帯域について前記受領されたオーディオ信号を波形符号化することによって第一の波形符号化された信号を生成し、前記第一のクロスオーバー周波数より上の周波数範囲の同定された前記部分集合を前記インターリーブ符号化検出段から受領し、周波数範囲の受領された同定された前記部分集合に対応するスペクトル帯域について前記受領されたオーディオ信号を波形符号化することによって第二の波形符号化された信号を生成するよう構成された波形エンコード段とを有する、
    エンコーダ。
29. 前記高周波数エンコード段からの前記高周波数再構成パラメータおよび前記インターリーブ符号化検出段からの前記第一のクロスオーバー周波数より上の周波数範囲の同定された前記部分集合を受領し、受領されたデータに基づいて、デコーダにおいて前記受領されたオーディオ信号の高周波数再構成を前記第二の波形符号化された信号とその後インターリーブすることについて補償するよう、前記高周波数再構成パラメータを調整するよう構成された包絡調整段をさらに有する、請求項２８記載のエンコーダ。

Images