JP2020074052A - オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合 - Google Patents

オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合 Download PDF

Info

Publication number
JP2020074052A
JP2020074052A JP2020026248A JP2020026248A JP2020074052A JP 2020074052 A JP2020074052 A JP 2020074052A JP 2020026248 A JP2020026248 A JP 2020026248A JP 2020026248 A JP2020026248 A JP 2020026248A JP 2020074052 A JP2020074052 A JP 2020074052A
Authority
JP
Japan
Prior art keywords
data
audio
audio signal
bitstream
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020026248A
Other languages
English (en)
Inventor
ヴィレモエス，ラルス
Villemoes Lars
プルンハーゲン，ハイコ
Purnhagen Heiko
エクストランド，ペール
Ekstrand Per
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2020074052A publication Critical patent/JP2020074052A/ja
Priority to JP2021172442A priority Critical patent/JP7413334B2/ja
Priority to JP2023173392A priority patent/JP2023181209A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters

Abstract

【課題】エンコードされたオーディオ・ビットストリームをデコードする方法が開示される。【解決手段】本方法は、エンコードされたオーディオ・ビットストリームを受領し、オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成することを含む。本方法はさらに、高周波再構成メタデータを抽出し、デコードされた低域オーディオ信号を分解フィルタバンクでフィルタリングして、フィルタリングされた低域オーディオ信号を生成することを含む。本方法はさらに、スペクトル並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出し、該フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成することを含む。【選択図】図５

Description

実施形態はオーディオ信号処理に関し、より詳細には高周波再構成（HFR: high frequency reconstruction）の基本形またはHFRの向上形のいずれかがオーディオ・データに対して実行されるべきであることを指定する制御データをもつオーディオ・ビットストリームのエンコード、デコードまたはトランスコードに関する。
典型的なオーディオ・ビットストリームは、オーディオ・コンテンツの一つまたは複数のチャネルを示すオーディオ・データ（たとえばエンコードされたオーディオ・データ）と、前記オーディオ・データまたはオーディオ・コンテンツの少なくとも一つの特性を示すメタデータとの両方を含む。エンコードされたオーディオ・ビットストリームを生成するための一つのよく知られたフォーマットは、MPEG規格ISO/IEC14496-3:2009に記載されるMPEG-4先進オーディオ符号化（AAC: Advanced Audio Coding）フォーマットである。MPEG-4規格では、AACは「advanced audio coding（先進オーディオ符号化）」を表わし、HE-AACは「high-efficiency advanced audio coding（高効率先進オーディオ符号化）」を表わす。
MPEG-4 AAC規格はいくつかのオーディオ・プロファイルを定義しており、それらのオーディオ・プロファイルが、準拠エンコーダまたはデコーダにおいてどのオブジェクトおよび符号化ツールが存在しているかを決める。これらのオーディオ・プロファイルのうちの三つは、（１）AACプロファイル、（２）HE-AACプロファイルおよび（３）HE-AAC v2プロファイルである。AACプロファイルはAAC低計算量（AAC low complexity）（または「AAC-LC」）オブジェクト型を含む。AAC-LCオブジェクトは、若干の調整はあるがMPEG-2 AAC低計算量プロファイルに対応するものであり、スペクトル帯域複製（spectral band replication）（「SBR」）オブジェクト型もパラメトリック・ステレオ（parametric stereo）（「PS」）オブジェクト型も含まない。HE-AACプロファイルはAACプロファイルの上位集合であって、追加的にSBRオブジェクト型を含む。HE-AAC v2プロファイルはHE-AACプロファイルの上位集合であって、追加的にPSオブジェクト型を含む。
SBRオブジェクト型は、スペクトル帯域複製ツールを含む。これは、知覚的オーディオ・コーデックの圧縮効率を著しく改善する重要な高周波再構成（「HFR」）符号化ツールである。SBRは受信器側で（たとえばデコーダにおいて）オーディオ信号の高周波数成分を再構成する。そのため、エンコーダは低周波数成分をエンコードして伝送するだけでよく、低データ・レートにおいてずっと高いオーディオ品質を許容する。SBRは、データ・レートを削減するために以前に打ち切りされた高調波のシーケンスを、エンコーダから得られる利用可能な帯域幅制限された信号および制御データから複製することに基づく。トーン様成分とノイズ様成分の間の比は適応的な逆フィルタリングならびにノイズおよび正弦波の任意的な追加によって維持される。MPEG-4 AAC規格では、SBRツールは、いくつかの連続する直交ミラー・フィルタ（QMF）サブバンドがオーディオ信号の伝送された低域部分から、デコーダにおいて生成されるオーディオ信号の高域部分にコピーされる（または「パッチ」される）、スペクトル・パッチング（spectral patching）（線形並進（linear translation）またはスペクトル並進（spectral translation）とも呼ばれる）を実行する。
MPEG規格ISO/IEC14496-3:2009
スペクトル・パッチングまたは線形並進は、比較的低いクロスオーバー周波数をもつ音楽コンテンツのようなある種のオーディオ型については理想的ではないことがある。したがって、スペクトル帯域複製を改善するための技法が必要とされている。
第一のクラスの実施形態は、エンコードされたオーディオ・ビットストリームをデコードする方法に関する。本方法は、エンコードされたオーディオ・ビットストリームを受領し、オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成することを含む。本方法はさらに、高周波再構成メタデータを抽出し、デコードされた低域オーディオ信号を分解フィルタバンクでフィルタリングして、フィルタリングされた低域オーディオ信号を生成することを含む。本方法はさらに、スペクトル並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出し、該フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成することを含む。最後に、本方法は、前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成することを含む。
第二のクラスの実施形態は、エンコードされたオーディオ・ビットストリームをデコードするためのオーディオ・デコーダに関する。本デコーダは、エンコードされたオーディオ・ビットストリームを受領するための入力インターフェースであって、該エンコードされたオーディオ・ビットストリームは、オーディオ信号の低域部分を表わすオーディオ・データを含む、入力インターフェースと、前記オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成するコア・デコーダとを含む。本デコーダはまた、前記エンコードされたオーディオ・ビットストリームから高周波再構成メタデータを抽出するためのデマルチプレクサであって、前記高周波再構成メタデータは、前記オーディオ信号の低域部分から、連続するいくつかのサブバンドを前記オーディオ信号の高域部分に線形に並進させる高周波再構成プロセスのための動作パラメータを含む、デマルチプレクサと、前記デコードされた低域オーディオ信号をフィルタリングして、フィルタリングされた低域オーディオ信号を生成する分解フィルタバンクとを含む。本デコーダはさらに、前記エンコードされたオーディオ・ビットストリームから、線形並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出するデマルチプレクサと、該フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成する高周波再生成器とを含む。最後に、本デコーダは、前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成する合成フィルタバンクを含む。
他のクラスの実施形態は、向上スペクトル帯域複製（eSBR: enhanced spectral band replication）処理が実行されるべきかどうかを同定するメタデータを含むオーディオ・ビットストリームをエンコードおよびトランスコードすることに関する。
本発明の方法のある実施形態を実行するよう構成されうるシステムの実施形態のブロック図である。 本発明のオーディオ処理ユニットの実施形態であるエンコーダのブロック図である。 本発明のオーディオ処理ユニットの実施形態であるデコーダと、任意的にはそれに結合された後処理器をも含むシステムのブロック図である。 本発明のオーディオ処理ユニットの実施形態であるデコーダのブロック図である。 本発明のオーディオ処理ユニットのもう一つの実施形態であるデコーダのブロック図である。 本発明のオーディオ処理ユニットのもう一つの実施形態のブロック図である。 分割されたセグメントを含むMPEG-4 AACビットストリームのブロックを示す図である。
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する）という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して（たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して）該動作を実行することを表わすために広義で使用される。
請求項を含む本開示を通じて、「オーディオ処理ユニット」または「オーディオ・プロセッサ」という表現は、オーディオ・データを処理するよう構成されているシステム、デバイスまたは装置を表わす広義で使用される。オーディオ処理ユニットの例は、エンコーダ、トランスコーダ、デコーダ、コーデック、前処理システム、後処理システムおよびビットストリーム処理システム（時にビットストリーム処理ツールと称される）を含むがそれに限られない。携帯電話、テレビジョン、ラップトップおよびタブレット・コンピュータといった事実上あらゆる消費者電子装置がオーディオ処理ユニットまたはオーディオ・プロセッサを含む。
請求項を含む本開示を通じて、「結合する」または「結合される」という用語は、直接的または間接的な接続を意味するために広義で使われる。よって、第一の装置が第二の装置に結合する場合、その接続は、直接接続を通じてであってもよいし、他の装置および接続を介した間接的な接続を通じてであってもよい。さらに、他のコンポーネントの中にまたは他のコンポーネントと一緒に統合されたコンポーネントも互いに結合されている。
〈本発明の実施形態の詳細な説明〉
MPEG-4 AAC規格は、エンコードされたMPEG-4 AACビットストリームが、該ビットストリームのオーディオ・コンテンツをデコードするためにデコーダによって適用されるべき（もし適用されるべきものがあるとして）高周波再構成（HFR）処理のそれぞれの型を示すおよび／またはそのようなHFR処理を制御するおよび／または該ビットストリームのオーディオ・コンテンツをデコードするために用いられるべき少なくとも一つのHFRツールの少なくとも一つの特性またはパラメータを示すメタデータを含むことを考えている。ここで、スペクトル帯域複製（SBR）とともに使うためのMPEG-4 AAC規格で記述または言及されているこの型のメタデータを表わすために「SBRメタデータ」という表現を使う。当業者によって理解されるように、SBRはHFRの一つの形である。
SBRは好ましくは、デュアル・レート・システムとして使われる。SBRがもとのサンプリング・レートで動作する一方、根底にあるコーデックはもとのサンプリング・レートの半分で動作する。SBRエンコーダは、根底にあるコア・コーデックと並列に、ただし、より高いサンプリング・レートで機能する。SBRは主としてデコーダにおける後工程だが、デコーダにおける最も正確な高周波再構成を保証するために、重要なパラメータがエンコーダにおいて抽出される。エンコーダは、現在の入力信号セグメント特性に好適な時間および周波数範囲／分解能について、SBR範囲のスペクトル包絡を推定する。スペクトル包絡は、複素QMF分解およびその後のエネルギー計算によって推定される。スペクトル包絡の時間および周波数分解能は、所与の入力セグメントについて最も好適な時間周波数分解能を保証するために、高い自由度をもって選ぶことができる。包絡推定は、主として高周波領域に位置する、オリジナルにおける過渡成分（たとえばハイハット）が、包絡調整の前に、高域で生成されたSBRにおいてわずかな程度存在するであろうことを考慮する必要がある。デコーダにおける高域は、過渡成分が高域に比べてずっと目立たない低域に基づくからである。この側面は、他のオーディオ符号化アルゴリズムにおいて使われる通常のスペクトル包絡推定に比べて、前記スペクトル包絡データの時間周波数分解能について異なる要件を課す。
スペクトル包絡とは別に、異なる時間および周波数領域についての入力信号のスペクトル特性を表わす、いくつかの追加的なパラメータが抽出される。エンコーダは当然ながらもとの信号へのアクセスおよびデコーダにおけるSBRユニットがどのように高域を生成するかについての情報をもつので、制御パラメータの特定の集合が与えられれば、システムが、低域が、強い高調波系列を構成し、再生成される高域が主としてランダムな信号成分を構成するという状況および強いトーン様成分がもとの高域に存在するが、前記高域領域のもとになる低域には対応するものがない状況を扱うことが可能である。さらに、SBRエンコーダは、所与の時間においてどの周波数範囲がSBRによってカバーされるべきかを評価するために、根底にあるコア・コーデックと密接に関係して機能する。SBRデータは、エントロピー符号化と、ステレオ信号の場合は前記制御データのチャネル依存性とを活用することにより、伝送に先立って効率的に符号化される。
制御パラメータ抽出アルゴリズムは典型的には、所与のビットレートおよび所与のサンプリング・レートで、根底にあるコーデックに合わせて注意深くチューニングされる必要がある。これは、より低いビットレートは通例、高いビットレートに比べて、より大きなSBR範囲を含意し、異なるサンプリング・レートはSBRフレームの異なる時間分解能に対応するという事実のためである。
SBRデコーダは典型的には、いくつかの異なる部分を含む。SBRデコーダは、ビットストリーム・デコード・モジュール、高周波再構成（HFR）モジュール、追加的高周波成分モジュールおよび包絡調整器モジュールを有する。本システムは、複素数値のQMFフィルタバンクあたりに基づく。ビットストリーム抽出モジュールでは、制御データがビットストリームから読まれて、デコードされる。ビットストリームから包絡データを読むのに先立ち、現在フレームについて時間周波数格子が得られる。根底にあるコア・デコーダが現在フレームのオーディオ信号を（前記の、より低いサンプリング・レートにおいてではあるが）デコードして、時間領域オーディオ信号を生成する。結果として得られるオーディオ・データのフレームは、HFRモジュールによる高周波再構成のために使われる。次いで、デコードされた低域信号はQMFフィルタバンクを使って分解される。QMFフィルタバンクのサブバンド・サンプルに対して、その後、高周波再構成および包絡調整が実行される。高周波は、与えられた制御パラメータに基づいて柔軟な仕方で低域から再構成される。さらに、再構成された高域は、所与の時間／周波数領域の適切なスペクトル特性を保証するために、前記制御データに従って、サブバンド／チャネルごとに適応的にフィルタリングされる。
MPEG-4 AACビットストリームの最上レベルはデータ・ブロック（「raw_data_block」要素）のシーケンスであり、各データ・ブロックは、（典型的には1024または960サンプルの時間期間にわたる）オーディオ・データおよび関係した情報および／または他のデータを含む、データのセグメント（本稿では「ブロックと称される」）である。ここで、一つの（二つ以上ではない）「raw_data_block」要素を決定するまたは示すオーディオ・データ（および対応するメタデータおよび任意的には他の関係したデータ）を含むMPEG-4 AACビットストリームのセグメントを表わすために、用語「ブロック」を使う。
MPEG-4 AACビットストリームの各ブロックは、いくつかのシンタックス要素を含むことができる（そのそれぞれも、ビットストリームにおいてデータのセグメントとして具現される）。七つの型のそのようなシンタックス要素がMPEG-4 AAC規格において定義されている。各シンタックス要素はデータ要素「id_syn_ele」の異なる値によって識別される。シンタックス要素の例は「single_channel_element()」、「channel_pair_element()」および「fill_element()」を含む。単一チャネル要素（single channel element）は、単一のオーディオ・チャネルのオーディオ・データ（モノフォニック・オーディオ信号）を含むコンテナである。チャネル対要素（channel pair element）は二つのオーディオ・チャネルのオーディオ・データ（すなわち、ステレオ・オーディオ信号）を含む。
充填要素（fill element）は、識別子（たとえば上記の要素「id_syn_ele」の値）および「充填データ」（fill data）と称されるそれに続くデータを含む情報のコンテナである。充填要素は、歴史的には、一定レート・チャネルを通じて伝送されるべきビットストリームの瞬時ビットレートを調整するために使われてきた。各ブロックに適切な量の充填データを加えることによって、一定データ・レートが達成されうる。
本発明の諸実施形態によれば、充填データは、ビットストリームにおいて伝送されることのできるデータ（たとえばメタデータ）の型を拡張する一つまたは複数の拡張ペイロードを含みうる。新しい型のデータを含む充填データをもつビットストリームを受け取るデコーダは、任意的に、該ビットストリームを受け取る装置（たとえばデコーダ）によって、該装置の機能を拡張するために使用されてもよい。このように、当業者には理解できるように、充填要素は特殊な型のデータ構造であり、オーディオ・データ（たとえばチャネル・データを含むオーディオ・ペイロード）を伝送するために典型的に使われるデータ構造とは異なる。
本発明のいくつかの実施形態では、充填要素を識別するために使われる識別子は、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数（unsigned integer transmitted most significant bit first）（「uimsbf」）からなっていてもよい。一つのブロックにおいて、同じ型のシンタックス要素のいくつかのインスタンス（たとえばいくつかの充填要素）が生起してもよい。
オーディオ・ビットストリームをエンコードするためのもう一つの規格は、MPEG統合音声音響符号化（USAC: Unified Speech and Audio Coding）規格（ISO/IEC 23003-3:2012）である。MPEG USAC規格は、スペクトル帯域複製処理（MPEG-4 AAC規格に記述されるSBR処理を含み、他の向上された形のスペクトル帯域複製処理をも含む）を使ってオーディオ・コンテンツをエンコードおよびデコードすることを記述している。この処理は、MPEG-4 AAC規格において記述されているSBRツールの集合の、拡張され、向上されたバージョンのスペクトル帯域複製ツール（本稿では時に「向上SBRツール」または「eSBRツール」と称される）を適用する。このように、eSBR（USAC規格において定義されている）はSBR（MPEG-4 AAC規格において定義されている）に対する改良である。
本稿において、「向上SBR処理」（enhanced SBR processing）（または「eSBR処理」）という表現は、MPEG-4 AACにおいて記述または言及されていない少なくとも一つのeSBRツール（たとえば、MPEG USAC規格において記述または言及されている少なくとも一つのeSBRツール）を使うスペクトル帯域複製処理を表わすために使う。そのようなeSBRツールの例は高調波転換（harmonic transposition）、QMFパッチング追加的前処理もしくは「前置平坦化（pre-flattening）」である。
整数次数Tの高調波転換器は、信号継続時間を保存しながら、周波数ωの正弦波を周波数Tωの正弦波にマッピングする。可能な最小の転換次数（transposition order）を使って所望される出力周波数範囲の各部分を生成するために、典型的には三つの次数T＝2,3,4が順次使われる。四次の転換範囲（transposition range）より上の出力が必要とされる場合には、それは周波数シフトによって生成されてもよい。可能なときは、計算量を最小限にするために、ほぼ臨界サンプリングされたベースバンドの時間領域が前記処理のために生成される。
MPEG USAC規格に従って生成されたビットストリーム（本稿では時に「USACビットストリーム」と称される）は、エンコードされたオーディオ・コンテンツを含み、典型的には、該USACビットストリームのオーディオ・コンテンツをデコードするためにデコーダによって適用されるべきスペクトル帯域複製処理のそれぞれの型を示すメタデータおよび／またはそのようなスペクトル帯域複製処理を制御するおよび／または該USACビットストリームのオーディオ・コンテンツをデコードするために用いられるべき少なくとも一つのSBRツールおよび／またはeSBRツールの少なくとも一つの特性またはパラメータを示すメタデータを含む。
ここでは、「向上SBRメタデータ」（または「eSBRメタデータ」）という表現は、エンコードされたオーディオ・ビットストリーム（たとえばUSACビットストリーム）のオーディオ・コンテンツをデコードするためにデコーダによって適用されるべきスペクトル帯域複製処理のそれぞれの型を示すおよび／またはそのようなスペクトル帯域複製処理を制御するおよび／またはそのようなオーディオ・コンテンツをデコードするために用いられるべき少なくとも一つのSBRツールおよび／またはeSBRツールの少なくとも一つの特性またはパラメータを示すメタデータであって、MPEG-4 AAC規格において記述または言及されていないものを表わすために使う。eSBRメタデータの例は、MPEG USAC規格において記述または言及されているがMPEG-4 AAC規格では記述も言及もされていない（スペクトル帯域複製処理を示すまたは制御するための）メタデータである。このように、本稿でのeSBRメタデータは、SBRメタデータではないメタデータを表わし、本稿でのSBRメタデータはeSBRメタデータではないメタデータを表わす。
USACビットストリームは、SBRメタデータおよびeSBRメタデータ両方を含んでいてもよい。より具体的には、USACビットストリームは、デコーダによるeSBR処理の実行を制御するeSBRメタデータおよびデコーダによるSBR処理の実行を制御するSBRメタデータを含んでいてもよい。本発明の典型的な実施形態によれば、eSBRメタデータ（たとえばeSBR固有の構成設定データ）が（本発明に従って）（たとえばSBRペイロードの末尾のsbr_extension()コンテナにおいて）MPEG-4 AACビットストリームに含められる。
（少なくとも一つのeSBRツールを含む）eSBRツール集合を使ったエンコードされたビットストリームのデコードの間の、デコーダによるeSBR処理の実行は、エンコードの間に打ち切りされた高調波のシーケンスの複製に基づいてオーディオ信号の高周波数帯域を再生成する。そのようなeSBR処理は典型的には、もとのオーディオ信号のスペクトル特性を再現するために、生成された高周波数帯域のスペクトル包絡を調整し、逆フィルタリングを適用し、ノイズおよび正弦波成分を加える。
本発明の典型的な実施形態によれば、eSBRメタデータが（たとえばeSBRメタデータである少数の制御ビットが）、エンコードされたオーディオ・ビットストリーム（たとえばMPEG-4 AACビットストリーム）のメタデータ・セグメントの一つまたは複数に含められる。エンコードされたオーディオ・ビットストリームは他のセグメント（オーディオ・データ・セグメント）において、エンコードされたオーディオ・データをも含む。典型的には、ビットストリームの各ブロックの少なくとも一つのそのようなメタデータ・セグメントが充填要素（該充填要素の先頭を示す識別子を含む）であり（または充填要素を含み）、eSBRメタデータは該識別子の後で該充填要素に含められる。
図１は、例示的なオーディオ処理チェーン（オーディオ・データ処理システム）のブロック図であり、該システムの要素の一つまたは複数が本発明の実施形態に従って構成されてもよい。本システムは、図のように一緒に結合された以下の要素を含む：エンコーダ１、送達サブシステム２、デコーダ３および後処理ユニット４。図示したシステムの変形においては、要素の一つまたは複数が省略され、あるいは追加的なオーディオ・データ処理ユニットが含められる。
いくつかの実装では、エンコーダ１（これは任意的には前処理ユニットを含む）は、入力としてオーディオ・コンテンツを含むPCM（時間領域）サンプルを受け入れ、該オーディオ・コンテンツを示すエンコードされたオーディオ・ビットストリーム（MPEG-4 AAC規格に準拠するフォーマットをもつ）を出力するよう構成されている。オーディオ・コンテンツを示すビットストリームのデータは本稿では時に「オーディオ・データ」または「エンコードされたオーディオ・データ」と称される。エンコーダが本発明の典型的な実施形態に従って構成される場合、エンコーダから出力されるオーディオ・ビットストリームは、オーディオ・データのほかにeSBRメタデータを（典型的には他のメタデータも）含む。
エンコーダ１から出力される一つまたは複数のエンコードされたオーディオ・ビットストリームは、エンコードされたオーディオ送達サブシステム２に呈されてもよい。サブシステム２は、エンコーダ１から出力されたそれぞれのエンコードされたビットストリームを記憶および／または送達するよう構成される。エンコーダ１から出力されたエンコードされたオーディオ・ビットストリームはサブシステム２によって（たとえばDVDまたはブルーレイディスクの形で）記憶されてもよく、あるいはサブシステム２（これは伝送リンクまたはネットワークを実装してもよい）によって伝送されてもよく、あるいはサブシステム２によって記憶されかつ伝送されてもよい。
デコーダ３は、サブシステム２を介して受け取る（エンコーダ１によって生成された）エンコードされたMPEG-4 AACオーディオ・ビットストリームをデコードするよう構成される。いくつかの実施形態では、デコーダ３は、ビットストリームの各ブロックからeSBRメタデータを抽出し、ビットストリームをデコードして（抽出されたeSBRメタデータを使ってeSBR処理を実行することによることを含む）、デコードされたオーディオ・データ（たとえば、デコードされたPCMオーディオ・サンプルのストリーム）を生成するよう構成される。いくつかの実施形態では、デコーダ３は、ビットストリームからSBRメタデータを抽出し（だがビットストリームに含まれるeSBRメタデータは無視し）、ビットストリームをデコードして（抽出されたSBRメタデータを使ってSBR処理を実行することによることを含む）、デコードされたオーディオ・データ（たとえば、デコードされたPCMオーディオ・サンプルのストリーム）を生成するよう構成される。典型的には、デコーダ３は、サブシステム２から受領されたエンコードされたオーディオ・ビットストリームの諸セグメントを（たとえば非一時的な仕方で）記憶するバッファを含む。
図１の後処理ユニット４は、デコーダ３からのデコードされたオーディオ・データ（たとえばデコードされたPCMオーディオ・サンプル）のストリームを受け入れ、それに対して後処理を実行するよう構成される。後処理ユニットは、後処理されたオーディオ・コンテンツ（またはデコーダ３から受領されたデコードされたオーディオ）を一つまたは複数のスピーカーによる再生のためにレンダリングするよう構成されてもよい。
図２は、本発明のオーディオ処理ユニットのある実施形態であるエンコーダ（１００）のブロック図である。エンコーダ１００のコンポーネントまたは要素のいずれも、一つまたは複数のプロセスおよび／または一つまたは複数の回路（たとえばASIC、FPGAまたは他の集積回路）として、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、実装されてもよい。エンコーダ１００は、図のように接続された、エンコーダ１０５、詰め込み器（stuffer）／フォーマッタ段１０７、メタデータ生成段１０６およびバッファ・メモリ１０９を含んでいる。典型的には、エンコーダ１００は、他の処理要素（図示せず）をも含む。エンコーダ１００は、入力オーディオ・ビットストリームを、エンコードされた出力MPEG-4 AACビットストリームに変換するよう構成される。
メタデータ生成器１０６は、エンコーダ１００から出力されるべきエンコードされたビットストリームに段１０７によって含められるべきメタデータ（eSBRメタデータおよびSBRメタデータを含む）を生成する（および／または段１０７に素通しにする）よう結合され、構成される。
エンコーダ１０５は、入力オーディオ・データを（たとえばそれに対して圧縮を実行することにより）エンコードし、結果として得られるエンコードされたオーディオを、段１０７から出力されるべきエンコードされたビットストリームに含めるために、段１０７に呈するよう結合され、構成される。
段１０７は、エンコーダ１０５からのエンコードされたオーディオおよび生成器１０６からのメタデータ（eSBRメタデータおよびSBRメタデータを含む）を多重化して、段１０７から出力されるべきエンコードされたビットストリームを生成するよう構成される。好ましくは、エンコードされたビットストリームが本発明の実施形態の一つによって規定されるフォーマットをもつようにする。
バッファ・メモリ１０９は、段１０７から出力されたエンコードされたオーディオ・ビットストリームの少なくとも一つのブロックを（たとえば非一時的な仕方で）記憶するよう構成される。その後、エンコードされたオーディオ・ビットストリームのブロックのシーケンスがバッファ・メモリ１０９から、エンコーダ１００からの出力として、送達システムに呈される。
図３は、本発明のオーディオ処理ユニットの実施形態であるデコーダ（２００）を含み、任意的にはそれに結合された後処理器（３００）をも含むシステムのブロック図である。デコーダ２００のコンポーネントまたは要素のいずれも、一つまたは複数のプロセスおよび／または一つまたは複数の回路（たとえばASIC、FPGAまたは他の集積回路）として、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、実装されてもよい。デコーダ２００は、図のように接続された、バッファ・メモリ２０１、ビットストリーム・ペイロード・フォーマット解除器（パーサー）２０５、オーディオ・デコード・サブシステム２０２（時に「コア」デコード段または「コア」デコード・サブシステムと称される）、eSBR処理段２０３および制御ビット生成段２０４を有する。典型的には、デコーダ２００は、他の処理要素（図示せず）をも含む。
バッファ・メモリ（バッファ）２０１は、デコーダ２００によって受領されるエンコードされたMPEG-4 AACオーディオ・ビットストリームの少なくとも一つのブロックを（たとえば非一時的な仕方で）記憶する。デコーダ２００の動作において、ビットストリームのブロックのシーケンスがバッファ２０１からフォーマット解除器２０５に呈される。
図３の実施形態の変形（または後述する図４の実施形態）では、デコーダではないAPU（たとえば図６のAPU ５００）が、図３または図４のバッファ２０１によって受領されるのと同じ型のエンコードされたオーディオ・ビットストリーム（たとえばMPEG-4 AACオーディオ・ビットストリーム）（すなわち、eSBRメタデータを含むエンコードされたオーディオ・ビットストリーム）の少なくとも一つのブロックを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（たとえばバッファ２０１と同一のバッファ・メモリ）を含む。
再び図３を参照するに、フォーマット解除器２０５は、ビットストリームの各ブロックを多重分離して、それからSBRメタデータ（量子化された包絡データを含む）およびeSBRメタデータを（典型的には他のメタデータも）抽出し、少なくとも前記eSBRメタデータおよび前記SBRメタデータをeSBR処理段２０３に呈するとともに、典型的にはさらに他の抽出されたメタデータをデコード・サブシステム２０２に（任意的には制御ビット生成器２０４にも）呈するよう結合され、構成される。フォーマット解除器２０５は、ビットストリームの各ブロックからオーディオ・データを抽出し、抽出されたオーディオ・データをデコード・サブシステム（デコード段）２０２に呈するようにも結合され、構成される。
図３のシステムは任意的には、後処理器３００をも含む。後処理器３００はバッファ・メモリ（バッファ）３０１と、バッファ３０１に結合された少なくとも一つの処理要素を含む他の処理要素（図示せず）とを含む。バッファ３０１は、デコーダ２００から後処理器３００によって受領されたデコードされたオーディオ・データの少なくとも一つのブロック（またはフレーム）を（たとえば非一時的な仕方で）記憶する。後処理器３００の処理要素は、バッファ３０１から出力されたデコードされたオーディオのブロック（またはフレーム）のシーケンスを受領し、デコード・サブシステム２０２（および／またはフォーマット解除器２０５）から出力されたメタデータおよび／またはデコーダ２００の段２０４から出力された制御ビットを使って適応的に処理するよう結合され、構成される。
デコーダ２００のオーディオ・デコード・サブシステム２０２は、パーサー２０５によって抽出されたオーディオ・データをデコードして（そのようなデコードは「コア」デコード動作と称されてもよい）、デコードされたオーディオ・データを生成し、デコードされたオーディオ・データをeSBR処理段２０３に呈するよう構成される。デコードは周波数領域で実行され、典型的には逆量子化とそれに続くスペクトル処理（spectral processing）を含む。典型的には、サブシステム２０２における処理の最終段が、デコードされた周波数領域オーディオ・データに周波数領域から時間領域への変換を適用し、そのためサブシステムの出力は時間領域のデコードされたオーディオ・データである。段２０３は、（パーサー２０５によって抽出された）SBRメタデータおよびeSBRメタデータによって示されるSBRツールおよびeSBRツールを、デコードされたオーディオ・データに適用して（すなわち、SBRおよびeSBRメタデータを使ってデコード・サブシステム２０２の出力に対してSBRおよびeSBR処理を実行して）、デコーダ２００から（たとえば後処理器３００に）出力される完全にデコードされたオーディオ・データを生成するよう構成される。典型的には、デコーダ２００は、フォーマット解除器２０５から出力されるフォーマット解除されたオーディオ・データおよびメタデータを記憶するメモリ（サブシステム２０２および段２０３によってアクセス可能）を含み、段２０３はSBRおよびeSBR処理の間に必要に応じてオーディオ・データおよびメタデータ（SBRメタデータおよびeSBRメタデータを含む）にアクセスするよう構成される。段２０３におけるSBR処理およびeSBR処理は、コア・デコード・サブシステム２０２の出力に対する後処理であると考えられてもよい。任意的に、デコーダ２００は、最終的なアップミックス・サブシステム（これは、フォーマット解除器２０５によって抽出されたPSメタデータおよび／またはサブシステム２０４において生成された制御ビットを使って、MPEG-4 AAC規格において定義されているパラメトリック・ステレオ（「PS」）ツールを適用しうる）をも含む。アップミックス・サブシステムは、段２０３の出力に対してアップミックスを実行して、デコーダ２００から出力される、完全にデコードされた、アップミックスされたオーディオを生成するよう結合され、構成される。あるいはまた、後処理器３００が（たとえばフォーマット解除器２０５によって抽出されたPSメタデータおよび／またはサブシステム２０４において生成された制御ビットを使って）デコーダ２００の出力に対してアップミックスを実行するよう構成される。
フォーマット解除器２０５によって抽出されたメタデータに応答して、制御ビット生成器２０４は制御データを生成してもよい。制御データは、デコーダ２００内で（たとえば最終的なアップミックス・サブシステムにおいて）使われてもよく、および／またはデコーダ２００の出力として（たとえば後処理で使うために後処理器３００に）呈されてもよい。入力ビットストリームから抽出されたメタデータに応答して（任意的には制御データにも応答して）、段２０４は、eSBR処理段２０３から出力されたデコードされたオーディオ・データが特定の型の後処理を受けるべきであることを示す制御ビットを生成し（そして後処理器３００に呈し）てもよい。いくつかの実装では、デコーダ２００は、入力ビットストリームからフォーマット解除器２０５によって抽出されたメタデータを後処理器３００に呈するよう構成され、後処理器３００は、デコーダ２００から出力されたデコードされたオーディオ・データに対して、前記メタデータを使って後処理を実行するよう構成される。
図４は、本発明のオーディオ処理ユニットのもう一つの実施形態であるオーディオ処理ユニット（「APU」）（２１０）のブロック図である。APU ２１０は、eSBR処理を実行するよう構成されていないレガシー・デコーダである。APU ２１０のコンポーネントまたは要素のいずれも、一つまたは複数のプロセスおよび／または一つまたは複数の回路（たとえばASIC、FPGAまたは他の集積回路）として、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組み合わせにおいて、実装されてもよい。APU ２１０は、図のように接続された、バッファ・メモリ２０１、ビットストリーム・ペイロード・フォーマット解除器（パーサー）２１５、オーディオ・デコード・サブシステム２０２（時に「コア」デコード段または「コア」デコード・サブシステムと称される）およびSBR処理段２１３を有する。典型的には、APU ２１０は、他の処理要素（図示せず）をも含む。APU ２１０は、たとえば、オーディオ・エンコーダ、デコーダまたはトランスコーダを表わしていてもよい。
APU ２１０の要素２０１および２０２は、（図３の）デコーダ２００の同じ番号を付された要素と同一であり、それらについての上記の記述は繰り返さない。APU ２１０の動作においては、APU ２１０によって受領されるエンコードされたオーディオ・ビットストリーム（MPEG-4 AACビットストリーム）のブロックのシーケンスはバッファ２０１からフォーマット解除器２１５に呈される。
フォーマット解除器２１５は、ビットストリームの各ブロックを多重分離して、それからSBRメタデータ（量子化された包絡データを含む）を、典型的には他のメタデータも抽出するが、本発明の任意の実施形態によりビットストリームに含まれることがありうるeSBRは無視するよう結合され、構成される。フォーマット解除器２１５は、少なくとも前記SBRメタデータをSBR処理段２１３に呈するよう構成される。フォーマット解除器２１５は、ビットストリームの各ブロックからオーディオ・データを抽出し、抽出されたオーディオ・データをデコード・サブシステム（デコード段）２０２に呈するようにも結合され、構成される。
デコーダ２００のオーディオ・デコード・サブシステム２０２は、フォーマット解除器２１５によって抽出されたオーディオ・データをデコードして（そのようなデコードは「コア」デコード動作と称されてもよい）、デコードされたオーディオ・データを生成し、デコードされたオーディオ・データをSBR処理段２１３に呈するよう構成される。デコードは周波数領域で実行される。典型的には、サブシステム２０２における処理の最終段が、デコードされた周波数領域オーディオ・データに周波数領域から時間領域への変換を適用し、そのためサブシステムの出力は時間領域のデコードされたオーディオ・データである。段２１３は、（フォーマット解除器２１５によって抽出された）SBRメタデータによって示されるSBRツールをデコードされたオーディオ・データに適用して（だがeSBRツールは適用しない）（すなわち、SBRメタデータを使ってデコード・サブシステム２０２の出力に対してSBR処理を実行して）、APU ２１０から（たとえば後処理器３００に）出力される完全にデコードされたオーディオ・データを生成するよう構成される。典型的には、APU ２１０は、フォーマット解除器２１５から出力されるフォーマット解除されたオーディオ・データおよびメタデータを記憶するメモリ（サブシステム２０２および段２１３によってアクセス可能）を含み、段２１３はSBR処理の間に必要に応じてオーディオ・データおよびメタデータ（SBRメタデータを含む）にアクセスするよう構成される。段２１３におけるSBR処理は、コア・デコード・サブシステム２０２の出力に対する後処理であると考えられてもよい。任意的に、APU ２１０は、最終的なアップミックス・サブシステム（これは、フォーマット解除器２１５によって抽出されたPSメタデータを使って、MPEG-4 AAC規格において定義されているパラメトリック・ステレオ（「PS」）ツールを適用しうる）をも含む。アップミックス・サブシステムは、段２１３の出力に対してアップミックスを実行して、APU ２１０から出力される、完全にデコードされた、アップミックスされたオーディオを生成するよう結合され、構成される。あるいはまた、後処理器が（たとえばフォーマット解除器２１５によって抽出されたPSメタデータおよび／またはAPU ２１０において生成された制御ビットを使って）APU ２１０の出力に対してアップミックスを実行するよう構成される。
エンコーダ１００、デコーダ２００およびAPU ２１０のさまざまな実装が、本発明の方法の異なる実施形態を実行するよう構成される。
いくつかの実施形態によれば、（eSBRメタデータをパースしたりeSBRメタデータが関係する何らかのeSBRツールを使ったりするよう構成されていない）レガシー・デコーダがeSBRメタデータを無視するが、それでもビットストリームをeSBRメタデータやeSBRメタデータが関係する何らかのeSBRツールを使うことなく、典型的にはデコードされたオーディオ品質におけるいかなる有意なペナルティもなしに可能な限りデコードできるように、eSBRメタデータが（たとえば、eSBRメタデータである少数の制御ビットが）エンコードされたオーディオ・ビットストリーム（たとえばMPEG-4 AACビットストリーム）に含められる。しかしながら、ビットストリームをパースしてeSBRメタデータを識別し、該eSBRメタデータに応答して少なくとも一つのeSBRツールを使うよう構成されたeSBRデコーダは、少なくとも一つのそのようなeSBRツールを使うことの恩恵を享受する。したがって、本発明の実施形態は、向上されたスペクトル帯域複製（eSBR）制御データまたはメタデータを、後方互換な仕方で効率的に伝送する手段を提供する。
典型的には、ビットストリーム中のeSBRメタデータは、（MPEG USAC規格において記述されており、ビットストリームの生成の際にエンコーダによって適用されていてもいなくてもよい）次のeSBRツールのうちの一つまたは複数を示す（たとえば、次のeSBRツールのうちの一つまたは複数の、少なくとも一つの特性またはパラメータを示す）：
・高調波転換；および
・QMFパッチング追加的前処理（前置平坦化（pre-flattening））。
たとえば、ビットストリームに含まれるeSBRメタデータは、（MPEG USAC規格および本開示において記述される）パラメータ：sbrPatchingMode[ch]、sbrOversamplingFlag[ch]、sbrPitchInBins[ch]、sbrPitchInBins[ch]およびbs_sbr_preprocessingの値を示してもよい。
ここで、Xが何らかのパラメータであるとして記法X[ch]は、そのパラメータがデコードされるべきエンコードされたビットストリームのオーディオ・コンテンツのチャネル（「ch」）に関することを表わす。簡単のため、時に表現[ch]を略し、関連するパラメータがオーディオ・コンテンツのあるチャネルに関することを前提とする。
ここで、Xが何らかのパラメータであるとして記法X[ch][env]は、そのパラメータがデコードされるべきエンコードされたビットストリームのオーディオ・コンテンツのチャネル（「ch」）のSBR包絡（「env」）に関することを表わす。簡単のため、時に表現[env]および[ch]を略し、関連するパラメータがオーディオ・コンテンツのあるチャネルのあるSBR包絡に関することを前提とする。
エンコードされたビットストリームのデコードの間、（ビットストリームによって示されるオーディオ・コンテンツの各チャネル「ch」についての）デコードのeSBR処理段の間の高調波転換の実行が、以下のeSBRメタデータ・パラメータによって制御される：sbrPatchingMode[ch]；sbrOversamplingFlag[ch]；sbrPitchInBinsFlag[ch]およびsbrPitchInBins[ch]。
sbrPatchingMode[ch]の値は、eSBRにおいて使われる転換器（transposer）の型を示す。sbrPatchingMode[ch]＝1はMPEG-4 AAC規格の4.6.18.6.3節に記載される非高調波パッチングを示し；sbrPatchingMode[ch]＝0は、MPEG USAC規格の7.5.3または7.5.4節に記載される高調波SBRパッチングを示す。
sbrOversamplingFlag[ch]の値は、MPEG USAC規格の7.5.3節に記載されるDFTベースの高調波SBRパッチングと組み合わせたeSBRにおける信号適応的な周波数領域オーバーサンプリングの使用を示す。このフラグは転換器において利用されるDFTのサイズを制御する。1はMPEG USAC規格の7.5.3.1節に記載されるように有効にされた信号適応的な周波数領域オーバーサンプリングを示し；0はMPEG USAC規格の7.5.3.1節に記載されるように無効にされた信号適応的な周波数領域オーバーサンプリングを示す。
sbrPitchInBinsFlag[ch]の値は、sbrPitchInBins[ch]パラメータの解釈を制御する。1はsbrPitchInBins[ch]における値が有効であり、0より大きいことを示し；0はsbrPitchInBins[ch]の値が0に設定されていることを示す。
sbrPitchInBins[ch]の値は、SBR高調波転換器におけるクロス積の項の付加（addition）を制御する。値sbrPitchInBins[ch]は[0,127]の範囲内の整数値であり、コア符号化器のサンプリング周波数に対して作用する1536ラインのDFTについての周波数ビンにおいて測られる距離を表わす。
MPEG-4 AACビットストリームが、（単一のSBRチャネルではなく）チャネルどうしが結合されていないSBRチャネル対を示す場合、該ビットストリームは（高調波または非高調波転換について）上記のシンタックスの二つのインスタンスを示す。sbr_channel_pair_element()の各チャネルについて一つのインスタンスである。
eSBRツールの高調波転換は典型的には、比較的低いクロスオーバー周波数におけるデコードされた音楽信号の品質を改善する。非高調波転換（すなわち、レガシーのスペクトル・パッチング）は典型的には発話信号を改善する。よって、特定のオーディオ・コンテンツをエンコードするためにどの型の転換が好ましいかについての判断における出発点は、発話／音楽検出に依存して転換方法を選択することである。ここで、音楽コンテンツに対しては高調波転換が用いられ、発話コンテンツに対してはスペクトル・パッチングが用いられる。
eSBR処理の間の前置平坦化の実行は、bs_sbr_preprocessingとして知られる一ビットのeSBRメタデータ・パラメータの値によって制御される。それは、前置平坦化がこの単一のビットの値に依存して実行されるか、実行されないという意味においてである。MPEG-4 AAC規格の4.6.18.6.3節に記載されるSBR QMFパッチング・アルゴリズムが使われるとき、高周波数信号のスペクトル包絡の形における不連続がその後の包絡調整器（該包絡調整器は前記eSBR処理の別の段階を実行する）に入力されるのを避けようとして、前置平坦化の段階が実行されてもよい（bs_sbr_preprocessingパラメータによって示されるとき）。前置平坦化は典型的には、その後の包絡調整段の動作を改善し、結果として、知覚される高域信号がより安定することになる。
MPEG-4 AACビットストリームに上述したeSBRツール（高調波転換および前置平坦化）を示すeSBRメタデータを含めるための全体的なビットレート要求は、毎秒数百ビットのオーダーであると期待される。本発明のいくつかの実施形態によれば、eSBR処理を実行するために必要とされる差分の制御データが伝送されるだけだからである。この情報は（のちに説明するように）後方互換な仕方で含められるので、レガシー・デコーダはこの情報を無視できる。したがって、eSBRメタデータを含めることに関連するビットレートに対する悪影響は、次のことを含むいくつかの理由により、無視できる：
・（eSBRメタデータを含めることに起因する）ビットレート・ペナルティーは、eSBR処理を実行するために必要とされる差分の制御データだけが伝送される（SBR制御データのサイマルキャストではない）ので、全ビットレートの非常に小さな割合であること；および
・SBRに関係した制御情報のチューニングは典型的には転換の詳細には依存しないこと。
このように、本発明の諸実施形態は、向上されたスペクトル帯域複製（eSBR）制御データまたはメタデータを後方互換な仕方で効率的に伝送する手段を提供する。eSBR制御データのこの効率的な伝送は、ビットレートに対して明確な悪影響なしに、本発明の諸側面を用いるデコーダ、エンコーダおよびトランスコーダにおけるメモリ要求を軽減する。さらに、本発明の実施形態に従ってeSBRを実行することに関連する複雑さおよび処理要求も軽減される。SBRデータが処理される必要があるのは一度だけであり、eSBRが後方互換な仕方でMPEG-4 AACコーデックに統合されるのではなくMPEG-4 AACにおける完全に別個のオブジェクト型として扱われるとしたらそうであるようにサイマルキャストされる必要がないからである。
次に、図７を参照して、本発明のいくつかの実施形態に従ってeSBRメタデータが含められるMPEG-4 AACビットストリームのブロック（raw_data_block）の要素を記述する。図７は、MPEG-4 AACビットストリームのブロック（raw_data_block）の図であり、そのセグメントのいくつかを示している。
MPEG-4 AACビットストリームのブロックは、オーディオ・プログラムについてのオーディオ・データを含む、少なくとも一つのsingle_channel_element()（たとえば図７に示される単一チャネル要素）および／または少なくとも一つのchannel_pair_element()（図７には特定的に示していないが、存在しうる）を含んでいてもよい。ブロックは、プログラムに関係したデータ（たとえばメタデータ）を含むいくつかのfill_element（たとえば図７の充填要素１および／または充填要素２）をも含んでいてもよい。各single_channel_element()は、単一チャネル要素の先頭を示す識別子（たとえば図７の「ID1」）を含み、マルチチャネル・オーディオ・プログラムの異なるチャネルを示すオーディオ・データを含むことができる。各channel_pair_elementはチャネル対要素の先頭を示す識別子（図７には示さず）を含み、プログラムの二つのチャネルを示すオーディオ・データを含むことができる。
MPEG-4 AACビットストリームのfill_element（本稿では充填要素と称される）は、充填要素の先頭を示す識別子（たとえば図７の「ID2」）を含み、識別子の後に充填データを含む。識別子ID2は、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数（「uimsbf」）からなっていてもよい。充填データは、extension_payload()要素（本稿では時に拡張ペイロードと称される）を含むことができる。そのシンタックスはMPEG-4 AAC規格の表4.57に示されている。拡張ペイロードのいくつかの型が存在し、extension_typeパラメータを通じて識別される。このパラメータは、四ビットの、最上位ビットが最初に伝送される符号なし整数（「uimsbf」）である。
充填データ（たとえばその拡張ペイロード）は、SBRオブジェクトを示す充填データのセグメントを示すヘッダまたは識別子（たとえば図７の「ヘッダ１」）を含むことができる（すなわち、ヘッダが、MPEG-4 AAC規格においてsbr_extension_data()と称される「SBRオブジェクト」型を初期化する）。たとえば、スペクトル帯域複製（SBR）拡張ペイロードは、ヘッダにおけるextension_typeフィールドについての値「1101」または「1110」をもって識別され、識別子「1101」はSBRデータを用いた拡張ペイロードを同定し、「1110」はSBRデータの正しさを検証するための巡回冗長検査（CRC）をもつSBRデータを用いた拡張ペイロードを同定する。
ヘッダが（たとえばextension_typeフィールドが）SBRオブジェクト型を初期化するとき、ヘッダにはSBRメタデータ（本稿では時に「スペクトル帯域複製データ」と称され、MPEG-4 AAC規格ではsbr_data()と称される）が後続し、該SBRメタデータには少なくとも一つのスペクトル帯域複製拡張要素（たとえば、図７の充填要素１の「SBR拡張要素」）が後続することができる。そのようなスペクトル帯域複製拡張要素（ビットストリームのセグメント）は、MPEG-4 AAC規格ではsbr_extension()コンテナと称される。スペクトル帯域複製拡張要素は任意的に、ヘッダ（たとえば、図７の充填要素１の「SBR拡張ヘッダ」）を含む。
MPEG-4 AAC規格は、スペクトル帯域複製拡張要素がプログラムのオーディオ・データのためのPS（パラメトリック・ステレオ）データを含むことができることを考えている。MPEG-4 AAC規格は、充填要素の（たとえばその拡張ペイロードの）ヘッダが（図７の「ヘッダ１」のように）SBRオブジェクト型を初期化し、充填要素のスペクトル帯域複製拡張要素がPSデータを含むとき、充填要素（たとえばその拡張ペイロード）がスペクトル帯域複製データbs_extension_idパラメータを含むことを考えている。このパラメータの値（すなわちbs_extension_id＝2）はPSデータが充填要素のスペクトル帯域複製拡張要素に含まれることを示す。
本発明のいくつかの実施形態によれば、eSBRメタデータ（たとえば向上スペクトル帯域複製（eSBR）処理がそのブロックのオーディオ・コンテンツに対して実行されるかどうかを示すフラグ）が充填要素のスペクトル帯域複製拡張要素に含められる。たとえば、そのようなフラグは図７の充填要素１において示され、フラグは充填要素１の「SBR拡張要素」のヘッダ（充填要素１の「SBR拡張ヘッダ」）の後に現われる。任意的に、そのようなフラグおよび追加的なeSBRメタデータがスペクトル帯域複製拡張要素において、スペクトル帯域複製拡張要素のヘッダの後に（たとえば図７における充填要素１のSBR拡張要素において、SBR拡張ヘッダ後に）含められる。本発明のいくつかの実施形態によれば、eSBRメタデータを含む充填要素はbs_extension_idパラメータをも含む。そのパラメータの値（たとえばbs_extension_id＝3）は、充填要素にeSBRメタデータが含まれ、当該ブロックのオーディオ・コンテンツに対してeSBR処理が実行されるべきであることを示す。
本発明のいくつかの実施形態によれば、eSBRメタデータは、充填要素のスペクトル帯域複製拡張要素（SBR拡張要素）以外のMPEG-4 AACビットストリームの充填要素（たとえば図７の充填要素２）に含められる。これは、SBRデータまたはCRCをもつSBRデータをもつextension_payload()を含む充填要素は、他のいかなる拡張型の他のいかなる拡張ペイロードをも含まないからである。したがって、eSBRメタデータが自分自身の拡張ペイロードに記憶される実施形態では、eSBRメタデータを記憶するために別個の充填要素が使われる。そのような充填要素は、充填要素の先頭を示す識別子（たとえば図７の「ID2」）を含み、該識別子の後に充填データを含む。充填データは、extension_payload()要素（本稿では時に拡張ペイロードと称される）を含むことができる。そのシンタックスはMPEG-4 AAC規格の表4.57に示されている。充填データ（たとえばその拡張ペイロード）は、eSBRオブジェクトを示すヘッダ（たとえば図７の充填要素２の「ヘッダ２」）を含むことができ（すなわち、ヘッダが、向上スペクトル帯域複製（eSBR）オブジェクト型を初期化する）、充填データ（たとえばその拡張ペイロード）は、前記ヘッダ後にeSBRメタデータを含む。たとえば、図７の充填要素２はそのようなヘッダ（「ヘッダ２」）を含み、該ヘッダ後に、eSBRメタデータ（すなわち、向上スペクトル帯域複製（eSBR）処理がそのブロックのオーディオ・コンテンツに対して実行されるかどうかを示す、充填要素２内の「フラグ」）をも含んでいる。任意的には、ヘッダ２後に、図７の充填要素２の充填データに追加的なeSBRメタデータも含められる。本段落で述べている実施形態では、ヘッダ（たとえば図７のヘッダ２）は、MPEG-4 AAC規格の表4.57において指定されている通常の値のうちの一つではなく、eSBR拡張ペイロードを示す識別情報値をもつ（よって、ヘッダのextension_typeフィールドが充填データがeSBRメタデータを含むことを示す）。
第一のクラスの実施形態では、本発明は、オーディオ処理ユニット（たとえばデコーダ）であって：
エンコードされたオーディオ・ビットストリームの少なくとも一つのブロック（たとえばMPEG-4 AACビットストリームの少なくとも一つのブロック）を記憶するよう構成されたメモリ（たとえば図３または図４のバッファ２０１）と；
前記メモリに結合され、前記ビットストリームの前記ブロックの少なくとも一部を多重分離するよう構成されているビットストリーム・ペイロード・フォーマット解除器（たとえば、図３の要素２０５または図４の要素２１５）と；
前記ビットストリームの前記ブロックのオーディオ・コンテンツの少なくとも一つの部分をデコードするよう結合され、構成されたデコード・サブシステム（たとえば図３の要素２０２および２０３または図４の要素２０２および２１３）とを有し、前記ブロックは、
充填要素を含み、該充填要素の先頭を示す識別子（たとえば、MPEG-4 AAC規格の表4.85の値0x6をもつid_syn_ele識別子）と、該識別子後の充填データとを含み、前記充填データは：
前記ブロックのオーディオ・コンテンツに対して（たとえば前記ブロックに含まれるスペクトル帯域複製データおよびeSBRメタデータを使って）向上スペクトル帯域複製（eSBR）処理が実行されるべきかどうかを同定する少なくとも一つのフラグを含む、
オーディオ処理ユニットである。
前記フラグは、eSBRメタデータであり、前記フラグの例はsbrPatchingModeフラグである。前記フラグのもう一つの例はharmonicSBRフラグである。これらのフラグはいずれも、基本形のスペクトル帯域複製または向上した形のスペクトル複製のどちらが前記ブロックのオーディオ・データに対して実行されるべきかを示す。基本形のスペクトル複製はスペクトル・パッチングであり、向上した形のスペクトル帯域複製は高調波転換である。
いくつかの実施形態では、前記充填データは追加的なeSBRメタデータ（すなわち、前記フラグ以外のeSBRメタデータ）をも含む。
前記メモリは、エンコードされたオーディオ・ビットストリームの前記少なくとも一つのブロックを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（たとえば、図４のバッファ２０１の実装）であってもよい。
eSBRメタデータを含むMPEG-4 AACビットストリームのデコードの間のeSBRデコーダによる（eSBR高調波転換および前置平坦化を使う）eSBR処理（前記eSBRメタデータがこれらのeSBRツールを示す）の実行の複雑さは、（示されるパラメータを用いた典型的なデコードについて）以下のようになると推定される：
●高調波転換（16kbps、14400/28800Hz）
○DFTベース：3.68WMOPS（weighted million operations per second［加重百万演算毎秒］）；
○QMFベース：0.98WMOPS；
●QMFパッチング前処理（前置平坦化）：0.1WMOPS
過渡成分については、DFTベースの転換が典型的にはQMFベースの転換よりよい性能を発揮することがわかっている。
本発明のいくつかの実施形態によれば、eSBRメタデータを含む（エンコードされたオーディオ・ビットストリームの）充填要素は、eSBRメタデータが充填要素に含まれることおよび当該ブロックのオーディオ・コンテンツに対してeSBR処理が実行されるべきであることを合図する値（たとえばbs_extension_id＝3）をもつパラメータ（たとえばbs_extension_idパラメータ）および／または充填要素のsbr_extension()コンテナがPSデータを含むことを合図する値（たとえばbs_extension_id＝2）をもつパラメータ（たとえば同じbs_extension_idパラメータ）をも含む。たとえば、下記の表１に示されるように、値bs_extension_id＝2をもつそのようなパラメータは、充填要素のsbr_extension()コンテナがPSデータを含むことを合図してもよく、値bs_extension_id＝3をもつそのようなパラメータは、充填要素のsbr_extension()コンテナがeSBRメタデータを含むことを合図してもよい。
Figure 2020074052
 本発明のいくつかの実施形態によれば、eSBRメタデータおよび／またはPSデータを含む各スペクトル帯域複製拡張要素のシンタックスは下記の表２に示されるとおりである（ここで、sbr_extension()はスペクトル帯域複製拡張要素であるコンテナを表わし、bs_extension_idは上記の表１で述べたとおりであり、ps_dataはPSデータを表わし、esbr_dataはeSBRメタデータを表わす）。
Figure 2020074052
 ある例示的実施形態では、上記の表２で言及されているesbr_data()は以下のメタデータ・パラメータの値を示す。
１．上記の一ビットのメタデータ・パラメータbs_sbr_preprocessing；および
２．デコードされるべきエンコードされたビットストリームのオーディオ・コンテンツの各チャネル（「ch」）について、上記のパラメータ：sbrPatchingMode[ch]；sbrOversamplingFlag[ch]；sbrPitchInBinsFlag[ch]；およびsbrPitchInBins[ch]のそれぞれ。
たとえば、いくつかの実施形態では、esbr_data()は、これらのメタデータ・パラメータを示すために、表３に示されるシンタックスを有していてもよい。
Figure 2020074052
Figure 2020074052
 上記のシンタックスは、高調波転換のような向上した形のスペクトル帯域複製の、レガシー・デコーダへの拡張としての効率的な実装を可能にする。具体的には、表３のeSBRデータは、向上した形のスペクトル帯域複製を実行するために必要とされるパラメータであって、ビットストリームにおいてすでにサポートされていたりビットストリームにおいてすでにサポートされているパラメータから直接導入可能であったりするものではないもののみを含む。向上した形のスペクトル帯域複製を実行するために必要とされる他のすべてのパラメータおよび処理データは、ビットストリームにおいてすでに定義されている位置にある既存のパラメータから抽出される。
たとえば、MPEG-4 HE-AACまたはHE-AAC-v2準拠デコーダは、高調波転換のような向上した形のスペクトル帯域複製を含むよう拡張されてもよい。この向上した形のスペクトル帯域複製は、デコーダによってすでにサポートされている基本形のスペクトル帯域複製に加えてのものである。MPEG-4 HE-AACまたはHE-AAC-v2準拠デコーダのコンテキストでは、この基本形のスペクトル帯域複製は、MPEG-4 AAC規格の4.6.18節において定義されているQMFスペクトル・パッチングSBRツールである。
向上した形のスペクトル帯域複製を実行するとき、拡張されたHE-AACデコーダは、ビットストリームのSBR拡張ペイロードにすでに含まれているビットストリーム・パラメータの多くを再利用しうる。再利用されうる具体的なパラメータは、たとえば、マスター周波数帯域テーブルを決定するさまざまなパラメータを含む。これらのパラメータは、bs_start_freq（マスター周波数テーブル・パラメータの先頭を決定するパラメータ）、bs_stop_freq（マスター周波数テーブルの終わりを決定するパラメータ）、bs_freq_scale（オクターブ当たりの周波数帯域の数を決定するパラメータ）およびbs_alter_scale（周波数帯域のスケールを変更するパラメータ）を含む。再利用されうるパラメータは、ノイズ帯域テーブルを決定するパラメータ（bs_noise_bands）およびリミッター帯域テーブル・パラメータ（bs_limiter_bands）をも含む。よって、さまざまな実施形態において、USAC規格において指定されている等価なパラメータの少なくともいくつかがビットストリームから省略され、それによりビットストリームにおける制御オーバーヘッドを軽減する。典型的には、AAC規格において指定されているパラメータがUSAC規格において指定されている等価なパラメータをもつ場合には、USAC規格において指定されている等価なパラメータはAAC規格において指定されているパラメータと同じ名前をもつ。たとえば、包絡スケール因子（envelope scalefactor）EOrigMapped。しかしながら、USAC規格において指定されている等価なパラメータは典型的には、AAC規格において定義されているSBR処理のためではなくUSAC規格において定義されている向上SBR処理のために「チューニングされた」異なる値をもつ。
前記の数多くのパラメータに加えて、他のデータ要素も、本発明の実施形態に従って向上した形のスペクトル帯域複製を実行するときに、拡張されたHE-AACデコーダによって再利用されてもよい。たとえば、包絡データおよびノイズ・フロア・データは、bs_data_env（包絡スケール因子）およびbs_noise_env（ノイズ・フロア・スケール因子）データから抽出されて、向上した形のスペクトル帯域複製の間に使われてもよい。
本質的には、これらの実施形態は、SBR拡張ペイロードにおいてレガシーのHE-AACまたはHE-AAC v2デコーダによってすでにサポートされている構成設定パラメータおよび包絡データを活用する。できるだけ追加的な伝送データを必要とせずに向上した形のスペクトル帯域複製を可能にするためである。前記メタデータはもともとは基本形のHFR（たとえばSBRのスペクトル・パッチング）のためにチューニングされたものだが、実施形態に基づき、向上した形のHFR（たとえばeSBRの高調波転換）のために使われる。先に論じたように、前記メタデータは一般に、基本形のHFR（たとえば線形並進）とともに使うためにチューニングされ、意図されている動作パラメータ（たとえば包絡スケール因子、ノイズ・フロア・スケール因子、時間／周波数格子パラメータ、正弦波を加える情報（sinusoid addition information）、可変クロスオーバー周波数／帯域、逆フィルタリング・モード、包絡分解能、平滑化モード、周波数補間モード）を表わす。しかしながら、このメタデータは、向上した形のHFR（たとえば高調波転換）に固有の追加的なメタデータ・パラメータと組み合わされて、向上した形のHFRを使ってオーディオ・データを効率的かつ効果的に処理するために使われてもよい。
よって、向上した形のスペクトル帯域複製をサポートする拡張されたデコーダは、すでに定義されたビットストリーム要素（たとえばSBR拡張ペイロード内のもの）に頼り、向上した形のスペクトル帯域複製をサポートするために必要とされるパラメータのみを（充填要素拡張ペイロード内に）追加することによって、非常に効率的な仕方で生成されうる。このデータ削減特徴は、新たに追加されたパラメータを拡張コンテナのようなリザーブされたデータ・フィールドに配置することと組み合わさって、ビットストリームが向上した形のスペクトル帯域複製をサポートしないレガシー・デコーダと後方互換であることを保証することによって、向上した形のスペクトル帯域複製をサポートするデコーダを作り出すことへの障壁を実質的に軽減する。
表３では、右の列における数字は左の列における対応するパラメータのビット数を示す。
いくつかの実施形態では、MPEG-4 AACにおいて定義されているSBRオブジェクト型が、SBR拡張要素（bs_extension_id==EXTENSION_ID_ESBR）において信号伝達されるように、SBR-Toolまたは向上SBR（eSBR）の諸側面を含むよう更新される。
いくつかの実施形態では、本発明は、エンコードされたビットストリーム（たとえばMPEG-4 AACビットストリーム）を生成するためにオーディオ・データをエンコードする段階を含む方法である。該生成は、eSBRメタデータをエンコードされたビットストリームの少なくとも一つのブロックの少なくとも一つのセグメントに含め、オーディオ・データを前記ブロックの少なくとも一つの他のセグメントに含めることによることを含む。典型的な実施形態では、本方法は、エンコードされたビットストリームの各ブロックにおいてオーディオ・データをeSBRメタデータと多重化する段階を含む。eSBRデコーダにおける前記エンコードされたビットストリームの典型的なデコードでは、デコーダはeSBRメタデータをビットストリームから抽出し（これはeSBRメタデータおよびオーディオ・データをパースして多重分離することによることを含む）、eSBRメタデータを、オーディオ・データを処理してデコードされたオーディオ・データのストリームを生成するために使う。
本発明のもう一つの側面は、eSBRメタデータを含まないエンコードされたオーディオ・ビットストリーム（たとえばMPEG-4 AACビットストリーム）のデコードの間に、（たとえば高調波転換または前置平坦化として知られるeSBRツールの少なくとも一つを使って）eSBR処理を実行するよう構成されたeSBRデコーダである。そのようなデコーダの例について、図５を参照して述べる。
図５のeSBRデコーダ（４００）は、図のように接続された、バッファ・メモリ２０１（これは図３および図４のメモリ２０１と同一）と、ビットストリーム・ペイロード・フォーマット解除器２１５（これは図４のフォーマット解除器２１５と同一）と、オーディオ・デコード・サブシステム２０２（時に「コア」デコード段または「コア」デコード・サブシステムと称され、図３のコア・デコード・サブシステム２０２と同一）と、eSBR制御データ生成サブシステム４０１と、eSBR処理段２０３（これは図３の段２０３と同一）とを含む。典型的には、デコーダ４００は他の処理要素（図示せず）も含む。
デコーダ４００の動作においては、デコーダ４００によって受領されたエンコードされたオーディオ・ビットストリーム（MPEG-4 AACビットストリーム）のブロックのシーケンスがバッファ２０１からフォーマット解除器２１５に呈される。
フォーマット解除器２１５は、ビットストリームの各ブロックを多重分離して、それからSBRメタデータ（量子化された包絡データを含む）を、典型的には他のメタデータも抽出するよう結合され、構成される。フォーマット解除器２１５は、少なくとも前記SBRメタデータをeSBR処理段２０３に呈するよう構成される。フォーマット解除器２１５は、ビットストリームの各ブロックからオーディオ・データを抽出し、抽出されたオーディオ・データをデコード・サブシステム（デコード段）２０２に呈するようにも結合され、構成される。
デコーダ４００のオーディオ・デコード・サブシステム２０２は、フォーマット解除器２１５によって抽出されたオーディオ・データをデコードして（そのようなデコードは「コア」デコード動作と称されてもよい）、デコードされたオーディオ・データを生成し、デコードされたオーディオ・データをeSBR処理段２０３に呈するよう構成される。デコードは周波数領域で実行される。典型的には、サブシステム２０２における処理の最終段が、デコードされた周波数領域オーディオ・データに周波数領域から時間領域への変換を適用し、そのためサブシステムの出力は時間領域のデコードされたオーディオ・データである。段２０３は、（フォーマット解除器２１５によって抽出された）SBRメタデータおよびサブシステム４０１において生成されたeSBRメタデータによって示されるSBRツール（およびeSBRツール）を、デコードされたオーディオ・データに適用して（すなわち、SBRおよびeSBRメタデータを使ってデコード・サブシステム２０２の出力に対してSBRおよびeSBR処理を実行して）、デコーダ４００から出力される完全にデコードされたオーディオ・データを生成するよう構成される。典型的には、デコーダ４００は、フォーマット解除器２１５（および任意的にはサブシステム４０１）から出力されるフォーマット解除されたオーディオ・データおよびメタデータを記憶するメモリ（サブシステム２０２および段２０３によってアクセス可能）を含み、段２０３はSBRおよびeSBR処理の間に必要に応じてオーディオ・データおよびメタデータにアクセスするよう構成される。段２０３におけるSBR処理は、コア・デコード・サブシステム２０２の出力に対する後処理であると考えられてもよい。任意的に、デコーダ４００は、最終的なアップミックス・サブシステム（これは、フォーマット解除器２１５によって抽出されたPSメタデータを使って、MPEG-4 AAC規格において定義されているパラメトリック・ステレオ（「PS」）ツールを適用しうる）をも含む。アップミックス・サブシステムは、段２０３の出力に対してアップミックスを実行して、APU ２１０から出力される、完全にデコードされた、アップミックスされたオーディオを生成するよう結合され、構成される。
図５の制御データ生成サブシステム４０１は、デコードされるべきエンコードされたオーディオ・ビットストリームの少なくとも一つの属性を検出し、検出段階の少なくとも一つの結果に応答してeSBR制御データ（これは、本発明の他の実施形態に従って、エンコードされたオーディオ・ビットストリームに含まれている型のうちいずれかの型のeSBRメタデータであってもく、それを含んでいてもよい）を生成するよう結合され、構成される。eSBR制御データは、段２０３に呈されて、ビットストリームの特定の属性（または複数の属性の組み合わせ）を検出したときに個々のeSBRツールまたはeSBRツールの組み合わせの適用を惹起するおよび／またはそのようなeSBRツールの適用を制御する。たとえば、高調波転換を使ったeSBR処理の実行を制御するために、制御データ生成サブシステム４０１のいくつかの実施形態は：ビットストリームが音楽を示すまたは示さないことを検出することに応答してsbrPatchingMode[ch]パラメータを設定する（そして設定されたパラメータを段２０３に呈する）ための音楽検出器（たとえば、通常の音楽検出器の単純化されたバージョン）；ビットストリームによって示されるオーディオ・コンテンツにおける過渡成分の存在または不在を検出することに応答してsbrOversamplingFlag[ch]パラメータを設定する（そして設定されたパラメータを段２０３に呈する）ための過渡検出器；および／またはビットストリームによって示されるオーディオ・コンテンツのピッチを検出することに応答してsbrPitchInBinsFlag[ch]およびsbrPitchInBins[ch]パラメータを設定する（そして設定されたパラメータを段２０３に呈する）ためのピッチ検出器を含むことになる。本発明の他の側面は、この段落および前段落において述べた本発明のデコーダのいずれかの実施形態によって実行されるオーディオ・ビットストリーム・デコード方法である。
本発明の諸側面は、本発明のAPU、システムまたはデバイスのいずれかの実施形態が実行するよう構成される（たとえばプログラムされる）型のエンコードまたはデコード方法を含む。本発明の他の側面は、本発明の方法のいずれかの実施形態を実行するよう構成された（たとえばプログラムされた）システムまたはデバイスならびに本発明の方法のいずれかの実施形態もしくはその段階を実装するためのコードを（たとえば非一時的な仕方で）記憶するコンピュータ可読媒体（たとえばディスク）を含む。たとえば、本発明のシステムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサが、本発明の方法の実施形態またはその段階を含む多様な動作のいずれかをデータに対して実行するようソフトウェアもしくはファームウェアを用いてプログラムされたおよび／または他の仕方で構成されたものであるまたはそれを含むことができる。そのような汎用プロセッサは、入力装置、メモリおよび処理回路を含むコンピュータ・システムが、それに呈されるデータに応答して本発明の方法の実施形態（またはその段階）を実行するようプログラムされた（および／または他の仕方で構成された）ものであってもよく、あるいはそれを含んでいてもよい。
本発明の実施形態は、ハードウェア、ファームウェアまたはソフトウェアまたは両者の組み合わせにおいて（たとえばプログラム可能な論理アレイとして）実装されてもよい。特に断わりのない限り、本発明の一部として含まれるアルゴリズムまたはプロセスは、いかなる特定のコンピュータまたは他の装置にも本来的に関係していることはない。特に、さまざまな汎用機械が、本稿の教示に従って書かれたプログラムと一緒に使われてもよいし、あるいは要求される方法段階を実行するよう、より特化した装置（たとえば集積回路）を構築するほうが便利であることもありうる。このように本発明は、一つまたは複数のプログラム可能なコンピュータ・システム（たとえば、図１の要素または図２のエンコーダ１００（またはそのある要素）または図３のデコーダ２００（またはそのある要素）または図４のデコーダ２１０（またはそのある要素）または図５のデコーダ４００（またはそのある要素）のいずれかの実装）上で実行される一つまたは複数のコンピュータ・プログラムにおいて実装されてもよい。各コンピュータ・システムは少なくとも一つのプロセッサと、少なくとも一つのデータ記憶システム（揮発性および不揮発性メモリおよび／または記憶要素を含む）と、少なくとも一つの入力装置またはポートと、少なくとも一つの出力装置またはポートとを有する。プログラム・コードは、本稿に記載される機能を実行して出力情報を生成するために、入力データに適用される。出力情報は、既知の仕方で一つまたは複数の出力装置に加えられる。
そのような各プログラムは、コンピュータ・システムと連絡するためにいかなる所望されるコンピュータ言語（機械語、アセンブリーまたは高レベルの手続き型、論理的またはオブジェクト指向のプログラミング言語を含む）で実装されてもよい。いずれにせよ、言語はコンパイルまたはインタープリットされる言語でありうる。
たとえば、コンピュータ・ソフトウェア命令シーケンスによって実装されるとき、本発明の実施形態のさまざまな機能および段階は、好適なデジタル信号処理ハードウェアにおいて走るマルチスレッド・ソフトウェア命令シーケンスによって実装されてもよく、その場合、実施形態のさまざまな装置、段階および機能はソフトウェア命令の諸部分に対応しうる。
そのような各コンピュータ・システムは、好ましくは、汎用または特殊目的のプログラム可能なコンピュータによって読み取り可能な記憶媒体またはデバイス（たとえば半導体メモリもしくはメディアまたは磁気もしくは光学式メディア）に記憶され、またはダウンロードされる。該記憶媒体またはデバイスがコンピュータ・システムによって読まれるときに、本稿に記載される手順を実行するようコンピュータを構成し、動作させるためである。本発明のシステムは、コンピュータ・プログラムをもって構成された（すなわちコンピュータ・プログラムを記憶している）コンピュータ可読記憶媒体として実装されてもよい。ここで、そのように構成された記憶媒体はコンピュータ・システムに、本稿に記載される機能を実行するよう、特定のあらかじめ定義された仕方で動作させる。
本発明のいくつかの実施形態を記述してきた。にもかかわらず、本発明の精神および範囲から外れることなくさまざまな修正がなしうることは理解されるであろう。上記の教示に照らして本発明の数多くの修正および変形が可能である。たとえば、効率的な実装を容易にするために、複素QMF分解および合成フィルタバンクと組み合わせて位相シフトが使われてもよい。分解フィルタバンクは、コア・デコーダによって生成された時間領域の低域信号をフィルタリングして複数のサブバンド（たとえばQMFサブバンド）にすることを受け持つ。合成フィルタバンクは、（受領されたsbrPatchingModeパラメータによって示される）選択されたHFR技法によって生成される再生された高域を、デコードされた低域と組み合わせて、広帯域出力オーディオ信号を生成することを受け持つ。しかしながら、ある種のサンプル・レート・モード、たとえば通常のデュアル・レート動作またはダウンサンプリングされたSBRモードで動作する所与のフィルタバンク実装は、ビットストリーム依存である位相シフトをもつべきではない。SBRにおいて使われるQMFバンクは、コサイン変調フィルタバンクの理論の複素指数拡張（complex-exponential extension）である。コサイン変調フィルタバンクを複素指数変調（complex-exponential modulation）を用いて拡張すると、エイリアス打ち消し制約条件が不要になることが示される。こうして、SBR QMFバンクについて、分解フィルタhk(n)および合成フィルタfk(n)はいずれも、次式によって定義されうる：
Figure 2020074052
 ここで、p0(n)は実数値の対称または非対称プロトタイプ・フィルタ（典型的には低域通過プロトタイプ・フィルタ）である。Mはチャネル数を表わし、Nはプロトタイプ・フィルタ次数である。分解フィルタバンクにおいて使われるチャネルの数は、合成フィルタバンクにおいて使われるチャネルの数と異なっていてもよい。たとえば、分解フィルタバンクは32個のチャネルを有していてもよく、合成フィルタバンクは64個のチャネルを有していてもよい。合成フィルタバンクをダウンサンプリングされたモードで動作させるときは、合成フィルタバンクは32チャネルしかもたなくてもよい。フィルタバンクからのサブバンド・サンプルは複素数値なので、追加的な、可能性としてはチャネル依存の、位相シフト段階が、分解フィルタバンクの後に付加されてもよい。これらの追加的な位相シフトは合成フィルタバンクの前に補償される必要がある。位相シフト項は原理的には、QMF分解／合成チェーンの動作を損なうことなく、任意の値でありうるものの、準拠検証のためにある種の値に制約されてもよい。SBR信号は位相因子の選択によって影響されるが、コア・デコーダからくる低域通過信号は影響されない。出力信号のオーディオ品質は影響されない。
プロトタイプ・フィルタp0(n)の係数は、640という長さLで、下記の表４に示されるように定義されてもよい。
Figure 2020074052
Figure 2020074052
Figure 2020074052
Figure 2020074052
Figure 2020074052
Figure 2020074052
 プロトタイプ・フィルタp0(n)は、表４から、丸め、サブサンプリング、補間および間引きといった一つまたは複数の数学的演算によって導出されてもよい。
付属の請求項の範囲内で、本発明は、本稿に具体的に記述されている以外の仕方で実施されうることは理解される。請求項に含まれる参照符号があったとしても、単に例解目的のためであり、いかなる仕方であれ請求項を解釈したり限定したりするために使われるべきではない。
いくつかの態様を記載しておく。
〔態様１〕
エンコードされたオーディオ・ビットストリームをデコードする方法であって、当該方法は：
エンコードされたオーディオ・ビットストリームを受領する段階であって、前記エンコードされたオーディオ・ビットストリームはオーディオ信号の低域部分を表わすオーディオ・データを含む、段階と；
前記オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成する段階と；
前記エンコードされたオーディオ・ビットストリームから、高周波再構成メタデータを抽出する段階であって、前記高周波再構成メタデータは、前記オーディオ信号の低域部分から、連続するいくつかのサブバンドを前記オーディオ信号の高域部分に線形に並進させる高周波再構成プロセスのための動作パラメータを含む、段階と；
前記デコードされた低域オーディオ信号を分解フィルタバンクでフィルタリングして、フィルタリングされた低域オーディオ信号を生成する段階と；
前記エンコードされたオーディオ・ビットストリームから、線形並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出する段階と；
前記フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成する段階と；
前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成する段階とを含む、
方法。
〔態様２〕
前記エンコードされたオーディオ・ビットストリームがさらに充填要素を含み、該充填要素は、該充填要素の先頭を示す識別子と、該識別子の後の充填データとをもち、前記充填データが前記フラグを含む、態様１記載の方法。
〔態様３〕
前記識別子が、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数である、態様２記載の方法。
〔態様４〕
前記充填データが拡張ペイロードを含み、前記拡張ペイロードがスペクトル帯域複製拡張データを含み、前記拡張ペイロードは、「1101」または「1110」の値をもつ、四ビットの、最上位ビットが最初に伝送される符号なし整数を用いて同定され、任意的には、
前記スペクトル帯域複製拡張データは：
任意的なスペクトル帯域複製ヘッダ、
前記ヘッダの後のスペクトル帯域複製データ、
前記スペクトル帯域複製データの後のスペクトル帯域複製拡張要素を含み、前記フラグは、前記スペクトル帯域複製拡張要素に含まれる、
態様２記載の方法。
〔態様５〕
前記高周波再構成メタデータが、包絡スケール因子、ノイズ・フロア・スケール因子、正弦波追加情報、時間／周波数格子情報、クロスオーバー周波数および逆フィルタリング・モードからなる群から選択される動作パラメータを含む、態様１ないし４のうちいずれか一項記載の方法。
〔態様６〕
前記分解フィルタバンクが、
Figure 2020074052
 に基づく、プロトタイプ・フィルタp0(n)の変調されたバージョンである分解フィルタhk(n)を含み、p0(n)は実数値の対称または非対称プロトタイプ・フィルタであり、Mは前記分解フィルタバンクにおけるチャネル数であり、Nはプロトタイプ・フィルタ次数である、態様１ないし４のうちいずれか一項記載の方法。
〔態様７〕
前記プロトタイプ・フィルタp0(n)が表４の係数から導出される、態様６記載の方法。
〔態様８〕
前記プロトタイプ・フィルタp0(n)が表４の係数から、丸め、サブサンプリング、補間または間引きからなる群から選択される一つまたは複数の数学的演算によって導出される、態様６記載の方法。
〔態様９〕
前記フィルタリングされた低域オーディオ信号に対して、前記フィルタリングの後に位相シフトが加えられ、前記組み合わせることの前に補償される、態様１ないし８のうちいずれか一項記載の方法。
〔態様１０〕
プロセッサによって実行されたときに態様１記載の方法を実行する命令を含む非一時的なコンピュータ可読媒体。
〔態様１１〕
エンコードされたオーディオ・ビットストリームをデコードするためのデコーダであって、当該デコーダは：
エンコードされたオーディオ・ビットストリームを受領するための入力インターフェースであって、該エンコードされたオーディオ・ビットストリームは、オーディオ信号の低域部分を表わすオーディオ・データを含む、入力インターフェースと；
前記オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成するコア・デコーダと；
前記エンコードされたオーディオ・ビットストリームから高周波再構成メタデータを抽出するためのフォーマット解除器であって、前記高周波再構成メタデータは、前記オーディオ信号の低域部分から、連続するいくつかのサブバンドを前記オーディオ信号の高域部分に線形に並進させる高周波再構成プロセスのための動作パラメータを含む、フォーマット解除器と；
前記デコードされた低域オーディオ信号をフィルタリングして、フィルタリングされた低域オーディオ信号を生成する分解フィルタバンクと；
前記エンコードされたオーディオ・ビットストリームから、線形並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出するフォーマット解除器と；
前記フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成する高周波再生成器と；
前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成する合成フィルタバンクとを有する、
デコーダ。
〔態様１２〕
前記エンコードされたオーディオ・ビットストリームがさらに充填要素を含み、該充填要素は、該充填要素の先頭を示す識別子と、該識別子の後の充填データとをもち、前記充填データが前記フラグを含む、態様１１記載のデコーダ。
〔態様１３〕
前記識別子が、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数である、態様１２記載のデコーダ。
〔態様１４〕
前記充填データが拡張ペイロードを含み、前記拡張ペイロードがスペクトル帯域複製拡張データを含み、前記拡張ペイロードは、「1101」または「1110」の値をもつ、四ビットの、最上位ビットが最初に伝送される符号なし整数を用いて同定され、任意的には、
前記スペクトル帯域複製拡張データは：
任意的なスペクトル帯域複製ヘッダ、
前記ヘッダの後のスペクトル帯域複製データ、
前記スペクトル帯域複製データの後のスペクトル帯域複製拡張要素を含み、前記フラグは、前記スペクトル帯域複製拡張要素に含まれる、
態様１２記載のデコーダ。
〔態様１５〕
前記高周波再構成メタデータが、包絡スケール因子、ノイズ・フロア・スケール因子、正弦波追加情報、時間／周波数格子情報、クロスオーバー周波数および逆フィルタリング・モードからなる群から選択される動作パラメータを含む、態様１１ないし１４のうちいずれか一項記載のデコーダ。
〔態様１６〕
前記分解フィルタバンクが、
Figure 2020074052
 に基づく、プロトタイプ・フィルタp0(n)の変調されたバージョンである分解フィルタhk(n)を含み、p0(n)は実数値の対称または非対称プロトタイプ・フィルタであり、Mは前記分解フィルタバンクにおけるチャネル数であり、Nはプロトタイプ・フィルタ次数である、態様１１ないし１４のうちいずれか一項記載のデコーダ。
〔態様１７〕
前記プロトタイプ・フィルタp0(n)が表４の係数から導出される、態様１６記載のデコーダ。
〔態様１８〕
前記プロトタイプ・フィルタp0(n)が表４の係数から、丸め、サブサンプリング、補間または間引きからなる群から選択される一つまたは複数の数学的演算によって導出される、態様１６記載のデコーダ。
〔態様１９〕
前記フィルタリングされた低域オーディオ信号に対して、前記フィルタリングの後に位相シフトが加えられ、前記組み合わせることの前に補償される、態様１１ないし１８のうちいずれか一項記載のデコーダ。

Claims (17)

  1. エンコードされたオーディオ・ビットストリームをデコードする方法であって、当該方法は：
    エンコードされたオーディオ・ビットストリームを受領する段階であって、前記エンコードされたオーディオ・ビットストリームはオーディオ信号の低域部分を表わすオーディオ・データを含む、段階と；
    前記オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成する段階と；
    前記エンコードされたオーディオ・ビットストリームから、高周波再構成メタデータを抽出する段階であって、前記高周波再構成メタデータは、前記オーディオ信号の低域部分から、いくつかのサブバンドを前記オーディオ信号の高域部分に移す高周波再構成のための動作パラメータを含む、段階と；
    前記エンコードされたオーディオ・ビットストリームから、信号適応的な周波数領域オーバーサンプリングを使用するかどうかを示すパラメータを抽出する段階と；
    前記デコードされた低域オーディオ信号を分解フィルタバンクでフィルタリングして、フィルタリングされた低域オーディオ信号を生成する段階と；
    前記エンコードされたオーディオ・ビットストリームから、線形並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出する段階と；
    前記フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成する段階と；
    前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成する段階とを含み、
    前記分解フィルタバンクが、
    Figure 2020074052
     に基づく、プロトタイプ・フィルタp0(n)の変調されたバージョンである分解フィルタhk(n)を含み、p0(n)は実数値の対称または非対称プロトタイプ・フィルタであり、Mは前記分解フィルタバンクにおけるチャネル数であり、Nはプロトタイプ・フィルタ次数である、
    方法。
  2. 前記エンコードされたオーディオ・ビットストリームがさらに充填要素を含み、該充填要素は、該充填要素の先頭を示す識別子と、該識別子の後の充填データとをもち、前記充填データが前記フラグを含む、請求項１記載の方法。
  3. 前記識別子が、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数である、請求項２記載の方法。
  4. 前記充填データが拡張ペイロードを含み、前記拡張ペイロードがスペクトル帯域複製拡張データを含み、前記拡張ペイロードは、「1101」または「1110」の値をもつ、四ビットの、最上位ビットが最初に伝送される符号なし整数を用いて同定され、任意的には、
    前記スペクトル帯域複製拡張データは：
    任意的なスペクトル帯域複製ヘッダ、
    前記ヘッダの後のスペクトル帯域複製データ、
    前記スペクトル帯域複製データの後のスペクトル帯域複製拡張要素を含み、前記フラグは、前記スペクトル帯域複製拡張要素に含まれる、
    請求項２記載の方法。
  5. 前記高周波再構成メタデータが、包絡スケール因子、ノイズ・フロア・スケール因子、正弦波追加情報、時間／周波数格子情報、クロスオーバー周波数および逆フィルタリング・モードからなる群から選択される動作パラメータを含む、請求項１ないし４のうちいずれか一項記載の方法。
  6. 前記プロトタイプ・フィルタp0(n)が表４の係数から導出される、請求項１ないし４のうちいずれか一項記載の方法。
  7. 前記プロトタイプ・フィルタp0(n)が表４の係数から、丸め、サブサンプリング、補間または間引きからなる群から選択される一つまたは複数の数学的演算によって導出される、請求項１ないし４のうちいずれか一項記載の方法。
  8. 前記フィルタリングされた低域オーディオ信号に対して、前記フィルタリングの後に位相シフトが加えられ、前記組み合わせることの前に補償される、請求項１ないし４のうちいずれか一項記載の方法。
  9. プロセッサによって実行されたときに請求項１記載の方法を実行する命令を含む非一時的なコンピュータ可読媒体。
  10. エンコードされたオーディオ・ビットストリームをデコードするためのデコーダであって、当該デコーダは：
    エンコードされたオーディオ・ビットストリームを受領するための入力インターフェースであって、該エンコードされたオーディオ・ビットストリームは、オーディオ信号の低域部分を表わすオーディオ・データを含む、入力インターフェースと；
    前記オーディオ・データをデコードして、デコードされた低域オーディオ信号を生成するコア・デコーダと；
    前記エンコードされたオーディオ・ビットストリームから、高周波再構成メタデータと、信号適応的な周波数領域オーバーサンプリングを使用するかどうかを示すパラメータとを抽出するためのフォーマット解除器であって、前記高周波再構成メタデータは、前記オーディオ信号の低域部分から、いくつかのサブバンドを前記オーディオ信号の高域部分に移す高周波再構成プロセスのための動作パラメータを含む、フォーマット解除器と；
    前記デコードされた低域オーディオ信号をフィルタリングして、フィルタリングされた低域オーディオ信号を生成する分解フィルタバンクと；
    前記エンコードされたオーディオ・ビットストリームから、線形並進または高調波転換のどちらが前記オーディオ・データに対して実行されるべきかを示すフラグを抽出するフォーマット解除器と；
    前記フラグに従って、前記フィルタリングされた低域オーディオ信号および前記高周波再構成メタデータを使って前記オーディオ信号の高域部分を再生成する高周波再生成器と；
    前記フィルタリングされた低域オーディオ信号および再生成された高域部分を組み合わせて、広帯域オーディオ信号を形成する合成フィルタバンクとを有しており、
    前記分解フィルタバンクが、
    Figure 2020074052
     に基づく、プロトタイプ・フィルタp0(n)の変調されたバージョンである分解フィルタhk(n)を含み、p0(n)は実数値の対称または非対称プロトタイプ・フィルタであり、Mは前記分解フィルタバンクにおけるチャネル数であり、Nはプロトタイプ・フィルタ次数である、
    デコーダ。
  11. 前記エンコードされたオーディオ・ビットストリームがさらに充填要素を含み、該充填要素は、該充填要素の先頭を示す識別子と、該識別子の後の充填データとをもち、前記充填データが前記フラグを含む、請求項１０記載のデコーダ。
  12. 前記識別子が、0x6の値をもつ、三ビットの、最上位ビットが最初に伝送される符号なし整数である、請求項１１記載のデコーダ。
  13. 前記充填データが拡張ペイロードを含み、前記拡張ペイロードがスペクトル帯域複製拡張データを含み、前記拡張ペイロードは、「1101」または「1110」の値をもつ、四ビットの、最上位ビットが最初に伝送される符号なし整数を用いて同定され、任意的には、
    前記スペクトル帯域複製拡張データは：
    任意的なスペクトル帯域複製ヘッダ、
    前記ヘッダの後のスペクトル帯域複製データ、
    前記スペクトル帯域複製データの後のスペクトル帯域複製拡張要素を含み、前記フラグは、前記スペクトル帯域複製拡張要素に含まれる、
    請求項１１記載のデコーダ。
  14. 前記高周波再構成メタデータが、包絡スケール因子、ノイズ・フロア・スケール因子、正弦波追加情報、時間／周波数格子情報、クロスオーバー周波数および逆フィルタリング・モードからなる群から選択される動作パラメータを含む、請求項１０ないし１３のうちいずれか一項記載のデコーダ。
  15. 前記プロトタイプ・フィルタp0(n)が表４の係数から導出される、請求項１０ないし１３のうちいずれか一項記載のデコーダ。
  16. 前記プロトタイプ・フィルタp0(n)が表４の係数から、丸め、サブサンプリング、補間または間引きからなる群から選択される一つまたは複数の数学的演算によって導出される、請求項１０ないし１３のうちいずれか一項記載のデコーダ。
  17. 前記フィルタリングされた低域オーディオ信号に対して、前記フィルタリングの後に位相シフトが加えられ、前記組み合わせることの前に補償される、請求項１０ないし１３のうちいずれか一項記載のデコーダ。
JP2020026248A 2017-03-23 2020-02-19 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合 Pending JP2020074052A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021172442A JP7413334B2 (ja) 2017-03-23 2021-10-21 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
JP2023173392A JP2023181209A (ja) 2017-03-23 2023-10-05 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762475619P 2017-03-23 2017-03-23
US62/475,619 2017-03-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019536556A Division JP6665354B2 (ja) 2017-03-23 2018-03-19 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021172442A Division JP7413334B2 (ja) 2017-03-23 2021-10-21 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Publications (1)

Publication Number Publication Date
JP2020074052A true JP2020074052A (ja) 2020-05-14

Family

ID=63585721

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019536556A Active JP6665354B2 (ja) 2017-03-23 2018-03-19 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
JP2020026248A Pending JP2020074052A (ja) 2017-03-23 2020-02-19 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
JP2021172442A Active JP7413334B2 (ja) 2017-03-23 2021-10-21 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
JP2023173392A Pending JP2023181209A (ja) 2017-03-23 2023-10-05 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019536556A Active JP6665354B2 (ja) 2017-03-23 2018-03-19 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021172442A Active JP7413334B2 (ja) 2017-03-23 2021-10-21 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
JP2023173392A Pending JP2023181209A (ja) 2017-03-23 2023-10-05 オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合

Country Status (26)

Country Link
US (7) US10818306B2 (ja)
EP (1) EP3559821A4 (ja)
JP (4) JP6665354B2 (ja)
KR (6) KR102275129B1 (ja)
CN (3) CN110178180B (ja)
AR (6) AR111047A1 (ja)
AU (5) AU2018237070B2 (ja)
BR (2) BR122019027754B1 (ja)
CA (5) CA3171727A1 (ja)
CL (1) CL2019001981A1 (ja)
CO (1) CO2019008431A2 (ja)
EA (3) EA036090B1 (ja)
EC (1) ECSP19054232A (ja)
GE (1) GEP20217226B (ja)
IL (5) IL310208A (ja)
MA (1) MA47232A (ja)
MX (7) MX2019008349A (ja)
NZ (4) NZ759800A (ja)
PE (1) PE20191288A1 (ja)
PH (1) PH12019501658A1 (ja)
SA (1) SA519402434B1 (ja)
SG (1) SG11201906370TA (ja)
TW (3) TWI807562B (ja)
UA (3) UA126393C2 (ja)
WO (1) WO2018175347A1 (ja)
ZA (6) ZA201904559B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI693594B (zh) * 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
TWI809289B (zh) 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533155A (ja) * 2001-04-02 2004-10-28 コーディング テクノロジーズ アクチボラゲット 複素指数変調フィルタバンクを使用するエイリアシングの低減
JP2012518354A (ja) * 2009-02-18 2012-08-09 ドルビー インターナショナル アーベー 低遅延変調フィルタバンク
JP2013521536A (ja) * 2010-03-09 2013-06-10 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオ信号用の位相ボコーダに基づく帯域幅拡張方法における改善された振幅応答及び時間的整列のための装置及び方法
WO2016146492A1 (en) * 2015-03-13 2016-09-22 Dolby International Ab Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5527024A (en) 1978-08-15 1980-02-26 Mitsui Toatsu Chem Inc Molded tableted catalysts showing high selectivity
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
JP3870193B2 (ja) * 2001-11-29 2007-01-17 コーディング テクノロジーズ アクチボラゲット 高周波再構成に用いる符号器、復号器、方法及びコンピュータプログラム
BR122018007834B1 (pt) * 2003-10-30 2019-03-19 Koninklijke Philips Electronics N.V. Codificador e decodificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral, método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, sinal de áudio avançado codificado de estéreo paramétrico combinado e de replicação de banda espectral, método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, e, meio de armazenamento legível por computador
KR100571824B1 (ko) 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
DE602004020765D1 (de) * 2004-09-17 2009-06-04 Harman Becker Automotive Sys Bandbreitenerweiterung von bandbegrenzten Tonsignalen
RU2376657C2 (ru) * 2005-04-01 2009-12-20 Квэлкомм Инкорпорейтед Системы, способы и устройства для высокополосного предыскажения шкалы времени
KR100818268B1 (ko) 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
WO2007055464A1 (en) 2005-08-30 2007-05-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
CN101471072B (zh) 2007-12-27 2012-01-25 华为技术有限公司 高频重建方法、编码装置和解码装置
KR101413968B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
CA2729474C (en) 2008-07-11 2015-09-01 Frederik Nagel Apparatus and method for generating a bandwidth extended signal
PL4053838T3 (pl) * 2008-12-15 2023-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dekoder powiększania szerokości pasma audio, powiązany sposób oraz program komputerowy
PL3598447T3 (pl) * 2009-01-16 2022-02-14 Dolby International Ab Transpozycja harmonicznych rozszerzona o iloczyn wektorowy
TWI591625B (zh) * 2009-05-27 2017-07-11 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
US8515768B2 (en) * 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
EP4250290A1 (en) * 2010-01-19 2023-09-27 Dolby International AB Improved subband block based harmonic transposition
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
IL311020A (en) 2010-07-02 2024-04-01 Dolby Int Ab After–selective bass filter
PL2596497T3 (pl) * 2010-07-19 2014-10-31 Dolby Int Ab Przetwarzanie sygnałów audio podczas rekonstrukcji wysokiej częstotliwości
TWI476761B (zh) 2011-04-08 2015-03-11 Dolby Lab Licensing Corp 用以產生可由實施不同解碼協定之解碼器所解碼的統一位元流之音頻編碼方法及系統
EP3054446B1 (en) * 2013-01-29 2023-08-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension
BR112015017748B1 (pt) * 2013-01-29 2022-03-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Preenchimento de ruído na codificação de áudio de transformada perceptual
KR102329309B1 (ko) 2013-09-12 2021-11-19 돌비 인터네셔널 에이비 Qmf 기반 처리 데이터의 시간 정렬
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
TWI809289B (zh) * 2018-01-26 2023-07-21 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
CN114242089A (zh) * 2018-04-25 2022-03-25 杜比国际公司 具有减少后处理延迟的高频重建技术的集成

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004533155A (ja) * 2001-04-02 2004-10-28 コーディング テクノロジーズ アクチボラゲット 複素指数変調フィルタバンクを使用するエイリアシングの低減
JP2012518354A (ja) * 2009-02-18 2012-08-09 ドルビー インターナショナル アーベー 低遅延変調フィルタバンク
JP2013521536A (ja) * 2010-03-09 2013-06-10 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． オーディオ信号用の位相ボコーダに基づく帯域幅拡張方法における改善された振幅応答及び時間的整列のための装置及び方法
WO2016146492A1 (en) * 2015-03-13 2016-09-22 Dolby International Ab Decoding audio bitstreams with enhanced spectral band replication metadata in at least one fill element

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Information technology -Coding of audio-visual objects- Part 3: Audio", ISO/IEC 14496-3, JPN6021004927, September 2009 (2009-09-01), pages 112 - 116, ISSN: 0004548243 *

Also Published As

Publication number Publication date
KR20220054712A (ko) 2022-05-03
EA202191156A1 (ru) 2021-08-31
PE20191288A1 (es) 2019-09-20
ZA202007510B (en) 2022-04-28
CA3171733A1 (en) 2018-09-27
MX2022009313A (es) 2023-01-19
MX2022015198A (es) 2023-01-04
KR20200022547A (ko) 2020-03-03
US11763830B2 (en) 2023-09-19
CO2019008431A2 (es) 2019-08-20
NZ787839A (en) 2023-12-22
EA038268B1 (ru) 2021-08-02
JP6665354B2 (ja) 2020-03-13
SG11201906370TA (en) 2019-08-27
CA3171727A1 (en) 2018-09-27
KR20240008408A (ko) 2024-01-18
BR122019027754B1 (pt) 2020-08-18
TW201835897A (zh) 2018-10-01
JP2023181209A (ja) 2023-12-21
IL267666B (en) 2020-04-30
MX2020005844A (es) 2020-09-07
UA126393C2 (uk) 2022-09-28
AU2018237070B2 (en) 2019-09-12
EA036090B1 (ru) 2020-09-25
JP2022003420A (ja) 2022-01-11
KR102275129B1 (ko) 2021-07-09
KR102390360B1 (ko) 2022-04-26
IL272690A (en) 2020-04-30
AR115947A2 (es) 2021-03-17
CN110178180A (zh) 2019-08-27
KR102083768B1 (ko) 2020-03-02
US11605391B2 (en) 2023-03-14
US20230051379A1 (en) 2023-02-16
ZA202109047B (en) 2023-06-28
TWI807562B (zh) 2023-07-01
US20230042393A1 (en) 2023-02-09
TW202341126A (zh) 2023-10-16
UA126401C2 (uk) 2022-09-28
CA3049600C (en) 2021-12-07
CN110178180B (zh) 2020-12-29
EA201991453A1 (ru) 2019-11-29
IL296961B1 (en) 2023-12-01
CA3133921A1 (en) 2018-09-27
WO2018175347A1 (en) 2018-09-27
KR20230160960A (ko) 2023-11-24
CL2019001981A1 (es) 2019-10-18
JP2020503566A (ja) 2020-01-30
IL272690B2 (en) 2023-03-01
US20230036258A1 (en) 2023-02-02
US20230377589A1 (en) 2023-11-23
IL296961B2 (en) 2024-04-01
ZA201904559B (en) 2022-05-25
KR20210088012A (ko) 2021-07-13
MA47232A (fr) 2019-10-30
IL272690B (en) 2022-11-01
AU2021215249B2 (en) 2023-02-02
NZ759800A (en) 2021-07-30
US20230041798A1 (en) 2023-02-09
GEP20217226B (en) 2021-02-25
JP7413334B2 (ja) 2024-01-15
ZA202211731B (en) 2024-02-28
US11626123B2 (en) 2023-04-11
US11676616B2 (en) 2023-06-13
KR102622804B1 (ko) 2024-01-10
KR20190085144A (ko) 2019-07-17
CA3133923A1 (en) 2018-09-27
AU2023200619B2 (en) 2023-08-17
CN112863528A (zh) 2021-05-28
MX2019008349A (es) 2019-09-16
AU2018237070A1 (en) 2019-08-01
AU2023200619A1 (en) 2023-03-09
MX2022015200A (es) 2023-01-05
TW202215418A (zh) 2022-04-16
ECSP19054232A (es) 2019-08-30
BR112019014125B1 (pt) 2021-11-16
IL305626B1 (en) 2024-02-01
US11621013B2 (en) 2023-04-04
US20200027471A1 (en) 2020-01-23
AU2021215249A1 (en) 2021-09-02
US20210104252A1 (en) 2021-04-08
AR120464A2 (es) 2022-02-16
IL267666A (en) 2019-08-29
EP3559821A4 (en) 2020-10-28
NZ755366A (en) 2019-12-20
EA202091313A1 (ru) 2020-09-30
ZA202109045B (en) 2023-04-26
UA126719C2 (uk) 2023-01-11
IL305626A (en) 2023-11-01
MX2022009312A (es) 2022-08-18
NZ777923A (en) 2023-12-22
AR111047A1 (es) 2019-05-29
PH12019501658A1 (en) 2020-03-02
IL310208A (en) 2024-03-01
AU2023266360A1 (en) 2023-12-07
AR120465A2 (es) 2022-02-16
US10818306B2 (en) 2020-10-27
TWI752166B (zh) 2022-01-11
MX2022015199A (es) 2023-01-05
IL296961A (en) 2022-12-01
AR120467A2 (es) 2022-02-16
AU2019222906B2 (en) 2021-05-20
SA519402434B1 (ar) 2023-02-01
EP3559821A1 (en) 2019-10-30
AR120466A2 (es) 2022-02-16
AU2019222906A1 (en) 2019-09-19
CN112863527A (zh) 2021-05-28
BR112019014125A2 (pt) 2019-12-17
CA3049600A1 (en) 2018-09-27
ZA202109046B (en) 2023-04-26

Similar Documents

Publication Publication Date Title
JP2020101824A (ja) 少なくとも一つの充填要素内の向上スペクトル帯域複製メタデータを用いたオーディオ・ビットストリームのデコード
JP7413334B2 (ja) オーディオ信号の高周波再構成のための高調波転換器の後方互換な統合
AU2019212843B2 (en) Backward-compatible integration of high frequency reconstruction techniques for audio signals
KR102560473B1 (ko) 후처리 지연을 저감시킨 고주파 재구성 기술의 통합
EP3518233A1 (en) Backward-compatible integration of high frequency reconstruction techniques for audio signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210511

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210713

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211021

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221228

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230404