JP2019511738A - ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ - Google Patents

ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ Download PDF

Info

Publication number
JP2019511738A
JP2019511738A JP2018547304A JP2018547304A JP2019511738A JP 2019511738 A JP2019511738 A JP 2019511738A JP 2018547304 A JP2018547304 A JP 2018547304A JP 2018547304 A JP2018547304 A JP 2018547304A JP 2019511738 A JP2019511738 A JP 2019511738A
Authority
JP
Japan
Prior art keywords
error concealment
audio
frequency
concealment unit
time domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018547304A
Other languages
English (en)
Other versions
JP6718516B2 (ja
Inventor
ジェレミー ルコント
ジェレミー ルコント
エイドリアン トマセク
エイドリアン トマセク
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2019511738A publication Critical patent/JP2019511738A/ja
Application granted granted Critical
Publication of JP6718516B2 publication Critical patent/JP6718516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/125—Pitch excitation, e.g. pitch synchronous innovation CELP [PSI-CELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0002—Codebook adaptations

Abstract

本発明の実施の形態は、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメント情報（８０２）を提供するためのエラーコンシールメントユニット（８００、８００ｂ）に関する。エラーコンシールメントユニットは、第１の周波数範囲のための第１のエラーコンシールメントオーディオ情報成分（８０７´）を、周波数ドメインコンシールメント（８０５）を用いて提供する。エラーコンシールメントユニットは、また、第１の周波数範囲よりも低い周波数を備える第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分（８１１´）を、時間ドメインコンシールメント（８０９）を用いて提供する。エラーコンシールメントユニットは、また、第１のエラーコンシールメントオーディオ情報成分（８０７´）と第２のエラーコンシールメントオーディオ情報成分（８１１´）とを結合して、エラーコンシールメントオーディオ情報を得る。
本発明の他の実施の形態は、エラーコンシールメントユニットを備えるデコーダに関連し、同様にエンコーダや方法や復号化および／またはコンシールメントのためのプログラムに関連する。
【選択図】図８ａ

Description

１．技術分野
本発明に係る実施形態は、時間ドメインコンシールメント成分と周波数ドメインコンシールメント成分とに基づく符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントためのエラーコンシールメントオーディオ情報を提供するためのエラーコンシールメントユニットを構築する。
本発明に係る実施形態は、符号化されたオーディオ情報に基づいて復号化されたオーディオ情報を提供するオーディオデコーダを構築し、オーディオデコーダは前記エラーコンシールメントユニットを備える。
本発明に係る実施形態は、必要な場合に、符号化されたオーディオ情報及びコンシールメント関数について使用される別の情報を提供するためのオーディオエンコーダを構築する。
本発明に係るいくつかの実施形態は、時間ドメインコンシールメント成分と周波数ドメインコンシールメント成分とに基づく符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントのためのエラーコンシールメントオーディオ情報を提供するための方法を構築する。
本発明に係るいくつかの実施形態は、前記方法のうちの１つを実行するコンピュータプログラムを構築する。
２．発明の背景
近年、オーディオコンテンツのデジタル伝送と記憶に対して増大する要求がある。しかしながら、オーディオコンテンツは、１つ以上のオーディオフレーム（たとえば、符号化された周波数ドメイン表現または符号化された時間ドメイン表現のような、符号化された表現の形の）を備えるデータユニット（たとえば、パケット）が失われるリスクをもたらす信頼できないチャネル上をしばしば伝送される。いくつかの状況において、ロストオーディオフレーム（または１つ以上のロストオーディオフレームを備える、パケットのようなデータユニット）の反復（再送信）を要求することが可能である。しかしながら、これは、通常は実質的な遅延をもたらし、それ故にオーディオフレームの広範囲にわたるバッファリングを必要とする。他のケースでは、ロストオーディオフレームの反復を要求することがほとんど可能でない。
広範囲にわたるバッファリング（これは大量のメモリを消費し、オーディオ符号化能力を実質的に劣化させる）を提供することなくオーディオフレームが失われるケースが提供される良好なまたは少なくとも許容されるオーディオ品質を得るために、１つ以上のオーディオフレームのロスを処理するコンセプトを有することが望ましい。特に、オーディオフレームが失われたケースにおいてさえ、良好なオーディオ品質または少なくとも許容されるオーディオ品質をもたらすコンセプトを有することが望ましい。
特に、フレームロスは、フレームが適切に復号化されない（特に、時間内に復号化されずに出力される）ことを意味する。フレームロスは、フレームが完全に検出されないとき、またはフレームがとても遅く到着したとき、または、小さなエラーが検出された場合に生じうる。（そのため、フレームが、利用可能ではないという意味において失われ、コンシールメントされる。）これらの障害のために（「フレームロス」のクラスの一部として保持することができる）、フレームを復号化することができず、エラーコンシールメント操作を実行する必要があるという結果となる。
過去において、異なるオーディオ符号化コンセプトにおいて使用することができるいくつかのエラーコンシールメントコンセプトが開発されてきた。
高度なオーディオコーデック（ＡＡＣ）において、伝統的なコンシールメント技術は、ノイズの置換である［１］。周波数ドメインにおいて操作し、ノイズや音楽に適合する。
それにも関わらず、音声セグメントについて、周波数ドメインのノイズ置換は、時間ドメインにおいて、煩わしい「クリック」アーチファクトに終わる不連続な位相を生成する。
それゆえに、ＡＣＥＬＰのような時間ドメインアプローチは、音声セグメント（例えば、［２］または［３］におけるＴＤ−ＴＣＸ ＰＬＣ）を使用することができ、分類子によって決定される。
時間ドメインコンシールメントの１つの問題は、すべての周波数範囲において、人工的に生成された調和である。煩わしい「ビープ」アーチファクトが作成される。
時間ドメインコンシールメントの他の難点は、エラーフリー復号化又はノイズ置換を有するコンシールメントと比較して高いコンピュータによる複雑性である。
先行技術の障害を克服するための解決策が必要である。
３．本発明の概要
本発明によると、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報を提供するためのエラーコンシールメントユニットである。エラーコンシールメントユニットは、第１の周波数範囲のための第１のエラーコンシールメントオーディオ情報成分を周波数ドメインコンシールメントを用いて提供するように構成される。エラーコンシールメントユニットはさらに、第１の周波数範囲よりも低い周波数を備える第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分を時間ドメインコンシールメントを用いて提供するように構成される。エラーコンシールメントユニットはさらに、第１のエラーコンシールメントオーディオ情報成分と、第２のエラーコンシールメントオーディオ情報成分とを結合して、エラーコンシールメントオーディオ情報を得るように構成される（エラーコンシールメントに関する追加の情報も提供されるかもしれない）。
高周波数のための周波数ドメインコンシールメント（たいていはノイズ）と低周波数のための時間ドメインコンシールメント（たいていは音声）とを用いることによって、（すべての周波数範囲にわたって時間ドメインコンシールメントを用いることによって暗示される）ノイズに対する人為的に生成される強い調和が避けられ、上述したクリックアーチファクトやビープアーチファクト（すべての周波数範囲にわたって周波数ドメインコンシールメントを用いることによって暗示される）も避けるまたは減少することができる。
さらに、コンピュータの複雑性（時間ドメインコンシールメントがすべての周波数範囲にわたって用いられるときに暗示される）も減少する。
特に、すべての周波数範囲上の人為的に生成された調和の問題は、解決される。信号がより低い周波数において強い調和だけを有する場合（だいたい４ｋＨｚまでの音声アイテムである）であり、背景ノイズがより高い周波数である場合、ナイキスト周波数まで生成された調和は煩わしい「ビープ」アーチファクトを生成するだろう。本発明で、この問題は、極めて減少し、たいていのケースで解決される。
本発明の態様によると、エラーコンシールメントユニットは、第１のエラーコンシールメントオーディオ情報成分が所定のロストオーディオフレームの高周波数部分を示し、第２のエラーコンシールメントオーディオ情報成分が所定のロストオーディオフレームの低周波数部分を示し、所定のロストオーディオフレームに関連付けられたエラーコンシールメントオーディオ情報は、周波数ドメインコンシールメントおよび時間ドメインコンシールメントの双方を用いて得られるように構成される。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの高周波数部分の変換ドメイン表現を用いて第１のエラーコンシールメントオーディオ情報成分を導き出すように構成される、および／または、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの低周波数部分に基づいて、時間ドメイン信号合成を用いて第２のエラーコンシールメントオーディオ情報成分を導き出すように構成される。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの高周波数部分の変換ドメイン表現のスケーリングされたまたはスケーリングされていない複製を用いて、ロストオーディオフレームの高周波数部分の変換ドメイン表現を得て、ロストオーディオフレームの高周波数部分の変換ドメイン表現を、時間ドメインに変換して、第１のエラーコンシールメントオーディオ情報成分である時間ドメイン信号成分を得るように構成される。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの低周波数部分に基づいて、１つ以上の合成刺激パラメータと１つ以上の合成フィルタパラメータとを得て、信号合成を用いて第２のエラーコンシールメントオーディオ情報成分を得るように構成され、信号合成の刺激パラメータおよびフィルタパラメータは得られた合成刺激パラメータと得られた合成フィルタパラメータに基づいて導き出される、または、得られた合成刺激パラメータと得られた合成フィルタパラメータと等しい。
本発明の態様によると、エラーコンシールメントユニットは、第１および／または第２の周波数範囲を決定および／または信号適応的に変更する制御を実行するように構成される。
したがって、ユーザまたは制御の利用は、より好ましい周波数範囲を選択することができる。さらに、復号化された信号に係るコンシールメントを修正することができる。
本発明の態様によると、エラーコンシールメントユニットは、１つ以上の符号化されたオーディオフレームの特徴と１つ以上の適切に復号化されたオーディオフレームの特徴との間で選択された特徴に基づいて制御を実行するように構成される。
したがって、信号の特徴に周波数範囲を適用することができる。
本発明の態様によると、エラーコンシールメントユニットは、１つ以上の適切に復号化されたオーディオフレームの調和についての情報を得て、調和に関する情報に基づいて制御を実行するように構成される。さらに、または、代わりに、エラーコンシールメントユニットは、１つ以上の適切に復号化されたオーディオフレームのスペクトルチルトについての情報を得て、スペクトルチルトについての情報に基づいて制御を実行するように構成される。
したがって、特別な操作が実行できる。たとえば、調和のエネルギーチルトは周波数にわたって連続するところで、すべての時間ドメインコンシールメントを実行することが好ましい（すべてで周波数ドメインコンシールメントがない）。すべてのスペクトル周波数ドメインコンシールメント（すべてで時間ドメインコンシールメントがない）は、信号が調和を含まないところがより好ましい。
本発明の態様によると、第２の周波数範囲（ほとんど音声）における調和を比較するとき、第１の周波数範囲（ほとんどノイズ）において比較的小さい調和をレンダリングすることができる。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームが調和の閾値よりも強い調和を備える周波数の上限を決定し、それに依存して、第１の周波数範囲および第２の周波数範囲を選択するように構成される。
閾値での比較を用いることによって、たとえば、ノイズを音声から区別し、時間ドメインコンシールメントを用いてコンシールメントされた周波数および周波数ドメインコンシールメントを用いてコンシールメントされた周波数を決定することができる。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトがより小さいスペクトルチルトからより大きいスペクトルチルトに変化する周波数境界を決定または推定し、それに依存して、第１の周波数範囲および第２の周波数範囲を選択するように構成される。
小さなスペクトルチルトで、かなり（または少なくとも広く行き渡った）平坦な周波数応答が生じることを意図することができ、一方で、大きなスペクトルチルトで、信号は、高帯域よりも低帯域においてはるかに多くのエネルギー、または、他の方法のどちらかを有する。
言い換えると、小さい（または、より小さい）スペクトルチルトは、周波数応答が「かなり」平坦である一方で、大きい（または、より大きい）スペクトルチルトで、信号は、高帯域よりも低帯域において（はるかに）多くのエネルギー（たとえば、スペクトルビンごと、または周波数間隔ごと）、または、他の方法のどちらかを有する。
一次関数（たとえば、線によって表すことができる）とすることができる周波数帯のエネルギーの傾向を得る基礎的な（複雑ではない）スペクトルチルト評価を実行することができる。このケースにおいて、エネルギー（たとえば、平均帯域エネルギー）がいくらか（予め決定された）閾値よりも低い領域を検索することができる。
このケースにおいて、低帯域はほとんどエネルギーがないが、高帯域はいくつかの実施の形態において、ＦＤ（たとえば、周波数ドメインコンシールメント）だけを用いることができる。
本発明の態様によると、エラーコンシールメントユニットは、第１の周波数範囲がノイズ状のスペクトル構造を備えるスペクトル領域をカバーし、第２の周波数範囲が高調波スペクトル構造を備えるスペクトル領域をカバーするように、第１の周波数範囲（一般的により高い）および第２の周波数範囲（一般的により低い）を調整するように構成される。
したがって、音声およびノイズについて異なるコンシールメント技術を使用することができる。
本発明の態様によると、エラーコンシールメントユニットは、調和とノイズとの間のエネルギー関係に依存して、第１の周波数範囲の低周波数端および／または第２の周波数範囲の高周波数端を調節するために、制御を実行するように構成される。
調和とノイズとの間のエネルギー関係を分析することによって、確実性の良い程度で、時間ドメインコンシールメントを用いて実行される周波数と、周波数ドメインコンシールメントを用いて実行される周波数とを決定することができる。
本発明の態様によると、エラーコンシールメントユニットは、時間ドメインコンシールメントおよび周波数ドメインコンシールメントの少なくとも１つを選択的に抑制するために制御を実行する、および／または、時間ドメインコンシールメントだけ、または、周波数ドメインコンシールメントだけを実行して、エラーコンシールメントオーディオ情報を得るように構成される。
この特性は、特有の操作を実行することができる。たとえば、調和のエネルギーチルトが周波数にわたって連続しているとき、周波数ドメインコンシールメントを選択的に抑制することができる。信号が調和を含まない（たいていノイズ）とき、この時間ドメインコンシールメントを抑制することができる。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトの変動が、所定の周波数範囲にわたって予め定められたスペクトルチルトの閾値よりも小さいかどうかを決定または推定し、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトの変動が予め定められたスペクトルチルトの閾値よりも小さいことがわかった場合にのみ、時間ドメインコンシールメントを用いてエラーコンシールメントオーディオ情報を得るように構成される。
したがって、スペクトルチルトの変化を観察することによって、時間ドメインコンシールメントで操作するだけかどうかを決定するための簡単な技術を有することができる。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの調和が予め定められた調和の閾値よりも小さいかどうかを決定または推定し、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの調和が予め定められた調和の閾値よりも小さいことがわかった場合にのみ、周波数ドメインコンシールメントを用いてエラーコンシールメントオーディオ情報を得るように構成される。
したがって、調和の変化を観察することによって、周波数ドメインコンシールメントだけで操作するかどうかを決定するためのソリューションを提供することができる。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのピッチに基づいて、および／または、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームにおけるピッチの経時的推移に依存して、および／またはロストオーディオフレームに先行する適切に復号化されたオーディオフレームとロストオーディオフレームの後に続く適切に復号化されたオーディオフレームとの間のピッチの補間に依存して、コンシールメントされたフレームのピッチを適合させるように構成される。
ピッチがすべてのフレームについて知られている場合、過去のピッチ値に基づいて、コンシールメントされたフレーム内のピッチを変更することができる。
本発明の態様によると、エラーコンシールメントユニットは、エンコーダが送信する情報に基づいて制御を実行するように構成される。
本発明の態様によると、エラーコンシールメントユニットはさらに、オーバーラップ加算すなわちＯＬＡメカニズムを用いて、第１のエラーコンシールメントオーディオ情報成分と第２のエラーコンシールメントオーディオ情報成分とを結合するように構成される。
したがって、第１の成分および第２の成分の間のエラーコンシールメントオーディオ情報の２つの成分の組み合わせを簡単に実行することができる。
本発明の態様によると、エラーコンシールメントユニットは、第１のエラーコンシールメントオーディオ情報成分の時間ドメイン表現を得るために、周波数ドメインエラーコンシールメントによって得られたスペクトルドメイン表現に基づいて、逆修正離散コサイン変換（ＩＭＤＣＴ）を実行するように構成される。
したがって、周波数ドメインコンシールメントと時間ドメインコンシールメントとの間の使いやすいインターフェイスを提供することができる。
本発明の態様によると、エラーコンシールメントユニットは、第２のエラーコンシールメントオーディオ情報成分が、オーバーラップ加算が可能なように、ロストオーディオフレームよりも少なくとも２５パーセント長い継続時間を備えるように、第２のエラーコンシールメントオーディオ情報成分を提供するように構成される。本発明の態様によると、エラーコンシールメントユニットは、ＩＭＤＣＴを２回実行して、時間ドメインにおいて２つの連続するフレームを得るように構成される。
低いまたは高い周波数部分や経路を組み合わせるために、ＯＬＡメカニズムは時間ドメインにおいて実行される。ＡＡＣのようなコーデックでは、１つのコンシールメントされたフレームに対して１以上のフレーム（一般的に１つ半のフレーム）を更新しなければならないことを意味する。ＯＬＡの分析および合成方法は半フレームの遅延を有するからである。逆修正離散コサイン変換（ＩＭＤＣＴ）が使用されるとき、ＩＭＤＣＴは１つのフレームだけを生成する。それゆえに、追加の半フレームが必要とされる。したがって、ＩＭＤＣＴを２回実行して、時間ドメインにおいて２つの連続するフレームを得ることができる。
特に、フレームの長さが、ＡＡＣについて、サンプル（たとえば、１０２４サンプル）の予め決定された数から成る場合、エンコーダで、ＭＤＣＴ変換はフレームの長さの２倍のウィンドウを最初に適用することである。デコーダで、ＭＤＣＴの後で、オーバーラップ加算する前に、サンプル数も２倍になる（たとえば、２０４８）。これらのサンプルは、エイリアシングを含む。このケースにおいて、前のフレームでオーバーラップ加算をした後、左側の部分（１０２４サンプル）に対してエイリアシングがキャンセルされる。後者は、デコーダによって流されるフレームに対応する。
本発明の態様によると、エラーコンシールメントユニットは、周波数ドメインコンシールメントの下流側の第１のエラーコンシールメントオーディオ情報成分のハイパスフィルタリングを実行するように構成される。
したがって、信頼性の良い程度で、コンシールメント情報の高周波数成分を得ることができる。
本発明の態様によると、エラーコンシールメントユニットは、６ＫＨｚと１０ＫＨｚとの間、好ましくは７ＫＨｚと９ＫＨｚとの間、より好ましくは７．５ＫＨｚと８．５ＫＨｚとの間、さらに好ましくは７．９ＫＨｚと８．１ＫＨｚとの間、さらに好ましくは８ＫＨｚのカットオフ周波数でハイパスフィルタリングを実行するように構成される。
この周波数は、音声からノイズを区別するために特に適応されることが証明されている。
本発明の態様によると、エラーコンシールメントユニットは、ハイパスフィルタリングの低周波数境界を信号適応的に調節して、それによって、第１の周波数範囲の帯域幅を変更するように構成される。
したがって、（任意の状況で）音声周波数からノイズ周波数をカットすることができる。正確にカットするこのようなフィルタ（ＨＰおよびＬＰ）を得ることは、通常、複雑すぎるので、実際のところ、カットオフ周波数はよく定義される（減衰が上または下の周波数に対して完璧でない場合でも）。
本発明の態様によると、エラーコンシールメントユニットは、ロストオーディオフレームに先行するオーディオフレームのダウンサンプルされた時間ドメイン表現であって、ダウンサンプルされた時間ドメイン表現はロストオーディオフレームに先行するオーディオフレームの低周波数部分だけを表す、ダウンサンプルされた時間ドメイン表現を得るために、ロストオーディオフレームに先行するオーディオフレームの時間ドメイン表現をダウンサンプルし、ロストオーディオフレームに先行するオーディオフレームのダウンサンプルされた時間ドメイン表現を用いて時間ドメインコンシールメントを実行し、第２のエラーコンシールメントオーディオ情報成分を得るために、時間ドメインコンシールメントによって提供されるコンシールメントされたオーディオ情報またはその後処理されたバージョンをアップサンプルして、時間ドメインコンシールメントが、ロストオーディオフレームに先行するオーディオフレームを完全に表すのに必要なサンプリング周波数よりも小さいサンプリング周波数を用いて実行されるように構成される。アップサンプルされた第２のエラーコンシールメントオーディオ情報成分を、その後、第１のエラーコンシールメントオーディオ情報成分と結合することができる。
ダウンサンプルされた環境で操作することによって、時間ドメインコンシールメントは、減少したコンピュータ複雑性を有する。
本発明の態様によると、エラーコンシールメントユニットは、ダウンサンプルされた時間ドメイン表現のサンプリング率を信号適応的に調節し、それによって第２の周波数領域の帯域幅を変更するように構成される。
したがって、特に信号の状態が変化するとき（例えば、特定の信号がサンプリング率を増加させる必要があるとき）、ダウンサンプルされた時間ドメイン表現のサンプリング率を適切な周波数に変更することが可能である。したがって、好ましいサンプリング率、例えば、音声からのノイズを分離する目的で、サンプリング率を得ることが可能である。
本発明の態様によると、エラーコンシールメントユニットは、減衰係数を用いてフェードアウトを実行するように構成される。
したがって、後続のコンシールメントされたフレームを正常に劣化させて、強度を低下することが可能である。
通常、１つ以上のフレームロスがある場合、フェードアウトをする。ほとんどの時間、最初のフレームロスで何らかのフェードアウトをすでに適用するが、最も重要な部分は、エラーのバーストが発生した場合（複数のフレームが失われた場合）、無音または背景ノイズにうまくフェードアウトすることである。
本発明の態様によると、エラーコンシールメントユニットは、第１のエラーコンシールメントオーディオ情報成分を導き出すために、減衰係数を用いてロストオーディオフレームに先行するオーディオフレームのスペクトル表現をスケーリングするように構成される。
このような戦略は、本発明に特に適合した正常な劣化を達成することを可能にすることに留意されたい。
本発明の態様によると、エラーコンシールメントユニットは、第２のエラーコンシールメントオーディオ情報成分を得るために、時間ドメインコンシールメントの出力信号、または、そのアップサンプルされたバージョンをローパスフィルタ処理するように構成される。
この方法で、第２のエラーコンシールメントオーディオ情報成分が、低い周波数範囲内であることを得ることで簡単であるが、信頼性のある方法を達成することができる。
本発明は、符号化されたオーディオ情報に基づいて、復号化されたオーディオ情報を提供するためのオーディオデコーダも示し、オーディオデコーダは、上記した態様のいずれかに記載のエラーコンシールメントユニットを備える。
本発明の態様によると、オーディオデコーダは、オーディオフレームのスペクトルドメイン表現を、オーディオフレームのスペクトルドメイン表現の符号化された表現に基づいて得るように構成され、オーディオデコーダは、オーディオフレームの復号化された時間表現を得るために、スペクトルドメイン−時間ドメイン変換を実行するように構成される。エラーコンシールメントは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルドメイン表現またはその一部を用いて、周波数ドメインコンシールメントを実行するように構成される。エラーコンシールメントは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの復号化された時間ドメイン表現を用いて、時間ドメインコンシールメントを実行するように構成される。
本発明は、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報を提供するためのエラーコンシールメント方法にも関係し、方法は、
−第１の周波数範囲ための第１のエラーコンシールメントオーディオ情報成分を周波数ドメインコンシールメントを用いて提供するステップと、
−第１の周波数範囲よりも低い周波数を備える第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分を時間ドメインコンシールメントを用いて提供するステップと、
−第１のエラーコンシールメントオーディオ情報成分と、第２のエラーコンシールメントオーディオ情報成分とを結合してエラーコンシールメントオーディオ情報を得るステップと、
を備える。
本発明の方法は、第１および第２の周波数範囲を信号適応的に制御するステップも備える。方法は、少なくとも１つのロストオーディオフレームのためのエラーコンシールメントオーディオ情報を得るために、時間ドメインコンシールメントのみ、または周波数ドメインコンシールメントのみが用いられるモードに信号適応的に切り替えるステップを備える。
本発明は、コンピュータプログラムがコンピュータ上で動作するとき、本発明の方法を実行するため、および／または、本発明のコンシールメントユニットおよび／または本発明のデコーダを制御するためのコンピュータプログラムにも関連する。
本発明は、入力オーディオ情報に基づいて符号化されたオーディオ表現を提供するためのオーディオエンコーダにも関連する。オーディオエンコーダは、入力オーディオ情報に基づいて符号化された周波数ドメイン表現を提供するように構成される周波数ドメインエンコーダ、および／または、入力オーディオ情報に基づいて符号化された線形予測ドメイン表現を提供するように構成される線形予測ドメインエンコーダと、時間ドメインエラーコンシールメントと周波数ドメインエラーコンシールメントとの間のクロスオーバー周波数をオーディオデコーダ側で用いられるように定義するクロスオーバー周波数情報を決定するように構成されるクロスオーバー周波数決定器と、を備える。オーディオエンコーダは、符号化された周波数ドメイン表現、および／または、符号化された線形予測ドメイン表現、ならびにクロスオーバー周波数情報も符号化されたオーディオ表現に含めるように構成される。
したがって、デコーダ側で第１および第２の周波数範囲を認識する必要がない。この情報は、エンコーダによって容易に提供されるだろう。
しかしながら、オーディオエンコーダは、たとえば、オーディオデコーダのようなクロスオーバー周波数を決定するための同じコンセプトを信頼するかもしれない（ここで、入力オーディオ信号は、復号化されたオーディオ情報の代わりに使用されるかもしれない）。
本発明は、入力オーディオ情報に基づいて符号化されたオーディオ表現を提供するための方法にも関連する。方法は、
−入力オーディオ情報に基づいて符号化された周波数ドメイン表現を提供する周波数ドメイン符号化ステップ、および／または、入力オーディオ情報に基づいて符号化された線形予測ドメイン表現を提供する線形予測ドメイン符号化ステップと、
−時間ドメインエラーコンシールメントと周波数ドメインエラーコンシールメントとの間のクロスオーバー周波数をオーディオデコーダ側で使用されるように定義するクロスオーバー周波数情報を決定するためのクロスオーバー周波数を決定するステップと、
を備える。
符号化ステップは、符号化された周波数ドメイン表現および／または符号化された線形予測ドメイン表現、ならびにクロスオーバー周波数情報も符号化されたオーディオ表現に含まれるように構成される。
本発明は、以下を備える符号化されたオーディオ表現にも関連する。すなわち、オーディオコンテンツを表す符号化された周波数ドメイン表現、および／または、オーディオコンテンツを表す符号化された線形予測ドメイン表現と、時間ドメインエラーコンシールメントと周波数ドメインエラーコンシールメントとの間のクロスオーバー周波数をオーディオデコーダ側で使用されるように定義するクロスオーバー周波数情報と、を備える。
したがって、第１および第２の周波数範囲または第１および第２の周波数範囲の間の境界に関係する情報（たとえば、ビットストリーム内）を含むオーディオデータを単に送信することが可能である。符号化されたオーディオ表現を受信するデコーダは、したがって、ＦＤコンシールメントおよびＴＤコンシールメントに対する周波数範囲をエンコーダによって提供される指示に単に適応することができる。
本発明は、上述のオーディオエンコーダと上述のオーディオデコーダとを備えるシステムにも関連する。制御は、オーディオエンコーダによって提供されるクロスオーバー周波数情報に基づいて第１および第２の周波数範囲を決定するように構成される。
したがって、デコーダは、エンコーダによって提供される命令にＴＤおよびＦＤコンシールメントの周波数範囲を信号適応的に修正することができる。
４．図面の簡単な説明
本発明の実施形態は、以下の図面を参照して、引き続いて記述される。
本発明の実施形態に係るコンシールメントユニットの概略ブロック図を示す。 本発明の実施形態に係るオーディオデコーダの概略ブロック図を示す。 本発明の他の実施形態に係るオーディオデコーダの概略ブロック図を示す。 図４は、図４ａと図４ｂによって構成され、本発明の他の実施形態に係るオーディオデコーダの概略ブロック図を示す。 図４は、図４ａと図４ｂによって構成され、本発明の他の実施形態に係るオーディオデコーダの概略ブロック図を示す。 変換コーダに対する時間ドメインコンシールメントの概略ブロック図を示す。 スイッチコーデックに対する時間ドメインコンシールメントの概略ブロック図を示す。 周波数ドメインコンシールメントの操作を図示する図を示す。 本発明の実施の形態に係るコンシールメントの概略ブロック図を示す。 本発明の他の実施の形態に係るコンシールメントの概略ブロック図を示す。 本発明のコンシールメント方法のフローチャートを示す。 本発明のコンシールメント方法のフローチャートを示す。 ウィンドウイングとオーバーラップ加算操作に関する本発明の操作の特徴を示す。 信号図の比較例を示す。 信号図の比較例を示す。 信号図の比較例を示す。 信号図の比較例を示す。 信号図の比較例を示す。 信号図の比較例を示す。 信号図の比較例を示す。 本発明の実施の形態に係るオーディオエンコーダの概略的なブロック図を示す。 本発明の符号化方法のフローチャートを示す。
５．実施の形態の概要
本セクションでは、本発明の実施の形態を、図面を参照して説明する。
５．１ 図１に係るエラーコンシールメントユニット
図１は、本発明の実施形態に係るコンシールメントユニット１００の概略ブロック図を示す。
コンシールメントユニット１００は、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報を備える。コンシールメントユニット１００は、適切に復号されたオーディオ信号１０１（適切に復号化されたオーディオフレームは、過去に復号化されているということを意味する）のように、オーディオ情報によって入力される。
エラーコンシールメントユニット１００は、第１の周波数範囲のための第１のエラーコンシールメントオーディオ情報成分１０３を、周波数ドメインコンシールメントを用いて（たとえば、周波数ドメインコンシールメント１０５を用いて）提供するように構成される。エラーコンシールメントユニット１００はさらに、第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分１０４を、時間ドメインコンシールメントを用いて（たとえば、時間ドメインコンシールメント１０６を用いて）を用いて提供するように構成される。第２の周波数範囲は、第１の周波数範囲よりも低い周波数を備える。エラーコンシールメントユニット１００はさらに、第１のエラーコンシールメントオーディオ情報成分１０３と、第２のエラーコンシールメントオーディオ情報成分１０４とを結合して（たとえば、結合器１０７を用いて）、エラーコンシールメントオーディオ情報１０２を得るように構成される。
第１のエラーコンシールメントオーディオ情報成分１０３は、与えられたロストオーディオフレームの高周波数の部分（又は比較的高い周波数の部分）を表現するよう表されるだろう。第２のエラーコンシールメントオーディオ情報成分１０４は、与えられたロストオーディオフレームの低周波数の部分（又は比較的低い周波数の部分）を表現するよう表されるだろう。ロストオーディオフレームに関連付けられたエラーコンシールメントオーディオ情報１０２は、周波数ドメインコンシールメントユニット１０５と時間ドメインコンシールメントユニット１０６の両方ともを用いて得られる。
５．１．１ 時間ドメインエラーコンシールメント
いくつかの情報が、時間ドメインコンシールメントシールメント１０６によって統合されるように、時間ドメインコンシールメントに関連してここでは提供される。
それ自体は、例えば、時間ドメインコンシールメントが、第２のエラーコンシールメントオーディオ情報成分を取得するために、ロストオーディオフレームに先行する１つ以上のオーディオフレームに基づいて取得された時間ドメイン励振信号を修正するように構成される。しかしながら、いくつかの簡単な実施の形態において、時間ドメイン励振信号を修正なしで使用することができる。違う言葉で表現すれば、時間ドメインコンシールメントは、ロストオーディオフレームに先行する１つ以上の符号化されたオーディオフレームに対して（またはそれに基づいて）時間ドメイン励振信号を取得する（または導き出す）ことができ、ロストオーディオフレームに先行する１つ以上の適切に受信されたオーディオフレームに対して（またはそれに基づいて）取得された前記時間ドメイン励振信号を修正し、それによりエラーコンシールメントオーディオ情報の第２のエラーコンシールメントオーディオ情報成分を提供するために用いられる時間ドメイン励振信号を（修正によって）取得することができる。言い換えれば、修正された時間ドメイン励振信号（または、修正されていない時間ドメイン励振信号）は、１つのロストオーディオフレーム（またはさらに多重のロストオーディオフレーム）に関連付けられたエラーコンシールメントオーディオ情報の合成（たとえば、ＬＰＣ合成）に対する入力として（または入力の成分として）として用いることができる。ロストオーディオフレームに先行する１つ以上の適切に受信されたオーディオフレームに基づいて取得された時間ドメイン励振信号に基づいてエラーコンシールメントオーディオ情報の第２のエラーコンシールメントオーディオ情報の成分を提供することによって、聞き取れる不連続性を回避することができる。他方では、ロストオーディオフレームに先行する１つ以上のオーディオフレームに対して（またはそれから）導き出された時間ドメイン励振信号を（任意に）修正することによって、そして（任意に）修正された時間ドメイン励振信号に基づいてエラーコンシールメントオーディオ情報を提供することによって、オーディオコンテンツの変化する特性（たとえば、ピッチ変化）を考慮することが可能であり、そしてまた、不自然な聴覚インプレッション（たとえば、決定的な（たとえば、少なくともほぼ周期的な）信号成分を「フェードアウト」することによって）を回避することが可能である。このように、エラーコンシールメントオーディオ情報は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームに基づいて取得された復号化されたオーディオ情報といくつかの類似性を備えることを達成することができ、エラーコンシールメントオーディオ情報は、時間ドメイン励振信号をいくらか修正することによって、ロストオーディオフレームに先行するオーディオフレームに関連する復号化されたオーディオ情報と比較したとき、いくらか異なるオーディオコンテンツを備えることを依然として達成することができる。（ロストオーディオフレームに関連する）エラーコンシールメントオーディオ情報の第２のエラーコンシールメントオーディオ情報成分の提供に対して用いられた時間ドメイン励振信号の修正は、たとえば、振幅スケーリングまたは時間スケーリングを備えることができる。しかしながら、他のタイプの修正（またはさらに振幅スケーリングと時間スケーリングの結合）が可能であり、好ましくは、エラーコンシールメントによって（入力情報として）取得された時間ドメイン励振信号と修正された時間ドメイン励振信号の一定程度の関係が残らなければならない。
結論として、オーディオデコーダは、１つ以上のオーディオフレームが失われたケースにおいてさえ、エラーコンシールメントオーディオ情報が良好な聴覚インプレッションを提供するように、エラーコンシールメントオーディオ情報を提供することを可能とする。 エラーコンシールメントは、時間ドメイン励振信号に基づいて実行され、ロストオーディオフレームに先行するもう１つのオーディオフレームに基づいて取得された時間ドメイン励振信号を修正することによって、ロストオーディオフレームの間のオーディオコンテンツの信号特性の変化が考慮される。
５．１．２ 周波数ドメインエラーコンシールメント
いくつかの情報が、周波数ドメインコンシールメントシールメント１０５によって統合されるように、周波数ドメインコンシールメントに関連してここでは提供される。しかしながら、本発明のエラーコンシールメントユニットにおいて、以下において説明する周波数ドメインエラーコンシールメントは制限された周波数範囲において実行される。
しかしながら、上述した周波数ドメインコンシールメントは例示するだけであることに留意すべきであり、異なる又は進んだ概念も適用されるだろう。言い換えると、本明細書に記載された概念はいくつかの特有のコーデックに用いられ、すべての周波数ドメインデコーダによって適用される必要はない。
周波数ドメインコンシールメント関数は、いくつかの実施の形態において、１つのフレームによるデコーダの遅延が増加する（例えば、周波数ドメインコンシールメントが補間された場合）。いくつかの実施の形態（またはいくつかのデコーダ）において、周波数ドメインコンシールメントは、最後の周波数時間変換前にスペクトルデータに作用する。単純フレームが破損した場合、例えば、コンシールメントは、最後（または最後の１つ）の良好なフレーム（適当な復号化されたオーディオフレーム）と誤ったフレームについてのスペクトルデータを作成する最初の良好なフレームとの間に挿入する。しかしながら、いくつかのデコーダは補間を実行できないかもしれない。このようなケースにおいて、より単純な周波数ドメインコンシールメントは、例えば、前の復号化されたスペクトル値の複製や外挿のようなものを用いるかもしれない。前のフレームは、周波数時間変換によって実行され、ここでは、置換された誤ったフレームが前のフレームであり、最後の良好なフレームが前のフレームの前のフレームであり、最初の良好なフレームが実際のフレームである。もし複数のフレームが破損した場合、コンシールメントは最後の良好なフレームから僅かに修正されたスペクトル値に基づいて最初のフェードアウトを実行する。良好なフレームが利用可能になるとすぐに、コンシールメントは、新しいスペクトルデータを次第に大きくする。
以下では、実際のフレームがフレーム数ｎであり、挿入された破損フレームはフレーム数ｎ−１であり、最後の１つのフレームがフレーム数ｎ−２を有する。破損フレームのウインドウシーケンスとウィンドウ形状は以下の表にしたがう。
表１：補間されたウインドウシーケンスとウィンドウ形状（いくつかのＡＡＣファミリーデコーダとＵＳＡＣで使用されているように）
フレームｎ−２とｎのスケールファクタバンドエネルギーは計算される。これらのフレームの１つにおけるウインドウシーケンスはＥＩＧＨＴ＿ＳＨＯＲＴ＿ＳＥＱＵＥＮＣＥであり、フレームｎ−１についての最後のウインドウシーケンスが、長い変換ウィンドウの１つである場合、スケールファクタバンドエネルギーは、短いブロックスペクトル係数の周波数線インデックスを長いブロック表現にマッピングするための長いブロックスケールファクタバンドについて計算される。新しく挿入されたスペクトルは、それぞれのスペクトル係数を乗算させることによって、より古いフレームｎ−２のスペクトルを再利用することによって確立される。例外は、フレームｎ−２における短いウインドウシーケンスとフレームｎにおける長いウインドウシーケンスの場合にもたらされ、ここでは実際のフレームｎが補間ファクタによって修正される。このファクタはそれぞれのスペクトルバンドの範囲を越えて一定であり、フレームｎ−２およびｎのスケールファクタバンドエネルギーの違いから生じる。最後に、挿入されたスペクトル係数の標識はランダムに入れ替わるだろう。
最近では、新しい解決策が紹介されている。これらのシステムに関連して、最後の前の良好なフレームの復号化の後、周波数ビンを複製し、その後、ＴＮＳのような他の処理および／またはノイズファイリングを独立して適用することができる。
異なる解決策がＥＶＳまたはＥＬＤでも使用される。
５．２ 図２に係るオーディオデコーダ
図２は、本発明の一実施形態に係るオーディオデコーダ２００の概略ブロック図を示す。オーディオデコーダ２００は、たとえば、周波数ドメイン表現において符号化されたオーディオフレームを備えることができる符号化されたオーディオ情報２１０を受信する。符号化されたオーディオ情報２１０は、原理上、フレームロスが時々起こるような信頼できないチャネルを介して受信される。フレームが受信され、若しくはとても遅く検出され、又はビットエラーが検出されるかもしれない。これらの発生は、フレームロスの効果を有する。すなわち、フレームが復号化に利用可能ではない。これらの失敗の１つの応答として、デコーダをコンシールメントモードで実行することができる。オーディオデコーダ２００は、更に符号化されたオーディオ情報２１０に基づいて復号化されたオーディオ情報２１２を提供する。
オーディオデコーダ２００は、フレームロスの非存在下で符号化されたオーディオ情報に基づいて復号化されたオーディオ情報２２２を提供する、復号化／処理１２０を備えることができる。
オーディオデコーダ２００は、更にエラーコンシールメントオーディオ情報２３２を提供する、エラーコンシールメント２３０（エラーコンシールメントユニット１００によって具体化することができる）を備える。エラーコンシールメント２３０は、オーディオフレームのロスをコンシールメントするために、エラーコンシールメントオーディオ情報２３２を提供するように構成される。
言い換えれば、復号化／処理２２０は、周波数ドメイン表現の形で、すなわち符号化された値が異なる周波数ビンにおける強度を記述する符号化された表現の形で、符号化されたオーディオフレームに対して、復号化されたオーディオ情報２２２を提供することができる。違う言葉で表現すれば、復号化／処理２２０は、たとえば、付加的な後処理があるケースにおいて、符号化されたオーディオ情報１１０からスペクトル値のセットを導き出し、周波数ドメイン−時間ドメイン変換を実行し、それにより復号化されたオーディオ情報２２２を構成する、または、復号化されたオーディオ情報２２２の提供に対するベースを形成する、時間ドメイン表現を導き出す、周波数ドメインオーディオデコーダを備えることができる。
さらに、オーディオデコーダ２００は、以下に記述されるいずれかの構成および機能によって、個別にまたは組合せて補充することができることに留意すべきである。
５．３ 図３に係るオーディオデコーダ
図３は、本発明の一実施形態に係るオーディオデコーダ３００の概略ブロック図を示す。
オーディオデコーダ３００は、符号化されたオーディオ情報３１０を受信し、それに基づいて、復号化されたオーディオ情報３１２を提供するように構成される。オーディオデコーダ３００は、ビットストリームアナライザ３２０（「ビットストリームデフォーマッタ」または「ビットストリームパーサ」としても示すことができる）を備える。ビットストリームアナライザ３２０は、符号化されたオーディオ情報３１０を受信し、それに基づいて、周波数ドメイン表現３２２と、おそらくは付加的な制御情報３２４を提供する。周波数ドメイン表現３２２は、符号化されたスペクトル値３２６と、符号化されたスケールファクタ（またはＬＰＣ表現）３２８と、たとえば、ノイズ充填、中間処理、または後処理のような特定の処理ステップを制御することができる、たとえば、付加的なサイド情報３３０とを備えることができる。オーディオデコーダ３００は、また、符号化されたスペクトル値３２６を受信し、それに基づいて、復号化スペクトル値３４２のセットを提供するように構成された、スペクトル値復号化３４０を備える。オーディオデコーダ３００は、また、符号化されたスケールファクタ３２８を受信し、それに基づいて、復号化されたスケールファクタ３５２のセットを提供するように構成することができる、スケールファクタ復号化３５０を備えることができる。
スケールファクタ復号化の代替として、たとえば、符号化されたオーディオ情報がスケールファクタ情報よりむしろ符号化されたＬＰＣ情報を備えるケースにおいて、ＬＰＣ−スケールファクタ変換３５４を用いることができる。しかしながら、いくつかの符号化モードにおいて（たとえば、ＵＳＡＣオーディオデコーダのＴＣＸ復号化モードにおいて、またはＥＶＳオーディオデコーダにおいて）、オーディオデコーダの側でスケールファクタのセットを導き出すために、ＬＰＣ係数のセットを用いることができる。この機能は、ＬＰＣ−スケールファクタ変換３５４によって達成することができる。
オーディオデコーダ３００は、また、スケーリングされたファクタ３５２のセットをスペクトル値３４２のセットに適用し、これによりスケーリングされた復号化スペクトル値３６２のセットを取得するように構成することができる、スケーラ３６０を備えることができる。たとえば、多重の復号化スペクトル値３４２を備える第１の周波数バンドは、第１のスケールファクタを用いてスケーリングすることができ、多重の復号化スペクトル値３４２を備える第２の周波数バンドは、第２のスケールファクタを用いてスケーリングすることができる。したがって、スケーリングされた復号化スペクトル値３６２のセットが取得される。オーディオデコーダ３００は、スケーリングされた復号化スペクトル値３６２にいくつかの処理を適用することができる、オプションの処理３６６を更に備えることができる。たとえば、オプションの処理３６６は、ノイズ充填またはいくつかの他の演算を備えることができる。
オーディオデコーダ３００は、スケーリングされた復号化スペクトル値３６２、またはその処理されたバージョン３６８を受信し、スケーリングされた復号化スペクトル値３６２のセットに関連する時間ドメイン表現３７２を提供するように構成された、周波数ドメイン−時間ドメイン変換３７０を備えることができる。たとえば、周波数ドメイン−時間ドメイン変換３７０は、オーディオコンテンツのフレームまたはサブフレームに関連する時間ドメイン表現３７２を提供することができる。たとえば、周波数ドメイン−時間ドメイン変換は、ＭＤＣＴ係数のセット（それは、スケーリングされた復号化スペクトル値と考えることができる）を受信し、それに基づいて、時間ドメイン表現３７２を形成することができる、時間ドメインサンプルのブロックを提供することができる。
オーディオデコーダ３００は、時間ドメイン表現３７２を受信し、時間ドメイン表現３７２をいくらか修正し、それにより時間ドメイン表現３７２の後処理されたバージョン３７８を取得することができる、後処理３７６をオプションとして備えることができる。
オーディオデコーダ３００は、また、周波数ドメイン−時間ドメイン変換３７０とスケーリングされた復号化スペクトル値３６２（またはその処理されたバージョン３６８）とから時間ドメイン表現３７２を受信するエラーコンシールメント３８０を備える。さらに、エラーコンシールメント３８０は、１つ以上のロストオーディオフレームに対してエラーコンシールメントオーディオ情報３８２を提供する。言い換えれば、オーディオフレームが失われた場合に、たとえば、いかなる符号化されたスペクトル値３２６も、前記オーディオフレーム（またはオーディオサブフレーム）に対して利用可能でないように、エラーコンシールメント３８０は、ロストオーディオフレームとスケーリングされた復号化スペクトル値３６２（またはその処理されたバージョン３６８）とに先行する１つ以上のオーディオフレームに関連する時間ドメイン表現３７２に基づいてエラーコンシールメントオーディオ情報を提供することができる。エラーコンシールメントオーディオ情報は、通常はオーディオコンテンツの時間ドメイン表現とすることができる。
エラーコンシールメント３８０は、たとえば、上述されたエラーコンシールメントユニット１００および／またはエラーコンシールメント２３０の機能を実行することができることに留意すべきである。
エラーコンシールメントに関して、エラーコンシールメントはフレーム復号化の同時刻に起こらないことに留意すべきである。たとえば、フレームｎが良好であり、次に通常の復号化を行い、最後に次のフレームをコンシールしなければならない場合に助けるいくつかの変数を保存し、次にフレームｎ＋１が失われた場合に、前の良好なフレームから来る変数を与えるコンシールメント関数を呼ぶ。また、次のフレームロスに対してまたは次の良好なフレームへのリカバリーを助けるために、いくつかの変数をアップデートする。
オーディオデコーダ３００は、また、時間ドメイン表現３７２（または後処理３７６があるケースにおいて後処理された時間ドメイン表現３７８）を受信するように構成された、信号結合３９０を備える。さらに、信号結合３９０は、通常はロストオーディオフレームに対して提供されたエラーコンシールメントオーディオ信号の時間ドメイン表現でもある、エラーコンシールメントオーディオ情報３８２を受信することができる。信号結合３９０は、たとえば、次のオーディオフレームに関連する時間ドメイン表現を結合することができる。次の適切に復号化されたオーディオフレームがあるケースにおいて、信号結合３９０は、これらの次の適切に復号化されたオーディオフレームに関連する時間ドメイン表現を結合する（たとえば、オーバーラップ加算する）ことができる。しかしながら、オーディオフレームが失われた場合に、信号結合３９０は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームに関連する時間ドメイン表現と、ロストオーディオフレームに関連するエラーコンシールメントオーディオ情報とを結合する（たとえば、オーバーラップ加算する）ことができ、それにより適切に受信されたオーディオフレームとロストオーディオフレームとの間のスムースな遷移を有することができる。同様に、信号結合３９０は、ロストオーディオフレームに関連するエラーコンシールメントオーディオ情報と、ロストオーディオフレームに引き続く他の適切に復号化されたオーディオフレームに関連する時間ドメイン表現（または多重の連続するオーディオフレームが失われたケースにおいて他のロストオーディオフレームに関連する他のエラーコンシールメントオーディオ情報）とを結合する（たとえばオーバーラップ加算する）ように構成することができる。
したがって、信号結合３９０は、時間ドメイン表現３７２、またはその後処理されたバージョン３７８が適切に復号化されたオーディオフレームに対して提供されるように、そしてエラーコンシールメントオーディオ情報３８２がロストオーディオフレームに対して提供されるように、復号化されたオーディオ情報３１２を提供することができ、オーバーラップ加算演算は、（それが周波数ドメイン−時間ドメイン変換３７０によってまたはエラーコンシールメント３８０によって提供されるかどうかに拘りなく）通常は次のオーディオフレームのオーディオ情報の間で実行される。いくつかのコーデックは、オーバーラップ加算部分にキャンセルされることを必要とするいくつかのエイリアシングを有し、オプションとしてオーバーラップ加算を実行するために生成したいくつかの人工的なエイリアシングを半フレーム上に生成することができる。
オーディオデコーダ３００の機能は、図２に係るオーディオデコーダ２００の機能に類似することに留意すべきである。さらに、図３に係るオーディオデコーダ３００は、本願明細書に記述されたいずれかの構成および機能によって補充することができることに留意すべきである。特に、エラーコンシールメント３８０は、エラーコンシールメントに関して本願明細書に記述されたいずれかの構成および機能によって補充することができる。
５．４ 図４に係るオーディオデコーダ
図４は、本発明の他の実施形態に係るオーディオデコーダ４００を示す。
オーディオデコーダ４００は、符号化されたオーディオ情報を受信し、それに基づいて、復号化されたオーディオ情報４１２を提供するように構成される。オーディオデコーダ４００は、たとえば、異なるオーディオフレームが異なる符号化モードを用いて符号化された、符号化オーディオ情報４１０を受信するように構成することができる。たとえば、オーディオデコーダ４００は、多重モードオーディオデコーダまたは「スイッチング」オーディオデコーダと考えることができる。たとえば、いくつかのオーディオフレームは、周波数ドメイン表現を用いて符号化することができ、符号化されたオーディオ情報は、スペクトル値（たとえば、ＦＦＴ値またはＭＤＣＴ値）の符号化された表現と、異なる周波数バンドのスケーリングを表すスケールファクタとを備える。さらに、符号化されたオーディオ情報４１０は、また、オーディオフレームの「時間ドメイン表現」、または多重のオーディオフレームの「線形予測符号化ドメイン表現」を備えることができる。「線形予測符号化ドメイン表現」（簡単に「ＬＰＣ表現」としても示される）は、たとえば、励振信号の符号化された表現と、ＬＰＣパラメータ（線形予測符号化パラメータ）の符号化された表現を備えることができ、線形予測符号化パラメータは、たとえば、時間ドメイン励振信号に基づいてオーディオ信号を復元するために用いられる線形予測符号化合成フィルタを記述する。
以下に、オーディオデコーダ４００のいくつかの詳細が記述される。
オーディオデコーダ４００は、たとえば、符号化されたオーディオ情報４１０を分析し、符号化されたオーディオ情報４１０から、たとえば、符号化されたスペクトル値と、符号化されたスケールファクタと、オプションとして、付加的なサイド情報とを備える、周波数ドメイン表現４２２を抽出することができる、ビットストリームアナライザ４２０を備える。ビットストリームアナライザ４２０は、また、たとえば、符号化された励振４２６と、符号化された線形予測係数４２８（それは、符号化された線形予測パラメータとも考えることができる）とを備えることができる、線形予測符号化ドメイン表現４２４を抽出するように構成することができる。さらに、ビットストリームアナライザは、符号化されたオーディオ情報から、付加的な処理ステップを制御するために用いることができる、付加的なサイド情報を、オプションとして抽出することができる。
オーディオデコーダ４００は、たとえば、図３に係るオーディオデコーダ３００の復号化パスと実質的に同一とすることができる、周波数ドメイン復号化パス４３０を備える。言い換えれば、周波数ドメイン復号化パス４３０は、図３に関して上述されたように、スペクトル値復号化３４０と、スケールファクタ復号化３５０と、スケーラ３６０と、オプションの処理３６６と、周波数ドメイン−時間ドメイン変換３７０と、オプションの後処理３７６と、エラーコンシールメント３８０とを備えることができる。
オーディオデコーダ４００は、また、線形予測ドメイン復号化パス４４０（これは、ＬＰＣ合成が時間ドメインにおいて実行されるので、時間ドメイン復号化パスと考えることもできる）を備えることができる。線形予測ドメイン復号化パスは、励振復号化４５０を備える。ビットストリームアナライザ４２０によって提供された符号化された励振４２６を受信し、それに基づいて、復号化された励振４５２（これは、復号化された時間ドメイン励振信号という形をとることができる）を提供する。たとえば、励振復号化４５０は、符号化された変換符号化励振情報を受信することができ、それに基づいて、復号化された時間ドメイン励振信号を提供することができる。このように、励振復号化４５０は、たとえば、図７を参照して記述される励振デコーダ７３０によって実行される機能を実行することができる。しかしながら、代替としてまたは加えて、励振復号化４５０は、符号化されたＡＣＥＬＰ励振を受信することができ、前記符号化されたＡＣＥＬＰ励振情報に基づいて、復号化された時間ドメイン励振信号４５２を提供することができる。
励振復号化に対して、異なるオプションがあることに留意すべきである。たとえば、ＣＥＬＰ符号化コンセプト、ＡＣＥＬＰ符号化コンセプト、ＣＥＬＰ符号化コンセプトとＡＣＥＬＰ符号化コンセプトの修正、およびＴＣＸ符号化コンセプトを定義する関連する規格および刊行物が参照される。
線形予測ドメイン復号化パス４４０は、処理された時間ドメイン励振信号４５６が時間ドメイン励振信号４５２から導き出される、処理４５４をオプションとして備える。
線形予測ドメイン復号化パス４４０は、また、符号化された線形予測係数を受信し、それに基づいて、復号化された線形予測係数４６２を提供するように構成された、線形予測係数復号化４６０を備える。線形予測係数復号化４６０は、入力情報４２８として、線形予測係数の異なる表現を用いることができ、出力情報４６２として、復号化された線形予測係数の異なる表現を提供することができる。詳細は、線形予測係数の符合化および／または復号化が記述された異なる規格ドキュメントが参照される。
線形予測ドメイン復号化パス４４０は、復号化された線形予測係数を処理し、それの処理されたバージョン４６６を提供することができる、処理４６４をオプションとして備える。
線形予測ドメイン復号化パス４４０は、また、復号化された励振４５２、またはそれの処理されたバージョン４５６と、復号化された線形予測係数４６２、またはそれの処理されたバージョン４６６とを受信し、復号化された時間ドメインオーディオ信号４７２を提供するように構成された、ＬＰＣ合成（線形予測符号化合成）４７０を備える。たとえば、ＬＰＣ合成４７０は、復号化された時間ドメインオーディオ信号４７２が、時間ドメイン励振信号４５２（または４５６）をフィルタリング（合成フィルタリング）することによって取得されるように、復号化された線形予測係数４６２（またはそれの処理されたバージョン４６６）によって、復号化時間ドメイン励振信号４５２、またはそれの処理されたバージョンに対して定義された、フィルタリングを適用するように構成することができる。線形予測ドメイン復号化パス４４０は、復号化された時間ドメインオーディオ信号４７２の特性をリファインするまたは調整するために用いることができる、後処理４７４をオプションとして備えることができる。
線形予測ドメイン復号化パス４４０は、また、復号化された線形予測係数４６２（またはそれの処理されたバージョン４６６）と、復号化された時間ドメイン励振信号４５２（またはそれの処理されたバージョン４５６）を受信するように構成された、エラーコンシールメント４８０を備える。エラーコンシールメント４８０は、たとえばピッチ情報のような、付加情報をオプションとして受信することができる。エラーコンシールメント４８０は、符号化されたオーディオ情報４１０のフレーム（またはサブフレーム）が失われたケースにおいて、時間ドメインオーディオ信号の形とすることができる、エラーコンシールメントオーディオ情報を、結果的に提供することができる。このように、エラーコンシールメント４８０は、エラーコンシールメントオーディオ情報４８２の特性が、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームの特性に実質的に適応されるように、エラーコンシールメントオーディオ情報４８２を提供することができる。エラーコンシールメント４８０は、エラーコンシールメント１００および／または２３０および／または３８０に関して記述されたいずれかの構成および機能を備えることができることに留意すべきである。加えて、エラーコンシールメント４８０は、また、図６の時間ドメインコンシールメントに関して記述されるいずれかの構成および機能を備えることができることに留意すべきである。
オーディオデコーダ４００は、また、復号化された時間ドメインオーディオ信号３７２（またはその後処理されたバージョン３７８）と、エラーコンシールメント３８０によって提供されるエラーコンシールメントオーディオ情報３８２と、復号化された時間ドメインオーディオ信号４７２（またはその後処理されたバージョン４７６）と、エラーコンシールメント４８０によって提供されるエラーコンシールメントオーディオ情報４８２とを受信するように構成された、信号結合器（または信号結合４９０）を備える。信号結合器４９０は、前記信号３７２（または３７８）、３８２、４７２（または４７６）および４８２を結合し、これにより復号化されたオーディオ情報４１２を取得するように構成することができる。特に、オーバーラップ加算演算は、信号結合器４９０によって適用することができる。したがって、信号結合器４９０は、時間ドメインオーディオ信号が、異なるエンティティ（たとえば、異なる復号化パス４３０、４４０によって）によって提供される次のオーディオフレーム間のスムースな遷移を提供することができる。しかしながら、信号結合器４９０は、また、時間ドメインオーディオ信号が、次のフレームに対して、同じエンティティによって（たとえば、周波数ドメイン−時間ドメイン変換３７０またはＬＰＣ合成４７０によって）提供される場合に、スムースな遷移を提供することができる。いくつかのコーデックは、オーバーラップ加算部分にキャンセルされることを必要とするいくつかのエイリアシングを有するので、オプションとして、オーバーラップ加算を実行するために生成された、いくつかの人工的なエイリアシングを半フレーム上に生成することができる。言い換えれば、人工的な時間ドメインエイリアシング補償（ＴＤＡＣ）を、オプションとして用いることができる。
また、信号結合器４９０は、エラーコンシールメントオーディオ情報（それは、通常は時間ドメインオーディオ信号でもある）が提供されるフレームへのおよびそれからのスムースな遷移を提供することができる。
要約すると、オーディオデコーダ４００は、周波数ドメインにおいて符号化されたオーディオフレームと、線形予測ドメインにおいて符号化されたオーディオフレームとを復号化することを可能とする。特に、信号特性に依存して（たとえば、オーディオエンコーダによって提供されるシグナリング情報を用いて）、周波数ドメイン復号化パスの使用と線形予測ドメイン復号化パスの使用との間でスイッチすることが可能である。フレームロスのケースにおいて、エラーコンシールメントオーディオ情報を提供に対して、最後の適切に復号化されたオーディオフレームが、周波数ドメインにおいて（または、等価的に、周波数ドメイン表現において）、または時間ドメインにおいて（または、等価的に、時間ドメイン表現において、または、等価的に、線形予測ドメインにおいて、または、等価的に、線形予測ドメイン表現において）符号化されたかどうかに従って、異なるタイプのエラーコンシールメントを用いることができる。
５．５． 図５に係る時間ドメインコンシールメント
図５は、本発明の一実施形態に係る時間ドメインエラーコンシールメントの概略ブロック図を示す。図５に係るエラーコンシールメントは、全体において５００として示され、図１の時間ドメインコンシールメント１０６を具体化できる。しかしながら、簡略して表現するために図５で示されていないけれども、時間ドメインコンシールメントの入力（例えば、信号５１０に適用される）において用いられるかもしれないダウンサンプリング、および時間ドメインコンシールメントの出力において用いられるかもしれないアップサンプリング、およびローパスフィルタリングが適用されるかもしれない。
時間ドメインエラーコンシールメント５００は、時間ドメインオーディオ信号５１０（信号１０１の低周波数範囲であるだろう）を受信し、それに基づいて、たとえば、時間ドメインオーディオ信号（たとえば、信号１０４）の形をとることができ、第２のエラーコンシールメントオーディオ情報成分を提供するために用いることができるエラーコンシールメントオーディオ情報成分５１２を提供するように構成される。
エラーコンシールメント５００は、オプションと考えることができる、プリエンファシス５２０を備える。プリエンファシスは、時間ドメインオーディオ信号を受信し、それに基づいて、プリエンファサイズされた時間ドメインオーディオ信号５２２を提供する。
エラーコンシールメント５００は、また、時間ドメインオーディオ信号５１０またはそれのプリエンファサイズされたバージョン５２２を受信し、ＬＰＣパラメータ５３２のセットを備えることができるＬＰＣ情報５３２を取得するように構成された、ＬＰＣ分析５３０を備える。たとえば、ＬＰＣ情報は、ＬＰＣフィルタ係数のセット（またはそれの表現）と、時間ドメイン励振信号（それは、ＬＰＣフィルタ係数に従って構成されたＬＰＣ合成フィルタの励振に対して適応され、少なくともほぼ、ＬＰＣ分析の入力信号を復元する）を備えることができる。
エラーコンシールメント５００は、また、たとえば、前に復号化されたオーディオフレームに基づいて、ピッチ情報５４２を取得するように構成された、ピッチ探索５４０を備える。
エラーコンシールメント５００は、また、ＬＰＣ分析の結果に基づいて（たとえば、ＬＰＣ分析によって決定された時間ドメイン励振信号に基づいて）、そしておそらくはピッチ探索の結果に基づいて、外挿された時間ドメイン励振信号を取得するように構成することができる、外挿５５０を備える。
エラーコンシールメント５００は、また、ノイズ信号５６２を提供する、ノイズ生成５６０を備える。エラーコンシールメント５００は、また、外挿された時間ドメイン励振信号５５２とノイズ信号５６２とを受信し、それに基づいて、結合された時間ドメイン励振信号５７２を提供するように構成された、コンバイナ／フェーダ５７０を備える。コンバイナ／フェーダ５７０は、外挿された時間ドメイン励振信号５５２とノイズ信号５６２とを結合するように構成することができ、フェーディングは、外挿された時間ドメイン励振信号５５２（それは、ＬＰＣ合成の入力信号の決定的な成分を決定する）の相対的な貢献度が時間とともに減少する一方、ノイズ信号５６２の相対的な貢献度が時間とともに増加するように、実行することができる。しかしながら、コンバイナ／フェーダの異なる機能も可能である。また、以下の説明も参照される。
エラーコンシールメント５００は、また、結合された時間ドメイン励振信号５７２を受信し、それに基づいて時間ドメインオーディオ信号５８２を提供する、ＬＰＣ合成５８０を備える。たとえば、ＬＰＣ合成は、また、結合された時間ドメイン励振信号５７２に適用され、時間ドメインオーディオ信号５８２を導き出す、ＬＰＣ成形フィルタを記述するＬＰＣフィルタ係数を受信することができる。ＬＰＣ合成５８０は、たとえば、１つ以上前に復号化されたオーディオフレーム（たとえば、ＬＰＣ分析５３０によって提供される）に基づいて取得されたＬＰＣ係数を用いることができる。
エラーコンシールメント５００は、また、オプションと考えることができる、デエンファシス５８４を備える。デエンファシス５８４は、デエンファサイズされたエラーコンシールメント時間ドメインオーディオ信号５８６を提供することができる。
エラーコンシールメント５００は、また、オプションとして、次のフレーム（またはサブフレーム）に関連する時間ドメインオーディオ信号のオーバーラップ加算演算を実行する、オーバーラップ加算５９０を備える。しかしながら、オーバーラップ加算５９０は、エラーコンシールメントがオーディオデコーダ環境において既に提供された信号結合を用いることもできるので、オプションと考える必要があることに留意すべきである。たとえば、オーバーラップ加算５９０は、いくつかの実施形態において、オーディオデコーダ３００における信号結合３９０によって置換することができる。
以下に、エラーコンシールメント５００に関するいくつかの更なる詳細が記述される。
図５に係るエラーコンシールメント５００は、変換ドメインコーデックの文脈をＡＡＣ＿ＬＣまたはＡＡＣ＿ＥＬＤとしてカバーする。違う言葉で表現すれば、エラーコンシールメント５００は、この種の変換ドメインコーデックにおける（そして、特に、この種の変換ドメインオーディオデコーダにおける）使用に対してよく適応される。変換コーデックのみ（たとえば、線形予測ドメイン復号化パスがない）のケースにおいて、最後のフレームからの出力信号が起点として用いられる。たとえば、時間ドメインオーディオ信号３７２は、エラーコンシールメントの起点として用いることができる。好ましくは、励振信号、ちょうど（１つ以上）前のフレーム（たとえば、時間ドメインオーディオ信号３７２のような）からの出力時間ドメイン信号は、利用可能でない。
以下に、エラーコンシールメント５００のサブユニットおよび機能がより詳細に記述される。
５．５．１． ＬＰＣ分析
図５に係る実施形態において、全てのコンシールメントは、連続するフレーム間のよりスムースな遷移を得るために、励振ドメインにおいて行われる。それ故に、ＬＰＣパラメータの適当なセットを見つける（または、さらに一般的にいえば、取得する）ことが、最初に必要である。図５に係る実施形態において、ＬＰＣ分析５３０は、過去のプリエンファサイズされた時間ドメイン信号５２２上で行われる。ＬＰＣパラメータ（またはＬＰＣフィルタ係数）は、励振信号（たとえば時間ドメイン励振信号）を得るために、過去の合成信号のＬＰＣ分析を（たとえば、時間ドメインオーディオ信号５１０に基づいて、またはプリエンファサイズされた時間ドメインオーディオ信号５２２に基づいて）実行するために用いられる。
５．５．２． ピッチ探索
新しい信号（たとえば、エラーコンシールメントオーディオ情報）を造るために用いられるピッチを得るために、異なるアプローチがある。
最後のフレームがＬＴＰによるＡＡＣである場合に、ＡＡＣ−ＬＴＰのようなＬＴＰフィルタ（長期予測フィルタ）を用いたコーデックの文脈において、ハーモニックパートの生成に対して、この最後に受信されたＬＴＰピッチ遅延および対応するゲインを用いる。このケースにおいて、ゲインは、ハーモニックパートを信号に組み込むか否かを決定するために用いられる。たとえば、ＬＴＰゲインが０．６（または他のいかなる既定値）より高い場合に、ＬＴＰ情報は、ハーモニックパートを造るために用いられる。
前のフレームから利用可能ないかなるピッチ情報もない場合に、たとえば、以下に記述される２つのソリューションがある。
たとえば、エンコーダでピッチ探索に行い、ビットストリームにおいてピッチ遅延およびゲインを伝送することが可能である。これはＬＴＰと類似しているが、いかなるフィルタリング（また、クリーンチャネルにおけるＬＴＰフィルタリング）も適用されない。
代替として、デコーダにおいてピッチ探索を実行することが可能である。ＴＣＸのケースにおけるＡＭＲ−ＷＢピッチ探索は、ＦＦＴドメインにおいて行われる。ＥＬＤにおいて、たとえば、ＭＤＣＴドメインが用いられる場合に、位相は欠落されるであろう。それ故に、ピッチ探索は、好ましくは励振ドメインにおいて直接行われる。これは、合成ドメインにおいてピッチ探索を行うよりも良好な結果を与える。励振ドメインにおけるピッチ探索は、正規化相互相関によって最初にオープンループで行われる。次に、オプションとして、特定のデルタによって、オープンループピッチの周辺でクローズドループ探索を行うことによって、ピッチ探索をリファインする。ＥＬＤウィンドウ化の制限のため、間違ったピッチが見つかる可能性があり、従って見つかったピッチが正しいことを検証する、またはさもないとそれを廃棄する。
結論として、エラーコンシールメントオーディオ情報を提供するとき、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームのピッチを考慮することができる。いくつかのケースにおいて、前のフレーム（すなわち、ロストオーディオフレームに先行する最後のフレーム）の復号化から利用可能なピッチ情報がある。この場合、このピッチは、（おそらくいくつかの外挿と時間上のピッチ変化の考慮によって）再利用することができる。また、コンシールされたフレームの終わりにおいて必要とするピッチを外挿することまたは予測することを試みるために、過去の複数のフレームのピッチをオプションとして再利用することができる。
また、決定的な（たとえば、少なくともほぼ周期的な）信号成分の強度（または相対的強度）を記述する、利用可能な情報（たとえば、長期予測ゲインとして示される）がある場合に、この値は、エラーコンシールメントオーディオ情報に決定的な（またはハーモニックな）成分が含まれる必要があるかどうかを決定するために用いることができる。言い換えれば、前記値（たとえばＬＴＰゲイン）を、所定の閾値と比較することによって、エラーコンシールメントオーディオ情報の供給に対して、前に復号化されたオーディオフレームから導き出された時間ドメイン励振信号を考慮する必要があるか否かを決定することができる。
前のフレームから（または、より正確に言うと、前のフレームの復号化から）利用可能なピッチ情報がない場合には、異なるオプションがある。ピッチ情報は、オーディオエンコーダからオーディオデコーダまで伝送することができる可能性があり、それはオーディオデコーダを単純化するが、ビットレートオーバーヘッドを発生させる。代替として、ピッチ情報は、オーディオデコーダにおいて、たとえば、励振ドメインにおいて、すなわち、時間ドメイン励振信号に基づいて、決定することができる。たとえば、前の適切に復号化されたオーディオフレームから導き出された時間ドメイン励振信号は、エラーコンシールメントオーディオ情報の供給に対して用いられるピッチ情報を識別するために、評価することができる。
５．５．３． 励振の外挿またはハーモニックパートの生成
前のフレームから取得された励振（たとえば、時間ドメイン励振信号）（ロストフレームに対して丁度演算されたかまたは多重のフレームロスに対して前のロストフレームにおいて既に保存されたかのいずれか）は、１つ半のフレームを得るために必要なだけ最後のピッチサイクルを複製することによって、ハーモニックパート（決定的な成分またはほぼ周期的な成分としても示される）を、励振に（たとえば、ＬＰＣ合成の入力信号に）組み込むために用いられる。煩雑性を省くため、最初のロスフレームに対して１つ半のフレームを生成し、そして続くフレームロスに対して半フレームだけ処理をシフトし、各々１フレームのみを生成することができる。次に、オーバーラップの半フレームに常にアクセスする。
良好なフレーム（すなわち、適切に復号化されたフレーム）の後の最初のロストフレームのケースにおいて、最初のピッチサイクル（たとえば、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームに基づいて取得された時間ドメイン励振信号の）は、（ＥＬＤが実際に広いサンプリングレートの組合せ―ＡＡＣ−ＥＬＤコアからＳＢＲまたはＡＡＣ−ＥＬＤデュアルレートＳＢＲによるＡＡＣ−ＥＬＤまでをカバーするので）サンプリングレート依存フィルタによってローパスフィルタリングされる。
ボイス信号におけるピッチは、ほとんどいつでも変化している。それ故に、上記提案されたコンシールメントは、コンシールされた信号の終わりにおける（すなわち、エラーコンシールメントオーディオ情報の終わりにおける）ピッチがしばしば最初の良好なフレームのピッチにマッチしないので、リカバリーにおいていくつかの問題（または少なくとも歪み）を発生させる傾向がある。それ故に、オプションとして、いくつかの実施形態において、コンシールされたフレームの終わりにおけるピッチをリカバリーフレームの始めにおけるピッチにマッチするように予測することが試みられる。たとえば、ロストフレーム（それは、コンシールされたフレームと考えられる）の終わりにおけるピッチが予測され、予測のターゲットは、ロストフレーム（コンシールされたフレーム）の終わりにおけるピッチを、１つ以上のロストフレームに引き続く最初の適切に復号化されたフレーム（最初の適切に復号化されたフレームが「リカバリーフレーム」とも呼ばれる）の始めにおけるピッチに近づくようにセットすることである。これは、フレームロスの間、または最初の良好なフレームの間（すなわち、最初の適切に受信されたフレームの間）、行われる可能性がある。さらに良好な結果を得るために、オプションとして、ピッチ予測およびピッチ再同期のようないくつかの従来のツールを再利用し、それらを適応させることが可能である。詳細に対して、たとえば、参考文献［４］および［５］が参照される。
長期予測（ＬＴＰ）が周波数ドメインコーデックにおいて用いられる場合に、ピッチに関する開始情報として遅延を用いることができる。しかしながら、いくつなの実施形態において、ピッチ輪郭をより良く追跡することができる良好なデータの塊を有することも望ましい。それ故に、最後の良好な（適切に復号化された）フレームの始めと終わりにおいてピッチ探索を行うことが好ましい。信号を動くピッチに適応させるために、技術水準に存在するパルス再同期を用いることが望ましい。
５．５．４． ピッチのゲイン
いくつかの実施形態において、所望のレベルに達するために、前に取得された励振上のゲインを適用することが好ましい。「ピッチのゲイン」（たとえば、時間ドメイン励振信号の決定的な成分のゲイン、すなわちＬＰＣ合成の入力信号を取得するために、前に復号化されたオーディオフレームから導き出された時間ドメイン励振信号に適用されたゲイン）は、たとえば、最後の良好な（たとえば、適切に復号化された）フレームの終わりにおいて時間ドメインで正規化相関を行うことによって取得することができる。相関の長さは、２つのサブフレームの長さに等しいとすることができる、または適応的に変えることができる。遅延は、ハーモニックパートの生成に対して用いられるピッチ遅延に等しい。また、オプションとして、最初のロストフレーム上でのみゲイン計算を実行し、引き続く連続するフレームロスに対してフェードアウト（低減されたゲイン）を適用するのみとすることもできる。
「ピッチのゲイン」は、生成される純音性の量（または決定的な、少なくともほぼ周期的な信号成分の量）を決定する。しかしながら、人工的な音のみを有することがないように、いくつかの成型されたノイズを加えることが望ましい。非常に低いピッチのゲインを得る場合には、成形されたノイズのみからなる信号を造る。
結論として、いくつかのケースにおいて、たとえば、前に復号化されたオーディオフレームに基づいて取得された、いくつかの時間ドメイン励振信号は、（たとえば、ＬＰＣ分析に対する入力信号を取得するための）ゲインに依存してスケーリングされる。したがって、時間ドメイン励振信号は決定的な（少なくともほぼ周期的な）信号成分を決定するので、ゲインは、エラーコンシールメントオーディオ情報における前記決定的な（少なくともほぼ周期的な）信号成分の相対的な強度を決定することができる。加えて、エラーコンシールメントオーディオ情報は、エラーコンシールメントオーディオ情報のトータルエネルギーが、少なくともいくらかの程度で、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームに、そして理想的には、１つ以上のロストオーディオフレームに引き続く適切に復号化されたオーディオフレームにも、適応されるように、ＬＰＣ合成によって成形されたノイズに基づくことができる。
５．５．５． ノイズパートの構築
ランダムノイズ発生器によって、「イノベーション」が構築される。このノイズは、オプションとして更にハイパスフィルタリングされ、有声のおよび立上りのフレームに対してオプションとしてプリエンファサイズされる。ハーモニックパートのローパスに関しては、このフィルタ（たとえば、ハイパスフィルタ）はサンプリングレート依存である。このノイズ（たとえば、ノイズ生成５６０によって提供された）は、できる限りバックグラウンドノイズに近くなるように、ＬＰＣによって（たとえば、ＬＰＣ合成５８０によって）成形される。ハイパス特性は、また、オプションとして、フルバンド成形されたノイズのみを得てバックグラウンドノイズに近い快適なノイズを得るために、特定の量のフレームロスの後、もはやフィルタリングのないことを断言するように、連続するフレームロス上で変えられる。
イノベーションゲイン（それは、たとえば、結合／フェーディング５７０におけるノイズ５６２のゲイン、すなわちそれを用いてノイズ信号５６２がＬＰＣ合成の入力信号５７２に含まれるゲインを決定することができる）は、たとえば、最後の良好なフレームの終わりにおいて相関を行うことによって、前に演算されたピッチ（それが存在する場合）の貢献度（たとえば、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームに基づいて取得された時間ドメイン励振信号の「ピッチのゲイン」を用いてスケーリングされた、スケーリングバージョン）を除去することによって計算される。ピッチゲインに関しては、オプションとして最初のロストフレーム上でのみ行うことができ、次にフェードアウトするが、このケースにおいてフェードアウトは、完全なミューティングに結果としてなる０またはバックグラウンドにおいて存在する推定ノイズレベルのいずれかまで進む可能性がある。相関の長さは、たとえば、２つのサブフレームの長さに等しく、遅延はハーモニックパートの生成に対して用いられるピッチ遅延に等しい。
オプションとして、このゲインは、また、ピッチのゲインが１でない場合に、ノイズ上に同程度のゲインを適用し、エネルギー喪失に到達するために、（１−「ピッチのゲイン」）によって逓倍される。オプションとして、このゲインは、ノイズファクタによっても逓倍される。ノイズファクタは、たとえば、前の有効フレーム（たとえば、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームから）から来る。
５．５．６． フェードアウト
フェードアウトは、大部分は多重のフレームロスに対して用いられる。しかしながら、フェードアウトは、単一のオーディオフレームのみが失われたケースにおいても用いることができる。
多重のフレームロスのケースにおいて、ＬＰＣパラメータは再計算されない。最後に演算されたものが保持されるかまたはバックグラウンド形状への収束によってＬＰＣコンシールメントが行われるかのいずれかである。このケースにおいて、信号の周期性はゼロに収束される。たとえば、ロストオーディオフレームに先行する１つ以上のオーディオフレームに基づいて取得された時間ドメイン励振信号５５２は、時間とともに徐々に低減するゲインが依然として用いられる一方、ノイズ信号５６２は、一定に保たれるか、または、時間ドメイン励振信号５５２の相対的な重みがノイズ信号５６２の相対的な重みと比較したときに低減されるように、時間とともに徐々に増大するゲインによってスケーリングされる。結果的に、ＬＰＣ合成５８０の入力信号５７２は、ますます「ノイズ状」になる。結果的に、「周期性」（または、より正確にはＬＰＣ合成５８０の出力信号５８２の決定的なまたは少なくともほぼ周期的な成分）は、時間とともに低減される。
信号５７２の周期性および／または信号５８２の周期性に従う収束の速度は、０に収束され、従って最後の正しく受信された（または適切に復号化された）フレームのパラメータおよび／または連続する消去されたフレームの数に依存し、減衰率αによって制御される。ファクタαは、ＬＰフィルタの安定性に更に依存している。オプションとして、ピッチ長による比率においてファクタαを変えることが可能である。ピッチ（たとえば、ピッチによる周期長）は、実際に長い場合にはαを「ノーマル」にキープするが、ピッチが実際に短い場合には通常は過去の励振の同じパートを何度も複製することが必要である。これは、すぐに非常に人工的に聞こえ、それ故に、この信号を速くフェードアウトさせることが好ましい。
更にオプションとして、利用可能であれば、ピッチ予測出力を考慮することができる。ピッチが予測される場合は、それはピッチが前のフレームにおいて既に変化していたことを意味し、より多くのフレームを自由にするとより真実から離れる。それ故に、このケースにおいては音のパートのフェードアウトを少しスピードアップすることが好ましい。
ピッチがあまりに多く変化しているという理由でピッチ予測が失敗した場合、それはピッチ値が、実際に信頼性が高くないかまたは信号が実際に予測不能であるかのいずれかであることを意味する。それ故に、再び、より速くフェードアウトする（たとえば、１つ以上のロストオーディオフレームに先行する１つ以上の適切に復号化されたオーディオフレームに基づいて取得された時間ドメイン励振信号５５２をより速くフェードアウトする）ことが好ましい。
５．５．７． ＬＰＣ合成
時間ドメインに戻るために、デエンファシスに引き続く２つの励振（音のパートとノイズが多いパート）の合計についてＬＰＣ合成５８０を実行することが好ましい。違う言葉で表現すれば、ロストオーディオフレーム（音のパート）に先行する１つ以上の適切に復号化されたオーディオフレームに基づいて取得された時間ドメイン励振信号５５２とノイズ信号５６２（ノイズが多いパート）との重み付け結合に基づいてＬＰＣ合成５８０を実行することが好ましい。上述したように、時間ドメイン励振信号５５２は、ＬＰＣ分析５３０（ＬＰＣ合成５８０に対して用いられたＬＰＣ合成フィルタの特性を記述するＬＰＣ係数に加えて）によって取得された時間ドメイン励振信号５３２と比較したとき、修正することができる。たとえば、時間ドメイン励振信号５５２は、ＬＰＣ分析５３０によって取得された時間ドメイン励振信号５３２の１回スケーリングされた複製とすることができ、時間スケーリングは、時間ドメイン励振信号５５２のピッチを所望のピッチに適応させるために用いることができる。
５．５．８ オーバーラップ加算
変換コーデックのみのケースにおいて、最高のオーバーラップ加算を得るために、コンシールされたフレームを超える半フレームに対して人工的な信号を生成し、その上に人工的なエイリアシングを生成する。しかしながら、異なるオーバーラップ加算コンセプトを適用するだろう。
正規のＡＡＣまたはＴＣＸの文脈において、オーバーラップ加算は、コンシールメントから来る余分な半フレームと最初の良好なフレームの最初のパートとの間で適用される（ＡＡＣ−ＬＤとして、より低い遅延ウィンドウに対して半分以下である可能性がある）。
ＥＬＤ（特別な低遅延）の特殊ケースにおいて、最初のロストフレームに対して、最後の３つのウィンドウから適切な貢献度を得るために、分析を３回実行し、次に最初のコンシールメントフレームと全ての引き続くフレームに対して、もう１回分析を実行することが好ましい。次に、ＭＤＣＴドメインにおいて、引き続くフレームに対して、全ての適当なメモリによって時間ドメインに戻されるように、１つのＥＬＤ合成が行われる。
結論として、ＬＰＣ合成５８０の入力信号５７２（および／または時間ドメイン励振信号５５２）は、ロストオーディオフレームの継続期間より長い時間的な継続期間に対して提供することができる。したがって、ＬＰＣ合成５８０の出力信号５８２は、ロストオーディオフレームより長い期間に対して提供することもできる。したがって、オーバーラップ加算は、エラーコンシールメントオーディオ情報（それは、結果的にロストオーディオフレームの時間的拡張より長い期間に対して取得される）と、１つ以上のロストオーディオフレームに引き続く適切に復号化されたオーディオフレームに対して提供された復号化されたオーディオ情報との間で実行することができる。
５．６． 図６に係る時間ドメインコンシールメント
図６は、スイッチコーデックに対して用いることができる、時間ドメインコンシールメントの概略ブロック図を示す。たとえば、図６に係る時間ドメインコンシールメント６００は、たとえば、図３または図４のエラーコンシールメント３８０において、時間ドメインエラーコンシールメント１０６に置き換えることができる。
スイッチドコーデックのケースにおいて（そして、さらに単に線形予測係数ドメインにおいて復号化を実行するコーデックのケースにおいて）、通常は前のフレーム（たとえば、ロストオーディオフレームに先行する適切に復号化されたオーディオフレーム）から来る励振信号（たとえば、時間ドメイン励振信号）を既に有する。そうでない場合（たとえば、ドメイン励振信号が利用可能でない場合）は、図５に係る実施形態において説明したように行う、すなわちＬＰＣ分析を実行することが可能である。前のフレームがＡＣＥＬＰライクであった場合は、最後のフレームにおけるサブフレームのピッチ情報も既に有する。最後のフレームがＬＴＰ（長期予測）によるＴＣＸ（変換符号化励振）であった場合は、長期予測から来る遅延情報も有する。そして、最後のフレームが長期予測（ＬＴＰ）なしに周波数ドメインにあった場合は、ピッチ探索は、好ましくは励振ドメインにおいて（たとえば、ＬＰＣ分析によって提供された時間ドメイン励振信号に基づいて）直接行われる。
デコーダが時間ドメインにおけるいくつかのＬＰＣパラメータを既に用いている場合は、それらを再利用し、ＬＰＣパラメータの新たなセットを外挿する。ＬＰＣパラメータの外挿は、過去のＬＰＣ、たとえば最後の３つのフレームと、オプションとして、ＤＴＸ（不連続な変換）がコーデックにおいて存在する場合に、ＤＴＸノイズ推定の間に導き出されたＬＰＣ形状の平均に基づいている。
全てのコンシールメントは、連続するフレーム間のよりスムースな遷移を得るために、励振ドメインにおいて行われる。
以下に、図６に係るエラーコンシールメント６００が更に詳細に記述される。
エラーコンシールメント６００は、過去の励振６１０と過去のピッチ情報６４０とを受信する。さらに、エラーコンシールメント６００は、エラーコンシールメントオーディオ情報６１２を提供する。
エラーコンシールメント６００によって受信された過去の励振６１０は、たとえば、ＬＰＣ分析５３０の出力５３２に対応することができることに留意すべきである。さらに、過去のピッチ情報６４０は、たとえば、ピッチ探索５４０の出力情報５４２に対応することができる。
エラーコンシールメント６００は、上記説明が参照される外挿５５０に対応することができる、外挿６５０を更に備える。
さらに、エラーコンシールメントは、上記説明が参照されるノイズ発生器５６０に対応することができる、ノイズ発生器６６０を備える。
外挿６５０は、外挿された時間ドメイン励振信号５５２に対応することができる、外挿された時間ドメイン励振信号６５２を提供する。ノイズ発生器６６０は、ノイズ信号５６２に対応する、ノイズ信号６６２を提供する。
エラーコンシールメント６００は、また、コンバイナ／フェーダ６７０を備える。外挿された時間ドメイン励振信号６５２とノイズ信号６６２とを受信し、それに基づいて、上記説明もあてはまるように、ＬＰＣ合成６８０がＬＰＣ合成５８０に対応することができる、ＬＰＣ合成６８０に対する入力信号６７２を提供する。ＬＰＣ合成６８０は、時間ドメインオーディオ信号５８２に対応することができる、時間ドメインオーディオ信号６８２を提供する。エラーコンシールメントは、また、デエンファシス５８４に対応することができ、デエンファシスされたエラーコンシールメント時間ドメインオーディオ信号６８６を提供する、デエンファシス６８４を（オプションとして）備える。エラーコンシールメント６００は、オプションとして、オーバーラップ加算５９０に対応することができる、オーバーラップ加算６９０を備える。しかしながら、オーバーラップ加算５９０に関する上記説明は、オーバーラップ加算６９０にもあてはまる。言い換えれば、オーバーラップ加算６９０は、また、ＬＰＣ合成の出力信号６８２またはデエンファシスの出力信号６８６がエラーコンシールメントオーディオ情報と考えることができるように、オーディオデコーダの全体のオーバーラップ加算によって置換することができる。
結論として、エラーコンシールメント６００は、エラーコンシールメント６００が、ＬＰＣ分析および／またはピッチ分析を実行する必要なしに、１つ以上の前に復号化されたオーディオフレームから過去の励振情報６１０と過去のピッチ情報６４０とを直接取得する点で、実質的にエラーコンシールメント５００と異なる。しかしながら、エラーコンシールメント６００は、オプションとして、ＬＰＣ分析および／またはピッチ分析（ピッチ探索）を備えることができることに留意すべきである。
以下に、エラーコンシールメント６００のいくつかの詳細が更に詳細に記述される。しかしながら、特定の詳細が本質的な構成でなく実施例と考える必要があることに留意すべきである。
５．６．１． ピッチ探索の過去のピッチ
新しい信号を造るために用いられるピッチを取得するために異なるアプローチがある。
ＡＡＣ−ＬＴＰのような、ＬＴＰフィルタを用いるコーデックの文脈において、最後のフレーム（ロストフレームに先行する）がＬＴＰによるＡＡＣであった場合は、最後のＬＴＰピッチ遅延および対応するゲインから来るピッチ情報を有する。このケースにおいて、ハーモニックパートを信号に組み込みたいか否かを決定するためにゲインを用いる。たとえば、ＬＴＰゲインが０．６より高い場合は、ハーモニックパートを造るためにＬＴＰ情報を用いる。
前のフレームから利用可能ないかなるピッチ情報も有しない場合は、たとえば、２つの他のソリューションがある。
１つのソリューションは、エンコーダでピッチ探索を行い、ビットストリームにおいてピッチ遅延およびゲインを伝送することである。これは、長期予測（ＬＴＰ）と類似しているが、いかなるフィルタリング（また、きれいなチャネルにおけるＬＴＰフィルタリング）も適用しない。
他のソリューションは、デコーダにおいてピッチ探索を実行することである。ＴＣＸのケースにおいて、ＡＭＲ−ＷＢピッチ探索はＦＦＴドメインにおいて行われる。たとえばＴＣＸにおいては、ＭＤＣＴドメインを用い、位相を失っている。それ故に、ピッチ探索は、好ましい実施形態において、励振ドメインにおいて（たとえば、ＬＰＣ合成に対する入力として用いられる、またはＬＰＣ合成に対する入力を導き出すために用いられる、時間ドメイン励振信号に基づいて）直接行われる。これは、通常は合成ドメインにおいて（たとえば、完全に復号化された時間ドメインオーディオ信号に基づいて）ピッチ探索を行うことより良好な結果を与える。
励振ドメインにおける（たとえば、時間ドメイン励振信号に基づく）ピッチ探索は、正規化相互相関によって最初にオープンループによって行われる。次に、オプションとして、ピッチ探索は、特定のデルタによって、オープンループピッチの周辺でクローズドループ探索を行うことによってリファインすることができる。
好ましい実施態様においては、単に相関の１つの最高値を考慮しない。ノンエラーの傾向がある前のフレームからのピッチ情報を有する場合、正規化相互相関ドメインにおいて最も高い５つの値の１つに対応するが、前のフレームピッチに最も近いピッチを選択する。次に、また、見つかった最大がウィンドウ制限による間違った最大でないことが検証される。
結論として、ピッチを決定する異なるコンセプトがあり、過去のピッチ（すなわち、前に復号化されたオーディオフレームに関連するピッチ）を考慮することが演算的に効率的である。代替として、ピッチ情報は、オーディオエンコーダからオーディオデコーダに伝送することができる。他の代替として、ピッチ探索は、オーディオデコーダの側で実行することができ、ピッチの決定は、好ましくは、時間ドメイン励振信号に基づいて（すなわち、励振ドメインにおいて）実行される。特に信頼性が高く正確なピッチ情報を得るために、オープンループ探索とクローズドループ探索とを備える２段階のピッチ探索を実行することができる。代替としてまたは加えて、前に復号化されたオーディオフレームからのピッチ情報は、ピッチ探索が信頼性の高い結果を提供することを確実にするために用いることができる。
５．６．２． 励振の外挿またはハーモニックパートの構築
前のフレームから取得された（ロストフレームに対してちょうど演算されたかまたは多重のフレームロスに対して前のロストフレームにおいて既に保存されたかのいずれかの）励振（たとえば、時間ドメイン励振信号の形の）は、たとえば、１つ半の（ロスト）フレームを得るために必要に応じて何度でも、最後のピッチサイクル（たとえば、その時間的な継続期間がピッチの周期の継続期間に等しい、時間ドメイン励振信号６１０の部分）を複製することによって、励振（たとえば外挿された時間ドメイン励振信号６６２）にハーモニックパートを組み込むために用いられる。
更により良好な結果を得るために、技術水準から公知のいくつかのツールを再利用し、それらを適応させることがオプションとして可能である。参考文献は、たとえば、参考文献［４］および／または参考文献［５］が参照される。
ボイス信号におけるピッチは、ほとんどいつでも変化していることが分かっている。それ故に、上述されたコンシールメントは、コンシールされた信号の終わりにおけるピッチがしばしば最初の良好なフレームのピッチにマッチしないので、リカバリーにおいていくつかの問題を発生させる傾向があることが分かっている。それ故に、オプションとして、コンシールされたフレームの終わりにおけるピッチをリカバリーフレームの始めにおけるピッチにマッチさせるために予測することが試みられる。この機能は、たとえば、外挿６５０によって実行される。
ＴＣＸにおいてＬＴＰが用いられる場合、遅延は、ピッチに関する開始情報として用いることができる。しかしながら、より良好にピッチ輪郭を追跡することができるより良好なデータの塊を有することが望ましい。それ故に、ピッチ探索は、オプションとして最後の良好なフレームの終わりにおいて行われる。信号を動くピッチに適応させるために、技術水準に存在するパルス再同期を用いることができる。
結論として、外挿（たとえば、ロストフレームに先行する最後の適切に復号化されたまたはそれに基づいて取得された時間ドメイン励振信号の）は、前のオーディオフレームに関連する前記時間ドメイン励振信号の時間部分の複製を備えることができ、複製された時間部分は、ロストオーディオフレームの間の（予想される）ピッチ変化の演算または推定に依存して修正することができる。ピッチ変化の決定に対しては、異なるコンセプトも利用可能である。
５．６．３． ピッチのゲイン
図６に係る実施形態において、ゲインは、所望のレベルに到達するため、前に取得された励振に適用される。ピッチのゲインは、たとえば、最後の良好なフレームの終わりにおいて時間ドメインで正規化相関を行うことによって取得される。たとえば、相関の長さは２つのサブフレーム長に等しくすることができ、遅延は、ハーモニックパートの生成に対して（たとえば、時間ドメイン励振信号の複製に対して）用いられるピッチ遅延に等しくすることができる。時間ドメインにおいてゲイン計算を行うことは、励振ドメインにおいてそれを行うことより非常に信頼性の高いゲインを与えることが分かっている。ＬＰＣはフレームごとに変化し、前のフレーム上で計算された他のＬＰＣセットによって処理される励振信号上のゲインは、時間ドメインにおいて期待されるエネルギーを与えない。
ピッチのゲインは、生成される純音性の量を決定するが、人工的な音のみを有さないようにいくつかの成形されたノイズも加えられる。非常に低いゲインのピッチが取得された場合は、成形されたノイズのみからなる信号を造ることができる。
結論として、前のフレームに基づいて取得された時間ドメイン励振信号（または前に復号化されたフレームに対して取得されたまたは前に復号化されたフレームに関連する時間ドメイン励振信号）をスケーリングするために適用されるゲインは、それによりＬＰＣ合成６８０の入力信号内で、そして結果的にエラーコンシールメントオーディオ情報内で、音の（または決定的である、または少なくともほぼ周期的な）成分の重みを決定するように調整される。前記ゲインは、前に復号化されたフレームの復号化によって取得された時間ドメインオーディオ信号に適用される、相関に基づいて決定することができる（ここで、前記時間ドメインオーディオ信号は、復号化の過程において実行されるＬＰＣ合成を用いて取得することができる）。
５．６．４． ノイズパートの生成
ランダムノイズ発生器６６０によって、イノベーションが構築される。このノイズは、更にハイパスフィルタリングされ、有声のおよび立上りのフレームに対してオプションとしてプリエンファサイズされる。有声のおよび立上りのフレームに対して選択的に実行することができる、ハイパスフィルタリングおよびプリエンファシスは、図６において明示的には示されていないが、たとえば、ノイズ発生器６６０内でまたはコンバイナ／フェーダ６７０内で実行することができる。
ノイズは、できる限りバックグラウンドノイズに近くなるように、ＬＰＣによって（たとえば、外挿６５０によって取得された時間ドメイン励振信号６５２との結合の後で）成形される。
たとえば、イノベーションゲインは、前に計算されたピッチ（それが存在する場合）の貢献度を除去し、最後の良好なフレームの終わりにおいて相関を行うことによって計算することができる。相関の長さは、２つのサブフレーム長に等しくすることができ、遅延は、ハーモニックパートの生成に対して用いられるピッチ遅延に等しくすることができる。
オプションとして、このゲインは、また、ピッチのゲインが１でない場合に、ノイズ上に同程度のゲインを適用し、エネルギー喪失に到達するために、（１−ピッチのゲイン）によって逓倍することができる。オプションとして、このゲインは、ノイズのファクタによっても逓倍される。ノイズのこのファクタは、前の有効なフレームから来ることができる。
結論として、エラーコンシールメントオーディオ情報のノイズ成分は、ＬＰＣ合成６８０（そして、おそらくは、デエンファシス６８４）を用いてノイズ発生器６６０によって提供される成形されたノイズによって取得される。加えて、付加的なハイパスフィルタリングおよび／またはプリエンファシスを適用することができる。ＬＰＣ合成６８０の入力信号６７２に対するノイズ貢献度のゲイン（「イノベーションゲイン」としても示される）は、ロストオーディオフレームに先行する最後の適切に復号化されたオーディオフレームに基づいて演算することができ、決定的な（または少なくともほぼ周期的な）成分は、ロストオーディオフレームに先行するオーディオフレームから除去することができ、相関は、次にロストオーディオフレームに先行するオーディオフレームの復号化された時間ドメイン信号内で、ノイズ成分の強度（またはゲイン）を決定するために実行することができる。
オプションとして、いくつかの付加的な修正をノイズ成分のゲインに適用することができる。
５．６．５． フェードアウト
フェードアウトは、大抵は多重のフレームロスに対して用いられる。しかしながら、フェードアウトは、単一のオーディオフレームのみが失われたケースにおいても用いることができる。
多重のフレームロスのケースにおいては、ＬＰＣパラメータは再計算されない。最後に計算されたものが保持されるかまたはＬＰＣコンシールメントが前述されたように実行されるかのいずれかである。
信号の周期性は、ゼロに収束される。収束の速度は、最後の正しく受信された（または適切に復号化された）フレームのパラメータと連続する消去された（または失われた）フレームの数とに依存しており、減衰率αによって制御される。ファクタαは、ＬＰフィルタの安定性に更に依存している。オプションとして、ファクタαは、ピッチ長による比率において変えることができる。たとえば、ピッチが実際に長い場合には、αはノーマルに保持することができるが、ピッチが実際に短い場合には、過去の励振の同じパートを何度も複製することが望ましい（または必要である）。これは、すぐに非常に人工的に聞こえることが分かっているので、それ故にこの信号はより速くフェードアウトされる。
さらにオプションとして、ピッチ予測出力を考慮することが可能である。ピッチが予測される場合、ピッチが前のフレームにおいて既に変化し、より多くフレームが失われるとより真実から離れることを意味する。それ故に、このケースにおいて、音のパートのフェードアウトを少しスピードアップすることが望ましい。
ピッチがあまり多く変化しているという理由でピッチ予測が失敗する場合、これはピッチ値が、実際に信頼性が高くないかまたは信号が実際に予測不可能であるかのいずれかを意味する。それ故に、再びフェードアウトをより速くする必要がある。
結論として、ＬＰＣ合成６８０の入力信号６７２に対する外挿された時間ドメイン励振信号６５２の貢献度は、通常は時間とともに低減される。これは、たとえば、外挿された時間ドメイン励振信号６５２に適用されるゲイン値を時間とともに低減することによって達成することができる。ロストオーディオフレームに先行する１つ以上のオーディオフレームに基づいて取得された時間ドメイン励振信号５５２（またはその１つ以上の複製）をスケーリングするために適用されるゲインを徐々に低減する速度は、１つ以上のオーディオフレームの１つ以上のパラメータに依存して（および／または連続するロストオーディオフレームの数に依存して）調整される。特に、時間とともにピッチが変化するピッチ長および／またはレート、および／または、ピッチ予測が失敗するかまたは成功するかどうかの問題は、速度を調整するために用いることができる。
５．６．６ ＬＰＣ合成
時間ドメインに戻って、ＬＰＣ合成６８０は、デエンファシス６８４によって追従される２つの励振（音のパート６５２およびノイズが多いパート６６２）の合計（または一般に、重み付け結合）上で実行される。
言い換えれば、外挿された時間ドメイン励振信号６５２とノイズ信号６６２との重み付け結合（フェーディング）の結果は、結合された時間ドメイン励振信号を形成し、たとえば、合成フィルタを記述するＬＰＣ係数に依存して、結合された時間ドメイン励振信号６７２に基づいて合成フィルタリングを実行することができる、ＬＰＣ合成６８０に入力される。
５．６．７ オーバーラップ加算
次のフレームのモードに何が来るか（たとえばＡＣＥＬＰ、ＴＣＸまたはＦＤ）はコンシールメントの間知られていないので、前もって異なるオーバーラップを準備することが好ましい。次のフレームが変換ドメイン（ＴＣＸまたはＦＤ）にある場合に最高のオーバーラップ加算を得るために、人工的な信号（たとえばエラーコンシールメントオーディオ情報）は、たとえば、コンシールされた（失われた）フレームを超える半フレームに対して生成することができる。さらに、人工的なエイリアシングをその上に生成することができる（人工的なエイリアシングは、たとえば、ＭＤＣＴオーバーラップ加算に適応させることができる）。
良好なオーバーラップ加算と時間ドメイン（ＡＣＥＬＰ）における将来のフレームによる不連続性がないことを得るために、長いオーバーラップ加算ウィンドウを適用することができるように上述したように行うが、エイリアシングはなしに行い、またはスクウェアウィンドウを用いたい場合は、ゼロ入力レスポンス（ＺＩＲ）が合成バッファの終わりにおいて計算される。
結論として、スイッチングオーディオデコーダ（それは、たとえば、ＡＣＥＬＰ復号化とＴＣＸ復号化と周波数ドメイン復号化（ＦＤ復号化）との間でスイッチすることができる）において、オーバーラップ加算は、ロストオーディオフレームに対して主に提供されるがロストオーディオフレームに引き続く特定の時間部分に対しても提供されるエラーコンシールメントオーディオ情報と、１つ以上のロストオーディオフレームに引き続く最初の適切に復号化されたオーディオフレームに対して提供される復号化されたオーディオ情報との間で、実行することができる。次のオーディオフレーム間の遷移において時間ドメインエイリアシングをもたらす復号化モードに対してさえも適当なオーバーラップ加算を取得するために、エイリアシングキャンセル情報（たとえば、人工的なエイリアシングとして示される）を提供することができる。したがって、エラーコンシールメントオーディオ情報と、ロストオーディオフレームに引き続く最初の適切に復号化されたオーディオフレームに基づいて取得された時間ドメインオーディオ情報との間のオーバーラップ加算は、エイリアシングのキャンセルに結果としてなる。
１つ以上のロストオーディオフレームのシーケンスに引き続く最初の適切に復号化されたオーディオフレームがＡＣＥＬＰモードにおいて符号化される場合は、ＬＰＣフィルタのゼロ入力レスポンス（ＺＩＲ）に基づくことができる、特定のオーバーラップ情報を計算することができる。
結論として、エラーコンシールメント６００は、スイッチングオーディオコーデックにおける使用によく適合する。しかしながら、エラーコンシールメント６００は、また、単にＴＣＸモードにおいて符号化されたオーディオコンテンツを復号化するオーディオコーデックにおいてまたはＡＣＥＬＰモードにおいて用いることができる。
５．６．８ 結論
特に良好なエラーコンシールメントは、時間ドメイン励振信号を外挿し、外挿の結果を、フェーディング（たとえばクロスフェーディング）を用いてノイズ信号と結合し、クロスフェーディングの結果に基づいてＬＰＣ合成を実行する上述されたコンセプトによって達成されることに留意すべきである。
５．７ 図７に係る周波数ドメインコンシールメント
周波数ドメインコンシールメントは図７に表現される。ステップ７０１で、最新のオーディオ情報が適切に復号化されたフレームを含む場合、決定される（例えば、ＣＲＣまたは類似する戦略に基づく）。決定の結果が肯定である場合、適切に復号化されたスペクトル値は適切なオーディオ情報として、７０２で使用される。スペクトルは、さらに使用されるためにバッファ７０３で記録される（例えば、将来不適切に復号化されたフレームについて、コンシールメントするために）。
決定の結果が否定である場合、７０４で、前に適切に復号化されたオーディオフレーム（前のサイクルにおいてステップ７０３でバッファに保存された）の前の記録されたスペクトル表現７０５が、破損された（または廃棄された）オーディオフレームの代わりに使用される。
特に、複製とスケーラ７０７は、破損されたオーディオフレームの代わりに使用される周波数ビン（またはスペクトルビン）の値を得るために、前の適切に復号化されたオーディオフレームの前に記録された適切なスペクトル表現７０５の周波数範囲７０５ａ、７０５ｂ、．．．における周波数ビン（またはスペクトルビン）のスペクトル値を複製またはスケーリングする。
それぞれのスペクトル値は、バンドによって運搬される特定の情報に係るそれぞれの係数によって増加するだろう。さらに、０と１の間の減衰係数７０８は、連続したコンシールメントのケースにおいて、信号強度を繰り返し減少するために信号を減衰するように用いることができる。また、ノイズはスペクトル値７０６で付加的に追加されるだろう。
５．８．ａ）図８ａに係るコンシールメント
図８ａは、本発明の実施の形態に係るエラーコンシールメントの概略的なブロック図である。図８ａに係るエラーコンシールメントユニットは、８００として全体を指定され、上述のエラーコンシールメントユニット１００、２３０、３８０のいずれかを具体化することができる。エラーコンシールメントユニット８００は、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報８０２（上述の実施の形態の情報１０２、２３２、または３８２を具体化することができる）を提供する。
エラーコンシールメントユニット８００は、スペクトル８０３（例えば、最後の適切に復号化されたオーディオフレームのスペクトル、または、より一般的には、前に適切に復号化されたオーディオフレームスペクトル、または、そのフィルタ処理されたバージョン）およびフレーム（例えば、オーディオフレームの最後または前の適切に復号化された時間ドメイン表現、または、最後または前のｐｃｍバッファ値）の時間ドメイン表現８０４によって入力されるだろう。
エラーコンシールメントユニット８００は、第１の周波数範囲で（またはその範囲内で）動作することができる第１の部分または経路（適切に復号化されたオーディオフレームのスペクトル８０３によって入力される）と、第２の周波数範囲で（またはその範囲内で）動作することができる第２の部分または経路（適切に復号化されたオーディオフレームの時間ドメイン表現８０４によって入力される）とを備える。第１の周波数範囲は、第２の周波数範囲の周波数よりも高い周波数を備えるだろう。
図１４は、第１の周波数範囲１４０１の例と第２の周波数範囲１４０２の例とを示す。
周波数ドメインコンシールメント８０５は、第１の部分または経路に（第１の周波数範囲に）適用することができる。例えば、ＡＡＣ−ＥＬＤ内のノイズ置換を使用することができる。逆修正離散コサイン変換（ＩＭＤＣＴ）は、時間ドメインに戻すために適用される前に、このメカニズムは、最後の良好なフレームの複製されたスペクトルを使用して、ノイズを追加する。コンシールメントされたスペクトルは、ＩＭＤＣＴを経て時間ドメインに変換されるだろう。
エラーコンシールメントユニット８００によって提供されるエラーコンシールメントオーディオ情報８０２は、第１の部分によって提供される第１のエラーコンシールメントオーディオ情報成分８０７´と、第２の部分によって提供される第２のエラーコンシールメントオーディオ情報成分８１１´との組み合わせとして得られる。いくつかの実施の形態において、第１の成分８０７´は、ロストオーディオフレームの高周波数部分を表すものとして意図することができ、一方で、第２の成分８１１´はロストオーディオフレームの低周波数部分を表すものとして意図することができる。
エラーコンシールメントユニット８００の第１の部分は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの高周波数部分の変換ドメイン表現を用いて第１の成分８０７´を導き出すように使用することができる。第２の部分は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの低周波数部分に基づいて時間ドメイン信号合成を用いて第２の成分８１１´を導き出すように使用することができる。
好ましくは、エラーコンシールメントユニット８００の第１の部分および第２の部分は、お互いに並列（および／または、同時に、または、ある程度同時に）に動作する。
第１の部分において、周波数ドメインエラーコンシールメント８０５は、第１のエラーコンシールメントオーディオ情報８０５´（スペクトルドメイン表現）を提供する。
第１のエラーコンシールメントオーディオ情報に基づいて時間ドメイン表現８０６´を得るために、逆修正離散コサイン変換（ＩＭＤＣＴ）８０６は周波数ドメインエラーコンシールメント８０５によって得られるスペクトルドメイン表現８０５´の時間ドメイン表現８０６´を提供するように使用されるだろう。
以下で説明するように、ＩＭＤＣＴ（８０６）を２回実行して、時間ドメインにおいて２つの連続するフレームを得るように構成することができる。
第１の部分または経路において、ハイパスフィルタ８０７は、第１のエラーコンシールメントオーディオ情報８０５´の時間ドメイン表現８０６´をフィルタ処理し、高周波数でフィルタ処理されたバージョン８０７´を提供するように使用されるだろう。特に、ハイパスフィルタ８０７は、周波数ドメインコンシールメント８０５（例えばＩＭＤＣＴ８０５の前後）の下流側に位置するだろう。他の実施の形態では、ハイパスフィルタ８０７（または、いくつかの低周波スペクトルビンを「カットオフ」できる任意のハイパスフィルタ）は、周波数ドメインコンシールメント８０５の前に位置するだろう。
ハイパスフィルタ８０７は、例えば、６ＫＨｚと１０ＫＨｚとの間、好ましくは７ＫＨｚと９ＫＨｚとの間、より好ましくは７．５ＫＨｚと８．５ＫＨｚとの間、さらに好ましくは７．９ＫＨｚと８．１ＫＨｚとの間、さらに好ましくは８ＫＨｚのカットオフ周波数に合わせられるだろう。
いくつかの実施の形態によると、ハイパスフィルタ８０７の低周波数境界を信号適応的に調節して、それによって、第１の周波数領域の帯域幅を変更することができる。
エラーコンシールメントユニット８００の第２の部分（第１の周波数領域の周波数よりも少なくとも部分的により低い周波数で動作するように構成される）において、時間ドメインコンシールメント８０９は、第２のエラーコンシールメント情報８０９´を提供する。
第２の部分において、時間ドメインコンシールメント８０９の上流であるダウンサンプル８０８は、適切に復号化されたオーディオフレームの時間ドメイン表現８０４のダウンサンプルされたバージョン８０８´を提供する。ダウンサンプル８０８は、ロストオーディオフレームに先行するオーディオフレーム８０４のダウンサンプルされた時間ドメイン表現８０８´を得ることを許す。このダウンサンプルされた時間ドメイン表現８０８´は、オーディオフレーム８０４の低周波数部分を表す。
第２の部分において、時間ドメインコンシールメント８０９の下流側であるアップサンプル８１０は、第２のエラーコンシールメントオーディオ情報８０９´のアップサンプルされたバージョン８１０´を提供する。その結果、第２のエラーコンシールメントオーディオ情報成分８１１´を得るために、時間ドメインコンシールメント８０９、または、その後処理されたバージョンによって提供される。
それゆえに、時間ドメインコンシールメント８０９は、好ましくは、適切に復号化されたオーディオフレーム８０４を完全に表すのに必要なサンプリング周波数よりも小さいサンプリング周波数を用いて実行される。
実施の形態によると、ダウンサンプルされた時間ドメイン表現８０８´のサンプリング率を信号適応的に調節し、それによって第２の周波数領域の帯域幅を変更することができる。
第２のエラーコンシールメントオーディオ情報成分８１１´を得るために、ローパスフィルタ８１１は、時間ドメインコンシールメント（またはアップサンプル８１０の出力信号８１０´）の出力信号８０９´をフィルタ処理するように提供される。
本発明によると、第１のエラーコンシールメントオーディオ情報成分（ハイパスフィルタ８０７によって出力されるように、または、ＩＭＤＣＴもしくは周波数ドメインコンシールメント８０５による他の実施の形態において）および第２のエラーコンシールメントオーディオ情報成分（ローパスフィルタ８１１によって出力されるように、または、アップサンプルもしくは時間ドメインコンシールメント８０９による他の実施の形態において）とが、オーバーラップ加算（ＯＬＡ）メカニズム８１２を用いて、お互いに構成される（組み合わされる）。
したがって、エラーコンシールメントオーディオ情報８０２（上述の実施の形態の情報１０２、２３２、または３８２を具体化することができる）は得られる。
５．８．ｂ）図８ｂに係るコンシールメント
図８ｂはエラーコンシールメントユニット８００（図８ａの実施の形態のすべての特徴は、現在の変形に適用でき、それゆえに、その特性は繰り返さない）についての変形例８００ｂを示す。制御（たとえば、制御装置）８１３は、第１および／または第２の周波数範囲の決定および／または信号適応的に変更するように提供される。
制御８１３は、最後のスペクトル８０３および最後のｐｃｍバッファされた値８０４のように、１つ以上の符号化されたオーディオフレームの特徴と１つ以上の適切に復号化されたオーディオフレームの特徴との間で選択された特徴に基づくことができる。また、制御８１３はこれらの入力の集合データ（積分値、平均値、統計値など）に基づくことができる。
いくつかの実施の形態において、選択８１４（たとえば、キーボード、グラフィカルユーザインタフェース、マウス、レバーのような割り当てられた入力手段によって得られる）は提供されるだろう。選択は、ユーザによって、または、プロセッサ上で動作するコンピュータプログラムによって、入力されるだろう。
制御８１３は、ダウンサンプラー８０８、および／またはアップサンプル８１０、および／またはローパスフィルタ８１１、および／またはハイパスフィルタ８０７を（備える）制御することができる。いくつかの実施の形態において、制御８１３は、第１の周波数範囲と第２の周波数範囲との間のカットオフ周波数を制御する。
いくつかの実施の形態において、制御８１３は、１つ以上の適切に復号化されたオーディオフレームの調和についての情報を得て、調和に関する情報に基づいて周波数の制御を実行することができる。代わりにまたはさらに、制御８１３は、１つ以上の適切に復号化されたオーディオフレームのスペクトルチルトについての情報を得て、スペクトルチルトについての情報に基づいて制御を実行することができる。
いくつかの実施の形態において、制御８１３は、第２の周波数範囲における調和を比べた時、第１の周波数範囲における調和が比較的小さくなるように、第１の周波数範囲および第２の周波数範囲を選択することができる。
ロストオーディオフレームに先行する適切に復号化されたオーディオフレームが、調和の閾値よりもより強い調和を備える周波数の上限を決定するように本発明は具体化することができ、それに依存して、第１の周波数範囲および第２の周波数範囲を選択する。
いくつかの実装において、制御８１３は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトがより小さいスペクトルチルトからより大きいスペクトルチルトに変化する周波数境界を決定または推定し、それに依存して、第１の周波数範囲および第２の周波数範囲を選択する。
いくつかの実施の形態において、制御８１３は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトの変動が、所定の周波数範囲にわたって予め決定されたスペクトルチルトの閾値よりも小さいかどうかを決定または推定する。エラーコンシールメントオーディオ情報８０２は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルチルトの変動が予め定められたスペクトルチルトの閾値よりも小さいことがわかった場合にのみ、時間ドメインコンシールメント８０９を用いて得られる。
いくつかの実施の形態によると、制御８１３は、第１の周波数範囲がノイズ状のスペクトル構造を備えるスペクトル領域をカバーし、第２の周波数範囲が高調波スペクトル構造を備えるスペクトル領域をカバーするように、第１の周波数範囲および第２の周波数範囲を調整することができる。
いくつかの実施の形態において、制御８１３は、調和とノイズとの間のエネルギー関係に依存して、第１の周波数範囲の低周波数端および／または第２の周波数範囲の高周波数端を調節することができる。
本発明のいくつかの好ましい態様によると、制御８１３は、時間ドメインコンシールメント８０９および周波数ドメインコンシールメント８０５の少なくとも１つを選択的に抑制する、および／または、エラーコンシールメントオーディオ情報を得るために、時間ドメインコンシールメント８０９だけ、または、周波数ドメインコンシールメント８０５だけを実行する。
いくつかの実施の形態において、制御８１３は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの調和が予め決定された調和の閾値よりも小さいかどうかを決定または推定する。エラーコンシールメントオーディオ情報は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの調和が予め決定された調和の閾値よりも小さいことがわかった場合にのみ、周波数ドメインコンシールメント８０５を用いて得ることができる。
いくつかの実施の形態において、制御８１３は、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのピッチに基づいて、および／または、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームにおけるピッチの経時的推移に依存して、および／またはロストオーディオフレームに先行する適切に復号化されたオーディオフレームとロストオーディオフレームの後に続く適切に復号化されたオーディオフレームとの間のピッチの補間に依存して、コンシールメントされたフレームのピッチを適合する。
いくつかの実施の形態において、制御８１３は、エンコーダによって送信されるデータ（たとえば、クロスオーバー周波数またはそれに関連するデータ）を受信する。それに基づいて、制御８１３は、第１および第２の周波数範囲に適用するための他のブロック（たとえば、ブロック８０７、８０８、８１０、８１１）のパラメータをエンコーダによって送信された値に修正することができる。
５．９． 図９に係る方法
図９は、符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報（たとえば、前の例において１０２、２３２、３８２、および８０２で示される）を提供するためのエラーコンシールメント方法のフローチャートを示す。方法は、
−９１０で、第１の周波数範囲ための第１のエラーコンシールメントオーディオ情報成分（たとえば、１０３または８０７´）を周波数ドメインコンシールメント（たとえば、１０５または８０５）を用いて提供するステップと、
−９２０（ステップ９１０と同時またはほとんど同時に実行することができる、または、ステップ９１０と並列にすることを意図することができる）で、第１の周波数範囲よりも（少なくともいくらか）低い周波数を備える第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分（たとえば、１０４または８１１´）を時間ドメインコンシールメント（たとえば、１０６、５００、６００、または８０９）を用いて提供するステップと、
−９３０で、第１のエラーコンシールメントオーディオ情報成分と、第２のエラーコンシールメントオーディオ情報成分とを結合して、エラーコンシールメントオーディオ情報（たとえば、１０２、２３２、３８２、または８０２）を得るステップと、
を備える。
５．１０． 図１０に係る方法
図１０は、図８の制御８１３または類似する制御が第１および／または第２の周波数範囲を決定および／または信号適応的に変更するために使用される図９の変更のフローチャート１０００を示す。図９の方法に関連して、この変更は、たとえば、ユーザ選択８１４に基づいてまたは閾値を有する値（たとえば、チルト値または調和値）の比較に基づいて、第１および第２の周波数範囲が決定されるステップ９０５を備える。
特に、ステップ９０５は、制御８１３の操作モードを考慮することによって実行することができる。たとえば、データが、特定のデータフィールドにおいてエンコーダから送信されることを可能にする。ステップ９１０および９２０で、第１および第２の周波数範囲は、エンコーダによって（少なくとも部分的に）制御される。
５．１１． 図１９に係るエンコーダ
図１９は、いくつかの実施の形態による本発明の実装に用いられる可能性があるオーディオエンコーダ１９００を示す。
オーディオエンコーダ１９００は、入力オーディオ情報１９０２に基づく符号化された情報１９０４を提供する。
一実施の形態において、オーディオエンコーダ１９００は、入力オーディオ情報１９０２に基づいて符号化された周波数ドメイン表現１９０８を提供するように構成される周波数ドメインエンコーダ１９０６を備えることができる。符号化された周波数ドメイン表現１９０８は、符号化されたスペクトル値１９１０とスケールファクタ１９１２を備えることができ、情報４２２に対応することができる。符号化された周波数ドメイン表現１９０８は、符号化されたオーディオ情報２１０、３１０、４１０（またはその一部）を、実装することができる。
一実施の形態において、オーディオエンコーダ１９００は、入力オーディオ情報１９０２に基づいて、符号化された線形予測ドメイン表現１９２２を提供するように構成される線形予測ドメインエンコーダ１９２０（周波数ドメインエンコーダの代わりとして、または、周波数ドメインの置換として）を備えることができる。符号化された線形予測ドメイン表現１９２２は、励振４２６と符号化された線形予測係数４２８に対応するかもしれない励振１９２４と線形予測１９２６とを含むことができる。符号化された線形予測ドメイン表現１９２２は、符号化されたオーディオ情報２１０、３１０、４１０（またはその一部）を実装することができる。
オーディオエンコーダ１９００は、クロスオーバー周波数情報１９３２を決定するように構成されるクロスオーバー周波数決定器１９３０を備えることができる。クロスオーバー周波数情報１９３２は、クロスオーバー周波数を定義することができる。クロスオーバー周波数は、オーディオデコーダ（たとえば、１００、２００、３００、４００、８００ｂ）を使用するために、時間ドメインエラーコンシールメント（たとえば、１０６、８０９、９２０）と周波数ドメインエラーコンシールメント（たとえば、１０５、８０５、９１０）との間を判別することができる。
オーディオエンコーダ１９００は、符号化された周波数ドメイン表現１９０８、および／または、符号化された線形予測ドメイン表現１９２２、およびクロスオーバー周波数情報１９３０を符号化されたオーディオ表現１９０４に含めるように構成することができる。
オーディオデコーダ側で評価されるとき、クロスオーバー周波数情報１９３０は、エラーコンシールメントユニット８００ｂのようにエラーコンシールメントの制御８１３の命令および／または指示を提供する役割を有することができる。
制御８１３の特徴を繰り返さずに、クロスオーバー周波数情報１９３０が制御８１３について記載された同じ機能を有することができることを単に述べるだけである。言い換えると、クロスオーバー周波数情報は、クロスオーバー周波数を決定する。すなわち、線形予測ドメインコンシールメントと周波数ドメインコンシールメントとの間の周波数境界である。したがって、クロスオーバー周波数情報を受信して使用するときに、制御８１３は、単純化しうる。この場合、制御は、クロスオーバー周波数を決定する責任はもはやないので、制御８１３はより強く単純化される。むしろ、オーディオデコーダによって符号化されたオーディオ表現から抽出されたクロスオーバー周波数情報に依存して、制御は、フィルタ８０７、８１１を調節する必要があるだけかもしれない。
いくつかの実施の形態において、制御は、２つの異なる（離れた）ユニット、すなわち、クロスオーバー周波数情報１９３０を決定するエンコーダ側のクロスオーバー周波数決定器であって、クロスオーバー周波数を順番に決定するクロスオーバー周波数決定器と、クロスオーバー周波数情報を受信するデコーダ側の制御装置８１３とに、さらに分割されるように理解され、それに基づくデコーダエラーコンシールメントユニット８００ｂの成分を適切に設定することによって動作する。たとえば、制御装置８１３は、ダウンサンプラー８０８、および／またはアップサンプラー８１０、および／またはローパスフィルタ８１１、および／またはハイパスフィルタ８０７を（提供して）制御することができる。
このように、一実施の形態において、システムは以下を形成する。
−第１の周波数範囲と第２の周波数範囲（たとえば、本明細書に記載するようなクロスオーバー周波数情報）に関連付けられた情報１９３２を備える符号化されたオーディオ情報を送信することができるオーディオエンコーダ１９００。
−オーディオエンコーダは以下を備える。
○エラーコンシールメントユニット８００ｂは以下を備える。
・周波数ドメインコンシールメントを用いて第１の周波数範囲について、第１のエラーコンシールメントオーディオ情報成分８０７´と、
・時間ドメインコンシールメント８０９を用いて第１の周波数範囲よりも低い周波数を備える第２の周波数範囲について、第２のエラーコンシールメントオーディオ情報成分８１１´
○エラーコンシールメントユニットは、エンコーダ１９００によって送信された情報１９３２に基づいて制御（８１３）を実行するように構成される。
○エラーコンシールメントユニット８００ｂは、第１のエラーコンシールメントオーディオ情報成分８０７´と第２のエラーコンシールメントオーディオ情報成分８１１´とを結合し、エラーコンシールメントオーディオ情報８０２を得るように構成される。
実施の形態（たとえば、エンコーダ１９００および／またはコンシールメントユニット８００ｂを用いて実行できる）によると、本発明は、入力オーディオ情報（たとえば、１９０２）に基づいて符号化されたオーディオ表現（たとえば、１９０４）を提供するための方法２０００（図２０）を提供し、方法は以下を備える。
−入力オーディオ情報に基づいて符号化された周波数ドメイン表現（たとえば、１９０８）を提供する周波数ドメイン符号化ステップ２００２、および／または、入力オーディオ情報に基づいて符号化された線形予測ドメイン表現（たとえば、１９２２）を提供するための線形予測ドメイン符号化ステップ（たとえば、ブロック１９２０によって実行される）と、
−時間ドメインエラーコンシールメント（たとえば、ブロック８０９によって実行される）と周波数ドメインエラーコンシールメント（たとえば、ブロック８０５によって実行される）との間のクロスオーバー周波数をオーディオデコーダ側で使用されるように定義するクロスオーバー周波数情報（たとえば、１９３２）を決定するためのクロスオーバー周波数を決定するステップ２００４と、
を備え、
−符号化ステップは、符号化された周波数ドメイン表現および／または符号化された線形予測ドメイン表現、ならびにクロスオーバー周波数情報も符号化されたオーディオ表現に含むように構成される。
さらに、符号化されたオーディオ表現は（任意に）提供することができ、および／または、それに含まれるクロスオーバー周波数情報とともに、レシーバ（デコーダ）に送信することができ、情報を復号化でき、フレームロスの場合、コンシールメントを実行することができる。たとえば、デコーダのコンシールメントユニット（たとえば、８００ｂ）は、図１０の方法１０００のステップ９１０−９３０を実行でき、方法１０００のステップ９０５は方法２０００のステップ２００４によって実装される（または、ステップ９０５の機能がオーディオエンコーダ側で実行され、ステップ９０５は符号化されたオーディオ表現を含むクロスオーバー周波数情報を評価することによって置換される）。
また、本発明は符号化されたオーディオ表現（たとえば、１９０４）に関し、以下を備える。
−オーディオコンテンツを表す符号化された周波数ドメイン表現（たとえば、１９０８）、および／またはオーディオコンテンツを表す符号化された線形予測ドメイン表現（たとえば、１９２２）と、
時間ドメインエラーコンシールメントと周波数ドメインエラーコンシールメントとの間のクロスオーバー周波数をオーディオデコーダ側で使用されるように定義するクロスオーバー周波数情報（たとえば、１９３２）と、を備える。
５．１２ フェードアウト
上記の開示に加えて、エラーコンシールメントユニットは、コンシールメントされたフレームを弱めることができる。図１、８ａ、８ｂを参照すると、フェードアウトは、第１のエラーコンシールメント成分１０５または８０７´を減衰するために、ＦＤコンシールメント１０５または８０５（たとえば、図７の減衰係数７０８によって第１の周波数範囲７０５ａ、７０５ｂにおける周波数ビンのスケーリング値によって）で操作することができる。フェードアウトは、第２のエラーコンシールメント成分１０４または８１１´（結合器／減衰器５７０または上述のセクション５．５．６を参照）を減衰するために、適切な減衰係数によるスケーリング値によってＴＤコンシールメント８０９で操作することもできる。
さらにまたは代わりに、エラーコンシールメントオーディオ情報１０２または８０２をスケーリングすることも可能である。
６．本発明の操作
本発明の操作例は、ここで提供される。オーディオデコーダ（たとえば、オーディオデコーダ２００、３００または４００）において、いくつかのデータフレームは失われるかもしれない。したがって、エラーコンシールメントユニット（たとえば、１００、２３０、３８０、８００、８００ｂ）は、ロストデータフレームのそれぞれについて、前の適切に復号化されたオーディオフレームを用いてロストデータフレームをコンシールメントするために使用される。
エラーコンシールメントユニット（たとえば、１００、２３０，３８０、８００、８００ｂ）は以下を操作する。
−最初の部分または経路（たとえば、第１の周波数範囲で第１のエラーコンシールメントオーディオ情報成分８０７´を得るため）において、ロスト信号の周波数ドメイン高周波エラーコンシールメントは、前の適切に復号化されたオーディオフレームの周波数スペクトル表現（たとえば、８０３）を使用して実行され、
−並行におよび／または同時に（ほとんど同時に）、第２の部分または経路（たとえば、第２の周波数範囲で第２のエラーコンシールメントオーディオ情報成分を得るため）において、時間ドメインコンシールメントは、前の適切に復号化されたオーディオフレーム（たとえば、ｐｃｍバッファ値）の時間ドメイン表現（たとえば、８０４）に実行される。
カットオフ周波数ＦＳOUT／４（たとえば、ハイパスフィルタ８０７とローパスフィルタ８１１のために）は定義づけられる（たとえば、フィードバックのような方法で、制御８１３のような制御装置によって、事前決定、事前選択、制御される）。そのため、第１の周波数範囲のほとんどの周波数はＦＳOUT／４を越えており、第２の周波数範囲のほとんどの周波数はＦＳOUT／４よりも低い（主なサンプリング率）。ＦＳOUTは、たとえば４６ＫＨｚと５０ＫＨｚの間であり、好ましくは４７ＫＨｚと４９ＫＨｚの間であり、より好ましくは４８ＫＨｚの値に設定することができる。
ＦＳOUTは、１６ＫＨｚ（主なサンプリング率）よりも通常高い（たとえば４８ｋＨｚ）である（しかし、必須ではない）。
エラーコンシールメントユニット（たとえば、１００、２３０、３８０、８００、８００ｂ）の第２の（低周波数）部分において、次の操作を実行することができる。
−ダウンサンプル８０８において、適切に符号化されたオーディオフレームの時間ドメイン表現８０４が所望のコアサンプリング率（ここでは１６ｋＨｚ）にダウンサンプルされる。
−時間ドメインコンシールメントは、合成信号８０９´を提供するために、８０９で実行される。
−アップサンプル８１０において、合成信号８０９´が出力サンプル率（ＦＳOUT）で信号８１０´を提供するためにアップサンプルされる
−最後に、信号８１０´は、ローパスフィルタ８１１で、好ましくはコアサンプル率（たとえば、１６ＫＨｚ）の半分のカットオフ周波数（ここでは８ｋＨｚ）で、フィルタ処理される。
エラーコンシールメントユニットの第１の（高周波数）部分において、次の操作を実行することができる。
−周波数ドメインコンシールメント８０５は、（適切に復号化されたフレームの）入力スペクトルの高周波数部分をコンシールメントする。
−周波数ドメインコンシールメント８０５によって出力されるスペクトル８０５´は、合成信号８０６´として時間ドメイン（たとえば、ＩＭＤＣＴ８０６を介して）変換される。
−合成信号８０６´は、コアサンプル率（たとえば、１６ＫＨｚ）の半分のカットオフ周波数（ここでは８ｋＨｚ）を有するハイパスフィルタ８０７で好ましくはフィルタ処理される。
より高い周波数成分（たとえば、１０３または８０７´）をより低い周波数成分（たとえば、１０４または８１１´）と結合するために、オーバーラップ加算（ＯＬＡ）メカニズム（たとえば８１２）が時間ドメイン内で使用される。コーデックのようなＡＡＣについて、１つ以上のフレーム（一般に１つ半のフレーム）は、１つのコンシールメントされたフレームを更新しなければならない。これは、ＯＬＡの分析および合成方法が半フレーム遅延するからである。追加の半フレームが必要とされる。したがって、ＩＭＤＣＴ８０６は、時間ドメイン内で２つの連続したフレームを得るために２回呼び出される。コンシールメントされたフレーム１１０１とロストフレーム１１０２の間の関係を示す図１１のグラフィック１１００を参照することができる。最後に、低周波数および高周波数部分は合計され、ＯＬＡメカニズムは適用される。
特に、図８ｂに示す装置を使用して、または、図１０の方法を実装して、たとえば、前の適切に復号化されたオーディオフレームまたは数個のフレームの調和および／またはチルトに基づいて、第１および第２の周波数範囲の選択を実行すること、または、時間ドメイン（ＴＤ）および周波数ドメイン（ＦＤ）コンシールメントの間のクロスオーバー周波数を動的に適応することが可能である。
たとえば、背景ノイズがある女性の音声情報のケースにおいて、信号を５ｋｈｚにダウンサンプルすることができ、時間ドメインコンシールメントは信号の最も重要な部分について良好なコンシールメントを実行するだろう。ノイズ部分は、そのあと周波数ドメインコンシールメント方法で合成されるだろう。これは、修正されたクロスオーバー（または修正されたダウンサンプル係数）と比較して複雑性が減少し、煩わしい「ビープ」効果を除去するだろう（以下で説明するプロット参照）。
ピッチがすべてのフレームで周知である場合、任意の周波数ドメインの音調のコンシールメントと比較して時間ドメインコンシールメントの１つの主要な利点を利用することが可能である。過去のピッチ値に基づいて、コンシールメントされたフレーム内のピッチを変更することが可能である（遅延要求が許される場合、補間のために将来のフレームを使用することも可能である）。
図１２は、エラーフリー信号を有する図表１２００を示し、横軸に時間、縦軸に周波数を示す。
図１３は、時間ドメインコンシールメントをエラーが発生しやすい信号のすべての周波数帯に適用する図表１３００を示す。ＴＤコンシールメントによって集められた線は、エラーが発生しやすい信号のすべての周波数範囲上の人為的に生成された調和を示す。
図１４は、本発明の結果を図示する図表１４００を示す。すなわち、ノイズ（第１の周波数範囲１４０１において、ここでは２．５ＫＨｚ以上）は周波数ドメインコンシールメント（たとえば、１０５または８０５）でコンシールメントし、音声（第２の周波数範囲１４０２において、ここでは２．５ＫＨｚ以下）は時間ドメインコンシールメント（たとえば、１０６、５００、６００、または８０９）でコンシールメントする。図１３との比較は、ノイズ周波数範囲上で人為的に生成される調和は避けられるということを理解することができる。
調和のエネルギーチルトが周波数に対して一定である場合、全周波数のＴＤコンシールメントを実行し、信号が調和を含まない場合、全てまたは他の方法でＦＤコンシールメントが実行されないことは当然である。
図１５の図表１５００から見ることができるように、周波数ドメインコンシールメントは、位相の不連続性を生成する傾向があり、一方で、図１６の図表１６００から見ることができるように、完全な周波数範囲に適用される時間ドメインコンシールメントは、信号位相を維持し、人為的ではない完全な出力を生成する。
図１７の図表１７００は、エラーが発生しやすい信号のすべての周波数帯上のＦＤコンシールメントを示す。図１８の図表１８００は、エラーが発生しやすい信号のすべての周波数帯上のＴＤコンシールメントを示す。このケースにおいて、ＦＤコンシールメントは、信号特性を維持し、一方で、すべての周波数上でＴＤコンシールメントは、煩わしい「ビープ」アーチファクトを生成し、または、顕著なスペクトルにおいていくつかの大きな穴を生成するだろう。
特に、図８において示される装置を用いてまたは図１０の方法を実装して、図１５ないし図１８で示される操作の間をシフトすることができる。制御装置８１３のような制御装置は、信号が強い調和を有するとき、図１６（ＴＤコンシールメントのみ）に示された操作に到着するための、たとえば信号（エネルギー、チルト、調和など）を分析することによる決定を操作することができる。同様に、制御８１３も、ノイズが優勢であるとき、図１７に示す操作に到着するための決定を操作することができる。
６．１． 実験結果に基づく結論
ＡＡＣ［１］オーディオコーデックにおける従来のコンシールメント技術は、ノイズ置換である。周波数ドメインで働き、ノイズや音楽のアイテムによく適している。音声セグメントに対して、ノイズ置換は、時間ドメインにおいて煩わしい人為的なクリックに終わる位相不連続性をよく生成する。それゆえに、ＡＣＥＬＰのような時間ドメインアプローチは、音声セグメント（［２］、［３］においてＴＤ−ＴＣＸ ＰＬＣのように）にとって使用でき、分類子によって決定される。
時間ドメインコンシールメントが有する１つの問題は、すべての周波数範囲で人工的に生成された調和である。低周波数において、信号が強い調和のみを有する場合、音声アイテムに対して、これはいつも４ｋＨｚ周辺であり、背景ノイズから成る高周波数によって、ナイキストまで生成された調和は煩わしい「ビープ」アーチファクトを生成するだろう。時間ドメインアプローチの他の欠点は、ノイズ置換を有するエラーのない復号やコンシールメントと比較して高いコンピュータの複雑性である。
コンピュータの複雑性を減少するために、請求されたアプローチは、以下の両方の方法の組み合わせを使用する。
低周波数部分の時間ドメインコンシールメント方法であって、音声信号が最も高い印象を有する時間ドメインコンシールメント方法と、
高周波数部分の周波数ドメインコンシールメント方法であって、音声信号がノイズ特性を有する周波数ドメインコンシールメント方法と、を使用する。
６．１．１ 低周波数部分（コア）
第１の最後のｐｃｍバッファは所望のコアサンプリング率（ここでは１６ｋＨｚ）にダウンサンプルされる。
時間ドメインコンシールメントアルゴリズムは、１つ半の合成されたフレームを得るように実行される。追加の半フレームはオーバーラップ加算（ＯＬＡ）メカニズムに後に必要とされる。
合成信号は、出力サンプリング率（ＦＳ＿ｏｕｔ）にアップサンプルされ、ＦＳ＿ｏｕｔ／２のカットオフ周波数を有するローパスフィルタでフィルタ処理される。
６．１．２ 高周波数部分
高周波数部分について、任意の周波数ドメインコンシールメントを適用できる。ここで、ＡＡＣ−ＥＬＤオーディオコーデック内のノイズ置換は、使用されるだろう。このメカニズムは、最後の良好なフレームの複製されたスペクトルを使用して、時間ドメインに戻るためにＩＭＤＣＴが適用される前に、ノイズを追加する。
コンシールメントされたスペクトルは、ＩＭＤＣＴを介して時間ドメインに変換される。
最後に、過去のｐｃｍバッファを有する合成信号がＦＳ＿ｏｕｔ／２のカットオフ周波数を有するハイパスフィルタでフィルタ処理される。
６．１．２ 完全な部分
低周波数および高周波数部分を結合するために、オーバーラップ加算メカニズムが時間ドメインにおいて実行される。ＡＡＣのようなコーデックについて、これは、１つ以上のフレームが１つのコンシールメントされたフレームについて更新されなければならないということを意味する。なぜなら、ＯＬＡの分析や合成方法は半フレームの遅延を有するからである。ＩＭＤＣＴが１つのフレームだけを生成し、したがって、追加の半フレームが必要とされる。そして、ＩＭＤＣＴは、時間ドメインにおいて、２つの連続するフレームを得るために２回呼び出される。
低周波数および高周波数部分は、合計され、オーバーラップ加算メカニズムが適用される。
６．１．３ 追加的な拡張機能
最後の良好なフレームの調和とチルトに基づくＴＤおよびＦＤコンシールメントの間のクロスオーバー周波数を動的に適用することが可能である。たとえば、背景ノイズがある女性の音声情報のケースにおいて、信号を５ｋｈｚにダウンサンプルすることができ、時間ドメインコンシールメントが信号の最も重要な部分について良好なコンシールメントを実行するだろう。ノイズ部分は、そのあと周波数ドメインコンシールメント方法で合成されるだろう。これは、修正されたクロスオーバー（または修正されたダウンサンプル係数）と比較して複雑性が減少し、煩わしい「ビープ」効果を除去するだろう（図１２ないし図１４参照）。
６．１．４ 実験的な結論
図１３は、完全な周波数範囲上のＴＤコンシールメントを示す。図１４は、ハイブリッドのコンシールメントを示す。すなわち、ＴＤコンシールメントを有する０から２．５ｋＨｚ（参照番号１４０２）と、ＦＤコンシールメントを有する上側の周波数（参照番号１４０１）とである。
しかしながら、調和のエネルギーチルトが周波数に対して一定である（および、１つの明瞭なピッチまたは調和が検索される）場合、全周波数ＴＤコンシールメントを実行し、信号が調和を含まない場合、全てまたは他の方法でＦＤコンシールメントが実行されないことは当然である。
周波数ドメインコンシールメント（図１５）は、位相の不連続性を生成し、一方で、完全な周波数範囲に適用される時間ドメインコンシールメント（図１６）は、信号位相を維持し、人為的ではない完全な出力（人為的ではない完全な出力を本当の音調信号で達成することができる）を生成する。ＦＤコンシールメント（図１７）は、信号特性を維持し、一方で、すべての周波数上でＴＤコンシールメント（図１８）は、煩わしい「ビープ」アーチファクトを生成する。
ピッチがすべてのフレームで周知である場合、任意の周波数ドメインの音調のコンシールメントと比較して時間ドメインコンシールメントの１つの主要な利点を利用することが可能である。過去のピッチ値に基づいて、コンシールメントされたフレーム内のピッチを変更することが可能である（遅延要求が許される場合、将来のフレームを使用することも可能である）。
７． 付加的な注釈
実施の形態は、ハイブリッドコンシールメント方法に関し、オーディオコーデックのための周波数および時間ドメインコンシールメントを備える。言い換えれば、実施の形態は、オーディオコーデックのための周波数および時間ドメインにおいてハイブリッドコンシールメント方法に関連する。
ＡＡＣファミリーオーディオコーデックにおいて、従来のパケットロスコンシールメント技術はノイズ置換である。周波数ドメイン（ＦＤＰＬＣ−周波数ドメインパケットロスコンシールメント）において働いており、ノイズと音楽のアイテムにより適している。音声セグメントについて、煩雑なクリックアーチファクトに終わる位相不連続性が生じることが多いことが分かっている。この問題を克服するために、音声のようなセグメントに対してＡＣＥＬＰのような時間ドメインアプローチＴＤＰＬＣ（時間ドメインパケットロスコンシールメント）が使用される。ＴＤＰＬＣの計算上の複雑さおよび高周波アーチファクトを回避するために、記載されたアプローチは、適応的に両方のコンシールメント方法の組み合わせを使用する。すなわち、より低い周波数についてのＴＤＰＬＣと、より高い周波数についてのＦＤＰＬＣである。
本発明による実施の形態は、次のコンセプトの任意の組み合わせに使用されるだろう。すなわち、ＥＬＤ、ＸＬＤ、ＤＲＭ、ＭＰＥＧ−Ｈである。
８．代替の実装
いくつかの態様が装置の文脈において記載されてきたが、これらの態様は対応する方法の記述をも表すことは明らかであり、ブロックまたはデバイスは方法ステップまたは方法ステップの機能に対応する。同様に、方法ステップの文脈において記載された態様は、対応する装置の対応するブロック、アイテムまたは機能の記述をも表す。いくつかのまたはすべての方法ステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、このような装置によって実行することができる。
特定の実現要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に記憶された電子的に読取可能な制御信号を有し、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体は、コンピュータ読取可能とすることができる。
本発明に係るいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するとき、本発明の方法の１つを実行するように動作可能であるプログラムコードによるコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリアに記憶することができる。
他の実施形態は、機械読取可能なキャリアに記憶された、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。
言い換えれば、本発明の方法の一実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを有するコンピュータプログラムである。
本発明の方法の更なる実施形態は、それ故に、その上に記録され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、通常は有形および／または非過渡的である。
本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットによって送信されるように構成することができる。
更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。
更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがインストールされたコンピュータを備える。
本発明に係る更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムを、受信者に転送（例えば、電子的または光学的に）するように構成された装置またはシステムを備える。受信者は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。装置またはシステムは、例えば、コンピュータプログラムを受信者へ転送するファイルサーバを備えることができる。
いくつかの実施形態において、本願明細書に記載された方法のいくつかまたは全ての機能を実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。
本願明細書に記載された装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されるだろう。
本願明細書に記載された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組み合わせを使用して実行されるだろう。
上記記載された実施形態は、単に本発明の原理に対して説明したものである。本願明細書に記載された構成および詳細の修正および変更は、当業者にとって明らかであると理解される。それ故に、本発明は、間近に迫った特許請求の範囲のスコープのみによって制限され、本願明細書の実施形態の記載および説明の方法によって表された特定の詳細によって制限されないことが意図される。
９．参考文献
［１］ 3GPP TS 26.402 "Enhanced aacPlus general audio codec; Additional decoder tools (Release 11)",
［２］ J. Lecomte, et al, "Enhanced time domain packet loss concealment in switched speech/audio codec", submitted to IEEE ICASSP, Brisbane, Australia, Apr.2015.
［３］ WO 2015063045 A1
［４］ "Apparatus and method for improved concealment of the adaptive codebook in ACELP−like concealment employing improved pitch lag estimation", 2014, PCT／EP2014／062589
［５］ "Apparatus and method for improved concealment of the adaptive codebook in ACELP−like concealment employing improved pulse "synchronization", 2014, PCT／EP2014／062578

Claims (41)

  1. 符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報（１０２、２３２、３８２、８０２）を提供するためのエラーコンシールメントユニット（１００、２３０、３８０、８００、８００ｂ）であって、
    前記エラーコンシールメントユニットは、第１の周波数範囲（１４０１）のための第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）を周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）を用いて提供するように構成され、
    前記エラーコンシールメントユニットはさらに、前記第１の周波数範囲よりも低い周波数を備える第２の周波数範囲（１４０２）のための第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）を用いて提供するように構成され、
    前記エラーコンシールメントユニットはさらに、前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）と、前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）とを結合して、前記エラーコンシールメントオーディオ情報を得るように構成される、エラーコンシールメントユニット。
  2. 請求項１に記載のエラーコンシールメントユニットであって、
    前記エラーコンシールメントユニットは、前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）が所定のロストオーディオフレームの高周波数部分を示し、
    前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）が前記所定のロストオーディオフレームの低周波数部分を示し、
    前記所定のロストオーディオフレームに関連付けられたエラーコンシールメントオーディオ情報は、前記周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）および前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）の双方を用いて得られるように構成される、エラーコンシールメントユニット。
  3. 請求項１または請求項２の１つに記載のエラーコンシールメントユニットであって、
    前記エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの高周波数部分の変換ドメイン表現を用いて前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）を導き出すように構成される、および／または、
    前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームの低周波数部分に基づいて、時間ドメイン信号合成を用いて前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を導き出すように構成される、エラーコンシールメントユニット。
  4. 請求項１ないし請求項３の１つに記載のエラーコンシールメントユニットであって、
    前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームの前記高周波数部分の前記変換ドメイン表現のスケーリングされたまたはスケーリングされていない複製を用いて、
    前記ロストオーディオフレームの前記高周波数部分の変換ドメイン表現を得て、
    前記ロストオーディオフレームの前記高周波数部分の前記変換ドメイン表現を、前記時間ドメインに変換して、前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）である時間ドメイン信号成分を得るように構成される、エラーコンシールメントユニット。
  5. 請求項３または請求項４に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームの前記低周波数部分に基づいて、１つ以上の合成刺激パラメータと１つ以上の合成フィルタパラメータとを得て、
    信号合成を用いて前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を得るように構成され、前記信号合成の刺激パラメータおよびフィルタパラメータは前記得られた合成刺激パラメータと前記得られた合成フィルタパラメータに基づいて導き出される、または、前記得られた合成刺激パラメータと前記得られた合成フィルタパラメータと等しい、エラーコンシールメントユニット。
  6. 請求項１ないし請求項５のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第１および／または第２の周波数範囲（１４０１、１４０２）を決定および／または信号適応的に変更する制御（８１３）を実行するように構成される、エラーコンシールメントユニット。
  7. 請求項６に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、１つ以上の符号化されたオーディオフレームの特徴と１つ以上の適切に復号化されたオーディオフレームの特徴との間で選択された特徴に基づいて前記制御（８１３）を実行するように構成される、エラーコンシールメントユニット。
  8. 請求項６または請求項７に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、１つ以上の適切に復号化されたオーディオフレームの調和についての情報を得て、前記調和に関する情報に基づいて前記制御（８１３）を実行するように構成され、
    前記エラーコンシールメントユニットは、１つ以上の適切に復号化されたオーディオフレームのスペクトルチルトについての情報を得て、前記スペクトルチルトについての前記情報に基づいて前記制御（８１３）を実行するように構成される、エラーコンシールメントユニット。
  9. 請求項８に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第２の周波数範囲における前記調和と比べた時に、前記第１の周波数範囲における前記調和が比較的小さくなるように、前記第１の周波数範囲（１４０１）および前記第２の周波数範囲（１４０２）を選択するように構成される、エラーコンシールメントユニット。
  10. 請求項８または請求項９に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームが調和の閾値よりも強い調和を備える周波数の上限を決定し、それに依存して、前記第１の周波数範囲（１４０１）および前記第２の周波数範囲（１４０２）を選択するように構成される、エラーコンシールメントユニット。
  11. 請求項８ないし請求項１０の１つに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームのスペクトルチルトがより小さいスペクトルチルトからより大きいスペクトルチルトに変化する周波数境界を決定または推定し、それに依存して、前記第１の周波数範囲および前記第２の周波数範囲を選択するように構成される、エラーコンシールメントユニット。
  12. 請求項６ないし請求項１１のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニット（８００ｂ）は、エンコーダが送信する情報に基づいて前記制御（８１３）を実行するように構成される、エラーコンシールメントユニット。
  13. 請求項１ないし請求項１２の１つに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第１の周波数範囲がノイズ状のスペクトル構造を備えるスペクトル領域をカバーし、前記第２の周波数範囲が高調波スペクトル構造を備えるスペクトル領域をカバーするように、前記第１の周波数範囲および前記第２の周波数範囲を調整するように構成される、エラーコンシールメントユニット。
  14. 請求項１ないし請求項１３のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、調和とノイズとの間のエネルギー関係に依存して、前記第１の周波数範囲（１４０１）の低周波数端および／または前記第２の周波数範囲（１４０２）の高周波数端を調節するために、制御を実行するように構成される、エラーコンシールメントユニット。
  15. 請求項１ないし請求項１４のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）および周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）の少なくとも１つを選択的に抑制するために制御を実行する、および／または、時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）だけ、または、前記周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）だけを実行して、前記エラーコンシールメントオーディオ情報を得るように構成されるエラーコンシールメントユニット。
  16. 請求項１５に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームのスペクトルチルトの変動が、所定の周波数範囲にわたって予め定められたスペクトルチルトの閾値よりも小さいかどうかを決定または推定し、
    前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームのスペクトルチルトの前記変動が前記予め定められたスペクトルチルトの閾値よりも小さいことがわかった場合にのみ、前記時間ドメインコンシールメントを用いて前記エラーコンシールメントオーディオ情報を得るように構成される、エラーコンシールメントユニット。
  17. 請求項１５または請求項１６に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームの調和が予め定められた調和の閾値よりも小さいかどうかを決定または推定し、
    前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームの調和が前記予め定められた調和の閾値よりも小さいことがわかった場合にのみ、前記周波数ドメインコンシールメントを用いて前記エラーコンシールメントオーディオ情報を得るように構成される、エラーコンシールメントユニット。
  18. 請求項１ないし請求項１７のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのピッチに基づいて、および／または、前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームにおける前記ピッチの経時的推移に依存して、および／または前記ロストオーディオフレームに先行する前記適切に復号化されたオーディオフレームと前記ロストオーディオフレームの後に続く適切に復号化されたオーディオフレームとの間の前記ピッチの補間に依存して、コンシールメントされたフレームのピッチを適合させるように構成される、エラーコンシールメントユニット。
  19. 請求項１ないし請求項１８のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットはさらに、オーバーラップ加算すなわちＯＬＡメカニズム（１０７、８１２、９３０）を用いて、前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）と前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）とを結合（９３０）するように構成される、エラーコンシールメントユニット。
  20. 請求項１ないし請求項１９のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）が、オーバーラップ加算（８１２）が可能なように、前記ロストオーディオフレーム（１１０２）よりも少なくとも２５パーセント長い継続時間を備えるように、前記第２のエラーコンシールメントオーディオ情報成分（１０４，５１２，６１２，８１１´）を提供するように構成される、エラーコンシールメントユニット。
  21. 請求項１ないし請求項２０のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第１のエラーコンシールメントオーディオ情報成分の時間ドメイン表現（８０６´）を得るために、前記周波数ドメインエラーコンシールメント（８０５）によって得られたスペクトルドメイン表現に基づいて、逆修正離散コサイン変換、すなわちＩＭＤＣＴ、（８０６）を実行するように構成される、エラーコンシールメントユニット。
  22. 請求項２１に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、ＩＭＤＣＴ（８０６）を２回実行して、前記時間ドメインにおいて２つの連続するフレームを得るように構成される、エラーコンシールメントユニット。
  23. 請求項１ないし請求項２２のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）の下流側の前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０６´）のハイパスフィルタリング（８０７）を実行するように構成される、エラーコンシールメントユニット。
  24. 請求項２３に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、６ＫＨｚと１０ＫＨｚとの間、好ましくは７ＫＨｚと９ＫＨｚとの間、より好ましくは７．５ＫＨｚと８．５ＫＨｚとの間、さらに好ましくは７．９ＫＨｚと８．１ＫＨｚとの間、さらに好ましくは８ＫＨｚのカットオフ周波数でハイパスフィルタリング（８０７）を実行するように構成される、エラーコンシールメントユニット。
  25. 請求項２３または請求項２４に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ハイパスフィルタリング（８０７）の低周波数境界を信号適応的に調節して、それによって、前記第１の周波数範囲（１４０１）の帯域幅を変更するように構成される、エラーコンシールメントユニット。
  26. 請求項１ないし請求項２５のいずれかに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ロストオーディオフレームに先行するオーディオフレームのダウンサンプルされた時間ドメイン表現（８０８´）であって、前記ダウンサンプルされた時間ドメイン表現は前記ロストオーディオフレームに先行する前記オーディオフレームの低周波数部分だけを表す、ダウンサンプルされた時間ドメイン表現（８０８´）を得るために、前記ロストオーディオフレームに先行するオーディオフレームの時間ドメイン表現（８０４）をダウンサンプル（８０８）し、
    前記ロストオーディオフレームに先行する前記オーディオフレームの前記ダウンサンプルされた時間ドメイン表現（８０８´）を用いて前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）を実行し、
    前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を得るために、前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）によって提供されるコンシールメントされたオーディオ情報（８０９´）またはその後処理されたバージョンをアップサンプル（８１０）して、
    前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）が、前記ロストオーディオフレームに先行する前記オーディオフレームを完全に表すのに必要なサンプリング周波数よりも小さいサンプリング周波数を用いて実行されるように構成された、エラーコンシールメントユニット。
  27. 請求項２６に記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記ダウンサンプルされた時間ドメイン表現（８０８´）のサンプリング率を信号適応的に調節し、それによって前記第２の周波数領域（１４０２）の帯域幅を変更するように構成される、エラーコンシールメントユニット。
  28. 請求項１ないし請求項２７の１つに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、減衰係数を用いてフェードアウトを実行するように構成される、エラーコンシールメントユニット。
  29. 請求項１ないし請求項２８の１つに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）を導き出すために、前記減衰係数を用いて前記ロストオーディオフレームに先行する前記オーディオフレームのスペクトル表現をスケーリング（７０７）するように構成される、エラーコンシールメントユニット。
  30. 請求項１ないし請求項２９の１つに記載のエラーコンシールメントユニットであって、前記エラーコンシールメントユニットは、前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を得るために、前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）の出力信号（８０９´）、または、そのアップサンプルされたバージョン（８１０´）をローパスフィルタ処理（８１１）するように構成される、エラーコンシールメントユニット。
  31. 符号化されたオーディオ情報（２１０、３１０、４１０）に基づいて、復号化されたオーディオ情報（２１２、３１２、４１２）を提供するためのオーディオデコーダ（２００、３００、４００）であって、前記オーディオデコーダは、請求項１ないし請求項３０のいずれかに記載のエラーコンシールメントユニットを備える、オーディオデコーダ。
  32. 請求項３１に記載のオーディオデコーダであって、前記オーディオデコーダは、オーディオフレームのスペクトルドメイン表現を、前記オーディオフレームの前記スペクトルドメイン表現の符号化された表現に基づいて得るように構成され、前記オーディオデコーダは、前記オーディオフレームの復号化された時間表現を得るために、スペクトルドメイン−時間ドメイン変換を実行するように構成され、
    前記エラーコンシールメントは、ロストオーディオフレームに先行する適切に復号化されたオーディオフレームのスペクトルドメイン表現またはその一部を用いて、前記周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）を実行するように構成され、
    前記エラーコンシールメントは、前記ロストオーディオフレームに先行する適切に復号化されたオーディオフレームの復号化された時間ドメイン表現を用いて、前記時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）を実行するように構成される、オーディオデコーダ。
  33. 符号化されたオーディオ情報におけるオーディオフレームのロスをコンシールメントするためのエラーコンシールメントオーディオ情報を提供するためのエラーコンシールメント方法であって、前記方法は、
    第１の周波数範囲ための第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）を周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）を用いて提供するステップ（９１０）と、
    前記第１の周波数範囲よりも低い周波数を備える第２の周波数範囲のための第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）を時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）を用いて提供するステップ（９２０）と、
    前記第１のエラーコンシールメントオーディオ情報成分（１０３、８０７´）と、前記第２のエラーコンシールメントオーディオ情報成分（１０４、５１２、６１２、８１１´）とを結合して前記エラーコンシールメントオーディオ情報を得るステップ（９３０）と、
    を備える、エラーコンシールメント方法。
  34. 請求項３３に記載のエラーコンシールメント方法であって、前記方法は、前記第１および第２の周波数範囲を信号適応的に制御するステップ（９０５）を備える、エラーコンシールメント方法。
  35. 請求項３４に記載のエラーコンシールメント方法であって、前記方法は、少なくとも１つのロストオーディオフレームのためのエラーコンシールメントオーディオ情報を得るために、時間ドメインコンシールメント（１０６、５００、６００、８０９、９２０）のみ、または周波数ドメインコンシールメント（１０５、７０４、８０５、９１０）のみが用いられるモードに信号適応的に切り替えるステップを備える、エラーコンシールメント方法。
  36. コンピュータプログラムがコンピュータ上で動作するとき、請求項３３ないし請求項３５の１つに記載の方法を実行する、コンピュータプログラム。
  37. 入力オーディオ情報（１９０２）に基づいて符号化されたオーディオ表現（１９０４）を提供するためのオーディオエンコーダ（１９００）であって、前記オーディオエンコーダは、
    前記入力オーディオ情報に基づいて符号化された周波数ドメイン表現（１９０８）を提供するように構成される周波数ドメインエンコーダ（１９０６）、および／または、前記入力オーディオ情報に基づいて符号化された線形予測ドメイン表現（１９２２）を提供するように構成される線形予測ドメインエンコーダ（１９２０）と、
    時間ドメインエラーコンシールメント（８０９）と周波数ドメインエラーコンシールメント（８０５）との間のクロスオーバー周波数をオーディオデコーダ（２００、３００、４００）側で用いられるように定義するクロスオーバー周波数情報（１９３２）を決定するように構成されるクロスオーバー周波数決定器と、
    を備え、
    前記オーディオエンコーダ（１９００）は、前記符号化された周波数ドメイン表現（１９０８）、および／または、前記符号化された線形予測ドメイン表現（１９２２）、ならびに前記クロスオーバー周波数情報（１９３２）も前記符号化されたオーディオ表現（１９０４）に含めるように構成される、オーディオエンコーダ。
  38. 入力オーディオ情報に基づいて符号化されたオーディオ表現を提供するための方法（２０００）であって、前記方法は、
    前記入力オーディオ情報に基づいて符号化された周波数ドメイン表現を提供する周波数ドメイン符号化ステップ（２００２）、および／または、前記入力オーディオ情報に基づいて符号化された線形予測ドメイン表現を提供する線形予測ドメイン符号化ステップと、
    時間ドメインエラーコンシールメントと周波数ドメインエラーコンシールメントとの間のクロスオーバー周波数をオーディオデコーダ側で使用されるように定義するクロスオーバー周波数情報を決定するためのクロスオーバー周波数を決定するステップ（２００４）と、
    を備え、
    前記符号化された周波数ドメイン表現（１９０８）および／または前記符号化された線形予測ドメイン表現（１９２２）、ならびに前記クロスオーバー周波数情報（１９３２）も前記符号化されたオーディオ表現（１９０４）に含まれる、方法。
  39. オーディオコンテンツを表す符号化された周波数ドメイン表現（１９０８）、および／またはオーディオコンテンツを表す符号化された線形予測ドメイン表現（１９２２）と、
    時間ドメインエラーコンシールメント（８０９）と周波数ドメインエラーコンシールメント（８０５）との間のクロスオーバー周波数を前記オーディオデコーダ（２００、３００、４００）側で使用されるように定義するクロスオーバー周波数情報（１９３２）と、
    を備える、符号化されたオーディオ表現（１９０４）。
  40. 請求項３７に記載のオーディオエンコーダ（１９００）と、
    請求項３１または請求項３２に記載のオーディオデコーダ（２００、３００、４００）であって、請求項６ないし請求項１２のいずれかに記載のエラーコンシールメントユニット、または、請求項１３ないし請求項２５のいずれかに記載のエラーコンシールメントユニットと請求項６ないし請求項１２のいずれかに記載のエラーコンシールメントユニットとを組み合わせたエラーコンシールメントユニット（８００ｂ）と、
    を備えるシステム（１９００、２００、３００、４００、８００ｂ）であって、
    前記制御（８１３）は、前記オーディオエンコーダ（１９００）が提供する前記クロスオーバー周波数情報（１９３２）に基づいて前記第１または第２の周波数範囲を決定するように構成される、システム（１９００、２００、３００、４００、８００ｂ）。
  41. コンピュータプログラムがコンピュータ上で動作するとき、請求項３８に記載の方法を実行する、コンピュータプログラム。

JP2018547304A 2016-03-07 2016-05-25 ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ Active JP6718516B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16159031.0 2016-03-07
EP16159031 2016-03-07
PCT/EP2016/061865 WO2017153006A1 (en) 2016-03-07 2016-05-25 Hybrid concealment method: combination of frequency and time domain packet loss concealment in audio codecs

Publications (2)

Publication Number Publication Date
JP2019511738A true JP2019511738A (ja) 2019-04-25
JP6718516B2 JP6718516B2 (ja) 2020-07-08

Family

ID=55521559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547304A Active JP6718516B2 (ja) 2016-03-07 2016-05-25 ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ

Country Status (11)

Country Link
US (1) US10984804B2 (ja)
EP (1) EP3427256B1 (ja)
JP (1) JP6718516B2 (ja)
KR (1) KR102250472B1 (ja)
CN (1) CN109155133B (ja)
BR (1) BR112018067944B1 (ja)
CA (1) CA3016837C (ja)
ES (1) ES2797092T3 (ja)
MX (1) MX2018010753A (ja)
RU (1) RU2714365C1 (ja)
WO (1) WO2017153006A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402905B (zh) * 2018-12-28 2023-05-26 南京中感微电子有限公司 音频数据恢复方法、装置及蓝牙设备
BR112021012753A2 (pt) * 2019-01-13 2021-09-08 Huawei Technologies Co., Ltd. Método implementado por computador para codificação de áudio, dispositivo eletrônico e meio legível por computador não transitório
WO2020165262A2 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio transmitter processor, audio receiver processor and related methods and computer programs
WO2020164753A1 (en) * 2019-02-13 2020-08-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method selecting an error concealment mode, and encoder and encoding method
CN113454714A (zh) * 2019-02-21 2021-09-28 瑞典爱立信有限公司 根据mdct系数的频谱形状估计
CN110264860B (zh) * 2019-06-14 2021-05-11 长春理工大学 一种基于多膜系阵列的多谱段图像伪装方法
CN113035208B (zh) * 2021-03-04 2023-03-28 北京百瑞互联技术有限公司 一种音频解码器的分级错误隐藏方法、装置及存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3632213B2 (ja) 1993-06-30 2005-03-23 ソニー株式会社 信号処理装置
JPH10233692A (ja) * 1997-01-16 1998-09-02 Sony Corp オーディオ信号符号化装置および符号化方法並びにオーディオ信号復号装置および復号方法
SE0004187D0 (sv) * 2000-11-15 2000-11-15 Coding Technologies Sweden Ab Enhancing the performance of coding systems that use high frequency reconstruction methods
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
SE527669C2 (sv) 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Förbättrad felmaskering i frekvensdomänen
SG124307A1 (en) * 2005-01-20 2006-08-30 St Microelectronics Asia Method and system for lost packet concealment in high quality audio streaming applications
KR101289603B1 (ko) * 2005-07-25 2013-07-24 톰슨 라이센싱 참조 및 비참조 비디오 프레임을 검출하고 은닉하는 방법및 장치
US8798172B2 (en) 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
KR20070115637A (ko) * 2006-06-03 2007-12-06 삼성전자주식회사 대역폭 확장 부호화 및 복호화 방법 및 장치
US8010352B2 (en) * 2006-06-21 2011-08-30 Samsung Electronics Co., Ltd. Method and apparatus for adaptively encoding and decoding high frequency band
KR101292771B1 (ko) 2006-11-24 2013-08-16 삼성전자주식회사 오디오 신호의 오류은폐방법 및 장치
JP4708446B2 (ja) * 2007-03-02 2011-06-22 パナソニック株式会社 符号化装置、復号装置およびそれらの方法
WO2008151408A1 (en) * 2007-06-14 2008-12-18 Voiceage Corporation Device and method for frame erasure concealment in a pcm codec interoperable with the itu-t recommendation g.711
WO2009029037A1 (en) * 2007-08-27 2009-03-05 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive transition frequency between noise fill and bandwidth extension
ES2372014T3 (es) * 2008-07-11 2012-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para calcular datos de ampliación de ancho de banda utilizando un encuadre controlado por pendiente espectral.
US8532998B2 (en) * 2008-09-06 2013-09-10 Huawei Technologies Co., Ltd. Selective bandwidth extension for encoding/decoding audio/speech signal
US8718804B2 (en) * 2009-05-05 2014-05-06 Huawei Technologies Co., Ltd. System and method for correcting for lost data in a digital audio signal
TWI484479B (zh) * 2011-02-14 2015-05-11 Fraunhofer Ges Forschung 用於低延遲聯合語音及音訊編碼中之錯誤隱藏之裝置和方法
KR102070430B1 (ko) * 2011-10-21 2020-01-28 삼성전자주식회사 프레임 에러 은닉방법 및 장치와 오디오 복호화방법 및 장치
EP4235657A3 (en) 2012-06-08 2023-10-18 Samsung Electronics Co., Ltd. Method and apparatus for concealing frame error and method and apparatus for audio decoding
EP2903004A4 (en) 2012-09-24 2016-11-16 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR HAMPERING FRAME ERRORS, AND METHOD AND APPARATUS FOR DECODING AUDIO DATA
CN103714821A (zh) * 2012-09-28 2014-04-09 杜比实验室特许公司 基于位置的混合域数据包丢失隐藏
EP3561808B1 (en) * 2013-02-05 2021-03-31 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for controlling audio frame loss concealment
KR20140126095A (ko) 2013-04-22 2014-10-30 주식회사 케이티 분전함
KR102120073B1 (ko) 2013-06-21 2020-06-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 개선된 피치 래그 추정을 사용하여 ａｃｅｌｐp-형 은폐 내에서 적응적 코드북의 개선된 은폐를 위한 장치 및 방법
MX352092B (es) 2013-06-21 2017-11-08 Fraunhofer Ges Forschung Aparato y método para mejorar el ocultamiento del libro de códigos adaptativo en la ocultación similar a acelp empleando una resincronización de pulsos mejorada.
ES2805744T3 (es) * 2013-10-31 2021-02-15 Fraunhofer Ges Forschung Decodificador de audio y método para proporcionar una información de audio decodificada usando un ocultamiento de errores en base a una señal de excitación de dominio de tiempo
KR101984117B1 (ko) * 2013-10-31 2019-05-31 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 시간 도메인 여기 신호를 변형하는 오류 은닉을 사용하여 디코딩된 오디오 정보를 제공하기 위한 오디오 디코더 및 방법
US9564141B2 (en) * 2014-02-13 2017-02-07 Qualcomm Incorporated Harmonic bandwidth extension of audio signals
NO2780522T3 (ja) * 2014-05-15 2018-06-09
TWI602172B (zh) 2014-08-27 2017-10-11 弗勞恩霍夫爾協會 使用參數以加強隱蔽之用於編碼及解碼音訊內容的編碼器、解碼器及方法
KR101686462B1 (ko) 2015-02-11 2016-12-28 삼성에스디에스 주식회사 사용자 행동 패턴을 기반으로 한 웹페이지 생성 방법 및 활용 방법
CA3016949C (en) * 2016-03-07 2021-08-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands

Also Published As

Publication number Publication date
CA3016837C (en) 2021-09-28
BR112018067944B1 (pt) 2024-03-05
US20190005967A1 (en) 2019-01-03
EP3427256B1 (en) 2020-04-08
CN109155133A (zh) 2019-01-04
CN109155133B (zh) 2023-06-02
KR20180118781A (ko) 2018-10-31
RU2714365C1 (ru) 2020-02-14
ES2797092T3 (es) 2020-12-01
WO2017153006A1 (en) 2017-09-14
EP3427256A1 (en) 2019-01-16
BR112018067944A2 (pt) 2019-09-03
CA3016837A1 (en) 2017-09-14
US10984804B2 (en) 2021-04-20
JP6718516B2 (ja) 2020-07-08
MX2018010753A (es) 2019-01-14
KR102250472B1 (ko) 2021-05-12

Similar Documents

Publication Publication Date Title
CN105765651B (zh) 使用错误隐藏提供经解码的音频信息的音频解码器及方法
JP6306177B2 (ja) 時間ドメイン励振信号を修正するエラーコンシールメントを用いて、復号化されたオーディオ情報を提供する、オーディオデコーダおよび復号化されたオーディオ情報を提供する方法
JP6718516B2 (ja) ハイブリッドコンシールメント方法：オーディオコーデックにおける周波数および時間ドメインパケットロスの組み合わせ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200612

R150 Certificate of patent or registration of utility model

Ref document number: 6718516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250