JP2016526703A - オーディオ信号の置換フレームのためのスペクトル係数を得るための方法および装置、オーディオデコーダ、オーディオ受信機ならびにオーディオ信号を送信するためのシステム - Google Patents

Abstract

オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るアプローチが記載される。オーディオ信号のスペクトルの音の成分を、置換フレーム（ｍ）に先行するフレームのスペクトルに存在するピークに基づいて検出する。スペクトルの音の成分について、置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺のスペクトル係数を予測し、かつスペクトルの非音の成分について、置換フレーム（ｍ）のための非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数を使用する。【選択図】図１

Description

本発明は、符号化されたオーディオ信号の送信の分野に関連し、かつより詳細には、オーディオ信号の置換フレームのためのスペクトル係数を得るための方法および装置、オーディオデコーダ、オーディオ受信機ならびにオーディオ信号を送信するためのシステムに関連する。実施形態は、前に受信したフレームに基づいて置換フレームのためのスペクトルを構成するためのアプローチに関連する。

先行技術には、オーディオ受信機でのフレーム損失の扱いに関するいくつかのアプローチが記載される。たとえば、オーディオまたは音声コーデックの受信機側でフレームが失われると、以下のように非特許文献１に記載されるようなフレーム損失封じ込めのための簡単な方法が用いられ得る。
・最後に受信したフレームを繰り返す
・失われたフレームをミュートにする。
・符号スクランブル

また、非特許文献１では、サブバンドにおいて予測器を使用する高度な技術を提示する。予測器による技術と符号スクランブルとを組み合わせ、予測ゲインを、このサブバンドのスペクトル係数について、どの方法を用いるかを決定するサブバントによる決定基準として使用する。

特許文献１では、時間領域における波形信号外挿がＭＤＣＴ（修正離散余弦変換）領域コーデックに使用される。この種のアプローチは、音声を含むモノラルの信号には良いかもしれない。

１つのフレームの遅延が許容されると、周辺のフレームの内挿を使用して、損失フレームの構成を行うことができる。このようなアプローチについては、特許文献２に記載され、インデックスｍの損失フレームにおける音の成分の大きさが、ｍ−１およびｍ＋１のインデクスを付けた隣接するフレームを使用して内挿される。音の成分についてのＭＤＣＴ係数の符号を規定するサイド情報は、ビットストリームで送信される。他の非音のＭＤＣＴ係数については、符号スクランブルが使用される。音の成分は、最大の大きさの予め定められた固定された数のスペクトル係数として決定される。このアプローチでは、音の成分として、最大の大きさを有するｎ個のスペクトル係数を選択する。

ここで、図７のブロック図に記載のＦＬＣ（フレーム損失封じ込め）技術の動作について、より詳細に説明する。

図７において、基本的に、４つのモジュールを区別できる。
・整形雑音挿入モジュール（フレーム内挿７００、スケールファクタバンド内の大きさスケーリング７０２およびランダム符号変更７１２を含む）。
・ＭＤＣＴビン分類モジュール（擬似スペクトル７０６およびピーク検出７０８を含む）。
・音の封じ込め動作モジュール（インデクス集合内での大きさスケーリング７０４および符号訂正７１４を含む）。
・スペクトル構成７１０。

このアプローチは、以下の一般式に基づく。

・音の成分については、音の成分の周波数であるｆ_lを伴ってα＝ｃｏｓ（πｆ_l）であることがわかる。

エネルギＥは、単純な平滑化演算により導かれる擬似パワースペクトルに基づき導かれる。

ピーク検出は、基礎となるシヌソイドに対応するスペクトルピークの正確な位置を検出するために、擬似パワースペクトルにおける極大値のサーチとして行われる。これは、非特許文献３に記載のＭＰＥＧ−１音響心理学モデルにおいて採用される音識別プロセスに基づく。これから、ＭＤＣＴビンと言う意味で分析窓のメインローブの帯域幅およびその中心に検出されたピークを有するインデクスの部分集合が規定される。これらのビンは、シヌソイドの音の支配的なＭＤＣＴビンとして扱われ、インデクスの部分集合は、個別の音の成分として扱われる。

以下の修正は、非特許文献２に関連する。
・ピーク検出のために使用される擬似パワースペクトルは、以下のとおり導出される。

・知覚的に無関係なまたは偽ピークをなくすため、ピーク検出は、限られたスペクトル領域にのみ適用され、擬似パワースペクトルの絶対最大値に対する相対的閾値を超える極大値のみが考慮される。残りのピークは、大きさの降順でソートし、予め指定された数の上位の最大値を音のピークとして分類する。

・このアプローチは、以下の一般式に基づく（今回は、αが符号付き）。

Ｅ_m、Ｅ_m-1、Ｅ_m+1を以下と置換し、

ここで、

であるならば、αの二次式が得られる。したがって、所与のＭＤＣＴ推定値について、乗算修正ファクタ（Ａ₁、Ａ2、Ａ₃は、変換行列）のための２つの候補（符号が反対の）が存在する。より良い推定の選択は、非特許文献２に記載されるものと同様に行われる。

・このより高度なアプローチには、前後のフレームのＭＤＳＴ係数を得るために、フレーム損失の前後２つのフレームが必要である。

・修正ファクタは、２つの前のフレームのエネルギを観察することにより決定される。エネルギの計算から、前のフレームのＭＤＳＴ係数は、以下のとおり近似される。

・次いで、シヌソイドエネルギを以下のとおり計算する。

・同様に、フレームｍ−２のシヌソイドエネルギを計算し、Ｅ_m-2で示すが、これは、αとは独立である。

・以下のエネルギ要件を採用し、

ここでも、αの二次式が生成される。

・計算された候補の選択プロセスは、上記と同様行われるが、決定ルールは、前のフレームのパワースペクトルのみに当てはまる。

周波数領域における他の遅延のないフレーム損失封じ込めが、特許文献３に記載される。特許文献３の教示は、一般性を失わずに以下のとおり単純化することができる。

・時間信号のＤＦＴを用いる予測
（ａ）受信した符号化周波数領域係数Ｃ_mに対応する復号化時間領域信号からＤＦＴスペクトルを得る。
（ｂ）線形位相変化を想定して、ＤＦＴの大きさを変調し、次のフレームＣ_m+1における失われた周波数領域係数を予測する。

ここで、Ｑ_m（ｋ）は、Ｃ_m（ｋ）に対応するＤＦＴ係数の大きさである。

（ｂ）以下を計算する。

（ｃ）大きさおよび位相の線形外挿を実行する。

予測されるべきスペクトル係数の選択については、特許文献３に説明されるが、詳細に説明されていない。

非特許文献６において、準定常信号について、連続するフレーム間の位相差は、ほとんど一定であり、フラクショナル周波数にのみ依存することが認識されている。しかしながら、最後の２つの複素数スペクトルからの線形外挿のみが用いられる。

ＡＭＲ−ＷＢ＋（非特許文献７を参照）において、特許文献４に記載の方法が用いられる。特許文献４における方法は、現在のフレームの一部のみが失われたと仮定して、現在のフレームの入手可能なスペクトル係数も使用すると言う意味で、特許文献３に記載の方法を発展させたものである。しかしながら、フレームが完全に失われる状況については、特許文献４では考慮されていない。

ＭＤＣＴ領域における他の遅延のないフレーム損失封じ込めが、特許文献５に記載される。特許文献５では、失われたＰ番目のフレームが、多重高調波フレームであるかどうかがまず決定される。Ｐ番目のフレームの前のＫ個のフレームのうちＫ₀個のフレームより多いフレームが閾値より小さいスペクトル平坦性を有する場合には、失われたＰ番目のフレームは、多重高調波フレームである。失われたＰ番目のフレームが、多重高調波フレームの場合、ＭＤＣＴ−ＭＤＳＴ領域における（Ｐ−Ｋ）番目から（Ｐ−２）番目のフレームを、失われたＰ番目のフレームを予測するために使用する。パワースペクトルが、２つの隣接するパワースペクトル係数より大きい場合には、そのスペクトル係数がピークである。非特許文献８に記載の擬似スペクトルを（Ｐ−１）番目のフレームについて使用する。

スペクトル係数Ｓ_cの集合を、以下のように、Ｌ₁のパワースペクトルのフレームから構成する。

Ｌ₁個のフレームの各々におけるピークからなるＬ₁個の集合Ｓ₁、．．．、Ｓ_L1を得ると、各集合におけるピークの数は、それぞれＮ₁、．．．、Ｎ_L1となる。Ｓ₁、．．．、Ｓ_L1からなるＬ₁個の集合から集合Ｓ_iを選択する。各ピーク係数ｍ_j（集合Ｓ₁においてｊ＝１．．．Ｎ₁）について、ｍ_j、ｍ_j±₁、．．．、ｍ_j±_kの中で、他のすべてのピーク集合に属する周波数係数が存在するかどうか判断する。存在する場合には、すべての周波数ｍ_j、ｍ_j±₁、．．．、ｍ_j±_kを周波数の集合Ｓ_Cへ入れる。他のすべてのピーク集合に属する周波数係数が存在しない場合には、フレーム内の周波数係数をすべて周波数の集合Ｓ_Cに直接入れる。前記ｋは、非マイナスの整数である。集合Ｓ_Cにおけるすべてのスペクトル係数について、（Ｐ−Ｋ）番目から（Ｐ−２）番目のＭＤＣＴ−ＭＤＳＴフレームの中のＬ₂フレームを用いて位相を予測する。予測は、線形外挿（Ｌ₂＝２の場合）または線形のあてはめ（Ｌ₂＞２の場合）を用いて行う。線形外挿については、以下のとおりであり、

ここで、ｐ、ｔ１およびｔ２は、フレームインデクスである。

集合Ｓ_Cにないスペクトル係数は、（Ｐ−１）番目のフレームの前の複数のフレームを用いて得られるが、その方法は、詳説されていない。

[2]C. J. Hwey, "Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment". Patent US 6,351,730 B2, 2002

[3]S. K. Gupta, E. Choy and S.-U. Ryu, "Encoder-assisted frame loss concealment techniques for audio coding". Patent US 2007/094009 A1 [8]M. Yannick, "Method and apparatus for transmission error concealment of frequency transform coded digital audio signals". Patent EP 0574288 B1, 1993 [11]A. Taleb, "Partial Spectral Loss Concealment in Transform Codecs". Patent US 7,356,748 B2 [12]C. Guoming, D. Zheng, H. Yuan, J. Li, J. Lu, K. Liu, K. Peng, L. Zhibin, M. Wu and Q. Xiaojun, "Compensator and Compensation Method for Audio Frame Loss in Modified Discrete Cosine Transform Domain". Patent US 2012/109659 A1

[1]P. Lauber and R. Sperschneider, "Error Concealment for Comp ressed Digital Audio," in AES 111th Convention, New York, USA, 2001 [4]S.-U. Ryu and K. Rose, "A Frame Loss Concealment Technique for MPEG-AAC," in 120th AES Convention, Paris, France, 2006 [5]ISO/IEC JTC1/SC29/WG11, Information technology -- Codi ng of moving pictures and associated, International Organization for Sta ndardization, 1993 [6]S.-U. Ryu and R. Kenneth, An MDCT domain frame-loss concealment technique for MPEG Advanced Audio Coding, Department od Electrical and Computer Engineering, University of California, 2007 [7]S.-U. Ryu, Source Modeling Approaches to Enhanced Decoding in Lossy Audio Compression and Communication, UNIVERSITY of CALIFORNIA Santa Barbara, 2006 [9]Y. Mahieux, J.-P. Petit and A. Charbonnier, "Transform coding of audio signals using correlation between successive transform blocks," in Acoustics, Speech, and Signal Processing, 1989. ICASSP-89., 1989 [10]3GPP; Technical Specification Group Services and System Aspects, Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec, 2009 [13]L. S. M. Dauder, "MDCT Analysis of Sinusoids: Exact Results and Applications to Coding Artifacts Reduction," IEEE TRANSACTIONS ON SPEECH AND AUDIO PROCESSING, pp. 302-312, 2004 [14]D. B. Paul, "The Spectral Envelope Estimation Vocoder," IEEE Transactions on Acoustics, Speech, and Signal Processing, pp. 786-794, 1981. [15]A. Ferreira, "Accurate estimation in the ODFT domain of the frequency, phase and magnitude of stationary sinusoids," 2001 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pp. 47-50, 2001

本発明の目的は、オーディオ信号の置換フレームのためのスペクトル係数を得るための改善されたアプローチを提供することである。

この目的は、請求項１に記載の方法、請求項３４に記載の非一時的コンピュータプログラム製品、請求項３５または請求項３６に記載の装置、請求項３７に記載のオーディオコーダ、請求項３８に記載のオーディオ受信機および請求項３９に記載のオーディオ信号を送信するためのシステムにより達成される。

本発明は、オーディオ信号の置換フレームのためのスペクトル係数を得るための方法を提供し、この方法は、置換フレームに先行するフレームのスペクトルに存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するステップと、スペクトルの音の成分について、置換フレームのスペクトルにおけるピークおよびその周辺についてスペクトル係数を予測するステップと、スペクトルの非音の成分について、置換フレームのための非予測スペクトル係数または置換フレームに先行するフレームの対応するスペクトル係数を使用するステップとを含む。

本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための装置を提供し、この装置は、置換フレームに先行するフレームのスペクトルに存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するよう構成される検出器と、置換フレームのスペクトルにおけるピークおよびその周辺についてのスペクトル係数を、スペクトルの音の成分について予測するよう構成される予測器とを含み、スペクトルの非音の成分について、置換フレームの非予測スペクトル係数または置換フレームに先行するフレームの対応するスペクトル係数が使用される。

本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための装置を提供し、この装置は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための本発明の方法に従って動作するよう構成される。

本発明は、オーディオ信号の置換フレームのためのスペクトル係数を取得するための本発明の装置を含むオーディオデコーダを提供する。

本発明は、本発明のオーディオデコーダを含むオーディオ受信機を提供する。

本発明は、オーディオ信号を送信するためのシステムを提供し、このシステムは、符号化されたオーディオ信号を生成するよう構成されるエンコーダと、符号化されたオーディオ信号を受信し、かつ符号化されたオーディオ信号を復号するよう構成される本発明のデコーダとを含む。

本発明は、コンピュータで実行されると、オーディオ信号の置換フレームのためのスペクトル係数を得るための本発明の方法を実行する命令を記憶するコンピュータ可読媒体を含む非一時的コンピュータプログラム製品を提供する。

本発明のアプローチは、良い品質で、追加の遅延を導入せずに、音の信号の良好なフレーム損失封じ込めを図る点が有利である。本発明の低遅延コーデックは、音声およびオーディオ信号の両方についてよく機能し、定常の音の信号に特に実行される良いフレーム損失封じ込めを、たとえばエラーのありがちな環境で、うまく利用する点が有利である。モノラルおよび多声信号の遅延のないフレーム損失封じ込めが提案され、これは、非音の信号の劣化なしに音の信号に良い結果をもたらす。

本発明の実施形態によれば、ＭＤＣＴ領域における音の成分の改善された封じ込めが提供される。実施形態は、周波数領域コーデックまたは切替音声／周波数領域コーデックを組み込むオーディオおよび音声符号化に関し、詳細には、ＭＤＣＴ（修正離散余弦変換）領域におけるフレーム損失封じ込めに関する。本発明は、実施形態により、前に受信したフレームに基づいて損失フレームのためのＭＤＣＴスペクトルを構成するための遅延なしの方法を提案し、最後に受信されたフレームが、ＭＤＣＴを用いて周波数領域で符号化される。

好ましい実施形態によれば、本発明のアプローチは、たとえば、最後から２番目の複素数スペクトルを用いてピークの正確な位置または場所を取得し、最後の実スペクトルを用いて、ビンが音かどうかの決定を精査し、かつ音のオンセットまたはオフセットのいずれかをよりよく検出するためにピッチ情報を使用して、音のスペクトルの部分を検出することを含み、ピッチ情報は、すでにビットストリームに存在するかまたはデコーダ側で生成される。さらに、本発明のアプローチは、封じ込めをすべき高調波の信号適応幅を供給することを含む。高調波の一部である各スペクトル係数のフレーム間の位相シフトまたは位相差の計算も行われ、この計算は、最後から２番目のＣＭＤＣＴを必要とせずに、たとえばＣＭＤＣＴスペクトル等の最後に入手可能なスペクトルに基づく。実施形態によれば、位相差は、最後に受信したＭＤＣＴスペクトルを用いて精査され、この精査は、連続する損失フレームの数に依拠して適応性がある。ＣＭＤＣＴスペクトルは、復号化された時間領域信号から構成することが可能で、これは、コーデックのフレーミングと整合させる必要がなく、かつ低重複窓の特徴を利用することにより、できるだけ損失フレームに近い複素数スペクトルの構成を可能にするので有利である。本発明の実施形態は、時間領域または周波数領域封じ込めのいずれかを使用するためのフレームごとの判断を提供する。

本発明のアプローチが有利なのは、フレームが失われたかまたは置換する必要があると決定した場合に、受信機側ですでに入手可能な情報に基づいて完全に動作し、受信する必要がある追加のサイド情報が必要ないので、追加のサイド情報を受信するかまたはすぐ使える既存の情報から追加のサイド情報を生成する必要性を考えれば、先行技術のアプローチでは発生する付加的な遅延の原因も存在しない点である。

本発明のアプローチは、上記の先行技術のアプローチに比べて、本発明の発明者らが認識した後述するこれらのアプローチの欠点が、本発明のアプローチを適用すれば回避できる点が有利である。

非特許文献１に記載のフレーム損失封じ込めの方法は、十分に確固としておらず、音の信号について十分に良い結果をもたらさない。

特許文献１に記載の時間領域における波形信号外挿は、多声信号を扱えず、正確なピッチラグを決定する必要があるので、非常に定常な音の信号の封じ込めについて必要とする複雑さが大きい。

特許文献２では、追加の遅延が導入され、かなりのサイド情報が必要である。音の成分選択は、非常に単純で、非音成分の間で多くのピークを選択する。

非特許文献２に記載の方法は、デコーダ側でルックアヘッドを必要とするので、１つのフレーム分の追加の遅延を導入する。ピーク検出のために平滑化された擬似パワースペクトルを使用することで、ピークの場所の精度が減じられる。１つのフレームのみに現れる雑音からピークを検出することになるので、検出の信頼性も低下する。

非特許文献４に記載の方法は、デコーダ側でルックアヘッドを必要とするので、２つのフレーム分の追加の遅延を導入する。音の成分の選択は、２つのフレームにおいて音の成分を別々にチェックせず、平均化されたスペクトルに依拠するため、フォルスポジティブまたはフォルスネガティブのいずれかが多くなりすぎて、ピーク検出閾値を調節することが不可能になる。ピークの場所は、擬似パワースペクトルを使用するので正確にならない。ピークサーチのための制限されたスペクトル域は、擬似パワースペクトルを使用するために生じる上記の問題のための予備手段のように見える。

非特許文献５に記載の方法は、非特許文献４に記載の方法に基づくので、同じ欠点を有し、追加の遅延が克服されるに過ぎない。

特許文献５において、３つ以上の前のフレームをメモリにストアする必要があり、したがってメモリの要件がかなり上げられる。音の封じ込めを使用するかどうかの判断は、誤りの可能性があり、１以上の高調波を有するフレームは、複数の高調波を有していないフレームとして分類され得る。最後に受信したＭＤＣＴフレームは、損失ＭＤＣＴスペクトルの予測を改善するために直接的に使用されないが、音の成分のサーチにおいてのみ使用される。しかしながら、高調波について封じ込められるべきＭＤＣＴ係数の数がノイズレベルに依拠して固定されており、１つの高調波を構成する可変な数のＭＤＣＴ係数を有することが望ましい。

以下では、本発明の実施形態について、添付の図面を参照しながらより詳細に説明する。

図１は、デコーダ側で本発明のアプローチを実現するオーディオ信号を送信するためのシステムの簡略化されたブロック図である。 図２は、ある実施形態による本発明のアプローチのフロー図である。 図３は、隣接するフレームについて重なるＭＤＣＴ窓の模式図である。 図４は、ある実施形態によるピークを取るためのステップを表すフロー図である。 図５は、１以上のピークが検出されるフレームのパワースペクトルの模式図である。 図６は、「間のフレーム」のための例を示す図である。 図７は、送信されるサイド情報なしの内挿アプローチを表すブロック図である。 図８は、図７に比べて精査されたＦＬＣ技術全体のブロック図である。

なお、以下に本発明のアプローチの実施形態についてより詳細に説明するが、添付の図面において、同じまたは類似の機能性を有する要素は同じ参照記号で示す。以下に、本発明のアプローチの実施形態について記載するが、これらの実施形態によれば、受信した最後の２つのフレームがＭＤＣＴを用いて符号化される場合にのみ、周波数領域において封じ込めが行われる。２つのＭＤＣＴフレームを受信した後のフレーム損失に対して時間領域かまたは周波数領域の封じ込めのいずれを用いるかの判断に関する詳細も説明する。なお、以下に記載の実施形態に関しては、切替コーデックでは、周波数領域は、定常の音の信号について使用されるので、最後の２つのフレームが周波数領域で符号化されると言う要件が、本発明のアプローチの適用性を狭めるということはない。

図１は、デコーダ側で本発明のアプローチを実現するオーディオ信号を送信するためのシステムの簡略化されたブロック図である。このシステムは、入力１０２において、オーディオ信号１０４を受信するエンコーダ１００を含む。エンコーダは、受信したオーディオ信号１０４に基づいて、エンコーダ１００の出力１０６に付与される符号化オーディオ信号を生成するよう構成される。エンコーダは、オーディオ信号のフレームがＭＤＣＴを用いて符号化されるように、符号化オーディオ信号を供給し得る。ある実施形態によれば、エンコーダ１００は、参照番号１１０で示すように、オーディオ信号の無線送信を図るためのアンテナ１０８を含む。他の実施形態では、エンコーダは、たとえば参照記号１１２で示すように、有線接続ラインを介して出力１０６に付与される符号化オーディオ信号を出力し得る。

このシステムは、エンコーダ１０６により付与される符号化オーディオ信号が受信される入力１２２を有するデコーダ１２０をさらに含む。ある実施形態によれば、エンコーダ１２０は、エンコーダ１００からの無線送信１１０を受信するためのアンテナ１２４を含み得る。他の実施形態では、入力１２２は、符号化オーディオ信号を受信するための有線送信１１２への接続を提供し得る。デコーダ１２０の入力１２２で受信されたオーディオ信号は、デコーダ１２０によって復号されるべき受信されたオーディオ信号の符号化されたフレームを置換する必要があるかどうかを決定する検出器１２６へ付与される。たとえば、ある実施形態によれば、検出器１２６が、前のフレームに追随すべきフレームが、デコーダで受信されていないと決定するか、または受信フレームが、デコーダ側１２０での復号化を回避するエラーを有すると決定される場合などが、これに当たる。復号化のために提示されたフレームが入手可能であると検出器１２６で決定される場合、このフレームは、デコーダ１３０の出力において、復号されたオーディオフレームのストリームまたは復号化されたオーディオ信号１３２を出力できるように、符号化フレームの復号化が行われる復号化ブロック１２８へ転送される。

現在処理対象のフレームは、置換が必要であるとブロック１２６で決定される場合、置換が必要でかつ検出器回路１２６でバッファされ得る現在のフレームに先行するフレームを、音検出器１３４へ付与して、置換のスペクトルが、音の成分を含むかどうかを決定する。音の成分が付与されない場合には、ノイズ生成器または符号スクランブル等他の別の従来技術のノイズ発生方法を用いて生成され得る非予測係数であるスペクトル係数を生成するノイズ生成器／メモリブロック１３６へ、このことが示される。代替的には、スペクトルの非音の成分のための予め規定されたスペクトル係数も、ルックアップテーブル等のメモリから入手できる。代替的には、スペクトルが音の成分を含まないと決定された場合、非予測スペクトル係数を生成する代わりに、置換に先行するフレームのうちの１つのフレームの対応するスペクトル特性を選択してもよい。

音検出器１３４が、スペクトルが音の成分を含むことを検出した場合、それぞれの信号が、後述する本発明の実施形態によれば、置換フレームのためのスペクトル係数を予測する予測部１３８に対して示される。置換フレームについて決定されたそれぞれの係数が、復号化ブロック１２８へ付与され、そこで、これらのスペクトル係数に基づいて、損失または置換フレームの復号化が実行される。

図１に示すとおり、音検出器１３４、ノイズ生成器１３６および予測器１３８は、デコーダ１２０における置換フレーム用のスペクトル係数を得るための装置１４０を規定する。図示する要素は、適切にプログラムされた処理ユニット等のハードウェアおよび／またはソフトウェアコンポーネントを用いて実現することができる。

図２は、実施形態による本発明のアプローチのフロー図を示す。第１のステップＳ２００において、図１に示すように、たとえば、デコーダ１２０で、符号化オーディオ信号が受信される。受信されたオーディオ信号は、ＭＤＣＴを用いて符号化されたそれぞれのオーディオフレームの形式になり得る。

ステップＳ２０２において、デコーダ１２０によって処理されるべき現在のフレームが置換される必要があるか否かが決定される。デコーダ側で置換フレームが必要になり得るのは、受信したデータ等にエラーがあり、フレームが処理できないか、フレームが受信器／デコーダ１２０への送信中に失われたか、またはたとえばエンコーダ側からデコーダ側へのフレーム送信中の遅延によってオーディオ信号受信機１２０でのフレームの受信が間に合わなかった場合等である。

ステップ２０２において、たとえばデコーダ１２０内の検出器１２６により、デコーダ１２０によって、現在処理対象のフレームは置換が必要であると決定されると、方法は、ステップＳ２０４へ進み、周波数領域封じ込めが必要か否かのさらなる決定が行われる。ある実施形態によれば、最後の２つの受信フレームについてピッチ情報が入手可能で、かつ、ピッチが変化しない場合には、ステップＳ２０４で、周波数領域封じ込めが望ましいと決定される。さもなければ、時間領域封じ込めが適用されるべきと決定される。代替的な実施形態では、ピッチは、復号化された信号および、ここでも、ピッチが存在し、サブフレームにおいて一定ならば、周波数領域封じ込めが使用され、それ以外では時間領域封じ込めが適用されるという決定を用いて、サブフレームごとに計算され得る。

本発明の他の実施形態では、たとえば、デコーダ１２０に検出器１２６等の検出器が設けられ、置換フレームに先行する最後から２番目のフレーム、最後のフレームまたはこれらのフレームの両方のスペクトルをさらに分析して、見つかったピークに基づいて、信号がモノラルかまたは多声かを決定するような態様で構成され得る。信号が多声である場合には、ピッチ情報の存在に関係なく、周波数領域封じ込めが使用されることになる。代替的には、デコーダ１２０における検出器１２６は、置換フレームに先行する１以上のフレームをさらに分析して、信号における音の成分の数が予め規定された閾値を超えるか否かを示すような態様で構成されてもよい。信号における音の成分の数が、閾値を超える場合には、周波数領域封じ込めが使用される。

ステップＳ２０４で、たとえば、上記の基準を適用して、周波数領域封じ込めが使用されることが決定される場合、方法は、ステップＳ２０６へ進み、オーディオ信号のスペクトルの音の部分または音の成分が、先行するフレームのスペクトルに存在する１以上のピーク、すなわち、置換フレームに先行する最後から２番目のフレームのスペクトルおよび最後のフレームのスペクトルにおいて実質的に同じ場所に存在する１以上のピークに基づいて検出される。ステップＳ２０８において、スペクトルの音の部分が存在するか否か決定される。スペクトルの音の部分が存在する場合には、方法は、ステップＳ２１０へ進み、たとえば、先行するフレーム、すなわち最後のフレームから２番目のフレームおよび最後のフレームから引き出せる情報に基づいて、置換フレームのスペクトルにおける１以上のピークおよびその周辺についての１以上のスペクトル係数が予測される。ステップＳ２１０で予測されるスペクトル係数（単数または複数）は、たとえば図１に示す復号化ブロック１２８へ転送され、それによりステップＳ２１２に示すように、ステップ２１０からのスペクトル係数に基づいて符号化オーディオ信号のフレームの復号化を実行することができる。

ステップＳ２０８において、スペクトルの音の部分が存在しないと決定されると、置換フレームについての非予測スペクトル係数または置換フレームに先行するフレームの対応のスペクトル係数を使用するステップＳ２１４へ進み、それらは、フレームを復号化するためのステップＳ２１２へ付与される。

ステップＳ２０４において、周波数領域封じ込めが望ましくないと決定される場合、方法は、ステップＳ２１６へ進み、置換されるフレームの従来技術による時間領域封じ込めが行われ、ステップＳ２１６におけるプロセスにより生成されるスペクトル係数に基づいて、符号化信号のフレームがステップＳ２１２で復号される。

ステップＳ２０２において、現在処理されるオーディオ信号に置換フレームがないと決定される場合、すなわち、現在処理されるフレームが、従来技術のアプローチを用いて完全に復号できる場合、方法は、符号化オーディオ信号のフレームを復号化するためのステップ２１２へ直接進む。

以下では、本発明の実施形態によるさらなる詳細について説明する。

＜パワースペクトルの計算＞
ｍ−２のインデクスを付けた最後から２番目のフレームについて、ＭＤＳＴ係数Ｓ_m-2を、復号された時間領域信号から直接計算する。

最後のフレームについては、最後に受信したフレームのＭＤＣＴ係数Ｃ_m-1から計算される推定ＭＤＳＴスペクトルを用いる（たとえば、非特許文献８を参照）。

フレームｍ−２およびｍ−１のためのパワースペクトルは、以下のように計算される。

ここで、
Ｓ_m-1（ｋ）は、フレームｍ−１におけるＭＤＳＴ係数であり、Ｃ_m-1（ｋ）は、フレームｍ−１におけるＭＤＣＴ係数であり、Ｓ_m-2（ｋ）は、フレームｍ−２におけるＭＤＳＴ係数であり、Ｃ_m-2（ｋ）は、フレームｍ−２におけるＭＤＣＴ係数である。

得られたパワースペクトルは、以下のとおり平滑化される。

＜音の成分の検出＞

最後の２つのフレーム（ｍ−２およびｍ−１）に存在するピークは、音の成分を表すものとして考えられる。ピークが連続して存在することで、音の成分とノイズ信号におけるランダムに発生するピークの区別ができる。

＜ピッチ情報＞
ピッチ情報が入手可能であると想定する。
・エンコーダ側で計算され、ビットストリームで得られるか、または
・デコーダ側で計算される。

ピッチ情報は、以下の条件のすべてが満たされた場合にのみ使用される。
・ピッチゲインがゼロより大きい。
・ピッチラグが、最後の２つのフレームにおいて一定である。
・基本周波数が１００Ｈｚより大きい。

基本周波数は、ピッチラグから計算される。

Ｎ＞５で、Ｆ’₀＝ｎ・Ｆ₀が存在する場合、スペクトルにおいて高調波が最強になり、Ｆ₀は、Ｆ’₀に設定される。高調波ｎ・Ｆ₀の位置に強いピークが十分に存在しない場合には、Ｆ₀は、信頼できない。

ある実施形態によれば、ピッチ情報は、図３のＭＤＣＴ窓の右側の境界に整列するフレーミングに対して計算される。この整列は、封じ込めを必要とする部分である重複領域３００もピッチラグ計算に用いられるので、信号の音の部分の外挿には有益である。

他の実施形態では、ピッチ情報は、ビットストリームで転送され、かつ、クリーンなチャネルにおいてコーデックにより使用され得るので、封じ込めについて追加のコストなしで得られる。

＜エンベロープ＞
以下に、後述するピークピッキングに必要なスペクトルエンベロープを得るための手順を示す。

最後の２つのフレームにおける各パワースペクトルのエンベロープは、長さＬの移動平均フィルタを用いて計算される。

フィルタの長さは、基本周波数に依拠する（かつ範囲［７,２３］に限定され得る）。

ＬとＦ₀のこの関係は、非特許文献９に記載の手順に類似するが、本発明においては、ルックアヘッドを含む現在のフレームからのピッチ情報が使用される一方、非特許文献９は、話者に特定的な平均ピッチを使用する。基本周波数が入手可能でないかまたは信頼できない場合には、フィルタの長さＬは１５に設定される。

＜ピークピッキング＞
ピークは、フレームｍ−１のパワースペクトルにおいて、予め規定された閾値に基づいてサーチされる。フレームｍ−１におけるピークの場所に基づいて、フレームｍ−２のパワースペクトルにおけるサーチのための閾値を適応させる。こうして、両方のフレーム（ｍ−１およびｍ−２）に存在するピークが見つけられるが、正確な場所は、フレームｍ−２におけるパワースペクトルに基づく。この順序が重要なのは、フレームｍ−１におけるパワースペクトルが推定ＭＤＳＴのみを用いて計算されるため、ピークの場所が正確でないためである。また、フレームｍ−２にのみ存在し、フレームｍ−１に存在しない音で継続することは望ましくないので、フレームｍ−１のＭＤＣＴが使用されることも重要である。図４は、実施形態によってピークをピッキングするための上記のステップを表すフロー図である。ステップＳ４００において、１以上の予め規定された閾値に基づいて、置換フレームに先行する最後のフレームｍ−１のパワースペクトルにおいて、ピークのサーチが行われる。ステップＳ４０２において、１以上の閾値が適応される。ステップＳ４０４において、１以上の適応された閾値に基づいて置換フレームに先行する最後から２番目のフレームｍ−２のパワースペクトルにおいてピークがサーチされる。

図５は、１以上のピークが検出されるフレームのパワースペクトルを表す模式図である。図５において、上記のとおり決定されるか、または他の既知のアプローチにより決定され得るエンベロープ５００が示される。図５において、円で表すいくつかのピーク候補が示される。ピーク候補からピークを見つけることについて以下により詳細に示す。図５は、偽ピーク５０４と共に見つかったピーク５０２およびノイズを表すピーク５０６示す。また、スペクトル係数の左足５０８と右足５１０が示される。

ある実施形態によれば、置換フレームに先行する最後のフレームｍ−１のパワースペクトルＰ_m-1におけるピークは、以下のステップを用いて見つけられる（図４のステップＳ４００）。

・以下の基準のすべてを満たす場合、スペクトル係数は、音のピーク候補として分類される。
・平滑化されたパワースペクトルとエンベロープ５００との比が、ある閾値より大きい。

・平滑化されたパワースペクトルとエンベロープ５００との比が、周囲の隣接するものよりも大きい、すなわち極大値であることを意味する。

・スペクトル係数ｋの左足５０８および右足５１０を見つけ、かつ、左足５０８と右足５１０との間の最大値を見つけることにより、極大値が決定される。このステップは、図４で示すとおり必要とされ、偽ピーク５０４がサイドローブまたは量子化雑音により生じ得る。

最後から２番目のフレームｍ−２のパワースペクトルＰ_m-2におけるピークのサーチのための閾値は、以下のとおり設定される（図４におけるステップＳ４０２）。

・Ｐ_m-1におけるインデクスｉのピークの周辺のスペクトル係数において、以下のとおりである。

・Ｆ₀が入手可能であり、かつ、信頼できる場合、各∈［１，Ｎ］について、ｋ＝［ｎ・Ｆ₀］およびｆｒａｃ＝ｎ・Ｆ₀−ｋを設定する。

Ｐ_m-1におけるインデクスｉのピーク周辺でｋ∈［ｉ−１，ｉ＋１］ならば、第１のステップで設定した閾値は、上書きされる。
・他のすべてのインデクスについて

である。

最後から２番目のフレームｍ−２のパワースペクトルＰ_m-2において、以下のステップによって音のピークが見つけられる（図４におけるステップＳ４０４）。

・以下が成り立つ場合、スペクトル係数は、音のピークとして分類される。すなわち
・パワースペクトルとエンベロープとの比が、閾値より大きい。

・パワースペクトルとエンベロープとの比が、周りの隣接するものよりも大きい、すなわち極大値である。

・スペクトル係数ｋの左足５０８および右足５１０を見つけ、かつ、左足５０８と右足５１０との間の最大値を見つけることにより極大値を決定する。

・左足５０８および右足５１０は、音のピーク５０２の周辺、すなわち音の封じ込め法が用いられる音の成分のスペクトルビンも規定する。

上記の方法を用いることにより、図４において、右ピーク５０６がフレームの１つにのみ存在する、すなわち、フレームｍ−１とｍ−２の両方には存在しないことがわかる。したがって、このピークは、ノイズとしてマークされ、音の成分としては選択されない。

このように、位相シフトが存在し、ここで、ｌは、ピークのインデクスである。したがって、位相シフトが、入力周波数の端数部分＋奇数スペクトル係数についてのπの付加的な加算に依拠する。

周波数Δｌの端数部分は、たとえば非特許文献１０に記載の方法を用いて得ることができる。

・サブバンドｋ＝ｌにおける信号の大きさが極大値であるとすれば、Δｌは、サブバンドｋ＝ｌ−１およびｋ＝ｌ＋１における信号の大きさの比を計算することにより、すなわち、以下を評価することにより決定され得る。

ここで、窓の振幅特性の近似が用いられる。

ここで、ｂはメインローブの幅である。この式の定数Ｇは、推定の最大絶対誤差を最小化するために、２７．４／２０．０に調節されている。

・近似の周波数応答を置換し、かつ、以下のとおりなら

次の式が導かれる。

＜ＭＤＣＴ予測＞
すべてのスペクトルピークおよびそれらの周辺について、ＭＤＣＴ予測が用いられる。他のすべてのスペクトル係数について、符号スクランブルまたは同様のノイズ発生方法を用いることができる。

見つかったピークおよびそれらの周辺に属するすべてのスペクトル係数は、Ｋとして示される集合に属する。たとえば、図５において、ピーク５０２は、音の成分を表すピークとして識別された。ピーク５０２の周辺は、たとえば左足５０８と右足５１０との間のスペクトル係数＋足５０８および５１０の係数等、予め規定された数の隣接するスペクトル係数により表すことができる。

実施形態によれば、ピークの周辺は、ピーク５０２の周りの予め規定された数の係数により規定される。ピークの周辺は、ピーク５０２の左の第１の数の係数およびピーク５０２の右の第２の数の係数を含み得る。ピーク５０２の左の係数の第１の数およびピーク５０２の右の係数の第２の数は、等しくてもよいし、異なっていてもよい。

ＥＶＳ標準を適用する実施形態によれば、予め規定された数の隣接する係数が第１のステップにおいて、たとえば音の成分を検出する前に、設定されるか固定され得る。ＥＶＳ標準においては、ピーク５０２から左の３つの係数、右の３つの係数およびピーク５０２、すなわち合計７つの係数が使用され得る（この数は、複雑性を理由に選択したが、他の数でも同様に作用する）。

実施形態によれば、ピークの周辺の大きさは、適応性がある。音の成分を表すとして識別されたピークの周辺は、２つのピークの周辺部が重ならないように修正され得る。実施形態によれば、ピークは、常に、その周辺部と共にのみ考慮され、これらは、共に音の成分を規定する。

失われたフレームにおけるＭＤＣＴ係数の予測については、最後から２番目のフレームにおけるパワースペクトル（複素数スペクトルの大きさ）が使用される。

置換フレームにおける失われたＭＤＣＴ係数は、以下のとおり推定される。

＜位相予測＞

見つかったすべてのスペクトルについて、フラクショナル周波数Δｌを上記のとおり計算し、かつ位相シフトは、以下のようになる。

は、フレーム間の位相シフトである。これは、ピークおよびその周辺における係数について等しい。
ピーク位置およびその周辺部（ｋ∈Ｋ）における各スペクトル係数のための位相が、以下の式を用いて最後から２番目に受信されたフレームにおいて計算される。

失われたフレームにおける位相を以下のとおり予測する。

ここで、は、フレームｍ−２におけるパワースペクトル（複素数スペクトルの大きさ）である。

このＭＤＳＴ推定および受信したＭＤＣＴから、フレームｍ−１における位相の推定値が以下のように得られる。

推定位相を用いて、位相シフトを精査する。

損失フレームにおける位相は、以下のとおり予測される。

この実施形態による位相シフトリファインメントにより、背景ノイズが存在する場合またはシヌソイドの周波数が変化する場合に、シヌソイドの予測が改善される。一定周波数で背景ノイズがない非重複シヌソイドについては、位相シフトは、ピーク周辺のＭＤＣＴ係数のすべてについて同じである。

使用される封じ込めは、音の部分と、ノイズ部分とでは異なるフェードアウト速度を有し得る。信号の音の部分のフェードアウトスピードが、複数のフレーム損失後に、より遅ければ、音の部分が支配的になる。シヌソイド成分の様々な位相シフトによるシヌソイドの変動が、不快なアーチファクトを作り出す。

この問題を克服するため、実施形態によれば、第３の損失フレームからはじめて、ピーク（インデクスｋ）の位相差をその周辺の全スペクトル係数について使用する（ｋ-ｌは、左足のインデクスであり、ｋ+ｕは、右足のインデクスである）。

他の実施形態によれば、遷移が提供される。第２の損失フレームにおける高い減衰を有するスペクトル係数は、ピークの位相差を使用し、小さい減衰の係数は、訂正された位相差を使用する。

＜大きさのリファインメント＞
他の実施形態によれば、上記の位相シフトリファインメントを適用する代わりに、大きさのリファンメントを使用する他のアプローチを適用してもよい。

ここで、ｌは、ピークのインデクスであり、フラクショナル周波数Δｌを、上記のとおり計算する。位相シフトは、以下のとおりである。

他の実施形態によれば、エネルギの増大を回避するため、精査した大きさは、最後から２番目の損失フレームからの大きさにより制限され得る。

さらに他の実施形態によれば、大きさの減少を、それをフェードさせるために使用し得る。

＜「間のフレーム＞を用いた位相予測＞
置換フレームに先行するフレームについてのスペクトル係数の予測を基礎にする代わりに、他の実施形態では、位相予測に、「間のフレーム」（「中間」フレームとも呼ぶ）を使用し得る。図６は、「間のフレーム」の例を示す。図６において、置換フレームに先行する最後のフレーム６００（ｍ−１）、置換フレームに先行する最後から２番目のフレーム６０２（ｍ−２）および間のフレーム６０４（ｍ−１．５）が、関連のＭＤＣＴ窓６０６〜６１０と共に示される。

ＭＤＣＴ窓の重複が５０％未満の場合、損失フレームにより近いＣＭＤＣＴスペクトルを得ることができる。図６においては、２５％のＭＤＣＴ窓重複の例を示す。これにより、ＭＤＣＴ窓６０６または６０８に等しく、ただしコーデックフレーミングからフレーム長さの半分だけシフトさせたダッシュで示す窓６１０を用いて、間のフレーム６０４（ｍ−１．５）のＣＭＤＣＴスペクトルを得ることができる。間のフレーム６０４（ｍ−１．５）は、時間において損失フレーム（ｍ）により近いので、そのスペクトル特性は、最後から２番目のフレーム６０２（ｍ−２）と損失フレーム（ｍ）との間のスペクトル特性よりも、損失フレーム（ｍ）のスペクトル特性により類似することになる。

この実施形態では、ＭＤＳＴ係数Ｓ_m-1.5およびＭＤＣＴ係数Ｃ_m-1.5両方の計算を、ＭＤＳＴおよびＣＭＤＣＴを構成するＭＤＣＴで、復号された時間領域信号から直接的に行う。代替的には、ＣＭＤＣＴを、隣接する既存のＭＤＣＴ係数からマトリックス演算を用いて得ることができる。

パワースペクトル計算を上記のように行い、音の成分の検出を、ｍ−２番目のフレームをｍ−１．５番目のフレームで置換して上記のとおり行う。

損失フレームにおけるＭＤＣＴ係数の予測について、ｍ−１．５フレームからの大きさを使用する。

損失ＭＤＣＴ係数は、以下のとおり推定される。

さらに、実施形態によれば、上記の位相シフトリファインメントを適用することができる。

さらに、ピーク周辺の全スペクトル係数についての位相シフトからピークの位相シフトへの収束を上記のように用いることができる。

いくつかの態様について、装置に関連して説明したが、これらの態様が対応する方法の説明も表すことは明らかであり、その場合、ブロックまたは装置が方法ステップまたは方法ステップの特徴に相当する。同様に、方法ステップに関連して説明した態様も、対応の装置の対応のブロックもしくはアイテムまたは特徴の説明を表す。

特定の実装要件に依拠して、本発明の実施形態を、ハードウェアまたはソフトウェアで実装することができる。実装は、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する（または協働することができる）電子的に可読な制御信号を記憶した、フロッピー（登録商標）ディスク、ＤＶＤ，ブルーレイ、ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭまたはフラッシュメモリ等のデジタル記憶媒体を用いて行うことができる。したがって、デジタル記憶媒体は、コンピュータ可読である。

本発明によるいくつかの実施形態は、本件明細書に記載の方法の１つを実行するように、プログラマブルコンピュータシステムと協働することができる、電子的に可読な制御信号を有するデータキャリアを含む。

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実現することが可能で、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読なキャリア上に記憶することができる。

他の実施形態は、機械可読なキャリア上に記憶される、本件明細書に記載の方法の１つを実行するためのコピュータプログラムを含む。

したがって、言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行された時に、本件明細書に記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法の他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録するデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。

したがって、本発明の方法の他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、インターネットを経由する等データ通信接続を経由して転送されるように構成され得る。

他の実施形態は、たとえば、本件明細書に記載の方法の１つを実行するよう構成または適合されたコンピュータまたはプログラマブル論理装置等の処理手段を含む。

他の実施形態は、本件明細書に記載の方法の１つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。

いくつかの実施形態において、プログラマブル論理装置（フィールドプログラマブルゲートアレイ等）を使用して、本件明細書に記載の方法の機能性の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイが、本件明細書に記載の方法の１つを実行するために、マイクロプロセッサと協働し得る。一般に、方法は、なんらかのハードウェア装置により実行されることが好ましい。

上記の実施形態は、本発明の原則を説明するに過ぎない。当業者には、本件明細書に記載の構成および詳細の変形例および修正例が明らかになることは当然である。したがって、特許請求の範囲によってのみ限定され、本件明細書における実施形態の記載および説明により提示される特定の詳細によっては限定されないことを意図する。

Claims (39)

1. オーディオ信号の置換フレームのためのスペクトル係数を得る方法であって、
   置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）のスペクトルに存在するピーク（５０２）に基づいてオーディオ信号のスペクトルの音の成分を検出するステップ（Ｓ２０６）と、
   スペクトルの音の成分について、置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてスペクトル係数を予測するステップ（Ｓ２１０）と、
   スペクトルの非音の成分について、置換フレーム（ｍ）のための非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数を使用するステップ（Ｓ２１４）とを含む、方法。
2. 置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測位相に基づいて予測され、かつ
   置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）間の位相シフトに基づいて予測される、請求項１に記載の方法。
3. 置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測位相に基づいて予測され、かつ
   置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルに基づいて予測される、請求項２に記載の方法。
4. 置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行するフレーム（ｍ−２）におけるピークおよびその周辺の各スペクトル係数についての位相に基づいて予測される、請求項２または請求項３に記載の方法。
5. 置換フレーム（ｍ）に先行するフレーム（ｍ−１、ｍ−２）間の位相シフトが、それぞれのフレームにおけるピークとその周辺における各スペクトル係数について等しい、請求項２から請求項４のいずれか１項に記載の方法。
6. 音の成分がピークおよびその周辺により規定される、請求項１から請求項５のいずれか１項に記載の方法。
7. ピークの周辺は、ピーク（５０２）の周りの予め規定された数の係数により規定される、請求項１から請求項６のいずれか１項に記載の方法。
8. ピークの周辺は、ピーク（５０２）の左側の第１の数の係数およびピーク（５０２）の右側の第２の数の係数を含む、請求項１から請求項７のいずれか１項に記載の方法。
9. 第１の数の係数が、左足（５０８）とピーク（５０２）の間の係数＋左足（５０８）の係数を含み、第２の数の係数が、右足（５１０）とピーク（５０２）の間の係数＋右足（５１０）の係数を含む、請求項８に記載の方法。
10. ピーク（５０２）から左の係数の第１の数と、ピーク（５０２）から右の係数の第２の数が等しいかまたは異なる、請求項８または請求項９に記載の方法。
11. ピーク（５０２）から左の係数の第１の数が３であり、かつピーク（５０２）から右の係数の第２の数が３である、請求項１０に記載の方法。
12. ピーク（５０２）の周りの予め規定された数の係数が、音の成分を検出するステップに先立って設定される、請求項６から請求項１１のいずれか１項に記載の方法。
13. ピークの周辺の大きさは、適応性がある、請求項１から請求項１２のいずれか１項に記載の方法。
14. ピークの周辺が、２つのピークのまわりの周辺が重複しないように選択される、請求項１３に記載の方法。
15. 置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測される位相に基づいて予測され、
    置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の精査された位相シフトに基づいて予測され、
    置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさ、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトおよび最後のフレーム（ｍ−１）の実スペクトルに基づいて決定され、かつ
    精査された位相シフトが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相と置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相とに基づいて決定される、請求項２に記載の方法。
16. 位相シフトの精査が、連続的な損失フレームの数に基づいて適応され得る、請求項１５に記載の方法。
17. 第３の損失フレームからはじめて、ピークについて決定される位相フレームを、ピーク（５０２）の周囲のスペクトル係数を予測するために使用する、請求項１６に記載の方法。
18. 置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）における位相シフトが、予め規定された閾値以下である場合、第２の損失フレームにおいてスペクトル係数を予測するために、ピーク（５０２）について決定された位相シフトを、周辺のスペクトル係数についてスペクトル係数を予測するために使用し、かつ置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）における位相シフトが、予め規定された閾値を上回る場合、それぞれの周辺のスペクトル係数について決定された位相シフトを、周辺のスペクトル係数のスペクトル係数を予測するために使用する、請求項１７に記載の方法。
19. 置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさと、置換フレーム（ｍ）の複素数スペクトルの予測される位相とに基づいて予測され、かつ
    置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトの２倍に基づいて予測される、請求項２に記載の方法。
20. 置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の実スペクトルの実スペクトル係数、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の位相シフトに基づいて決定される、請求項１９に記載の方法。
21. 置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの精査された大きさが、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）の複素数スペクトルの大きさにより制限される、請求項１９または請求項２０に記載の方法。
22. 置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺ついてのスペクトル係数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）と最後から２番目のフレーム（ｍ−２）との間の中間フレームの複素数スペクトルの大きさおよび置換フレーム（ｍ）の複素数スペクトルの予測される位相に基づいて予測される、請求項２に記載の方法。
23. 置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する中間フレームの複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレーム間の位相シフトに基づいて予測され、または
    置換フレーム（ｍ）の複素数スペクトルの位相が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレーム間の精査された位相シフトに基づき予測され、精査された位相シフトが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）の複素数スペクトルの位相および置換フレーム（ｍ）に先行する中間フレームの複素数スペクトルの位相に基づいて決定される、請求項２２に記載の方法。
24. オーディオ信号のスペクトルの音の成分を検出するステップが、
    １以上の予め規定された閾値に基づいて、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のスペクトルにおけるピークをサーチするステップ（Ｓ４００）と、
    １以上の閾値を適応させるステップ（Ｓ４０２）と、
    １以上の適応された閾値に基づいて、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）のスペクトルにおけるピークをサーチするステップ（Ｓ４０４）とを含む、請求項１から請求項２３のいずれか１項に記載の方法。
25. １以上の閾値を適応させるステップが、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のスペクトルおよびスペクトルエンベロープに基づくかまたは基本周波数に基づいて、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）において見つかったピーク周辺の領域において、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）におけるピークをサーチするための１以上の閾値を設定するステップを含む、請求項２４に記載の方法。
26. 基本周波数が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）および置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のルックアヘッドを含む信号についてのものである、請求項２５に記載の方法。
27. 置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）のルックアヘッドが、ルックアヘッドを用いてエンコーダ側で計算される、請求項２６に記載の方法。
28. １以上の閾値を適用させるステップ（Ｓ４０２）が、置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）において見つかったピークの周辺ではない領域において、置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）におけるピークをサーチするための１以上の閾値を、予め規定された閾値に設定するステップを含む、請求項２４から請求項２７のいずれか１項に記載の方法。
29. 置換フレーム（ｍ）について、オーディオ信号の音の成分のスペクトル係数の予測を用いて、時間領域封じ込めまたは周波数領域封じ込めを適用するかを決定するステップ（Ｓ２０４）をさらに含む、請求項１から請求項２８のいずれか１項に記載の方法。
30. 置換フレーム（ｍ）に先行する最後のフレーム（ｍ−１）および置換フレーム（ｍ）に先行する最後から２番目のフレーム（ｍ−２）が、一定のピッチを有するか、または置換フレーム（ｍ）に先行する１以上のフレームの分析が、信号における音の成分の数が予め規定された閾値を超えることを示す場合、周波数領域封じ込めが適用される、請求項２９に記載の方法。
31. オーディオ信号のフレームが、ＭＤＣＴを用いて符号化される、請求項１から請求項３０のいずれか１項に記載の方法。
32. 置換フレーム（ｍ）が、受信データにおけるエラー等のせいで、オーディオ信号受信機で処理できないフレーム、オーディオ信号受信機への送信中に失われたフレーム、またはオーディオ信号受信機で受信が間に合わなかったフレームを含む、請求項１から請求項３１のいずれか１項に記載の方法。
33. 符号スクランブル等の雑音発生方法またはルックアップテーブル等のメモリからの予め規定されたスペクトル係数を用いて、非予測スペクトル係数が生成される、請求項１から請求項３２のいずれか１項に記載の方法。
34. コンピュータで実行されると、請求項１から請求項３３のいずれか１項に記載の方法を実行する命令を記憶するコンピュータ可読媒体を含む非一時的コンピュータプログラム製品。
35. オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るための装置であって、
    置換フレーム（ｍ）に先行するフレームのスペクトルにおいて存在するピークに基づいてオーディオ信号のスペクトルの音の成分を検出するよう構成される検出器（１３４）と、
    置換フレーム（ｍ）のスペクトルにおけるピーク（５０２）およびその周辺についてのスペクトル係数を、スペクトルの音の成分について予測するよう構成される予測器（１３８）とを含み、
    スペクトルの非音の成分について、置換フレーム（ｍ）の非予測スペクトル係数または置換フレーム（ｍ）に先行するフレームの対応するスペクトル係数が使用される、装置。
36. オーディオ信号の置換フレーム（ｍ）のためのスペクトル係数を得るための装置であって、請求項１から請求項３３のいずれか１項に記載の方法に従って動作するよう構成される、装置。
37. 請求項３５または請求項３６に記載の装置を含むオーディオデコーダ。
38. 請求項３７に記載のオーディオデコーダを含むオーディオ受信機。
39. オーディオ信号を送信するためのシステムであって、
    符号化されたオーディオ信号を生成するよう構成されるエンコーダ（１００）と、
    符号化されたオーディオ信号を受信し、かつ符号化されたオーディオ信号を復号するよう構成される請求項３７に記載のデコーダ（１２０）とを含む、システム。

Images