JP2016511433A - オーディオフレーム損失コンシールメント - Google Patents

Abstract

過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることを含む、前記損失オーディオフレームの前記代替フレームを生成することにより、受信オーディオ信号の損失オーディオフレームのコンシールメントを行う。

Description

本発明は、受信オーディオ信号の損失オーディオフレームのコンシールメントを行う方法に関する。本発明はまた、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダに関する。本発明は更に、デコーダを含む受信機、及びコンピュータプログラム並びにコンピュータプログラム製品にも関連する。

従来のオーディオ通信システムは、音声信号及びオーディオ信号をフレームごとに送信する。送信側は、まず信号を例えば２０〜４０ｍｓの短いセグメントとして配列する。これらは順次、符号化され、例えば送信パケットにおける論理ユニットとして送信される。受信側のデコーダは、これらの論理ユニットの各々を復号化し、対応するオーディオ信号フレームを再構成する。再構成されたフレームは最終的に、再構成信号サンプルの連続シーケンスとして出力される。

符号化に先立って、アナログ／デジタル（Ａ／Ｄ）変換により、マイクロホンからのアナログ音声信号又はアナログオーディオ信号がデジタルオーディオサンプルのシーケンスに変換される。逆に、受信端では、再構成デジタル信号サンプルをスピーカ再生のための連続時間アナログ信号に変換する最終Ｄ／Ａ変換ステップが通常実行される。

しかし、従来の音声又はオーディオ信号の伝送システムは、伝送誤りを受け、１つ又はいくつかの伝送フレームが受信側で再構成のため利用できない状況になる場合がある。この場合、デコーダは利用不可となった各フレームの代替信号を生成する必要がある。これは、受信側のデコーダにおける、いわゆるオーディオフレーム損失コンシールメント（audio frame loss concealment）ユニットで実行される。フレーム損失コンシールメントの目的は、フレーム損失を可能な限り聴き取れないようにし、それにより、フレーム損失が再構成信号の品質に与える影響を軽減することである。

従来のフレーム損失コンシールメント方法は、コーデックの構造又はアーキテクチャに依存して、例えば過去に受信されたコーデックパラメータを反復して適用するというものである。そのようなパラメータ反復技術は、使用されるコーデックの特定のパラメータに明らかに依存しており、従って、異なる構造を有する他のコーデックには容易に適用することはできない。従来のフレーム損失コンシールメント方法は、損失フレームに対する代替フレームを生成するために、例えば過去に受信されたフレームのパラメータのフリーズと外挿を行うというものがある。ＡＭＲ又はＡＭＲ−ＷＢなどの標準化された線形予測コーデックのような多くのパラメトリック音声コーデックは、通常、デコーダのために、過去に受信されたパラメータをフリーズするか又はそれらの外挿を使用する。本質的には、この原理は、符号化／復号化のために所定のモデルを設定し、フリーズされたパラメータ又は外挿されたパラメータによって同一のモデルを適用するというものである。

多くのコーデックは、周波数領域変換の後にスペクトルパラメータに符号化モデルが適用される周波数領域符号化技術を適用する。デコーダは、受信したパラメータから信号スペクトルを再構成し、スペクトルを変換して時間信号に戻す。通常、時間信号はフレームごとに再構成される。そのようなフレームは、オーバラップ加算技術により合成され、他の可能な処理を経て最終的な再構成信号が形成される。対応するオーディオフレーム損失コンシールメントは、損失フレームに対して同一の又は少なくとも類似する復号化モデルを適用する。ここで、過去に受信されたフレームからの周波数領域パラメータがフリーズされるか又は適切に外挿され、その後、周波数／時間領域変換で使用される。

しかし、従来のオーディオフレーム損失コンシールメント方法では、品質の不足が問題となる。これは、パラメータのフリーズ、外挿技術や損失フレーム対しても同一のデコーダモデルを再適用することによって、必ずしも、過去に復号化された信号フレームから損失フレームへの円滑かつ忠実な信号発展（signal evolution）が保証されるものではないからである。そのため、可聴信号はしばしば不連続になり、品質にも影響が出る。したがって、品質低下を抑えることができるオーディオフレーム損失コンシールメントが望まれ、必要である。

本発明の実施形態の目的は、上記した課題の少なくともいくつかを解決することである。この目的及びその他の目的は、添付の独立請求項に記載の方法及び装置、並びに従属請求項に記載の態様により達成される。

一側面によれば、実施形態により、損失オーディオフレームのコンシールメントを行う方法が提供される。方法は、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行うステップを含む。更に、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルが適用される。前記代替フレームの生成は、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることを含む。

第２の側面によれば、実施形態により、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダが提供される。これにより前記デコーダは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う。前記デコーダは、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する。

第３の側面によれば、実施形態により、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダが提供される。前記デコーダは、符号化オーディオ信号を受信する入力ユニットと、フレーム損失コンシールメントユニットとを有する。前記フレーム損失コンシールメントユニットは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段を含む。前記フレーム損失コンシールメントユニットは、前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用する手段を含む。前記フレーム損失コンシールメントユニットは、更に、対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する手段を含む。

デコーダは、携帯電話等の装置に実装されうる。

第４の側面によれば、実施形態により、上記第２及び第３の側面のうちのいずれかによるデコーダを有する受信機が提供される。

第５の側面によれば、実施形態により、損失オーディオフレームのコンシールメントのために定義されるコンピュータプログラムが提供される。コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに、上記第１の側面に従う損失オーディオフレームのコンシールメントを実行させるための命令を含む。

第６の側面によれば、実施形態により、上記第５の側面に従うコンピュータプログラムを格納したコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品が提供される。

本明細書に記載される実施形態の利点は、オーディオ信号（例えば符号化音声）の伝送におけるフレーム損失による聴感への影響を軽減できるフレーム損失コンシールメントが提供されることである。一般的な利点は、損失フレームに対する再構成信号の円滑かつ忠実な発展（evolution）が提供されることである。フレーム損失の音質への影響は、従来技術と比べて大幅に低減される。

以下の説明及び添付の図面を読めば、本願実施形態の内容のさらなる特徴及び利点が明らかになろう。

代表的な窓関数を示す図。 特定の窓関数を示す図。 窓関数の振幅スペクトルの一例を示す図。 周波数ｆ_kの例示的な正弦波信号の線スペクトルを示す図。 周波数ｆ_kの窓掛け後の正弦波信号のスペクトルを示す図。 分析フレームに基づくＤＦＴのグリッドポイントの大きさに対応するバーを示す図。 ＤＦＴグリッドポイントを通るパラボラフィッティングを示す図。 実施形態に係る方法のフローチャート。 、 、 実施形態におけるデコーダを示す図。 実施形態におけるコンピュータプログラム及びコンピュータプログラム製品を示す図。

以下、本発明の実施形態を詳しく説明する。より深い理解に資するべく、特定の状況、技術といった特定の詳細説明を行うが、これらに限定されるものではない。

また、以下で示される例示の方法及び装置の少なくとも一部は、プログラムされたマイクロプロセッサ、汎用コンピュータ、あるいは特定用途集積回路（ＡＳＩＣ）と共に機能するソフトウェアの使用によって実現されうることは明らかである。さらに、実施形態の少なくとも一部が、コンピュータプログラム製品として、あるいは、コンピュータプロセッサ及び、そのプロセッサに接続され、下記の機能を実行可能な１つ以上のプログラムを含むメモリとを含むシステムとして、実現されうる。

以下の実施形態の概念は、損失オーディオフレームのコンシールメントを行う方法であって、
- 過去に受信又は再構成されたオーディオ信号の少なくとも一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
- 前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、
- 対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記代替フレームを生成する
ことにより、損失オーディオフレームのコンシールメントを行うものである。

正弦波分析
実施形態に係るフレーム損失コンシールメントは、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析（sinusoidal analysis）を含む。この正弦波分析の目的は、その信号の主正弦波成分（すなわち正弦波（sinusoids））の周波数を特定することである。これは、オーディオ信号は正弦波モデルによって生成され、限定された数の個別の正弦波から構成されていること、すなわち、オーディオ信号が以下に示すマルチ正弦波信号であることが、基本的な前提となっている。

・・・（６．１）
ただし、Ｋは、信号を構成すると想定される正弦波の数である。添字ｋ＝１…Ｋの各正弦波に対して、ａ_kは振幅、ｆ_kは周波数、φ_kは位相である。サンプリング周波数はｆ_sで表され、時間離散信号サンプルｓ（ｎ）の時間インデックスはｎで表される。

可能な限り正確な正弦波の周波数を特定することが重要である。理想的な正弦波信号は線周波数ｆ_kの線スペクトルを有すると考えられるが、その真の値を特定するには、原理上、無限の測定時間が必要になるであろう。従って、実際には、本明細書において説明される正弦波分析に使用される信号セグメントに対応する短時間の測定に基づいて線周波数を推定することしかできないので、線周波数を特定するのは難しい。以下の説明中、この信号セグメントは分析フレームと呼ばれる。別の困難な問題は、信号が実際には時変信号であり、上記の式のパラメータが時間の経過に伴って変動するということである。そこで、測定をより正確にするためには長い分析フレームを使用することが望ましいが、起こりうる信号変動に更に適切に対応するためには、測定時間を短縮することが必要になる。その適切なトレードオフとしては、例えば２０〜４０ｍｓ程度の長さの分析フレームを使用することである。

好適な実施形態によれば、正弦波の周波数ｆ_kは、分析フレームの周波数領域分析によって特定される。この目的を達成するために、例えばＤＦＴ（Discrete Fourier Transform）又はＤＣＴ（Discrete Cosine Transform）、あるいは類似の周波数領域変換により、分析フレームは周波数領域に変換される。分析フレームのＤＦＴが使用される場合、スペクトルは次式により表される。

・・・（６．２）
ただし、ｗ（ｎ）は、長さＬの分析フレームを抽出し重み付けする窓関数を表す。

図１は、典型的な窓関数を示している。これは、ｎ∈［０…Ｌ−１］に対して１であり、その他の場合は０である方形窓である。過去に受信されたオーディオ信号の時間指標は、分析フレームが時間指標ｎ＝０…Ｌ−１により参照されるように設定されると想定する。スペクトル分析に更に適すると思われる他の窓関数としては、例えばハミング窓、ハニング窓、カイザー窓又はブラックマン窓がある。

図２は、ハミング窓と方形窓との組み合わせによる、とりわけ有用な窓関数を示している。図２に示されるように、この窓は、長さＬ１のハミング窓の左半分のような立ち上がり端形状及び長さＬ１のハミング窓の右半分のような立ち下がり端形状を有し、立ち上がり端と立ち下がり端との間で、窓は、長さＬ−Ｌ１の場合に１に等しい。

窓分析フレーム｜Ｘ（ｍ）｜の振幅スペクトルのピークは、必要とされる正弦波周波数ｆ_kの近似を構成する。しかし、この近似の正確度は、ＤＦＴの周波数間隔により限定される。ブロック長ＬのＤＦＴの場合、正確度はｆ_s／（２Ｌ）に限定される。

しかし、このレベルの正確度は、本明細書において説明される方法の範囲内では低すぎるかもしれない。以下のことを考慮した結果に基づき、正確度の改善を得ることができる。

窓分析フレームのスペクトルは、正弦波モデル信号Ｓ（Ω）の線スペクトルによる窓関数のスペクトルの畳み込みと、その後に続く次式のＤＦＴのグリッドポイントにおけるサンプリングによって与えられる。

・・・（６．３）

正弦波モデル信号のスペクトル表現を使用することにより、これを次のように書き換えることができる。

・・・（６．４）

従って、サンプリングされたスペクトルは次式により表される。

・・・（６．５）
ただし、ｍ＝０…Ｌ−１

これに基づき、分析フレームの振幅スペクトルにおいて観測されるピークは、それらのピークの近傍で真の正弦波周波数が特定されるＫ個の正弦波を含む窓掛け後正弦波信号に由来するものと想定される。したがって、正弦波成分の周波数を特定することは、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することをを更に含みうる。

観測されたｋ番目のピークのＤＦＴインデックス（グリッドポイント）をｍ_kとすると、対応する周波数は、

であり、これは、真の正弦波周波数ｆ_kの近似であるとみなすことができる。真の正弦波周波数ｆ_kは、区間

の中にあると想定できる。

なお、明確にするため、正弦波モデル信号の線スペクトルのスペクトルによる窓関数のスペクトルの畳み込みは、窓関数スペクトルの周波数シフトバージョンの重畳であると理解することができ、このため、シフト周波数は正弦波の周波数である。次に、この重畳はＤＦＴグリッドポイントでサンプリングされる。窓関数のスペクトルと正弦波モデル信号の線スペクトルのスペクトルとの畳み込みが、図３〜図７に示される。図３は窓関数の振幅スペクトルの一例を示す。図４は、周波数の１つの正弦波と共に正弦波信号の一例の振幅スペクトル（線スペクトル）を示す。図５は、正弦波の周波数における周波数シフト窓スペクトルを再現し、重畳する窓掛け後正弦波信号の振幅スペクトルを示す。図６の点線は、分析フレームのＤＦＴを計算することにより取得された窓掛け後正弦波におけるＤＦＴのグリッドポイントの振幅に対応する。なお、すべてのスペクトルは正規化周波数パラメータΩによって周期的である。ここで、Ωは、サンプリング周波数ｆ_sに対応する２πである。

上記の議論に基づき、また、図６の記載に基づき、探索の分解能を、使用される周波数領域変換の周波数分解能より高くなるように増加させることにより、真の正弦波周波数のより良い近似を得ることができる。

したがって、正弦波成分の周波数の特定は、使用される周波数領域変換の周波数分解能より高い分解能で行われることが好ましく、この特定は、更に補間を含むことができる。

正弦波の周波数ｆ_kの更によい近似を発見する好適な方法の１つは、放物線補間（parabolic interpolation）を適用することである。そのような方式の１つは、ピークを取り囲むＤＦＴ振幅スペクトルのグリッドポイントを通してパラボラフィッティングを行い、放物線最大値に属する各々の周波数を計算することである。放物線の次の例示の適切な選択肢は２である。詳細には、以下の手順を適用することができる。

１）窓掛け後分析フレームのＤＦＴのピークを特定する。ピーク探索はピークの数Ｋ及びピークの対応するＤＦＴインデックスを出力する。ピーク探索は、通常、ＤＦＴ振幅スペクトル又は対数ＤＦＴ振幅スペクトルに対して実行可能である。

２）対応するＤＦＴインデックスｍ_kを有するピークｋ（ｋ＝１…Ｋ）ごとに、３つのポイント

を通してパラボラフィッティングを行う。その結果、次式により定義される放物線の放物線係数ｂ_k（０）、ｂ_k（１）、ｂ_k（２）が得られる。

図７は、グリッドポイントＰ₁，Ｐ₂，Ｐ₃を通るパラボラフィッティングを示している。

３）Ｋ個の放物線の各々に対して、その放物線が最大値を有するｑの値に対応する補間周波数インデックス

を計算する。正弦波周波数ｆ_kの近似として

を使用する。

正弦波モデルの適用
以下、実施形態に係るフレーム損失コンシールメント演算を実行するための正弦波モデルの適用について説明する。

対応する符号化情報が利用不可能であるため、すなわちフレームが消失したため、符号化信号の所定のセグメントをデコーダにより再構成できない場合、このセグメントより過去の信号の利用可能な部分を、プロトタイプフレームとして使用できる。ｙ（ｎ）（ただし、ｎ＝０…Ｎ−１）を、代替フレームｚ（ｎ）が生成されなければならない利用不可能セグメントであるとし、ｎ＜０の場合のｙ（ｎ）を、過去に復号された利用可能信号であるとすると、長さＬ及び開始インデックスｎ_-1の利用可能信号のプロトタイプフレームが窓関数ｗ（ｎ）によって抽出され、例えば次式のＤＦＴによって周波数領域に変換される。

窓関数は、先に正弦波分析に関して説明した窓関数のうち１つでありうる。数値の複雑さを軽減するために、周波数領域変換後のフレームは、正弦波分析において使用されるフレームと同一であるのが好ましい。

次のステップにおいて、想定正弦波モデルが適用される。想定正弦波モデルによれば、プロトタイプフレームのＤＦＴを次のように書き表すことができる。

この式は、分析部においても使用される。以下詳しく説明する。

次に、使用される窓関数のスペクトルが０にごく近い周波数範囲において重大な寄与をすると理解される。図３に示されるように、窓関数の振幅スペクトルは、０にごく近い周波数に対しては大きく、そうでない周波数に対しては小さい（サンプリング周波数の２分の１に対応する−π〜πの正規化周波数範囲内）。従って、近似として、窓スペクトルＷ（ｍ）は、区間Ｍ＝［−ｍ_min，ｍ_max］（ｍ_min及びｍ_maxは小さな正の整数）に対してのみ０ではないと仮定する。特に、窓関数スペクトルの近似は、ｋごとに、上記の式中のシフトされた窓スペクトルの寄与が厳密に互いに重なり合わないように使用される。上記の式において、周波数インデックスごとに、１つの被加数からの、すなわち１つのシフトされた窓スペクトルからの寄与のみが常に最大である。これは、上記の式が下記の近似式に縮小されることを意味する。

非負であるｍ∈Ｍ_kに対して、ｋごとに、

ここで、Ｍ_kは、整数区間

を示し、ｍ_min,k及びｍ_max,kは、区間が互いに重なり合わないようにするという先に説明した制約に適合する。ｍ_min,k及びｍ_max,kの適切な選択は、それらの値を小さな整数値δ、例えばδ＝３に設定することである。しかし、２つの隣接する正弦波周波数ｆ_k及びｆ_k+1に関連するＤＦＴインデックスが２δより小さい場合、区間が重なり合わないことが保証されるように、δは、

に設定される。関数floor(・)は、それ以下である関数引数に最も近い整数である。

一実施形態による次のステップは、上記の式による正弦波モデルを適用し、そのＫ個の正弦波を時間的に発展（evolve）させることである。プロトタイプフレームの時間インデックスと比較して、消去セグメントの時間インデックスはｎ_-1サンプルだけ異なるという仮定は、正弦波の位相が

だけ進んでいることを意味する。従って、発展させた正弦波モデルのＤＦＴスペクトルは次式により表される。

シフトされた窓関数スペクトルが互いに重なり合わないという近似を再び適用すると、非負であるｍ∈Ｍ_kに対して、ｋごとに以下の式が得られる。

近似を使用することにより、プロトタイプフレームＹ_-1Ｙ（ｍ）のＤＦＴを、発展させた正弦波モデルＹ₀（ｍ）のＤＦＴと比較すると、ｍ∈Ｍ_kごとに位相が

だけシフトされる間、振幅スペクトルは不変のままであることがわかる。

従って、次式により代替フレームを計算できる。
非負のｍ∈Ｍ_kに対して、ｋごとに、

とし、

特定の一実施形態は、どの区間Ｍ_kにも属さないＤＦＴインデックスに関する位相ランダム化に対処する。先に説明したように、区間Ｍ_k，ｋ＝１…Ｋは、それらの区間が厳密に重なり合わないように設定されなければならず、これは、区間のサイズを制御する何らかのパラメータδを使用して実行される。２つの隣接する正弦の周波数距離に関連して、δが小さいということが起こりうる。従って、その場合、２つの区間の間に隙間ができることもありうる。そのため、対応するＤＦＴインデックスｍに対して、上記の式

に従った位相シフトは定義されない。本実施形態による適切な選択肢は、それらのインデックスに対して位相をランダム化することであり、その結果、

となる。ここで、関数rand(・)は何らかの乱数を返す。

上記に基づいて、実施形態に係る例示のオーディオフレーム損失コンシールメント方法を、図８に示す。
ステップ８１において、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析が実行される。ここで、正弦波分析は、オーディオ信号の正弦波成分（すなわち正弦波（sinusoids））の周波数を特定することを含む。次に、ステップ８２において、過去に受信又は再構成されたオーディオ信号のセグメントに正弦波モデルが適用される。ここで、セグメントは、損失オーディオフレームの代替フレームを生成するためのプロトタイプフレームとして使用される。そして、ステップ８３で、損失オーディオフレームの代替フレームが生成される。ここでは、対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンス（time instance）までの、プロトタイプフレームの正弦波成分（すなわち正弦波（sinusoids））を時間発展（time-evolution）させることを含む。

他の実施形態によれば、オーディオ信号は限定された数の個別の正弦波成分から構成され、正弦波分析は周波数領域で行われると想定される。さらに、正弦波成分の周波数の特定は、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することを含みうる。

例示の実施形態によれば、正弦波成分の周波数の特定は、使用される周波数領域変換の分解能より高い分解能で行われ、この特定は、放物線型などの補間を更に含みうる。

例示の実施形態によれば、方法は、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出することを含む。ここで、抽出されたプロトタイプフレームは、周波数領域表現に変換されうる。

さらなる実施形態によれば、窓関数のスペクトルの近似であって、代替フレームスペクトルが当該近似された窓関数スペクトルの部分と一切重複しないような近似を含む。

さらなる実施形態によれば、方法は、正弦波成分の位相を、当該正弦波成分の周波数に応じて、かつ、損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させることを含み、また、正弦波周波数ｆ_k、並びに、損失オーディオフレームとプロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍ_kに含まれるプロトタイプフレームのスペクトル係数を変更することを含む。

さらなる実施形態は、特定された正弦波に属していないプロトタイプフレームのスペクトル係数の位相をランダム位相によって変更すること、又は、その特定された正弦波の付近に関連するいずれの区間にも含まれないプロトタイプフレームのスペクトル係数の位相をランダム値によって変更することを含む。

実施形態は更に、プロトタイプフレームの周波数スペクトルの逆周波数領域変換を含む。

具体的には、さらなる実施形態に従うオーディオフレーム損失コンシールメント方法は、以下のステップを含むことができる。
１）使用可能な過去に合成された信号のセグメントを分析して正弦波モデルの組成正弦波周波数ｆ_kを得る。
２）使用可能な過去に合成された信号からプロトタイプフレームｙ_-1を抽出しそのフレームのＤＦＴを計算する。
３）正弦波周波数ｆ_kと、プロトタイプと代替フレームとの間の時間進みｎ_-1とに応じて、正弦波ｋごとに、位相シフトθ_kを計算する。
４）正弦波ｋごとに、正弦波周波数ｆ_kの付近に関連するＤＦＴインデックスについて選択的に、プロトタイプフレームＤＦＴの位相をθ_kだけ進める。
５）４）で得られたスペクトルの逆ＤＦＴを計算する。

上述の実施形態は、更に以下の想定により説明される。
ａ）信号が、限定された数の正弦波により表現されうる、という想定。
ｂ）代替フレームは、時間発展されたこれらの正弦波によって、過去の時間インスタントと比べて、十分良好に表現される、という想定。
ｃ）シフト周波数を正弦波周波数とし、周波数シフトされた窓関数スペクトルの非オーバラップ部分によって代替フレームのスペクトルが構成されうるように、窓関数のスペクトルが近似される、という想定。

図９は、実施形態に従うオーディオフレーム損失コンシールメントの方法を実行する例示のデコーダ１を示すブロック図である。図示のデコーダは、１又は２以上のプロセッサ１１と、適切なソフトウェアを含む記憶部又はメモリ１２とを含む。入力される符号化オーディオ信号は、プロセッサ１１及びメモリ１２に接続される入力部（ＩＮ）により受信される。ソフトウェアから得られた、復号化され再構成されたオーディオ信号は、出力部（ＯＵＴ）から出力される。例示のデコーダは、受信オーディオ信号の損失オーディオフレームのコンシールメントを行うように構成され、プロセッサ１１及びメモリ１２を有する。メモリは、プロセッサ１１によって実行可能な命令を含んでいる。これにより、デコーダ１は、
- 過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
- 過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、
- 対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分を時間発展させることにより、損失オーディオフレームの代替フレームを生成する。

デコーダの更なる実施形態によれば、適用される正弦波モデルは、オーディオ信号は限定された数の個別の正弦波成分で構成されることを前提としており、また、オーディオ信号の正弦波成分の周波数を特定することは、放物線補間を更に含みうる。

さらなる実施形態によれば、デコーダは、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出し、また、抽出されたプロトタイプフレームを周波数領域に変換する。

さらなる実施形態によれば、デコーダは、正弦波成分の位相を、各正弦波成分の周波数に応じて、かつ、損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させ、また、周波数スペクトルの逆周波数変換を行うことにより代替フレームを生成する。

別の実施形態に係るデコーダを図１０ａに示す。このデコーダは、符号化オーディオ信号を受信する入力部を備える。同図において、論理フレーム損失コンシールメントユニット１３によるフレーム損失コンシールメントが行われる。ここで、デコーダ１は、上述した実施形態に従う損失オーディオフレームのコンシールメントを実行する。図１０ｂにも示されている論理フレーム損失コンシールメントユニット１３は、損失オーディオフレームのコンシールメントを行う適切な手段、すなわち、過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段１４と、上記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用する手段１５と、対応する上記特定された周波数に応じて、損失オーディオフレームの時間インスタンスまでのプロトタイプフレームの正弦波成分を時間発展させることにより、損失オーディオフレームの代替フレームを生成する手段１６とを含む。

図示のデコーダに含まれるユニット及び手段は、その少なくとも一部がハードウェアに実装されうるものであり、デコーダのユニットの機能を実現するように使用され又は組み合わされうる回路要素の種々の変形がある。それらの変形は実施形態に包含される。デコーダのハードウェア実現の特定の例として、デジタル信号処理プロセッサ（ＤＳＰ）ハードウェア及び集積回路技術による実現がある。ここには汎用電子回路及び特定用途回路の双方が含まれる。

本発明の実施形態に係るコンピュータプログラムは、プロセッサによって実行されると、当該プロセッサに、図８に沿って説明した手順に従う方法を実行させる命令を含む。図１１は、実施形態に係るコンピュータプログラム製品９を示している。これは、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ、あるいはディスクドライブといった、不揮発性メモリの形式で実現されうる。コンピュータプログラム製品は、コンピュータプログラム９１を格納したコンピュータ読み取り可能な媒体を含む。ここで、コンピュータプログラム９１は、デコーダ１で実行されると、デコーダのプロセッサに、図８に従う手順を実行させるプログラムモジュール９１ａ，ｂ，ｃ，ｄを含む。

本発明の実施形態によるデコーダは、携帯電話やラップトップ等の移動体装置の受信機、あるいは、パーソナルコンピュータ等の固定式装置の受信機に使用されうる。

本明細書に記載した実施形態の利点は、符号化音声等のオーディオ信号の伝送におけるフレーム損失の聴感上の影響を軽減することができるフレーム損失コンシールメント方法が提供されることである。一般的な利点は、損失フレームに対して再構成される信号の円滑かつ忠実な発展（evolution）が提供されることである。フレーム損失の聴感上の影響は、従来技術と比べて大幅に低減される。

相互に作用するユニット又はモジュールの選択、並びにそれらのユニットの名前は単なる例であり、開示される処理動作を実行可能にするために複数の代替方法で構成されうることは理解されよう。なお、本明細書において説明されるユニット又はモジュールは、必ずしも個別の物理エンティティではなく、論理エンティティとしてみなされるべきものである。本明細書において開示される技術の範囲は、当業者には自明であると思われる他の実施形態をすべて含み、それに従って、本明細書の開示の範囲が限定されるべきではないことが理解されるだろう。

Claims (26)

1. 受信オーディオ信号の損失オーディオフレームのコンシールメントを行う方法であって、
   過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行うステップ（８１）と、
   前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用するステップ（８２）と、
   対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることを含む、前記損失オーディオフレームの前記代替フレームを生成するステップ（８３）と、
   を有することを特徴とする方法。
2. 前記オーディオ信号は限定された数の個別の正弦波成分から構成されることが想定されていることを特徴とする請求項１に記載の方法。
3. 前記正弦波分析は周波数領域で行われることを特徴とする請求項１又は２に記載の方法。
4. 前記正弦波成分の周波数を特定することは、更に、使用される周波数領域変換に関するスペクトルのピークの付近における周波数を特定することを含むことを特徴とする請求項３に記載の方法。
5. 前記正弦波成分の周波数を特定することは、前記使用される周波数領域変換の周波数分解能よりも高い分解能で行われることを特徴とする請求項３又は４に記載の方法。
6. 前記正弦波成分の周波数を特定することは、補間を更に含むことを特徴とする請求項５に記載の方法。
7. 前記補間は放物線型であることを特徴とする請求項６に記載の方法。
8. 窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出するステップを更に有することを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 前記抽出されたプロトタイプフレームを周波数領域表現に変換するステップを更に有することを特徴とする請求項８に記載の方法。
10. 前記窓関数のスペクトルの近似であって、代替フレームスペクトルが当該近似された窓関数のスペクトルの部分と一切重複しないような近似を更に含むことを特徴とする請求項９に記載の方法。
11. 正弦波成分の位相を、当該正弦波成分の周波数に応じて、かつ、前記損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、前記プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させるステップを更に有することを特徴とする請求項９又は１０に記載の方法。
12. 正弦波周波数ｆ_k、並びに、前記損失オーディオフレームと前記プロトタイプフレームとの間の時間差に比例する位相シフトにより、正弦波ｋの付近における区間Ｍ_kに含まれる前記プロトタイプフレームのスペクトル係数を変更するステップを更に有することを特徴とする請求項９乃至１１のいずれか１項に記載の方法。
13. 特定された正弦波に属していない前記プロトタイプフレームのスペクトル係数の位相をランダム位相によって変更するステップを更に有することを特徴とする請求項９乃至１２のいずれか１項に記載の方法。
14. 前記特定された正弦波の付近に関連するいずれの区間にも含まれない前記プロトタイプフレームのスペクトル係数の位相をランダム位相によって変更するステップを更に有することを特徴とする請求項９乃至１２のいずれか１項に記載の方法。
15. 前記プロトタイプフレームの前記周波数スペクトルの逆周波数領域変換を含むことを特徴とする請求項９乃至１４のいずれか１項に記載の方法。
16. 受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダ（１）であって、
    前記デコーダは、プロセッサ（１１）と、前記プロセッサ（１１）によって実行可能な命令を含むメモリ（１２）とを含み、
    これにより前記デコーダは、
    過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行い、
    前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用し、
    対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する
    ことを特徴とするデコーダ。
17. 前記適用された正弦波モデルは、前記オーディオ信号が限定された数の個別の正弦波成分から構成されることを想定したものであることを特徴とする請求項１６に記載のデコーダ。
18. 前記オーディオ信号の正弦波成分の周波数を特定することは、放物線補間を更に含むことを特徴とする請求項１５又は１６に記載のデコーダ。
19. 更に、窓関数を用いて、使用可能な過去に受信又は再構成された信号からプロトタイプフレームを抽出することを特徴とする請求項１５乃至１８のいずれか１項に記載のデコーダ。
20. 更に、前記抽出されたプロトタイプフレームを周波数領域に変換することを特徴とする請求項１９に記載のデコーダ。
21. 更に、前記正弦波成分の位相を、各正弦波成分の周波数に応じて、かつ、前記損失オーディオフレームとプロトタイプフレームとの間の時間差に応じて進めることにより、前記プロトタイプフレームの周波数スペクトルの正弦波成分を時間発展させることを特徴とする請求項２０に記載のデコーダ。
22. 更に、前記周波数スペクトルの逆周波数変換を行うことにより前記代替フレームを生成することを特徴とする請求項２１に記載のデコーダ。
23. 受信オーディオ信号の損失オーディオフレームのコンシールメントを行うデコーダ（１）であって、
    前記デコーダは、符号化オーディオ信号を受信する入力ユニットと、フレーム損失コンシールメントユニット（１３）とを有し、
    前記フレーム損失コンシールメントユニットは、
    過去に受信又は再構成されたオーディオ信号の一部分の正弦波分析であって、前記オーディオ信号の正弦波成分の周波数を特定することを含む正弦波分析を行う手段（１４）と、
    前記過去に受信又は再構成されたオーディオ信号のセグメントであって、損失オーディオフレームの代替フレームを生成するためにプロトタイプフレームとして使用されるセグメントに、正弦波モデルを適用する手段（１５）と、
    対応する前記特定された周波数に応じて、前記損失オーディオフレームの時間インスタンスまでの前記プロトタイプフレームの正弦波成分を時間発展させることにより、前記損失オーディオフレームの前記代替フレームを生成する手段（１６）と、
    を含むことを特徴とするデコーダ。
24. 請求項１６乃至２３のいずれか１項に記載のデコーダを有する受信機。
25. プロセッサによって実行されると、前記プロセッサに、請求項１乃至１５のいずれか１項に記載の方法を実行させる命令を有するコンピュータプログラム（９１）。
26. 請求項２５に記載のコンピュータプログラム（９１）を格納したコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品（９）。

Images