JP2010539550A - 複雑さ分散によるデジタル信号の転送誤り偽装 - Google Patents

Abstract

本発明は、受信において、信号が消去フレームと有効フレームとを含み、かつ、有効フレームの後の少なくとも第１消去フレーム（N）を置換するために、少なくとも２つのステップが実行され、準備の第１ステップ（E1）は、欠けたサンプルを生成しないで、かつ、有効な復号化された信号の少なくとも１つの分析を含み、かつ、隠蔽の第２ステップ（E2）は、前記消去フレームに対応する信号の欠けたサンプルを生成する、異なった時間間隔に関連付けられた複数の連続フレームに分割されたデジタル信号における転送誤り隠蔽の方法に関する。前記第１ステップと前記第２ステップとは異なった時間間隔で実行される。また、本発明は、本発明による方法を実行する隠蔽の装置、及び、そのような装置を備えたデコーダに関する。本発明によって、異なった時間間隔に、誤り隠蔽の複雑さを分散させることができる。

Description

本発明は遠隔通信分野でのデジタル信号の処理に関する。例えば、これらの信号は、音声信号、音楽信号、ビデオ信号、または、より一般に、マルチメディア信号である。

本発明は、そのような信号の転送/受信に適合された符号化/復号化システムに関する。特に、本発明は、データブロックの損失の存在下で、復号化された信号の品質を向上させることを可能にする、受信での処理に関係する。

様々な方法が、オーディオデジタル信号をデジタル形式に変換し、かつ、それを圧縮するために存在する。最も一般的な方法は以下の通りである。
− 波形符号化方式（例えば、PCM（「パルス符号変調（Pulse Code Modulation）」）符号化、及び、ADPCM（「適応差分パルス符号変調（Adaptive Differential Pulse Code Modulation）」）符号化）
− 合成による分析に基づくパラメトリック符号化方式（例えば、CELP（「符号励振線形予測（Code Excited Linear Prediction）」）符号化）
− サブバンドの、又は、変換ベースの知覚符号化方式

これらの方法は、サンプルごとに連続した方法（PCM又はADPCM）で、又は、「フレーム」と呼ばれるサンプルのブロック（CELP及び変換符号化）で、入力信号を処理する。これらのすべてのコーダに対して、符号化された値は、その後、転送チャンネル上で転送されるバイナリトレーン（binary train）に変換される。

このチャンネルの品質、及び、トランスポートタイプに依存して、外乱が、転送された信号に影響し、かつ、デコーダによって受信されたバイナリトレーンで誤りを発生させる。これらの誤りは、バイナリトレーンにおいて、孤立した方法で起こるが、バーストで非常に頻繁に発生する。次に、それは、完全な信号の部分（誤りか、又は、受信されていていない）に対応するビットのパケットである。このタイプの問題には、例えば、モバイルネットワーク上の転送で遭遇する。また、それは、パケットネットワーク上（特に、インターネットタイプのネットワーク上）の転送で遭遇する。

受信に関与する転送システム又はモジュールが、受信されたデータが非常に誤っている（例えば、モバイルネットワーク上で）か、又は、データブロックが、受信されていないか、又は、バイナリ誤り（binary error）によって間違いを含む（例えば、パケット転送システムの場合）ことを検出することを可能にすると、次いで、誤りを隠蔽する（conceal）ための手順が実行される。

次に、復号化される現在フレームが消されると宣言される（「不良フレーム」）。これらの手順は、信号と、前のフレームから放射するデータとに基づいて、デコーダで、欠けた信号のサンプルを外挿することを可能にする。

そのような方法は、主に、パラメトリック及び予測コーダの場合に実行されてきた（消去フレームの回復/隠蔽の方法）。それらは、消去フレームが存在する場合に、デコーダで知覚された信号の主観的な劣化を大いに制限することを可能にする。これらのアルゴリズムは、コーダ及びデコーダに使用される方法に依存し、かつ、事実上、デコーダの拡張（extension）を構成する。消去フレームを隠蔽するための装置の目的は、有効であると考えられる最後の前のフレーム（複数可）に基づいて、消去フレームのパラメータを外挿することである。

予測コーダによって操作されたか、又は符号化されたあるパラメータが、高いフレーム間相関を示す（スペクトル包絡線を表すLPC（「線形予測符号化（Linear Predictive Coding）」）パラメータ、及び、信号の周期性（例えば、有声音）を表すLTP（「長期予測（Long Term Prediction）」）パラメータの場合）。この相関のため、最後の有効フレームのパラメータを再利用して、消去フレームを合成することは、誤りを含むか又はランダムなパラメータを使用するよりも、はるかに有利である。

CELP励振生成では、以下のように、慣習上、消去フレームのパラメータが取得される。

再構築されるフレームのLPCパラメータは、単にパラメータをコピーすることによってか、又は、ある減衰を導入することによって（例えば、G723.1標準化コーダで使用される方法）、最後の有効フレームのLPCパラメータに基づいて取得される。その後、音声信号の有声又は非有声が、消去フレームレベルで、信号の調波（harmonicity）の程度を決定するために検出される。

信号が無声である場合、励磁信号は、ランダムの方法で生成することができる（過去の励振から符号語を引き出すことによって、過去の励振の利得のわずかな減衰によって、過去の励振からのランダム選択か、又は完全に誤りを含む転送されたコードを使用することによって）。

信号が有声である場合、ピッチ周期（「LTP遅れ（lag）」とも呼ばれる）は、一般に、前のフレームに対して計算される（選択的に、わずかな「ジッタ」で）（連続誤りフレームに対してLTP遅れの値を増加させ、LTP利得は１に非常に近いか、又は１と等しく取られる）。したがって、励磁信号は、過去の励振に基づいて実行された長期予測に制限される。

一般に、このタイプの消去フレームの外挿を計算する複雑さは、有効フレーム（または、「良いフレーム」）の復号化のそれに匹敵する。過去に基づいて推定された（かつ、選択的に、わずかに変更された）パラメータは、復号化及びパラメータの逆量子化の代わりに使用され、次いで、再構築された信号は、このようにして取得されたパラメータを使用する有効フレームと同じ方法で合成される。

符号化の他のタイプは、過去に基づいて推定されたパラメータを使用するデコーダの拡張による消去フレームの外挿を可能にしない。これは、例えば、PCM時間符号化（PCM temporal coding）（音声予測モデルを再分類することなく、サンプル毎に信号を符号化する）の場合である。どんなパラメータも外挿を実行するためのデコーダに直接利用することができない。

したがって、パラメトリックコーダの場合と同じ性能で消去フレームを外挿するために、消去フレームを偽装するためのアルゴリズムは、まず、過去の復号化された信号に基づいて、それ自体によって、外挿パラメータを推定しなければならない。これは、一般に、短期（LPC）及び長期（LTP）の相関分析を必要とし、かつ、選択的に、結果的に計算負荷をかなり増大させる信号の分類（有声、無声、そして、破裂音など）を必要とする。例えば、これらの分析は、B. KOVESI及びD. Massalouxによる、題名を「Method of packet errors cancellation suitable for any speech and sound compression scheme（ISIVC-2004, International Symposium on Image/Video Communications over fixed and mobile networks, 2004年６月）」とする文書で説明されている。したがって、説明されたこの方法によると、消去フレームを隠蔽するための方法は、第１の分析部分と、消去フレームに対応する信号の欠けたサンプルを作る第２の外挿部分とからなる。

しかし、連続した消去に対して、これらの分析は、第１消去フレームの間、一度だけ実行しなければならず、次いで、このようにして推定された（選択的に、消去の長さに従って、わずかに減衰された）パラメータは、外挿の期間中、使用される。

換言すれば、過去の信号の分析による計算負荷のこの増加は、消去フレーム（すなわち、5 ms又は40 ms）と同じである。

しかしながら、ハードウェアプラットフォーム（例えば、DSPタイプ（「デジタル信号プロセッサ（Digital Signal Processor）」）のプロセッサ）の寸法のために、最も好ましくない場合が考慮される（すなわち、最大の複雑さ）。したがって、この最悪の場合の複雑さは短いフレームの場合に起こる。

実際に、過去の信号（LPC、LTP、分類）の分析は、フレームサイズとは独立に、所定の数の1フレームあたりのオペレーションを必要とする。これらの分析の複雑さは、1秒あたりのオペレーション数で測定される。したがって、１秒あたりのオペレーション数が、フレーム長によって分割された１フレームあたりのオペレーション数によって与えられるので、この複雑さはフレーム長が短いほど増大する（したがって、１秒あたりのオペレーション数はフレーム長に対して逆比例する）。

また、平均の複雑さは重要なパラメータである（それが、プロセッサのエネルギー消費、及び、結果として、それが設置されている設備（例えば、移動端末）のバッテリの自律性（autonomy）の期間に影響するので）。

ある場合には、この計算負荷は、依然として妥当であり、かつ、通常の復号化の計算負荷に匹敵する。例えば、G.722標準化コーダでは、低複雑度の消去フレームを隠蔽するためのアルゴリズムが、ITU-T勧告G.722付属書IVに従って標準化されている。この場合、10 msの消去フレームの外挿を計算する複雑さは、3WMOPS（「Weighted Million Operations Per Second」）であり、これは、実質的に、有効フレームの復号化の複雑さと同一である。

G722コーダがより短いフレーム（例えば、5 ms）を処理する場合、これはもう適用することができない。

さらに、消去フレームを偽装するためのそのようなアルゴリズムの複雑さは、非常に低い複雑さのコーダの場合に、不利となっている（例えば、ITU-T勧告G.711（PCM）に従って標準化されたコーダ、及び、特に、低帯域の復号化に対する標準化を受けるG.711 WBコーダなどのこれらの拡張）（8 kHzでサンプリングされ、かつ、その後に改良層が続くG.711コーダによって符号化される）。

実際に、PCM符号化/復号化の複雑さは、0.3WMOPS程度の複雑さであり、これに反して、消去フレームを偽装するための有効なアルゴリズムの複雑さは、一般に、10 msのフレームに基づいた3WMOPS程度の複雑さである。

B. KOVESI, D.Massaloux, Method of packet errors cancellation suitable for any speech and sound compression scheme, ISIVC-2004, International Symposium on Image/Video Communications over fixed and mobile networks, 2004年６月 Y. Hiwasaki and H. Ohmuro and T. Mori and S. Kurihara and A. Kataoka, A G.711 Embedded Wideband Speech Coding for VoIP Conferences, IEICE Transactions on Information and Systems, vol. E89-D, No. 9, pp. 2542-2552, 2006年9月

本発明はこの状況を改善することを意図している。

このため、異なった時間間隔に関連付けられた複数の連続フレームに分割されたデジタル信号における転送誤り隠蔽の方法が提案され、受信において、信号は消去フレームと有効フレームとを含み、かつ、有効フレームの後の少なくとも第１消去フレームを置換するために、少なくとも２つのステップが実行され、準備の第１ステップは、欠けたサンプルを生成しないで、かつ、有効な復号化された信号の少なくとも１つの分析を含み、かつ、隠蔽の第２ステップは、前記消去フレームに対応する信号の欠けたサンプルを生成する。前記方法では、前記第１ステップと前記第２ステップとは異なった時間間隔で実行される。

したがって、前記ステップは、異なった時間間隔の間に実行される消去フレームを隠蔽するためのプロセスを構成し、これによって、特に複雑さの最悪の場合に、計算負荷を分散し、その結果、複雑さを軽減させることができる。複雑さの最悪の場合が軽減され、次いで、プロセッサの寸法も下方に改訂することができる。

準備ステップという表現は、隠蔽に固有のオペレーションを意味することが理解され、単に有効フレームを復号化する場合には必要でない。

最新の技術（例えば、CELP復号化）では、前の有効フレームで復号化されたパラメータが損失隠蔽に使用される。本発明によると、そのようなパラメータは、デコーダに転送されず、かつ、損失の隠蔽の間に、欠けた信号を合成するために、分析によって推定しなければならない。

第１実施例では、前記準備ステップは、有効フレームに関連付けられた時間間隔で実行され、かつ、前記隠蔽ステップは、消去フレームに関連付けられた時間間隔で実行される。

前記準備ステップは、消去フレームに対応する時間間隔の前に実行され、前記第２ステップは、消去フレームに対応する時間間隔の間に、著しい複雑さを必要とせず、その結果、この間隔で複雑さを減少させる。一般に、この間隔の間、複雑さの最悪の場合が測定される。この実施例では、後者はこのようにして減少される。

第２実施例では、前記準備ステップは、消去フレームに関連付けられた時間間隔で実行され、かつ、前記隠蔽ステップは、次の時間間隔で実行される。

第１ステップは、ここで、消去フレームの受信を除いて、有効フレームの受信の間、もはや系統的に実行されない。したがって、その結果、複雑さの最悪の場合は、計算負荷を分散することによって、第１実施例に比べて減少される（平均の複雑さも）。

有利な方法では、本発明による方法の第２実施例では、それは、第１周波数帯の復号化と第２周波数帯の復号化とを具備した、復号化システムで、第１周波数帯域の復号化中に実行され、前記第２周波数帯域の前記復号化は、前記第１周波数帯域の前記復号化に対して時間遅延を含んでいる。

したがって、次の時間間隔の間に、前記第２ステップの実行によって導入される前記遅延は、前記第１周波数帯及び前記第２周波数帯の前記復号化間で、既に時間遅延を処理する、このタイプの復号化に対して透過的である。

本発明は、前記第１周波数帯はG.711WBタイプの復号化の低帯域に対応し、かつ、前記第２周波数帯はG.711WBタイプの復号化の高帯域に対応する場合に特に適合され、前記隠蔽ステップから起こる信号の遅延は、低帯域に対する高帯域を復号化する遅延に対応する。

特定の実施例では、前記準備ステップは、LPC分析ステップと、LTP分析ステップとを具備し、かつ、前記隠蔽ステップは、LPC残留信号を計算するステップと、区別するステップと、欠けたサンプルを外挿するステップとを具備している。

別の特定の実施例では、前記準備ステップは、LPC分析ステップと、LTP分析ステップと、LPC残留信号を計算するステップとを具備し、かつ、前記隠蔽ステップは、区別するステップと、欠けたサンプルを外挿するステップとを具備している。

また、本発明は、異なった時間間隔に関連付けられた複数の連続フレームに分割されたデジタル信号における転送誤り隠蔽のための装置に関し、欠けたサンプルを生成しない準備手段を備え、かつ、少なくとも、有効な復号化された信号を分析するための手段と、消去フレームに対応する信号の欠けたサンプルを生成する隠蔽手段とを備えている。前記装置では、前記手段は、有効フレームの後の少なくとも第１消去フレームを置換するために、異なった時間間隔で実行される。

また、それは、本発明に従って、転送誤り隠蔽装置を備えたデジタル信号デコーダを目的としている。

最終的に、本発明は、転送誤り隠蔽装置のメモリに格納されることを意図したコンピュータプログラムに関係する。このコンピュータプログラムでは、前記転送誤り隠蔽装置のプロセッサによって実行されるとき、本発明による誤り隠蔽方法のステップを実行させるためのコード命令を含んでいる。

本発明の他の利点及び特徴は、以下に一例として与えられた詳細な説明、及び、添付図面を検討することで明らかになる。

第１実施例の発明による隠蔽方法を図示している。 第２実施例の発明による隠蔽方法を図示している。 表の形態で本発明の第２実施例の例を図示している。 表の形態で本発明の第２実施例の例を図示している。 本発明の枠組みの中で使用することができるG.711 WBタイプのコーダを図示している。 本発明の第２実施例を実行するG.711 WBタイプのデコーダを図示している。 本発明の第２実施例により、かつ、G.711 WBタイプのデコーダで、隠蔽方法を図示している。 本発明による隠蔽装置を図示している。

例えば、G.711標準化コーダでは、消去フレーム隠蔽方式（B. KOVESI及びD. Massalouxによる文書「Method of packet errors cancellation suitable for any speech and sound compression scheme（ISIVC-2004, International Symposium on Image/Video Communications over fixed and mobile networks, 2004年６月）」で説明された）は、以下の通り行われる。

第１消去フレーム（失った又は誤った）を検出すると、消去フレームを偽装するためのモジュールは、過去の格納された信号を分析し、次いで、推定されたパラメータを使用して欠けたフレームを合成する（又は、外挿する）。

連続フレームの損失が検出された場合、消去フレームを偽装するためのモジュールは、同じパラメータ（選択的に、わずかに減衰された）を使用して欠けたフレームを引き続き合成する（外挿された前のフレームと同じように）。

消去の後に、第１有効フレームを受信すると、消去の間に外挿された信号と、有効な復号化された信号との間の連続性が、スムージングか、又は、他の「クロスフェージング（crossfading）」の簡単かつ効果的な手段によって確実にされる。このクロスフェージングは以下の方法で行われる。一般に、5-10 msの所定の長さに対して、外挿された信号は、有効フレームの信号の復号化と平行して引き続き合成される。そして、出力信号は、外挿された信号の重みを次第に減少させること、及び、同時に有効信号の重みを増加させることによる、これらの２つの信号の加重和である。

説明のために、以下の複雑さの数値を仮定する。
フレームの符号化−0.15WMOPS
フレームの復号化−0.15WMOPS
消去の開始における分析（LPC、LTP、分類）−2.5WMOPS
分析によって推定されたパラメータを使用するフレームの外挿−0.5WMOPS
外挿された信号と、消去の後の第１復号化フレームとの間のクロスフェージング−0.05WMOPS

以下の表１は、単一のフレーム（No.3）が消去された場合において、そのようなコーダの複雑さの展開を図示している。

このように、消去フレームの期間中に、DSPがサポートしなければならない複雑さピーク（3.15WMOPS）を観察することができる。この複雑さピークは、本質的には、消去フレームを隠蔽するための方法の全体（分析部分及び外挿部分）が、消去フレームの期間の間に実行されるという事実のためである。

これらの６個のフレームの平均の複雑さは0.87WMOPSである。同じ方法で、以下の表２は、２個の連続消去フレーム（No.3及びNo.4）の場合を示している。

消去フレームを隠蔽するための方法の全体（分析部分及び外挿部分）が、フレームの期間の間に（第１消去フレームのそれ）実行されるので（再度）、消去された第１フレームの期間中に、複雑さピーク（3.15WMOPS）をまだ観察することができる。他方では、次の消去フレームに対する複雑さは著しく低く、かつ、これらの6個のフレームに対する平均の複雑さは0.925WMOPSである（単一の消去フレームの場合よりもわずかに高い）。消去の期間の増加は複雑さを著しく増加させない。

したがって、このタイプの最先端のコーダ/デコーダでは、デコーダで受信される各フレームに対して、変数bfi（「不良フレーム指標（bad frame indicator）」）は、現在フレームが消去されることを示し（bfi=1）、かつ、復号化のタイプ、通常の復号化、又は、消去フレームの隠蔽を選択することを可能にする。その結果、フレームが有効である場合（bfi=0）、通常の復号化が保証され（複雑さ0.15WMOPSで）、そうでなければ（bfi=1）、消去フレーム隠蔽（複雑さ3WMOPSで）は、過去の信号に基づいて、欠けたフレームを外挿することを可能にする。このプロセスは各フレームで繰り返される。

本発明は、数個のフレームの期間にわたって、消去フレームを隠蔽するステップを分散することによって、この複雑さを低減させることを目的とする。

したがって、図1は本発明の第１実施例を図示している。少なくとも有効フレームの後の第１消去フレームを置換するために、本発明による隠蔽方法は、少なくとも２つのステップを具備している（欠けたサンプルを生成しない準備の第１ステップ（1E）、消去フレームに対応する信号の欠けたサンプルの生成を含む隠蔽の第２ステップ（2E））。準備ステップという表現が、単に有効フレームを復号化する場合には必要でない、隠蔽に固有のオペレーションを意味していると理解されることに注目しなければならない。

これらの２つのステップE1及びE2は、デコーダで受信される連続フレームに関連付けられた異なった時間間隔で実行される。図１は、フレームN（デコーダで受信される）が消去される場合の代表的な実施例を示している。

したがって、この実施例では、通信チャネルから生じるバイナリトレーンで受信された第１フレームN-2は、逆多重化モジュール（DEMUX）14によって処理され、次いで、通常の復号化モジュール（DE-NO）15によって復号化される。

この復号化された信号は、例えば、サウンドカード24にディスパッチされるデコーダ出力としてフレームN-2（20で参照される）を構成する。また、それは、準備の第１ステップE1を実行する準備モジュール16への入力として提供される。その後、このステップの結果は17（MEM）で格納される。

この同じ、逆多重化、通常の復号化、デコーダ出力でフレームN-1（21で参照される）の構成、及び、第１ステップの結果のストレージのプロセスは、有効フレームN-1に対しても実行される。

この実施例では、準備ステップは、潜在的消去フレームを予期して、すべての有効フレームに対して実行される。

消去フレームN（12で参照される）がデコーダで受信されるとき、隠蔽の第２ステップE2は、前のフレームに格納された、少なくとも１つの結果を考慮することによって実行される。この第２の隠蔽のステップは、デコーダの出力でフレームN（22で参照される）を構成するために、欠けたサンプルを生成する。

有効フレームN+1がデコーダの入力で受信されるとき、それは、逆多重化のステップを受けるが（全ての有効フレームのような通常の復号化の）、また、フレームNに対する再構成された信号と、フレームN+1に対する復号化された信号との間で、復号化された信号を平滑化することができる、「クロスフェージング」FADEのステップ（19で参照される）を受ける。このクロスフェードステップは、通常の復号化と平行して、ステップE2の欠けたサンプルの外挿EXTR（26で参照される）を継続するステップを含んでいる。そして、出力信号は、外挿された信号の重みを次第に減少させること、及び、同時に、有効な信号の重みを増加させることによる、これらの２つの信号の加重和である。

その後、デコーダの出力で取得された信号は、例えば、スピーカ25を用いて再生されるように、例えば、サウンドカード24に提供される。

したがって、有効フレームの復号化の後に、準備ステップを系統的に実行することによって、消去フレームNに対応する時間間隔で、複雑さの最悪の場合を減少させることができるようになる。

フレームが消去される場合では、既にオペレーションの一部が実行され、消去フレームに対応する信号の欠けたサンプルを生成する隠蔽ステップE2だけが、フレームの期間に対して実行される。したがって、このフレームに対する計算負荷は軽減される。

準備ステップE1は、例えば、分析の第１部分（例えば、LPC分析及びLTP分析）を含むことができる。これらの分析ステップは、以前に引用した文書（「Method of packet errors cancellation suitable for any speech and sound compression scheme」）で特に詳しく述べられている。

次に、隠蔽ステップE2は、LPC残留信号（外挿フェーズで使用される）を計算するステップ、信号を分類するステップ、及び、欠けたサンプルを外挿するステップ（残留信号及び合成フィルタリングに基づいて励振信号を生成する）を含んでいる。

別の異なる実施例では、ステップE1は、同時に、LPC、LTP分析、及び、LPC残留信号の計算を含むことができる（次いで、分類及び外挿ステップを含むステップE2）。

様々な隠蔽のタスクの実行の順序は固有ではない。

非常に明らかに、いくつかの規制（例えば、分類及び外挿ステップが最後のオペレーションであり、かつ、LPC分析がLPC残留信号の計算に先行するという事実）に従う必要がある。

可能なオペレーションの順序のいくつかの例は以下の通りである。
・LPC分析、LTP分析、LPC残留信号の計算、分類及び外挿。
・LTP分析、LPC分析、LPC残留信号の計算、分類及び外挿。
・LPC分析、LPC残留信号の計算、LTP分析、分類及び外挿。

したがって、様々なタスクの分散は、様々な方法で調節することができ、かつ、上で引用された例に制限されない。

その上、タスクのオペレーションは数個の段階で実行することができる。例えば、別の異なった実施例では、ステップE1は、同時に、LPC分析、LPC残留信号の計算、及び、LTP分析の第１部分を含むことができる（次いで、LTP分析の第２部分、分類及び外挿を含むステップE2）。

これは、複雑さの最悪の場合を最大限に減少させることができるように、ステップE1とE2との間で、分析計算の複雑さを自由に分散させるのが可能であることを示している。最適な分散は、他の復号化計算の複雑さに依存する。

以下の表3は数値の例を図示している（第１分析部分（分析_p1）は1.15WMOPSの複雑さを有し、第2分析部分（分析_p2）は1.35WMOPSの複雑さを有し、準備ステップE1は第１分析部分（分析_p1）を含み、かつ、隠蔽ステップE2は第2分析部分（分析_p2）及び外挿（外挿）を含んでいる）。

この表は、２個の連続フレームが消去される場合に対応する。分析ステップ（分析p1及びp2）で生成されたパラメータが再利用されるので、第２消去フレームに対して、「外挿」ステップだけが必要であることに注意しなければならない。ある実施例では、これらのパラメータをわずかに変更してもよい（減衰する）。パラメータを減衰させるこのオペレーションは、オプションであり、かつ、計算負荷の観点から安価である（これが、与えられた例で無視される理由である）。

複雑さの最悪の場合が、上の表2で提示された場合に対して、著しく減少されるのを観察することができる（3.15WMOPSから2.0WMOPSに減少する）。これは、図1で分かるように、追加的な遅延なしで取得される。

しかし、有効フレームを処理する複雑さは、上の表２で提示された場合に対して、0.3WMOPSから1.45WMOPSに増加される。したがって、転送誤りがない場合には、平均の複雑さは略5を掛けられる（その結果、DSPの消費を増加させ、かつ、バッテリが使用される場合には、その自律性を減少させる）。

本発明の第２実施例は、平均の複雑さを増加させることなく、同時に、複雑さの最悪の場合を減少させる解決策を提供する。したがって、図２に関して、第２実施例は、デコーダで受信されたフレームN（31で参照される）が消去される場合で図示されている。

この例では、準備ステップE1は、フレームが消去され、かつ、各有効フレームでもはや系統的でない場合にだけ実行される。したがって、準備ステップは、消去フレームNに対応する時間間隔で実行される。したがって、デコーダの出力における信号は、フレームの時間間隔に対応する時間遅延を有する。

したがって、図２で示されたように、デコーダで受信された有効フレームN-1（30で参照される）に対して、前記フレームは、逆多重化モジュールDEMUX14によって処理され、15で通常に復号化され、かつ、復号化された信号は、バッファメモリ内のMEM17で格納される。この格納された復号化された信号は、デコーダの出力でサウンドカード24にディスパッチされる（受信されたフレームN（31で参照される）の復号化の後に）。

したがって、消去フレームNを検出すると、２個のフレームの期間は、このフレームNを置換する信号を外挿するために用いられる。消去フレームNに対応する時間間隔中に、準備ステップE1が、受信されたフレームN-1に対応する、復号化及び格納された信号に対して実行される。フレームNに対応する欠けたサンプルの外挿を含む隠蔽ステップE2は、デコーダで受信されたフレームN+1に対応する時間間隔で実行される。

また、この時間間隔の間、フレームN+1は、逆多重化モジュールによって処理され、その後、クロスフェードステップFADE19の間、フレームN+2に対応する時間間隔で使用されるように、復号化及び格納される。

結果として生じるフレームN+1は、43でサウンドカードにディスパッチされる。したがって、この代表的な実施例では、フレームに対応する時間シフトが、デコーダの出力で導入される。一般に、例えば、非常に小さい遅延を有するG.711タイプのコーダ/デコーダの場合、これは許容可能である。

また、この第２実施例の表形式の図が図３ａ及び図３ｂに示されている。

図３ａは、フレームNo.4が消去される例を示している。第１行目310は、デコーダで受信されたフレームのフレーム番号を示している。第２行目311は、バッファメモリ内の復号化されたフレームのフレーム番号を示している。

フレームNo.4の損失を検出すると、準備ステップが実行され、行312で示されているように、復号化された過去のフレーム（No.1−No.3）に対して分析（分析_p1）を開始する。フレームNo.4の終わりには、以前に格納されたフレームNo.3は、行316で図示されているように、サウンドカードにディスパッチされる。次のフレームに関しては、バッファメモリは空であるが、行313の分析の第２部分（分析_p2）と、行314のフレームNo.4の外挿の合成とが終了される。外挿されたフレームNo.4はサウンドカードにディスパッチすることができる。同時に、フレームNo.5の復号化が行われ、かつ、行311で図示されているように、結果が格納される。次のフレームに関しては、フレームNo.5は、格納されたフレームNo.5（行315）でクロスフェードのために外挿される（行314）。このクロスフェードの結果は、サウンドカードにディスパッチされる（行316）。その後、フレームNo.6が復号化及び格納される。

図３ｂで表された表は、フレームNo.4及びフレームNo.5が同時に消去される場合を図示している。デコーダで受信されたフレームは行410で図示されている。図３ａと同じ方法で、行411は、復号化され、かつ、バッファメモリに格納されたフレームを表している。

第１準備ステップ（分析_p1）は、第１消去フレーム（行412）の時間間隔で実行される。分析の第２部分（分析_p2）は、次の時間間隔で実行される（すなわち、ここでは、第２消去フレーム（行413）に対応する間隔で）。

欠けたサンプルの外挿は、第２消去フレームに対応する時間間隔で、及び、また、次の２つのフレーム（行414）に対して、次の時間間隔で実行される。（有効フレーム6に対するクロスフェード（行415）を実行することができるように）。その後、フレームNo.7が復号化及び格納される。

行416は、デコーダで受信された信号に対するフレームの時間シフトで、デコーダからの出力フレームのフレーム番号を示している。

以下の表４は、図３ａの典型例に対応する複雑さの展開を図示している。今回、最適な結果（最も低い最大の複雑さ）は、以下の分析を分割することによって取得される。
・第１部 1.6WMOPS
・第２部 0.9WMOPS

このように、上の表３に提示された解決策と比べて、最大の複雑さの減少が観察される。表1に提示された最新の技術に関して、最大の複雑さは実際に半減され、一方では、平均の複雑さは変わらない（0.87WMOPS）。その上、この解決策が、受信された有効フレームを復号化する複雑さを増加させないことに注意しなければならない。

しかし、この典型例では、復号化された信号の遅延が、デコーダで受信された信号に関して導入されることに注意しなければならない。

上に与えられた例は、２つのステップに分割された、転送誤り隠蔽のプロセスで取られた。非常に明らかに、本発明の対象である手順は、３つ又は実際により多くのステップに分割することに対して、容易に一般化可能である。また、そのような分割はある場合には有利である（通常の復号化の複雑さと、消去フレームを隠蔽するためのアルゴリズムの複雑さとの間のギャップが非常に大きいとき）。この場合、３個以上のフレームにわたって、消去フレームを隠蔽するためのアルゴリズムの複雑さを分散することができる。様々なステップが異なった時間間隔の間に実行される。

このようにして説明された第２実施例は特に有益である（それがあるデコーダ（例えば、現在標準化を受けているG.711WBデコーダ（G711-WideBand））で実行されるとき）。

図４を参照して、G.711WBタイプのコーダが説明される。G.711WB符号化は、64 kbit/sのG.711「コア層（core layer）」と呼ばれる層に、最大で２つの16 kbit/sの改良層を加えるステップを含んでいる。バイナリトレーン（Rxと呼ばれ、xはレートを特定する）の可能な構成は以下の通りである。
− 64 kbit/sのレート（R1） ： G.711データのみ
− 80 kbit/s（64+16 kbit/s）のレート（R2a） ： G.711データ、及び、50-4000 Hz帯域における品質を改善するためのデータ。
− 80 kbit/s（64+16 kbit/s）のレート（R2b） ： G.711データ、及び、4000-7000 Hz部に対するG.711の帯域を拡張するためのデータ。
− 96 kbit/s（64+16+16 kbit/s）のレート（R3） ： G.711データ、50-4000 Hz帯域における品質を改善するためのデータ、4000-7000 Hz部に対するG.711の帯域を拡張するためのデータ。

したがって、レートR1及びR2aは狭帯域再構築（50-4000 Hz）をもたらす。一方では、レートR2b及びR3は広帯域再構築（50-7000 Hz）をもたらす。G.711WBと同様の専用コーダは、文書（Y. Hiwasaki and H. Ohmuro and T. Mori and S. Kurihara and A. Kataoka, "A G.711 Embedded Wideband Speech Coding for VoIP Conferences", IEICE Transactions on Information and Systems, vol. E89-D, No. 9, pp. 2542-2552, 2006年9月）に説明されている。

図４は、G.711WB標準化の枠組みに含まれる、代表的なコーダに示している。コーダの入力は、16 kHzでサンプリングされた、音声信号S₁₆である。コーダは、低帯域（50-7000 Hz）と高帯域（4000-7000 Hz）とを分離する直交フィルタバンク101を備えている。中間信号（雑音フィードバックループによって計算された（ブロック104及び105））は、低帯域から出される（ブロック102）。その後、信号は、スケーラブルなPCMコーダ（Co-PCM）（ブロック103）によって、64及び80 kbit/sで符号化される。

高帯域は、変形離散コサイン変換（MDCT）（ブロック106）の後に、符号化される（ブロック107、Co-MDCT）。MDCT変換は、50％のオーバラップを有する変換である（現在フレームNを符号化するために、将来フレームN+1で信号が既知であることを必要とする）。したがって、5 msフレームを有するG711-WB符号化に対して、高帯域の符号化は5 msの遅延（ルックアヘッド（lookahead）と呼ばれる）を導入する（MDCT変換のため）。

しかし、スケーラブルなPCM符号化が使用されているので、この遅延は低帯域で必要ではない。

その後、各フレームのバイナリトレーンTが、マルチプレクサ（ブロック108）によって生成される。このバイナリトレーンは、デコーダへの転送の過程で、切捨てるか、又は、消去してもよい。

図５は、本発明による転送誤りを隠蔽するための方法を実行する、対応するデコーダを示している。

構成R1及びR2aを復号化すると、逆多重化（ブロック201）の後に、スケーラブルなPCMデコーダ（De-PCM）（ブロック202）によって復号化された低帯域は、フレーム（ブロック203）によってシフトされる（即ち、5 ms）。加えて、構成R2b及びR3に対して、高帯域が復号化され（ブロック205及び206）、かつ、２つの帯域は、直交フィルタバンク（ブロック210）によって、適切なブランチ（ブロック208及び209）の選択の後に結合される。変数bfi（「不良フレーム指標（bad frame indicator）」）は、現在フレームが消去され、かつ、復号化のタイプを選択する（ブロック208及び209）のを可能にすることをデコーダに示す働きをする（bfi=0の場合、通常の復号化（ブロック202、203、205、及び206）、又は、bfi=1の場合、消去フレームの隠蔽（ブロック204、211、及び207））。

本発明は、ここで、低帯域の消去フレームの隠蔽の場合に適用される。実際に、PCMタイプの復号化にかかわるので、低帯域における通常の復号化は低複雑度である。したがって、消去フレームを隠蔽するためのプロセスの複雑さの分散は、実行するのに有益である。

このために、消去フレームを隠蔽するためのプロセスは、異なった時間間隔で実行される少なくとも２つのステップで実行される。第１ステップE1は、消去フレームに対応する時間間隔の間に、ブロック204に実装された準備手段によって実行され、かつ、第２ステップは、ブロック211に実装された隠蔽手段によって、次のフレームに対応する時間間隔で実行される。

デコーダでは、低帯域と高帯域を時間的に一列に並べるために、フレームの遅延が必要である（ブロック203）。低帯域と高帯域との間のフレームのこの遅延は、図２、図３ａおよび３ｂに関して既に詳述した第２実施例において、本発明を実行するのにここで利用される。したがって、追加的遅延を導入する必要はない。

したがって、図６に関して示されるように、消去フレームはフレームNであり、かつ、フレームN-1、N+1およびN+2は有効である場合が検討される。

フレームの遅延がMDCTによって高帯域を符号化するためにG.711WBコーダで使用されるので、事実上、フレームNに関連付けられたバイナリトレーンTは、フレームN+1の低帯域（LB）コードを含んでいる。同じ方法で、事実上、フレームN-1に関連付けられたバイナリトレーンは、フレームNの低帯域コードを含んでいる。

フレームN-1に関連付けられたバイナリトレーンの受信で、フレームNの低帯域信号は、フィルタバンク210に、高帯域のフレームN-1と同時に与えられるように、復号化され、かつ、バッファメモリに置かれる。

フレームNに関連付けられたバイナリトレーンは消去される（フレームN+1の低帯域コードが利用可能でないことを意味する）。

消去フレームNに関連付けられたバイナリトレーンを受信しないと、第１準備ステップE1は、低帯域のフレームNの復号化され、かつ、格納された信号を考慮することによって、低帯域で実行される。

サウンドカードは、メモリに置かれた低帯域のフレームNを受信する。

フレームN+1に関連付けられたバイナリトレーンが受信される（フレームN+2の低帯域コードが受信されることを意味する）。それらは復号化され、かつ、結果はバッファメモリに置かれる。同じ時間間隔では、隠蔽アルゴリズムの隠蔽ステップE2（分析の第２部及びフレームN+1の外挿）が実行される。したがって、これはフレームN+1で外挿された低帯域信号をもたらす（それをサウンドカードにディスパッチするために）。

フレームN+2に関連付けられたバイナリトレーンが受信される。フレームN+3の低帯域コードはこのようにして復号化され、かつ、復号化された信号は格納される。同じ時間間隔では、消去フレームを隠蔽するためのアルゴリズムは、低帯域のフレームN+2でクロスフェージングを行うために、低帯域のフレームN+2に対する外挿を継続する（外挿された信号と通常の復号化された信号と間の連続性を確実にするためにバッファリングされた）。

本発明は、このタイプのコーダ/デコーダのアプリケーションに限定されない。また、低帯域を復号化するためのG.722タイプのコーダ/デコーダにおいて、第２実施例に従って、実行することができる（特に、このデコーダが5 msのフレーム長を処理するとき）。

また、本発明は、図５の212で表されるように、第１ステップE1を実行することができる準備手段204と、第２ステップE2を実行することができる隠蔽手段211とを備えた、デジタル信号における転送誤り隠蔽のための装置70を目的としている。これらの手段は、装置の入力で受信された連続信号フレームに対応する異なった時間間隔で実行さる。ハードウェアの観点では、図７に関して、一般に、本発明の意義の範囲内で、この装置は、ストレージ、及び/又は、ワークメモリを含むメモリブロックBMと協働するプロセッサμPと、復号化され、かつ、時間シフトでディスパッチされたフレームを格納するための手段としての上記したバッファメモリMEMとを備えている。この装置は、デジタル信号Seの連続フレームを入力として受信し、かつ、消去フレームのサンプルを含んだ合成信号Ssを供給する。

メモリブロックBMは、これらの命令が装置のプロセッサμPによって実行されるとき、本発明に従って、方法のステップを実行するためのコード命令を包括するコンピュータプログラムを含むことができる（特に、第１準備ステップは、欠けたサンプルを生成せず、かつ、第２隠蔽ステップは、消去フレームに対応する信号の欠けたサンプルを生成し、２つのステップが異なった時間間隔で実行される）。

図１及び２は、そのようなコンピュータプログラムのアルゴリズムを図示している。

本発明によるこの隠蔽装置は、独立しているか、又は、デジタル信号デコーダに一体化することができる。

101, 210 直交フィルタバンク
103 PCMコーダ（Co-PCM）
106 変形離散コサイン変換（MDCT）
107 変形離散コサイン変換コーダ（Co-MDCT）
108 マルチプレクサ
201 デマルチプレクサ
202 PCMデコーダ（De-PCM）
BM メモリブロック
μP プロセッサ
MEM バッファメモリ
Se デジタル信号
Ss 合成信号

Claims (10)

1. 受信において、信号が消去フレームと有効フレームとを含み、かつ、
   有効フレームの後の少なくとも第１消去フレーム（N）を置換するために、少なくとも２つのステップが実行され、
   準備の第１ステップ（E1）は、欠けたサンプルを生成しないで、かつ、有効な復号化された信号の少なくとも１つの分析を含み、かつ、
   隠蔽の第２ステップ（E2）は、前記消去フレームに対応する信号の欠けたサンプルを生成する、
   異なった時間間隔に関連付けられた複数の連続フレームに分割されたデジタル信号における転送誤り隠蔽の方法において、
   前記第１ステップと前記第２ステップとは異なった時間間隔で実行されることを特徴とする方法。
2. 前記準備ステップは、有効フレームに関連付けられた時間間隔で実行され、かつ、
   前記隠蔽ステップは、消去フレームに関連付けられた時間間隔で実行されることを特徴とする請求項１に記載の方法。
3. 前記準備ステップは、消去フレームに関連付けられた時間間隔で実行され、かつ、
   前記隠蔽ステップは、次の時間間隔で実行されることを特徴とする請求項１に記載の方法。
4. 第１周波数帯の復号化と第２周波数帯の復号化とを具備した、復号化システムで、第１周波数帯域の復号化中に実行され、
   前記第２周波数帯域の前記復号化は、前記第１周波数帯域の前記復号化に対して時間遅延を含むことを特徴とする請求項３に記載の方法。
5. 前記第１周波数帯はG.711WBタイプの復号化の低帯域に対応し、かつ、
   前記第２周波数帯はG.711WBタイプの復号化の高帯域に対応することを特徴とする請求項４に記載の方法。
6. 前記準備ステップは、LPC分析ステップと、LTP分析ステップとを具備し、
   前記隠蔽ステップは、LPC残留信号を計算するステップと、区別するステップと、欠けたサンプルを外挿するステップとを具備することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記準備ステップは、LPC分析ステップと、LTP分析ステップと、LPC残留信号を計算するステップとを具備し、
   前記隠蔽ステップは、区別するステップと、欠けたサンプルを外挿するステップとを具備することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
8. 欠けたサンプルを生成しない準備手段を備え、かつ、
   少なくとも、有効な復号化された信号を分析するための手段と、消去フレームに対応する信号の欠けたサンプルを生成する隠蔽手段とを備えた、
   異なった時間間隔に関連付けられた複数の連続フレームに分割されたデジタル信号における転送誤り隠蔽のための装置において、
   前記手段は、有効フレームの後の少なくとも第１消去フレームを置換するために、異なった時間間隔で実行されることを特徴とする装置。
9. デジタル信号デコーダにおいて、
   請求項８に記載の転送誤り隠蔽装置を備えたことを特徴とするデジタル信号デコーダ。
10. 転送誤り隠蔽装置のメモリに格納されることを意図したコンピュータプログラムにおいて、
    前記転送誤り隠蔽装置のプロセッサによって実行されるとき、請求項１乃至７のいずれか１項による方法のステップを実行させるためのコード命令を含むことを特徴とするコンピュータプログラム。

Images