JP2009538460A - 高帯域信号にフレーム消失の隠蔽を行う方法および装置 - Google Patents

Abstract

本発明は、高帯域信号にフレーム消失の隠蔽を行う方法を開示し、低帯域信号に対して高帯域信号の周期的強度を計算する段階と、高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかを判断する段階と、高帯域信号の周期的強度が、事前に設定されたしきい値以上である場合、ピッチ周期の反復法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階と、高帯域信号の周期的強度が、事前に設定されたしきい値を下回る場合、前のフレームのデータの反復法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階とを含む。本発明はさらに、高帯域信号にフレーム消失の隠蔽を行う装置および音声復号器を開示する。音声信号の品質が低下するという問題が回避される。

Description

本出願は、2007年9月15日に出願された「METHOD AND DEVICE FOR PERFORMING FRAME ERASURE CONCEALMENT TO HIGHER-BAND SIGNAL」という名称の中国特許出願第200710153955.0号、および2007年11月24日に出願された「METHOD AND DEVICE FOR PERFORMING FRAME ERASURE CONCEALMENT TO HIGHER-BAND SIGNAL」という名称の中国特許出願第200710194570.9号の利点を主張するものであり、これらの全体を参照によって本明細書に援用する。

本発明は、信号復号技術の分野に関し、詳細には、高帯域信号にフレーム消失の隠蔽を行う方法および装置に関する。

ほとんどの従来の音声コーデックでは、音声信号の帯域幅は小さい。広帯域幅を有する音声コーデックはほんのわずかであるが、ネットワーク技術の発展に伴って、ネットワーク伝送速度が増大し、広帯域コーデックへの要求が高まっている。任意選択ではあるが、音声コーデックの帯域幅は、最大で超広帯域(50Hz〜14000Hz)およびフルバンド(20Hz〜20000Hz)であることが望ましい。

広帯域の音声コーデックに従来の音声コーデックとの互換性を持たせるために、1つの音声コーデックを複数の層に分割することができる。一例として2つの層を含む音声コーデックを用いて、以降で説明する。

まず、2つの層を含む音声コーデックは、符号化側で分析直交ミラーフィルタバンクを用いて入力信号を高帯域信号と低帯域信号とに分ける。低帯域信号は、低帯域符号器に入力されて符号化され、高帯域信号は、高帯域符号器に入力されて符号化される。得られた低帯域データおよび高帯域データは、ビットストリームマルチプレクサを介して合成されてビットストリームになり、このビットストリームが送出される。低帯域信号とは、その周波数が、信号の帯域幅の低帯域にある信号のことであり、高帯域信号とは、その周波数が、信号の帯域幅の高帯域にある信号のことである。例えば、入力信号の帯域幅が、50Hz〜7000Hzである場合、低帯域信号の帯域幅は、50Hz〜4000Hzとすることができ、高帯域信号の帯域幅は、4000Hz〜7000Hzとすることができる。復号は、復号側で実行される。ビットストリームは、低帯域ビットストリームと高帯域ビットストリームとに分けられ、この低帯域ビットストリームおよび高帯域ビットストリームが、それぞれ低帯域復号器および高帯域復号器に入力されて復号される。このようにして、低帯域信号および高帯域信号が得られる。低帯域信号および高帯域信号は、合成直交ミラーフィルタバンクを用いて出力用の音声信号へと合成される。

現在では、Voice of IP(VoIP)の利用および無線ネットワークの音声の利用が、ますます普及している。音声の伝送は、小さいデータパケットをリアルタイムにかつ確実に伝送する必要がある。音声フレームが伝送中に失われると、失われた音声フレームを再送する時間はない。同様に、音声フレームが長いルーティングを通って、その音声フレームが再生されるべき適時に到達することができない場合、その音声フレームは、失われたフレームと同等である。したがって、音声システムでは、音声フレームが到達できない場合、または時間内に到達できない場合、その音声フレームを失われたフレームとみなすことができる。

失われたフレームに何の処理も行われない場合、音声がときどき途切れ、音声品質は、極めて悪影響を受ける。したがって、失われたフレームには、フレーム消失の隠蔽処理が必要である。言い換えれば、失われた音声データを推定し、推定したデータを使用して、失われたデータの代わりとする。したがって、フレームが失われた環境において、よりよい音声品質を得ることができる。入力信号を高帯域信号と低帯域信号とに分ける音声コーデックに関しては、フレーム消失の隠蔽は、フレーム消失の隠蔽中、低帯域信号と高帯域信号とにそれぞれ行われ、フレーム消失の隠蔽の後に得られた高帯域信号および低帯域信号は、合成直交ミラーフィルタバンクを介して出力用の音声信号へと合成される。

フレーム消失の隠蔽方法には、挿入法、補間法、および再合成法が含まれる。

フレーム消失の隠蔽の挿入法には、スプライシング、無音置換、雑音置換、および前のフレームの反復が含まれる。

フレーム消失の隠蔽の補間法には、波形置換、ピッチの反復、および時間領域の波形修正が含まれる。

再合成法には、符号器のパラメータ補間、およびモデルベースの再合成法が含まれる。

モデルベースの再合成法は、最高の音声品質であるが、アルゴリズムの複雑度が最も高く、前のフレームの反復法は、良好な音声品質でありながら、アルゴリズムの複雑度は高くない。

低帯域信号による音声品質への影響は、高帯域信号による音声品質への影響より大きいので、低帯域信号には、高複雑度および高音声品質のフレーム消失の隠蔽アルゴリズム(例えば、ピッチの反復、時間領域の波形修正、符号器のパラメータ補間、モデルベースの再合成法)が使用される。高帯域信号には、低複雑度および低音声品質のフレーム消失の隠蔽アルゴリズムが使用される。このように、音声品質と複雑度との間で折り合いをつける。

従来技術の音声復号器では、低帯域信号にはピッチの反復を用いてフレーム消失の隠蔽を行い、高帯域信号には前のフレームの反復および減衰法を用いてフレーム消失の隠蔽を行う。

前のフレームの反復および減衰法に基づいて高帯域信号を再生する式は、次のようになる。
s_hb(n)=s_hb(n-N)・α、n=0,...,N-1
この式で、s_hb(n)、n=0,...,N-1は、失われたフレームの再生された高帯域信号を表し、Nは、フレームのサンプル数を表し、減衰係数αは、0から1の範囲の負でない数である。減衰係数αは、0.8などの定数とするか、または連続的に失われたパケットの数に適応して変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。
中国特許出願第200710153955.0号 中国特許出願第200710194570.9号

本発明を実現する過程において、本発明者は、強い周期性を信号が有する場合には高帯域信号を正しく再生することができないことに気づいている。低帯域信号および高帯域信号が、不変の周期性を有する場合、従来の技術で高帯域信号にフレーム消失の隠蔽を行うと、高帯域信号の元の周期性は破壊される。したがって、音声復号器から出力される音声信号の品質が下がる。

本発明の一実施形態は、音声復号器から出力される音声信号の品質を上げるために、高帯域信号にフレーム消失の隠蔽を行う方法を提供する。

本発明の別の実施形態は、音声復号器から出力される音声信号の品質を上げるために、高帯域信号にフレーム消失の隠蔽を行う装置を提供する。

本発明の別の実施形態は、音声復号器から出力される音声信号の品質を上げるために、音声復号器を提供する。

上記の目的を達成するために、本発明の実施形態による技術的解決法を次のように実行する。

高帯域信号にフレーム消失の隠蔽を行う方法は、
低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算する段階と、
周期的強度が、事前に設定されたしきい値以上であるかどうかを判断する段階と、周期的強度が、事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階と、周期的強度が、事前に設定されたしきい値を下回る場合は、前のフレームのデータの反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階とを含む。

高帯域信号にフレーム消失の隠蔽を行う装置は、
低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算し、周期的強度が、事前に設定されたしきい値以上であるかどうかを判断し、周期的強度が、事前に設定されたしきい値以上である場合は、現在の失われたフレームの高帯域信号をピッチ周期反復モジュールへ送信し、周期的強度が、事前に設定されたしきい値を下回る場合は、現在の失われたフレームの高帯域信号を前のフレームのデータ反復モジュールへ送信するように適合された周期的強度計算モジュールと、
ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行うように適合されたピッチ周期反復モジュールと、
前のフレームのデータの反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行うように適合された前のフレームのデータ反復モジュールとを含む。

音声復号器は、
入力されたビットストリームを、低帯域ビットストリームと高帯域ビットストリームとに分離するように適合されたビットストリーム分離モジュールと、
低帯域ビットストリームおよび高帯域ビットストリームを、それぞれ低帯域信号および高帯域信号に復号するように適合された低帯域復号器および高帯域復号器と、
低帯域信号にフレーム消失の隠蔽を行って、低帯域信号のピッチ周期を得るように適合された、低帯域信号に対するフレーム消失隠蔽装置と、
低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算し、高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかを判断し、高帯域信号の周期的強度が、事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行い、高帯域信号の周期的強度が、事前に設定されたしきい値を下回る場合は、前のフレームのデータの反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行うように適合された、高帯域信号に対するフレーム消失隠蔽装置と、
フレーム消失の隠蔽後に低帯域信号と高帯域信号とを出力用の音声信号へと合成するように適合された合成直交ミラーフィルタバンクとを含む。

従来の技術と比較すると、本発明の一実施形態による技術的解決法では、低帯域信号のピッチ周期に対する高帯域信号の周期的強度が計算され、次に、低帯域信号のピッチ周期の情報に対する高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかが判断され、周期的強度がしきい値以上である場合、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。このように、強い周期性を高帯域信号が有する場合、高帯域信号の周期性は、破壊されながらも破壊されない。したがって、高帯域信号の周期性が破壊されるために音声信号の品質が下がるという問題を、回避することができる。高帯域信号の周期的強度が、しきい値を下回り、高帯域信号の周期的強度が弱いと判断される場合、前のフレームのデータの反復に基づく方法を用いて現在の失われたフレームにフレーム消失の隠蔽を行う。高帯域信号の周期的強度が弱いと、高周波雑音が取り込まれる。したがって、高周波雑音が取り込まれるために、音声信号の音声品質が下がるという問題を回避することができる。このように、本発明の一実施形態により高帯域信号にフレーム消失の隠蔽を行う技術的解決法は、音声復号器から出力される音声信号の品質を上げることができる。

本発明を、添付の図面および以下の特定の実施形態を参照して、詳細に説明する。

図1は、本発明の一実施形態による音声復号器の構造図である。図1に示すように、音声復号器は、ビットストリーム分離モジュールと、低帯域復号器と、高帯域復号器と、低帯域信号用のフレーム消失隠蔽装置と、高帯域信号用のフレーム消失隠蔽装置と、合成直交ミラーフィルタバンクとを含む。

ビットストリーム分離モジュールは、入力されたビットストリームを、低帯域ビットストリームと高帯域ビットストリームとに分離するように適合されている。低帯域信号および高帯域信号は、それぞれ低帯域復号器および高帯域復号器で低帯域ビットストリームおよび高帯域ビットストリームを復号することによって得られる。低帯域信号および高帯域信号は、それぞれ低帯域信号用のフレーム消失隠蔽装置および高帯域信号用のフレーム消失隠蔽装置によって処理され、次に合成直交ミラーフィルタバンクによって出力用の音声信号へと合成される。

低帯域信号用のフレーム消失隠蔽装置は、低帯域信号のフレーム消失の隠蔽を処理して、低帯域信号のピッチ周期を高帯域信号用のフレーム消失隠蔽装置へ提供する。

高帯域信号用のフレーム消失隠蔽装置は、本発明の一実施形態による高帯域信号のフレーム消失の隠蔽方法を実行する。本発明の一実施形態による高帯域信号のフレーム消失の隠蔽方法は、低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算する段階と、高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかを判断する段階と、高帯域信号の周期的強度が、事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を使用して現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階と、高帯域信号の周期的強度が、事前に設定されたしきい値を下回る場合は、前のフレームのデータの反復に基づく方法を使用して現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う段階とを含む。

図2は、本発明の一実施形態による高帯域信号のフレーム消失の隠蔽方法を示す流れ図である。図3は、本発明の一実施形態による高帯域信号のフレーム消失隠蔽装置の構造図である。図2および図3を参照して、本発明の一実施形態によりフレーム消失の隠蔽を実行するための技術的解決法を、次のように詳細に説明する。

図2に示すように、高帯域信号にフレーム消失の隠蔽を行う方法は、次の段階を含む。

段階700:低帯域信号のフレーム消失の隠蔽により得られる低帯域信号のピッチ周期によって、低帯域信号に対する高帯域信号の周期的強度が計算される。

段階700では、低帯域信号のフレーム消失の隠蔽は、ピッチの反復に基づく方法、モデルベースの再合成に基づく方法、および符号器のパラメータ補間に基づく方法など、ピッチ周期を得ることができるフレーム消失の隠蔽方法を使用し、符号器のパラメータは、ピッチ周期パラメータを含む。例えば、モデルベースの再合成に基づく方法は、線形予測モデルベースの再合成を実行するフレーム消失の隠蔽方法とすることができる。

段階700では、高帯域信号用のフレーム消失隠蔽装置は、まず低帯域信号に対する信号フレーム消失の隠蔽を用いて低帯域信号のピッチ周期t_lbを計算し、次に高帯域信号の履歴バッファの信号s_hb(n)を利用して、t_lbに対する高帯域信号の周期的強度r(t_lb)を計算する。

一般に、信号の周期的強度の数値を求めることに応じる関数は、自己相関関数および正規化相関関数を含む。

低帯域信号のピッチ周期は、低帯域信号に対する自己相関関数を計算することによって求めることができる。この相関関数の式は、次のとおりである。

この式で、r(i)は、iに対する相関関数を表し、s_lb(j)は、低帯域信号を表し、Nは、フレームの音声信号のサンプル数など、相関関数を計算する窓の長さを表し、min_pitchは、ピッチ周期を調べる下限値であり、max_pitchは、ピッチ周期を調べる上限値である。したがって、低帯域信号のピッチ周期は次のとおりである。

言い換えれば、r(i)が最大値を有する場合、t_lbは、iの値に等しい。

この自己相関関数を用いて信号の周期的強度を計算する式は、次のとおりである。

この式で、s_hb(n)、n=-M,...,-1は、高帯域信号の履歴バッファの信号を表し、Mは、高帯域信号の履歴バッファの信号のサンプル数を表す。Nは、フレーム内の高帯域信号のサンプル数など、定数の正の整数である。

正規化相関関数を用いて信号の周期的強度を計算する式は、次のとおりである。

この式で、Nは、フレーム内の高帯域信号のサンプル数など、定数の正の整数である。

図3を参照すると、図3に示す高帯域信号用のフレーム消失隠蔽装置は、周期的強度計算モジュールと、ピッチ周期反復モジュールと、前のフレームのデータ反復モジュールとを含む。段階700では、周期的強度計算モジュールが、低帯域信号用の信号フレーム消失の隠蔽で低帯域信号のピッチ周期を計算し、低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算する。

段階700では、低帯域信号のピッチ周期t_lbに加えて、低帯域信号のピッチ周期の情報は、低帯域信号のピッチ周期t_lb前後の値を含むことができる。高帯域信号用のフレーム消失隠蔽装置は、まず、低帯域信号に対する信号フレーム消失の隠蔽を用いて低帯域信号のピッチ周期t_lbを計算することができる。高帯域信号のピッチ周期を調べる複雑さを軽減し、高帯域信号のピッチ周期についての精度を上げるために、
[max(t_lb-m,pit_min),min(t_lb+m,pit_max)]など、低帯域信号のピッチ周期t_lbの区間を用いて高帯域信号の正規化相関関数を計算することができる。高帯域信号の履歴バッファの信号s_hb(n)を用いて、[max(t_lb-m,pit_min),min(t_lb+m,pit_max)]に対する高帯域信号の周期的強度r(t_lb)を計算する。

max(t_lb-m,pit_min)≦i≦min(t_lb+m,pit_max)

この式で、mは、調査区間の半径であり、3または3以下の任意の他の値などである。実験の結果によると、mが大きくなるほど精度が上がり、アルゴリズムの複雑度が上がる。この実施形態では、mは3に等しい。pit_minは、最小ピッチ周期である。この実施形態では、pit_min=16である。pit_maxは、最大ピッチ周期である。この実施形態では、pit_max=144である。他の実施形態では、pit_min=20およびpit_max=143、またはpit_min=16およびpit_max=160であることも認められる。高帯域信号のピッチ周期t_hbは、次のとおりである。

これに対応して、正規化相関関数は、次のとおりである。

このようにして、低帯域信号のピッチ周期の情報に対する高帯域信号の周期的強度が得られる。

段階701では、低帯域信号のピッチ周期の情報に対する高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかが判断される。低帯域信号のピッチ周期に対する高帯域信号の周期的強度が、事前に設定されたしきい値以上である場合は、段階702が実行され、しきい値を下回る場合は、段階703が実行される。

段階701では、相関関数を用いて周期的強度を計算する方法において、多数のテストを通して、しきい値Rを選択することができる。例えばシミュレーションで、本発明の一実施形態により高帯域信号にフレーム消失の隠蔽方法を実行する音声復号器を使用して、異なるしきい値を有する音声信号出力を得ることができ、次にこの音声信号の信号対雑音比(SNR)を計算し、その後、最大SNRを有する音声信号に対応するしきい値が、段階701で選択されるしきい値として選択される。場合により、段階701で選択されるしきい値を、実験値に従って決定することができる。r(t_lb)≧Rの場合、高帯域信号の履歴バッファの信号s_hb(n)がt_lbに対して強い周期的強度を持っていると判断され、そうでない場合、高帯域信号の履歴バッファの信号s_hb(n)がt_lbに対して強い周期的強度を持っていないと判断される。

正規化相関関数を用いて周期的強度を計算する方法では、しきい値は、0から1の範囲の負でない数とすることができる。多数のテストを通して、0.7などのR_norを選択することができる。このプロセスは、相関関数を用いて周期的強度を計算する方法のプロセスと同じである。場合によっては、実験値を選択することができる。r_nor(t_lb)≧R_norまたはr_{nor_max}≧R_norの場合、高帯域信号の履歴バッファの信号s_hb(n)は、低帯域信号のピッチ周期の情報に対して強い周期的強度があると判断され、そうでない場合、高帯域信号の履歴バッファの信号s_hb(n)は、低帯域信号のピッチ周期の情報に対して強い周期的強度がないと判断される。

図3に示す高帯域信号用のフレーム消失隠蔽装置では、周期的強度計算モジュールが、低帯域信号のピッチ周期の情報に対して高帯域信号の周期的強度を計算し、次に低帯域信号のピッチ周期の情報に対して計算された高帯域信号の周期的強度が、周期的強度計算モジュールであらかじめ設定されたしきい値以上であるかどうかを判断する。計算された周期的強度が、しきい値以上である場合、ピッチ周期反復モジュールがその後のプロセスを実行し、そうでない場合、前のフレームのデータ反復モジュールがその後のプロセスを実行する。

段階702では、ピッチ周期反復法を用いて、失われたフレームの高帯域信号のフレーム消失の隠蔽を行う。

段階702において、ピッチ周期反復法には、ピッチ反復法、モデルベースの再合成に基づく方法、またはピッチの反復および減衰に基づく方法が含まれる。

段階702では、例えばピッチ反復を用いて、高帯域信号にフレーム消失の隠蔽を行う。次の式を用いて、失われたフレームの高帯域信号を再合成する。
s_hb(n)=s_hb(n-t_lb)、n=0,...,N-1
この式で、s_hb(n)、n=0,...,N-1は、失われたフレームの再生された高帯域信号を表し、Nは、フレームに含まれるサンプル数を表す。s_hb(n)、n=-M,...,-1は、高帯域信号の履歴バッファの信号を表し、Mは、高帯域信号の履歴バッファの信号のサンプル数を表す。

多数のフレームが連続的に失われた場合、単に周期を繰り返すことによってフレーム消失の隠蔽が高帯域信号に行われると、過度の周期性を有する信号がもたらされる可能性がある。効果を上げるためには、再生された信号に減衰係数αを掛ける。ピッチ周期反復法は、ピッチ反復および減衰に基づく方法を含み、このフレーム消失の隠蔽は、現在の失われたフレームの高帯域信号に行われる。求められる高帯域信号は、次のとおりである。
s_hb(n)=s_hb(n-t_lb)・α、n=0,...,N-1

この式で、Nは、フレームのサンプル数を表し、減衰係数αは、0から1の範囲の負でない数である。減衰係数αは、0.8などの定数とするか、または連続的に失われたパケットの数に応じて適宜変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。また、しきい値を決定する方法を用いて、減衰係数を決定することもできるが、その説明の繰返しは省略する。

ピッチ反復および減衰に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。さらに、フレーム消失の隠蔽が修正離散コサイン変換(MDCT)に基づく場合、2つのフレームの信号s_hb(n)は、まずピッチ周期の反復によってコピーされる。
s_hb(n)=s_hb(n-t_lb)、n=0,...,2N-1

信号s_hb(n)は、サイン窓関数w_tdac(n)を加えられて減衰され、現在のフレームの逆修正離散コサイン変換(IMDCT)係数の推定値d^cur(n)は、次のように求められる。
d^cur(n)=w_tdac(n)s_hb(n)β、n=0,...,2N-1

βは、

などの減衰係数である。d^cur(n)は、前のフレームのIMDCT係数d^pre(n)でオーバーラップ加算されて減衰され、したがって現在のフレームの出力信号は、次のように得られる。
s_hb(n)=(w_tdac(n+N)d^pre(n+N)+w_tdac(n)d^cur(n))α、n=0,...,N-1

前のフレームのIMDCT係数d^pre(n)の後半のフレームを、前のフレームのIMDCT係数の後半部分と呼ぶ。減衰係数αは、0から1の範囲の負でない数とすることができる。減衰係数αは、0.8などの定数、またはα=1-0.005×(n+1)など、連続的に失われたパケットの数に応じて適宜変わる変数とすることができる。減衰は、ポイントごとに増大され、それにより出力信号がより滑らかになる。

図4は、本発明の一実施形態によるピッチ周期反復モジュールを示し、ピッチ周期によりフレームの信号をコピーするように適合された反復モジュールと、そのフレームのコピーされた信号にサイン窓関数を付加して信号を減衰し、そのフレームのIMDCT係数の推定値を求めるように適合された減衰モジュールと、現在のフレームの推定値を、前のフレームのIMDCT係数の後半フレームでオーバーラップ加算して減衰するように適合されたオーバーラップ加算(OLA)モジュールとを含む。

段階702において、線形予測モデルに基づく再合成ベースの方法を用いて高帯域信号にフレーム消失の隠蔽を行う場合は、次の式を用いて高帯域の残差信号e_hb(n)のピッチ周期の反復を行う。
e_hb(n)=e_hb(n-t_lh)、n=0,...,N-1
この式で、e_hb(n)、n=0,...,N-1は、現在の失われたフレームの高帯域の残差信号を表し、e_hb(n)、n=-M,...,-1は、線形予測分析に対する高帯域信号の履歴バッファの信号の残差を表す。

次に、高帯域信号の残差を用いて線形予測合成器によって、失われたフレームの高帯域信号を求める。その式は、次のとおりである。

任意選択ではあるが、主観的効果を上げるために、再生された信号に減衰係数αを掛けると、線形予測モデルに基づく合成法を用いてフレーム消失の隠蔽を行うことによって得られる高帯域信号は、次のようになる。

この式で、s_hb(n)、n=0,...,N-1は、現在の失われたフレームの再生された高帯域信号を表し、Nは、フレームのサンプル数を表す。s_hb(n)、n=-M,...,-1は、高帯域信号の履歴バッファの信号を表し、Mは、高帯域信号のサンプル数を表す。減衰係数αは、0から1の範囲の負でない数とすることができる。減衰係数αは、0.8などの定数とするか、または連続的に失われたパケットの数に応じて適宜変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。

段階702では、図3に示すピッチ周期反復モジュールが、ピッチ周期の反復に基づく方法を用いて、失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。ピッチ周期反復モジュールは、ピッチの反復に基づく方法を用いて高帯域信号にフレーム消失の隠蔽を行うか、または線形予測モデルの方法など、モデルをベースにした再合成に基づく方法を用いて高帯域信号にフレーム消失の隠蔽を行うことができる。

段階703では、前のフレームのデータの反復に基づく方法を用いて、失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。

段階703では、前のフレームのデータの反復ベースの方法は、前のフレームの反復ベースの方法と、前のフレームの反復および減衰ベースの方法と、符号器のパラメータ補間ベースの方法とを含む。

段階703では、図3に示す前のフレームのデータ反復モジュールが、前のデータの反復に基づく方法を用いて、失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。詳細には、前のフレームの反復ベースの方法、前のフレームの反復および減衰ベースの方法、または符号器のパラメータ補間ベースの方法を用いることができる。

例えば、前のフレームの反復および減衰方法を用いる場合、現在の失われたフレームの前のフレームの時間領域データを現在の失われたフレームにコピーして、減衰係数αを掛ける。言い換えれば、次の式を用いて、失われたフレームを再生することができる。
s_hb(n)=s_hb(n-N)・α、n=0,...,N-1
この式で、Nは、フレームに含まれるサンプル数を表す。減衰係数αは、0から1の範囲の負でない数とすることができる。減衰係数αは、0.8などの定数とするか、または連続的に失われたパケットの数に応じて適宜変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。

図5は、本発明の一実施形態による前のフレームのデータ反復モジュールを示す。図5に示すように、前のフレームのデータ反復モジュールは、前のフレームの高帯域信号を現在の失われたフレームにコピーして、コピーされたフレームを減衰モジュールに入力するように適合された、前のフレームの高帯域信号用の反復モジュールと、コピーされたフレームに減衰係数αを掛けてフレーム消失の隠蔽後に高帯域信号を得るように適合された減衰モジュールとを含む。

高帯域信号復号器のアルゴリズムが、周波数領域アルゴリズムである場合、前のフレームの反復および減衰に基づく方法用いて、前のフレームの周波数領域データから時間領域データを再生する間、ある中間データを反復して減衰する。この方法は、現在の失われたフレームの前のフレームの周波数領域データから時間領域データを再生する間に得られる中間データを、現在の失われたフレームの中間データとして使用して、この中間データを減衰する段階と、現在の失われたフレームの減衰された時間領域データを現在の失われたフレームの中間データと合成する段階、または、前のフレームの周波数領域データから時間領域データを再生する間に得られる中間データを、現在の失われたフレームの中間データとして使用し、次に失われたフレームの時間領域データをこの中間データと合成する段階とを含む。

例えば、高帯域復号器が、MDCTに基づく高帯域復号器である場合、前のフレームのIMDCT係数を反復して減衰し、現在の失われたフレームのIMDCT係数を推定することができる。合成の式により、前のフレームのIMDCT係数と現在の失われたフレームのIMDCT係数とをオーバーラップ加算して、現在の失われたフレームの時間領域データを求める。

現在の失われたフレームのIMDCT係数は、次の式を用いて推定することができる。
d^cur(n)=d^pre(n)・α、n=0,...,2N-1
この式で、d^cur(n)は、現在の失われたフレームのIMDCT係数であり、d^pre(n)は、前のフレームのIMDCT係数であり、Nは、フレームに含まれるサンプル数を表す。減衰係数αは、0から1の範囲の負でない数である。減衰係数αは、0.8などの定数とするか、または連続的に失われたパケットの数に応じて適宜変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。

現在の失われたフレームの時間領域データは、次の式を用いてIMDCT係数にOLAを行うことによって求められる。
s_hb(n)=w_tdac(n+N)d^pre(n+N)+w_tdac(n)d^cur(n)、n=0,...,N-1
この式で、s_hb(n)は、現在の失われたフレームの時間領域データであり、w_tdac(n)は、ハミング窓およびサイン窓など、OLA合成中に付加される窓関数である。窓関数を求める方法は、従来の技術でs_hb(n)を計算中に窓関数を求める方法と同じである。

図6は、本発明の一実施形態による別の前のフレームのデータ反復モジュールの構造図である。図6に示すように、この前のフレームのデータ反復モジュールは、前のフレームのIMDCT係数格納モジュールと、減衰モジュールと、OLAモジュールとを含む。前のフレームのIMDCT係数格納モジュールは、周波数領域データから時間領域データを再生中にIMDCT係数を格納するように適合されている。減衰モジュールは、このIMDCT係数をαで減衰して、現在の失われたフレームのIMDCT係数を求めるように適合されている。前のフレームのIMDCT係数および減衰後に得られた現在の失われたフレームのIMDCT係数は、OLAモジュールに入力されてオーバーラップ加算される。続いて、フレーム消失の隠蔽後に現在の失われたフレームの高帯域信号が得られる。

IMDCT係数ではなくMDCT係数が繰り返されて減衰される場合、MDCT係数にIMDCTを行ってIMDCT係数を求めて、IMDCT係数を減衰する。現在の失われたフレームの時間領域データは、OLAプロセスによって得られる。しかしながら、このIMDCTプロセスの計算量は、さらに追加される。当業者なら理解できるように、前のフレームのIMDCT係数を直接に反復して減衰し、現在の失われたフレームの時間領域データをOLAプロセスで合成すれば、計算量を削減することができる。

さらに、例えば、高帯域復号器が、高速フーリエ変換(FFT)に基づく高帯域復号器である場合は、前のフレームの逆高速フーリエ変換(IFFT)係数を反復して減衰し、現在の失われたフレームのIFFT係数を推定することができる。次にOLAを行って、現在の失われたフレームの時間領域データを得る。

現在の失われたフレームのIFFT係数は、次の式を用いて推定することができる。
d^cur(n)=d^pre(n)・α、n=0,...,M-1
この式で、d^cur(n)は、現在の失われたフレームのIFFT係数であり、d^pre(n)は、前のフレームのIFFT係数であり、Mは、フレームに必要なIFFT係数の数を表す。一般に、Mは、フレームのサンプル数を表すNよりも大きい。減衰係数αは、0から1の範囲の負でない数である。減衰係数αは、0.875などの定数とするか、または連続的に失われるパケットの数に応じて適宜変わる変数とすることができる。例えば、第1の失われたフレームには、0.9などのより大きい減衰係数を掛け、第2の失われたフレームおよび次に続くフレームには、0.7などのより小さい減衰係数を掛ける。

現在の失われたフレームの前の(M-N)個のサンプルを、次のOLAの式を用いて再生する。
s_hb(n)=w(n+N)d^pre(n+N)+w(n)d^cur(n)、n=0,...,M-N-1
この式で、s_hb(n)は、現在の失われたフレームの時間領域データであり、w(n)は、ハミング窓およびサイン窓など、OLA合成中に加算される窓関数である。

現在の失われたフレームの後の(2N-M)個のサンプルを、次の式を用いて再生する。
s_hb(n)=d^cur(n)、n=M-N,...,N-1
この式で、Mは、フレームに必要なIFFT係数の数であり、Nは、フレームのサンプル数である。

2層のコーデック以外では、音声復号器は、コア層と拡張層とを含む多層復号器をさらに含むことができる。コアコーデックは、従来の狭帯域または広帯域のコーデックである。いくつかの拡張層は、コアコーデックのコア層をベースにして拡張されている。したがって、コア層は、関連する従来の音声コーデックと直接通信し合うことができる。拡張層は、低帯域の音声信号の音声品質を上げるように適合された低帯域拡張層と、音声の帯域幅を拡張するように適合された高帯域拡張層とを含む。例えば、狭帯域信号が広帯域信号に拡張されるか、広帯域信号が超広帯域信号に拡張されるか、超広帯域信号がフルバンド信号に拡張される。しかしながら、少なくとも2層を含む音声復号器は、低帯域信号と高帯域信号とに復号された異なる層の信号を合成して、それぞれにフレーム消失の隠蔽処理を行い、そうして音声復号器から出力される音声信号が得られる。したがって、本発明の一実施形態により高帯域信号にフレーム消失の隠蔽を行う技術的解決法は、コア層と拡張層とを含む多層復号器にも適用可能である。

上記からわかるように、本発明の一実施形態により提供される技術的解決法により、低帯域信号のピッチ周期の情報に対する高帯域信号の周期的強度を計算し、次に低帯域信号のピッチ周期の情報に対する高帯域信号の周期的強度が、事前に設定されたしきい値以上であるかどうかを判断し、周期的強度が、事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行う。このように、強い周期性を高帯域信号が有する場合、高帯域信号の周期性は、破壊されながらも破壊されない。このようにして、高帯域信号の周期性が破壊されるために音声信号の品質が下がるという問題を、避けることが可能である。

さらに、本発明の一実施形態により、低帯域信号にフレーム消失の隠蔽を行う場合、低帯域信号のピッチ周期を得て、低帯域信号のピッチ周期の情報に対応する高帯域信号の周期的強度を計算する。このようにして、周期的強度計算モジュールを設定するハードウェアのオーバーヘッドを軽減することができる。

高帯域信号の周期的強度が、しきい値より低く、高帯域信号の周期的強度が弱いと判断される場合、前のフレームのデータの反復に基づく方法を使用して、現在失われているフレームにフレーム消失の隠蔽を行う。高帯域信号の周期的強度が弱いと、高周波雑音が取り込まれる。したがって、高周波数雑音が取り込まれるために音声信号の音声品質が下がるという問題を回避することができる。このように、本発明の一実施形態により高帯域信号にフレーム消失の隠蔽を行う技術的解決法は、音声復号器から出力される音声信号の品質を上げることができる。

さらに、高帯域信号復号器のアルゴリズムが、周波数領域アルゴリズムである場合、前のフレームの周波数領域データから時間領域データを再生する間の中間データを用いて、現在の失われたフレームの高帯域信号にフレーム消失の隠蔽を行うことができる。高帯域信号が、MDCTに基づいて符号化される場合、復号器から得られるIMCDT係数を反復して減衰することができ、次にOLA処理を行って、現在の失われたフレームの時間領域データを再生する。こうして、計算量を削減することができる。

本発明を、ハードウェア、またはソフトウェア、あるいはその両方を使用して実行することができるということを当業者は容易に理解するであろう。また、本発明の範囲内の実施形態は、コンピュータで実行可能な命令、コンピュータ可読命令、またはその命令に格納されたデータ構造を所持するまたは保有するコンピュータ可読媒体を含む。このようなコンピュータ可読媒体には、RAM、ROM、その他の光ディスク記憶装置、磁気ディスク記憶装置などの物理的記憶媒体を含むことができる。コンピュータ可読媒体に格納された命令のプログラムは、ある方法を実行する機械によって実行される。この方法は、本発明の方法の実施形態のいずれか1つの段階を含むことができる。

上記の実施形態は、単に例示のために提供しており、実施形態の順序を、実施形態を評価する基準とみなすことはできない。さらに、実施形態の中の「段階」という表現は、本発明を実施する段階の順序を、本明細書に記載した順序に限定しようとするものではない。

さらなる利点および修正を、当業者なら容易に思いつくであろう。ゆえに、より広範な解釈の本発明は、本明細書に示され記載された特定の詳細および代表的な実施形態には限定されない。したがって、添付の特許請求の範囲およびその均等物によって定義される本発明の範囲から逸脱することなく、さまざまな修正および変形を加えることが可能である。

本発明の一実施形態による音声復号器の構造図である。 本発明の一実施形態による高帯域信号のフレーム消失の隠蔽方法を示す流れ図である。 本発明の一実施形態による高帯域信号のフレーム消失隠蔽装置の構造図である。 本発明の一実施形態によるピッチ周期反復モジュールの構造図である。 本発明の一実施形態による別の前のフレームのデータ反復モジュールの構造図である。 本発明の一実施形態による別の前のフレームのデータ反復モジュールの構造図である。

Claims (18)

1. 高帯域信号にフレーム消失の隠蔽を行う方法であって、
   低帯域信号のピッチ周期の情報に対して前記高帯域信号の周期的強度を計算する段階と、
   前記周期的強度が、事前に設定されたしきい値以上であるかどうかを判断する段階と、
   前記周期的強度が前記事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行う段階と、
   前記周期的強度が前記事前に設定されたしきい値を下回る場合は、前のフレームのデータの反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行う段階とを含む方法。
2. 前記低帯域信号の前記ピッチ周期の情報が、前記低帯域信号のピッチ周期と、前記低帯域信号の前記ピッチ周期の区間とを含み、
   前記区間の第1の境界が、前記低帯域信号の前記ピッチ周期からmを引くことにより得られる値および最小ピッチ周期のうちの大きい方の値であり、
   前記区間の第2の境界が、前記低帯域信号の前記ピッチ周期にmを加えることにより得られる値および最大ピッチ周期のうちの小さい方の値であり、かつmが3以下である、請求項1に記載の方法。
3. 前記低帯域信号の前記ピッチ周期が、前記低帯域信号のフレーム消失の隠蔽処理によって得られる、請求項1または2に記載の方法。
4. 前記低帯域信号の前記ピッチ周期の情報に対して前記高帯域信号の前記周期的強度を計算する段階が、現在の失われたフレームの前記高帯域信号の履歴バッファの信号を用いて、自己相関関数および正規化相関関数により、前記低帯域信号の前記ピッチ周期の情報に対して前記高帯域信号の前記周期的強度を計算する段階を含む、請求項1に記載の方法。
5. 前記ピッチ周期の反復に基づく方法が、ピッチの反復に基づく方法と、ピッチの反復および減衰に基づく方法と、モデルベースの再合成法とを含む、請求項1または4に記載の方法。
6. 前記ピッチの反復および減衰に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行う段階が、前記ピッチ周期に基づいて前記高帯域信号の履歴バッファの信号をコピーし、コピーされた信号にサイン窓関数を加え、さらに窓処理された信号を減衰して前記現在のフレームの逆修正離散コサイン変換(Invert Modified Discrete Cosine Transform)、すなわちIMDCT係数の推定値を得る段階と、前のフレームのIMDCT係数の後半部分で前記推定値をオーバーラップ加算して減衰する段階とを含む、請求項5に記載の方法。
7. 前記前のフレームのIMDCT係数の後半部分で前記推定値をオーバーラップ加算して減衰する減衰係数が、連続的に失われたパケットの数に応じて適宜変わる変数である、請求項6に記載の方法。
8. 前記前のフレームのデータの反復に基づく方法が、前のフレームの反復に基づく方法と、前のフレームの反復および減衰に基づく方法と、符号器のパラメータ補間に基づく方法とを含む、請求項1に記載の方法。
9. 前のフレームのデータの反復および減衰に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行う段階が、前記現在の失われたフレームの前のフレームの時間領域データを、前記現在のフレームの前記時間領域データとして使用して、前記時間領域データを減衰する段階を含む、請求項8に記載の方法。
10. 前記前のフレーム反復法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行う段階が、
    前記現在の失われたフレームの前記前のフレームの周波数領域データから時間領域データを再生する間に得られる中間データを、前記現在の失われたフレームの前記中間データとして使用して、前記中間データを減衰し、さらに前記現在の失われたフレームの前記減衰された時間領域データを前記現在の失われたフレームの前記中間データと合成する段階、または前記前のフレームの前記周波数領域データから前記時間領域データを再生する間に得られる前記中間データを、前記現在の失われたフレームの前記中間データとして使用し、さらに前記現在の失われたフレームの前記時間領域データを前記現在の失われたフレームの前記中間データと合成する段階を含む、請求項8または9に記載の方法。
11. 前記中間データが前記IMDCT係数である場合、前記現在の失われたフレームの前記時間領域データを前記現在の失われたフレームの前記中間データと合成する段階が、
    前記現在の失われたフレームの前記IMDCT係数と、前記前のフレームの前記IMDCT係数とをオーバーラップ加算して、前記現在の失われたフレームの前記時間領域データを得る段階を含む、請求項10に記載の方法。
12. 高帯域信号にフレーム消失の隠蔽を行う装置であって、
    低帯域信号のピッチ周期の情報に対して前記高帯域信号の周期的強度を計算し、前記周期的強度が、事前に設定されたしきい値以上であるかどうかを判断し、前記周期的強度が前記事前に設定されたしきい値以上である場合は、現在の失われたフレームの前記高帯域信号をピッチ周期反復モジュールへ送信し、前記周期的強度が前記事前に設定されたしきい値を下回る場合は、前記現在の失われたフレームの前記高帯域信号を前のフレームのデータ反復モジュールへ送信するように適合された周期的強度計算モジュールと、
    ピッチ周期の反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行うように適合された前記ピッチ周期反復モジュールと、
    前のフレームのデータの反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行うように適合された前記前のフレームのデータ反復モジュールとを含む装置。
13. 前記前のフレームのデータ反復モジュールが、
    前のフレームの前記高帯域信号を前記現在の失われたフレームにコピーするように適合された前記前のフレームの前記高帯域信号用の反復モジュールと、
    前記前のフレームの前記高帯域信号用の前記反復モジュールによってコピーされる前記前のフレームの前記高帯域信号に減衰係数を掛けて、前記フレーム消失の隠蔽の後の前記高帯域信号を得るように適合された減衰モジュールとを含む、請求項12に記載の装置。
14. 前記前のフレームのデータ反復モジュールが、
    前記前のフレームの周波数領域データから時間領域データを再生する間、逆修正離散コサイン変換(Invert Modified Discrete Cosine Transform)、すなわちIMDCT係数を格納するように適合された前のフレームのIMDCT係数格納モジュールと、
    前記前のフレームのIMDCT係数格納モジュール内の前記IMDCT係数を減衰して、前記現在の失われたフレームの前記IMDCT係数を得るように適合された減衰モジュールと、
    前記前のフレームのIMDCT係数格納モジュール内の前記前のフレームの前記IMDCT係数と、前記減衰モジュールによって得られた前記現在の失われたフレームの前記IMDCT係数とをオーバーラップ加算して、前記現在の失われたフレームの前記時間領域データを得るように適合されたオーバーラップ加算(OverLap-Add)、すなわちOLAモジュールとを含む、請求項12に記載の装置。
15. 前記ピッチ周期反復モジュールが、
    ピッチ周期により現在のフレームの信号をコピーするように適合された反復モジュールと、
    コピーされた信号にサイン窓関数を加え、窓処理された信号を減衰して、前記現在のフレームのIMDCT係数の推定値を得るように適合された減衰モジュールと、
    前記前のフレームの前記IMDCT係数の後半部分を用いて前記推定値をオーバーラップ加算して減衰するように適合されたオーバーラップ加算(OverLap-Add)、すなわちOLAモジュールとを含む、請求項12に記載の装置。
16. 入力されたビットストリームを、低帯域ビットストリームと高帯域ビットストリームとに分離するように適合されたビットストリーム分離モジュールと、
    前記低帯域ビットストリームおよび前記高帯域ビットストリームを、それぞれ低帯域信号および高帯域信号に復号するように適合された低帯域復号器および高帯域復号器と、
    前記低帯域信号にフレーム消失の隠蔽を行って、前記低帯域信号のピッチ周期を得るように適合された、低帯域信号に対するフレーム消失隠蔽装置と、
    前記低帯域信号のピッチ周期の情報に対して前記高帯域信号の周期的強度を計算し、前記高帯域信号の前記周期的強度が、事前に設定されたしきい値以上であるかどうかを判断し、前記高帯域信号の前記周期的強度が前記事前に設定されたしきい値以上である場合は、ピッチ周期の反復に基づく方法を用いて現在の失われたフレームの高帯域信号に前記フレーム消失の隠蔽を行い、前記高帯域信号の前記周期的強度が前記事前に設定されたしきい値を下回る場合は、前のフレームのデータの反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行うように適合された、高帯域信号に対するフレーム消失隠蔽装置と、
    前記フレーム消失の隠蔽後に前記低帯域信号と前記高帯域信号とを出力用の音声信号へと合成するように適合された合成直交ミラーフィルタバンクとを含む音声復号器。
17. 前記高帯域信号に対する前記フレーム消失隠蔽装置が、
    前記現在の失われたフレームの前記低帯域信号のピッチ周期の情報に対して前記高帯域信号の前記周期的強度を計算し、前記周期的強度が前記事前に設定されたしきい値以上であるかどうかを判断し、前記周期的強度が前記事前に設定されたしきい値以上である場合は、前記現在の失われたフレームの前記高帯域信号をピッチ周期反復モジュールへ送信し、前記周期的強度が前記事前に設定されたしきい値を下回る場合は、前記現在の失われたフレームの前記高帯域信号を前のフレームのデータ反復モジュールへ送信するように適合された周期的強度計算モジュールと、
    ピッチ周期の反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行うように適合された前記ピッチ周期反復モジュールと、
    前のフレームのデータの反復に基づく方法を用いて前記現在の失われたフレームの前記高帯域信号に前記フレーム消失の隠蔽を行うように適合された前記前のフレームのデータ反復モジュールとを含む、請求項16に記載の音声復号器。
18. コンピュータユニットによって実行されると、前記コンピュータユニットが、請求項1から11のいずれか一項に記載の段階を行うようになるコンピュータプログラムコードを含むコンピュータプログラム製品。

Images