JP2002542519A - パケットロス又はフレーム消去隠蔽を実行するための方法及び装置 - Google Patents

Abstract

(57)【要約】 本発明は、内蔵又は標準ＦＥＣ処理を持たないスピーチコーダにおいてパケットロス又はフレーム消去の隠蔽（ＦＥＣ）を実行する方法及び装置に関する。復号器を備えた受信器が、符号器によって送信された、圧縮されたスピーチ情報の符号化されたフレームを受信する。受信器の遺失フレーム検出器が、符号化されたフレームが、送信中に失われた又は破損されたかどうか又は消去されたかどうかを判断する。符号化されたフレームが消去されていなければ、符号化されたフレームは復号器によって復号され、一時メモリが復号器の出力によって更新される。所定の遅延期間が追加された後、音声フレームが出力される。遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場合、ＦＥＣモジュールが、信号にフレーム隠蔽処理を施す。ＦＥＣ処理は、消去されたフレームに対して、自然に聞こえる合成スピーチを生成する。

Description

【発明の詳細な説明】

【０００１】 （技術分野） この仮特許出願ではない特許出願は、１９９９年４月１９日に出願された、米
国特許仮出願第６０／１３０，０１６号の利益を主張し、その主題をここに引用
し編入する。以下の文書もまた、ここに引用し編入する。すなわち、ITU-T Reco
mmendation G.711- Appendix I,"A high quality low complexity algorithm fo
r packet loss concealment with G.711"(9/99)及びAmerican National Standar
d for Telecommunications - Packet Loss Concealment for Use with ITU-T Re
commendation G.711 (T1.521-1999)である。

【０００２】 本発明はパケットロス又はフレーム消去の隠蔽（Frame Erasure Concealment)
（ＦＥＣ）を実行する技法に関する。

【０００３】 （背景技術） フレーム消去の隠蔽（ＦＥＣ）アルゴリズムは、音声通信システムにおける送
信ロスを隠し、このシステムでは、入力スピーチ信号が、送信機において符号化
及びパケット化され、ネットワーク上（どのような種類のものでもよい）に送信
され、パケットを復号しスピーチ出力を再生する受信器において受信される。Ｇ
．７２３．１やＧ．７２８やＧ．７２９などの標準的なＣＥＬＰに基づくスピー
チコーダの多くが、ＦＥＣアルゴリズムを内蔵する又はその規格において提案さ
れている。

【０００４】 ＦＥＣの目的は、合成スピーチ信号を生成し、受信したビットストリーム内の
欠落データを補うことである。理想的には合成信号は、欠落した信号と同じ音色
（timbre）及びスペクトル特性を有し、不自然なアーティファクト（unnatural
artifact）を作り出さない。スピーチ信号はしばしば、局地的に静止しているの
で、信号の過去の履歴を使い、欠落部分の妥当な近似を生成することが可能であ
る。消去が長すぎなければ、そして、信号が素早く変化してる領域において消去
が起きなければ、隠蔽によって、消去を聞こえないほどにすることもできる。

【０００５】 従来のシステムは、フレーム消去を隠蔽するためにピッチ波形複製技術（pitc
h waveform replication techniques）を利用する。この複製技法は例えば、D.
J. Goodman et al., Waveform Substitution Techniques for Recovering Missi
ng Speech Segments in Packet Voice Communications, Vol. 34, No. 6, IEEE
Trans. on Acoustics, Speech, and Signal Processing 1440 - 48 (December 1
996)や、O. J. Wasem et al., The Effect of Waveform Substitution on the Q
uality of PCM Packet Communications, Vol. 36, No. 3, IEEE Transactions o
n Acoustics, Speech, and Signal Processing 342 - 48 (March 1988)などを含
む。

【０００６】 ピッチ波形複製及びオーバーラップ加算技術を使い、音声データの失われたフ
レームを隠蔽する信号を合成していたが、これらの技術では時に、聞き手に不快
感を与える不自然なアーティファクトを生じる。

【０００７】 （発明の開示） 本発明は、音声復号器システムによって生成される音声中の、不自然なアーテ
ィファクトを低減させる技法に関し、この不自然なアーティファクトは、ＦＥＣ
技法を施すことに起因する場合もある。技法は、音声情報を表す受信されたパケ
ットに基づいて、音声復号器によって音声信号を生成し、復号器において、音声
データを含むパケットが音声信号を形成するために利用できないという判断に応
答し、以前に形成された音声信号の一部を使い、利用できないパケットに対応す
る音声信号の一部を合成することに関する。生成される音声信号が、所定の閾値
よりも高い基本振動数を有する場合（例えば小さな子供に関連する周波数）、基
本振動数が閾値よりも低い場合（例えば大人の男性に関連する周波数）と比較し
て、より多数の、以前に形成された音声信号のピッチ周期が使われ音声が合成さ
れる。

【０００８】 遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場合は
、ＦＥＣモジュールがフレーム隠蔽処理を信号に施す。ＦＥＣ処理は、消去され
たフレームにおいて、自然に聞こえる合成音声を生成する。

【０００９】 本発明は、音声符号化システム処理のパケットロス又はフレーム消去の隠蔽（
ＦＥＣ）を実行する方法又は装置に関する。符号化されたフレームが消去された
場合、フレーム隠蔽処理が信号に施される。この処理は、欠落した音声を合成す
るためにピッチ波形の複製を使うが、従来の技術と違いこの処理は、消去の長さ
が増加するに従って、ピッチ波形の数を増やして複製（replicate）する。ＦＥ
Ｃ処理は、消去されたフレームに対して、自然に聞こえる合成音声を生成するこ
とによりこの分野における進歩を作り出す。

【００１０】 （発明を実施するための最良の形態） 近年、サービス品質の保証無しにＧ．７１１をパケットネットワーク上で使い
公衆電話交換ネットワーク（Plain-Old Telephony Service）（ＰＯＴＳ）をサ
ポートすることに関心が集まっている。フレーム消去（又はパケットロス）が、
これらのネットワーク上で発生した場合、呼の品質を著しく劣化させないために
、隠蔽技法が必要とされる。高品質で複雑さが低いフレーム消去隠蔽（ＦＥＣ）
技法が開発され、以下に詳述する。

【００１１】 ＦＥＣを備える音声システムを例示するブロック図を図１に示す。図１におい
て、符号器１１０が入力音声フレームを受信し、符号化されたビットストリーム
を出力する。ビットストリームは、遺失フレーム検出器１１５によって受信され
、この遺失フレーム検出器１１５は、いずれかのフレームが失われたかどうかを
判断する。遺失フレーム検出器１１５が、フレームが失われたと判断すると、遺
失フレーム検出器１１５は、ＦＥＣモジュール１３０に信号を送り、ＦＥＣアル
ゴリズム又は処理を施し、欠落したフレームを再構築する。

【００１２】 よって、ＦＥＣ処理は、音声システムにおける送信の遺失を隠す。ここで音声
システムは、入力信号が送信器において符号化及びパケット化され、ネットワー
ク上に送られ、フレームが失われたことを判断する遺失フレーム検出器１１５に
おいて受信されるようなものである。図１において、遺失フレーム検出器１１５
は、予期されるフレームが到着しないこと又は使用不能なほど遅れて到着したこ
とを判断する方法を備えているものと仮定される。ＩＰネットワーク上ではこれ
は通常、送信されるフレーム内のデータに、シーケンスナンバ又はタイムスタン
プを追加することにより実施される。遺失フレーム検出器１１５は、到着したフ
レームのシーケンスナンバと、フレームが失われていない場合に予期されるシー
ケンス数とを比較する。遺失フレーム検出器１１５が、予期された時にフレーム
が到着したと検出した場合、フレームは復号器１２０によって復号され、音声の
出力フレームが出力システムに与えられる。フレームが失われていた場合、ＦＥ
Ｃモジュール１３０が、当該フレーム分の合成音声を、その欠落したフレームの
代わりに生成することにより、欠落した音声フレームを隠す処理を施す。

【００１３】 Ｇ．７２３．１、Ｇ．７２８、及びＧ．７２９などの標準ＩＴＵ−Ｔ ＣＥＬ
Ｐに基づくスピーチコーダの多くは、その復号器において音声の再生をモデル化
する。よって復号器は、ＦＥＣ処理を直接復号器に一体化させるために十分な状
態情報を有する。これらのスピーチコーダでは、ＦＥＣアルゴリズム又は処理が
、その規格の一部として指定されている。

【００１４】 これに対してＧ．７１１は、サンプル毎の符号化機構であり、音声の再現をモ
デル化しない。ＦＥＣを助けるための状態情報がコーダ内に存在しない。その結
果、Ｇ．７１１におけるＦＥＣ処理は、コーダとは独立したものである。

【００１５】 Ｇ．７１１コーダと共に使われるシステムを例示するブロック図を図２に示す
。図１と同様に、Ｇ．７１１符号器２１０は、ビットストリームデータを符号化
し、遺失フレーム検出器２１５に送信する。ここでも、遺失フレーム検出器２１
５が、到着するフレームのシーケンスナンバを、フレームが一つも失われていな
い時に予期されるシーケンスナンバと比較する。予期された時にフレームが到着
した場合、フレームは復号器２２０による復号のために転送され、信号を記憶す
る履歴バッファ２４０に出力される。フレームが失われていた場合、遺失フレー
ム検出器２１５は、ＦＥＣモジュール２３０に知らせ、ＦＥＣモジュール２３０
は、そのフレーム分の合成音声を、当該欠落したフレームの代わりに生成するこ
とにより、欠落した音声フレームを隠す処理を施す。

【００１６】 しかしながら、欠落フレームを隠すためには、ＦＥＣモジュール２３０は、Ｇ
．７１１ＦＥＣ処理を施す。この処理では、履歴バッファ２４０によって提供さ
れる、復号された出力信号の過去の履歴を使い、欠落フレーム内の信号がどのよ
うなものであるべきかを推定する。これに加え、消去されたフレームと消去され
なかったフレームとの間の潤滑な移行を保証するために、遅延モジュール２５０
が、システムの出力を、例えば３．７５ミリ秒（msec）などの所定の期間、遅延
させる。この遅延により、合成消去信号が、消去の開始時において本物の出力信
号とゆっくりと混合されるようになる。

【００１７】 ＦＥＣモジュール２３０と、履歴バッファ２４０のブロック及び遅延モジュー
ル２５０の各ブロックの間の矢印は、ＦＥＣ処理によって記憶された履歴が使用
され、合成信号が生成されることを示す。これに加え、ＦＥＣモジュール２３０
の出力は、消去部分の期間中、履歴バッファ２４０を更新するために使われる。
ＦＥＣ処理は、Ｇ．７１１の復号された出力のみに依存するので、この処理はス
ピーチコーダが存在しない場合でも同様に正しく機能することに留意すべきであ
る。

【００１８】 ＦＥＣモジュール２３０において、ＦＥＣ処理によって入力信号がどのように
処理されるのかを、図３にグラフで例示する。

【００１９】 図中最上段の波形は、男性の話者よる有声音声の、ある領域において２０ミリ
秒の消去が発生した場合のシステムへの入力を示す。その下の波形では、ＦＥＣ
処理がこの間隙内で合成音声を生成することにより、欠落した部分を隠蔽してい
る。比較の目的で、消去されていないオリジナルの入力信号も示す。理想的なシ
ステムでは、隠蔽された音声は、元の音声と同じように聞こえる。図から明らか
なように、合成波形は、欠落部分の元の音声に非常に似ている。「隠蔽された」
波形が、「入力」波形からどのように生成されるかを、より詳しく下に述べる。

【００２０】 ＦＥＣモジュール２３０によって使われるＦＥＣ処理は、履歴バッファ２４０
に記憶されている音声と同様の特徴を持つ合成音声を生成することにより、欠落
フレームを隠蔽する。基本的な考え方は次のようなものである。信号が声に出さ
れていた場合、信号は、準周期的であり局地的に一様であると仮定する。ピッチ
を推定し、履歴バッファ２４０内で最後に現れたピッチ周期を数回繰り返す。し
かしながら、消去が長い場合又はピッチが短い場合（周波数が高い場合）、同じ
ピッチ周期を繰り返しすぎると、自然な音声と比較して、正弦成分（harmonic）
の多すぎる出力に繋がる。これらの、ビーという音やボーンという音として聞こ
える人工的な正弦波的音声（ハーモニック・アーティファクト）を避けるために
、履歴バッファ２４０から使われるピッチ周期の数は、消去の長さが大きくなる
につれて増やされる。短い消去部分では、最後のピッチ周期又は最後のいくつか
のピッチ周期のみを履歴バッファ２４０から使い、合成信号を生成する。長い消
去部分に対しては、履歴バッファ２４０の更に以前のピッチ周期も使う。長い消
去部分に対しては、履歴バッファ２４０からのピッチ周期は、オリジナルの音声
に現れた順序と異なる順序で再生される。しかしながら、実験により、長い消去
の場合に生成される合成音声信号も、自然な音を作り出すことが確かめられてい
る。

【００２１】 消去部分が長ければ長いほど、合成信号が本物の信号から逸脱する可能性が高
くなる。特定の種類の音を長く持続させることによって引き起こされるアーティ
ファクトを回避するために、合成信号は、消去部分が長くなるにしたがって減衰
される。１０ミリ秒以下の期間の消去部分においては、減衰は必要とされない。
１０ミリ秒よりも長い消去部分には、合成信号は、追加の１０ミリ秒毎に２０％
の割合で減衰される。６０ミリ秒を過ぎると、合成信号はゼロ（無音）に設定さ
れる。これは、合成信号が元の信号と異なりすぎるため、平均的には、欠落した
音声を６０ミリ秒以降も隠蔽しようと努力し続けても、利点よりも害が多くなる
ためである。

【００２２】 異なる源（source）からの信号間で移行（transision）が行われた場合には、
この移行が非連続性を導入しないことが重要となる。この非連続性は、出力信号
中のクリック又は不自然なアーティファクトとして聞こえる。これらの移行は、
いくつかの場所で起きる。

【００２３】 １．消去部分のはじめの部分、つまり合成信号の開始部と最後の良いフレーム
の尾部との境界。

【００２４】 ２．消去部分の終りの部分、つまり合成信号と消去部分の後の最初の良いフレ
ームの開始部との境界。

【００２５】 ３．履歴バッファ２４０から使われるピッチ周期の数が、信号のバリエーショ
ンを増加させるために変更された時。

【００２６】 ４．履歴バッファ２４０の繰り返し部分間の境界。

【００２７】 潤滑な移行を保証するため、オーバーラップ加算（Ovelap Adds)（ＯＬＡ）が
全ての信号境界において実行される。ＯＬＡは、一つの端部において重複する二
つの信号を潤滑に組合わせる方法である。信号が重複する領域では、信号が窓に
よって重みを与えられ、その後、足される（混合される）。窓は、どのサンプル
においても、重みの和が１になるように設計される。すなわち、信号の全体的な
和に対する利得又は減衰は適用されない。これに加え、窓は、左側の信号では重
みが１から始まり徐々に０へとフェードアウトし、右側の信号では重みが０から
始まり徐々に１へとフェードインするよう設計される。よって、重複する窓の左
側の領域では、左信号のみが存在し、重複する窓の右側の領域では、右信号のみ
が存在する。重複した領域内では、信号が左側の信号から右側の信号へと徐々に
移行する。ＦＥＣ処理では、三角形の窓が使われ、長さを変更可能な窓の計算の
複雑さを低く保つが、例えばハニング窓（Hanning window）などの他の窓をその
代わりに使っても良い。

【００２８】 図４は、２０ミリ秒間の消去の終了時における、合成音声が、消去部分の後に
始まる本物の音声とＯＬＡされるものを示す。この例では、ＯＬＡ重み付け窓は
、５．７５ミリ秒の三角形の窓である。最上段の信号は、消去中に対応して生成
された合成信号であり、その下のオーバーラップした信号は、消去部分の後の本
物の音声である。ＯＬＡ重み付け窓は、信号の下に示される。ここでは、消去期
間中の本物の信号内でのピッチの変化によって、合成信号のピークと本物の信号
のピークとが一致せず、ＯＬＡ無しに信号を組合わせようとした場合に導入され
る非連続性を、「ＯＬＡ無しの組合わせ」とラベルを付けたグラフに示す。「Ｏ
ＬＡ無しの組み合わせ」グラフは、ＯＬＡ窓の開始までの合成信号をと、その期
間中の本物の信号とを複写することにより作成されている。ＯＬＡ作業の結果は
、境界での非連続性がどのように潤滑にされるかを示す。

【００２９】 前述の論議は、ほぼ一様な、有声音声に、処理の例がどのように働くかに関連
するものであるが、音声信号が素早く変化してる場合又は声に出されていない場
合、音声信号は、周期的な構造を持たない場合もある。しかしながら、これらの
信号も以下に示すように同じ方法で処理される。

【００３０】 第一に、例示する実施形態で許容される最小のピッチ周期のピッチ推定値は５
ミリ秒であり、これは２００Ｈｚの周波数に対応する。高周波の女性及び子供の
話者の一部は、２００Ｈｚ以上の基本振動数を有することが知られているが、窓
を比較的大きく保つために、２００Ｈｚに制限する。この方法では、１０ミリ秒
間の消去フレーム内では、選択されたピッチ周期は、最大二回繰り返される。高
周波の話者の場合、これは、ピッチ推定法が本物のピッチ周期の倍数を返すため
、実際には出力が劣化しない。いずれの音声も多く繰り返しすぎないようにする
ことにより、処理は、非周期的な音声から周期的な合成音声を作り出さない。第
二に、合成音声を生成するために使われるピッチ周期の数は、消去部分が長くな
るにしたがって増やされるため、信号に十分な多様性が追加され、長い消去部分
においても周期性が導入されない。

【００３１】 音声の時間スケールのための波形類似オーバーラップ加算（Waveform Similar
ity Overlap Add）（ＷＳＯＬＡ）処理もまた、大きな固定された大きさのＯＬ
Ａ窓を使用し、周期的な音声信号及び非周期的な音声信号の両方の時間スケール
を変更するために同じ処理が使えることに留意されたい。

【００３２】 例示するＦＥＣ処理の全体像が上で説明されたが、個々のステップを下に、よ
り詳しく説明する。

【００３３】 説明の目的のために、フレームが１０ミリ秒間の音声を含み、サンプリング速
度が例えば８ｋＨｚであると仮定する。よって、消去は８０サンプル（８０００
＊０．０１０＝８０）ごとに起きる可能性がある。ＦＥＣ処理は、その他のフレ
ームの大きさ及びサンプリング速度に対しても容易に適合できることに留意すべ
きである。サンプリング速度を変更するには、単純に、ミリ秒単位で与えられる
時間に０．００１を掛け、その後サンプリング速度でかけて適切なバッファの大
きさを取得する。例えば、履歴バッファ２４０は、最近４８．７５ミリ秒間の音
声を含む。８ｋＨｚではこれは、バッファが（４８．７５＊０．００１＊８００
０）＝３９０サンプル分の長さであることを意味する。１６ｋＨｚのサンプリン
グでは、バッファの大きさは二倍又は７８０サンプルとなる。

【００３４】 バッファの大きさのいくつかは、処理が予想する最低の周波数に基づく。例え
ば、ここに例示する処理は、８ｋＨｚのサンプリングで見られる最低周波数が６
６＋（２／３）Ｈｚであると仮定する。これにより、最大ピッチ周期は、１５ミ
リ秒（１／（６６＋（２／３））＝０．０１５）と導かれる。履歴バッファ２４
０の長さは、最低周波数の周期の３．２５倍である。よって、履歴バッファ２４
０は１５＊３．２５＝４８．７５ミリ秒となる。１６ｋＨｚのサンプリングで、
入力フィルタが５０Ｈｚ（２０ミリ秒の周期）までの低い周波数を許容する場合
、履歴バッファ２４０は、２０＊３．２５＝６５ミリ秒に伸ばされる。

【００３５】 フレームの大きさもまた変更できる。１０ミリ秒間がデフォルトとして選択さ
れたのは、Ｇ．７２９などのいくつかの標準スピーチコーダによって使われるフ
レームの大きさであり、またいくつかの無線システムでも使われているからであ
る。フレームの大きさを変更することは簡単である。望まれるフレームサイズが
１０ミリ秒の倍数である場合、処理は変更しない。単純に、消去処理のフレーム
サイズを１０ミリ秒のままにして、それを一フレームに対して複数回呼び出す。
望まれるパケットフレームサイズが、５ミリ秒など１０ミリ秒の約数である場合
、ＦＥＣ処理は基本的には変更しない。しかしながら、ピッチバッファ内の周期
を増大させたレートを、１０ミリ秒間のフレーム数に基づいて変更する必要があ
る。１２ミリ秒など、１０ミリ秒の倍数でも約数でもないフレームサイズもまた
順応させることができる。ＦＥＣ処理は、ピッチバッファから使われるピッチ周
期の数を増大させたレートを変更することに対し、柔軟性を有する。周期の数を
、１０ミリ秒毎から１２ミリ秒毎に増やすことは、さほどの違いを生じない。

【００３６】 図５は、図２に例示する実施形態において実行されるＦＥＣ処理のブロック図
である。主要な機能のいくつかを実施するために必要とされる副ステップを、図
７、図１２、及び図１６に更に詳しく示し、下で説明する。以下の論議では、値
及びバッファを保持するためにいくつかの変数が使われる。これらの変数の概要
を次の表に示す。

【００３７】

【表１】

【００３８】 図５のフローチャートに示すように、処理はステップ５０５から始まり、この
ステップでは、遺失フレーム検出器２１５によって次のフレームが受信される。
ステップ５１０では、遺失フレーム検出器２１５が、フレームが消去されたかど
うかを判断する。フレームが消去されていなければ、ステップ５１２においてフ
レームは復号器２２０によって復号される。次に、ステップ５１５において、復
号されたフレームが、ＦＥＣモジュール２３０による使用のために、履歴バッフ
ァ２４０に記憶される。

【００３９】 履歴バッファ更新ステップでは、このバッファ２４０の長さは、予想される最
長ピッチ周期の長さの３．２５倍である。８ｋＨｚのサンプリングでは、最長ピ
ッチ周期は１５ミリ秒又は１２０サンプルであり、よって履歴バッファ２４０の
長さは４８．７５ミリ秒又は３９０サンプルである。したがって、各フレームが
復号器２２０によって復号された後、履歴バッファ２４０は、最新の音声履歴を
含むように更新される。履歴バッファ２４０の更新を図６に示す。この図に示す
ように、履歴バッファ２４０は、最新の音声サンプルを右側に含み、最古の音声
サンプルを左側に含む。復号された音声の最新フレームが受信された時には、こ
の最新フレームはバッファ２４０の右からシフトされ、最古の音声に対応するサ
ンプルがバッファの左から外へとシフトされる（図６ｂを参照）。

【００４０】 これに加え、ステップ５２０において、遅延モジュール２５０が、音声の出力
を最長ピッチ周期の１／４だけ遅延させる。８ｋＨｚサンプリングではこれは、
１２０＊１／４＝３０サンプル又は３．７５ミリ秒にあたる。この遅延により、
ＦＥＣモジュール２３０が１／４波長ＯＬＡを消去の開始時に実行することを可
能にし、これにより、消去の前の本物の信号と、ＦＥＣモジュール２３０によっ
て作り出された合成信号との間の潤滑な移行を保証する。フレームを復号した直
後は、次のフレームが消去されたかどうか分からないため、出力を遅延させる必
要がある。

【００４１】 ステップ５２５において、音声が出力され、ステップ５３０において処理は、
更にフレームが存在するかどうかを判断する。更なるフレームが存在しなければ
、処理は終了する。更なるフレームが存在すれば、処理はステップ５０５に戻り
次のフレームを取得する。

【００４２】 しかしながら、ステップ５１０において、遺失フレーム検出器２１５が、受信
したフレームが消去されたものと判断した場合、処理はステップ５３５に進み、
ここでＦＥＣモジュール２３０が第一の消去されたフレームを隠蔽する。この処
理は、下に図７に関して詳しく説明する。第一フレームが隠蔽された後、ステッ
プ５４０において、遺失フレーム検出器２１５が、次のフレームを取得する。ス
テップ５４５において、遺失フレーム検出器２１５は、次のフレームが消去され
ているかどうかを判断する。もし次のフレームが消去されていなければ、ステッ
プ５５５においてＦＥＣモジュール２３０が、消去後の第一フレームを処理する
。この処理は、図１６に関して下に詳しく説明する。第一フレームが処理された
後、処理はステップ５３０に戻り、ここで遺失フレーム検出器２１５が更なるフ
レームが存在するかどうかを判断する。

【００４３】 ステップ５４５で、遺失フレーム検出器２１５が、次又は後続のフレームが消
去されていると判断した場合、ＦＥＣモジュール２３０が第二及び後続のフレー
ムを隠蔽する。この処理は下に図１２に関して詳しく説明する。

【００４４】 図７に、消去の最初の１０ミリ秒間を隠蔽するために採られるステップを詳し
く示す。ステップは、以下に詳しく考察される。

【００４５】 図７に示すように、ステップ７０５において、消去部分の開始時点における第
一の作業は、ピッチの推定である。これを行うためには、タップ遅延が４０から
１２０サンプルの、２０ミリ秒（１６０サンプル）の窓を用いて、履歴バッファ
２４０の信号に対し、正規化した自動相関が実行される。８ｋＨｚのサンプリン
グにおいては、これらの遅延は、５から１５ミリ秒のピッチ周期又は２００から
６６＋（２／３）Ｈｚの基本振動数に対応する。自動相関のピークにおけるタッ
プが、ピッチ推定値Ｐである。Ｈがこの履歴を含むものと仮定し、−１（消去部
分直前のサンプル）から−３９０（消去部分が始まる３９０サンプル前のサンプ
ル）まで索引を付けられていると仮定すると、タップｊに対する自動相関は、数
学的に次のように表すことができる。

【００４６】

【数１】

【００４７】 自動相関のピーク又はピッチ推定値は、次のように表すことができる。

【００４８】

【数２】

【００４９】 上述のように、許容される最低ピッチ周期、５ミリ秒又は４０サンプルは、単
一のピッチ周期が１０ミリ秒である消去されたフレームの間に最大二回繰り返さ
れるのに十分な大きさである。これにより、無声音声中のアーティファクトを回
避し、また、高ピッチの話者の不自然なハーモニックアーティファクトを回避す
る。

【００５０】 図３の消去部分における、正規化した自動相関の計算例を、図８にグラフで示
す。

【００５１】 「履歴」とラベルを付けた波形は、消去部分直前の履歴バッファ２４０の内容
である。水平な点線は、信号の基準部分、履歴バッファ２４０ Ｈ［−１］：Ｈ
［−１６０］を示し、これは消去直前の２０ミリ秒間の音声である。水平な直線
は、４０サンプル（最上段の線、５ミリ秒周期、２００Ｈｚ周波数）から１２０
サンプル（最下段の線、１５ミリ秒周期、６６＋（２／３）Ｈｚ周波数）のタッ
プにおいて遅延された２０ミリ秒間の窓である。相関の出力もまた、窓の場所と
整列してグラフに表示される。相関中の垂直な点線は、曲線のピークであり、推
定ピッチを表す。この線は、消去の開始時から一周期戻る。この場合、Ｐは、７
ミリ秒のピッチ周期及び１４２．９Ｈｚの基本振動数に対応する５６サンプルに
等しい。

【００５２】 自動相関の複雑さを低減するために、二つの特別な手順が使われる。これらの
簡略化（shortcut）は、実質的には出力を変化させないが、処理の全体的な実行
時間の複雑さに大きな影響を及ぼす。ＦＥＣ処理の複雑さの大半は、自動相関に
帰する。

【００５３】 まず、全てのタップにおいて相関を計算する代わりに、ピークの大まかな推定
を、省略された信号でまず判断し、その後、大まかなピークの近傍の領域におい
て細かい検索が行われる。大まかな推定値のために、上述の自動相関（Ａｕｔｏ
ｃｏｒ）関数を、２：１の省略された信号に作用する新しい関数に修正し、一つ
置きのタップのみを検査する。

【００５４】

【数３】

【００５５】 次に、この大まかな推定値を使い、元の検索処理を、Ｐ_rough−１≦ｊ≦Ｐ_{rou gh} ＋１の範囲のみで繰り返す。ｊが、元の４０から１２０サンプルの範囲に納ま
るように注意が払われる。サンプリング速度が増やされた場合、省略率もまた増
やすべきであり、これにより処理の全体的な複雑さがほぼ一定になるようにすべ
きであることに留意されたい。本発明者らは、８：１の省略率で、４４．１ｋＨ
ｚでサンプルされた音声において実験を行い、良好な結果を得た。図９は、簡略
化自動相関（Ａｕｔｏｃｏｒ_rough）のグラフと、通常の自動相関（Ａｕｔｏｃ
ｏｒ）のグラフとを比較する図である。この図から明らかなように、Ａｕｔｏｃ
ｏｒ_roughは、Ａｕｔｏｃｏｒに近い近似であり、８ｋＨｚのサンプリングにお
いては、複雑さがおよそ４倍に低減されている。この４倍は、一つおきのタップ
のみが検査されることにより２倍、与えられたタップにおいて、一つおきのサン
プルのみが検査されることによる２倍、からである。

【００５６】 Ａｕｔｏｃｏｒ及びＡｕｔｏｃｏｒ_roughのエネルギ計算の複雑さを低減させ
るために第二の手順が実行される。各ステップで、完全な和を計算する代わりに
、エネルギの継続和（running sum）が保持される。すなわち、

【００５７】

【数４】 とすると、

【００５８】

【数５】 となる。

【００５９】 したがって、最初のエネルギの項が計算された後は、２度の掛け算及び２度の
足し算のみが、ＦＥＣ処理の各ステップでエネルギの項を更新するために必要と
なる。

【００６０】 ピッチ推定値Ｐを得た後、消去部分の波形生成が開始される。図７のフローチ
ャートに戻り、ステップ７１０において、最新の波長の３．２５倍の部分（３．
２５＊Ｐサンプル）が、履歴バッファ２４０、すなわちＨからピッチバッファＢ
へと複写される。最新の１／４波長以外のピッチバッファの内容は、消去部分の
間一定に保たれる。これに対し、履歴バッファ２４０は、消去部分の間、合成音
声によって更新し続けられる。

【００６１】 ステップ７１５において、履歴バッファ２４０からの最新の１／４波長分（０
．２５＊Ｐサンプル）が、最終クオーターバッファＬに記憶される。この１／４
波長分は、ＯＬＡ作業のいくつかで必要とされる。簡便のため、履歴バッファ２
４０にアクセスするために使ったものと同じ、負の数による索引付けの方法を使
ってＢ及びＬバッファにアクセスする。Ｂ［−１］は、消去部分が到着する前の
最後のサンプルであり、Ｂ［−２］はその前のサンプル、などである。合成音声
は、合成バッファＳに入れられ、合成バッファＳは、０から昇順に索引付けられ
る。よって、Ｓ［０］が最初の合成されたサンプルであり、Ｓ［１］が第二のサ
ンプル、などとなる。

【００６２】 図３に示す消去時の、ピッチバッファＢ及び最終クオーターバッファＬの内容
を、図１０に示す。上述の部分で、周期Ｐは５６サンプルと計算されている。よ
ってピッチバッファは、３．２５＊５６＝１８２サンプルの長さである。最終ク
オーターバッファは、０．２５＊５６＝１４サンプルの長さである。図において
は、消去部分の開始時からＰサンプル戻る毎に、垂直な線が配置されている。

【００６３】 最初の１０ミリ秒間の消去の間は、ピッチバッファからの最終ピッチ周期のみ
が使われ、よってステップ７２０において、Ｕ＝１である。音声信号が、真に周
期的であり、ピッチ推定値が推定値ではなく、正確に真正な値であった場合、ピ
ッチバッファＢから合成バッファＳに直接波形を複写でき、この場合、合成信号
は滑らかであり、かつ連続している。すなわち、Ｓ［０］＝Ｂ［−Ｐ］、Ｓ［１
］＝Ｂ［−Ｐ＋１］、などとなる。ピッチが１０ミリ秒間のフレームよりも短い
場合、すなわちＰ＜８０の場合、消去フレーム内で、単一のピッチ周期が一回よ
りも多く繰り返される。ここに示す例では、Ｐ＝５６であり、よって複写は、Ｓ
［５６］で戻って（roll over）くる。すなわち、サンプル５６近くのサンプル
毎の複写順序は、Ｓ［５４］＝Ｂ［−２］、Ｓ［５５］＝Ｂ［−１］、Ｓ［５６
］＝Ｂ［−５６］、Ｓ［５７］＝Ｂ［−５５］、などとなる。

【００６４】 実際には、ピッチ推定値は正確ではなく、信号は真に周期的でない場合もある
。（ａ）本物の信号と合成信号との間の境界及び（ｂ）周期が繰り返される境界
における非連続性を回避するために、ＯＬＡが必要とされる。これら両方の境界
において、本物の音声の終了時Ｂ［−１］から、一周期戻った音声Ｂ［−Ｐ］ま
での潤滑な移行が望ましい。したがって、ステップ７２５において、Ｂ［−Ｐ］
の前の１／４波長と、履歴バッファ２４０の最終１／４波長又はＬの内容と、を
オーバーラップ加算することにより、これが達成される。グラフではこれは、ピ
ッチバッファ内の最終１＋（１／４）波長を取り出し、右に一波長分ずらし、Ｏ
ＬＡを１／４波長のオーバーラップした領域において行うことに等しい。ステッ
プ７３０において、ＯＬＡの結果が、履歴バッファ２４０の最終１／４波長に複
写される。合成波形の追加の周期を生成するために、ピッチバッファが追加の波
長分だけずらされ、追加のＯＬＡが実行される。

【００６５】 図１１は、最初の２回の反復におけるＯＬＡ作業を示す。この図では、全ての
波形を交差する垂直な線は、消去部分の開始時を示す。短い垂直線は、ピッチマ
ーカであり、消去境界からＰサンプルの位置に配置される。波形「ピッチバッフ
ァ」と波形「Ｐだけ、右にずらされたもの」の間のオーバーラップ領域は、波形
「Ｐだけ右にずらされたもの」と波形「２Ｐだけ、右にずらされたもの」の間の
オーバーラップ領域と正確に同じサンプルに対応することを理解すべきである。
したがって、１／４波長ＯＬＡは、一回だけ計算されればよい。

【００６６】 ステップ７３５において、ＯＬＡをまず計算し、その結果をピッチバッファの
最終１／４波長に入れることにより、真に周期的な信号に対する、合成波形の生
成処理を使用できる。サンプルＢ［−Ｐ］からはじめ、ピッチバッファから合成
バッファへと単純にサンプルを複写し、ピッチバッファの最後部に達した時には
、ピッチバッファポインタをピッチ周期の最初に戻す。この技法を使い、どのよ
うな期間の合成波形でも生成できる。図１１の「ＯＬＡと組合わせた」の波形に
おける、消去開始時より左側のピッチ周期は、ピッチバッファの更新された内容
に対応する。

【００６７】 「ＯＬＡとの組合わせ」波形は、単一周期のピッチバッファが、周期Ｐの周期
的な信号を非連続性なしに生成することを示している。この履歴バッファ２４０
内の単一の波長から生成された合成音声は、消去部分の第一の１０ミリ秒間を隠
蔽するために使われる。ＯＬＡの効果は、「ピッチバッファ」内の消去部分の開
始直前の１／４波長と「ＯＬＡと組合わせた」波形内のそれとを比較することに
より見ることができる。ステップ７３０において、この「ＯＬＡと組合わせた」
波形内の１／４波長はまた、履歴バッファ２４０内の最終１／４波長を置換える
。

【００６８】 三角形の窓を使ったＯＬＡ作業もまた、数学的に表現することができる。まず
、変数Ｐ４を、サンプル内のピッチ周期の１／４と定義する。よって、Ｐ４＝Ｐ
＞＞２である。ここに示す例では、Ｐが５６なので、Ｐ４は１４となる。ＯＬＡ
作業は、１≦ｉ≦Ｐ４の範囲で次のように表現できる。

【００６９】

【数６】

【００７０】 ＯＬＡの結果は、履歴バッファ２４０及びピッチバッファの両方の最後の１／
４波長部分を置換える。履歴バッファ２４０を置換えることにより、履歴バッフ
ァもまた出力を３．７５ミリ秒間遅延させるので、履歴バッファ２４０が更新さ
れる時に、１／４ＯＬＡ移行が出力される。消去の第一の１０ミリ秒間における
出力波形は、図３の「隠蔽された」波形の最初の２つの点線間の領域に見ること
ができる。

【００７１】 ステップ７４０において、フレームの合成音声の生成の終了時に、現在のオフ
セットが変数Ｏとしてピッチバッファに記憶される。このオフセットは、合成波
形が次のフレームに続くことを可能にし、これにより、次のフレームの本物の信
号又は合成信号とのＯＬＡを可能にする。Ｏはまた、消去が１０ミリ秒を超える
場合に、正しい合成信号の位相を保持することを可能にする。ここに示す８０サ
ンプルのフレーム及びＰ＝５６の例では、消去の開始時には、オフセットは−５
６である。５６サンプル後、オフセットは−５６に戻る。更に、８０−５６＝２
４サンプル後、オフセットは−５６＋２４＝−３２であり、よって、第一のフレ
ーム終了時にはＯは−３２である。

【００７２】 ステップ７４５において、合成バッファにＳ［０］からＳ［７９］が満たされ
た後、このＳが履歴バッファ２４０を更新するために用いられる。ステップ７５
０において、履歴バッファ２４０はまた、３．７５ミリ秒の遅延を追加する。履
歴バッファ２４０の取り扱い（handling）は、消去されたフレームの間も消去さ
れなかったフレームの間も同じである。この時点で、図５のステップ５３５に示
す第一フレームの隠蔽作業が終了し、処理は、図５のステップ５４０に進む。

【００７３】 ＦＥＣモジュール２３０が、図５のステップ５５０に示すように、１０ミリ秒
よりも後の後続のフレームを隠蔽するためにどのように機能するかを、図１２に
詳しく示す。第二及び後続の消去されたフレームにおいて、合成信号を生成する
技法は、第一の消去されたフレームに類似しており、これに更に、信号にいくら
かの多様性を足すための追加の作業が必要とされる。

【００７４】 ステップ１２０５において、消去コードは、第二又は第三フレームが消去され
ているかどうかを判断する。第二及び第三の消去されたフレームの期間中は、ピ
ッチバッファから使われるピッチ周期の数が増やされる。これにより信号に、よ
り大きな多様性を導入し、合成出力が、ハーモニックしすぎて聞こえることを防
止する。他の全ての移行と同様に、ピッチ周期数が増加された時には、境界を滑
らかにするためにＯＬＡが必要とされる。第三フレーム（３０ミリ秒間の消去）
より後は、ピッチバッファは、三波長の長さに一定に保たれる。これらの三波長
が、消去の期間中の全合成音声を生成する。よって、図１２の左側の分岐は、第
二及び第三の消去されたフレームに対してのみ行われる。

【００７５】 次に、ステップ１２１０において、ピッチバッファで使われる波長の数を増加
させる。すなわち、Ｕ＝Ｕ＋１とする。

【００７６】 第二又は第三の消去されたフレームの開始時に、ステップ１２１５において、
一つ前のフレームからの合成信号が、更に１／４波長分、現在のフレームの開始
部に続く。例えばここに示す例では、第二のフレームの開始時には、図１３に示
すように合成信号が現れる。この１／４波長は、ピッチバッファからの古い波長
を使う新しい合成信号にオーバーラップ加算される。

【００７７】 第二の消去フレームの開始時に、波長の数は２に増やされ、すなわちＵ＝２と
される。単一波長ピッチバッファ同様、二波長（2-wavelength）ピッチバッファ
がそれ自体を繰り返す境界では、ＯＬＡを実行する必要がある。ここでは、ステ
ップ１２２０において、ピッチバッファＢの尾部から戻って１／４波長分の終わ
りのＵ波長が、最終クオーターバッファＬの内容とオーバーラップ加算される。
ＯＬＡ演算子は、１≦ｉ≦Ｐ４の範囲で次のように表すことができる。

【００７８】

【数７】

【００７９】 前述の方程式との違いは、右辺の、Ｂのインデックスに使われた定数Ｐが、Ｐ
Ｕに置き換えられていることのみである。二波長ピッチバッファの作成を図１４
にグラフで示す。

【００８０】 図１１と同様、消去開始時の左側の「ＯＬＡと組合わせた」波形は、二周期ピ
ッチバッファの更新された内容である。短い垂直線は、ピッチ周期を表す。「Ｏ
ＬＡと組合わせた」波形の連続したピークの詳しい検査により、ピークが、消去
部分の開始時点より１又は２波長分前に戻ったピークから交互になることが示さ
れる。

【００８１】 第二のフレームの合成出力の開始時には、新しいピッチバッファからの信号を
、図１３において生成された１／４波長と合成させる必要がある。新しいピッチ
バッファからの合成信号は、使用されるバッファの最古の部分からのものである
ことが望ましい。しかしながら、新しい部分が、波形の類似した部分からのもの
であることに注意をしないと、耳障りなアーティファクトが作り出されるので、
そのような注意が必要である。すなわち、正確な位相を保持することが望ましく
、保持できなければ、波形が混合される際に、相殺的干渉を引き起こす可能性が
ある。

【００８２】 これは、ステップ１２２５（図１２）において、一つ前のフレームの終了時に
記憶されたオフセットＯから、ピッチバッファの使用部分内の最古の波長を指す
まで、周期Ｐを引くことにより達成される。

【００８３】 例えば、第一の消去されたフレームでは、ピッチバッファＢの有効なインデッ
クスは、−１から−Ｐであった。よって、第一の消去されたフレームから記憶さ
れたＯは、必ずこの範囲内にある。第二の消去されたフレームでは、有効な範囲
は、−１から−２Ｐである。よって、Ｏが、−２Ｐ≦Ｏ＜−Ｐの範囲内になるま
で、ＯからＰを引く。より一般的に言うと、Ｏが、−ＵＰ≦Ｏ＜−（Ｕ−１）Ｐ
の範囲内になるまで、ＯからＰを引く。ここに示す例では、第一の消去されたフ
レームの終了時において、Ｐ＝５６であり、Ｏ＝−３２である。−３２から５６
を引いて、−８８を得る。よって、第二フレーム内の第一の合成サンプルは、Ｂ
［−８８］から来る。次の合成サンプルは、Ｂ［−８７］、などとなる。

【００８４】 第二の消去されたフレームの開始時における、単一及び二周期ピッチバッファ
からの合成信号のＯＬＡ混合を、図１５に示す。

【００８５】 ＯからＰを引くことにより、正確な波形位相が保持され、「１Ｐピッチバッフ
ァ」波形及び「２Ｐピッチバッファ」波形の信号のピークが整列されることに留
意されたい。「ＯＬＡと組合わせた」波形は、第二の消去されたフレームの開始
時において、異なるピッチバッファ間の潤滑な移行を示す。図１５に示す「ＯＬ
Ａと組合わせた」波形の第二フレームを出力できるまでに、もう一つの作業が必
要とされる。

【００８６】 ステップ１２３０（図１２）において、新しいオフセットが使われ、ピッチバ
ッファから一時バッファに１／４波長が複写される。ステップ１２３５において
、１／４波長が、オフセットに足される。次に、ステップ１２４０において、一
時バッファが、出力バッファの開始部とＯＬＡされ、この結果が、出力バッファ
の第一の１／４波長に入れられる。

【００８７】 ステップ１２４５において、オフセットが使われ、出力バッファ内の信号の残
りの部分が生成される。ピッチバッファが、１０ミリ秒間のフレームの間、出力
バッファに複写される。ステップ１２５０において、現在のオフセットが、変数
Ｏとしてピッチバッファに記憶される。

【００８８】 第二及び後続の消去されたフレームの期間中は、ステップ１２５５において、
線形の傾斜によって合成信号が減衰される。合成信号は、６０ミリ秒後に設定さ
れる０又は沈黙へ徐々にフェードアウトする。消去が長くなるに従って、隠蔽さ
れた音声が真の信号から逸脱する可能性が高くなる。特定の種類の音を長時間保
留すると、その音が短い期間中に隔離された状態では自然に聞こえても、隠蔽処
理の出力中の不自然に聞こえるアーティファクトを生じる場合もある。これらの
合成信号中のアーティファクトを回避するために、ゆっくりとしたフェードアウ
トが使われる。同様の作業が、Ｇ．７２３、Ｇ．７２８、及びＧ．７２９などの
標準スピーチコーダにおける隠蔽処理においても行われている。

【００８９】 ＦＥＣ処理は、第二のフレームの開始時から、１０ミリ秒間のフレーム毎に２
０％の割合で信号を減衰する。合成バッファＳが減衰前の合成信号を含み、Ｆが
連続して消去されたフレームの数（第一の消去されたフレームがＦ＝１、第二の
消去されたフレームがＦ＝２、など）である場合、減衰は、次のように表すこと
ができる。

【００９０】

【数８】

【００９１】 ここで、０≦ｉ≦７９であり、２≦Ｆ≦６である。例えば、第二の消去された
フレームの開始時のサンプルでは、Ｆ＝２であり、Ｆ−２＝０及び０．２／８０
＝０．００２５である。よって、Ｓ’［０］＝１・Ｓ［０］、Ｓ’［１］＝０．
９９７５Ｓ［１］、Ｓ’［２］＝０．９９５Ｓ［２］、及びＳ’［７９］＝０．
８０２５Ｓ［７９］である。第六の消去されたフレーム以降は、出力は単純にゼ
ロに設定される。

【００９２】 合成信号は、ステップ１２５５において減衰された後、ステップ１２６０にお
いて、履歴バッファ２４０に与えられ、ステップ１２６５において、出力が３．
７５ミリ秒間、遅延される。オフセットポインタＯもまた、ピッチバッファ内の
第二フレームの終了時の位置に更新され、これにより、合成信号が次のフレーム
に続くことができる。処理は、ステップ５４０に戻り、次のフレームを取得する
。

【００９３】 消去が二フレーム以上続いた場合、第三フレームの処理は、第二のフレームと
同様に行われるが、ピッチバッファ内の周期の数は、１から２ではなく、２から
３へと増やされる。ここに示す例では、消去は二フレームで終了するが、第三フ
レーム及びその後に使われる、三周期ピッチバッファを図１７に示す。第三フレ
ーム以降は、ピッチバッファ内の周期の数は、３に固定されるため、図１２の右
側の経路のみが使われる。この場合、単純にオフセットポインタＯは単純にピッ
チバッファを合成出力に複写するために使われ、オーバーラップ加算作業は必要
とされない。

【００９４】 消去後の、第一の良好フレームに対するＦＥＣモジュール２３０の作業を図１
６に詳しく示す。消去部分の終了時点では、消去中に生成された合成音声と、本
物の音声との間に、潤滑な移行が必要とされる。消去が一フレームのみの長さで
あった場合、ステップ１６１０において、１／４波長のための合成信号が続けら
れ、本物の音声とのオーバーラップ加算が実行される。

【００９５】 ステップ１６２０において、ＦＥＣモジュール２３０が、消去が１０ミリ秒よ
りも長かったと判断した場合、合成信号と本物の信号とが一致しない可能性が高
く、よって、ステップ１６３０において、合成音声生成が続けられ、ＯＬＡ窓が
更に、消去されたフレーム一つにつき４ミリ秒間分増やされる。このＯＬＡ窓の
増加は、最大１０ミリ秒間まで行われる。ピッチの推定値が、多少ずれていた場
合又は本物の音声のピッチが消去期間中に変化していた場合、合成信号と本物の
信号との位相の不一致の可能性は、消去が長くなればなるほど増加する。より長
いＯＬＡ窓により、合成信号が、よりゆっくりとフェードアウトし、本物の音声
信号が、よりゆっくりとフェードインすることを可能にする。消去が１０ミリ秒
よりも長かった場合、ＯＬＡを実行する前に、ステップ１６４０において合成音
声を減衰する必要があり、これにより合成信号を、一つ前のフレームの信号レベ
ルと一致させる。

【００９６】 ステップ１６５０において、出力バッファの内容（合成音声）と、新しい入力
フレームの開始部とにＯＬＡが実行される。入力バッファの開始部は、ＯＬＡの
結果によって置き換えられる。上述の例の消去部分の終了時点におけるＯＬＡは
、図４に見ることができる。上述の例の隠蔽処理の完全な出力は、図３の「隠蔽
」波形に見ることができる。

【００９７】 ステップ１６６０において、履歴バッファが入力バッファの内容によって更新
される。ステップ１６７０において、音声の出力が３．７５ミリ秒間遅延され、
処理は図５のステップ５３０に戻り、次のフレームを取得する。

【００９８】 小さな調整により、ＦＥＣ処理をＧ．７２６など、サンプル間又はフレーム間
の状態情報を保持し隠蔽を提供しないような、他のスピーチコーダに応用するこ
ともできる。ＦＥＣ処理は上述と全く同じように使われ、消去期間中の合成波形
を生成する。しかしながら、コーダの内部状態変数が、ＦＥＣ処理によって生成
された合成音声を探知することを保証するよう注意することが必要である。そう
でなければ、消去部分の終了後、復号器が間違った状態を使って再始動するに従
って、アーティファクト及び非連続部分が出力に現れる。消去部分終了時点のＯ
ＬＡ窓はこの作業を助けるが、ＯＬＡ窓以上のことをする必要がある。

【００９９】 図１８に示すように、消去の期間中、復号器１８２０を符号器１８６０に変換
し、ＦＥＣモジュール１８３０の合成出力を符号器１８６０の入力として使うこ
とにより、より良い結果が得られる。

【０１００】 これにより、復号器１８２０の変数状態は、隠蔽された音声を探知できる。典
型的な符号器と違い、符号器１８６０は、状態情報を保持するためのみに作動さ
れ、その出力は使われないことに留意されたい。よって、簡略化の手法（short
cut）を使って実行時間中の複雑さを相当に低減できる。

【０１０１】 上述のように、本発明によって多くの利点及び態様が提供される。特に、フレ
ーム消去が進むにしたがって、合成信号を生成するために信号履歴から使われる
ピッチ周期が、時間の関数として増やされる。これにより、長い消去の際のハー
モニック・アーティファクトをかなり低減できる。ピッチ周期は、元の順序で再
生されないが、それでも出力は自然に聞こえる。

【０１０２】 サンプル間又はフレーム間の状態情報を保持するＧ．７２６及び他のコーダで
は、復号器を、隠蔽処理の合成出力の出力に対する符号器として作動させてもよ
い。これにより、復号器の内部状態変数が出力を探知し、復号器内の間違った状
態情報に起因する、消去部分終了後の非連続性を回避し、又は少なくともそのよ
うな非連続性を低減できる。符号器からの出力は使われない（この符号器の唯一
の目的は、状態情報を保持することである）ため、機能を省略した、複雑さが低
い型の符号器を使うことができる。

【０１０３】 例示する実施形態（４０サンプル又は２００Ｈｚ）で許容される最低ピッチ周
期は、一部の女性及び子供の話者の基本振動数として予測されるものよりも大き
い。よって、高周波数の話者の場合、消去部分の開始時点においても、合成音声
を生成するために、１よりも多いピッチ周期が使われる。基本振動数が高い話者
の場合、より頻繁に波形が繰り返される。合成信号の複数のピッチ周期により、
ハーモニック・アーティファクトの可能性が低くなる。この技法はまた、音声内
の無声部分や停止などの急激な移行部分において、信号が自然に聞こえるよう保
つことを助ける。

【０１０４】 消去部分の後の最初の良好なフレームの終了時におけるＯＬＡ窓は、消去の長
さと共に大きくなる。消去が長い場合、新しい良好フレームが到着した時に、位
相の不一致が起きる可能性が高い。ＯＬＡ窓を消去の長さの関数として伸ばすこ
とにより、長い消去部分の際の位相不一致に起因する、突然の不調（glitch）を
低減させ、同時に、消去が短い場合には、信号を迅速に回復させることを可能に
する。

【０１０５】 本発明のＦＥＣ処理はまた、長さを変更可能なＯＬＡ窓を使う。このＯＬＡ窓
は、１／４波長である推定ピッチの小さな断片であり、ピッチピークと整列して
いない。

【０１０６】 本発明のＦＥＣ処理は、有声（voiced）音声と、無声（unvoiced）音声とを区
別しない。その代わりに、ＦＥＣ処理は、処理の以下の二つの特性のため、無声
音声をうまく再現することができる。（Ａ）最小の窓の大きさが、ほどよく大き
いため、音声の無声領域もほどよい多様性を有する。（Ｂ）処理が進むにつれて
ピッチバッファの長さが増やされ、これによりハーモニック・アーティファクト
が導入されないことを保証する。大きな窓を使い有声音声と無声音声とに対する
異なる取り扱いを避けることはまた、広く知られた時間スケール技法であるＷＳ
ＯＬＡにも存在することに留意すべきである。

【０１０７】 遅延を追加し、消去部分の開始時点におけるＯＬＡを可能にすることは、本発
明の処理においては、望ましくない態様と考えられるが、消去開始時において、
本物の信号と合成信号との間の潤滑な移行を保証するために必要である。

【０１０８】 本発明は、上に概要を説明した特定の実施形態に関連して説明されたが、多く
の代替案、変更案、及び変形案が、当業者には明らかであろう。したがって、上
述の本発明の好適な実施形態は、例として示すものであり、制限するものではな
い。後述の請求項に定義される本発明の精神及び範囲から逸脱することなく、様
々な変更を行ってもよい。

【０１０９】 本発明は、以下の図面を参照して詳述され、これらの図面において同様の符号
は同様の要素を参照する。

【図面の簡単な説明】

【図１】 音声送信システムを例示する図である。

【図２】 Ｇ．７１１コーダ及びＦＥＣモジュールを備える音声送信システ
ムを例示する図である。

【図３】 ＦＥＣ技法を使った、出力音声信号を示す図である。

【図４】 消去の終了時における、オーバーラップ加算（overlap-add）（
ＯＬＡ）作業を示す図である。

【図５】 Ｇ．７１１コーダを使いＦＥＣを実行する処理を例示するフロー
チャートである。

【図６】 履歴バッファの更新処理を示すグラフである。

【図７】 信号の第一フレームの隠蔽処理を例示するフローチャートである
。

【図８】 自動相関からのピッチの推定を示す図である。

【図９】 細かいピッチ推定と粗いピッチ推定との対比を示す図である。

【図１０】 ピッチ及び最終クオーターバッファ（lastquarter buffer）内
の信号を示す図である。

【図１１】 単一周期ピッチバッファを使った、合成信号の生成を示す図で
ある。

【図１２】 信号の第二の又は後続の消去されたフレームを隠蔽する処理を
例示するフローチャートである。

【図１３】 第二の消去されたフレームへと続く合成信号を示す図である。

【図１４】 二周期ピッチバッファを使った合成信号の生成を示す図である
。

【図１５】 第二の消去されたフレームの開始時におけるＯＬＡを示す図で
ある。

【図１６】 消去後の第一フレームを処理する方法を例示するフローチャー
トである。

【図１７】 三周期ピッチバッファを使った、合成信号の生成を示す図であ
る。

【図１８】 ＦＥＣ技法を他のスピーチコーダで使用する例を示すブロック
図である。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 生成された音声中の欠落した音声情報の影響を隠蔽する方法
   であって、前記音声信号は、圧縮され、パケットで受信機に送信されたパケット
   の一つ又はそれ以上が前記受信機において受信されないことによって欠落するも
   のであり、 音声情報を表す受信されたパケットに基づいて音声信号を生成するステップと
   、 前記受信機において、音声信号の形成にパケットが利用できないという判断に
   応答し、事前に形成された音声信号の一部を使い、前記利用できないパケットに
   対応する音声信号の一部を合成するステップと、 を含み、基本振動数が閾値より高い音声においては、基本振動数が閾値より低
   い音声よりも、前記合成ステップで用いられる、事前形成された部分のピッチ周
   期の数が大きいことを特徴とする方法。