JP2002542518A

JP2002542518A - パケットロス又はフレーム消去隠蔽を実行するための方法及び装置

Info

Publication number: JP2002542518A
Application number: JP2000612926A
Authority: JP
Inventors: デイビッドエイカピロウ
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1999-04-19
Filing date: 2000-04-19
Publication date: 2002-12-10
Anticipated expiration: 2020-04-19
Also published as: JP2002542519A; KR100633720B1; DE60023237T2; EP1086452B1; JP2015180972A; JP4967054B2; DE60023237D1; CA2335008C; EP1088303A1; JP2002542520A; WO2000063883A1; JP5426735B2; KR100615344B1; JP4966452B2; KR100745387B1; CA2335001C; JP2002542517A; JP5341857B2; JP5834116B2; CA2335005C

Abstract

(57)【要約】本発明は、内蔵又は標準ＦＥＣ処理を持たないスピーチコーダにおいてパケットロス又はフレーム消去の隠蔽（ＦＥＣ）を実行する方法及び装置に関する。復号器を備えた受信器が、符号器によって送信された、圧縮されたスピーチ情報の符号化されたフレームを受信する。受信器の遺失フレーム検出器が、符号化されたフレームが、送信中に失われた又は破損されたかどうか又は消去されたかどうかを判断する。符号化されたフレームが消去されていなければ、符号化されたフレームは復号器によって復号され、一時メモリが復号器の出力によって更新される。所定の遅延期間が追加された後、音声フレームが出力される。遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場合、ＦＥＣモジュールが、信号にフレーム隠蔽処理を施す。ＦＥＣ処理は、消去されたフレームに対して、自然に聞こえる合成スピーチを生成する。

Description

【発明の詳細な説明】

【０００１】（技術分野）この仮特許出願ではない特許出願は、１９９９年４月１９日に出願された、米
国特許仮出願第６０／１３０，０１６号の利益を主張し、その主題をここに引用
し編入する。以下の文書もまた、ここに引用し編入する。ITU-T Recommendation
G.711- Appendix I,"A high quality low complexity algorithm for packet l
oss concealment with G.711"(9/99)及びAmerican National Standard for Tele
communications - Packet Loss Concealment for Use with ITU-T Recommendati
on G.711 (T1.521-1999)。

【０００２】本発明はパケットロス又はフレーム消去（Frame Erasure)の隠蔽（Concealmen
t)、すなわち、ＦＥＣを実行することに関し、特に、Ｇ．７１１スピーチコーダ
などの、内蔵又は標準ＦＥＣを持たないスピーチコーダを使ってＦＥＣを実行す
ることに関する。

【０００３】（背景技術）パケットロス又はフレーム消失の隠蔽（ＦＥＣ）技法は、入力信号が、送信機
において符号化及びパケット化され、ネットワーク上に送信され、フレームを復
号し出力を再生する受信器において受信されるような音声システムにおける送信
ロスを隠す。ＩＴＵ−ＴのＧ．７２３．１やＧ．７２８やＧ．７２９などの標準
的なコード励起線形予測（Code-Excited Linear Prediction）（ＣＥＬＰ）に基
づくスピーチコーダの多くが、ＦＥＣアルゴリズムを内蔵する又はその規格にお
いて提案されているが、例えばＧ．７１１などには現在、そのような規格は存在
しない。

【０００４】（発明の開示）本発明は、内蔵又は標準ＦＥＣ処理を持たないスピーチコーダにおいてパケッ
トロス又はフレーム消去の隠蔽（ＦＥＣ）を実行する方法及び装置に関する。復
号器を備える受信器が、符号器から送信された、圧縮された音声情報の符号化さ
れたフレームを受信する。受信器における遺失フレーム検出器が、符号化された
フレームが送信中に遺失したか又は破損したか、又は消去されたかを判断する。
符号化されたフレームが消去されていなければ、符号化されたフレームは復号器
によって復号され、復号器の出力によって一時メモリが更新される。所定の遅延
期間の後、音声フレームが出力される。

【０００５】遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場合は
、ＦＥＣモジュールがフレーム隠蔽処理を信号に施す。ＦＥＣ処理は、消去され
たフレームにおいて、自然に聞こえる合成音声を生成する。

【０００６】本発明は、音声符号化システム処理のパケットロス又はフレーム消去の隠蔽（
ＦＥＣ）を実行する方法又は装置に関する。符号化されたフレームが消去された
場合、フレーム隠蔽処理が信号に施される。この処理は、欠落した音声を合成す
るためにピッチ波形の複製を使うが、従来の技術と違いこの処理は、消去の長さ
が増加するに従って、ピッチ波形の数を増やして複製（replicate）する。ＦＥ
Ｃ処理は、消去されたフレームに対して、自然に聞こえる合成音声を生成するこ
とによりこの分野における進歩を作り出す。

【０００７】（発明を実施するための最良の形態）近年、サービス品質の保証無しにＧ．７１１をパケットネットワーク上で使い
公衆電話交換ネットワーク（Plain-Old Telephony Service）（ＰＯＴＳ）をサ
ポートすることに関心が集まっている。フレーム消去（又はパケットロス）が、
これらのネットワーク上で発生した場合、呼の品質を著しく劣化させないために
、隠蔽技法が必要とされる。高品質で複雑さが低いフレーム消去隠蔽（ＦＥＣ）
技法が開発され、以下に詳述する。

【０００８】ＦＥＣを備える音声システムを例示するブロック図を図１に示す。図１におい
て、符号器１１０が入力音声フレームを受信し、符号化されたビットストリーム
を出力する。ビットストリームは、遺失フレーム検出器１１５によって受信され
、この遺失フレーム検出器１１５は、いずれかのフレームが失われたかどうかを
判断する。遺失フレーム検出器１１５が、フレームが失われたと判断すると、遺
失フレーム検出器１１５は、ＦＥＣモジュール１３０に信号を送り、ＦＥＣアル
ゴリズム又は処理を施し、欠落したフレームを再構築する。

【０００９】よって、ＦＥＣ処理は、音声システムにおける送信の遺失を隠す。ここで音声
システムは、入力信号が送信器において符号化及びパケット化され、ネットワー
ク上に送られ、フレームが失われたことを判断する遺失フレーム検出器１１５に
おいて受信されるようなものである。図１において、遺失フレーム検出器１１５
は、予期されるフレームが到着しないこと又は使用不能なほど遅れて到着したこ
とを判断する方法を備えているものと仮定される。ＩＰネットワーク上ではこれ
は通常、送信されるフレーム内のデータに、シーケンスナンバ又はタイムスタン
プを追加することにより実施される。遺失フレーム検出器１１５は、到着したフ
レームのシーケンスナンバと、フレームが失われていない場合に予期されるシー
ケンス数とを比較する。遺失フレーム検出器１１５が、予期された時にフレーム
が到着したと検出した場合、フレームは復号器１２０によって復号され、音声の
出力フレームが出力システムに与えられる。フレームが失われていた場合、ＦＥ
Ｃモジュール１３０が、当該フレーム分の合成音声を、その欠落したフレームの
代わりに生成することにより、欠落した音声フレームを隠す処理を施す。

【００１０】Ｇ．７２３．１、Ｇ．７２８、及びＧ．７２９などの標準ＩＴＵ−ＴＣＥＬ
Ｐに基づくスピーチコーダの多くは、その復号器において音声の再生をモデル化
する。よって復号器は、ＦＥＣ処理を直接復号器に一体化させるために十分な状
態情報を有する。これらのスピーチコーダでは、ＦＥＣアルゴリズム又は処理が
、その規格の一部として指定されている。

【００１１】これに対してＧ．７１１は、サンプル毎の符号化機構であり、音声の再現をモ
デル化しない。ＦＥＣを助けるための状態情報がコーダ内に存在しない。その結
果、Ｇ．７１１におけるＦＥＣ処理は、コーダとは独立したものである。

【００１２】Ｇ．７１１コーダと共に使われるシステムを例示するブロック図を図２に示す
。図１と同様に、Ｇ．７１１符号器２１０は、ビットストリームデータを符号化
し、遺失フレーム検出器２１５に送信する。ここでも、遺失フレーム検出器２１
５が、到着するフレームのシーケンスナンバを、フレームが一つも失われていな
い時に予期されるシーケンスナンバと比較する。予期された時にフレームが到着
した場合、フレームは復号器２２０による復号のために転送され、信号を記憶す
る履歴バッファ２４０に出力される。フレームが失われていた場合、遺失フレー
ム検出器２１５は、ＦＥＣモジュール２３０に知らせ、ＦＥＣモジュール２３０
は、そのフレーム分の合成音声を、当該欠落したフレームの代わりに生成するこ
とにより、欠落した音声フレームを隠す処理を施す。

【００１３】しかしながら、欠落フレームを隠すためには、ＦＥＣモジュール２３０は、Ｇ
．７１１ＦＥＣ処理を施す。この処理では、履歴バッファ２４０によって提供さ
れる、復号された出力信号の過去の履歴を使い、欠落フレーム内の信号がどのよ
うなものであるべきかを推定する。これに加え、消去されたフレームと消去され
なかったフレームとの間の潤滑な移行を保証するために、遅延モジュール２５０
が、システムの出力を、例えば３．７５ミリ秒（msec）などの所定の期間、遅延
させる。この遅延により、合成消去信号が、消去の開始時において本物の出力信
号とゆっくりと混合されるようになる。

【００１４】ＦＥＣモジュール２３０と、履歴バッファ２４０のブロック及び遅延モジュー
ル２５０の各ブロックの間の矢印は、ＦＥＣ処理によって記憶された履歴が使用
され、合成信号が生成されることを示す。これに加え、ＦＥＣモジュール２３０
の出力は、消去部分の期間中、履歴バッファ２４０を更新するために使われる。
ＦＥＣ処理は、Ｇ．７１１の復号された出力のみに依存するので、この処理はス
ピーチコーダが存在しない場合でも同様に正しく機能することに留意すべきであ
る。

【００１５】ＦＥＣモジュール２３０において、ＦＥＣ処理によって入力信号がどのように
処理されるのかを、図３にグラフで例示する。

【００１６】図中最上段の波形は、男性の話者よる有声音声の、ある領域において２０ミリ
秒の消去が発生した場合のシステムへの入力を示す。その下の波形では、ＦＥＣ
処理がこの間隙内で合成音声を生成することにより、欠落した部分を隠蔽してい
る。比較の目的で、消去されていないオリジナルの入力信号も示す。理想的なシ
ステムでは、隠蔽された音声は、元の音声と同じように聞こえる。図から明らか
なように、合成波形は、欠落部分の元の音声に非常に似ている。「隠蔽された」
波形が、「入力」波形からどのように生成されるかを、より詳しく下に述べる。

【００１７】ＦＥＣモジュール２３０によって使われるＦＥＣ処理は、履歴バッファ２４０
に記憶されている音声と同様の特徴を持つ合成音声を生成することにより、欠落
フレームを隠蔽する。基本的な考え方は次のようなものである。信号が声に出さ
れていた場合、信号は、準周期的であり局地的に一様であると仮定する。ピッチ
を推定し、履歴バッファ２４０内で最後に現れたピッチ周期を数回繰り返す。し
かしながら、消去が長い場合又はピッチが短い場合（周波数が高い場合）、同じ
ピッチ周期を繰り返しすぎると、自然な音声と比較して、正弦成分（harmonic）
の多すぎる出力に繋がる。これらの、ビーという音やボーンという音として聞こ
える人工的な正弦波的音声（ハーモニック・アーティファクト）を避けるために
、履歴バッファ２４０から使われるピッチ周期の数は、消去の長さが大きくなる
につれて増やされる。短い消去部分では、最後のピッチ周期又は最後のいくつか
のピッチ周期のみを履歴バッファ２４０から使い、合成信号を生成する。長い消
去部分に対しては、履歴バッファ２４０の更に以前のピッチ周期も使う。長い消
去部分に対しては、履歴バッファ２４０からのピッチ周期は、オリジナルの音声
に現れた順序と異なる順序で再生される。しかしながら、実験により、長い消去
の場合に生成される合成音声信号も、自然な音を作り出すことが確かめられてい
る。

【００１８】消去部分が長ければ長いほど、合成信号が本物の信号から逸脱する可能性が高
くなる。特定の種類の音を長く持続させることによって引き起こされるアーティ
ファクトを回避するために、合成信号は、消去部分が長くなるにしたがって減衰
される。１０ミリ秒以下の期間の消去部分においては、減衰は必要とされない。
１０ミリ秒よりも長い消去部分には、合成信号は、追加の１０ミリ秒毎に２０％
の割合で減衰される。６０ミリ秒を過ぎると、合成信号はゼロ（無音）に設定さ
れる。これは、合成信号が元の信号と異なりすぎるため、平均的には、欠落した
音声を６０ミリ秒以降も隠蔽しようと努力し続けても、利点よりも害が多くなる
ためである。

【００１９】異なる源（source）からの信号間で移行（transision）が行われた場合には、
この移行が非連続性を導入しないことが重要となる。この非連続性は、出力信号
中のクリック又は不自然なアーティファクトとして聞こえる。これらの移行は、
いくつかの場所で起きる。

【００２０】１．消去部分のはじめの部分、つまり合成信号の開始部と最後の良いフレーム
の尾部との境界。

【００２１】２．消去部分の終りの部分、つまり合成信号と消去部分の後の最初の良いフレ
ームの開始部との境界。

【００２２】３．履歴バッファ２４０から使われるピッチ周期の数が、信号のバリエーショ
ンを増加させるために変更された時。

【００２３】４．履歴バッファ２４０の繰り返し部分間の境界。

【００２４】潤滑な移行を保証するため、オーバーラップ加算（Ovelap Adds)（ＯＬＡ）が
全ての信号境界において実行される。ＯＬＡは、一つの端部において重複する二
つの信号を潤滑に組合わせる方法である。信号が重複する領域では、信号が窓に
よって重みを与えられ、その後、足される（混合される）。窓は、どのサンプル
においても、重みの和が１になるように設計される。すなわち、信号の全体的な
和に対する利得又は減衰は適用されない。これに加え、窓は、左側の信号では重
みが１から始まり徐々に０へとフェードアウトし、右側の信号では重みが０から
始まり徐々に１へとフェードインするよう設計される。よって、重複する窓の左
側の領域では、左信号のみが存在し、重複する窓の右側の領域では、右信号のみ
が存在する。重複した領域内では、信号が左側の信号から右側の信号へと徐々に
移行する。ＦＥＣ処理では、三角形の窓が使われ、長さを変更可能な窓の計算の
複雑さを低く保つが、例えばハニング窓（Hanning window）などの他の窓をその
代わりに使っても良い。

【００２５】図４は、２０ミリ秒間の消去の終了時における、合成音声が、消去部分の後に
始まる本物の音声とＯＬＡされるものを示す。この例では、ＯＬＡ重み付け窓は
、５．７５ミリ秒の三角形の窓である。最上段の信号は、消去中に対応して生成
された合成信号であり、その下のオーバーラップした信号は、消去部分の後の本
物の音声である。ＯＬＡ重み付け窓は、信号の下に示される。ここでは、消去期
間中の本物の信号内でのピッチの変化によって、合成信号のピークと本物の信号
のピークとが一致せず、ＯＬＡ無しに信号を組合わせようとした場合に導入され
る非連続性を、「ＯＬＡ無しの組合わせ」とラベルを付けたグラフに示す。「Ｏ
ＬＡ無しの組み合わせ」グラフは、ＯＬＡ窓の開始までの合成信号をと、その期
間中の本物の信号とを複写することにより作成されている。ＯＬＡ作業の結果は
、境界での非連続性がどのように潤滑にされるかを示す。

【００２６】前述の論議は、ほぼ一様な、有声音声に、処理の例がどのように働くかに関連
するものであるが、音声信号が素早く変化してる場合又は声に出されていない場
合、音声信号は、周期的な構造を持たない場合もある。しかしながら、これらの
信号も以下に示すように同じ方法で処理される。

【００２７】第一に、例示する実施形態で許容される最小のピッチ周期のピッチ推定値は５
ミリ秒であり、これは２００Ｈｚの周波数に対応する。高周波の女性及び子供の
話者の一部は、２００Ｈｚ以上の基本振動数を有することが知られているが、窓
を比較的大きく保つために、２００Ｈｚに制限する。この方法では、１０ミリ秒
間の消去フレーム内では、選択されたピッチ周期は、最大二回繰り返される。高
周波の話者の場合、これは、ピッチ推定法が本物のピッチ周期の倍数を返すため
、実際には出力が劣化しない。いずれの音声も多く繰り返しすぎないようにする
ことにより、処理は、非周期的な音声から周期的な合成音声を作り出さない。第
二に、合成音声を生成するために使われるピッチ周期の数は、消去部分が長くな
るにしたがって増やされるため、信号に十分な多様性が追加され、長い消去部分
においても周期性が導入されない。

【００２８】音声の時間スケールのための波形類似オーバーラップ加算（Waveform Similar
ity Overlap Add）（ＷＳＯＬＡ）処理もまた、大きな固定された大きさのＯＬ
Ａ窓を使用し、周期的な音声信号及び非周期的な音声信号の両方の時間スケール
を変更するために同じ処理が使えることに留意されたい。

【００２９】例示するＦＥＣ処理の全体像が上で説明されたが、個々のステップを下に、よ
り詳しく説明する。

【００３０】説明の目的のために、フレームが１０ミリ秒間の音声を含み、サンプリング速
度が例えば８ｋＨｚであると仮定する。よって、消去は８０サンプル（８０００
＊０．０１０＝８０）ごとに起きる可能性がある。ＦＥＣ処理は、その他のフレ
ームの大きさ及びサンプリング速度に対しても容易に適合できることに留意すべ
きである。サンプリング速度を変更するには、単純に、ミリ秒単位で与えられる
時間に０．００１を掛け、その後サンプリング速度でかけて適切なバッファの大
きさを取得する。例えば、履歴バッファ２４０は、最近４８．７５ミリ秒間の音
声を含む。８ｋＨｚではこれは、バッファが（４８．７５＊０．００１＊８００
０）＝３９０サンプル分の長さであることを意味する。１６ｋＨｚのサンプリン
グでは、バッファの大きさは二倍又は７８０サンプルとなる。

【００３１】バッファの大きさのいくつかは、処理が予想する最低の周波数に基づく。例え
ば、ここに例示する処理は、８ｋＨｚのサンプリングで見られる最低周波数が６
６＋（２／３）Ｈｚであると仮定する。これにより、最大ピッチ周期は、１５ミ
リ秒（１／（６６＋（２／３））＝０．０１５）と導かれる。履歴バッファ２４
０の長さは、最低周波数の周期の３．２５倍である。よって、履歴バッファ２４
０は１５＊３．２５＝４８．７５ミリ秒となる。１６ｋＨｚのサンプリングで、
入力フィルタが５０Ｈｚ（２０ミリ秒の周期）までの低い周波数を許容する場合
、履歴バッファ２４０は、２０＊３．２５＝６５ミリ秒に伸ばされる。

【００３２】フレームの大きさもまた変更できる。１０ミリ秒間がデフォルトとして選択さ
れたのは、Ｇ．７２９などのいくつかの標準スピーチコーダによって使われるフ
レームの大きさであり、またいくつかの無線システムでも使われているからであ
る。フレームの大きさを変更することは簡単である。望まれるフレームサイズが
１０ミリ秒の倍数である場合、処理は変更しない。単純に、消去処理のフレーム
サイズを１０ミリ秒のままにして、それを一フレームに対して複数回呼び出す。
望まれるパケットフレームサイズが、５ミリ秒など１０ミリ秒の約数である場合
、ＦＥＣ処理は基本的には変更しない。しかしながら、ピッチバッファ内の周期
を増大させたレートを、１０ミリ秒間のフレーム数に基づいて変更する必要があ
る。１２ミリ秒など、１０ミリ秒の倍数でも約数でもないフレームサイズもまた
順応させることができる。ＦＥＣ処理は、ピッチバッファから使われるピッチ周
期の数を増大させたレートを変更することに対し、柔軟性を有する。周期の数を
、１０ミリ秒毎から１２ミリ秒毎に増やすことは、さほどの違いを生じない。

【００３３】図５は、図２に例示する実施形態において実行されるＦＥＣ処理のブロック図
である。主要な機能のいくつかを実施するために必要とされる副ステップを、図
７、図１２、及び図１６に更に詳しく示し、下で説明する。以下の論議では、値
及びバッファを保持するためにいくつかの変数が使われる。これらの変数の概要
を次の表に示す。

【００３４】

【表１】図５のフローチャートに示すように、処理はステップ５０５から始まり、この
ステップでは、遺失フレーム検出器２１５によって次のフレームが受信される。
ステップ５１０では、遺失フレーム検出器２１５が、フレームが消去されたかど
うかを判断する。フレームが消去されていなければ、ステップ５１２においてフ
レームは復号器２２０によって復号される。次に、ステップ５１５において、復
号されたフレームが、ＦＥＣモジュール２３０による使用のために、履歴バッフ
ァ２４０に記憶される。

【００３５】履歴バッファ更新ステップでは、このバッファ２４０の長さは、予想される最
長ピッチ周期の長さの３．２５倍である。８ｋＨｚのサンプリングでは、最長ピ
ッチ周期は１５ミリ秒又は１２０サンプルであり、よって履歴バッファ２４０の
長さは４８．７５ミリ秒又は３９０サンプルである。したがって、各フレームが
復号器２２０によって復号された後、履歴バッファ２４０は、最新の音声履歴を
含むように更新される。履歴バッファ２４０の更新を図６に示す。この図に示す
ように、履歴バッファ２４０は、最新の音声サンプルを右側に含み、最古の音声
サンプルを左側に含む。復号された音声の最新フレームが受信された時には、こ
の最新フレームはバッファ２４０の右からシフトされ、最古の音声に対応するサ
ンプルがバッファの左から外へとシフトされる（図６ｂを参照）。

【００３６】これに加え、ステップ５２０において、遅延モジュール２５０が、音声の出力
を最長ピッチ周期の１／４だけ遅延させる。８ｋＨｚサンプリングではこれは、
１２０＊１／４＝３０サンプル又は３．７５ミリ秒にあたる。この遅延により、
ＦＥＣモジュール２３０が１／４波長ＯＬＡを消去の開始時に実行することを可
能にし、これにより、消去の前の本物の信号と、ＦＥＣモジュール２３０によっ
て作り出された合成信号との間の潤滑な移行を保証する。フレームを復号した直
後は、次のフレームが消去されたかどうか分からないため、出力を遅延させる必
要がある。

【００３７】ステップ５２５において、音声が出力され、ステップ５３０において処理は、
更にフレームが存在するかどうかを判断する。更なるフレームが存在しなければ
、処理は終了する。更なるフレームが存在すれば、処理はステップ５０５に戻り
次のフレームを取得する。

【００３８】しかしながら、ステップ５１０において、遺失フレーム検出器２１５が、受信
したフレームが消去されたものと判断した場合、処理はステップ５３５に進み、
ここでＦＥＣモジュール２３０が第一の消去されたフレームを隠蔽する。この処
理は、下に図７に関して詳しく説明する。第一フレームが隠蔽された後、ステッ
プ５４０において、遺失フレーム検出器２１５が、次のフレームを取得する。ス
テップ５４５において、遺失フレーム検出器２１５は、次のフレームが消去され
ているかどうかを判断する。もし次のフレームが消去されていなければ、ステッ
プ５５５においてＦＥＣモジュール２３０が、消去後の第一フレームを処理する
。この処理は、図１６に関して下に詳しく説明する。第一フレームが処理された
後、処理はステップ５３０に戻り、ここで遺失フレーム検出器２１５が更なるフ
レームが存在するかどうかを判断する。

【００３９】ステップ５４５で、遺失フレーム検出器２１５が、次又は後続のフレームが消
去されていると判断した場合、ＦＥＣモジュール２３０が第二及び後続のフレー
ムを隠蔽する。この処理は下に図１２に関して詳しく説明する。

【００４０】図７に、消去の最初の１０ミリ秒間を隠蔽するために採られるステップを詳し
く示す。ステップは、以下に詳しく考察される。

【００４１】図７に示すように、ステップ７０５において、消去部分の開始時点における第
一の作業は、ピッチの推定である。これを行うためには、タップ遅延が４０から
１２０サンプルの、２０ミリ秒（１６０サンプル）の窓を用いて、履歴バッファ
２４０の信号に対し、正規化した自動相関が実行される。８ｋＨｚのサンプリン
グにおいては、これらの遅延は、５から１５ミリ秒のピッチ周期又は２００から
６６＋（２／３）Ｈｚの基本振動数に対応する。自動相関のピークにおけるタッ
プが、ピッチ推定値Ｐである。Ｈがこの履歴を含むものと仮定し、−１（消去部
分直前のサンプル）から−３９０（消去部分が始まる３９０サンプル前のサンプ
ル）まで索引を付けられていると仮定すると、タップｊに対する自動相関は、数
学的に次のように表すことができる。

【００４２】

【数１】

【００４３】自動相関のピーク又はピッチ推定値は、次のように表すことができる。

【００４４】

【数２】

【００４５】上述のように、許容される最低ピッチ周期、５ミリ秒又は４０サンプルは、単
一のピッチ周期が１０ミリ秒である消去されたフレームの間に最大二回繰り返さ
れるのに十分な大きさである。これにより、無声音声中のアーティファクトを回
避し、また、高ピッチの話者の不自然なハーモニックアーティファクトを回避す
る。

【００４６】図３の消去部分における、正規化した自動相関の計算例を、図８にグラフで示
す。

【００４７】「履歴」とラベルを付けた波形は、消去部分直前の履歴バッファ２４０の内容
である。水平な点線は、信号の基準部分、履歴バッファ２４０Ｈ［−１］：Ｈ
［−１６０］を示し、これは消去直前の２０ミリ秒間の音声である。水平な直線
は、４０サンプル（最上段の線、５ミリ秒周期、２００Ｈｚ周波数）から１２０
サンプル（最下段の線、１５ミリ秒周期、６６＋（２／３）Ｈｚ周波数）のタッ
プにおいて遅延された２０ミリ秒間の窓である。相関の出力もまた、窓の場所と
整列してグラフに表示される。相関中の垂直な点線は、曲線のピークであり、推
定ピッチを表す。この線は、消去の開始時から一周期戻る。この場合、Ｐは、７
ミリ秒のピッチ周期及び１４２．９Ｈｚの基本振動数に対応する５６サンプルに
等しい。

【００４８】自動相関の複雑さを低減するために、二つの特別な手順が使われる。これらの
簡略化（shortcut）は、実質的には出力を変化させないが、処理の全体的な実行
時間の複雑さに大きな影響を及ぼす。ＦＥＣ処理の複雑さの大半は、自動相関に
帰する。

【００４９】まず、全てのタップにおいて相関を計算する代わりに、ピークの大まかな推定
を、省略された信号でまず判断し、その後、大まかなピークの近傍の領域におい
て細かい検索が行われる。大まかな推定値のために、上述の自動相関（Ａｕｔｏ
ｃｏｒ）関数を、２：１の省略された信号に作用する新しい関数に修正し、一つ
置きのタップのみを検査する。

【００５０】

【数３】

【００５１】次に、この大まかな推定値を使い、元の検索処理を、Ｐ_rough−１≦ｊ≦Ｐ_rou _gh ＋１の範囲のみで繰り返す。ｊが、元の４０から１２０サンプルの範囲に納ま
るように注意が払われる。サンプリング速度が増やされた場合、省略率もまた増
やすべきであり、これにより処理の全体的な複雑さがほぼ一定になるようにすべ
きであることに留意されたい。本発明者らは、８：１の省略率で、４４．１ｋＨ
ｚでサンプルされた音声において実験を行い、良好な結果を得た。図９は、簡略
化自動相関（Ａｕｔｏｃｏｒ_rough）のグラフと、通常の自動相関（Ａｕｔｏｃ
ｏｒ）のグラフとを比較する図である。この図から明らかなように、Ａｕｔｏｃ
ｏｒ_roughは、Ａｕｔｏｃｏｒに近い近似であり、８ｋＨｚのサンプリングにお
いては、複雑さがおよそ４倍に低減されている。この４倍は、一つおきのタップ
のみが検査されることにより２倍、与えられたタップにおいて、一つおきのサン
プルのみが検査されることによる２倍、からである。

【００５２】Ａｕｔｏｃｏｒ及びＡｕｔｏｃｏｒ_roughのエネルギ計算の複雑さを低減させ
るために第二の手順が実行される。各ステップで、完全な和を計算する代わりに
、エネルギの継続和（running sum）が保持される。すなわち、

【００５３】

【数４】

【００５４】とすると、

【数５】

【００５５】となる。

【００５６】したがって、最初のエネルギの項が計算された後は、２度の掛け算及び２度の
足し算のみが、ＦＥＣ処理の各ステップでエネルギの項を更新するために必要と
なる。

【００５７】ピッチ推定値Ｐを得た後、消去部分の波形生成が開始される。図７のフローチ
ャートに戻り、ステップ７１０において、最新の波長の３．２５倍の部分（３．
２５＊Ｐサンプル）が、履歴バッファ２４０、すなわちＨからピッチバッファＢ
へと複写される。最新の１／４波長以外のピッチバッファの内容は、消去部分の
間一定に保たれる。これに対し、履歴バッファ２４０は、消去部分の間、合成音
声によって更新し続けられる。

【００５８】ステップ７１５において、履歴バッファ２４０からの最新の１／４波長分（０
．２５＊Ｐサンプル）が、最終クオーターバッファＬに記憶される。この１／４
波長分は、ＯＬＡ作業のいくつかで必要とされる。簡便のため、履歴バッファ２
４０にアクセスするために使ったものと同じ、負の数による索引付けの方法を使
ってＢ及びＬバッファにアクセスする。Ｂ［−１］は、消去部分が到着する前の
最後のサンプルであり、Ｂ［−２］はその前のサンプル、などである。合成音声
は、合成バッファＳに入れられ、合成バッファＳは、０から昇順に索引付けられ
る。よって、Ｓ［０］が最初の合成されたサンプルであり、Ｓ［１］が第二のサ
ンプル、などとなる。

【００５９】図３に示す消去時の、ピッチバッファＢ及び最終クオーターバッファＬの内容
を、図１０に示す。上述の部分で、周期Ｐは５６サンプルと計算されている。よ
ってピッチバッファは、３．２５＊５６＝１８２サンプルの長さである。最終ク
オーターバッファは、０．２５＊５６＝１４サンプルの長さである。図において
は、消去部分の開始時からＰサンプル戻る毎に、垂直な線が配置されている。

【００６０】最初の１０ミリ秒間の消去の間は、ピッチバッファからの最終ピッチ周期のみ
が使われ、よってステップ７２０において、Ｕ＝１である。音声信号が、真に周
期的であり、ピッチ推定値が推定値ではなく、正確に真正な値であった場合、ピ
ッチバッファＢから合成バッファＳに直接波形を複写でき、この場合、合成信号
は滑らかであり、かつ連続している。すなわち、Ｓ［０］＝Ｂ［−Ｐ］、Ｓ［１
］＝Ｂ［−Ｐ＋１］、などとなる。ピッチが１０ミリ秒間のフレームよりも短い
場合、すなわちＰ＜８０の場合、消去フレーム内で、単一のピッチ周期が一回よ
りも多く繰り返される。ここに示す例では、Ｐ＝５６であり、よって複写は、Ｓ
［５６］で戻って（roll over）くる。すなわち、サンプル５６近くのサンプル
毎の複写順序は、Ｓ［５４］＝Ｂ［−２］、Ｓ［５５］＝Ｂ［−１］、Ｓ［５６
］＝Ｂ［−５６］、Ｓ［５７］＝Ｂ［−５５］、などとなる。

【００６１】実際には、ピッチ推定値は正確ではなく、信号は真に周期的でない場合もある
。（ａ）本物の信号と合成信号との間の境界及び（ｂ）周期が繰り返される境界
における非連続性を回避するために、ＯＬＡが必要とされる。これら両方の境界
において、本物の音声の終了時Ｂ［−１］から、一周期戻った音声Ｂ［−Ｐ］ま
での潤滑な移行が望ましい。したがって、ステップ７２５において、Ｂ［−Ｐ］
の前の１／４波長と、履歴バッファ２４０の最終１／４波長又はＬの内容と、を
オーバーラップ加算することにより、これが達成される。グラフではこれは、ピ
ッチバッファ内の最終１＋（１／４）波長を取り出し、右に一波長分ずらし、Ｏ
ＬＡを１／４波長のオーバーラップした領域において行うことに等しい。ステッ
プ７３０において、ＯＬＡの結果が、履歴バッファ２４０の最終１／４波長に複
写される。合成波形の追加の周期を生成するために、ピッチバッファが追加の波
長分だけずらされ、追加のＯＬＡが実行される。

【００６２】図１１は、最初の２回の反復におけるＯＬＡ作業を示す。この図では、全ての
波形を交差する垂直な線は、消去部分の開始時を示す。短い垂直線は、ピッチマ
ーカであり、消去境界からＰサンプルの位置に配置される。波形「ピッチバッフ
ァ」と波形「Ｐだけ、右にずらされたもの」の間のオーバーラップ領域は、波形
「Ｐだけ右にずらされたもの」と波形「２Ｐだけ、右にずらされたもの」の間の
オーバーラップ領域と正確に同じサンプルに対応することを理解すべきである。
したがって、１／４波長ＯＬＡは、一回だけ計算されればよい。

【００６３】ステップ７３５において、ＯＬＡをまず計算し、その結果をピッチバッファの
最終１／４波長に入れることにより、真に周期的な信号に対する、合成波形の生
成処理を使用できる。サンプルＢ［−Ｐ］からはじめ、ピッチバッファから合成
バッファへと単純にサンプルを複写し、ピッチバッファの最後部に達した時には
、ピッチバッファポインタをピッチ周期の最初に戻す。この技法を使い、どのよ
うな期間の合成波形でも生成できる。図１１の「ＯＬＡと組合わせた」の波形に
おける、消去開始時より左側のピッチ周期は、ピッチバッファの更新された内容
に対応する。

【００６４】「ＯＬＡとの組合わせ」波形は、単一周期のピッチバッファが、周期Ｐの周期
的な信号を非連続性なしに生成することを示している。この履歴バッファ２４０
内の単一の波長から生成された合成音声は、消去部分の第一の１０ミリ秒間を隠
蔽するために使われる。ＯＬＡの効果は、「ピッチバッファ」内の消去部分の開
始直前の１／４波長と「ＯＬＡと組合わせた」波形内のそれとを比較することに
より見ることができる。ステップ７３０において、この「ＯＬＡと組合わせた」
波形内の１／４波長はまた、履歴バッファ２４０内の最終１／４波長を置換える
。

【００６５】三角形の窓を使ったＯＬＡ作業もまた、数学的に表現することができる。まず
、変数Ｐ４を、サンプル内のピッチ周期の１／４と定義する。よって、Ｐ４＝Ｐ
＞＞２である。ここに示す例では、Ｐが５６なので、Ｐ４は１４となる。ＯＬＡ
作業は、１≦ｉ≦Ｐ４の範囲で次のように表現できる。

【００６６】

【数６】

【００６７】ＯＬＡの結果は、履歴バッファ２４０及びピッチバッファの両方の最後の１／
４波長部分を置換える。履歴バッファ２４０を置換えることにより、履歴バッフ
ァもまた出力を３．７５ミリ秒間遅延させるので、履歴バッファ２４０が更新さ
れる時に、１／４ＯＬＡ移行が出力される。消去の第一の１０ミリ秒間における
出力波形は、図３の「隠蔽された」波形の最初の２つの点線間の領域に見ること
ができる。

【００６８】ステップ７４０において、フレームの合成音声の生成の終了時に、現在のオフ
セットが変数Ｏとしてピッチバッファに記憶される。このオフセットは、合成波
形が次のフレームに続くことを可能にし、これにより、次のフレームの本物の信
号又は合成信号とのＯＬＡを可能にする。Ｏはまた、消去が１０ミリ秒を超える
場合に、正しい合成信号の位相を保持することを可能にする。ここに示す８０サ
ンプルのフレーム及びＰ＝５６の例では、消去の開始時には、オフセットは−５
６である。５６サンプル後、オフセットは−５６に戻る。更に、８０−５６＝２
４サンプル後、オフセットは−５６＋２４＝−３２であり、よって、第一のフレ
ーム終了時にはＯは−３２である。

【００６９】ステップ７４５において、合成バッファにＳ［０］からＳ［７９］が満たされ
た後、このＳが履歴バッファ２４０を更新するために用いられる。ステップ７５
０において、履歴バッファ２４０はまた、３．７５ミリ秒の遅延を追加する。履
歴バッファ２４０の取り扱い（handling）は、消去されたフレームの間も消去さ
れなかったフレームの間も同じである。この時点で、図５のステップ５３５に示
す第一フレームの隠蔽作業が終了し、処理は、図５のステップ５４０に進む。

【００７０】ＦＥＣモジュール２３０が、図５のステップ５５０に示すように、１０ミリ秒
よりも後の後続のフレームを隠蔽するためにどのように機能するかを、図１２に
詳しく示す。第二及び後続の消去されたフレームにおいて、合成信号を生成する
技法は、第一の消去されたフレームに類似しており、これに更に、信号にいくら
かの多様性を足すための追加の作業が必要とされる。

【００７１】ステップ１２０５において、消去コードは、第二又は第三フレームが消去され
ているかどうかを判断する。第二及び第三の消去されたフレームの期間中は、ピ
ッチバッファから使われるピッチ周期の数が増やされる。これにより信号に、よ
り大きな多様性を導入し、合成出力が、ハーモニックしすぎて聞こえることを防
止する。他の全ての移行と同様に、ピッチ周期数が増加された時には、境界を滑
らかにするためにＯＬＡが必要とされる。第三フレーム（３０ミリ秒間の消去）
より後は、ピッチバッファは、三波長の長さに一定に保たれる。これらの三波長
が、消去の期間中の全合成音声を生成する。よって、図１２の左側の分岐は、第
二及び第三の消去されたフレームに対してのみ行われる。

【００７２】次に、ステップ１２１０において、ピッチバッファで使われる波長の数を増加
させる。すなわち、Ｕ＝Ｕ＋１とする。

【００７３】第二又は第三の消去されたフレームの開始時に、ステップ１２１５において、
一つ前のフレームからの合成信号が、更に１／４波長分、現在のフレームの開始
部に続く。例えばここに示す例では、第二のフレームの開始時には、図１３に示
すように合成信号が現れる。この１／４波長は、ピッチバッファからの古い波長
を使う新しい合成信号にオーバーラップ加算される。

【００７４】第二の消去フレームの開始時に、波長の数は２に増やされ、すなわちＵ＝２と
される。単一波長ピッチバッファ同様、二波長（2-wavelength）ピッチバッファ
がそれ自体を繰り返す境界では、ＯＬＡを実行する必要がある。ここでは、ステ
ップ１２２０において、ピッチバッファＢの尾部から戻って１／４波長分の終わ
りのＵ波長が、最終クオーターバッファＬの内容とオーバーラップ加算される。
ＯＬＡ演算子は、１≦ｉ≦Ｐ４の範囲で次のように表すことができる。

【００７５】

【数７】

【００７６】前述の方程式との違いは、右辺の、Ｂのインデックスに使われた定数Ｐが、Ｐ
Ｕに置き換えられていることのみである。二波長ピッチバッファの作成を図１４
にグラフで示す。

【００７７】図１１と同様、消去開始時の左側の「ＯＬＡと組合わせた」波形は、二周期ピ
ッチバッファの更新された内容である。短い垂直線は、ピッチ周期を表す。「Ｏ
ＬＡと組合わせた」波形の連続したピークの詳しい検査により、ピークが、消去
部分の開始時点より１又は２波長分前に戻ったピークから交互になることが示さ
れる。

【００７８】第二のフレームの合成出力の開始時には、新しいピッチバッファからの信号を
、図１３において生成された１／４波長と合成させる必要がある。新しいピッチ
バッファからの合成信号は、使用されるバッファの最古の部分からのものである
ことが望ましい。しかしながら、新しい部分が、波形の類似した部分からのもの
であることに注意をしないと、耳障りなアーティファクトが作り出されるので、
そのような注意が必要である。すなわち、正確な位相を保持することが望ましく
、保持できなければ、波形が混合される際に、相殺的干渉を引き起こす可能性が
ある。

【００７９】これは、ステップ１２２５（図１２）において、一つ前のフレームの終了時に
記憶されたオフセットＯから、ピッチバッファの使用部分内の最古の波長を指す
まで、周期Ｐを引くことにより達成される。

【００８０】例えば、第一の消去されたフレームでは、ピッチバッファＢの有効なインデッ
クスは、−１から−Ｐであった。よって、第一の消去されたフレームから記憶さ
れたＯは、必ずこの範囲内にある。第二の消去されたフレームでは、有効な範囲
は、−１から−２Ｐである。よって、Ｏが、−２Ｐ≦Ｏ＜−Ｐの範囲内になるま
で、ＯからＰを引く。より一般的に言うと、Ｏが、−ＵＰ≦Ｏ＜−（Ｕ−１）Ｐ
の範囲内になるまで、ＯからＰを引く。ここに示す例では、第一の消去されたフ
レームの終了時において、Ｐ＝５６であり、Ｏ＝−３２である。−３２から５６
を引いて、−８８を得る。よって、第二フレーム内の第一の合成サンプルは、Ｂ
［−８８］から来る。次の合成サンプルは、Ｂ［−８７］、などとなる。

【００８１】第二の消去されたフレームの開始時における、単一及び二周期ピッチバッファ
からの合成信号のＯＬＡ混合を、図１５に示す。

【００８２】ＯからＰを引くことにより、正確な波形位相が保持され、「１Ｐピッチバッフ
ァ」波形及び「２Ｐピッチバッファ」波形の信号のピークが整列されることに留
意されたい。「ＯＬＡと組合わせた」波形は、第二の消去されたフレームの開始
時において、異なるピッチバッファ間の潤滑な移行を示す。図１５に示す「ＯＬ
Ａと組合わせた」波形の第二フレームを出力できるまでに、もう一つの作業が必
要とされる。

【００８３】ステップ１２３０（図１２）において、新しいオフセットが使われ、ピッチバ
ッファから一時バッファに１／４波長が複写される。ステップ１２３５において
、１／４波長が、オフセットに足される。次に、ステップ１２４０において、一
時バッファが、出力バッファの開始部とＯＬＡされ、この結果が、出力バッファ
の第一の１／４波長に入れられる。

【００８４】ステップ１２４５において、オフセットが使われ、出力バッファ内の信号の残
りの部分が生成される。ピッチバッファが、１０ミリ秒間のフレームの間、出力
バッファに複写される。ステップ１２５０において、現在のオフセットが、変数
Ｏとしてピッチバッファに記憶される。

【００８５】第二及び後続の消去されたフレームの期間中は、ステップ１２５５において、
線形の傾斜によって合成信号が減衰される。合成信号は、６０ミリ秒後に設定さ
れる０又は沈黙へ徐々にフェードアウトする。消去が長くなるに従って、隠蔽さ
れた音声が真の信号から逸脱する可能性が高くなる。特定の種類の音を長時間保
留すると、その音が短い期間中に隔離された状態では自然に聞こえても、隠蔽処
理の出力中の不自然に聞こえるアーティファクトを生じる場合もある。これらの
合成信号中のアーティファクトを回避するために、ゆっくりとしたフェードアウ
トが使われる。同様の作業が、Ｇ．７２３、Ｇ．７２８、及びＧ．７２９などの
標準スピーチコーダにおける隠蔽処理においても行われている。

【００８６】ＦＥＣ処理は、第二のフレームの開始時から、１０ミリ秒間のフレーム毎に２
０％の割合で信号を減衰する。合成バッファＳが減衰前の合成信号を含み、Ｆが
連続して消去されたフレームの数（第一の消去されたフレームがＦ＝１、第二の
消去されたフレームがＦ＝２、など）である場合、減衰は、次のように表すこと
ができる。

【００８７】

【数８】

【００８８】ここで、０≦ｉ≦７９であり、２≦Ｆ≦６である。例えば、第二の消去された
フレームの開始時のサンプルでは、Ｆ＝２であり、Ｆ−２＝０及び０．２／８０
＝０．００２５である。よって、Ｓ’［０］＝１・Ｓ［０］、Ｓ’［１］＝０．
９９７５Ｓ［１］、Ｓ’［２］＝０．９９５Ｓ［２］、及びＳ’［７９］＝０．
８０２５Ｓ［７９］である。第六の消去されたフレーム以降は、出力は単純にゼ
ロに設定される。

【００８９】合成信号は、ステップ１２５５において減衰された後、ステップ１２６０にお
いて、履歴バッファ２４０に与えられ、ステップ１２６５において、出力が３．
７５ミリ秒間、遅延される。オフセットポインタＯもまた、ピッチバッファ内の
第二フレームの終了時の位置に更新され、これにより、合成信号が次のフレーム
に続くことができる。処理は、ステップ５４０に戻り、次のフレームを取得する
。

【００９０】消去が二フレーム以上続いた場合、第三フレームの処理は、第二のフレームと
同様に行われるが、ピッチバッファ内の周期の数は、１から２ではなく、２から
３へと増やされる。ここに示す例では、消去は二フレームで終了するが、第三フ
レーム及びその後に使われる、三周期ピッチバッファを図１７に示す。第三フレ
ーム以降は、ピッチバッファ内の周期の数は、３に固定されるため、図１２の右
側の経路のみが使われる。この場合、単純にオフセットポインタＯは単純にピッ
チバッファを合成出力に複写するために使われ、オーバーラップ加算作業は必要
とされない。

【００９１】消去後の、第一の良好フレームに対するＦＥＣモジュール２３０の作業を図１
６に詳しく示す。消去部分の終了時点では、消去中に生成された合成音声と、本
物の音声との間に、潤滑な移行が必要とされる。消去が一フレームのみの長さで
あった場合、ステップ１６１０において、１／４波長のための合成信号が続けら
れ、本物の音声とのオーバーラップ加算が実行される。

【００９２】ステップ１６２０において、ＦＥＣモジュール２３０が、消去が１０ミリ秒よ
りも長かったと判断した場合、合成信号と本物の信号とが一致しない可能性が高
く、よって、ステップ１６３０において、合成音声生成が続けられ、ＯＬＡ窓が
更に、消去されたフレーム一つにつき４ミリ秒間分増やされる。このＯＬＡ窓の
増加は、最大１０ミリ秒間まで行われる。ピッチの推定値が、多少ずれていた場
合又は本物の音声のピッチが消去期間中に変化していた場合、合成信号と本物の
信号との位相の不一致の可能性は、消去が長くなればなるほど増加する。より長
いＯＬＡ窓により、合成信号が、よりゆっくりとフェードアウトし、本物の音声
信号が、よりゆっくりとフェードインすることを可能にする。消去が１０ミリ秒
よりも長かった場合、ＯＬＡを実行する前に、ステップ１６４０において合成音
声を減衰する必要があり、これにより合成信号を、一つ前のフレームの信号レベ
ルと一致させる。

【００９３】ステップ１６５０において、出力バッファの内容（合成音声）と、新しい入力
フレームの開始部とにＯＬＡが実行される。入力バッファの開始部は、ＯＬＡの
結果によって置き換えられる。上述の例の消去部分の終了時点におけるＯＬＡは
、図４に見ることができる。上述の例の隠蔽処理の完全な出力は、図３の「隠蔽
」波形に見ることができる。

【００９４】ステップ１６６０において、履歴バッファが入力バッファの内容によって更新
される。ステップ１６７０において、音声の出力が３．７５ミリ秒間遅延され、
処理は図５のステップ５３０に戻り、次のフレームを取得する。

【００９５】小さな調整により、ＦＥＣ処理をＧ．７２６など、サンプル間又はフレーム間
の状態情報を保持し隠蔽を提供しないような、他のスピーチコーダに応用するこ
ともできる。ＦＥＣ処理は上述と全く同じように使われ、消去期間中の合成波形
を生成する。しかしながら、コーダの内部状態変数が、ＦＥＣ処理によって生成
された合成音声を探知することを保証するよう注意することが必要である。そう
でなければ、消去部分の終了後、復号器が間違った状態を使って再始動するに従
って、アーティファクト及び非連続部分が出力に現れる。消去部分終了時点のＯ
ＬＡ窓はこの作業を助けるが、ＯＬＡ窓以上のことをする必要がある。

【００９６】図１８に示すように、消去の期間中、復号器１８２０を符号器１８６０に変換
し、ＦＥＣモジュール１８３０の合成出力を符号器１８６０の入力として使うこ
とにより、より良い結果が得られる。

【００９７】これにより、復号器１８２０の変数状態は、隠蔽された音声を探知できる。典
型的な符号器と違い、符号器１８６０は、状態情報を保持するためのみに作動さ
れ、その出力は使われないことに留意されたい。よって、簡略化の手法（short
cut）を使って実行時間中の複雑さを相当に低減できる。

【００９８】上述のように、本発明によって多くの利点及び態様が提供される。特に、フレ
ーム消去が進むにしたがって、合成信号を生成するために信号履歴から使われる
ピッチ周期が、時間の関数として増やされる。これにより、長い消去の際のハー
モニック・アーティファクトをかなり低減できる。ピッチ周期は、元の順序で再
生されないが、それでも出力は自然に聞こえる。

【００９９】サンプル間又はフレーム間の状態情報を保持するＧ．７２６及び他のコーダで
は、復号器を、隠蔽処理の合成出力の出力に対する符号器として作動させてもよ
い。これにより、復号器の内部状態変数が出力を探知し、復号器内の間違った状
態情報に起因する、消去部分終了後の非連続性を回避し、又は少なくともそのよ
うな非連続性を低減できる。符号器からの出力は使われない（この符号器の唯一
の目的は、状態情報を保持することである）ため、機能を省略した、複雑さが低
い型の符号器を使うことができる。

【０１００】例示する実施形態（４０サンプル又は２００Ｈｚ）で許容される最低ピッチ周
期は、一部の女性及び子供の話者の基本振動数として予測されるものよりも大き
い。よって、高周波数の話者の場合、消去部分の開始時点においても、合成音声
を生成するために、１よりも多いピッチ周期が使われる。基本振動数が高い話者
の場合、より頻繁に波形が繰り返される。合成信号の複数のピッチ周期により、
ハーモニック・アーティファクトの可能性が低くなる。この技法はまた、音声内
の無声部分や停止などの急激な移行部分において、信号が自然に聞こえるよう保
つことを助ける。

【０１０１】消去部分の後の最初の良好なフレームの終了時におけるＯＬＡ窓は、消去の長
さと共に大きくなる。消去が長い場合、新しい良好フレームが到着した時に、位
相の不一致が起きる可能性が高い。ＯＬＡ窓を消去の長さの関数として伸ばすこ
とにより、長い消去部分の際の位相不一致に起因する、突然の不調（glitch）を
低減させ、同時に、消去が短い場合には、信号を迅速に回復させることを可能に
する。

【０１０２】本発明のＦＥＣ処理はまた、長さを変更可能なＯＬＡ窓を使う。このＯＬＡ窓
は、１／４波長である推定ピッチの小さな断片であり、ピッチピークと整列して
いない。

【０１０３】本発明のＦＥＣ処理は、有声（voiced）音声と、無声（unvoiced）音声とを区
別しない。その代わりに、ＦＥＣ処理は、処理の以下の二つの特性のため、無声
音声をうまく再現することができる。（Ａ）最小の窓の大きさが、ほどよく大き
いため、音声の無声領域もほどよい多様性を有する。（Ｂ）処理が進むにつれて
ピッチバッファの長さが増やされ、これによりハーモニック・アーティファクト
が導入されないことを保証する。大きな窓を使い有声音声と無声音声とに対する
異なる取り扱いを避けることはまた、広く知られた時間スケール技法であるＷＳ
ＯＬＡにも存在することに留意すべきである。

【０１０４】遅延を追加し、消去部分の開始時点におけるＯＬＡを可能にすることは、本発
明の処理においては、望ましくない態様と考えられるが、消去開始時において、
本物の信号と合成信号との間の潤滑な移行を保証するために必要である。

【０１０５】本発明は、上に概要を説明した特定の実施形態に関連して説明されたが、多く
の代替案、変更案、及び変形案が、当業者には明らかであろう。したがって、上
述の本発明の好適な実施形態は、例として示すものであり、制限するものではな
い。後述の請求項に定義される本発明の精神及び範囲から逸脱することなく、様
々な変更を行ってもよい。

【０１０６】本発明は、以下の図面を参照して詳述され、これらの図面において同様の符号
は同様の要素を参照する。

【図面の簡単な説明】

【図１】音声送信システムを例示する図である。

【図２】Ｇ．７１１コーダ及びＦＥＣモジュールを備える音声送信システ
ムを例示する図である。

【図３】ＦＥＣ技法を使った、出力音声信号を示す図である。

【図４】消去の終了時における、オーバーラップ加算（overlap-add）（
ＯＬＡ）作業を示す図である。

【図５】Ｇ．７１１コーダを使いＦＥＣを実行する処理を例示するフロー
チャートである。

【図６】履歴バッファの更新処理を示すグラフである。

【図７】信号の第一フレームの隠蔽処理を例示するフローチャートである
。

【図８】自動相関からのピッチの推定を示す図である。

【図９】細かいピッチ推定と粗いピッチ推定との対比を示す図である。

【図１０】ピッチ及び最終クオーターバッファ（lastquarter buffer）内
の信号を示す図である。

【図１１】単一周期ピッチバッファを使った、合成信号の生成を示す図で
ある。

【図１２】信号の第二の又は後続の消去されたフレームを隠蔽する処理を
例示するフローチャートである。

【図１３】第二の消去されたフレームへと続く合成信号を示す図である。

【図１４】二周期ピッチバッファを使った合成信号の生成を示す図である
。

【図１５】第二の消去されたフレームの開始時におけるＯＬＡを示す図で
ある。

【図１６】消去後の第一フレームを処理する方法を例示するフローチャー
トである。

【図１７】三周期ピッチバッファを使った、合成信号の生成を示す図であ
る。

【図１８】ＦＥＣ技法を他のスピーチコーダで使用する例を示すブロック
図である。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5D045 DA11 5J065 AA01 AB05 AC02 AE04 AH06 AH08 AH09 AH10 5K014 AA01 FA06 FA08

Claims

【特許請求の範囲】

【請求項１】ＦＥＣ能力を持たないスピーチコーダにおいてフレーム消去
の隠蔽（ＦＥＣ）を実行する方法であって、符号器から送信された圧縮スピーチ情報の符号化されたフレームを受信するス
テップと、符号化されたフレームが、送信の際に、消去され、失われ又は破損したかを判
断するステップと、前記判断ステップにおいて、符号化されたフレームが消去されていないと判断
された場合、受信した符号化されたフレームを復号し、復号されたフレームにす
るステップと、前記判断ステップにおいて、符号化されたフレームが消去されたと判断された
場合、以前に復号したフレームのデータを使い、消去されたフレームに対して合
成フレームを生成するステップと、復号されたフレーム及び合成フレームのデータによって、第一のメモリを更新
するステップと、前記復号されたフレーム及び合成フレームを音声信号として出力するステップ
と、を含むことを特徴とするＦＥＣ実行方法。
【請求項２】請求項１に記載の方法であって更に、遅延メモリを使い、前記音声信号の出力を所定時間遅延させるステップ、を含
むことを特徴とする方法。
【請求項３】請求項１に記載の方法であって、一つ又はそれ以上の消去さ
れたフレーム列中の第一の消去されたフレームにおける前記生成ステップが、消去されたフレームのピッチ周期を推定するステップと、前記第一メモリから、一つ又はそれ以上の最新ピッチ周期を、第二のメモリに
複写するステップと、前記第一メモリから、最新ピッチ周期の一部を、第三のメモリに複写するステ
ップと、前記第三メモリと、前記第二メモリに記憶されたピッチ周期の一部とをオーバ
ーラップ加算するステップと、前記ピッチ周期のオーバーラップ加算された部分を、前記第二メモリの前記最
新部分に記憶するステップと、前記更新のステップにおいて前記第一メモリを更新するため、また前記出力の
ステップで出力するために、前記第二メモリに記憶された一つ又はそれ以上の最
新ピッチ周期に基づき合成フレームを生成するステップと、前記生成ステップに使われた前記第二メモリの最終位置をオフセットポインタ
に記憶するステップと、を含むことを特徴とする方法。
【請求項４】請求項３に記載の方法であって更に、前記遅延メモリを、前
記オーバーラップ加算された部分によって更新するステップ、を含むことを特徴
とする方法。
【請求項５】請求項１に記載の方法であって更に、合成フレームが出力さ
れた後に、一つ又はそれ以上の後続の符号化されたフレームが消去されたかどう
かを判断するステップ、を含むことを特徴とする方法。
【請求項６】請求項５に記載の方法であって、一つ又はそれ以上の後続の
符号化されたフレームが消去されていた場合に更に、連続して消去されたフレームの数が、所定の長さを超えるかどうかを判断する
ステップと、前記判断ステップにおいて、連続した消去されたフレームの数が所定の長さを
超えないと判断された時に、合成フレームを生成するために使われるピッチ周期
の数を変更するステップと、前記判断ステップにおいて、連続した消去されたフレームの数が所定の長さを
超えると判断された時に、現在のピッチ周期の数で、合成フレームの生成を続け
るステップと、を含むことを特徴とする方法。
【請求項７】請求項６に記載の方法であって、連続した消去されたフレー
ムの数が所定の長さを超えなかった場合、前記変更ステップが更に、以前のフレームから、ピッチ周期の一部のための合成信号の生成を続け、その
結果を第四のメモリに入れるステップと、第二のメモリで使われるピッチ周期の数を増やすステップと、前記第三メモリと、前記第二メモリに記憶されたピッチ周期の一部とをオーバ
ーラップ加算し、その結果を前記第二メモリの前記最新部分に記憶するステップ
と、オフセットポインタを、前記第二メモリの新しい部分を指すまでピッチ周期づ
つ移動させるステップと、前記第二メモリから第五のメモリにデータを複写することにより、合成フレー
ム分のデータを生成するステップと、前記生成ステップで使われた前記第二メモリの最終位置を、オフセットポイン
タに記憶するステップと、前記第四メモリと、前記第五メモリ内のピッチ周期の一部とをオーバーラップ
加算し、その結果を前記第五メモリに記憶するステップと、消去されたフレームが所定の長さを超えているかどうかを判断するステップと
、前記判断ステップにおいて、消去されたフレームが所定の長さを超えると判断
された時に、前記更新のステップにおいて前記第一メモリを更新するために使わ
れ前記出力のステップにおいて出力するために使われる前記第五メモリを、消去
の長さに基づき減衰するステップと、を含むことを特徴とする方法。
【請求項８】請求項６に記載の方法であって、連続した消去されたフレー
ムの数が所定の長さを超える時に、前記続けるステップが更に、前記第二メモリから第五のメモリにデータを複写することにより、合成フレー
ム分のデータを生成するステップと、前記生成ステップで使われた前記第二メモリの最終位置をオフセットポインタ
に記憶するステップと、消去されたフレームが所定の長さを超えるかどうかを判断するステップと、前記判断ステップにおいて、消去されたフレームが所定の長さを超えると判断
された時に、前記更新のステップにおいて前記第一メモリを更新するために使わ
れ前記出力のステップにおいて出力するために使われる前記第五メモリを、消去
の長さに基づき減衰するステップと、を含むことを特徴とする方法。
【請求項９】請求項５に記載の方法であって、前記後続の符号化されたフ
レームが消去されていない時に、更に、前記第一の消去されていない符号化され
たフレームをＦＥＣ処理を使って処理するステップを含むことを特徴とする方法
。
【請求項１０】請求項９に記載の方法であって、前記処理のステップが更
に、前記第二メモリから第五のメモリにデータを複写することにより合成フレーム
分のデータを生成するステップと、前記消去されたフレームが所定の長さを超えるかどうかを判断するステップと
、前記判断ステップにおいて、消去されたフレームが所定の長さを超えると判断
された時に、前記第五メモリを、消去の長さに基づき減衰するステップと、前記第五メモリの一部と、第一の消去されていない復号されたフレームの開始
部分とをオーバーラップ加算し、その結果を前記第五メモリに記憶するステップ
と、復号されたフレームのオーバーラップ加算されていない部分を、前記更新のス
テップにおいて前記第一メモリを更新するために使われ、前記出力のステップに
おいて出力するために使われる前記第五メモリに複写するステップと、を含むことを特徴とする方法。
【請求項１１】請求項１に記載の方法であって、前記合成フレームを生成
するために使われる前記ピッチ周期の数が時間の関数として増やされることを特
徴とする方法。
【請求項１２】請求項１に記載の方法であって、前記生成ステップが符号
器を使い、復号器の状態変数が前記合成フレームを探知することを特徴とする方
法。
【請求項１３】請求項１に記載の方法であって、高周波数入力信号に対し
ては、一つ又はそれ以上のピッチ周期が使われ前記合成フレームが生成されるこ
とを特徴とする方法。
【請求項１４】請求項３に記載の方法であって、前記推定ステップが、復
号器がピッチ推定値を保持しない場合、ピッチ周期の推定に自動相関を使い、復
号器がピッチ推定値を保持する場合、前記復号器のピッチ推定値を使うことを特
徴とする方法。
【請求項１５】請求項１０に記載の方法であって、前記オーバーラップ加
算の長さが、消去されたフレームの長さにしたがって増やされることを特徴とす
る方法。
【請求項１６】請求項６に記載の方法であって、前記第一メモリが履歴バ
ッファであり、前記第二メモリがピッチバッファであり、前記第三メモリが最終
クオーターバッファであり、前記第四メモリが一時バッファであり、前記第五メ
モリが出力バッファであることを特徴とする方法。
【請求項１７】ＦＥＣ能力を持たないスピーチコーダにおいてフレーム消
去の隠蔽（ＦＥＣ）を実行する装置であって、符号器から送信された圧縮スピーチ情報の符号化されたフレームを受信する遺
失フレーム検出器であって、符号化されたフレームが、送信の際に、欠落し、失
われ、又は破損したかを判断する遺失フレーム検出器と、前記遺失フレーム検出器が、符号化されたフレームが消去されていないと判断
した場合に、受信した符号化されたフレームを復号し復号されたフレームにする
復号器と、前記遺失フレーム検出器が、符号化されたフレームが消去されたと判断した場
合に、以前に復号したフレームのデータを使い、消去されたフレームに対して合
成フレームを生成するＦＥＣモジュールと、復号されたフレーム及び合成フレームのデータによって更新される、第一のメ
モリと、復号されたフレーム及び合成フレームを音声信号として出力する出力装置と、を有することを特徴とするＦＥＣ実行装置。
【請求項１８】請求項１７に記載の装置であって更に、遅延メモリを使い
、前記音声信号の出力を所定時間遅延させる遅延モジュール、を備えることを特
徴とする装置。
【請求項１９】請求項１７に記載の装置であって、一つ又はそれ以上の消
去されたフレーム列中の第一の消去されたフレームにおいて、ＦＥＣモジュール
が、消去されたフレームのピッチ周期を推定し、一つ又はそれ以上の最新ピッチ
周期を前記第一メモリから第二のメモリに複写し、最新ピッチ周期の一部を前記
第一メモリから第三のメモリに複写し、前記第三メモリに記憶された前記ピッチ
周期の一部と、前記第二メモリに記憶されたフレームの一部とをオーバーラップ
加算し、前記ピッチ周期のオーバーラップ加算された部分を、前記第二メモリに
記憶されたピッチ周期の前記最新部分に記憶し、前記第一メモリを更新し、また
出力装置を使って出力するために、前記第二メモリに記憶された一つ又はそれ以
上の最新ピッチ周期に基づき合成フレームを生成し、前記第二メモリで使われた
最終位置をオフセットポインタとして記憶することを特徴とする装置。
【請求項２０】請求項１９に記載の装置であって、前記ＦＥＣモジュール
が、前記オーバーラップ加算された部分によって前記遅延メモリを更新すること
を特徴とする装置。
【請求項２１】請求項１７に記載の装置であって、前記遺失フレーム検出
器が、合成フレームが出力された後に、一つ又はそれ以上の後続の符号化された
フレームが消去されたかどうかを判断することを特徴とする装置。
【請求項２２】請求項２１に記載の装置であって、前記遺失フレーム検出
器が、一つ又はそれ以上の後続の符号化されたフレームが消去されていたと判断
した場合に、前記ＦＥＣモジュールが、連続した消去されたフレームの数が、所
定の長さを超えるかどうかを判断し、連続した消去されたフレームの数が所定の
長さを超えないと判断された時に、合成フレームを生成するために使われるピッ
チ周期の数を変更し、連続した消去されたフレームの数が所定の長さを超えると
判断された時に、現在のピッチの数で、合成フレームの生成を続けることを特徴
とする装置。
【請求項２３】請求項２２に記載の装置であって、前記ＦＥＣモジュール
が、連続した消去されたフレームの数が所定の長さを超えないと判断した場合、
前記ＦＥＣモジュールが、以前のフレームからの、ピッチ周期の一部のための合
成信号の生成を続け、その結果を第四のメモリに入れ、第二メモリで使われるピ
ッチ周期の数を増やし、前記第三メモリと前記第二メモリに記憶されたピッチ周
期の一部とをオーバーラップ加算し、その結果を前記第二メモリの前記最新部分
に記憶し、前記オフセットポインタを、前記第二メモリの新しい部分を指すまで
ピッチ周期づつ移動させ、前記第二メモリから第五のメモリにデータを複写する
ことにより、合成フレーム分のデータを生成し、前記第二メモリで使われた最終
位置を、オフセットポインタに記憶し、前記第四メモリと前記第五メモリ内のピ
ッチ周期の一部とをオーバーラップ加算し、その結果を前記第五メモリに記憶し
、欠落フレームが所定の長さを超えるかどうかを判断し、欠落フレームが所定の
長さを超えると判断された時に、前記第一メモリを更新するために使われ、前記
出力装置を使って出力するために使われる前記第五メモリを、消去の長さに基づ
き減衰することを特徴とする装置。
【請求項２４】請求項２２に記載の装置であって、前記ＦＥＣモジュール
が連続した消去されたフレームの数が所定の長さを超えると判断した場合に、前
記ＦＥＣモジュールが、前記第二メモリから第五のメモリにデータを複写するこ
とにより、合成フレーム分のデータを生成し、前記第二メモリで使われた最終位
置をオフセットポインタに記憶し、欠落フレームが所定の長さを超えるかどうか
を判断し、欠落フレームが所定の長さを超えると判断された時に、前記第一メモ
リを更新するために使われ前記出力装置によって出力するために使われる前記第
五メモリを、消去の長さに基づき減衰することを特徴とする装置。
【請求項２５】請求項２１に記載の装置であって、前記後続の符号化され
たフレームが消去されていない場合に、前記ＦＥＣモジュールが、第一の消去さ
れていない符号化されたフレームをＦＥＣ処理を使い処理することを特徴とする
装置。
【請求項２６】請求項２５に記載の装置であって、前記ＦＥＣモジュール
が、前記第二メモリから第五のメモリにデータを複写することにより合成フレー
ム分のデータを生成し、前記欠落フレームが所定の長さを超えるかどうかを判断
し、前記欠落フレームが所定の長さを超えると判断された場合に、消去の長さに
基づき前記第五メモリを減衰し、前記第五メモリの一部と、第一の消去されてい
ない復号されたフレームの開始部分とをオーバーラップ加算しその結果を前記第
五メモリに記憶し、復号されたフレームのオーバーラップ加算されていない部分
を、前記第一メモリを更新するために使われ前記出力装置によって出力するため
に使われる前記第五メモリに複写することを特徴とする装置。
【請求項２７】請求項１７に記載の装置であって、前記合成フレームを生
成するために使われる前記ピッチ周期の数が時間の関数として増やされることを
特徴とする装置。
【請求項２８】請求項１７に記載の装置であって、前記ＦＥＣモジュール
が符号器を使い、復号器の状態変数が前記合成フレームを探知することを特徴と
する装置。
【請求項２９】請求項１７に記載の装置であって、高周波数入力信号に対
しては、一つ又はそれ以上のピッチ周期を使い前記合成フレームを生成すること
を特徴とする装置。
【請求項３０】請求項１９に記載の装置であって、前記ＦＥＣモジュール
が、復号器がピッチ推定値を保持しない場合、ピッチ周期の推定に自動相関を使
い、復号器がピッチ推定値を保持する場合、前記復号器のピッチ推定値を使うこ
とを特徴とする装置。
【請求項３１】請求項２６に記載の装置であって、前記オーバーラップ加
算の長さが、欠落フレームの長さと共に増やされることを特徴とする装置。
【請求項３２】請求項２２に記載の装置であって、前記第一メモリが履歴
バッファであり、前記第二メモリがピッチバッファであり、前記第三メモリが最
終クオーターバッファであり、前記第四メモリが一時バッファであり、前記第五
メモリが出力バッファであることを特徴とする装置。