JP2003510644A - スーパーフレーム構造のlpcハーモニックボコーダ - Google Patents

スーパーフレーム構造のlpcハーモニックボコーダ

Info

Publication number
JP2003510644A
JP2003510644A JP2001525687A JP2001525687A JP2003510644A JP 2003510644 A JP2003510644 A JP 2003510644A JP 2001525687 A JP2001525687 A JP 2001525687A JP 2001525687 A JP2001525687 A JP 2001525687A JP 2003510644 A JP2003510644 A JP 2003510644A
Authority
JP
Japan
Prior art keywords
superframe
frame
audio
speech
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001525687A
Other languages
English (en)
Other versions
JP2003510644A5 (ja
JP4731775B2 (ja
Inventor
ゲルショウ アレン
カパマン ウラジミール
ワン ティアン
コイシダ カズヒト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2003510644A publication Critical patent/JP2003510644A/ja
Publication of JP2003510644A5 publication Critical patent/JP2003510644A5/ja
Application granted granted Critical
Publication of JP4731775B2 publication Critical patent/JP4731775B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/087Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters using mixed excitation models, e.g. MELP, MBE, split band LPC or HVXC

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Electroluminescent Light Sources (AREA)
  • Incineration Of Waste (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

(57)【要約】 MELPなど基礎をなすフレームベースのボコーダからのいくつかのフレームをスーパーフレーム構造にグループ化する、向上した低ビットレートのパラメトリック音声コーダ。基礎となるフレームのグループからパラメータを抽出し、スーパーフレームに量子化する。これにより、ひずみを増大させずに、基礎をなす符号化のビットレートを低減することができる。次いで、スーパーフレーム構造で符号化した音声データは、直接に音声に合成することもでき、あるいは基礎をなすフレームベースのボコーダが合成を行えるようなフォーマットにトランスコードしてもよい。スーパーフレーム構造は、ビットエラーの通信によって生じるひずみを減少させるために追加のエラー検出訂正データも含む。

Description

【発明の詳細な説明】
【0001】 (背景をなす特許および刊行物) 背景をなす以下の特許および刊行物を、角括弧内の番号(例えば[1])を使
用して時々参照する。
【0002】 [1] Gersho, A., “ADVANCES IN SPEECH AND AUDIO COMPRESSION”, Proceedi
ngs of the IEEE, Vol. 82, No. 6, pp. 900-918, June 1994. [2] McCree et al., “A 2.4 KBIT/S MELP CODER CANDIDATE FOR THE NEW U.
S. FEDERAL STANDARD”, 1996 IEEE International Conference on Acoustics,
Speech, and Signal Processing Conference Proceedings, Atlanta, GA (Cat.
No. 96CH35903), Vol. 1., pp. 200-203, 7-10 May 1996. [3] Supplee, L. M. et al., “MELP: THE NEW FEDERAL STANDARD AT 2400 BP
S”, 1997 IEEE International Conference on Acoustics, Speech, and Signal Processing proceedings (Cat. No. 97CB36052), Munich, Germany, Vol. 2, p
p. 21-24, April 1997. [4] McCree, A. V. et al., “A MIXED EXCITATION LPC VOCODER MODEL FOR L
OW BIT RATE SPEECH CODING”, IEEE Transactions on Speech and Audio Proce
ssing, Vol. 3, No. 4, pp. 242-250, July 1995. [5] Specifications for the Analog to Digital Conversion of Voice by 2,
400 Bit/Second Mixed Excitation Linear Prediction FIPS, Draft document
of proposed federal standard, dated May 28, 1998. [6] U. S. Patent No. 5,699, 477. [7] Gersho, A. et al., “VECTOR QUANTIZATION AND SIGNAL COMPRESSION”,
Dordrecht, Netherlands: Kluwer Academic Publishers, 1992, xxii+732 pp.
[8] W. P. LeBlanc, et al., “EFFICIENT SEARCH AND DESIGN PROCEDURES FO
R ROBUST MULTI-STAGE VQ OF LPC PARAMETERS FOR 4 KB/S SPEECH CODING” in
IEEE Trans. Speech & Audio Processing, Vol. 1, pp. 272-285, Oct. 1993. [9] Mouy, B. M.; de la Noue, P. E., “VOICE TRANSMISSION AT A VERY LOW
BIT RATE ON A NOISY CHANNEL: 800 BPS VOCODER WITH ERROR PROTECTION TO 1
200 BPS”, ICASSP-92: 1992 IEEE International Conference Acoustics, Spee
ch and Signal, San Francisco, CA, USA, 23-26 March 1992, New York, NY, U
SA: IEEE, 1992, Vol. 2, pp. 149-152. [10] Mouy, B.; De La Noue, P.; Goudezeune, G.“NATO STANAG 4479: A STA
NDARD FOR AN 800 BPS VOCODER AND CHANNEL CODING IN HF-ECCM SYSTEM”, 199
5 International Conference on Acoustics, Speech, and Signal Processing.
Conference Proceedings, Detroit, MI, USA, 9-12 May 1995; New York, NY, U
SA: IEEE, 1995, Vol. 1, pp. 480-483. [11] Kemp, D. P.; Collura, J. S.; Tremain, T. E.“MULTI-FRAME CODING O
F LPC PARAMETERS 600-800 BPS”, ICASSP 91, 1991 International Conference
on Acoustics, Speech and Signal Processing, Toronto, Ont., Canada, 14-1
7 May 1991; New York, NY, USA: IEEE, 1991, Vol. 1, pp. 609-612. [12] U. S. Patent No. 5,255, 339. [13] U. S. Patent. 4,815, 134. [14] Hardwick, J. C.; Lim, J. S., “A 4.8 KBPS MULTI-BAND EXCITATION S
PEECH CODER”, ICASSP 1988 International Conference on Acoustics, Speech
, and Signal, New York, NY, USA, 11-14 April 1988, New York, NY, USA: IE
EE, 1988. Vol. 1, pp. 374-377. [15] Nishiguchi, L.; Iijima, K.; Matsumoto, J, “HARMONIC VECTOR EXCIT
ATION CODING OF SPEECH AT 2.0 KBPS”, 1997 IEEE Workshop on Speech Codin
g for Telecommunications Proceedings, Pocono Manor, PA, USA, 7-10 Sept.
1997, New York, NY, USA: IEEE, 1997, pp. 39-40. [16] Nomura, T., Iwadare, M., Serizawa, M., Ozawa, K., “A BITRATE AND
BANDWIDTH SCALABLE CELP CODER”, ICASSP 1998 International Conference o
n Acoustics, Speech, and Signal, Seattle, WA, USA, 12-15 May 1998, IEEE,
1998, Vol. 1, pp. 341-344.
【0003】 (発明の背景) (1.発明の分野) 本発明は一般にディジタル通信に関し、より詳細には、パラメトリック音声符
号化および復号の方法および装置に関する。
【0004】 (2.背景技術の説明) 定義として、ディジタル化された波形サンプルではなく音声パラメータを送信
する音声符号化方法を記述するために用語「ボコーダ」を頻繁に使用することに
留意されたい。ディジタル化波形サンプルを生成する際は、入来する波形を周期
的にサンプリングしてディジタル化波形データのストリームにディジタル化する
が、このストリームは、変換して元の波形とほぼ同一のアナログ波形に戻すこと
ができる。音声パラメータを使用する音声符号化は、符号化された音声にかなり
類似する音声を続いて合成できるほど十分な精度をもたらす。音声パラメータ符
号化を用いると、ディジタル化波形の場合のように音声波形を正確に再生するの
に十分な情報が提供されることはないことに留意されたい。しかし、波形サンプ
ルで必要とされるレートよりも低いレートで音声を符号化することができる。
【0005】 音声符号化の世界では、音声符号化および復号のシステムを指すのに用語「コ
ーダ」がしばしば使用されるが、この用語はそれ自体でエンコーダも指すことが
多い。本明細書で使用するときは、用語エンコーダは一般に、音声信号を圧縮デ
ータ信号(ビットストリーム)にマッピングする符号化操作について言い、用語
デコーダは一般に、データ信号を再構築されたまたは合成された音声信号にマッ
ピングする復号操作について言う。
【0006】 音声のディジタル圧縮(音声圧縮とも呼ばれる)は、現代の通信システムにお
いてますます重要になっている。高周波(HF)およびその他の無線チャネルを
介した効率的かつ安全な音声通信、衛星音声ページングシステム、マルチプレー
ヤインターネットゲーム、ならびに多数の追加用途には、500bps(ビット
/秒)から2kbps(キロビット/秒)までの範囲の、低い音声送信ビットレ
ートの必要性が望まれている。2.4kbps以下の場合、ほとんどの圧縮方法
(「符号化方法」とも呼ばれる)は、パラメトリックボコーダに基づく。現代の
当該ボコーダの大部分は、旧来の線形予測符号化(LPC)ボコーダの変形およ
びこの技法の改良形に基づくか、あるいはハーモニックコーダや多帯域励起コー
ダ(multiband excitation coder)などの正弦波符
号化方法に基づく[1]。最近、MELP(Mixed Excitation
Linear Prediction)と呼ばれる、LPCボコーダの向上バ
ージョンが開発された[2、5、6]。本発明は、前述の従来の符号化方法で必
要とされるよりも低いビットレートで、同様の音声品質レベルを提供することが
できる。
【0007】 MELP符号化は他のフレームベースの符号化方法に勝る利点を有するので、
本発明は一般に、MELPと共に使用する場合に関して述べる。ただし本発明は
、ハーモニックコーダ[15]や多帯域励起(MBE)タイプのコーダ[14]
など、様々なコーダに適用することができる。
【0008】 MELPエンコーダは、入力音声を観測し、デコーダに送信するためのデータ
を22.5ミリ秒フレームごとに生成する。このデータは、線スペクトル周波数
(LSF)(線形予測パラメータの一形式)、フーリエ絶対値(Fourier
magnitude、「スペクトル絶対値」と呼ばれることもある)、利得(
1フレームにつき2つ)、ピッチ、およびボイシングを表すビットからなり、追
加で非周期性フラグビット(aperiodic flag bit)、エラー
保護ビット、および同期(sync)ビットも含む。図1に、従来の2.4kb
psMELPエンコーダで用いられるバッファ構造を示す。その他のハーモニッ
クまたはMBE符号化方法で採用されるエンコーダは、同一または類似のパラメ
ータの多くを表すデータを生成する(通常これらはLSF、スペクトル絶対値、
利得、ピッチ、およびボイシングである)。MELPデコーダは、これらのパラ
メータをフレームごとに受け取り、元のフレームに近い対応する音声フレームを
合成する。
【0009】 異なる通信システムには、異なるビットレートの音声コーダが必要である。例
えば、安全な音声電話通信システムには2.4kbpsのビットレートが必要で
あることが多いのに対して、高周波(HF)無線チャネルは、容量が厳しく制限
され、拡張エラー訂正が必要な場合があり、音声パラメータを表すには1.2k
bpsのビットレートが最適である場合がある。用途によっては、あるシステム
用にあるビットレートで元々符号化された音声信号が別のシステム用に他のビッ
トレートで符号化された音声信号に後で変換されるように、異なる通信システム
を相互接続する必要がある。この変換は「トランスコーディング」と呼ばれ、通
常2つの通信システム間のゲートウェイに位置する「トランスコーダ」によって
行うことができる。
【0010】 (発明の簡単な概要) 一般的に言えば、本発明は、MELPなど既存のボコーダ技法を採用して、ほ
ぼ同じ再生音声品質を維持しながら、ビットレートを通常2分の1に大きく低減
する。本発明の中では既存のボコーダ技法を利用し、したがってこれらを「ベー
スライン」符号化、または別法として「従来型」パラメトリック音声符号化と呼
ぶ。
【0011】 限定ではなく例として、本発明は、2.4kbpsMELPコーダと同様の分
析モジュールを有する1.2kbpsボコーダを含み、これに追加のスーパーフ
レームボコーダがオーバーレイされる。本発明の1.2kbpsボコーダの場合
、スーパーフレームボコーダ内では、連続する3つのフレームを含むブロック、
すなわち「スーパーフレーム」構造を採用して、送信すべきパラメータをより効
率的に量子化する。記述を簡単にするために、スーパーフレームは3つのフレー
ムを符号化するように選択される。というのは、この割合がよく機能することが
わかっているからである。ただし、この発明的な方法は、どんな離散的なフレー
ム数を含むスーパーフレームにも適用することができることに留意されたい。ス
ーパーフレーム構造については、前の特許および刊行物[9]、[10]、[1
1]、[13]の中で言及されている。MELP符号化標準の中では、1つのフ
レームが分析されるたびに(例えば22.5ミリ秒ごとに)、そのパラメータが
符号化されて送信される。しかし本発明では、スーパーフレームの各フレームが
バッファ中で同時に利用可能であり、各フレームは分析されて、スーパーフレー
ム内の3つのフレームすべてのパラメータが同時に量子化に利用可能である。こ
のことは追加の符号化遅延を導入するものの、3つのフレームを別々にではなく
一緒に量子化することにより、これらのフレームのパラメータ間に存在する時間
相関を効率的に活用することができる。
【0012】 本発明の1.2kbpsコーダのフレームサイズは、MELP標準のコーダと
同じ毎秒8000サンプルのサンプリングレートで22.5ミリ秒(すなわち1
80音声サンプル)であることが好ましい。ただし、大きなピッチエラーを回避
するために、本発明ではルックアヘッドの長さを129サンプル増加させる。こ
れに関し、用語「ルックアヘッド」は、現在のフレームを符号化するのに必要な
処理のためにバッファ中で利用可能であるはずの、現在のフレームの境界を越え
た「未来の」音声セグメントの継続時間を指すことに留意されたい。本発明の1
.2kbpsコーダ中ではピッチスムーザも使用し、1.2kbpsコーダの場
合のアルゴリズム遅延は103.75ミリ秒である。1.2kbpsコーダの場
合に送信されるパラメータは、2.4kbpsMELPコーダの場合と同じであ
る。
【0013】 MELP符号化標準の中では、各フレームにつき、低帯域ボイシング決定また
は無声/有声決定(U/V決定)が見出される。低帯域ボイシングの値が「1」
のときは、フレームは「有声」であると言い、「0」のときは「無声」であると
言う。このボイシング条件が、異なる2つのビット割振りのどちらをフレームに
使用するかを決定する。しかし、本発明の1.2kbpsコーダでは、各スーパ
ーフレームがいくつかの符号化状態のうちの1つに分類され、各状態につきビッ
ト割振りが異なる。状態選択は、スーパーフレームのU/V(無声または有声)
パターンに従って行われる。チャネルビットエラーのせいでデコーダが誤った状
態識別を行った場合、このスーパーフレームに対して合成音声の深刻な劣化が生
じる。したがって本発明の一態様は、チャネルエラーによるエンコーダとデコー
ダとの状態不一致の影響を低減する技法を含み、この技法は、開発されてデコー
ダに統合された。
【0014】 本発明では、3つの音声フレームがメモリバッファ中で同時に利用可能であり
、各フレームは、従来型のMELP分析モジュールによって別々に分析され、3
つのフレームそれぞれにつき(量子化前の)パラメータ値が生成される。これら
のパラメータは、まとめて後続の処理および量子化に利用可能である。ピッチス
ムーザは、3つのフレームに関するピッチおよびU/V決定を観測し、バッファ
リングされた音声データに対する追加の分析も行って、ピッチ平滑化操作で使用
する2つのタイプ(オンセットまたはオフセット)の一方に各フレームを分類す
るのに必要なパラメータを抽出する。次いでスムーザは、ピッチ決定の修正(平
滑化)バージョンを出力し、次いで、スーパーフレームに対するこれらのピッチ
値が量子化される。バンドパスボイシングスムーザは、3つのフレームに関する
バンドパスボイシング強度を観測し、かつ、バッファリングされた音声から直接
抽出されたエネルギー値を検査し、次いで、3つのフレームそれぞれに関するカ
ットオフ周波数を決定する。バンドパスボイシング強度は、音声スペクトルの5
つの周波数帯それぞれにおけるボイシングの程度を記述するための、MELPエ
ンコーダによって生成されるパラメータである。カットオフ周波数は、後で定義
するが、音声スペクトルの有声部分の帯域幅の時間進展を記述する。スーパーフ
レーム中の各有声フレームに関するカットオフ周波数は2ビットで符号化される
。スーパーフレームに関するLSFパラメータ、ジッタパラメータ、およびフー
リエ絶対値パラメータがそれぞれ量子化される。カンタイザ(quantize
r)から、送信用の2進データが得られる。簡単にするために、エラー訂正ビッ
ト、同期ビット、パリティビット、および送信に向けてビットをシリアルデータ
ストリームに多重化することについては記述しない。これらはすべて当業者に周
知である。受信側では、様々なパラメータに対するデータビットが抽出され、復
号され、逆カンタイザに加えられる。逆カンタイザは、圧縮データから、量子化
されたパラメータ値を再生する。受信側は通常、スーパーフレームの開始点を識
別する同期モジュールと、エラー訂正復号および多重分離の手段とを備える。各
フレームに関する復元済みパラメータは、シンセサイザに加えることができる。
復号後、合成された音声フレームは、連結されて音声出力信号を形成する。シン
セサイザは、MELPなど従来型のフレームベースのシンセサイザとすることも
でき、本明細書に開示する代替方法によって提供することもできる。
【0015】 本発明の目的は、フレームをスーパーフレームにグループ化して新規な量子化
技法をスーパーフレームパラメータに対して実施することにより、より大きな符
号化効率を導き、ある音声フレームから別の音声フレームへの相関を開発するこ
とである。
【0016】 本発明の別の目的は、ベースラインエンコーダおよびデコーダの既存の音声処
理機能を維持できるようにして、向上したコーダがベースラインコーダの動作で
見出されるパラメータに作用するようにし、それにより、すでにベースラインエ
ンコーダおよびデコーダによって得られている実験結果および設計結果の財産を
保持し、しかもなおビットレートの大幅な低減ももたらすことである。
【0017】 本発明の別の目的は、向上したエンコーダから得られたビットストリームを、
ベースラインデコーダによって認識されるビットストリームに変換(トランスコ
ード)する、トランスコーディングのための機構を提供し、同様に、ベースライ
ンエンコーダからきたビットストリームを、向上したデコーダによって認識でき
るビットストリームに変換する方式を提供することである。このトランスコーデ
ィング機能は、ベースラインコーダ/デコーダを実装した端末装置が、向上した
コーダ/デコーダを実装した端末装置と通信しなければならない適用例で重要で
ある。
【0018】 本発明の別の目的は、MELPエンコーダの性能を改善する方法を提供するこ
とであり、新しい方法はピッチおよびボイシングパラメータを生成する。
【0019】 本発明の別の目的は、MELP復号プロシージャに代わる新しい復号プロシー
ジャを提供し、合成音声品質を維持しながらも複雑さを大きく低減することであ
る。
【0020】 本発明の別の目的は、2.4kbpsで動作するMELP標準のコーダとほぼ
等しい品質をもたらす1.2kbps符号化方式を提供することである。
【0021】 本発明の他の目的および利点は本明細書の後続の部分で明らかにするが、この
中では、本発明を限定することなくその好ましい実施形態を完全に開示する目的
で詳細な説明を提供する。
【0022】 本発明は、後続の図面を参照することによってより完全に理解されるであろう
が、これらの図面は例示のためのものにすぎない。
【0023】 (発明の詳細な説明) 例示の目的で、本発明は、図2から図6までを参照しながら述べる。本明細書
に開示する基本概念を逸脱することなく、装置の構成および各部の詳細は様々で
ある場合があり、方法の具体的なステップおよびシーケンスは様々である場合が
あることを理解されたい。
【0024】 (1.ボコーダの概観) 本発明の1.2kbpsエンコーダは、従来の2.4kbpsMELPコーダ
中で使用されるものと同様の分析モジュールを採用するが、ブロック、すなわち
「スーパーフレーム」エンコーダを追加しており、これは、連続する3つのフレ
ームを符号化し、送信されるパラメータをより効率的に量子化して、1.2kb
psボコーディングを実現する。本発明は1スーパーフレームにつき3フレーム
を使用する場合に関して述べるが、本発明の方法はその他の整数のフレームを含
むスーパーフレームにも適用できることを、当業者なら理解するであろう。さら
に、本発明はベースラインコーダとしてMELPを使用する場合に関して述べる
が、本発明の方法はその他のハーモニックボコーダにも適用できることを、当業
者なら理解するであろう。このようなボコーダは、音声フレームの分析から抽出
されるパラメータのセットが類似はするが同一ではない場合があり、フレームサ
イズおよびビットレートが本明細書に提示する記述で用いるものとは異なる場合
がある。
【0025】 MELPエンコーダ内でフレームが分析されるとき(例えば22.5ミリ秒ご
と)は、音声パラメータがフレームごとに符号化され、次いで送信されることを
理解されたい。しかし本発明では、スーパーフレームを形成するフレームのグル
ープからのデータが、スーパーフレーム中の3つのフレームすべてのパラメータ
で収集および処理され、これらのパラメータは同時に量子化に利用可能である。
このことは追加の符号化遅延を導入するものの、3つのフレームを別々にではな
く一緒に量子化することにより、これらのフレームのパラメータ間に存在する時
間相関を効率的に活用することができる。
【0026】 本発明によって採用されるフレームサイズは、元々のMELPコーダ中で使い
られるサンプルレートと同じ毎秒8000サンプルのサンプリングレートで22
.5ミリ秒(すなわち180音声サンプル)であることが好ましい。図1に、従
来の2.4kbpsMELPのバッファ構造を示す。大きなピッチエラーの発生
を回避するために、好ましい実施形態ではルックアヘッドバッファの長さを12
9サンプル増加させているが、本発明は様々なルックアヘッドレベルで実施する
ことができる。加えて、ピッチスムーザを導入してピッチエラーをさらに減少さ
せている。述べる1.2kbpsコーダの場合のアルゴリズム遅延は103.7
5ミリ秒である。1.2kbpsコーダの場合に送信されるパラメータは、2.
4kbpsMELPコーダの場合と同じである。図2に、本発明のバッファ構造
を見ることができる。
【0027】 (1.1 ビット割振り) MELP符号化を用いるときは、低帯域ボイシング決定またはU/V決定が各
フレームごとに見出され、ボイシング値が1のときは「有声」フレーム、0のと
きは無声フレームである。しかし本発明の1.2kbpsコーダでは、各スーパ
ーフレームが、異なる量子化方式を採用するいくつかの符号化状態のうちの1つ
に分類される。状態選択は、スーパーフレームのU/Vパターンに従って行われ
る。チャネルビットエラーのせいでデコーダが誤った状態識別を行った場合、こ
のスーパーフレームに対して合成音声の深刻な劣化が生じる。したがって、チャ
ネルエラーによるエンコーダとデコーダとの状態不一致の影響を低減する技法を
開発し、デコーダに統合した。比較のために、2.4kbpsMELPコーダと
1.2kbpsコーダの両方に対するビット割振り方式を表1に示す。
【0028】 図3Aは、本発明による1.2kbps符号化方式10の一般的なブロック図
である。入力音声12がスーパーフレームバッファ14と呼ばれるメモリバッフ
ァを満たすが、スーパーフレームバッファ14は、スーパーフレームを含み、さ
らに、3つのフレームのうちで最も古いフレームの開始に先行した履歴サンプル
と、3つのフレームのうちで一番最近のフレームに続くルックアヘッドサンプル
とを記憶する。好ましい実施形態でこのバッファに記憶されるサンプルの実際の
範囲は、図2に示すとおりである。スーパーフレームバッファ14内のフレーム
は、従来型のMELP分析モジュール16、18、20によって別々に分析され
るが、これらの分析モジュールは、スーパーフレームバッファ14内の各フレー
ムにつき、量子化前のパラメータ値のセット22を生成する。具体的には、ME
LP分析モジュール16は、スーパーフレームバッファに記憶された最初の(最
も古い)フレームに作用し、別のMELP分析モジュール18は、バッファに記
憶された2番目のフレームに作用し、別のMELP分析モジュール20は、バッ
ファに記憶された3番目の(最も新しい)フレームに作用する。各MELP分析
ブロックは、1つのフレームと、このフレームに関連する前のサンプルおよび未
来のサンプルにアクセスすることができる。MELP分析モジュールによって生
成されたパラメータは、収集されて、量子化前のパラメータのセットを形成し、
メモリユニット22に記憶される。このセットは後続の処理および量子化に利用
可能である。ピッチスムーザ24は、平滑化分析ブロック26によって計算され
るパラメータのセットと共に、スーパーフレームバッファ14内のフレームに関
するピッチ値を観測し、ピッチ値の修正バージョンを出力する。ここで出力は量
子化される(28)。バンドパスボイシングスムーザ30は、エネルギー分析モ
ジュール32によって計算される平均エネルギー値を観測し、スーパーフレーム
バッファ14内のフレームに関するバンドパスボイシング強度も観測し、これら
をバンドパスボイシングカンタイザ32によって後で量子化されるように適切に
修正する。LSPカンタイザ34、ジッタカンタイザ36、およびフーリエ絶対
値カンタイザ38がそれぞれ、符号化済みデータを出力する。各カンタイザから
、送信用の符号化済み2進データが得られる。簡単にするために、エラー訂正デ
ータビットおよび同期ビットの生成、ならびに送信に向けてビットをシリアルデ
ータストリームに多重化することは図示していないが、これらをどのように実施
するかは、当業者なら容易に理解するであろう。
【0029】 図3Bに示すデコーダ50では、様々なパラメータについてのデータビットが
チャネルデータ52に含まれており、チャネルデータ52は復号逆カンタイザ5
4に入る。復号逆カンタイザ54は、抽出、復号を行い、逆カンタイザを適用し
て、圧縮データから量子化済みパラメータ値を再生する。同期モジュール(スー
パーフレームの開始点を識別する)およびエラー訂正復号および多重分離は図示
していないが、これらをどのように実装するかは、当業者なら容易に理解するで
あろう。次いで、各フレームに関する復元済みパラメータは、従来型のMELP
シンセサイザ56、58、60に加えられる。本発明は、従来技術のMELPシ
ンセサイザとは全く異なる、フレームごとに音声を合成する代替方法も含むこと
に留意されたい。復号後、合成された音声フレーム62、64、66が連結され
て、音声出力信号68を形成する。
【0030】 (2.音声分析) (2.1 概観) エンコーダの基本構造は、スーパーフレーム構造を利用するために新しいピッ
チスムーザおよびバンドパスボイシングスムーザが追加されたことを除いては、
2.4kbpsMELPコーダ中で使用されるのと同じ分析モジュールに基づく
。コーダは、2.4kbpsMELPコーダ中で使用されるのと同じ、各フレー
ムに作用するMELP分析アルゴリズムを使用して、スーパーフレーム中の連続
する3つのフレームから特徴パラメータを抽出する。ピッチおよびバンドパスボ
イシングパラメータは、平滑化によって向上する。この向上は、隣接する3つの
フレームおよびルックアヘッドが同時に利用可能であることから可能である。こ
のようにしてスーパーフレームに作用することにより、3つのフレームすべてに
関するパラメータが量子化モジュールへの入力データとして利用可能であり、し
たがって、各フレームを別々に独立して量子化するときに可能となるよりも効率
的な量子化ができる。
【0031】 (2.2 ピッチスムーザ) ピッチスムーザは、MELP分析モジュールからスーパーフレーム中の各フレ
ームに関するピッチ推定値をとり、図3Aの平滑化分析モジュール26からパラ
メータのセットをとる。平滑化分析モジュール26は、半フレーム(11.25
ミリ秒)ごとに、スーパーフレームバッファに記憶された音声サンプルを直接観
測することから新しいパラメータを計算する。図4に、現在のスーパーフレーム
中の9つの計算位置を示す。各計算位置は、パラメータが計算されるウィンドウ
の中心にある。次いで、計算されたパラメータは、追加情報としてピッチスムー
ザに加えられる。
【0032】 1.2kbpsエンコーダでは、ピッチ平滑化プロセスを導くために、各フレ
ームは2つの範疇に分類され、オンセットフレームまたはオフセットフレームの
いずれかを構成する。平滑化分析モジュール26によって計算されてからオンセ
ット/オフセット分類のためにピッチスムーザモジュール24によって使用され
る新しい波形特徴パラメータは、以下のとおりである。
【0033】記述 省略形 dBで表したエネルギー subEnergy 零交差レート zeroCrosRate ピーク度測定値 peakiness 入力音声の最大相関係数 corx 500Hzローパスフィルタにかけた音声の最大相関係数 lowBandCorx ローパスフィルタにかけた音声のエネルギー lowBandEn ハイパスフィルタにかけた音声のエネルギー highBandEn
【0034】 入力音声は、x(n)、n=...,0,1,....として示され、x(0
)は、現在の計算位置から左に45サンプルの音声サンプルに対応し、nはフレ
ームサイズの半分の90サンプルである。パラメータは以下のように計算される
【0035】 (1)エネルギー:
【0036】
【数1】
【0037】 (2)零交差レート:
【0038】
【数2】
【0039】 上式で、角括弧中の式は、積x(i)*x(i+1)が負のとき(すなわち零交
差が起こるとき)は値1を有し、そうでないときは値0を有する。
【0040】 (3)音声領域中のピーク度測定値:
【0041】
【数3】
【0042】 ピーク度測定値は、MELPコーダにおける場合のように定義されるが[5]、
この測定値は、MELPでは音声信号から導出される予測残差信号から計算され
るのに対し、この場合は、音声信号自体から計算される。
【0043】 (4)ピッチ探索範囲における最大相関係数: 最初に、入力音声信号は800Hzのカットオフ周波数でローパスフィルタに
通され、以下のとおりとなる。
【0044】 H(z)=0.3069/(1−2.4552z-1+2.4552z-2−1.
152z-3+0.2099z-4
【0045】 ローパスフィルタにかけられた信号は、2番目のLPC逆フィルタに通される。
逆フィルタにかけられた信号をslv(n)として示す。slv(n)からDC成分
が除去されて、
【0046】
【数4】
【0047】 が得られる。次いで、以下の式によって自己相関関数が計算される。
【0048】
【数5】
【0049】 上式で、M=70である。サンプルは、現在の計算位置が自己相関ウィンドウの
中心に整合するように選択されるスライディングウィンドウを使用して選択され
る。最大相関係数パラメータcorxは、関数rkの最大値である。対応するピ
ッチはlである。
【0050】
【数6】
【0051】 (5)ローパスフィルタにかけた音声の最大相関係数: 標準的なMELPでは、バンドパスボイシング分析において5つのフィルタが
使用される。第1のフィルタは、実際は0〜500Hzの通過帯域のローパスフ
ィルタである。同じフィルタを入力音声に対して使用して、ローパスフィルタに
かけた信号sl(n)が生成される。次いで、(4)で定義した相関関数がsl
n)について計算される。指数の範囲は、[max(20,l−5),min(
150,l+5)]に限定される。相関関数の最大値はlowBandCorx
として示す。
【0052】 (6)低帯域エネルギーおよび高帯域エネルギー: LPC分析モジュール中では、最初の17個の自己相関係数r(n)、n=0
,...,16が計算される。自己相関係数をフィルタリングすることにより、
低帯域エネルギーおよび高帯域エネルギーが得られる。
【0053】
【数7】
【0054】
【数8】
【0055】 Cl(n)およびCh(n)は、ローパスフィルタおよびハイパスフィルタの係
数である。2kHzのカットオフ周波数の場合、各フィルタにつき16個のフィ
ルタ係数が選択され、これらは標準的なFIRフィルタ設計技法によって得られ
る。
【0056】 以上に挙げたパラメータを使用して、半フレームごとに大まかなU/V決定が
行われる。以下に示す、ボイシング決定を行うための分類ロジックが、ピッチス
ムーザモジュール24中で実施される。voicedEnおよびsilence
Enは、有声フレームおよびサイレンスフレームの移動平均エネルギーである。
【0057】 structure { subEnergy; /* energy in dB */ zeroCorsRate; /* zero crossing rate */ peakiness; /* peakiness measurement */ corx; /* maximum correlation coefficient of input speech */ lowBandCorx; /* maximum correlation coefficient of 500Hz low pass filtered speech */ lowBandEn; /* Energy of low pass filtered speech */ highBandEn; /* Energy of high pass filtered speech */ } classStat[9]; if (classStat -> subEnergy < 30){ classy = SILENCE; } else if (classStat -> subEnergy < 0.35*voicedEn + 0.65*silenceEn){ if ( (classStat->zeroCrosRate > 0.6) && ((classStat->corx < 0.4) || (classStat -> lowBandCorx < 0.5))) classy = UNVOICED; else if ( (classStat->lowBandCorx > 0.7) || ((classStat->lowBandCorx > 0.4) && (classStat->corx > 0.7))) classy = VOICED; else if ( (classStat->zeroCrosRate-classStat[-1].zeroCrosRate > 0.3)
|| (classStat->subEnergy-classStat [-1]. subEnergy > 20 || (classStat->peakiness > 1.6)) classy = TRANSITION; else if ((classStat->zeroCrosRate > 0.55 || ((classStat->highBandEn > classStat -> lowBandEn-5) && (classStat->zeroCrosRate > 0.4))) classy = UNVOICED; else classy = SILENCE; }else{ if ( (classStat->zeroCrosRate-classStat[-1].zeroCrosRate > 0.2) || (classStat->subEnergy-classStat [-1]. subEnergy > 20) || (classStat->peakiness > 1.6)){ if ( (classStat->lowBandCorx > 0.7) || (classStat->corx > 0.8)) classy = VOICED; else classy = TRANSITION; } else if (classStat -> zeroCrosRate < 0.2){ if ( (classStat->lowBandCorx > 0.5 || ( (classStat->lowBandCorx > 0.3) && (classStat->corx > 0.6)) classy = VOICED; else if (classStat->subEnergy > 0.7*voicedEn+0.3*silenceEn) { if (classStat->peakiness > 1.5) classy = TRANSITION; else { classy = VOICED; } }else{ classy = SILENCE; } }else if (ctassStat -> zeroCrosRate < 0.5){ if ( (classStat->lowBandCorx > 0.55 || ( (ctassStat->lowBandCorx > 0.3) && (classStat->corx > 0.65))) classy = VOICED; else if ( (classStat->subEnergy < 0.4*voicedEn+0.6*silenceEn) & & (classStat->highBandEn < classStat-> lowBandEn-10)) classy = SILENCE; else if (classStat->peakiness > 1.4) classy = TRANSITION; else classy = UNVOICED; } else if (classStat -> zeroCrosRate < 0.7){ if ( ((classStat->lowBandCorx > 0.6) && (classStat-> corx > 0.3))
|| ((classStat->lowBandCorx > 0.4) && (classStat->corx > 0.7))) classy = VOICED; else if (classStat->peakiness > 1.5) classy = TRANSITION; else classy = UNVOICED; } else { if ( ((classStat->lowBandCorx > 0.65) && (classStat->corx > 0.3))
|| ( (classStat->lowBandCorx > 0.45) && (classStat->corx > 0.7))) classy = VOICED; else if (classStat->peakiness > 2.0) classy = TRANSITION; else classy = UNVOICED; } }
【0058】 次いで、各サブフレームに関するU/V決定を用いて、フレームをオンセット
またはオフセットに分類する。この分類はエンコーダ内部のものであり、送信さ
れるものではない。現在のフレームごとに、まずオフセットの可能性をチェック
する。現在の有声フレームに一連の無声フレームが続いている場合、あるいはエ
ネルギーが少なくとも1フレーム内で8dB、または1と半フレーム内で12d
Bに減少する場合は、オフセットフレームが選択される。オフセットフレームの
ピッチは平滑化されない。
【0059】 現在のフレームが第1の有声フレームである場合、あるいはエネルギーが少な
くとも1フレーム内で8dB、または1と半フレーム内で12dBに増加する場
合は、現在のフレームはオンセットフレームとして分類される。オンセットフレ
ームの場合は、ルックアヘッド領域で評価される自己相関関数の極大のうちの1
つからルックアヘッドピッチ候補が推定される。まず、上に挙げた自己相関関数
の、最も大きい8つの極大が選択される。これらの極大は、現在の計算位置に対
してR(0)(i)、i=0,...,7として示される。次の2つの計算位置に
対する極大は、R(1)(i)、R(2)(i)である。各計算位置に対して費用関数
が計算され、現在の計算位置に対する費用関数を用いて予測ピッチが推定される
。まず、R(2)(i)に対する費用関数が以下のように計算される。
【0060】 C(2)(i)=W[1−R(2)(i)]
【0061】 上式で、Wは定数100である。極大R(1)(i)それぞれにつき、対応するピ
ッチはp(1)(i)として示される。費用関数C(1)(i)は、以下のように計算
される。
【0062】 C(1)(i)=W[1-R(1)(i)]+|p(1)(i)-p(2)(ki)|+C(2)(ki)
【0063】 指数kiは、以下のように選択される。
【0064】
【数9】
【0065】 上式で、lの範囲が空集合である場合は、範囲l∈[0,7]が用いられる。費
用関数C(0)(i)は、C(1)(i)と同様にして計算される。予測ピッチは、以
下のように選択される。
【0066】
【数10】
【0067】 元のピッチ推定値とルックアヘッドピッチとの差が15%よりも大きい場合、ル
ックアヘッドピッチ候補は現在のピッチとして選択される。
【0068】 現在のフレームがオフセットでもオンセットでもない場合は、ピッチ変動がチ
ェックされる。ピッチジャンプが検出される場合、これはピッチが減少してから
増加すること、または増加してから減少することを意味し、前のフレームのピッ
チと次のフレームのピッチとの間の補間を用いて現在のフレームのピッチが平滑
化される。スーパーフレーム中の最後のフレームの場合は、次のフレームのピッ
チが利用可能ではなく、したがって次のフレームのピッチ値の代わりに予測ピッ
チ値を用いる。以上のピッチスムーザは、通常なら発生するであろう大きなピッ
チエラーの多くを検出し、正式な主観的品質テストにおいて著しい品質改善をも
たらした。
【0069】 (2.3 バンドパスボイシングスムーザ) MELP符号化では、入力音声は5つのサブバンドにフィルタリングされる。
これらの各サブバンドについてバンドパスボイシング強度が計算され、各ボイシ
ング強度は0と1の間の値に正規化される。続いてこれらの強度が0または1に
量子化されて、バンドパスボイシング決定が得られる。量子化された低帯域(0
から500Hz)ボイシング強度は、フレームの無声または有声(U/V)特性
を決定する。残りの4つの帯域の2進ボイシング情報は、フレームのスペクトル
のハーモニックまたはノンハーモニック特性を部分的に記述し、4ビットのコー
ドワードで表すことができる。本発明では、バンドパスボイシングスムーザを使
用して、スーパーフレーム中の各フレームに関するこの情報をよりコンパクトに
記述し、この情報の時間進展をフレーム全体にわたって平滑化する。最初に、各
フレームに関する残りの4つの帯域に対する4ビットのコードワード(有声の場
合は1、無声の場合は0)を、許容される4つの値のうちの1つによって単一の
カットオフ周波数にマッピングする。このカットオフ周波数は、有声(またはハ
ーモニック)特性を有するより低いスペクトル領域と無声特性を有するより高い
領域との間の境界をおおむね識別する。次いでスムーザは、スーパーフレーム中
の3つのカットオフ周波数を修正して、フレームのスペクトル特性に関するより
自然な時間進展を生成する。各フレーム決定に対する4ビットの2進ボイシング
コードワードは、表2に示す2ビットのコードブックを使用して4つのコードワ
ードにマッピングされる。このコードブックのエントリは、4つのカットオフ周
波数、すなわち500Hz、1000Hz、2000Hz、4000Hzに相当
し、これらはそれぞれ、表2に示すマッピングテーブル中の0000、1000
、1100、1111の符号が付いた欄に対応する。例えば、有声フレームに関
するバンドパスボイシングパターンが1001のとき、このインデックスは10
00にマッピングされ、これは1000Hzのカットオフ周波数に対応する。
【0070】 現在のスーパーフレームの最初の2フレームの場合は、前のフレームと次のフ
レームのバンドパスボイシング情報に従ってカットオフ周波数が平滑化される。
3番目のフレームにおけるカットオフ周波数は、変更されないままである。有声
フレームの平均エネルギーをVEとして示す。VEの値は、先行する2つのフレ
ームが有声である各有声フレームにおいて更新される。更新規則は以下のとおり
である。
【0071】
【数11】
【0072】 フレームiの場合、現在のフレームのエネルギーをeniとして示す。5つの
帯域に対するボイシング強度を、bp[k]i、k=1,...,5として示す
。カットオフ周波数fiを平滑化するために、以下の3つの条件が考慮される。
【0073】 (1)前のフレームと次のフレームのカットオフ周波数が共に2000Hzよ
りも上の場合は、以下のプロシージャを実行する。
【0074】 (fi<2000and((eni>VE-5dB)or(bp[2]i-1>0.5andbp[3]i-1>0.5)))の場合 fi=2000Hz
【0075】 (fi<1000)の場合 fi=1000Hz
【0076】 (2)前のフレームと次のフレームのカットオフ周波数が共に1000Hzよ
りも上の場合は、以下のプロシージャを実行する。 (fi<1000and((eni>VE-10dB)or(bp[2]i-1>0.4)))の場合 fi=1000Hz
【0077】 (3)前のフレームと次のフレームのカットオフ周波数が共に1000Hzよ
りも下の場合は、以下のプロシージャを実行する。 (fi>2000and((eni<VE-5dB and bp[3]i-1<0.7)))の場合 fi=2000Hz
【0078】 (3.量子化) (3.1 概観) 1.2kbpsコーダの送信パラメータは、2.4kbpsMELPコーダの
送信パラメータと同じだが、例外として1.2kbpsコーダでは、パラメータ
はフレームごとに送信されるのではなく、各スーパーフレームにつき1度送信さ
れる。表1にビット割振りを示す。補間およびベクトル量子化(VQ)を用いる
ことにより、長いブロックサイズ(スーパーフレーム)を活かした新しい量子化
方式が設計された。有声および無声の音声の統計的な特性を考慮する。メモリを
節約し、トランスコーディングを容易にするために、2.4kbpsMELPコ
ーダと同じフーリエ絶対値コードブックを1.2kbpsコーダでも使用する。
【0079】 (3.2 ピッチ量子化) ピッチパラメータは、有声フレームだけに適用可能である。3つのフレームに
わたり、異なるU/Vの組合せには異なる量子化方式を用いる。本明細書では、
スーパーフレームのピッチ値を量子化する方法の詳細を特定のボイシングパター
ンの場合について述べる。この章で述べる量子化方法は、ボイシングパターンの
合同量子化で用いることができ、ピッチについては後続の章で述べる。表3に、
ピッチ量子化方式を要約してある。ボイシングパターンが有声フレームを2つま
たは3つ含んでいるスーパーフレーム内では、ピッチパラメータはベクトル量子
化される。有声フレームを1つしか含まないボイシングパターンの場合は、ME
LP標準で指定されているスカラ量子化を有声フレームのピッチに適用する。各
フレームが無声であるUUUボイシングパターンの場合は、ピッチ情報のための
ビットは必要ない。Uは「Unvoiced(無声)」を示し、Vは「Voic
ed(有声)」を示すことに留意されたい。
【0080】 2.4kbps標準のピッチ分析から得られる各ピッチ値Pは、量子化前に対
数値p=logPに変換される。各スーパーフレームにつき、各有声フレームに
関する対数ピッチ値に等しい成分と、各無声フレームに関する0の値に等しい成
分とで、ピッチベクトルが構築される。2つまたは3つの有声フレームを有する
ボイシングパターンの場合、ピッチベクトルは、VQ(Vector Quan
tization、ベクトル量子化)アルゴリズムを用いて、ピッチの進展を考
慮した新しいひずみ測定値で量子化される。このアルゴリズムは、コードブック
探索にピッチ差分を組み込むが、これにより、ピッチの時間進展を考慮すること
が可能になる。標準的なVQコードブック設計が使用される[7]。VQ符号化
アルゴリズムは、コードブック探索にピッチ差分を組み込むが、これにより、V
Qコードブックエントリを選択する際にピッチの時間進展を考慮することが可能
になる。この機能は、ピッチ軌跡をうまく追跡することの重要性の認知が動因と
なる。このアルゴリズムは、最良のインデックスを得るための3つのステップを
有する。
【0081】 ステップ1:重み付き平方ユークリッド距離の測定を用いてM個の最良候補を
選択する
【0082】
【数12】
【数13】
【0083】 また、piは量子化されていない対数ピッチであり、
【0084】
【数14】
【0085】 は量子化された対数ピッチ値である。上式は、コードブック探索において有声フ
レームだけが考慮されることを示している。
【0086】 ステップ2:以下の式を使用して、量子化されていない対数ピッチ値の差分を
計算する
【0087】
【数15】
【0088】 i=1,2,3の場合、p0は、前のスーパーフレームの最後の対数ピッチ値で
ある。ステップ1で選択された候補対数ピッチ値に対して、式(2)のΔpi
よびpi
【0089】
【数16】
【0090】 でそれぞれ置き換えることによって候補の差分を計算する。
【0091】
【数17】
【0092】 はp0の量子化バージョンである。
【0093】 ステップ3:M個の最良候補から、以下の式を最小にするインデックスを選択
する
【0094】
【数18】
【0095】 上式で、δはピッチ差分の寄与を制御するパラメータであり、1に設定される。
【0096】 有声フレームを1つしか含まないスーパーフレームの場合、ピッチのスカラ量
子化が行われる。ピッチ値は、20から160までのサンプル範囲の99レベル
均一カンタイザによって対数目盛り上で量子化される。このカンタイザは、2.
4kbpsMELP標準におけるものと同じであり、99個のレベルは7ビット
のピッチコードワードにマッピングされ、ハミング重み1または2を有する28
個の未使用コードワードがエラー保護のために使用される。
【0097】 (3.3 ピッチおよびU/V決定の合同量子化) 各スーパーフレームに関するU/V決定およびピッチパラメータは、12ビッ
トを使用して合同で量子化される。表4に合同量子化方式を要約してある。言い
換えれば、スーパーフレームに対するボイシングパターンまたはモード(可能な
8つのパターンのうちの1つ)、および3つのピッチ値のセットが、合同量子化
方式への入力を形成し、その出力は12ビットワードである。続いてデコーダが
、テーブルルックアップによって、この12ビットワードを特定のボイシングパ
ターンおよび量子化された3つのピッチ値のセットにマッピングする。
【0098】 この方式では、12ビットの割振りは、3モードビット(スーパーフレーム中
の3つのフレームに関するU/V決定の、可能な8つの組合せを表す)と、ピッ
チ値のための残りの9ビットとで構成される。この方式は、別々の6つのピッチ
コードブックを採用し、表4に示すように5つは9ビットを有し(すなわちそれ
ぞれ512エントリ)、1つはスカラカンタイザである。具体的なコードブック
は、量子化されたボイシングパターンを表す3ビットコードワードのビットパタ
ーンに従って決定される。したがって、まずU/Vボイシングパターンが表4に
示すように3ビットコードワードに符号化され、次いでこれを用いて、示す6つ
のコードブックのうちの1つが選択される。次いで、選択されたコードブックに
よって3つのピッチ値の順序集合がベクトル量子化され、3つのピッチ値の量子
化済みセットを識別する9ビットコードワードが生成される。VVV(有声−有
声−有声)モードのスーパーフレームには4つのコードブックが割り当てられる
ことに留意されたい。これは、VVVタイプのスーパーフレームにおけるピッチ
ベクトルがそれぞれ2048個のコードワードのうちの1つによって量子化され
ることを意味する。スーパーフレーム中の有声フレームの数が2以上でない場合
は、3ビットコードワードは000にセットされ、9ビットコードブック内で異
なるモード間の区別が決定される。後者のケースは、4つのモードすなわちUU
U、VUU、UVU、UUVからなることに留意されたい(Uは無声フレームを
示し、Vは有声フレームを示し、3つの記号はスーパーフレーム中の3つのフレ
ームの順序集合のボイシング状況を示す)。この場合、128個のピッチ値を有
する3つのモードとピッチ値を有しない1つのモードがあるので、9ビットが利
用可能であることは、モード情報ならびにピッチ値を表すのに十分すぎるほどで
ある。
【0099】 (3.4 パリティビット) 送信エラーに対するロバスト性を向上させるために、先に3.3章で定義した
スーパーフレーム中の3つのモードビット(ボイシングパターンを表す)につい
てパリティチェックビットが計算され、送信される。
【0100】 (3.5 LSF量子化) 表5に、線スペクトル周波数(LSF)を量子化するためのビット割振りを示
すが、3つのフレームに対する元のLSFベクトルをl1、l2、l3で示してあ
る。UUU、UUV、UVU、VUUのモードでは、無声フレームのLSFベク
トルは9ビットコードブックを使用して量子化され、有声フレームのLSFベク
トルは、[8]に記述されている手法に基づいて24ビット多段VQ(MSVQ
)カンタイザで量子化される。
【0101】 その他のU/Vパターンの場合のLSFベクトルは、以下の前方−後方補間方
式を用いて符号化される。この方式は次のように機能する。前のフレームの量子
化済みLSFベクトルを
【0102】
【数19】
【0103】 で示す。まず、現在のスーパーフレーム中の最後のフレームl3を、無声フレー
ムの場合は9ビットコードブックを使用して、あるいは有声フレームの場合は2
4ビットMSVQを使用して直接に
【0104】
【数20】
【0105】 に量子化する。次いで、以下の式を使用して
【0106】
【数21】
【0107】 を補間することにより、l1およびl2の予測値を得る。
【0108】
【数22】
【0109】 上式で、a1(j)およびa2(j)は補間係数である。
【0110】 MSVQ(多段ベクトル量子化)コードブックの設計は、[8]に説明されて
いるプロシージャに従う。
【0111】 係数はコードブックに記憶され、以下のひずみ測定値を最小化することによっ
て最良の係数が選択される。
【0112】
【数23】
【0113】 上式で、係数wi(j)は、2.4kbpsMELP標準におけるものと同じで
ある。最良の補間係数を得た後、フレーム1および2に対する残差LSFベクト
ルを以下の式によって計算する。
【0114】
【数24】
【0115】 次いで、重み付き多段ベクトル量子化を用いて、20次元の残差ベクトルR=[
1(1),r1(2),...,r1(10),r2(1),r2(2),...
,r2(10)]を量子化する。
【0116】 (3.6 補間コードブックの設計方法) 補間係数は次のようにして得られた。各スーパーフレームに対する最適な補間
係数は、l1,l2とli1,li2の間の重み付き平均二乗誤差を最小にすることに
よって計算された。この結果を以下のように示すことができる。
【0117】
【数25】
【0118】 コードブック設計のための訓練データベースの各エントリは、40次元ベクトル
【0119】
【数26】
【0120】 および以下に述べる訓練プロシージャを採用する。
【0121】 このデータベースは、
【0122】
【数27】
【0123】 として示され、
【0124】
【数28】
【0125】 は40次元ベクトルである。出力コードブックはC={(a1,m,a2,m),m=
0,...M−1}であり、(a1,m,a2,m)=[a1,m(1),...,a1,m (10),a2,m(1),...,a2,m(10)]は20次元ベクトルである。
【0126】 3.6.1 次に、コードブック訓練の2つの主要プロシージャについて述べ
る。コードブックC={(a1,m,a2,m)、m=0,...M’−1}とした場
合、各データベースエントリ
【0127】
【数29】
【0128】 が特定の重心に関連付けられる。以下の式を使用して、エントリ(入力ベクトル
)とコードブック中の各重心との間の誤差関数を計算する。エントリLnは、最
小誤差をもたらす重心に関連付けられる。このステップは、入力ベクトルに対す
る区分を規定する。
【0129】
【数30】
【0130】 3.6.2 特定の区分がある場合、コードブックは更新される。N’個のデ
ータベースエントリが重心Am=(a1,m,a2,m)に関連付けられると仮定する
と、重心は、以下の式を使用して更新される。
【0131】
【数31】
【0132】 補間係数コードブックは、いくつかのコードブックサイズについて訓練およびテ
ストされた。16個のエントリを有するコードブックが非常に効率的であること
がわかった。以上のプロシージャは、ベクトル量子化および[7]に記述されて
いるコードブック設計の一般概念に精通している技術者には容易に理解される。
【0133】 (3.7 利得量子化) 1.2kbpsコーダでは、1フレームにつき2つの利得パラメータが計算さ
れ、1スーパーフレームにつき6つの利得となる。6つの利得パラメータは、1
0ビットベクトルカンタイザを使用して、対数領域中で定義されるMSE基準で
ベクトル量子化される。
【0134】 (3.8 バンドパスボイシング量子化) U/V決定から、合計5つの帯域のうちで最も低い帯域に対するボイシング情
報が決定される。残りの4つの帯域のボイシング決定は、有声フレームだけに対
して採用される。4つの帯域の2進数ボイシング決定(有声の場合は1、無声の
場合は0)は、表2に示す2ビットコードブックを使用して量子化される。この
プロシージャにより、各有声フレームに使用される2ビットが得られる。表6に
、種々の符号化モードでバンドパスボイシング量子化に必要なビット割振りを示
す。
【0135】 (3.9 フーリエ絶対値の量子化) フーリエ絶対値ベクトルは、有声フレームだけに対して計算される。表7に、
フーリエ絶対値に対する量子化プロシージャを要約してある。スーパーフレーム
中の3つのフレームに関する量子化前のフーリエ絶対値ベクトルをfi、i=1
,2,3として示す。f0で示してあるのは、前のスーパーフレーム中の最後の
フレームのフーリエ絶対値ベクトルであり、
【0136】
【数32】
【0137】 は量子化されたベクトルfiを示し、Q(.)は、MELP標準の中で使用され
るのと同じ8ビットコードブックを使用したときのフーリエ絶対値ベクトルに対
するカンタイザ関数を示す。表7に示すように、スーパーフレーム中の3つのフ
レームに関する量子化されたフーリエ絶対値ベクトルが得られる。
【0138】 (3.10 非周期性フラグ量子化) 1.2kbpsコーダは、非周期性フラグの量子化のために1スーパーフレー
ムにつき1ビットを使用する。2.4kbpsMELP標準では、非周期性フラ
グは1フレームに付き1ビットを必要とし、1スーパーフレームでは3ビットで
ある。表8に示す量子化プロシージャを用いて、1スーパーフレームにつき1ビ
ットに圧縮することが達成される。この表では、「J」および「−」は、それぞ
れ非周期性フラグがセットされている状態およびセットされていない状態を示す
【0139】 (3.11 エラー保護) (3.11.1 モード保護) パリティビットの他にも、VVVモードのスーパーフレームを除いたすべての
スーパーフレーム中で利用可能な予備ビットを採用することによって、追加のモ
ードエラー保護技法がスーパーフレームに適用される。1.2kbpsコーダは
、各有声フレームに対するバンドパスボイシングの量子化のために2ビットを使
用する。したがって、有声フレームを1つ有するスーパーフレームでは、2つの
バンドパスボイシングビットが予備であり、これをモード保護に使用することが
できる。無声フレームを2つ有するスーパーフレームでは、モード保護に4ビッ
トを使用することができる。さらに、UUUおよびVVUモードでは、LSF量
子化の4ビットがモード保護に使用される。表9に、これらのモード保護ビット
がどのように使用されるかを示す。モード保護は、1.1章で述べた符号化状態
の保護を意味する。
【0140】 (3.11.2 UUUスーパーフレームに対する前方エラー訂正) UUUモードでは、利得インデックスの最初の8つのMSBが2つの4ビット
グループに分割され、各グループがハミング(8,4)符号で保護される。利得
インデックスの残りの2ビットは、ハミング(7,4)符号で保護される。ハミ
ング(7,4)符号はシングルビットエラーを訂正し、(8,4)符号はシング
ルビットエラーを訂正して、さらにダブルビットエラーも検出することに留意さ
れたい。UUUスーパーフレーム中の各フレームに対するLSFビットは、巡回
冗長検査(CRC)により、シングルビットエラーおよびダブルビットエラーを
検出するCRC(13,9)符号を使用して保護される。
【0141】 (4.デコーダ) (4.1 ビットのアンパックおよびエラー訂正) デコーダ内では、受信されたビットがチャネルからアンパックされ、パラメー
タコードワードに組み立てられる。ほとんどのパラメータに対する復号プロシー
ジャはモード(U/Vパターン)によって決まるので、ピッチおよびU/V決定
に割振られた12ビットが最初に復号される。3ビットコードブック中のビット
パターンが000の場合、9ビットコードワードは、UUU、UUV、UVU、
VUUのモードを指定する。9ビットコードブックの符号がすべて0の場合、ま
たは1つのビットがセットされている場合は、UUUモードが使用される。符号
の2つのビットがセットされている場合、またはピッチのために使用されないイ
ンデックスを指定する場合は、フレーム消去が指示される。
【0142】 U/Vパターンが復号された後、得られたモード情報は、パリティビットおよ
びモード保護ビットを使用してチェックされる。エラーが検出された場合はモー
ド訂正アルゴリズムが実施される。このアルゴリズムは、パリティビットおよび
モード保護ビットを使用してモードエラーの訂正を試みる。訂正不可能エラーが
検出された場合は、モードエラーパターンに従って、各パラメータに異なる復号
方法が適用される。さらに、パリティエラーが見つかった場合は、パラメータ平
滑化フラグがセットされる。表10に訂正プロシージャを記述する。
【0143】 UUUモードでは、モード情報中にエラーがなかったと仮定すると、利得パラ
メータを表す2つの(8,4)ハミング符号が復号されて、シングルビットエラ
ーが訂正され、ダブルエラーが検出される。訂正不可能エラーが検出された場合
は、フレーム消去が指示される。そうでない場合は、利得のための(7,4)ハ
ミング符号およびLSFのための(13,9)CRC(巡回冗長検査)符号が復
号されて、それぞれ、シングルエラーが訂正され、シングルエラーおよびダブル
エラーが検出される。CRC(13,9)符号中にエラーが見つかった場合は、
前のLSFを繰り返すか近傍の正しいLSF間を補間することにより、正しくな
いLSFが置き換えられる。
【0144】 ハミングデコーダによって現在のスーパーフレーム中でフレーム消去が検出さ
れた場合、またはチャネルから直接に消去が信号送信された場合は、フレーム反
復機構が実施される。現在のスーパーフレームのパラメータすべてが、前のスー
パーフレームの最後のフレームからのパラメータで置き換わる。
【0145】 消去が検出されなかったスーパーフレームの場合、残りのパラメータが復号さ
れる。平滑化が必要な場合は、以下の式によって事後平滑化パラメータが得られ
る。
【0146】
【数33】
【0147】 上式で、
【0148】
【数34】
【0149】 は、それぞれ現在のフレームの復号済みパラメータ、および前のフレームの対応
パラメータを表す。
【0150】 (4.2 ピッチ復号) 表4に示すように、ピッチ復号が行われる。無声フレームの場合、ピッチ値は
50サンプルに設定される。
【0151】 (4.3 LSF復号) 4.4章および表5に記述するように、LSFが復号される。LSFは、昇順
で、かつ最低限の分離でチェックされる。
【0152】 (4.4 利得復号) 利得インデックスを使用して、6つの利得パラメータを含むコードワードが1
0ビットVQ利得コードブックから取り出される。
【0153】 (4.5 バンドパスボイシングの復号) 無声フレームでは、バンドパスボイシング強度はすべて0にセットされる。有
声フレームでは、Vbp1は1にセットされ、残りのボイシングパターンは表2
に示すように復号される。
【0154】 (4.6 フーリエ絶対値の復号) 無声フレームのフーリエ絶対値は、1に等しくセットされる。現在のスーパー
フレームの最後の有声フレームの場合は、フーリエ絶対値は直接復号される。他
の有声フレームのフーリエ絶対値は、表7に示すように線形補間の反復によって
生成される。
【0155】 (4.7 非周期性フラグ復号) 表8に示すように、新しいフラグから非周期性フラグが得られる。非周期性フ
ラグが1の場合はジッタが25%に設定され、そうでない場合はジッタが0%に
設定される。
【0156】 (4.8 MELP合成) デコーダの基本構造は、MELP標準におけるものと同じだが、例外として、
各ピッチ周期ごとに励起信号を生成するための新しいハーモニック合成方法が導
入される。元々の2.4kbpsMELPアルゴリズムでは、フィルタリングさ
れたパルス励起およびノイズ励起の合計として混合励起が生成される。パルス励
起は、1ピッチ周期の長さの逆離散フーリエ変換(IDFT)を用いて計算され
、ノイズ励起は時間領域で生成される。新しいハーモニック合成アルゴリズムで
は、混合励起は完全に周波数領域で生成され、次いでこれは、逆離散フーリエ変
換操作を実施して時間領域に変換される。これにより、パルスおよびノイズ励起
のバンドパスフィルタリングの必要性が回避され、したがってデコーダの複雑さ
が低減される。
【0157】 新しいハーモニック合成プロシージャでは、周波数領域における励起は、カッ
トオフ周波数およびフーリエ絶対値ベクトルAl、l=1,2,...,Lに基
づいて各ピッチ周期ごとに生成される。カットオフ周波数は、前述のようにバン
ドパスボイシングパラメータから得られ、次いで、各ピッチ周期ごとに補間され
る。フーリエ絶対値は、MELP標準における場合と同様にして補間される。
【0158】 ピッチ長をNとして示すと、対応する基本周波数はf0=2π/Nで記述され
る。この場合、フーリエ絶対値ベクトルの長さはL=N/2によって得られる。
経験的に導出されたアルゴリズムを採用して、以下のようにカットオフ周波数F
から2つの遷移周波数FHおよびFLが決定される。
【0159】
【数35】
【0160】 これらの遷移周波数は、2つの周波数成分インデックスVHおよびVLに相当する
。VLよりも下のすべての周波数サンプルには有声モデルが使用され、VLとVH
の間の周波数サンプルには混合モデルが使用され、VHよりも上の周波数サンプ
ルには無声モデルが使用される。混合モデルを定義するために、カットオフ周波
数に応じた値で利得係数gが選択される(カットオフ周波数Fが高いほど利得係
数は小さくなる)。
【0161】
【数36】
【0162】 励起の周波数成分の絶対値および位相は、以下のように決定される。
【0163】
【数37】
【0164】 上式で、lは、IDFT周波数範囲の特定の周波数成分を識別するインデックス
であり、φ0は、ピッチパルスがピッチ周期境界に来るのを避けるために選択さ
れる定数である。位相φRND(l)は、lの各値ごとに独立して生成される、−
2πと2πの間で一様に分布する乱数である。
【0165】 言い換えれば、各ピッチ期間中の混合励起信号のスペクトルは、カットオフ周
波数によって決定されるスペクトルの3つの領域を考慮することによってモデリ
ングされ、これはFLからFHまでの遷移間隔を決定する。0からFLまでの低い
領域では、フーリエ絶対値は直接にスペクトルを決定する。FHよりも上の高い
領域では、フーリエ絶対値は利得係数gに応じて縮小する。FLからFHまでの遷
移領域では、フーリエ絶対値は、遷移領域にわたって1からgまで下降する直線
的な減少の重み係数に応じて縮小する。低い領域には線形に増加する位相が使用
され、高い領域にはランダムな位相が使用される。遷移領域では、位相は、線形
位相と重み付きランダム位相の合計であり、重みは遷移領域にわたって0から1
まで線形に増加する。次いで、混合励起の周波数サンプルが、逆離散フーリエ変
換を用いて時間領域に変換される。
【0166】 (5.トランスコーダ) (5.1 概念) アプリケーションによっては、異なる2つの音声符号化方式の間で相互運用で
きるようにすることが重要である。特に、2400bpsMELPコーダと12
00bpsのスーパーフレームコーダとの間の相互運用性を可能にすることが有
用である。図5Aおよび5Bのブロック図に、トランスコーダの一般的な動作を
示す。図5Aのアップコンバート用トランスコーダ70中では、音声が1200
bpsボコーダ74に入力され(72)、ボコーダ74の出力は1200bps
の符号化済みビットストリームであり(76)、このビットストリームは「アッ
プトランスコーダ」78によって、2400bpsMELPデコーダ82で復号
できる形の2400bpsビットストリーム80に変換され、MELPデコーダ
82は合成音声84を出力する。反対に、図3Bのダウンコンバート用トランス
コーダ90中では、音声が2400bpsMELPエンコーダ94に入力され(
92)、MELPエンコーダ94は2400bpsビットストリーム96を「ダ
ウントランスコーダ」98に出力し、ダウントランスコーダ98は、パラメトリ
ックデータストリームを、1200bpsデコーダ102で復号できる1200
bpsビットストリーム100に変換し、デコーダ102は合成音声104を出
力する。全二重(両方向)音声通信では、相互運用性を提供するためにアップト
ランスコーダとダウントランスコーダの両方が必要である。
【0167】 アップトランスコーダを実現する簡単な方式は、1200bpsビットストリ
ームを1200bpsデコーダで復号して、回復された音声信号の生ディジタル
表現を入手し、次いでこれを2400bpsエンコーダで再符号化するものであ
る。同様に、ダウントランスコーダを実現する簡単な方法は、2400bpsビ
ットストリームを2400bpsデコーダで復号して、回復された音声信号の生
ディジタル表現を入手し、次いでこれを12bpsエンコーダに再符号化するも
のである。アップトランスコーダおよびダウントランスコーダを実現するこの手
法は、いわゆる「タンデム」符号化に対応し、音声品質がかなり劣化すること、
およびトランスコーダの複雑さが必要以上に高くなることの欠点を有する。トラ
ンスコーダの効率は、タンデム符号化に関連する品質劣化の多くを回避しながら
複雑さを低減する以下のトランスコーディング方法によって改善される。
【0168】 (5.2 ダウントランスコーダ) ダウントランスコーダでは、同期化およびチャネルエラー訂正復号が行われた
後、各パラメータを表すビットが、連続する3つのフレーム(スーパーフレーム
を構成する)それぞれに対するビットストリームから別々に抽出され、パラメー
タ情報のセットがパラメータバッファに記憶される。各パラメータセットは、連
続する3つのフレームに関する所与のパラメータの値からなる。より低いレート
のビットストリームに再符号化するために、スーパーフレームパラメータを量子
化するのに用いた方法と同じ方法を、ここでも各パラメータセットに適用する。
例えば、スーパーフレーム中の3つのフレームそれぞれに関するピッチおよびU
/V決定が、3.2章で述べたピッチおよびU/V量子化方式にかけられる。こ
の場合、パラメータセットは、それぞれ7ビットで表される3つのピッチ値と、
それぞれ1ビットによってもたらされる3つのU/V決定とで構成され、合計2
4ビットとなる。これが2400bpsビットストリームから抽出され、再符号
化操作によって12ビットに変換されて、スーパーフレームに関するピッチおよ
びボイシングを表す。このようにすれば、ダウントランスコーダはMELP分析
機能を実施する必要はなく、スーパーフレームに必要な量子化操作を行うだけで
ある。ダウントランスコーディング操作の一部として、パリティチェックビット
、同期ビット、およびエラー訂正ビットを再生成しなければならないことに留意
されたい。
【0169】 (5.3 アップトランスコーダ) アップトランスコーダの場合、1200bpsの入力ビットストリームが、各
スーパーフレームに関する量子化済みパラメータを含む。同期化およびエラー訂
正復号を実施した後、アップトランスコーダは、スーパーフレームに関する各パ
ラメータを表すビットを抽出し、これを、現在のスーパーフレーム中の3つのフ
レームそれぞれに関するこのパラメータの対応する値を別々に指定する、より多
数のビットにマッピング(再符号化)する。このマッピングを行うこの方法はパ
ラメータに依存するが、この方法について以下に述べる。スーパーフレームのフ
レームのパラメータがすべて決定されると、3つの音声フレームを表すビットの
シーケンスが生成される。同期ビットおよびパリティビットの挿入ならびにエラ
ー訂正符号化の後、このデータシーケンスから2400bpsビットストリーム
が生成される。
【0170】 以下は、スーパーフレームに対するパラメータビットを3つのフレームのそれ
ぞれに対する別々のパラメータビットにマッピング(復号)する一般的な手法に
ついての記述である。1200bpデコーダ中で、前述のように各パラメータに
対して量子化テーブルおよびコードブックが使用される。復号動作では、1つま
たは複数のパラメータを表す2進ワードを取り入れて、各パラメータに対する値
、例えばコードブックに記憶されている特定のLSF値やピッチ値を出力する。
これらのパラメータ値は量子化される。すなわち、2400bpsMELPコー
ダの量子化テーブルを採用する新しい量子化動作への入力として加えられる。こ
の再量子化により、2400bpsMELPデコーダで復号するのに適した形で
パラメータ値を表す新しい2進ワードがもたらされる。
【0171】 量子化の使用を示す例として、特定のスーパーフレームに関するピッチおよび
ボイシング情報を含むビットが1200bpsビットストリームから抽出され、
スーパーフレーム中の3つのフレームに対する3つのボイシング(U/V)決定
および3つのピッチ値に復号される。3つのボイシング決定は2進数であり、2
400bpsMELPビットストリームのためのボイシングビットとして直接使
用可能である(3つのフレームのそれぞれにつき1ビット)。3つのピッチ値は
、それぞれをMELPピッチスカラカンタイザにかけることによって再量子化さ
れ、各ピッチ値につき7ビットワードが得られる。述べたこの発明的方法に従っ
たピッチ再量子化は、当業者なら多くの代替実装形態を設計することができる。
【0172】 具体的な代替形態の一つは、スーパーフレームの単一のフレームだけが有声で
あるときにピッチ再量子化をとばすことによって生み出すことができる。という
のはこの場合、有声フレームに関するピッチ値はすでに、MELPボコーダのフ
ォーマットと一致する量子化済みの形で指定されているからである。同様に、フ
ーリエ絶対値についても、スーパーフレームの最後のフレームはすでにMELP
フォーマットでスカラ量子化されているので、このフレームに再量子化は必要な
い。ただし、スーパーフレームの他の2つのフレームに関する補間済みフーリエ
絶対値は、MELP量子化方式で再量子化する必要がある。ジッタまたは非周期
性フラグは、表8の最後の2つの欄を用いたテーブルルックアップによって単純
に得られる。
【0173】 (6.ディジタルボコーダ端末ハードウェア) 図6に、本発明の音声符号化方法に従って動作するエンコーダおよびデコーダ
を備えたディジタルボコーダ端末を示す。マイクロホンMIC112は、アナロ
グ出力信号114を提供する入力音声トランスデューサであり、アナログ出力信
号114は、アナログディジタルコンバータ(A/D)116によってサンプリ
ングされディジタル化される。得られたサンプリング済みおよびディジタル化済
みの音声118は、DSPコントローラチップ120内で、音声符号化操作を符
号化ブロック122中で行うことによってディジタル処理され圧縮される。符号
化ブロック122は、本発明によりDSP/コントローラ内のソフトウェア中に
実装される。
【0174】 ディジタル信号プロセッサ(DSP)120は、Texas Instrum
ents TMC320C5416集積回路を例とし、音声データおよび中間デ
ータおよびパラメータを記憶するのに十分なバッファ空間を備えるランダムアク
セスメモリ(RAM)を含む。DSP回路はまた、前述のように、ボコーダ動作
を実施するプログラム命令を収録するための読出し専用メモリ(ROM)も含む
。DSPは、本発明で述べたボコーダ動作を行うのによく適している。符号化動
作から得られるビットストリーム124は、低レートのビットストリーム、Tx
データストリームである。Txデータ124は、チャネルインタフェースユニッ
ト126に入り、チャネル128を介して送信される。
【0175】 受信側では、チャネル128からのデータがチャネルインタフェースユニット
126に入り、チャネルインタフェースユニット126はRxビットストリーム
130を出力する。Rxデータ130は、復号ブロック内の音声復号動作のセッ
トに加えられる。これらの動作については前に述べた。得られたサンプリング済
みおよびディジタル化済み音声134は、ディジタルアナログコンバータ(D/
A)136に加えられる。D/Aは、再構築したアナログ音声138を出力する
。再構築済みアナログ音声138は、スピーカ140に加えられるか、再構築済
みの音を再生するその他のオーディオトランスデューサに加えられる。
【0176】 図6は、この発明原理を実施することのできるハードウェアの一構成を表した
ものである。この発明原理は、音声データの符号化および復号化に関して本明細
書に述べた処理機能をサポートできる様々な形のボコーダ実装形態で実施するこ
とができる。具体的には、この発明的な実装形態の範囲に含まれる多くの変形の
うちの少数でしかないが、次のようなものがある。 (a) 伝送パスが従来の電話回線であるときに使用するために、音声帯域デ
ータモデムを含むチャネルインタフェースユニットを使用する。 (b)適した暗号化デバイスを介して暗号化したディジタル信号を送信に使用
し、受信のために記述され、安全な伝送を実現する。この場合、暗号化ユニット
もまたチャネルインタフェースユニットに含まれることになる。 (c)伝送チャネルがワイヤレス無線リンクである場合に電波で無線信号を伝
送するために、無線周波モジュレータおよびデモジュレータを含むチャネルイン
タフェースユニットを使用する。 (d)複数の音声および/またはデータチャネルで無線信号を伝送するために
、多重化および多重分離の装置を含むチャネルインタフェースユニットを使用す
る。この場合、複数のTxおよびRx信号がチャネルインタフェースユニットに
接続されることになる。 (e)離散的コンポーネント、または離散的要素と処理要素が混合したものを
採用して、DSP/コントローラの命令処理動作を置き換える。採用できる例に
は、プログラマブルゲートアレイ(PGA)が含まれる。本発明は、処理要素を
必要とせず完全にハードウェア中で実施するようにすることもできることに留意
されたい。
【0177】 この発明原理をサポートするためのハードウェアは、述べたデータ操作をサポ
ートするだけでよい。しかし、DSP/プロセッサチップを使用するのが、現在
の最新技術で音声コーダまたはボコーダを実装するのに使用される最も一般的な
回路である。
【0178】 以上の記述は多くの限定を含むが、これらは本発明の範囲を限定するものと見
なすべきではなく、現時点で好ましい本発明の実施形態のいくつかの例示を提供
するにすぎないと見なすべきである。したがって、本発明の範囲は、添付の特許
請求の範囲およびこれらの法的均等物によって決定すべきである。
【表1】
【表2】
【表3】
【表4】
【表5】
【表6】
【表7】
【表8】
【表9】
【表10】
【図面の簡単な説明】
【図1】 従来の2.4kbpsMELPコーダの入力音声バッファ構造内で用いられる
データ位置の図であり、図示の各単位が音声のサンプルを示す図である。
【図2】 本発明の1.2kbpsコーダの入力スーパーフレーム音声バッファ構造内で
用いられるデータ位置の図であり、図示の各単位が音声のサンプルを示す図であ
る。
【図3A】 本発明の1.2kbpsエンコーダの機能ブロック図である。
【図3B】 本発明の1.2kbpsデコーダの機能ブロック図である。
【図4】 本発明の1.2kbpsエンコーダ内のデータ位置の図であって、本発明内で
ピッチスムーザパラメータを計算するための計算位置を示し、図示の各単位が音
声のサンプルを示す図である。
【図5A】 トランスコーダによって2400bpsストリームにアップコンバートされる
1200bpsストリームの機能ブロック図である。
【図5B】 トランスコーダによって1200bpsストリームにダウンコンバートされる
2400bpsストリームの機能ブロック図である。
【図6】 本発明による発明原理を採用したディジタルボコーダ端末内のハードウェアの
機能ブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,MZ,SD,SL,SZ,TZ,UG ,ZW),EA(AM,AZ,BY,KG,KZ,MD, RU,TJ,TM),AE,AG,AL,AM,AT, AU,AZ,BA,BB,BG,BR,BY,BZ,C A,CH,CN,CR,CU,CZ,DE,DK,DM ,DZ,EE,ES,FI,GB,GD,GE,GH, GM,HR,HU,ID,IL,IN,IS,JP,K E,KG,KP,KR,KZ,LC,LK,LR,LS ,LT,LU,LV,MA,MD,MG,MK,MN, MW,MX,MZ,NO,NZ,PL,PT,RO,R U,SD,SE,SG,SI,SK,SL,TJ,TM ,TR,TT,TZ,UA,UG,UZ,VN,YU, ZA,ZW (72)発明者 ティアン ワン アメリカ合衆国 93117 カリフォルニア 州 ゴレタ ナンバー69 ホワイトマン ストリート 460 (72)発明者 カズヒト コイシダ アメリカ合衆国 93117 カリフォルニア 州 ゴレタ ナンバー203 エンシナ ロ ード 5739 Fターム(参考) 5D045 CC01 DA20

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 ボコーダ装置であって、 (a)音声データの複数のフレームを受け取るスーパーフレームバッファと、 (b)前記スーパーフレームバッファ内の各フレームからパラメトリック音声
    データを抽出する、フレームベースの音声エンコーダ分析モジュールと、 (c)前記スーパーフレームバッファ内の一連のフレームに関するパラメトリ
    ック音声データを前記分析モジュールから受け取るスーパーフレームエンコーダ
    であって、前記分析モジュールから受け取ったパラメトリック音声データを選択
    的に量子化して音声データを生成し、該音声データを送信用の送出ディジタルビ
    ットストリームに符号化するスーパーフレームエンコーダと、 (d)スーパーフレーム音声データで符号化されたディジタルビットストリー
    ムを受け取ってフレームベースの量子化済みパラメータに復号するスーパーフレ
    ームデコーダと、 (e)各フレームに関する前記量子化済みパラメータを受け取り、該量子化済
    みパラメータを合成音声出力に復号する、フレームベースのデコーダシンセサイ
    ザと を備えることを特徴とするボコーダ装置。
  2. 【請求項2】 音声圧縮装置であって、 (a)音声データの複数のフレームを受け取るスーパーフレームバッファと、 (b)前記スーパーフレーム中に含まれるフレーム内の音声データの特性を分
    析して、関連する音声データパラメータのセットを生成する、フレームベースの
    エンコーダ分析モジュールと、 (c)前記スーパーフレームバッファ内に含まれるフレームのグループに関し
    て前記分析モジュールから音声データパラメータを受け取り、前記フレームのグ
    ループに関するデータを分析によって削減し、前記データを量子化および符号化
    し、送信用の送出ディジタルビットストリームにするスーパーフレームエンコー
    ダと を備えることを特徴とする音声圧縮装置。
  3. 【請求項3】 請求項2に記載の音声圧縮装置であって、前記分析モジュー
    ルが、音声データパラメータを受け取ることができ、線形予測コーダ、混合励起
    線形予測コーダ、ハーモニックコーダ、および多帯域励起コーダからなる音声エ
    ンコーダのグループから選択されることを特徴とする音声圧縮装置。
  4. 【請求項4】 請求項2に記載の音声圧縮装置であって、前記スーパーフレ
    ームエンコーダが、ピッチスムーザ、バンドパスボイシングスムーザ、線形予測
    カンタイザ、ジッタカンタイザ、およびフーリエ絶対値カンタイザからなるパラ
    メトリック処理モジュールのグループから選択される少なくとも2つのパラメト
    リック処理モジュールを備えることを特徴とする音声圧縮装置。
  5. 【請求項5】 請求項2に記載の音声圧縮装置であって、前記スーパーフレ
    ームエンコーダがベクトルカンタイザを備え、スーパーフレーム内のピッチ値が
    ピッチエラーに応答したひずみ測定値でベクトル量子化されることを特徴とする
    音声圧縮装置。
  6. 【請求項6】 請求項2に記載の音声圧縮装置であって、前記スーパーフレ
    ームエンコーダがベクトルカンタイザを備え、スーパーフレーム内のピッチ値が
    ピッチ差分およびピッチエラーに応答したひずみ測定値でベクトル量子化される
    ことを特徴とする音声圧縮装置。
  7. 【請求項7】 請求項2に記載の音声圧縮装置であって、前記スーパーフレ
    ームエンコーダが線形予測パラメータのカンタイザを備え、各線形予測パラメー
    タにつき異なる補間係数を採用した線形予測パラメータのコードブックベースの
    補間によって量子化が行われ、前記カンタイザが閉ループモードで動作していく
    つかのフレームにわたるエラー全体を最小限に抑えることを特徴とする音声圧縮
    装置。
  8. 【請求項8】 請求項7に記載の音声圧縮装置であって、前記カンタイザが
    、前記コードブックベースの補間を用いて線スペクトル周波数(LSF)量子化
    を行うことができることを特徴とする音声圧縮装置。
  9. 【請求項9】 請求項8に記載の音声圧縮装置であって、前記コードブック
    が、重心ベースの訓練プロシージャによる作用を受ける訓練データベースにより
    生成されることを特徴とする音声圧縮装置。
  10. 【請求項10】 請求項2に記載の音声圧縮装置であって、前記スーパーフ
    レームエンコーダがピッチスムーザを備え、オンセット/オフセットクラシファ
    イアに基づいて計算が行われることを特徴とする音声圧縮装置。
  11. 【請求項11】 請求項2に記載の音声圧縮装置であって、前記スーパーフ
    レームエンコーダがピッチスムーザを備え、複数のボイシング決定を用いてピッ
    チ軌跡が計算されることを特徴とする音声圧縮装置。
  12. 【請求項12】 請求項11に記載の音声圧縮装置であって、前記ピッチス
    ムーザが、エネルギー、零交差レート、ピーク度、入力音声の最大相関係数、5
    00Hzローパスフィルタにかけた音声の最大相関係数、ローパスフィルタにか
    けた音声のエネルギー、およびハイパスフィルタにかけた音声のエネルギーから
    なる波形特徴パラメータのグループから選択される少なくとも4つの波形特徴パ
    ラメータに基づいて、フレームをオンセットフレームとオフセットフレームに分
    類することを特徴とする音声圧縮装置。
  13. 【請求項13】 請求項2に記載の音声圧縮装置であって、前記スーパーフ
    レームエンコーダが、各フレームに関する多帯域ボイシング決定をそのフレーム
    に対する単一のカットオフ周波数にマッピングするバンドパスボイシングスムー
    ザを備え、前記カットオフ周波数が、許容される値の所定リストからの値の1つ
    をとることを特徴とする音声圧縮装置。
  14. 【請求項14】 請求項13に記載の音声圧縮装置であって、前記バンドパ
    スボイシングスムーザが、フレームのカットオフ周波数を近隣フレームのカット
    オフ周波数および平均フレームエネルギーの関数として修正することによって平
    滑化を行うことを特徴とする音声圧縮装置。
  15. 【請求項15】 請求項2に記載の音声圧縮装置であって、スーパーフレー
    ム内の各フレームに対する非周期性フラグビットをスーパーフレームごとの単一
    ビットに圧縮する手段をさらに備え、前記ビットが前記スーパーフレーム内にお
    ける有声フレームおよび無声フレームの配置に基づいて生成されることを特徴と
    する音声圧縮装置。
  16. 【請求項16】 請求項2に記載の音声圧縮装置であって、前記スーパーフ
    レームエンコーダが、パラメトリックデータをビットのセットに符号化する複数
    のカンタイザを備え、前記カンタイザの少なくとも1つが、補間係数を表すため
    にベクトル量子化を採用することを特徴とする音声圧縮装置。
  17. 【請求項17】 請求項2に記載の音声圧縮装置であって、スーパーフレー
    ムが、前記スーパーフレーム内における有声フレームと無声フレームの組合せに
    基づいて複数の符号化状態の1つに分類され、前記符号化状態の各々が、前記ス
    ーパーフレームで用いられる異なるビット割振りに関連することを特徴とする音
    声圧縮装置。
  18. 【請求項18】 音声圧縮装置であって、 (a)音声データの複数のフレームを受け取るスーパーフレームバッファと、 (b)前記音声データに関する音声データパラメータのセットを決定する、フ
    レームベースの分析モジュールと、 (c)スーパーフレーム内のフレームのグループに関する量子化前の音声デー
    タパラメータを受け取るスーパーフレームエンコーダとを備え、前記スーパーフ
    レームエンコーダが、 (i)スーパーフレームの各フレームに関するピッチおよびU/V決定を決
    定し、フレームをオンセットフレームとオフセットフレームに分類するのに必要
    なパラメータを抽出するピッチスムーザと、 (ii)前記スーパーフレーム内のフレームに関するバンドパスボイシング
    強度を決定し、各フレームに関するカットオフ周波数を決定するバンドパスボイ
    シングスムーザと、 (iii)前記分析モジュール、前記ピッチスムーザ、および前記バンドパ
    スボイシングスムーザから受け取ったボイシングパラメータをビットのセットに
    量子化し、前記ビットを送信用の送出ディジタルビットストリームに符号化する
    パラメータカンタイザエンコーダとを備えることを特徴とする音声圧縮装置。
  19. 【請求項19】 音声デコーダ装置であって、 (a)入来したディジタルビットストリームを一連のスーパーフレームとして
    受け取り、前記スーパーフレームを復号および逆量子化して、フレームベースの
    量子化済み音声パラメータにするスーパーフレームデコーダと、 (b)前記フレームベースの量子化済み音声パラメータを受け取り、前記フレ
    ームベースの量子化済み音声パラメータを結合して合成音声出力信号にする、フ
    レームベースのデコーダと を備えることを特徴とする音声デコーダ装置。
  20. 【請求項20】 符号化済みパラメトリック音声データストリームをオーデ
    ィオ音声信号に復号する方法であって、 (a)受け取った、複数のピッチ期間を有するパラメトリック音声データスト
    リームをバッファリングし、前記バッファリングしたフレームデータをバッファ
    にロードするステップと、 (b)周波数スペクトルをカットオフ周波数に基づく領域に分割することによ
    って各ピッチ期間内の励起の推定スペクトルを構築するステップであって、 (i)各領域につきフーリエ絶対値を計算し、次いで、前記領域の少なくと
    も1つについて得られた計算済みフーリエ絶対値を、その領域について計算され
    た利得係数によって増減するステップと、 (ii)各領域内の位相を計算するステップであって、前記領域の少なくと
    も1つについて得られた位相が重み付きランダム位相を用いて修正されているス
    テップと、 (iii)各領域内の前記フーリエ絶対値および前記位相を、逆離散フーリ
    エ変換を計算することによって時間領域表現に変換するステップとを含むステッ
    プと、 (c)前記時間領域表現からアナログ音声信号を生成するステップと を備えることを特徴とする方法。
  21. 【請求項21】 請求項20に記載の方法であって、前記周波数スペクトル
    の分割に用いられる前記領域が、 (a)フーリエ絶対値が前記スペクトルを直接決定する、低い方の領域と、 (b)現在のフレームのカットオフ周波数に応じて1から0でない正の値まで
    下降する直線的な減少する重み係数でフーリエ絶対値が縮小される遷移領域と、 (c)現在のフレームのカットオフ周波数に応じた重み係数でフーリエ絶対値
    が縮小される、高い方の領域と を備えることを特徴とする方法。
  22. 【請求項22】 スーパーフレームで符号化された音声データストリームを
    受け取り、それをフレームベースで符号化された音声データストリームに変換す
    るアップトランスコーダ装置であって、 (a)スーパーフレームデータを収集し、スーパーフレームパラメータを表す
    ビットを抽出するスーパーフレームバッファと、 (b)スーパーフレームパラメータの各セットに対するビットを、前記スーパ
    ーフレームの各フレームに関する量子化済みパラメータ値に逆量子化するデコー
    ダと、 (c)基礎をなす各フレームに関する音声パラメータを量子化し、前記量子化
    した音声パラメータをフレームベースのデータにマッピングし、フレームベース
    の音声データストリームを生成する、フレームベースのエンコーダと を備えることを特徴とするアップトランスコーダ装置。
  23. 【請求項23】 フレームベースで符号化された音声データストリームを受
    け取り、それをスーパーフレームベースで符号化された音声データストリームに
    変換するダウントランスコーダ装置であって、 (a)パラメトリック音声データのいくつかのフレームを収集し、フレームベ
    ースの音声パラメータを表すビットを抽出するスーパーフレームバッファと、 (b)パラメータのフレームごとのビットを、各フレームに関する量子化済み
    パラメータ値に逆量子化するデコーダと、 (c)前記スーパーフレーム内のフレームのグループに関する前記フレームベ
    ースの量子化済みパラメータを収集し、パラメトリック音声データのセットを生
    成し、前記パラメトリック音声データを量子化および符号化して、送出ディジタ
    ルビットストリームにするスーパーフレームエンコーダと を備えることを特徴とするダウントランスコーダ装置。
  24. 【請求項24】 ディジタル化済み音声をパラメトリック音声データに符号
    化するボコーダ方法であって、 (a)ディジタル化済み音声の複数のフレームをスーパーフレームバッファに
    ロードするステップと、 (b)スーパーフレームバッファの各フレーム内のディジタル化済み音声をパ
    ラメトリック分析によって符号化して、フレームベースのパラメトリック音声デ
    ータを生成するステップと、 (c)スーパーフレームの各フレーム内のピッチおよびU/Vパラメータを計
    算することにより、フレームをオンセットフレームとオフセットフレームに分類
    するステップと、 (d)スーパーフレームバッファ内のフレームに関するバンドパスボイシング
    強度パラメータを計算することにより、スーパーフレーム内の各フレームに関す
    るカットオフ周波数を決定するステップと、 (e)スーパーフレーム内のフレームのグループに対するパラメトリック分析
    、フレーム分類、およびカットオフ周波数決定のステップから、スーパーフレー
    ムパラメータのセットを収集するステップと、 (f)スーパーフレームパラメータを量子化して、量子化済みスーパーフレー
    ムパラメータデータを形成する削減されたデータビットのセットによって表され
    る離散的な値にするステップと、 (g)量子化したスーパーフレームパラメータデータを、スーパーフレームベ
    ースのパラメトリック音声データのデータストリームに符号化するステップであ
    って、該データストリームは、フレームベースのパラメトリック音声データとほ
    ぼ同等の音声情報を含み、しかもなお符号化済み音声の秒あたりのビットレート
    がより低いステップと を備えることを特徴とする方法。
  25. 【請求項25】 スーパーフレームベースのパラメトリック音声データから
    ディジタル化済み音声を生成するボコーダ方法であって、 (a)スーパーフレームバッファ中でスーパーフレームベースのパラメトリッ
    ク音声データを受け取るステップと、 (b)前記スーパーフレームバッファ内の前記音声データを復号および逆量子
    化して、フレームベースの音声パラメータ値のセットを再生するステップと、 (c)前記フレームベースの音声パラメータを復号するフレームベースの音声
    シンセサイザによって、前記フレームベースの音声パラメータを復号するステッ
    プと を備えることを特徴とする方法。
JP2001525687A 1999-09-22 2000-09-20 スーパーフレーム構造のlpcハーモニックボコーダ Expired - Fee Related JP4731775B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/401,068 1999-09-22
US09/401,068 US7315815B1 (en) 1999-09-22 1999-09-22 LPC-harmonic vocoder with superframe structure
PCT/US2000/025869 WO2001022403A1 (en) 1999-09-22 2000-09-20 Lpc-harmonic vocoder with superframe structure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011038935A Division JP5343098B2 (ja) 1999-09-22 2011-02-24 スーパーフレーム構造のlpcハーモニックボコーダ

Publications (3)

Publication Number Publication Date
JP2003510644A true JP2003510644A (ja) 2003-03-18
JP2003510644A5 JP2003510644A5 (ja) 2008-05-29
JP4731775B2 JP4731775B2 (ja) 2011-07-27

Family

ID=23586142

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001525687A Expired - Fee Related JP4731775B2 (ja) 1999-09-22 2000-09-20 スーパーフレーム構造のlpcハーモニックボコーダ
JP2011038935A Expired - Fee Related JP5343098B2 (ja) 1999-09-22 2011-02-24 スーパーフレーム構造のlpcハーモニックボコーダ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011038935A Expired - Fee Related JP5343098B2 (ja) 1999-09-22 2011-02-24 スーパーフレーム構造のlpcハーモニックボコーダ

Country Status (9)

Country Link
US (2) US7315815B1 (ja)
EP (1) EP1222659B1 (ja)
JP (2) JP4731775B2 (ja)
AT (1) ATE310304T1 (ja)
AU (1) AU7830300A (ja)
DE (1) DE60024123T2 (ja)
DK (1) DK1222659T3 (ja)
ES (1) ES2250197T3 (ja)
WO (1) WO2001022403A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503766A (ja) * 2004-06-21 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオエンコードの方法
JP2008102520A (ja) * 2006-10-18 2008-05-01 Polycom Inc オーディオ信号の2重変換符号化
KR20110042303A (ko) * 2008-07-10 2011-04-26 보이세지 코포레이션 수퍼-프레임의 lpc 필터들을 양자화 및 역 양자화하기 위한 장치 및 방법
JP2016532894A (ja) * 2013-07-22 2016-10-20 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 変換長切替えをサポートする周波数ドメインオーディオ符号化

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295974B1 (en) * 1999-03-12 2007-11-13 Texas Instruments Incorporated Encoding in speech compression
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
EP1168734A1 (en) * 2000-06-26 2002-01-02 BRITISH TELECOMMUNICATIONS public limited company Method to reduce the distortion in a voice transmission over data networks
US20030028386A1 (en) 2001-04-02 2003-02-06 Zinser Richard L. Compressed domain universal transcoder
US7421304B2 (en) * 2002-01-21 2008-09-02 Kenwood Corporation Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method
US8090577B2 (en) * 2002-08-08 2012-01-03 Qualcomm Incorported Bandwidth-adaptive quantization
WO2004090864A2 (en) * 2003-03-12 2004-10-21 The Indian Institute Of Technology, Bombay Method and apparatus for the encoding and decoding of speech
WO2004090870A1 (ja) * 2003-04-04 2004-10-21 Kabushiki Kaisha Toshiba 広帯域音声を符号化または復号化するための方法及び装置
WO2004097797A1 (en) * 2003-05-01 2004-11-11 Nokia Corporation Method and device for gain quantization in variable bit rate wideband speech coding
US20050049853A1 (en) * 2003-09-01 2005-03-03 Mi-Suk Lee Frame loss concealment method and device for VoIP system
FR2867648A1 (fr) * 2003-12-10 2005-09-16 France Telecom Transcodage entre indices de dictionnaires multi-impulsionnels utilises en codage en compression de signaux numeriques
US7668712B2 (en) * 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
US20050232497A1 (en) * 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
FR2869151B1 (fr) * 2004-04-19 2007-01-26 Thales Sa Procede de quantification d'un codeur de parole a tres bas debit
CA2566368A1 (en) * 2004-05-17 2005-11-24 Nokia Corporation Audio encoding with different coding frame lengths
US7596486B2 (en) * 2004-05-19 2009-09-29 Nokia Corporation Encoding an audio signal using different audio coder modes
WO2006028009A1 (ja) * 2004-09-06 2006-03-16 Matsushita Electric Industrial Co., Ltd. スケーラブル復号化装置および信号消失補償方法
US7418387B2 (en) * 2004-11-24 2008-08-26 Microsoft Corporation Generic spelling mnemonics
US7353010B1 (en) * 2004-12-22 2008-04-01 Atheros Communications, Inc. Techniques for fast automatic gain control
WO2006089055A1 (en) * 2005-02-15 2006-08-24 Bbn Technologies Corp. Speech analyzing system with adaptive noise codebook
US8219391B2 (en) * 2005-02-15 2012-07-10 Raytheon Bbn Technologies Corp. Speech analyzing system with speech codebook
US8160868B2 (en) * 2005-03-14 2012-04-17 Panasonic Corporation Scalable decoder and scalable decoding method
US7848220B2 (en) * 2005-03-29 2010-12-07 Lockheed Martin Corporation System for modeling digital pulses having specific FMOP properties
US7707034B2 (en) * 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US7177804B2 (en) 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US7831421B2 (en) * 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder
WO2007000988A1 (ja) * 2005-06-29 2007-01-04 Matsushita Electric Industrial Co., Ltd. スケーラブル復号装置および消失データ補間方法
US20070011009A1 (en) * 2005-07-08 2007-01-11 Nokia Corporation Supporting a concatenative text-to-speech synthesis
JP5159318B2 (ja) * 2005-12-09 2013-03-06 パナソニック株式会社 固定符号帳探索装置および固定符号帳探索方法
US7805292B2 (en) * 2006-04-21 2010-09-28 Dilithium Holdings, Inc. Method and apparatus for audio transcoding
US8589151B2 (en) * 2006-06-21 2013-11-19 Harris Corporation Vocoder and associated method that transcodes between mixed excitation linear prediction (MELP) vocoders with different speech frame rates
US8239190B2 (en) 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
US7966175B2 (en) * 2006-10-18 2011-06-21 Polycom, Inc. Fast lattice vector quantization
US8489392B2 (en) 2006-11-06 2013-07-16 Nokia Corporation System and method for modeling speech spectra
US20080162150A1 (en) * 2006-12-28 2008-07-03 Vianix Delaware, Llc System and Method for a High Performance Audio Codec
US7937076B2 (en) * 2007-03-07 2011-05-03 Harris Corporation Software defined radio for loading waveform components at runtime in a software communications architecture (SCA) framework
US8315709B2 (en) * 2007-03-26 2012-11-20 Medtronic, Inc. System and method for smoothing sampled digital signals
CN101030377B (zh) * 2007-04-13 2010-12-15 清华大学 提高声码器基音周期参数量化精度的方法
US8457958B2 (en) 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
KR101124907B1 (ko) * 2008-01-02 2012-06-01 인터디지탈 패튼 홀딩스, 인크 Lte에서 cqi 보고를 위한 구성
US8175169B2 (en) * 2008-02-15 2012-05-08 Research In Motion Limited Method and system for optimizing quantization for noisy channels
US8972828B1 (en) * 2008-09-18 2015-03-03 Compass Electro Optical Systems Ltd. High speed interconnect protocol and method
KR101622950B1 (ko) * 2009-01-28 2016-05-23 삼성전자주식회사 오디오 신호의 부호화 및 복호화 방법 및 그 장치
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
TWI465122B (zh) 2009-01-30 2014-12-11 Dolby Lab Licensing Corp 自帶狀脈衝響應資料測定反向濾波器之方法
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
TWI413096B (zh) * 2009-10-08 2013-10-21 Chunghwa Picture Tubes Ltd 適應性畫面更新率調變系統及其方法
WO2011048118A1 (en) * 2009-10-20 2011-04-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal encoder, audio signal decoder, method for providing an encoded representation of an audio content, method for providing a decoded representation of an audio content and computer program for use in low delay applications
ES2374008B1 (es) * 2009-12-21 2012-12-28 Telefónica, S.A. Codificación, modificación y síntesis de segmentos de voz.
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
TWI453733B (zh) * 2011-12-30 2014-09-21 Nyquest Corp Ltd 音訊量化編解碼裝置及其方法
US9070362B2 (en) 2011-12-30 2015-06-30 Nyquest Corporation Limited Audio quantization coding and decoding device and method thereof
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
EP2863386A1 (en) * 2013-10-18 2015-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
ITBA20130077A1 (it) * 2013-11-25 2015-05-26 Cicco Luca De Meccanismo per il controllo del bitrate di codifica in un sistema di video streaming adattivo basato su buffer di playout e sulla stima di banda.
CN104078047B (zh) * 2014-06-21 2017-06-06 西安邮电大学 基于语音多带激励编码lsp参数的量子压缩方法
WO2017064264A1 (en) * 2015-10-15 2017-04-20 Huawei Technologies Co., Ltd. Method and appratus for sinusoidal encoding and decoding
US10373608B2 (en) 2015-10-22 2019-08-06 Texas Instruments Incorporated Time-based frequency tuning of analog-to-information feature extraction
US10332543B1 (en) * 2018-03-12 2019-06-25 Cypress Semiconductor Corporation Systems and methods for capturing noise for pattern recognition processing
WO2020145472A1 (ko) * 2019-01-11 2020-07-16 네이버 주식회사 화자 적응형 모델을 구현하고 합성 음성 신호를 생성하는 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법
CN111818519B (zh) * 2020-07-16 2022-02-11 郑州信大捷安信息技术股份有限公司 一种端到端语音加密、解密方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04249300A (ja) * 1991-02-05 1992-09-04 Kokusai Electric Co Ltd 音声符復号化方法及びその装置
US5664051A (en) * 1990-09-24 1997-09-02 Digital Voice Systems, Inc. Method and apparatus for phase synthesis for speech processing
US5668925A (en) * 1995-06-01 1997-09-16 Martin Marietta Corporation Low data rate speech encoder with mixed excitation
JPH10293600A (ja) * 1997-03-14 1998-11-04 Digital Voice Syst Inc 音声符号化方法、音声復号化方法、エンコーダ及びデコーダ
JPH11249699A (ja) * 1997-12-04 1999-09-17 Digital Voice Syst Inc 音声パラメータの合同量子化
WO2000021077A1 (fr) * 1998-10-06 2000-04-13 Thomson-Csf Procede de quantification des parametres d'un codeur de parole

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4969192A (en) 1987-04-06 1990-11-06 Voicecraft, Inc. Vector adaptive predictive coder for speech and audio
US4815134A (en) 1987-09-08 1989-03-21 Texas Instruments Incorporated Very low rate speech encoder and decoder
CN1062963C (zh) 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5255339A (en) * 1991-07-19 1993-10-19 Motorola, Inc. Low bit rate vocoder means and method
US5734789A (en) 1992-06-01 1998-03-31 Hughes Electronics Voiced, unvoiced or noise modes in a CELP vocoder
JP2746039B2 (ja) 1993-01-22 1998-04-28 日本電気株式会社 音声符号化方式
US5717823A (en) 1994-04-14 1998-02-10 Lucent Technologies Inc. Speech-rate modification for linear-prediction based analysis-by-synthesis speech coders
JP3277705B2 (ja) 1994-07-27 2002-04-22 ソニー株式会社 情報符号化装置及び方法、並びに情報復号化装置及び方法
TW271524B (ja) 1994-08-05 1996-03-01 Qualcomm Inc
US5699477A (en) 1994-11-09 1997-12-16 Texas Instruments Incorporated Mixed excitation linear prediction with fractional pitch
US5751903A (en) 1994-12-19 1998-05-12 Hughes Electronics Low rate multi-mode CELP codec that encodes line SPECTRAL frequencies utilizing an offset
US5699485A (en) 1995-06-07 1997-12-16 Lucent Technologies Inc. Pitch delay modification during frame erasures
US5774837A (en) 1995-09-13 1998-06-30 Voxware, Inc. Speech coding system and method using voicing probability determination
US5835495A (en) 1995-10-11 1998-11-10 Microsoft Corporation System and method for scaleable streamed audio transmission over a network
TW321810B (ja) 1995-10-26 1997-12-01 Sony Co Ltd
IT1281001B1 (it) 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5778335A (en) 1996-02-26 1998-07-07 The Regents Of The University Of California Method and apparatus for efficient multiband celp wideband speech and music coding and decoding
US6041345A (en) 1996-03-08 2000-03-21 Microsoft Corporation Active stream format for holding multiple media streams
JP3335841B2 (ja) 1996-05-27 2002-10-21 日本電気株式会社 信号符号化装置
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
US6317714B1 (en) 1997-02-04 2001-11-13 Microsoft Corporation Controller and associated mechanical characters operable for continuously performing received control data while engaging in bidirectional communications over a single communications channel
US6134518A (en) 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
US6292834B1 (en) 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6728775B1 (en) 1997-03-17 2004-04-27 Microsoft Corporation Multiple multicasting of multimedia streams
CA2291062C (en) 1997-05-12 2007-05-01 Amati Communications Corporation Method and apparatus for superframe bit allocation
US6009122A (en) 1997-05-12 1999-12-28 Amati Communciations Corporation Method and apparatus for superframe bit allocation
FI973873A (fi) * 1997-10-02 1999-04-03 Nokia Mobile Phones Ltd Puhekoodaus
US6263312B1 (en) 1997-10-03 2001-07-17 Alaris, Inc. Audio compression and decompression employing subband decomposition of residual signal and distortion reduction
US5870412A (en) 1997-12-12 1999-02-09 3Com Corporation Forward error correction system for packet based real time media
AU3372199A (en) 1998-03-30 1999-10-18 Voxware, Inc. Low-complexity, low-delay, scalable and embedded speech and audio coding with adaptive frame loss concealment
US6029126A (en) 1998-06-30 2000-02-22 Microsoft Corporation Scalable audio coder and decoder
US6823303B1 (en) 1998-08-24 2004-11-23 Conexant Systems, Inc. Speech encoder using voice activity detection in coding noise
US6385573B1 (en) 1998-08-24 2002-05-07 Conexant Systems, Inc. Adaptive tilt compensation for synthesized speech residual
US6330533B2 (en) 1998-08-24 2001-12-11 Conexant Systems, Inc. Speech encoder adaptively applying pitch preprocessing with warping of target signal
US6480822B2 (en) 1998-08-24 2002-11-12 Conexant Systems, Inc. Low complexity random codebook structure
US6493665B1 (en) 1998-08-24 2002-12-10 Conexant Systems, Inc. Speech classification and parameter weighting used in codebook search
US6289297B1 (en) 1998-10-09 2001-09-11 Microsoft Corporation Method for reconstructing a video frame received from a video source over a communication channel
US6438136B1 (en) 1998-10-09 2002-08-20 Microsoft Corporation Method for scheduling time slots in a communications network channel to support on-going video transmissions
US6310915B1 (en) 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6226606B1 (en) 1998-11-24 2001-05-01 Microsoft Corporation Method and apparatus for pitch tracking
US6311154B1 (en) 1998-12-30 2001-10-30 Nokia Mobile Phones Limited Adaptive windows for analysis-by-synthesis CELP-type speech coding
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6460153B1 (en) 1999-03-26 2002-10-01 Microsoft Corp. Apparatus and method for unequal error protection in multiple-description coding using overcomplete expansions
US6952668B1 (en) 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7117156B1 (en) 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
DE19921122C1 (de) 1999-05-07 2001-01-25 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals
US6505152B1 (en) 1999-09-03 2003-01-07 Microsoft Corporation Method and apparatus for using formant models in speech systems
US6621935B1 (en) 1999-12-03 2003-09-16 Microsoft Corporation System and method for robust image representation over error-prone channels
US6732070B1 (en) 2000-02-16 2004-05-04 Nokia Mobile Phones, Ltd. Wideband speech codec using a higher sampling rate in analysis and synthesis filtering than in excitation searching
US6693964B1 (en) 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
US6757654B1 (en) 2000-05-11 2004-06-29 Telefonaktiebolaget Lm Ericsson Forward error correction in speech coding
EP1353323B1 (en) 2000-11-27 2007-01-17 Nippon Telegraph and Telephone Corporation Method, device and program for coding and decoding acoustic parameter, and method, device and program for coding and decoding sound
WO2002058052A1 (en) 2001-01-19 2002-07-25 Koninklijke Philips Electronics N.V. Wideband signal transmission system
US7151749B2 (en) 2001-06-14 2006-12-19 Microsoft Corporation Method and System for providing adaptive bandwidth control for real-time communication
US6658383B2 (en) 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
US6879955B2 (en) 2001-06-29 2005-04-12 Microsoft Corporation Signal modification based on continuous time warping for low bit rate CELP coding
US6941263B2 (en) 2001-06-29 2005-09-06 Microsoft Corporation Frequency domain postfiltering for quality enhancement of coded speech
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7027982B2 (en) 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
US6647366B2 (en) 2001-12-28 2003-11-11 Microsoft Corporation Rate control strategies for speech and music coding
US6789123B2 (en) 2001-12-28 2004-09-07 Microsoft Corporation System and method for delivery of dynamically scalable audio/video content over a network
US7668712B2 (en) 2004-03-31 2010-02-23 Microsoft Corporation Audio encoding and decoding with intra frames and adaptive forward error correction
US7707034B2 (en) 2005-05-31 2010-04-27 Microsoft Corporation Audio codec post-filter
US7177804B2 (en) 2005-05-31 2007-02-13 Microsoft Corporation Sub-band voice codec with multi-stage codebooks and redundant coding
US7831421B2 (en) 2005-05-31 2010-11-09 Microsoft Corporation Robust decoder

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664051A (en) * 1990-09-24 1997-09-02 Digital Voice Systems, Inc. Method and apparatus for phase synthesis for speech processing
JPH04249300A (ja) * 1991-02-05 1992-09-04 Kokusai Electric Co Ltd 音声符復号化方法及びその装置
US5668925A (en) * 1995-06-01 1997-09-16 Martin Marietta Corporation Low data rate speech encoder with mixed excitation
JPH10293600A (ja) * 1997-03-14 1998-11-04 Digital Voice Syst Inc 音声符号化方法、音声復号化方法、エンコーダ及びデコーダ
JPH11249699A (ja) * 1997-12-04 1999-09-17 Digital Voice Syst Inc 音声パラメータの合同量子化
WO2000021077A1 (fr) * 1998-10-06 2000-04-13 Thomson-Csf Procede de quantification des parametres d'un codeur de parole

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008503766A (ja) * 2004-06-21 2008-02-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオエンコードの方法
JP2008102520A (ja) * 2006-10-18 2008-05-01 Polycom Inc オーディオ信号の2重変換符号化
KR20110042303A (ko) * 2008-07-10 2011-04-26 보이세지 코포레이션 수퍼-프레임의 lpc 필터들을 양자화 및 역 양자화하기 위한 장치 및 방법
KR101592968B1 (ko) * 2008-07-10 2016-02-11 보이세지 코포레이션 수퍼-프레임의 lpc 필터들을 양자화 및 역 양자화하기 위한 장치 및 방법
JP2016532894A (ja) * 2013-07-22 2016-10-20 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 変換長切替えをサポートする周波数ドメインオーディオ符号化
US10242682B2 (en) 2013-07-22 2019-03-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Frequency-domain audio coding supporting transform length switching
US10984809B2 (en) 2013-07-22 2021-04-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Frequency-domain audio coding supporting transform length switching
US11862182B2 (en) 2013-07-22 2024-01-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Frequency-domain audio coding supporting transform length switching

Also Published As

Publication number Publication date
US20050075869A1 (en) 2005-04-07
AU7830300A (en) 2001-04-24
EP1222659A1 (en) 2002-07-17
US7286982B2 (en) 2007-10-23
WO2001022403A1 (en) 2001-03-29
JP4731775B2 (ja) 2011-07-27
ATE310304T1 (de) 2005-12-15
JP2011150357A (ja) 2011-08-04
EP1222659B1 (en) 2005-11-16
DK1222659T3 (da) 2006-03-27
US7315815B1 (en) 2008-01-01
ES2250197T3 (es) 2006-04-16
DE60024123T2 (de) 2006-03-30
DE60024123D1 (de) 2005-12-22
JP5343098B2 (ja) 2013-11-13

Similar Documents

Publication Publication Date Title
JP4731775B2 (ja) スーパーフレーム構造のlpcハーモニックボコーダ
JP5373217B2 (ja) 可変レートスピーチ符号化
RU2331933C2 (ru) Способы и устройства управляемого источником широкополосного кодирования речи с переменной скоростью в битах
JP4824167B2 (ja) 周期的スピーチコーディング
US7016831B2 (en) Voice code conversion apparatus
KR100769508B1 (ko) Celp 트랜스코딩
US6694293B2 (en) Speech coding system with a music classifier
JP4390803B2 (ja) 可変ビットレート広帯域通話符号化におけるゲイン量子化方法および装置
KR100804461B1 (ko) 보이스화된 음성을 예측적으로 양자화하는 방법 및 장치
JP4270866B2 (ja) 非音声のスピーチの高性能の低ビット速度コード化方法および装置
US6081776A (en) Speech coding system and method including adaptive finite impulse response filter
JP2004310088A (ja) 半レート・ボコーダ
JP2006510947A (ja) 可変ビットレート通話符号化における線形予測パラメータの強力な予測ベクトル量子化方法と装置
JP2003505724A (ja) 音声符号器用のスペクトル・マグニチュード量子化
KR20040028750A (ko) 음성 코덱의 선스펙트럼 주파수 벡터 양자화 방법 및 시스템
JP2002530705A (ja) 音声の無声セグメントの低ビットレート符号化
EP1597721B1 (en) 600 bps mixed excitation linear prediction transcoding
EP1204968B1 (en) Method and apparatus for subsampling phase spectrum information
KR0155798B1 (ko) 음성신호 부호화 및 복호화 방법
JP2000305597A (ja) 音声圧縮のコード化
JPH11134000A (ja) 音声圧縮符号化装置,音声圧縮符号化方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070920

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110420

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4731775

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees