JP2002525897A - 線形予測合成解析符号化方法と符号化器 - Google Patents
線形予測合成解析符号化方法と符号化器Info
- Publication number
- JP2002525897A JP2002525897A JP2000570771A JP2000570771A JP2002525897A JP 2002525897 A JP2002525897 A JP 2002525897A JP 2000570771 A JP2000570771 A JP 2000570771A JP 2000570771 A JP2000570771 A JP 2000570771A JP 2002525897 A JP2002525897 A JP 2002525897A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- encoder
- gain
- state
- subframes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 23
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 18
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000010845 search algorithm Methods 0.000 claims abstract description 8
- 238000013139 quantization Methods 0.000 claims description 14
- 108010076282 Factor IX Proteins 0.000 claims 1
- 230000005284 excitation Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
- G10L19/083—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being an excitation gain
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
線形予測合成解析符号化器は、検索アルゴリズムブロック（５０）と、フレーム内の複数のサブフレーム最適利得をベクトル量子化するベクトル量子化器（５８）を具備する。符号化器の内部状態は、ベクトル量子化された利得を利用して更新される（５０、５２、５４、５６）。
Description
【０００１】
本発明は線形予測合成解析（LPAS: Linear Predictive Analysis-by-Synthesi
s）符号化方法及び符号化器に関するものである。
s）符号化方法及び符号化器に関するものである。
【０００２】
セルラー通信の分野で最も多く使われている符号化器は符号励振線形予測（Ｃ
ＥＬＰ）技術である。この波形マッチング手段は、およそ８ｋｂ／ｓ以上のビッ
トレートに対しては性能が良いことが知られている。しかし、ビットレートが低
くなると、符号化効率が下がり、各パラメータに使用できるビット数が少なくな
ると共に量子化精度が低下する。
ＥＬＰ）技術である。この波形マッチング手段は、およそ８ｋｂ／ｓ以上のビッ
トレートに対しては性能が良いことが知られている。しかし、ビットレートが低
くなると、符号化効率が下がり、各パラメータに使用できるビット数が少なくな
ると共に量子化精度が低下する。
【０００３】 文献１と２には、複数のサブフレームにわたって、利得パラメータに関連する
情報を累積的にベクトル量子化する方法を提案している。しかし、これらの方法
は、符号化器と復号器の内部状態を考慮していない。その結果、復号器で復号さ
れた信号は、符号化器で合成された最適信号とは異なっている。
情報を累積的にベクトル量子化する方法を提案している。しかし、これらの方法
は、符号化器と復号器の内部状態を考慮していない。その結果、復号器で復号さ
れた信号は、符号化器で合成された最適信号とは異なっている。
【０００４】
本発明の対象の１つは、低ビットレート、典型的には８ｋｂｉｔｓ／ｓ以下の
ビットレートに対して効率がよく、符号化器の内部状態と復号器の内部状態とを
同期させる、線形予測合成解析（ＬＰＡＳ）ＣＥＬＰに基づく符号化方法と符号
化器である。
ビットレートに対して効率がよく、符号化器の内部状態と復号器の内部状態とを
同期させる、線形予測合成解析（ＬＰＡＳ）ＣＥＬＰに基づく符号化方法と符号
化器である。
【０００５】 この目的は添付の請求項に規定される発明によって達成される。 簡潔に言えば、本発明は、複数のサブフレームの最適利得パラメータをベクト
ル量子化することによって符号化効率を向上させる。その後、内部符号化器の状
態をベクトル量子化した利得を使用して更新する。このことによって、符号化器
と復号器の内部状態の同期を維持しながらフレームを符号化するために必要なビ
ット数を低減することができる。
ル量子化することによって符号化効率を向上させる。その後、内部符号化器の状
態をベクトル量子化した利得を使用して更新する。このことによって、符号化器
と復号器の内部状態の同期を維持しながらフレームを符号化するために必要なビ
ット数を低減することができる。
【０００６】 添付の図面を参照しながら以下の記述を読むことによって本発明のさらに別の
目的や利点が理解されるはずである。
目的や利点が理解されるはずである。
【０００７】 本発明の理解を助けるために、まず典型的なＬＰＡＳ符号化器を簡単に説明す
る。 図１は、従来技術に属する典型的なＬＰＡＳ符号化器を示すブロック図である
。符号化器は、解析部と合成部とを具備している。
る。 図１は、従来技術に属する典型的なＬＰＡＳ符号化器を示すブロック図である
。符号化器は、解析部と合成部とを具備している。
【０００８】 解析部では、線形予測器１０が、（典型的には、８０００Ｈｚでスピーチをサ
ンプルした、長さ２０ｍｓの）スピーチフレームを受信し、量子化器１２によっ
て量子化した後で合成フィルタ１２（典型的な場合は、次数１０の全−ポールフ
ィルタ）を制御するためのフィルタ係数を決定する。量子化されていないフィル
タ係数は、重み付けフィルタ１６を制御するためにも使用される。
ンプルした、長さ２０ｍｓの）スピーチフレームを受信し、量子化器１２によっ
て量子化した後で合成フィルタ１２（典型的な場合は、次数１０の全−ポールフ
ィルタ）を制御するためのフィルタ係数を決定する。量子化されていないフィル
タ係数は、重み付けフィルタ１６を制御するためにも使用される。
【０００９】 合成部では、適用コードブック１８と固定コードブック２０からのコードベク
トルがスケーリングエレメント２２、２４で計量され、計量されたベクトルは加
算器２６で加算されて、合成フィルタ１４を励起させる励起ベクトルが作成され
、合成スピーチ信号ｓが得られる。フィードバックライン２８が適用コードブッ
ク１８に新しい励起ベクトルを追加して更新する。
トルがスケーリングエレメント２２、２４で計量され、計量されたベクトルは加
算器２６で加算されて、合成フィルタ１４を励起させる励起ベクトルが作成され
、合成スピーチ信号ｓが得られる。フィードバックライン２８が適用コードブッ
ク１８に新しい励起ベクトルを追加して更新する。
【００１０】 加算器３０は実際にスピーチ信号ｓと合成されたスピーチ信号ｓとの相違ｅを
作成する。誤差ｅの信号は、重み付けフィルタ１６で重み付けされ、重み付けさ
れた誤算信号ｅｗは検索アルゴリズムブロック３２に転送される。検索アルゴリ
ズムブロック３２は、フレームにわたって、下記の測定距離を最小にする、コー
ドブック１８、２０からのコードベクトルｃａ、ｃｆ、制御ライン３４、３６、
３８と４０からのスケールエレメント２２、２４の利得ｇａとｇｆとの最も好ま
しい組み合わせを決定する。
作成する。誤差ｅの信号は、重み付けフィルタ１６で重み付けされ、重み付けさ
れた誤算信号ｅｗは検索アルゴリズムブロック３２に転送される。検索アルゴリ
ズムブロック３２は、フレームにわたって、下記の測定距離を最小にする、コー
ドブック１８、２０からのコードベクトルｃａ、ｃｆ、制御ライン３４、３６、
３８と４０からのスケールエレメント２２、２４の利得ｇａとｇｆとの最も好ま
しい組み合わせを決定する。
【数１】 ここで、Ｗは、重み付けフィルタマトリックスであり、Ｈは合成フィルタマトリ
ックスである。
ックスである。
【００１１】 検索アルゴリズムは以下のように要約することができる。 各フレームについて、 １．線形予測に基づいて合成フィルタ１４を算出して、フィルタ係数を量子化す
る。 ２．現在と次のフレームの線形予測係数を補間して（分野によっては線スペクト
ル周波数）、各サブフレームのための線形予測係数を求める（典型的な場合にお
いては、８０００Ｈｚでサンプリングされた音声の５ｍｓ分、４０サンプル）。
重み付けフィルタ１６は線形予測フィルタ係数から算出する。
る。 ２．現在と次のフレームの線形予測係数を補間して（分野によっては線スペクト
ル周波数）、各サブフレームのための線形予測係数を求める（典型的な場合にお
いては、８０００Ｈｚでサンプリングされた音声の５ｍｓ分、４０サンプル）。
重み付けフィルタ１６は線形予測フィルタ係数から算出する。
【００１２】 上記フレーム内の各サブフレームについて、 １．ｇｆがゼロで、ｇａが最適値（量子化されない）に等しいと仮定して、適用
コードブック１８を検索してコードベクトルｃａを見つける。 ２．前のステップで発見されたコードベクトルｃａと利得ｇａを使用して、固定
コードブック２０を検索してコードベクトルｃｆを発見する。利得ｇｆは（量子
化していない）最適値と等しいと仮定する。 ３．利得係数ｇａとｇｆを量子化する。量子化方法は、スカラーまたはベクトル
量子化のいずれかである。 ４．ｃａとｃｆに基づいて作成した励起信号とｇａとｇｆの量子化した値で適用
コードブック１８を更新する。合成状態と重み付けフィルタを更新する。
コードブック１８を検索してコードベクトルｃａを見つける。 ２．前のステップで発見されたコードベクトルｃａと利得ｇａを使用して、固定
コードブック２０を検索してコードベクトルｃｆを発見する。利得ｇｆは（量子
化していない）最適値と等しいと仮定する。 ３．利得係数ｇａとｇｆを量子化する。量子化方法は、スカラーまたはベクトル
量子化のいずれかである。 ４．ｃａとｃｆに基づいて作成した励起信号とｇａとｇｆの量子化した値で適用
コードブック１８を更新する。合成状態と重み付けフィルタを更新する。
【００１３】 上述の構造では、それぞれのサブフレームは個別に符号化される。このことに
よって、符号化器と復号器の同期が容易になることがＬＰＡＳ符号化の基本的な
特徴である。サブフレームを個別に符号化するので、符号化器の合成部に相当す
る復号器の内部状態は、符号化器の内部状態が符号化の途中で更新されたように
、復号の途中で更新される。このことによって符号化器と復号器の内部状態の同
期が図られる。しかし、ビットレートが低いときにも正確な符号化を可能にする
ことが知られているベクトル量子化を可能な限り使用することが望ましい。以下
に示すように、本発明によれば、複数のサブフレームに関して利得を同時にベク
トル量子化して、しかも符号化器と復号器の同期を維持することが可能である。
よって、符号化器と復号器の同期が容易になることがＬＰＡＳ符号化の基本的な
特徴である。サブフレームを個別に符号化するので、符号化器の合成部に相当す
る復号器の内部状態は、符号化器の内部状態が符号化の途中で更新されたように
、復号の途中で更新される。このことによって符号化器と復号器の内部状態の同
期が図られる。しかし、ビットレートが低いときにも正確な符号化を可能にする
ことが知られているベクトル量子化を可能な限り使用することが望ましい。以下
に示すように、本発明によれば、複数のサブフレームに関して利得を同時にベク
トル量子化して、しかも符号化器と復号器の同期を維持することが可能である。
【００１４】 図２と３に本発明を図示する。 図２は、本発明に基づく方法を示すフロー図である。（従来技術にしたがって
、線形予測解析、量子化及び補間がすでに行われたものと仮定して）連続した２
つのサブフレームを符号化するために以下のアルゴリズムを使用することができ
る：
、線形予測解析、量子化及び補間がすでに行われたものと仮定して）連続した２
つのサブフレームを符号化するために以下のアルゴリズムを使用することができ
る：
【００１５】 Ｓ１．重み付けられた下記の誤差を最小にするサブフレーム１のための最適な
適用コードブックベクトルｃａ１を見つける：
適用コードブックベクトルｃａ１を見つける：
【数２】 ここで、式（２）においては、”１”はサブフレーム１を表す。さらに、それぞ
れの可能性のあるｃａ１の値を評価する際は、ｇａ１に関しては最適な（量子化
されていない）値が使用されるものと仮定する。
れの可能性のあるｃａ１の値を評価する際は、ｇａ１に関しては最適な（量子化
されていない）値が使用されるものと仮定する。
【００１６】 Ｓ２．可能性の有る各ｃｆ１ベクトルを評価する際はｇｆ１の最適値が使用さ
れると仮定して、重み付けられた下記の誤差を最小化する、サブフレーム１に関
する最適固定コードブックベクトルｃｆ１を見つける：
れると仮定して、重み付けられた下記の誤差を最小化する、サブフレーム１に関
する最適固定コードブックベクトルｃｆ１を見つける：
【数３】 このステップでは、ステップＳ１で決定したｃａ１ベクトルと最適ｇａ１の値を
使用する。
使用する。
【００１７】 Ｓ３．現在の適用コードブックの状態、現在の合成フィルタの状態と、現在の
重み付けフィルタの状態のコピーを格納する。適用コードブックは、ＦＩＦＯ（
先入れ先出し）エレメントである。このエレメントの状態は、現在ＦＩＦＯに入
っている値によって表現される。フィルタは遅延エレメント、スケーリングエレ
メント及び加算器の組み合わせである。フィルタの状態は、遅延エレメントへの
現在の入力信号とスケーリング値（フィルタ係数）によって表現される。
重み付けフィルタの状態のコピーを格納する。適用コードブックは、ＦＩＦＯ（
先入れ先出し）エレメントである。このエレメントの状態は、現在ＦＩＦＯに入
っている値によって表現される。フィルタは遅延エレメント、スケーリングエレ
メント及び加算器の組み合わせである。フィルタの状態は、遅延エレメントへの
現在の入力信号とスケーリング値（フィルタ係数）によって表現される。
【００１８】 Ｓ４．適用コードブックの状態、合成フィルタの状態、及び重み付けフィルタ
の状態を、ステップＳ１とＳ２で見つけたサブフレーム１の現在の励起ベクトル
の状態を、ステップＳ１とＳ２で見つけたサブフレーム１の現在の励起ベクトル
【数４】 を使用して更新する。このようにして、このベクトルは適用コードブックの中に
シフトされていく（そして、コードブックの反対側からは同じ長さのベクトルが
押し出されていく）。合成フィルタの状態と重み付けフィルタの状態は、それぞ
れに対応するフィルタ係数を補間された値で更新し、この励起ベクトルを合成フ
ィルタに通して、その結果の誤差ベクトルを重み付けフィルタに通すことで更新
される。
シフトされていく（そして、コードブックの反対側からは同じ長さのベクトルが
押し出されていく）。合成フィルタの状態と重み付けフィルタの状態は、それぞ
れに対応するフィルタ係数を補間された値で更新し、この励起ベクトルを合成フ
ィルタに通して、その結果の誤差ベクトルを重み付けフィルタに通すことで更新
される。
【００１９】 Ｓ５．以下に示す重み付け誤差を最小にする、サブフレーム２に最適な適用コ
ードブックベクトルｃａ２を見つける。
ードブックベクトルｃａ２を見つける。
【数５】 ここで、式（４）において、”２”はサブフレーム２を示す。さらに、可能性の
有るそれぞれのｃａ２ベクトルを評価する際は、（量子化されていない）ｇａ２
の最適値が使用されるものと仮定した。
有るそれぞれのｃａ２ベクトルを評価する際は、（量子化されていない）ｇａ２
の最適値が使用されるものと仮定した。
【００２０】 Ｓ６．それぞれの可能性の有るｃｆ２ベクトルを評価する際には最適なｇｆ２
の値が使用されるものと仮定して、以下に示す重み付けされた誤差を最小にする
、サブフレーム２のための最適なコードブックベクトルｃｆ２を見つける：
の値が使用されるものと仮定して、以下に示す重み付けされた誤差を最小にする
、サブフレーム２のための最適なコードブックベクトルｃｆ２を見つける：
【数６】 このステップでは、ステップＳ５で決定したｃａ２ベクトルと最適なｇａ２の値
を使用した。
を使用した。
【００２１】 Ｓ７．４つの利得ｇａ１、ｇｆ１、ｇａ２とｇｆ２すべてをベクトル量子化す
る。対応する量子化されたベクトル［ｇ-ａ１ ｇ-ｆ１ ｇ-ａ２ ｇ-ｆ２］が
、ベクトル量子化器の利得コードブックから得られる。コードブックは以下のよ
うに表現することができる。
る。対応する量子化されたベクトル［ｇ-ａ１ ｇ-ｆ１ ｇ-ａ２ ｇ-ｆ２］が
、ベクトル量子化器の利得コードブックから得られる。コードブックは以下のよ
うに表現することができる。
【数７】 ここで、ｃi（０）、ｃi（１）、ｃi（２）およびｃi（３）は、量子化された利
得が取ることのできる具体的な値である。ここで、０からＮ−１までの範囲で変
化する指標ｉは４つすべての利得を表現するように選択され、ベクトル量子化器
の役目はこの指標を発見することである。これは、以下の式を最小化することで
達成される。
得が取ることのできる具体的な値である。ここで、０からＮ−１までの範囲で変
化する指標ｉは４つすべての利得を表現するように選択され、ベクトル量子化器
の役目はこの指標を発見することである。これは、以下の式を最小化することで
達成される。
【数８】 ここで、αとβは、定数と第１と第２番目のサブフレームに対する利得量子化基
準であって、以下のように表される：
準であって、以下のように表される：
【数９】
【数１０】 したがって、
【数１１】 であって、かつ、
【数１２】
【００２２】 Ｓ８．ステップＳ３で格納された状態を読み出して、適用コードブックの状態
、合成フィルタの状態及び重み付けフィルタの状態を回復させる
、合成フィルタの状態及び重み付けフィルタの状態を回復させる
【００２３】 Ｓ９．下記に示す量子化された利得を使用して、第１のサブフレームのための
最後の励起を使用して、適用コードブック、合成フィルタと重み付けフィルタを
更新する。
最後の励起を使用して、適用コードブック、合成フィルタと重み付けフィルタを
更新する。
【数１３】
【００２４】 Ｓ１０．下記に示す量子化された利得を使用して、ｓ番目のサブフレームのた
めの最終的な励起を使用してコードブック、合成フィルタ及び重み付けフィルタ
を更新する。
めの最終的な励起を使用してコードブック、合成フィルタ及び重み付けフィルタ
を更新する。
【数１４】
【００２５】 これで両方のサブフレームについて符号化プロセスが終了したことになる。次
のステップは、次の２つのサブフレームに対してステップＳ１−Ｓ１０を繰り返
すか、フレームの終わりに到達したら、次のフレームの線形予測に基づいて符号
化サイクルを新たに開始するかである。
のステップは、次の２つのサブフレームに対してステップＳ１−Ｓ１０を繰り返
すか、フレームの終わりに到達したら、次のフレームの線形予測に基づいて符号
化サイクルを新たに開始するかである。
【００２６】 適用コードブック、合成フィルタ及び重み付けフィルタを記憶して後に回復す
る理由は、ステップＳ４でこれらのエレメントを更新する際にまだ量子化されて
いない（最適）利得を使用したからである。しかし、これらの利得は、現実のス
ピーチ信号ｓから計算されるものなので、符号化器では使用できない。代りに、
復号器では量子化された利得のみが利用可能であり、このことは、利得を量子化
した後で、符号化器において正しい内部状態を回復しておかなければならないこ
とを意味する。さもなければ、符号化器と復号器の内部状態は同じにならず、ス
ピーチパラメータが同じであっても、符号化器と復号器ではスピーチ信号が同じ
にならないことを意味する。
る理由は、ステップＳ４でこれらのエレメントを更新する際にまだ量子化されて
いない（最適）利得を使用したからである。しかし、これらの利得は、現実のス
ピーチ信号ｓから計算されるものなので、符号化器では使用できない。代りに、
復号器では量子化された利得のみが利用可能であり、このことは、利得を量子化
した後で、符号化器において正しい内部状態を回復しておかなければならないこ
とを意味する。さもなければ、符号化器と復号器の内部状態は同じにならず、ス
ピーチパラメータが同じであっても、符号化器と復号器ではスピーチ信号が同じ
にならないことを意味する。
【００２７】 式（７）と（１０）における重み付け係数αとβは、１番目と２番目のサブフ
レームの相対的な重要性を考慮するために導入されたものである。これらは、エ
ネルギーの大きなサブフレームの重みがエネルギーの低いサブフレームの重みよ
りも小さくなるようにエネルギーパラメータを使用して決定することが好ましい
。このことによって、オンセット（言葉の開始）とオフセット（言葉の終わり）
の特性が改善される。例えば、オンセットでもオフセットでもない音声の継続時
間に基づいたその他の重み付け関数を導入することも可能である。この重み付け
過程に好適なアルゴリズムを以下のように要約することができる： サブフレーム２のエネルギーが＞サブフレーム１のエネルギーの２倍 であれば、α＝２β サブフレーム２のエネルギーが＜０．２５ｘサブフレーム１のエネルギー であれば、α＝０．５β 上記以外では、α＝β
レームの相対的な重要性を考慮するために導入されたものである。これらは、エ
ネルギーの大きなサブフレームの重みがエネルギーの低いサブフレームの重みよ
りも小さくなるようにエネルギーパラメータを使用して決定することが好ましい
。このことによって、オンセット（言葉の開始）とオフセット（言葉の終わり）
の特性が改善される。例えば、オンセットでもオフセットでもない音声の継続時
間に基づいたその他の重み付け関数を導入することも可能である。この重み付け
過程に好適なアルゴリズムを以下のように要約することができる： サブフレーム２のエネルギーが＞サブフレーム１のエネルギーの２倍 であれば、α＝２β サブフレーム２のエネルギーが＜０．２５ｘサブフレーム１のエネルギー であれば、α＝０．５β 上記以外では、α＝β
【００２８】 図３は、本発明に基づくＬＰＡＳ符号化器の実施例を示すブロック図である。
エレメント１０−４０は図１の同様なエレメントに対応する。しかし、検索アル
ゴリズムブロック３２は検索アルゴリズムブロック５０で置換されている。検索
アルゴリズムブロック５０は、コードブックとスケーリングエレメントに加えて
、格納ブロック５２，５４，５６とベクトル量子化器５８を、それぞれ、制御ラ
イン６０，６２，６４と６６を通じて制御する。格納ブロック５２，５４，５６
は、適用コードブック１８、合成フィルタ１４と重み付けフィルタ１６をそれぞ
れ格納し、復元するために使用する。ベクトル量子化器５８は、利得コードブッ
ク６８から最適利得量子化ベクトルを見つけ出す。
エレメント１０−４０は図１の同様なエレメントに対応する。しかし、検索アル
ゴリズムブロック３２は検索アルゴリズムブロック５０で置換されている。検索
アルゴリズムブロック５０は、コードブックとスケーリングエレメントに加えて
、格納ブロック５２，５４，５６とベクトル量子化器５８を、それぞれ、制御ラ
イン６０，６２，６４と６６を通じて制御する。格納ブロック５２，５４，５６
は、適用コードブック１８、合成フィルタ１４と重み付けフィルタ１６をそれぞ
れ格納し、復元するために使用する。ベクトル量子化器５８は、利得コードブッ
ク６８から最適利得量子化ベクトルを見つけ出す。
【００２９】 アルゴリズム検索ブロック５０とベクトル量子化器５８の機能は、例えば、１
つまたは複数のマイクロプロセッサまたはマイクロ／信号プロセッサの組み合わ
せによって実現することができる。
つまたは複数のマイクロプロセッサまたはマイクロ／信号プロセッサの組み合わ
せによって実現することができる。
【００３０】 上述の実施例では、２つのサブフレームをベクトル量子化するものと仮定した
。しかし、より複雑になることが許容されるなら、この考え方を拡張して、スピ
ーチフレームのすべてのサブフレームの利得をベクトル量子化することで性能を
向上させることができる。このためには、利得をベクトル量子化した後の符号化
器の最終的な内部状態を正しく得るために、複数のサブフレームを逆にたどるこ
とが必要になる。
。しかし、より複雑になることが許容されるなら、この考え方を拡張して、スピ
ーチフレームのすべてのサブフレームの利得をベクトル量子化することで性能を
向上させることができる。このためには、利得をベクトル量子化した後の符号化
器の最終的な内部状態を正しく得るために、複数のサブフレームを逆にたどるこ
とが必要になる。
【００３１】 複数のサブフレーム境界を超えた利得のベクトル量子化が、符号化器と復号器
の間の同期を損なうことなく可能なことが示された。この方法は圧縮性能を顕著
に改善して大きなビットレートの節約をもたらす。例えば、各サブフレームの利
得の２次元ベクトル量子化に６ビットを使用するなら、品質を低下させることな
く２つのサブフレームの利得の４次元ベクトル量子化に８ビットが使用される。
したがって、サブフレームごとに２ビットが節約される（１／２（２ｘ６−８）
。これは、５ｍｓのサブフレームにおいては０．４kbits/sに相当する低ビット
レート（例えば８kbps/s未満）における極めて顕著な節約である。
の間の同期を損なうことなく可能なことが示された。この方法は圧縮性能を顕著
に改善して大きなビットレートの節約をもたらす。例えば、各サブフレームの利
得の２次元ベクトル量子化に６ビットを使用するなら、品質を低下させることな
く２つのサブフレームの利得の４次元ベクトル量子化に８ビットが使用される。
したがって、サブフレームごとに２ビットが節約される（１／２（２ｘ６−８）
。これは、５ｍｓのサブフレームにおいては０．４kbits/sに相当する低ビット
レート（例えば８kbps/s未満）における極めて顕著な節約である。
【００３２】 処理はサブフレームで変更されたに過ぎずフレームレベルの変更ではないので
、演算による遅延は生じていないことに注意する必要がある。さらに、この処理
の変更によって複雑さは極わずか増大したに過ぎない。
、演算による遅延は生じていないことに注意する必要がある。さらに、この処理
の変更によって複雑さは極わずか増大したに過ぎない。
【００３３】 サブフレーム相互間の誤差重み付け（α，β）を使用する実施例はスピーチ品
質を改善するものである。
質を改善するものである。
【００３４】 添付された特許請求の範囲によって規定される本発明の技術的範囲内において
、多くの変更が可能なことは当業者にとっては自明である。
、多くの変更が可能なことは当業者にとっては自明である。
【００３５】 参考文献 １．ヨーロッパ特許出願第０７６４９３９号（ＡＴ＆Ｔ）、６ページ、パラグラ
フＡ−ページ７ ２．ヨーロッパ特許出願第０６８４７０５号（日本電信電話）、３９カラム、１
７行−４０カラム、４行
フＡ−ページ７ ２．ヨーロッパ特許出願第０６８４７０５号（日本電信電話）、３９カラム、１
７行−４０カラム、４行
【図１】 従来技術に属する、典型的なＬＰＡＳ符号化器を示すブロック図
である。
である。
【図２】 本発明による方法を示すフロー図である。
【図３】 本発明に基づくＬＰＡＳ符号化器の実施例を示すブロック図であ
る。
る。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＲ， ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ，Ｇ Ｂ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ， ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，Ｙ Ｕ，ＺＡ，ＺＷ Ｆターム(参考） 5J064 AA02 BA13 BB03 BB09 BB12 BC01 BC11 BC16
Claims (14)
- 【請求項１】 複数のサブフレームの利得の最適値を決定し、 当該利得をベクトル量子化し、 該ベクトル量子化した利得を使用して符号化器の内部状態を更新することを特
徴とする、線形予測合成解析符号化方法。 - 【請求項２】 サブフレームを最適利得を使用して符号化した後に符号化器
の内部状態を格納し、 複数のサブフレームの利得をベクトル量子化した後で、符号化器の内部状態を
復元し、 前記決定されたコードブックベクトルと前記ベクトル量子化した利得を使用し
て、前記符号化器の内部状態を更新することを特徴とする、請求項１に記載の方
法。 - 【請求項３】 前記フィルタの内部状態は、適用コードボックスの状態、合
成フィルタの状態、及び重み付けフィルタの状態を含むものであることを特徴と
する請求項２に記載の方法。 - 【請求項４】 ２つのサブフレームの利得をベクトル量子化することを特徴
とする請求項１、２または３のいずれかに記載された方法。 - 【請求項５】 前記フレームのすべてのサブフレームのすべての利得をベク
トル量子化することを特徴とする請求項１、２または３のいずれかに記載された
方法。 - 【請求項６】 重み付け係数によって異なるサブフレームの重み付けを考慮
し、 重み付け誤差の合計を最小化することを特徴とする請求項１に記載の方法。 - 【請求項７】 重み付け係数は、対応するサブフレームのエネルギーに依存
して定められることを特徴とする請求項６に記載の方法。 - 【請求項８】 複数のサブフレームの最適利得を決定するための検索アルゴ
リズムブロック（５０）と、 当該最適利得をベクトル量子化するベクトル量子化器（５８）と、 該ベクトル量子化された利得を使用して内部符号化器の状態を更新するための
手段（５０、５２、５４、５６）とを具備することを特徴とする線形予測合成解
析符号化器。 - 【請求項９】 最適利得を使用してサブフレームを符号化した後で符号化器
の内部状態を格納する手段（５２、５４、５６）と、 複数のサブフレームから利得をベクトル量子化した後で、前記符号化器の内部
状態を復元する手段（５０）と、 決定されたコードブックベクトルと前記ベクトル量子化された利得とから符号
化器の内部状態を更新する手段（５０）を具備することを特徴とする請求項８に
記載の符号化器。 - 【請求項１０】 前記内部フィルタ状態格納手段は、適用コードブック状態
格納手段（５２）と、合成フィルタ状態格納手段（５４）と、重み付けフィルタ
状態格納手段（５６）とを有する請求項９に記載された符号化器。 - 【請求項１１】 ベクトル量子化手段は２つのサブフレームの利得をベクト
ル量子化することを特徴とする請求項８、９または１０のいずれかに記載された
符号化器。 - 【請求項１２】 ベクトル量子化手段は、１つのスピーチフレームのすべて
のサブフレームのすべての利得をベクトル量子化することを特徴とする請求項８
、９または１０のいずれかに記載された符号化器。 - 【請求項１３】 異なるサブフレームの誤差寄与を重み付け係数によって、
誤差の寄与の合計が最小になるように重み付ける手段（５８）を有することを特
徴とする請求項８に記載の符号化器。 - 【請求項１４】 手段（５８）の重み付け係数は対応するサブフレームのエ
ネルギーに依存して定められることを特徴とする請求項１３に記載の符号化器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE9803165A SE519563C2 (sv) | 1998-09-16 | 1998-09-16 | Förfarande och kodare för linjär prediktiv analys-genom- synteskodning |
| SE9803165-1 | 1998-09-16 | ||
| PCT/SE1999/001433 WO2000016315A2 (en) | 1998-09-16 | 1999-08-24 | Linear predictive analysis-by-synthesis encoding method and encoder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002525897A true JP2002525897A (ja) | 2002-08-13 |
| JP3893244B2 JP3893244B2 (ja) | 2007-03-14 |
Family
ID=20412633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000570771A Expired - Lifetime JP3893244B2 (ja) | 1998-09-16 | 1999-08-24 | 線形予測合成解析符号化方法と符号化器 |
Country Status (15)
| Country | Link |
|---|---|
| US (1) | US6732069B1 (ja) |
| EP (1) | EP1114415B1 (ja) |
| JP (1) | JP3893244B2 (ja) |
| KR (1) | KR100416363B1 (ja) |
| CN (1) | CN1132157C (ja) |
| AR (1) | AR021221A1 (ja) |
| AU (1) | AU756491B2 (ja) |
| BR (1) | BR9913715B1 (ja) |
| CA (1) | CA2344302C (ja) |
| DE (1) | DE69922388T2 (ja) |
| MY (1) | MY122181A (ja) |
| SE (1) | SE519563C2 (ja) |
| TW (1) | TW442776B (ja) |
| WO (1) | WO2000016315A2 (ja) |
| ZA (1) | ZA200101867B (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010078915A (ja) * | 2008-09-26 | 2010-04-08 | Fujitsu Ltd | オーディオ復号方法、装置、及びプログラム |
| JP2010139671A (ja) * | 2008-12-11 | 2010-06-24 | Fujitsu Ltd | オーディオ復号装置、方法、及びプログラム |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8027242B2 (en) | 2005-10-21 | 2011-09-27 | Qualcomm Incorporated | Signal coding and decoding based on spectral dynamics |
| US8392176B2 (en) | 2006-04-10 | 2013-03-05 | Qualcomm Incorporated | Processing of excitation in audio coding and decoding |
| US8428957B2 (en) | 2007-08-24 | 2013-04-23 | Qualcomm Incorporated | Spectral noise shaping in audio coding based on spectral dynamics in frequency sub-bands |
| EP2593937B1 (en) * | 2010-07-16 | 2015-11-11 | Telefonaktiebolaget LM Ericsson (publ) | Audio encoder and decoder and methods for encoding and decoding an audio signal |
| CN104025191A (zh) * | 2011-10-18 | 2014-09-03 | 爱立信(中国)通信有限公司 | 用于自适应多速率编解码器的改进方法和设备 |
| US12088643B2 (en) * | 2022-04-15 | 2024-09-10 | Google Llc | Videoconferencing with reduced quality interruptions upon participant join |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69029120T2 (de) * | 1989-04-25 | 1997-04-30 | Toshiba Kawasaki Kk | Stimmenkodierer |
| JP2776050B2 (ja) * | 1991-02-26 | 1998-07-16 | 日本電気株式会社 | 音声符号化方式 |
| SE469764B (sv) * | 1992-01-27 | 1993-09-06 | Ericsson Telefon Ab L M | Saett att koda en samplad talsignalvektor |
| EP0577488B9 (en) * | 1992-06-29 | 2007-10-03 | Nippon Telegraph And Telephone Corporation | Speech coding method and apparatus for the same |
| IT1257431B (it) * | 1992-12-04 | 1996-01-16 | Sip | Procedimento e dispositivo per la quantizzazione dei guadagni dell'eccitazione in codificatori della voce basati su tecniche di analisi per sintesi |
| CA2118986C (en) * | 1994-03-14 | 1998-09-22 | Toshiki Miyano | Speech coding system |
| US5651090A (en) * | 1994-05-06 | 1997-07-22 | Nippon Telegraph And Telephone Corporation | Coding method and coder for coding input signals of plural channels using vector quantization, and decoding method and decoder therefor |
| SE504397C2 (sv) * | 1995-05-03 | 1997-01-27 | Ericsson Telefon Ab L M | Metod för förstärkningskvantisering vid linjärprediktiv talkodning med kodboksexcitering |
| CN1100396C (zh) * | 1995-05-22 | 2003-01-29 | Ntt移动通信网株式会社 | 语音解码器 |
| DE69620967T2 (de) * | 1995-09-19 | 2002-11-07 | At & T Corp., New York | Synthese von Sprachsignalen in Abwesenheit kodierter Parameter |
| KR100277096B1 (ko) * | 1997-09-10 | 2001-01-15 | 윤종용 | 음성압축을 위한 코드워드와 양자화된 이득 선택방법 |
| US6199037B1 (en) * | 1997-12-04 | 2001-03-06 | Digital Voice Systems, Inc. | Joint quantization of speech subframe voicing metrics and fundamental frequencies |
| US6104992A (en) * | 1998-08-24 | 2000-08-15 | Conexant Systems, Inc. | Adaptive gain reduction to produce fixed codebook target signal |
| US6260010B1 (en) * | 1998-08-24 | 2001-07-10 | Conexant Systems, Inc. | Speech encoder using gain normalization that combines open and closed loop gains |
-
1998
- 1998-09-16 SE SE9803165A patent/SE519563C2/sv unknown
-
1999
- 1999-08-20 MY MYPI99003570A patent/MY122181A/en unknown
- 1999-08-24 KR KR10-2001-7003364A patent/KR100416363B1/ko not_active IP Right Cessation
- 1999-08-24 JP JP2000570771A patent/JP3893244B2/ja not_active Expired - Lifetime
- 1999-08-24 BR BRPI9913715-1B1A patent/BR9913715B1/pt active IP Right Grant
- 1999-08-24 CN CN998110027A patent/CN1132157C/zh not_active Expired - Lifetime
- 1999-08-24 CA CA2344302A patent/CA2344302C/en not_active Expired - Lifetime
- 1999-08-24 AU AU63757/99A patent/AU756491B2/en not_active Expired
- 1999-08-24 EP EP99951293A patent/EP1114415B1/en not_active Expired - Lifetime
- 1999-08-24 WO PCT/SE1999/001433 patent/WO2000016315A2/en active IP Right Grant
- 1999-08-24 DE DE69922388T patent/DE69922388T2/de not_active Expired - Lifetime
- 1999-08-24 ZA ZA200101867A patent/ZA200101867B/en unknown
- 1999-09-15 US US09/396,300 patent/US6732069B1/en not_active Expired - Lifetime
- 1999-09-16 AR ARP990104663A patent/AR021221A1/es active IP Right Grant
- 1999-09-16 TW TW088115999A patent/TW442776B/zh not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010078915A (ja) * | 2008-09-26 | 2010-04-08 | Fujitsu Ltd | オーディオ復号方法、装置、及びプログラム |
| US8619999B2 (en) | 2008-09-26 | 2013-12-31 | Fujitsu Limited | Audio decoding method and apparatus |
| JP2010139671A (ja) * | 2008-12-11 | 2010-06-24 | Fujitsu Ltd | オーディオ復号装置、方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2344302C (en) | 2010-11-30 |
| CA2344302A1 (en) | 2000-03-23 |
| WO2000016315A3 (en) | 2000-05-25 |
| TW442776B (en) | 2001-06-23 |
| BR9913715A (pt) | 2001-05-29 |
| US6732069B1 (en) | 2004-05-04 |
| KR100416363B1 (ko) | 2004-01-31 |
| DE69922388T2 (de) | 2005-12-22 |
| DE69922388D1 (de) | 2005-01-05 |
| AR021221A1 (es) | 2002-07-03 |
| SE9803165L (sv) | 2000-03-17 |
| AU6375799A (en) | 2000-04-03 |
| BR9913715B1 (pt) | 2013-07-30 |
| SE9803165D0 (sv) | 1998-09-16 |
| WO2000016315A2 (en) | 2000-03-23 |
| JP3893244B2 (ja) | 2007-03-14 |
| ZA200101867B (en) | 2001-09-13 |
| MY122181A (en) | 2006-03-31 |
| CN1318190A (zh) | 2001-10-17 |
| CN1132157C (zh) | 2003-12-24 |
| EP1114415B1 (en) | 2004-12-01 |
| AU756491B2 (en) | 2003-01-16 |
| EP1114415A2 (en) | 2001-07-11 |
| KR20010075134A (ko) | 2001-08-09 |
| SE519563C2 (sv) | 2003-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7184953B2 (en) | Transcoding method and system between CELP-based speech codes with externally provided status | |
| JP3042886B2 (ja) | ベクトル量子化器の方法および装置 | |
| KR100304682B1 (ko) | 음성 코더용 고속 여기 코딩 | |
| JP3114197B2 (ja) | 音声パラメータ符号化方法 | |
| JPH10187196A (ja) | 低ビットレートピッチ遅れコーダ | |
| JPH0990995A (ja) | 音声符号化装置 | |
| JPH056199A (ja) | 音声パラメータ符号化方式 | |
| US7792670B2 (en) | Method and apparatus for speech coding | |
| EP1420391A1 (en) | Generalized analysis-by-synthesis speech coding method, and coder implementing such method | |
| US7047188B2 (en) | Method and apparatus for improvement coding of the subframe gain in a speech coding system | |
| US6330531B1 (en) | Comb codebook structure | |
| JP2002525897A (ja) | 線形予測合成解析符号化方法と符号化器 | |
| US6622120B1 (en) | Fast search method for LSP quantization | |
| US6785646B2 (en) | Method and system for performing a codebook search used in waveform coding | |
| JPH06282298A (ja) | 音声の符号化方法 | |
| Salami et al. | A fully vector quantised self-excited vocoder | |
| JP3194930B2 (ja) | 音声符号化装置 | |
| JP3229784B2 (ja) | 音声符号化復号化装置及び音声復号化装置 | |
| MXPA01002655A (en) | Linear predictive analysis-by-synthesis encoding method and encoder | |
| KR20010084468A (ko) | 음성 부호화기의 ｌｓｐ 양자화기를 위한 고속 탐색 방법 | |
| KR100389898B1 (ko) | 음성부호화에 있어서 선스펙트럼쌍 계수의 양자화 방법 | |
| JP2002527777A (ja) | 音声信号標本値の符号化または復号化のための方法並びに符号化器ないし復号化器 | |
| JPH05165498A (ja) | 音声符号化方法 | |
| JPH09244698A (ja) | 音声符号／復号化方式及び装置 | |
| WO1993004466A1 (en) | Method and apparatus for codeword searching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060620 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060920 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061121 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3893244 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |