JP2002518694A - 音声符号化装置及び音声復号化装置 - Google Patents

音声符号化装置及び音声復号化装置

Info

Publication number
JP2002518694A
JP2002518694A JP2000553944A JP2000553944A JP2002518694A JP 2002518694 A JP2002518694 A JP 2002518694A JP 2000553944 A JP2000553944 A JP 2000553944A JP 2000553944 A JP2000553944 A JP 2000553944A JP 2002518694 A JP2002518694 A JP 2002518694A
Authority
JP
Japan
Prior art keywords
codebook
sub
excitation
pulses
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000553944A
Other languages
English (en)
Other versions
JP3955179B2 (ja
Inventor
利幸 森井
和敏 安永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2002518694A publication Critical patent/JP2002518694A/ja
Application granted granted Critical
Publication of JP3955179B2 publication Critical patent/JP3955179B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0004Design or structure of the codebook
    • G10L2019/0005Multi-stage vector quantisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0013Codebook search algorithms
    • G10L2019/0014Selection criteria for distances

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 第1及び第2符号帳61,62がそれぞれ2つのサブ符号帳を有し、それぞれの符号帳内で、2つのサブ符号帳から取り出したサブ音源ベクトルを加算部66,67でそれぞれ加算して音源ベクトルを得る。それら音源ベクトルを加算部68で加算することにより音源サンプルを得る。このような構成により、それぞれのサブ符号帳に特徴の異なるサブ音源ベクトルを格納することができ、多様な特徴を持つ入力信号に対応することが可能となり、復号時には良好な音質を実現することができる。

Description

【発明の詳細な説明】
【0001】 (技術分野) 本発明は、携帯電話やディジタル通信などに用いられ、低ビットレートにおけ
る音声符号化アルゴリズムを用いた音声符号化装置及び音声復号化装置に関する
【0002】 (背景技術) 携帯電話等のディジタル移動通信の分野では加入者の増加に対処するために低
ビットレートの音声の圧縮符号化法が求められており、各研究機関において研究
開発が進んでいる。日本国内においては、モトローラ社で開発されたビットレー
ト11.2kbpsのVSELP、NTT移動通信網株式会社で開発されたビッ
トレート5.6kbpsのPSI−CELPという符号化方式が携帯電話の標準
方式として採用され、この方式による携帯電話が製品化されている。
【0003】 また、国際的には、1997年にITU−TがNTTとフランステレコムが共
同して開発したCS−ACELPが8kbpsの国際標準音声符号化方式G.7
29に選定された。この方式は日本国内の携帯電話の音声符号化方式として使用
される予定である。
【0004】 これまで述べた音声符号化方式は、いずれもCELP(Code Exited Linear P
rediction: M.R.Schroeder ”High Quality Speech at Low Bit Rates” Proc.I
CASSP'85 pp.937-940 に記載されている)という方式を改良したものである。こ
の方式は、音声を音源情報と声道情報とに分離し、音源情報については符号帳に
格納された複数の音源サンプルのインデックスによって符号化し、声道情報につ
いてはLPC(線形予測係数)を符号化するということ、並びに音源情報符号化
の際に声道情報を考慮して入力音声に対して比較を行うという方法(A−b−S
:Analysis by Synthesis)を採用していること、を特徴としている。
【0005】 ここで、CELP方式の基本的アルゴリズムについて図1を用いて説明する。
図1はCELP方式の音声符号化装置の構成を示すブロック図である。図1に示
す音声符号化装置において、LPC分析部2は、入力された音声データ1に対し
て自己相関分析及びLPC分析を行うことによってLPC係数を得る。また、L
PC分析部2は、得られたLPC係数の符号化を行うことによりLPC符号を得
る。さらに、LPC分析部2は、得られたLPC符号を復号化して復号化された
LPC係数を得る。
【0006】 次に、音源作成部5は、適応符号帳3と確率的符号帳4に格納された音源サン
プル(それぞれ適応コードベクトル(又は適応音源)と確率的コードベクトル(
又は確率的音源)と呼ぶ)を取り出し、それぞれをLPC合成部6へ送る。LP
C合成部6は、音源作成部5で得られた2つの音源に対して、LPC分析部2で
得られた復号化されたLPC係数によってフィルタリングを行い、2つの合成音
を得る。
【0007】 比較部7は、LPC合成部6で得られた2つの合成音と入力音声との関係を分
析し、2つの合成音の最適値(最適ゲイン)を求め、その最適ゲインによってパ
ワー調整したそれぞれの合成音を加算して総合合成音を得て、その総合合成音と
入力音声との間の距離計算を行う。また、比較部7は、さらに、適応符号帳3と
確率的符号帳4の全ての音源サンプルに対して、音源作成部5、LPC合成部6
を機能させることによって得られる多くの合成音と入力音声との間の距離計算を
行い、その結果得られる距離の中で最も小さいときの音源サンプルのインデック
スを求める。そして、比較部7は、得られた最適ゲイン、各符号帳の音源サンプ
ルのインデックス、並びにそのインデックスに対応する2つの音源サンプルをパ
ラメータ符号化部8へ送る。
【0008】 パラメータ符号化部8は、最適ゲインの符号化を行うことによってゲイン符号
を得て、LPC符号、音源サンプルのインデックスをまとめて伝送路9へ送る。
また、パラメータ符号化部8は、ゲイン符号とインデックスに対応する2つの音
源から実際の音源信号(合成音源)を作成し、それを適応符号帳3に格納すると
同時に古い音源サンプルを破棄する。
【0009】 なお、LPC合成部6における合成は、線形予測係数、高域強調フィルタ、又
は長期予測係数(入力音声の長期予測分析を行うことによって得られる)を用い
た聴感重み付けフィルタを併用するのが一般的である。また、適応符号帳と確率
的符号帳に対する音源探索は、分析区間をさらに細かく分けた区間(サブフレー
ムと呼ばれる)で行われるのが一般的である。
【0010】 ここで、確率的符号帳について説明する。 適応符号帳は、人間の声帯の振動の周期で存在する長期相関を利用して高能率
に圧縮するための符号帳であり、過去の合成音源が格納されている。それに対し
て、確率的符号帳は、音源信号の統計的性質を反映させた固定符号帳である。確
率的符号帳に格納される音源サンプルとしては、例えば乱数列、パルス列、音声
データを用いた統計的学習により得られた乱数列/パルス列、又は代数的に作成
された少数のパルス列(代数的符号帳)等がある。特に最近注目されているのは
代数的符号帳であり、8kbps程度のビットレートにおいて、少ない計算量で
良好な音質が得られることが知られている。
【0011】 しかしながら、より低ビットレートの符号化に少数パルスの確率的音源を適用
すると、無声子音や背景ノイズを中心に音質が大きく劣化するという現象が起こ
る。一方、低ビットレートの符号化に乱数列等の多数パルスの音源を適用すると
、有声音を中心に音質が大きく劣化するという現象が起こる。これらを改善する
ために、有声/無声判定を行ってマルチコードブックにする方法も検討されてい
るが、処理が複雑で、音声信号によっては判定誤りを起こし異音を生ずることも
ある。
【0012】 このように、有声音でも無声音や背景ノイズでも効率良い符号化に対応できる
確率的符号帳はこれまで存在しておらず、有声音でも無声音や背景ノイズでも効
率よく符号化できる音声符号化装置及び音声復号化装置が望まれていた。
【0013】 (発明の開示) 本発明の目的は、有声音でも無声音や背景ノイズでも効率よく符号化でき、少
ない情報量、演算量で良質の音声を得ることができる音声符号化装置及び音声復
号化装置を提供することである。
【0014】 本発明者らは、低ビットレートの符号化にパルスの音源を適用する場合におい
て、音声の有声音部分では、パルス位置が比較的近く、音声の無声音や背景ノイ
ズ部分では、パルス位置が比較的遠いことに着目した。すなわち、本発明者らは
、有声音においては、人間の声帯波の特徴である、エネルギーが集中した音源サ
ンプルが必要であり、その場合は位置の近い少数パルスが選択される傾向があり
、無声音/背景ノイズにおいては、より乱数的な音源が必要であり、その場合は
エネルギーのより拡散した多数パルスが選択される傾向があることに着目した。
【0015】 上記考察に基づいて、本発明者らは、パルス位置の遠近により、音声が有声音
部分であるか、無声音や背景ノイズ部分であるかを識別し、この識別結果に基づ
いて、有声音部分及び無声音や背景ノイズ部分に適するパルス列を用いることで
聴感が向上することを見出して本発明をするに至った。
【0016】 すなわち、本発明は、特徴の異なる2つのサブ符号帳を有する複数の符号帳を
用い、それぞれのサブ符号帳の音源ベクトルを加算して音源ベクトルを得ること
を特徴とする。このアルゴリズムにより、少数パルスの音源ベクトルの位置の相
対関係から、パルス位置が近い場合は少数パルス音源としての特徴が現われ、パ
ルス位置が遠い場合には多数パルス音源としての特徴が現われる。これは、背景
ノイズを含む音声信号の特徴に良く適応している。
【0017】 したがって、特別な有声/無声判定アルゴリズムを使用しなくても、入力信号
の局所的特徴に最適な音源が自動的に選択でき、有声音でも無声音や背景ノイズ
でも効率よく符号化できると共に、少ない情報量、演算量で良好な音質の合成音
を得ることができる。
【0018】 (発明を実施するための最良の形態) 以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【0019】 (実施の形態1) 図2は、本発明の実施の形態1〜3に係る音声符号化/復号化装置を備えた無
線通信装置の構成を示すブロック図である。
【0020】 この無線通信装置において、送信側で音声がマイクなどの音声入力装置221
によって電気的アナログ信号に変換され、A/D変換器22に出力される。アナ
ログ音声信号は、A/D変換器22によってディジタル音声信号に変換され、音
声符号化部23に出力される。音声符号化部23は、ディジタル音声信号に対し
て音声符号化処理を行い、符号化した情報を変復調部24に出力する。変復調部
24は、符号化された音声信号をディジタル変調して、無線送信回路25に送る
。無線送信回路25では、変調後の信号に所定の無線送信処理を施す。この信号
は、アンテナ26を介して送信される。なお、プロセッサ24は、適宜RAM2
5及びROM26に格納されたデータを用いて処理を行う。
【0021】 一方、無線通信装置の受信側では、アンテナ26で受信した受信信号は、無線
受信回路27で所定の無線受信処理が施され、変復調部24に送られる。変復調
部24では、受信信号に対して復調処理を行い、復調後の信号を音声復号化部2
8に出力する。音声復号化部28は、復調後の信号に復号処理を行ってディジタ
ル復号音声信号を得て、そのディジタル復号音声信号をD/A変換器29へ出力
する。D/A変換器29は、音声復号化部28から出力されたディジタル復号音
声信号をアナログ復号音声信号に変換してスピーカなどの音声出力装置30に出
力する。最後に音声出力装置30が電気的アナログ復号音声信号を復号音声に変
換して出力する。
【0022】 ここで、音声符号化部23及び音声復号化部28は、RAM32及びROM3
3に格納された符号帳を用いてDSPなどのプロセッサ31により動作する。ま
た、これらの動作プログラムは、ROM33に格納されている。
【0023】 図3は、本発明の実施の形態1〜3に係るCELP方式の音声符号化装置の構
成を示すブロック図である。この音声符号化装置は、図2に示す音声符号化部2
3に含まれている。なお、図3に示す適応符号帳43は図2に示すRAM32に
格納されており、図3に示す確率的符号帳44は図2に示すROM33に格納さ
れている。
【0024】 図3に示す音声符号化装置(以下、符号器とも呼ぶ)において、LPC分析部
42は、入力された音声データ41に対して自己相関分析及びLPC分析を行う
ことによってLPC係数を得る。また、LPC分析部42は、得られたLPC係
数の符号化を行うことによりLPC符号を得る。さらに、LPC分析部42は、
得られたLPC符号を復号化して復号化されたLPC係数を得る。この符号化の
際には、LSP(Line Spectrum Pair)等、補間性の良いパラメータに変換してV
Q(Vector Quantization)により符号化するのが一般的である。
【0025】 次に、音源作成部45は、適応符号帳43と確率的符号帳44に格納された音
源サンプル(それぞれ適応コードベクトル(又は適応音源)と確率的コードベク
トル(又は確率的音源)と呼ぶ)を取り出し、それぞれをLPC合成部46へ送
る。ここで、適応符号帳とは、過去に合成した音源信号が格納されている符号帳
であり、インデックスとなるのは、どれだけ前の時間の合成音源を使用するか(
タイムラグ)である。
【0026】 LPC合成部46は、音源作成部45で得られた2つの音源に対して、LPC
分析部42で得られた復号化されたLPC係数によってフィルタリングを行い、
2つの合成音を得る。
【0027】 比較部47は、LPC合成部46で得られた2つの合成音と入力音声との関係
を分析し、2つの合成音の最適値(最適ゲイン)を求め、その最適ゲインによっ
てパワー調整したそれぞれの合成音を加算して総合合成音を得て、その総合合成
音と入力音声との間の距離計算を行う。また、比較部47は、さらに、適応符号
帳43と確率的符号帳44の全ての音源サンプルに対して、音源作成部45、L
PC合成部46を機能させることによって得られる多くの合成音と入力音声との
間の距離計算を行い、その結果得られる距離の中で最も小さいときの音源サンプ
ルのインデックスを求める。そして、比較部47は、得られた最適ゲイン、各符
号帳の音源サンプルのインデックス、並びにそのインデックスに対応する2つの
音源サンプルをパラメータ符号化部48へ送る。
【0028】 パラメータ符号化部48は、最適ゲインの符号化を行うことによってゲイン符
号を得て、LPC符号、音源サンプルのインデックスをまとめて伝送路49へ送
る。また、パラメータ符号化部48は、ゲイン符号とインデックスに対応する2
つの音源から実際の音源信号(合成音源)を作成し、それを適応符号帳43に格
納すると同時に古い音源サンプルを破棄する。
【0029】 なお、LPC合成部46における合成は、線形予測係数、高域強調フィルタ、
又は長期予測係数(入力音声の長期予測分析を行うことによって得られる)を用
いた聴感重み付けフィルタを併用するのが一般的である。また、適応符号帳と確
率的符号帳に対する音源探索は、分析区間をさらに細かく分けた区間(サブフレ
ームと呼ばれる)で行われるのが一般的である。
【0030】 図3は、本発明の実施の形態1〜3に係るCELP方式の音声復号化装置の構
成を示すブロック図である。この音声復号化装置は、図2に示す音声復号化部2
8に含まれている。なお、図4に示す適応符号帳53は図2に示すRAM32に
格納されており、図4に示す確率的符号帳54は図2に示すROM33に格納さ
れている。
【0031】 図3に示す音声符号化装置(以下、復号器とも呼ぶ)において、パラメータ復
号化部52は、伝送路51から符号化された音声信号を得ると共に、各音源符号
帳(適応符号帳53、確率的符号帳54)の音源サンプルの符号、LPC符号、
及びゲイン符号を得る。そして、LPC符号から復号化されたLPC係数を得て
、ゲイン符号から復号化されたゲインを得る。
【0032】 そして、音源作成部55は、それぞれの音源サンプルに復号化されたゲインを
乗じて加算することによって復号化された音源信号を得る。この際、得られた復
号化された音源信号を、音源サンプルとして適応符号帳53へ格納し、同時に古
い音源サンプルを破棄する。そして、LPC合成部56では、復号化された音源
信号に復号化されたLPC係数によるフィルタリングを行うことによって、合成
音を得る。
【0033】 また、2つの音源符号帳は、図3に示す音声符号化装置に含まれるもの(図3
の参照符号43,44)と同様のものであり、音源サンプルを取り出すためのサ
ンプル番号(適応符号帳への符号と確率的符号帳への符号)は、いずれもパラメ
ータ復号化部52から供給される(後述する図5における破線(比較部47から
の制御)に相当する)。
【0034】 次に、上記構成を有する音声符号化装置及び音声復号化装置における、音源サ
ンプルを格納する確率的符号帳44,54の機能について、図5を用いて詳細に
説明する。図5は、本発明の実施の形態1に係る音声符号化装置/音声復号化装
置の確率的符号帳を示すブロック図である。
【0035】 確率的符号帳は、第1符号帳61及び第2符号帳62を有しており、第1及び
第2符号帳61,62は、それぞれ2つのサブ符号帳61a,61b、サブ符号
帳62a,62bを有している。確率的符号帳は、また、サブ符号帳61a,6
2aのパルス位置によりサブ符号帳61b,62bの出力のゲインを算出する加
算ゲイン算出部63を有する。
【0036】 サブ符号帳61a,62aは、音声が有声音の場合(パルス位置が比較的近い
場合)に主に使用する符号帳であり、1本のパルスからなるサブ音源ベクトルを
複数格納することにより作成されている。また、サブ符号帳61b,62bは、
音声が無声音や背景ノイズの場合(パルス位置が比較的遠い場合)に主に使用す
る符号帳であり、パワーが分散した複数パルス列からなるサブ音源ベクトルを複
数格納することにより作成されている。音源サンプルは、このように作成された
確率的符号帳内で生成される。なお、パルス位置の遠近については後述する。
【0037】 また、サブ符号帳61a,62aは、代数的にパルスを配置するという方法で
作成され、サブ符号帳61b,62bは、ベクトルの長さ(サブフレーム長)を
幾つかの部分区間に分け、それぞれの部分区間毎に必ず1本のパルスが存在する
(パルスが全体にわたって拡散する)ように構成する方法により作成される。
【0038】 これらの符号帳は予め作成しておく。本実施の形態においては、図5に示すよ
うに、符号帳数は2に設定し、それぞれの符号帳は2つのサブ符号帳を有する。
【0039】 第1符号帳61のサブ符号帳61aに格納されているサブ音源ベクトルは、図
6(a)に示すようになっている。また、第1符号帳61のサブ符号帳61bに
格納されているサブ音源ベクトルは、図6(b)に示すようになっている。同様
に、第2符号帳62のサブ符号帳62a,62bは、それぞれ図6(a),図6
(b)に示すようなサブ音源ベクトルを格納している。
【0040】 なお、サブ符号帳61b,62bのサブ音源ベクトルのパルス位置と極性は、
乱数を用いて作成する。このように構成することにより、ばらつきはあるが、ベ
クトルの長さ全体に渡って均一にパワーが分散したサブ音源ベクトルを作成する
ことができる。図6(b)では、部分区間数4の場合を例として示している。ま
た、2つのサブ符号帳において、それぞれ同一インデックス(番号)のサブ音源
ベクトルが同時に使用される。
【0041】 次に、上記構成を有する確率的符号帳を用いた音声符号化について説明する。 まず、加算ゲイン算出部63が、音声符号化装置の比較部47からの符号にし
たがって音源ベクトル番号(インデックス)を算出する。この比較部47から送
られる符号は、音源ベクトル番号に対応しており、この符号により音源ベクトル
番号が判別できるようになっている。加算ゲイン算出部63は、判別された音源
ベクトル番号に対応する少数パルスのサブ音源ベクトルをサブ符号帳61a,6
2aから取り出す。そして、加算ゲイン算出部63は、取り出されたサブ音源ベ
クトルのパルス位置から加算ゲインを算出する。この加算ゲインの計算は、下記
の式1により行う。
【0042】 g=┃P1−P2┃/L …式1 ここで、gは加算ゲインを示し、P1,P2はそれぞれ符号帳61a,62a
のパルス位置を示し、Lはベクトル長(サブフレーム長)を示す。また、┃ ┃
は絶対値を表す。
【0043】 上記式1によれば、加算ゲインは、パルス位置が近い(パルス間の距離が短い
)程小さい値に、遠い程大きい値となり、下限は0、上限は1となる。したがっ
て、パルス位置が近い程、サブ符号帳61b,62bのゲインが相対的に小さく
なる。この結果、有声音に対応するサブ符号帳61a,62aの影響が大きくな
る。一方、パルス位置が遠い程(パルス間の距離が長い)、サブ符号帳61b,
62bのゲインが相対的に大きくなる。この結果、無声音や背景ノイズに対応す
るサブ符号帳61b,62bの影響が大きくなる。このようなゲイン制御を行う
ことにより、聴感的に良い音を得ることができる。
【0044】 次いで、加算ゲイン算出部63は、比較部47から送られてきた音源ベクトル
の番号を参照して、多数パルスのサブ符号帳61b,62bから2つのサブ音源
ベクトルを得る。このサブ符号帳61b,62bから2つのサブ音源ベクトルは
、それぞれ加算ゲイン乗算部64,65に送られ、そこで加算ゲイン算出部63
で得られた加算ゲインが乗算される。
【0045】 さらに、音源ベクトル加算部66は、比較部47から送られてきた音源ベクト
ルの番号を参照して、少数パルスのサブ符号帳61aからサブ音源ベクトルを得
て、上記加算ゲイン算出部63で得られた加算ゲインを乗じたサブ符号帳61b
からのサブ音源ベクトルとを加算して、音源ベクトルを得る。同様に、音源ベク
トル加算部67は、比較部47から送られてきた音源ベクトルの番号を参照して
、少数パルスのサブ符号帳62aからサブ音源ベクトルを得て、上記加算ゲイン
算出部63で得られた加算ゲインを乗じたサブ符号帳62bからのサブ音源ベク
トルとを加算して、音源ベクトルを得る。
【0046】 サブ音源ベクトルを加算して得られた音源ベクトルは、それぞれ音源ベクトル
加算部68に送られて加算される。これにより、音源サンプル(確率的コードベ
クトル)が得られる。この音源サンプルは、音源作成部45,パラメータ符号化
部48に送られる。
【0047】 一方、復号化側では、予め符号器と同様の適応符号帳、確率的符号帳を用意し
ておき、伝送路から送られてきたそれぞれの符号帳のインデックス、LPC符号
、及びゲイン符号に基づいて、それぞれの音源サンプルにゲインを乗じて加算し
た後、復号化LPC係数を用いてフィルタリングを行うことによって音声を復号
化する。
【0048】 上記のアルゴリズムにより、選択される音源サンプルの例を図7(a)〜図7
(f)を用いて説明する。ここでは、第1符号帳61のインデックスがj、第2
符号帳62のインデックスがm又はnとする。
【0049】 図7(a),図7(b)から分かるように、インデックスがj+mの場合は、
サブ符号帳61a,62aのサブ音源ベクトルのパルスの位置は比較的近いので
、上記式1から加算ゲインの値は小さく算出される。したがって、サブ符号帳6
1b,62bの加算ゲインが小さくなる。このため、音源ベクトル加算部68で
は、図7(c)に示すように、図7(a),図7(b)に示すサブ符号帳61a
,62aの特徴を反映した少数パルスより構成される音源サンプルが得られる。
この音源サンプルは、有声音に有効な音源サンプルである。
【0050】 また、図7(a),図7(b)から分かるように、インデックスj+nの場合
は、サブ符号帳61a,62aのサブ音源ベクトルのパルスの位置は比較的遠い
ので、上記式1から加算ゲインの値は大きく算出される。したがって、サブ符号
帳61b,62bの加算ゲインが大きくなる。このため、音源ベクトル加算部6
8では、図7(f)に示すように、図7(d),図7(e)に示すサブ符号帳6
1b,62bの特徴を反映した、エネルギーの拡散したランダム性の強い音源サ
ンプルが得られる。この音源サンプルは、無声音/背景ノイズに有効な音源サン
プルである。
【0051】 本実施の形態では、2つの符号帳(2チャンネル)を用いた場合について説明
しているが、本発明は3つ以上の符号帳(3チャンネル以上)を用いた場合も同
様に適用することができる。この場合、加算ゲイン算出部63における算出式、
式1の分子に、2つのパルスの間隔の中で最小のものや、全パルス間の間隔の平
均などを用いる。例えば、符号帳が3つであり、上記式1の分子にパルス間の間
隔の最小値を用いた場合では、算出式は下記式2のようになる。
【0052】 g=min(┃P1−P2┃,┃P2−P3┃,┃P3−P1┃)/L …式2 ここで、gは加算ゲインを示し、P1,P2,P3はそれぞれ符号帳のパルス
位置を示し、Lはベクトル長(サブフレーム長)を示す。また、┃ ┃は絶対値
を表す。
【0053】 以上のように本実施の形態によれば、複数の符号帳が、特徴の異なるサブ音源
ベクトルをそれぞれ格納する2つのサブ符号帳を有しており、それぞれのサブ音
源ベクトルを加算して音源ベクトルを得るので、多様な特徴を持つ入力信号に対
応することが可能となる。
【0054】 また、サブ音源ベクトルに乗じるゲインをサブ音源ベクトルの特徴に応じて変
えているので、ゲイン調整によって2つのサブ符号帳に格納される音源ベクトル
のどちらの特徴も音声に反映させることが可能となり、多様な特徴を持つ入力信
号に対してその特徴に最適で効率的な符号化/復号化を行うことができる。
【0055】 具体的には、2つのサブ符号帳の一方には少数パルスからなるサブ音源ベクト
ルを複数格納し、他方のサブ符号帳には多数パルスからなるサブ音源ベクトルを
複数格納することにより、有声音は少数パルスの特徴を持つ音源サンプルで良好
な音質を実現でき、多様な特徴を持つ入力信号に対してその特徴に最適な音源作
成を行うことができる。
【0056】 さらに、加算ゲイン算出部が少数パルスからなるサブ音源ベクトルのパルス位
置の距離からゲインを算出することにより、有声音では距離の近い少数のパルス
により音質の良好な合成音が実現でき、無声音/背景ノイズではパワーがより分
散した多数のパルスにより聴感的に良好な合成音を実現することができる。
【0057】 上記加算ゲイン算出において、加算ゲインとして予め設定しておいた固定値を
用いることにより、処理を簡易にすることができる。この場合、加算ゲイン算出
部63は不要となる。この場合でも、固定値の設定を適宜変えることにより、そ
の時のニーズにあった合成音を得ることができる。例えば、加算ゲインを小さく
設定することにより、パルッシブな音声(男声のような低い声等)に対して良好
な符号化を実現することができ、加算ゲインを大きく設定することにより、ラン
ダム性のある音声(背景ノイズなど)に対して良好な符号化を実現することがで
きる。
【0058】 また、上記のように、加算ゲインをパルス位置から算出する方法、加算ゲイン
に対して固定係数を設ける方法以外にも、入力信号のパワーの大きさ、復号化L
PC係数、又は適応符号帳から加算ゲインを適応的に算出する方法も使用するこ
とが可能である。例えば、上記パラメータから有声性(母音、定常波など)、無
声性(背景雑音、無声子音など)を判別するような関数を予め用意し、有声性の
時は小さいゲインに設定し、無声性の時は大きいゲインに設定すれば、音声の局
所的特徴に適応した良好な符号化を実現することができる。
【0059】 (実施の形態2) 本実施の形態においては、加算ゲイン算出部が、LPC分析部42から復号化
LPC係数を得て、このLPC係数を用いて有声/無声判定を行う場合について
説明する。
【0060】 図8は、本発明の実施の形態2に係る音声符号化装置/音声復号化装置の確率
的符号帳を示すブロック図である。なお、この確率符号帳を備えた音声符号化装
置及び音声復号化装置の構成は実施の形態1(図3,図4)と同様である。
【0061】 この確率的符号帳は、第1符号帳71及び第2符号帳72を有しており、第1
及び第2符号帳71,72は、それぞれ2つのサブ符号帳71a,71b、サブ
符号帳72a,72bを有している。確率的符号帳は、また、サブ符号帳71a
,72aのパルス位置によりサブ符号帳71b,72bの出力のゲインを算出す
る加算ゲイン算出部73を有する。
【0062】 サブ符号帳71a,72aは、音声が有声音の場合(パルス位置が比較的近い
場合)に主に使用する符号帳であり、1本のパルスからなるサブ音源ベクトルを
複数格納することにより作成されている。また、サブ符号帳71b,72bは、
音声が無声音や背景ノイズの場合(パルス位置が比較的遠い場合)に主に使用す
る符号帳であり、パワーが分散した複数パルス列からなるサブ音源ベクトルを複
数格納することにより作成されている。音源サンプルは、このように作成された
確率的符号帳内で生成される。
【0063】 また、サブ符号帳71a,72aは、代数的にパルスを配置するという方法で
作成され、サブ符号帳71b,72bは、ベクトルの長さ(サブフレーム長)を
幾つかの部分区間に分け、それぞれの部分区間毎に必ず1本のパルスが存在する
(パルスが全体にわたって拡散する)ように構成する方法により作成される。
【0064】 これらの符号帳は予め作成しておく。本実施の形態においては、図8に示すよ
うに、符号帳数は2に設定し、それぞれの符号帳は2つのサブ符号帳を有する。
これらの符号帳数やサブ符号帳数は限定されない。
【0065】 第1符号帳71のサブ符号帳71aに格納されているサブ音源ベクトルは、図
6(a)に示すようになっている。また、第1符号帳71のサブ符号帳71bに
格納されているサブ音源ベクトルは、図6(b)に示すようになっている。同様
に、第2符号帳72のサブ符号帳72a,72bは、それぞれ図6(a),図6
(b)に示すようなサブ音源ベクトルを格納している。
【0066】 なお、サブ符号帳71b,72bのサブ音源ベクトルのパルス位置と極性は、
乱数を用いて作成する。このように構成することにより、ばらつきはあるが、ベ
クトルの長さ全体に渡って均一にパワーが分散したサブ音源ベクトルを作成する
ことができる。図6(b)では、部分区間数4の場合を例として示している。ま
た、2つのサブ符号帳において、それぞれ同一インデックス(番号)のサブ音源
ベクトルが同時に使用される。
【0067】 次に、上記構成を有する確率的符号帳を用いた音声符号化について説明する。 まず、加算ゲイン算出部73が、LPC分析部42から復号化されたLPC係
数を得て、このLPC係数を用いて有声/無声の判定を行う。具体的には、加算
ゲイン算出部73において、LPC係数をインパルス応答やLPCケプストラム
に変換したものを、多くの音声データについて、モード毎、例えば有声音、無声
音、背景ノイズ毎に対応つけて予め収集し、それらのデータを統計処理して、そ
の結果に基づいて有声/無声/背景ノイズを判定するルールを作成する。このル
ールの例としては、線形判別関数やベイズ判定などを用いることが一般的である
。そして、このルールにしたがって得られた判定結果に基づき、下記式3の規則
で重み係数Rを求める。
【0068】 R=L :有声音と判定された場合 R=L×0.5 :無声音、背景ノイズと判定された場合 …式3 ここで、Rは重み係数を示し、Lはベクトル長(サブフレーム長)を示す。
【0069】 次いで、加算ゲイン算出部73が、音声符号化装置の比較部47から音源ベク
トルの番号(インデックス)の指示を受け、その指示にしたがって少数パルスの
サブ符号帳71a,72aから指定の番号のサブ音源ベクトルを取り出す。そし
て、加算ゲイン算出部73は、取り出されたサブ音源ベクトルのパルス位置から
加算ゲインを算出する。この加算ゲインの計算は、下記の式4により行う。
【0070】 g=┃P1−P2┃/R …式4 ここで、gは加算ゲインを示し、P1,P2はそれぞれ符号帳71a,72a
のパルス位置を示し、Rは重み係数を示す。また、┃ ┃は絶対値を表す。
【0071】 上記式3,式4によれば、加算ゲインは、パルス位置が近い程小さい値に、遠
い程大きい値となり、下限は0、上限はL/Rとなる。したがって、パルス位置
が近い程、サブ符号帳71b,72bのゲインが相対的に小さくなる。この結果
、有声音に対応するサブ符号帳71a,72aの影響が大きくなる。一方、パル
ス位置が遠い程、サブ符号帳71b,72bのゲインが相対的に大きくなる。こ
の結果、無声音や背景ノイズに対応するサブ符号帳71b,72bの影響が大き
くなる。このようなゲイン計算を行うことにより、聴感的に良い音を得ることが
できる。
【0072】 さらに、音源ベクトル加算部76は、比較部47から送られてきた音源ベクト
ルの番号を参照して、少数パルスのサブ符号帳71aからサブ音源ベクトルを得
て、上記加算ゲイン算出部73で得られた加算ゲインを乗じたサブ符号帳71b
からのサブ音源ベクトルとを加算して、音源ベクトルを得る。同様に、音源ベク
トル加算部77は、比較部47から送られてきた音源ベクトルの番号を参照して
、少数パルスのサブ符号帳72aからサブ音源ベクトルを得て、上記加算ゲイン
算出部73で得られた加算ゲインを乗じたサブ符号帳72bからのサブ音源ベク
トルとを加算して、音源ベクトルを得る。
【0073】 サブ音源ベクトルを加算して得られた音源ベクトルは、それぞれ音源ベクトル
加算部78に送られて加算される。これにより、音源サンプル(確率的コードベ
クトル)が得られる。この音源サンプルは、音源作成部45,パラメータ符号化
部48に送られる。
【0074】 一方、復号化側では、予め符号器と同様の適応符号帳、確率的符号帳を用意し
ておき、伝送路から送られてきたそれぞれの符号帳のインデックス、LPC符号
、及びゲイン符号に基づいて、それぞれの音源サンプルにゲインを乗じて加算し
た後、復号化LPC係数を用いてフィルタリングを行うことによって音声を復号
化する。
【0075】 このとき、本実施の形態においては、実施の形態1と異なり、確率符号帳に、
復号化されたLPC係数を送る必要がある。このとき、パラメータ復号化部52
は、得られたLPC係数を確率的符号帳へのサンプル番号と共に確率的符号帳に
送る(図4におけるパラメータ復号化部52から確率的符号帳54への信号線中
に、図8の「LPC分析部42から」の信号線と「比較部47からの制御」の制
御線の両方が含まれることに対応する)。
【0076】 上記のアルゴリズムにより選択される音源サンプルについては、実施の形態1
と同様であり、図7(a)〜図7(f)に示す通りである。
【0077】 以上のように本実施の形態によれば、加算ゲイン算出部73で、復号化された
LPC係数を用いた有声/無声判定を行い、式3により重み係数Rを用いて加算
ゲインを算出することによって、加算ゲインは有声音時に小さく無声音や背景ノ
イズ時に大きくする。これにより、得られる音源サンプルは、有声音ではより少
数パルスに、無声音や背景ノイズではより雑音性のある多数パルスになる。した
がって、上記パルス位置による適応の効果をさらに向上させることができ、より
良好な音質の合成音を実現することができる。
【0078】 また、本実施の形態の音声符号化は、伝送誤りに対しても効果がある。従来の
有声/無声判定を取入れた符号化においては、一般にLPC係数によって確率的
符号帳そのものを切り換える。そのために、伝送誤りにより判定を誤ると、全く
違う音源サンプルで復号化が行われてしまうことがあり、伝送誤り耐性が低い。
【0079】 それに対して、本実施の形態における音声符号化では、復号化時の有声/無声
判定の際にLPC符号が誤っていても、加算ゲインの値が多少変化するのみであ
り、伝送誤りによる劣化が少ない。したがって、本実施の形態によれば、LPC
係数による適応を行いながら、LPC符号の伝送誤りに大きく左右されずに良好
な音質の合成音を得ることができる。
【0080】 本実施の形態では、2つの符号帳(2チャンネル)を用いた場合について説明
しているが、本発明は3つ以上の符号帳(3チャンネル以上)を用いた場合も同
様に適用することができる。この場合、加算ゲイン算出部63における算出式、
式4の分子に、2つのパルスの間隔の中で最小のものや、全パルス間の間隔の平
均などを用いる。
【0081】 上記実施の形態1,2においては、サブ符号帳61b,62b,71b,72
bの出力のゲインを調整する場合について説明しているが、パルス位置が近いと
きに少数パルスの音源ベクトルの影響が大きくなり、パルス位置が遠いときに多
数パルスの音源ベクトルの影響が大きくなるようにサブ符号帳の出力のゲインを
調整する条件下で、サブ符号帳61a,62a,71a,72aの出力を調整し
ても良く、両サブ符号帳の出力を調整しても良い。
【0082】 (実施の形態3) 本実施の形態においては、パルス間の間隔の遠近によりサブ符号帳から取得す
る音源ベクトルを切り換える場合について説明する。
【0083】 図9は、本発明の実施の形態3に係る音声符号化装置/音声復号化装置の確率
的符号帳を示すブロック図である。なお、この確率符号帳を備えた音声符号化装
置及び音声復号化装置の構成は実施の形態1(図3,図4)と同様である。
【0084】 この確率的符号帳は、第1符号帳91及び第2符号帳92を有しており、第1
及び第2符号帳91,92は、それぞれ2つのサブ符号帳91a,91b、サブ
符号帳92a,92bを有している。確率的符号帳は、また、サブ符号帳91a
,92aのパルス位置によりサブ符号帳91b,92bの出力の切り換えを行う
音源切り換え指示部93を有する。
【0085】 サブ符号帳91a,92aは、音声が有声音の場合(パルス位置が比較的近い
場合)に主に使用する符号帳であり、1本のパルスからなるサブ音源ベクトルを
複数格納することにより作成されている。また、サブ符号帳91b,92bは、
音声が無声音や背景ノイズの場合(パルス位置が比較的遠い場合)に主に使用す
る符号帳であり、パワーが分散した複数パルス列からなるサブ音源ベクトルを複
数格納することにより作成されている。音源サンプルは、このように作成された
確率的符号帳内で生成される。
【0086】 また、サブ符号帳91a,92aは、代数的にパルスを配置するという方法で
作成され、サブ符号帳91b,92bは、ベクトルの長さ(サブフレーム長)を
幾つかの部分区間に分け、それぞれの部分区間毎に必ず1本のパルスが存在する
(パルスが全体にわたって拡散する)ように構成する方法により作成される。な
お、このとき、符号帳によってパルス位置が重ならないように配置することによ
り、より効率の良い符号化が可能になる。
【0087】 これらの符号帳は予め作成しておく。本実施の形態においては、図9に示すよ
うに、符号帳数は2に設定し、それぞれの符号帳は2つのサブ符号帳を有する。
これらの符号帳数やサブ符号帳数は限定されない。
【0088】 第1符号帳91のサブ符号帳91aに格納されているサブ音源ベクトルは、図
10(a)に示すようになっている。また、第1符号帳91のサブ符号帳91b
に格納されているサブ音源ベクトルは、図10(b)に示すようになっている。
同様に、第2符号帳92のサブ符号帳92a,92bは、それぞれ図10(a)
,図10(b)に示すようなサブ音源ベクトルを格納している。
【0089】 なお、サブ符号帳91b,92bのサブ音源ベクトルのパルス位置と極性は、
乱数を用いて作成する。このように構成することにより、ばらつきはあるが、ベ
クトルの長さ全体に渡って均一にパワーが分散したサブ音源ベクトルを作成する
ことができる。図10(b)では、部分区間数4の場合を例として示している。
また、2つのサブ符号帳において、それぞれ同一インデックス(番号)のサブ音
源ベクトルは同時に使用されることはない。
【0090】 次に、上記構成を有する確率的符号帳を用いた音声符号化について説明する。 まず、音源切り換え指示部93が、音声符号化装置の比較部47からの符号に
したがって音源ベクトル番号(インデックス)を算出する。この比較部47から
送られる符号は、音源ベクトル番号に対応しており、この符号により音源ベクト
ル番号が判別できるようになっている。音源切り換え指示部93は、判別された
音源ベクトル番号の少数パルスのサブ音源ベクトルをサブ符号帳91a,92a
から取り出す。そして、音源切り換え指示部93は、取り出されたサブ音源ベク
トルのパルス位置から以下のような判定を行う。
【0091】 ┃P1−P2┃<Q :サブ符号帳91a,92aを用いる ┃P1−P2┃≧Q :サブ符号帳91b,92bを用いる ここで、P1,P2はそれぞれ符号帳61a,62aのパルス位置を示し、Q
は定数を示し┃ ┃は絶対値を示す。
【0092】 上記判定においては、パルス位置が近いほど少数パルスの音源ベクトルを選択
し、パルス位置が遠いほど多数パルスの音源ベクトルを選択する。このような判
定・選択を行うことにより、聴感的に良い音を得ることができる。この定数Qは
予め設定しておく。この値を変えることにより、少数パルスの音源と多数パルス
の音源の割合を変えることができる。
【0093】 次に、音源切り換え指示部93は、切り換え情報(切換信号)と音源の符号(
サンプル番号)にしたがって、符号帳91,92のサブ符号帳91a,92a又
は91b,92bから音源ベクトルを取り出す。切り換えは、第1及び第2の切
り換え器94,95で行う。
【0094】 得られた音源ベクトルは、それぞれ音源ベクトル加算部96に送られて加算さ
れる。これにより、音源サンプル(確率的コードベクトル)が得られる。この音
源サンプルは、音源作成部45,パラメータ符号化部48に送られる。なお、復
号化側では音源作成部55に送られる。
【0095】 上記のアルゴリズムにより、選択される音源サンプルの例を図11(a)〜図
11(f)を用いて説明する。ここでは、第1符号帳91のインデックスがj、
第2符号帳92のインデックスがm又はnとする。
【0096】 図11(a),図11(b)から分かるように、インデックスがj+m場合は
、サブ符号帳91a,92aのサブ音源ベクトルのパルスの位置は比較的近いの
で、上記判定から、音源切り換え指示部93では、少数パルスのサブ音源ベクト
ルが選択される。そして、音源ベクトル加算部96で、図11(a),図11(
b)に示すサブ符号帳からそれぞれ選択された2つのサブ音源ベクトルが加算さ
れて、図11(c)に示すように、パルス性の強い音源サンプルが得られる。こ
の音源サンプルは、有声音に有効な音源サンプルである。
【0097】 また、図11(a),図11(b)から分かるように、インデックスがj+n
の場合は、サブ符号帳91a,92aのサブ音源ベクトルのパルスの位置は比較
的遠いので、上記判定から、音源切り換え指示部93では、多数パルスのサブ音
源ベクトルが選択される。そして、音源ベクトル加算部96で、図11(d),
図11(e)に示すサブ符号帳からそれぞれ選択された2つのサブ音源ベクトル
が加算されて、図11(f)に示すように、エネルギーの分散したランダム性の
強い音源サンプルが得られる。この音源サンプルは、無声音/背景ノイズに有効
な音源サンプルである。
【0098】 このように本実施の形態によれば、複数の符号帳がそれぞれ有する2つのサブ
符号帳内の音源ベクトルを切り換えて取得することにより、それぞれのサブ符号
帳のどちらか一方から得た音源ベクトルで音源サンプルを作成する。これにより
、より少ない計算量で多様な性質を持つ入力信号に対応することが可能となる。
【0099】 2つのサブ符号帳の一方には少数パルスの音源ベクトルを複数格納し、他方に
はパワーの分散した多数パルスの音源ベクトルを複数格納するので、有声音には
少数パルスの音源サンプルを用い、無声音/背景ノイズには多数パルスの音源サ
ンプルを用いて、良好な音質な合成音を得ることができ、多様な性質を持つ入力
信号に対して良好な性能を得ることが可能となる。
【0100】 さらに、音源切り換え指示部が少数パルスからなるサブ音源ベクトルのパルス
位置の距離に応じてサブ符号帳から取得する音源ベクトルを切り換えることによ
り、有声音では距離の近い少数のパルスにより音質の良好な合成音が実現でき、
無声音/背景ノイズではパワーがより分散した多数のパルスにより聴感的に良好
な合成音を実現することができる。また、符号帳から取得する音源ベクトルを切
り換えて取得するので、例えば、確率的符号帳内でゲインを算出してゲインとベ
クトルとの乗算を行うことが不要となる。したがって、本実施の形態に係る音声
符号化方法では、ゲイン算出する場合に比べて演算量が非常に少なくなる。
【0101】 すなわち、少数パルスからなるサブ音源ベクトルのパルス位置の相対的距離に
基づいて上記切り換えを行うので、有声音では距離の近い少数パルスの音源サン
プルにより良好な合成音が実現でき、無声音/背景ノイズではパワーがより分散
した多数パルスの音源サンプルにより聴感的に良好な合成音を実現することがで
きる。
【0102】 本実施の形態では、2つの符号帳(2チャンネル)を用いた場合について説明
しているが、本発明は3つ以上の符号帳(3チャンネル以上)を用いた場合も同
様に適用することができる。この場合、音源切り換え指示部93における判定の
基準として、2つのパルスの間隔の中で最小のものや、全パルス間の間隔の平均
などを用いる。例えば、符号帳が3つであり、パルス間の間隔の最小値を用いた
場合の判定基準は以下のようになる。
【0103】 min(┃P1−P2┃,┃P2−P3┃,┃P3−P1┃)<Q :サブ符号帳91a,92aを用いる min(┃P1−P2┃,┃P2−P3┃,┃P3−P1┃)≧Q :サブ符号帳91b,92bを用いる ここで、P1,P2,P3はそれぞれ符号帳のパルス位置を示し、Qは定数を
示し、┃ ┃は絶対値を示し、minは最小値を示す。
【0104】 本実施の形態に係る音声符号化/復号化においては、実施の形態2と同様にし
て、有声/無声判定アルゴリズムを組合わせることが可能である。すなわち、符
号化側で、音源切り換え指示部が、LPC分析部から復号化LPC係数を得て、
このLPC係数を用いて有声/無声判定を行い、復号化側で、確率符号帳に、復
号化されたLPC係数を送る。これにより、上記パルス位置による適応の効果を
さらに向上させることができ、より良好な音質の合成音を実現することができる
【0105】 この構成は、符号化側と復号化側に有声/無声判別部を別に設け、その判別結
果に応じて音源切り換え指示部の判定のしきい値Qを可変とすることにより実現
できる。この場合、有声の場合にQを大きくし、無声の場合にQを小さく設定す
ることにより、少数パルス音源の数と多数パルス音源の数の割合を音声の局所的
特徴に対応して変えることができる。
【0106】 また、この有声/無声判定をバックワード(符号として伝送せず、復号化され
た他のパラメータを使って行うこと)で行うと、伝送誤りによって誤判定を起こ
す可能性がある。本実施の形態における符号化/復号化によれば、有声/無声判
定は、しきい値Qを変えることのみで行われるので、誤判定は有声の場合のしき
い値Qと無声の場合のしきい値Qの差だけに影響する。したがって、誤判定の影
響は非常に少なくなる。
【0107】 また、入力信号のパワーの大きさ、復号化LPC係数、又は適応符号帳からQ
を適応的に算出する方法も使用することが可能である。例えば、上記パラメータ
から有声性(母音、定常波など)、無声性(背景雑音、無声子音など)を判別す
るような関数を予め用意し、有声性の時はQを大きく設定し、無声性の時はQを
小さく設定すれば、有声性部分では少数パルスからなる音源サンプルを、無声性
部分では多数パルスからなる音源サンプルを使用でき、音声の局所的特徴に適応
した良好な符号化性能を得ることができる。
【0108】 なお、上記実施の形態1〜3に係る音声符号化/復号化は、音声符号化装置/
音声復号化装置として説明しているが、これらの音声符号化/復号化をソフトウ
ェアとして構成しても良い。例えば、上記音声符号化/復号化のプログラムをR
OMに格納し、そのプログラムにしたがってCPUの指示により動作させるよう
に構成しても良い。また、図12に示すように、プログラム101a,適応符号
帳101b,及び確率的符号帳101cをコンピュータで読み取り可能な記憶媒
体101に格納し、この記憶媒体101のプログラム101a,適応符号帳10
1b,及び確率的符号帳101cをコンピュータのRAMに記録して、プログラ
ムにしたがって動作させるようにしても良い。このような場合においても、上記
実施の形態1〜3と同様の作用、効果を呈する。
【0109】 上記実施の形態1〜3では、少数パルスの音源ベクトルとしてパルス数が1本
の場合について説明しているが、少数パルスの音源ベクトルのパルス数が2本以
上である音源ベクトルを用いることも可能である。その場合は、パルス位置の遠
近判定に、複数のパルスの中で最も近いパルスの間隔を用いればよい。
【0110】 上記実施の形態1〜3では、本発明をCELP方式の音声符号化装置/音声復
号化装置へ適応した例について説明しているが、本発明の特徴は確率的符号帳内
にあることから、「符号帳」を使用する音声符号化/復号化の全てに応用できる
。例えば、本発明は、GSMの標準フルレートコーデックである「RPE−LT
P」や、ITU−Tの国際標準コーデック「G.723.1」である「MP−M
LQ」などに適用することができる。
【0111】 本明細書は、1998年6月9日出願の特願平10−160119号及び19
98年9月11日出願の特願平10−258271号に基づくものである。それ
らの内容はここに含めておく。
【0112】 (産業上の利用可能性) 本発明の音声符号化装置及び音声復号化装置は、低ビットレートにおける音声符
号化アルゴリズムを用いる携帯電話やディジタル通信などに適用することができ
る。
【図面の簡単な説明】
【図1】 従来のCELP方式の音声符号化装置の構成を示すブロック図
【図2】 本発明の音声符号化装置及び音声復号化装置を備えた無線通信装置の構成を示
すブロック図
【図3】 本発明の実施の形態1〜3に係るCELP方式の音声符号化装置の構成を示す
ブロック図
【図4】 本発明の実施の形態1〜3に係るCELP方式の音声復号化装置の構成を示す
ブロック図
【図5】 本発明の実施の形態1に係る音声符号化装置/復号化装置における確率的符号
帳を示すブロック図
【図6】 (a)及び(b)は、確率的符号帳におけるサブ符号帳に格納されたサブ音源
ベクトルの概念図
【図7】 (a)〜(f)は、音源サンプルの生成方法を説明するための概念図
【図8】 本発明の実施の形態2に係る音声符号化装置/復号化装置における確率的符号
帳を示すブロック図
【図9】 本発明の実施の形態3に係る音声符号化装置/復号化装置における確率的符号
帳を示すブロック図
【図10】 (a)及び(b)は、確率的符号帳におけるサブ符号帳に格納された音源ベク
トルの概念図
【図11】 (a)〜(f)は、音源サンプルの生成方法を説明するための概念図
【図12】 本発明の音声符号化装置及び音声復号化装置のプログラムを格納した媒体の概
略構成を示す図
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),CA,CN,J P,KR,US

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 CELP方式の音声符号化を行う装置であって、 過去に合成した音源信号が格納された適応符号帳; 複数の音源ベクトルを格納した確率的符号帳であって、前記確率符号帳は、少
    数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数のパル
    スで構成された音源ベクトルを格納した第2サブ符号帳とを含む; 入力音声信号のLPC分析により得られたLPC係数を用いて、前記適応符号
    帳及び前記確率的符号帳から取得した音源情報から合成音を得る手段; 前記合成音と前記入力音声信号との関係から前記合成音のゲイン情報を得る手
    段;並びに、 前記LPC係数、前記音源情報、及び前記ゲイン情報を伝送する手段、 を具備する。
  2. 【請求項2】 請求項1記載の装置であって、前記確率的符号帳は、前記第
    1サブ符号帳の音源ベクトルのパルス間の距離に応じて前記第1及び第2サブ符
    号帳の音源ベクトルのゲインを制御する制御手段、並びにゲイン制御された音源
    ベクトルから音源情報を得る演算手段をさらに具備する。
  3. 【請求項3】 請求項1記載の装置であって、前記制御手段は、前記第1サ
    ブ符号帳の音源ベクトルのパルス間の距離が短い場合に、前記第2サブ符号帳の
    音源ベクトルのゲインを相対的に小さくし、前記第1サブ符号帳の音源ベクトル
    のパルス間の距離が長い場合に、前記第2サブ符号帳の音源ベクトルのゲインを
    相対的に大きくする。
  4. 【請求項4】 請求項3記載の装置であって、前記制御手段は、下記式1に
    よりゲインを算出する。 g=┃P1−P2┃/L …式1 ここで、gはゲインを示し、P1,P2はそれぞれ第1サブ符号帳の音源ベク
    トル位置を示し、Lはベクトル長を示す。
  5. 【請求項5】 請求項1記載の装置であって、前記確率的符号帳は、前記第
    1サブ符号帳の音源ベクトル間の距離に応じて、取得する前記第1及び第2サブ
    符号帳の音源ベクトルを指示する指示手段、並びに前記指示手段の指示にしたが
    って第1及び第2サブ符号帳の音源ベクトルの出力を切り換える切り換え手段を
    さらに具備する。
  6. 【請求項6】 CELP方式の音声符号化を行う装置であって、 過去に合成した音源信号が格納された適応符号帳; 複数の音源ベクトルを格納した確率的符号帳であって、前記確率符号帳は、少
    数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数のパル
    スで構成された音源ベクトルを格納した第2サブ符号帳とを含む; 入力音声信号のLPC分析により得られたLPC係数を用いて、前記適応符号
    帳及び前記確率的符号帳から取得した音源情報から合成音を得る手段; 前記LPC係数により前記入力音声信号に対して有声/無声判定を行う手段; 前記合成音と前記入力音声信号との関係から前記合成音のゲイン情報を得る手
    段;並びに、 前記LPC係数、前記音源情報、及び前記ゲイン情報を伝送する手段、 を具備する。
  7. 【請求項7】 請求項6記載の装置であって、前記確率的符号帳は、前記第
    1サブ符号帳の音源ベクトルのパルス間の距離に応じて前記第1及び第2サブ符
    号帳の音源ベクトルのゲインを制御する制御手段、並びにゲイン制御された音源
    ベクトルから音源情報を得る演算手段をさらに具備する。
  8. 【請求項8】 請求項6記載の装置であって、前記制御手段は、前記第1サ
    ブ符号帳の音源ベクトルのパルス間の距離が短い場合に、前記第2サブ符号帳の
    音源ベクトルのゲインを相対的に小さくし、前記第1サブ符号帳の音源ベクトル
    のパルス間の距離が長い場合に、前記第2サブ符号帳の音源ベクトルのゲインを
    相対的に大きくする。
  9. 【請求項9】 請求項7記載の装置であって、前記制御手段は、下記式3に
    よりゲインを算出する。 g=┃P1−P2┃/R …式3 ここで、gはゲインを示し、P1,P2はそれぞれ第1サブ符号帳の音源ベク
    トル位置を示し、Rは重み係数を示し、Rは、有声/無声判定の結果が有声の場
    合にL(ベクトル長)であり、有声/無声判定の結果が無声、背景ノイズの場合
    にL×0.5である。
  10. 【請求項10】 請求項6記載の装置であって、前記確率的符号帳は、前記
    第1サブ符号帳の音源ベクトル間の距離に応じて、取得する前記第1及び第2サ
    ブ符号帳の音源ベクトルを指示する指示手段、並びに前記指示手段の指示にした
    がって第1及び第2サブ符号帳の音源ベクトルの出力を切り換える切り換え手段
    をさらに具備する。
  11. 【請求項11】 CELP方式の音声復号化を行う装置であって、 過去に合成した音源信号が格納された適応符号帳; 複数の音源ベクトルを格納した確率的符号帳であって、前記確率符号帳は、少
    数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数のパル
    スで構成された音源ベクトルを格納した第2サブ符号帳とを含む; 符号化側から伝送されたLPC係数、音源情報、及びゲイン情報を受信する手
    段;並びに 前記ゲイン情報を乗算した前記音源情報に前記LPC係数を用いて音声を復号
    化する手段、 を具備する。
  12. 【請求項12】 請求項11記載の装置であって、前記確率的符号帳に前記
    LPC係数を送る手段をさらに具備する。
  13. 【請求項13】 CELP方式の音声符号化を行う方法であって、 少数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数の
    パルスで構成された音源ベクトルを格納した第2サブ符号帳とを含む確率的符号
    帳の前記第1サブ符号帳の音源ベクトルのパルス間の距離に応じて前記第1及び
    第2サブ符号帳の音源ベクトルのゲインを制御する工程; ゲイン制御された音源ベクトルから音源情報を得る工程; 入力音声信号のLPC分析により得られたLPC係数を用いて、前記適応符号
    帳及び前記確率的符号帳から取得した音源情報から合成音を得る工程;並びに 前記合成音と前記入力音声信号との関係から前記合成音のゲイン情報を得る工
    程、 を具備する。
  14. 【請求項14】 請求項13記載の方法であって、前記LPC係数により前
    記入力音声信号に対して有声/無声判定を行う工程をさらに具備する。
  15. 【請求項15】 CELP方式の音声符号化を行う方法であって、 少数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数の
    パルスで構成された音源ベクトルを格納した第2サブ符号帳とを含む確率的符号
    帳の前記第1サブ符号帳の音源ベクトルのパルス間の距離に応じて前記第1及び
    第2サブ符号帳のいずれかの音源ベクトルを選択する工程; 選択された音源ベクトルから音源情報を得る工程; 入力音声信号のLPC分析により得られたLPC係数を用いて、前記適応符号
    帳及び前記確率的符号帳から取得した音源情報から合成音を得る工程;並びに 前記合成音と前記入力音声信号との関係から前記合成音のゲイン情報を得る工
    程、 を具備する。
  16. 【請求項16】 請求項15記載の方法であって、前記LPC係数により前
    記入力音声信号に対して有声/無声判定を行う工程をさらに具備する。
  17. 【請求項17】 音声符号化プログラム;過去に合成した音源信号が格納さ
    れた適応符号帳;複数の音源ベクトルを格納した確率的符号帳であって、前記確
    率符号帳は、少数のパルスで構成された音源ベクトルを格納した第1サブ符号帳
    と、多数のパルスで構成された音源ベクトルを格納した第2サブ符号帳とを含む
    ;を格納し、コンピュータにより読み取り可能な記録媒体であって、前記音声符
    号化プログラムは、 少数のパルスで構成された音源ベクトルを格納した第1サブ符号帳と、多数の
    パルスで構成された音源ベクトルを格納した第2サブ符号帳とを含む確率的符号
    帳の前記第1サブ符号帳の音源ベクトルのパルス間の距離に応じて前記第1及び
    第2サブ符号帳の音源ベクトルのゲインを制御する手順; ゲイン制御された音源ベクトルから音源情報を得る手順; 入力音声信号のLPC分析により得られたLPC係数を用いて、前記適応符号
    帳及び前記確率的符号帳から取得した音源情報から合成音を得る手順;並びに 前記合成音と前記入力音声信号との関係から前記合成音のゲイン情報を得る手
    順、 を含む。
JP2000553944A 1998-06-09 1999-06-08 音声符号化装置、音声復号化装置、およびこれらの方法 Expired - Fee Related JP3955179B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP16011998 1998-06-09
JP10-258271 1998-09-11
JP25827198 1998-09-11
JP10-160119 1998-09-11
PCT/JP1999/003064 WO1999065017A1 (en) 1998-06-09 1999-06-08 Speech coding apparatus and speech decoding apparatus

Publications (2)

Publication Number Publication Date
JP2002518694A true JP2002518694A (ja) 2002-06-25
JP3955179B2 JP3955179B2 (ja) 2007-08-08

Family

ID=26486711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000553944A Expired - Fee Related JP3955179B2 (ja) 1998-06-09 1999-06-08 音声符号化装置、音声復号化装置、およびこれらの方法

Country Status (8)

Country Link
US (2) US7110943B1 (ja)
EP (2) EP2378517A1 (ja)
JP (1) JP3955179B2 (ja)
KR (1) KR100351484B1 (ja)
CN (1) CN1167048C (ja)
AT (1) ATE520122T1 (ja)
CA (1) CA2300077C (ja)
WO (1) WO1999065017A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129726A1 (ja) * 2006-05-10 2007-11-15 Panasonic Corporation 音声符号化装置及び音声符号化方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2300077C (en) * 1998-06-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus and speech decoding apparatus
GB2368761B (en) * 2000-10-30 2003-07-16 Motorola Inc Speech codec and methods for generating a vector codebook and encoding/decoding speech signals
JP4108317B2 (ja) 2001-11-13 2008-06-25 日本電気株式会社 符号変換方法及び装置とプログラム並びに記憶媒体
JP3887598B2 (ja) * 2002-11-14 2007-02-28 松下電器産業株式会社 確率的符号帳の音源の符号化方法及び復号化方法
US7698132B2 (en) * 2002-12-17 2010-04-13 Qualcomm Incorporated Sub-sampled excitation waveform codebooks
WO2004084179A2 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Adaptive correlation window for open-loop pitch
CN1303584C (zh) * 2003-09-29 2007-03-07 摩托罗拉公司 联接式语音合成的声音目录编码方法和装置
JP4445328B2 (ja) 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
TWI324336B (en) * 2005-04-22 2010-05-01 Qualcomm Inc Method of signal processing and apparatus for gain factor smoothing
BRPI0611430A2 (pt) * 2005-05-11 2010-11-23 Matsushita Electric Ind Co Ltd codificador, decodificador e seus métodos
WO2008007699A1 (en) 2006-07-12 2008-01-17 Panasonic Corporation Audio decoding device and audio encoding device
JPWO2008018464A1 (ja) * 2006-08-08 2009-12-24 パナソニック株式会社 音声符号化装置および音声符号化方法
US8447594B2 (en) * 2006-11-29 2013-05-21 Loquendo S.P.A. Multicodebook source-dependent coding and decoding
EP2099026A4 (en) * 2006-12-13 2011-02-23 Panasonic Corp POST-FILTER AND FILTERING METHOD
CN101971251B (zh) 2008-03-14 2012-08-08 杜比实验室特许公司 像言语的信号和不像言语的信号的多模式编解码方法及装置
JP5817854B2 (ja) * 2013-02-22 2015-11-18 ヤマハ株式会社 音声合成装置およびプログラム
KR20160070147A (ko) * 2013-10-18 2016-06-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 결정론적 및 잡음 유사 정보를 사용하는 오디오 신호의 인코딩 및 오디오 신호의 디코딩을 위한 개념
WO2015055531A1 (en) 2013-10-18 2015-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding an audio signal and decoding an audio signal using speech related spectral shaping information
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10847170B2 (en) 2015-06-18 2020-11-24 Qualcomm Incorporated Device and method for generating a high-band signal from non-linearly processed sub-ranges
CN113609134B (zh) * 2021-08-23 2024-05-24 广州品唯软件有限公司 一种获取唯一随机码的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5060269A (en) * 1989-05-18 1991-10-22 General Electric Company Hybrid switched multi-pulse/stochastic speech coding technique
CA2010830C (en) 1990-02-23 1996-06-25 Jean-Pierre Adoul Dynamic codebook for efficient speech coding based on algebraic codes
JP3089769B2 (ja) * 1991-12-03 2000-09-18 日本電気株式会社 音声符号化装置
JP2968109B2 (ja) 1991-12-11 1999-10-25 沖電気工業株式会社 コード励振線形予測符号化器及び復号化器
JPH05232994A (ja) 1992-02-25 1993-09-10 Oki Electric Ind Co Ltd 統計コードブック
US5717824A (en) * 1992-08-07 1998-02-10 Pacific Communication Sciences, Inc. Adaptive speech coder having code excited linear predictor with multiple codebook searches
JP2746039B2 (ja) 1993-01-22 1998-04-28 日本電気株式会社 音声符号化方式
SE506379C3 (sv) * 1995-03-22 1998-01-19 Ericsson Telefon Ab L M Lpc-talkodare med kombinerad excitation
CA2213909C (en) * 1996-08-26 2002-01-22 Nec Corporation High quality speech coder at low bit rates
JPH10160119A (ja) 1996-11-29 1998-06-19 Corona Corp ポット式バ−ナ
US6066239A (en) 1997-03-18 2000-05-23 The West Bend Company Water distiller with improved solids-removing baffle device
JPH10260119A (ja) 1997-03-19 1998-09-29 Hitachi Zosen Corp ガス分析前処理装置
CA2300077C (en) * 1998-06-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Speech coding apparatus and speech decoding apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129726A1 (ja) * 2006-05-10 2007-11-15 Panasonic Corporation 音声符号化装置及び音声符号化方法

Also Published As

Publication number Publication date
EP2378517A1 (en) 2011-10-19
US20060206317A1 (en) 2006-09-14
CA2300077C (en) 2007-09-04
JP3955179B2 (ja) 2007-08-08
EP1002237B1 (en) 2011-08-10
CN1272939A (zh) 2000-11-08
US7110943B1 (en) 2006-09-19
KR100351484B1 (ko) 2002-09-05
ATE520122T1 (de) 2011-08-15
KR20010022714A (ko) 2001-03-26
CA2300077A1 (en) 1999-12-16
EP1002237A1 (en) 2000-05-24
WO1999065017A1 (en) 1999-12-16
US7398206B2 (en) 2008-07-08
CN1167048C (zh) 2004-09-15

Similar Documents

Publication Publication Date Title
JP3955179B2 (ja) 音声符号化装置、音声復号化装置、およびこれらの方法
JP4550289B2 (ja) Celp符号変換
US7577567B2 (en) Multimode speech coding apparatus and decoding apparatus
CA2306098C (en) Multimode speech coding apparatus and decoding apparatus
JP4213243B2 (ja) 音声符号化方法及び該方法を実施する装置
EP1132892A1 (en) Voice encoder and voice encoding method
KR20020052191A (ko) 음성 분류를 이용한 음성의 가변 비트 속도 켈프 코딩 방법
JP2002055699A (ja) 音声符号化装置および音声符号化方法
JP4734286B2 (ja) 音声符号化装置
JPH1097295A (ja) 音響信号符号化方法及び復号化方法
US20130085751A1 (en) Voice communication system encoding and decoding voice and non-voice information
JP4954310B2 (ja) モード判定装置及びモード判定方法
JP3232701B2 (ja) 音声符号化方法
JPH09244695A (ja) 音声符号化装置及び復号化装置
JP4619549B2 (ja) マルチモード音声復号化装置及びマルチモード音声復号化方法
JP3232728B2 (ja) 音声符号化方法
JP2002073097A (ja) Celp型音声符号化装置とcelp型音声復号化装置及び音声符号化方法と音声復号化方法
JP2000089797A (ja) 音声符号化装置
JP2001265390A (ja) 複数レートで動作する無音声符号化を含む音声符号化・復号装置及び方法
JP4230550B2 (ja) 音声符号化方法及び装置、並びに音声復号化方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070417

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070501

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees