JPH10232697A - Voice coding/decoding method - Google Patents

Voice coding/decoding method

Info

Publication number
JPH10232697A
JPH10232697A JP9038127A JP3812797A JPH10232697A JP H10232697 A JPH10232697 A JP H10232697A JP 9038127 A JP9038127 A JP 9038127A JP 3812797 A JP3812797 A JP 3812797A JP H10232697 A JPH10232697 A JP H10232697A
Authority
JP
Japan
Prior art keywords
vector
code
waveform
speech
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9038127A
Other languages
Japanese (ja)
Other versions
JP3296411B2 (en
Inventor
Yuusuke Hiwazaki
祐介 日和▲崎▼
Kazunori Mano
一則 間野
Naka Oomuro
仲 大室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP03812797A priority Critical patent/JP3296411B2/en
Publication of JPH10232697A publication Critical patent/JPH10232697A/en
Application granted granted Critical
Publication of JP3296411B2 publication Critical patent/JP3296411B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To reproduce a high quality voice with a less bit rate. SOLUTION: An input voice is made to pass a linear predictive reverse filter 14 through, and a residual signal r(t) is obtained, and this is cut out by one pitch period at every one frame (25ms) 31, and its cut off r(t) is made so that its peak position becomes a fixed level, and this waveform is vector quantized using one cut off by one pitch periodic length from a code book consisting of code vectors that peaks are arranged. At a decoding time, the waveforms between two waveform vectors in front/behind, and between two pitch periods in front/behind are formed respectively by a linear interpolation method, and interpolated waveform vectors are connected successively by interpolated pitch periods, and a continuous exciting signal is obtained.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、音声の信号系列
を少ない情報量でディジタル符号化する高能率音声符号
化方法、特に、従来ボコーダと呼ばれる音声分析合成系
の領域である2.4kbit/s以下のビットレートで
高品質な音声符号化を実現する符号化方法及びその復号
化方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-efficiency speech encoding method for digitally encoding a speech signal sequence with a small amount of information, and more particularly to a speech analysis / synthesis system called a vocoder, which is 2.4 kbit / s. The present invention relates to an encoding method for realizing high-quality audio encoding at the following bit rates and a decoding method thereof.

【0002】[0002]

【従来の技術】この発明に関連する従来技術としては、
線形予測ボコーダ、符号励振予測符号化法(CELP:
Code Excited Linear Predi
ction)、混合領域符号化法(Mixed Dom
ain Coding)、代表波形補間符号化法(Pr
ototype Waveform Interpol
ation)がある。
2. Description of the Related Art The prior art related to the present invention includes:
Linear prediction vocoder, code excitation prediction coding (CELP:
Code Excited Linear Predi
ction), mixed domain coding (Mixed Dom)
ain Coding), a representative waveform interpolation coding method (Pr
ototype Waveform Interpol
ation).

【0003】線形予測ボコーダは、4.8kbit/s
以下の低ビットレート領域における音声符号化方法とし
てこれまで広く用いられ、PARCOR方式や、線スペ
クトル対(LSP)方式などの方式がある。これらの方
法の詳細は、たとえば斎藤、中田著「音声情報処理の基
礎」(オーム社出版)に記載されている。線形予測ボコ
ーダは、音声のスペクトル包絡特性をあらわす全極型の
フィルタと、それを駆動する励振信号によって構成され
る。励振信号には、有声音に対してはピッチ周期パルス
列、無声音に対しては白色雑音が用いられる。線形予測
ボコーダにおいて、周期パルス列や白色雑音による励振
信号では音声波形の特徴を再現するには不十分なため、
自然性の高い合成音声を得ることは困難である。
[0003] A linear prediction vocoder is 4.8 kbit / s.
The following speech coding methods in the low bit rate region have been widely used, and include a PARCOR method and a line spectrum pair (LSP) method. Details of these methods are described, for example, in Saito and Nakata, “Basics of Speech Information Processing” (published by Ohmsha). The linear predictive vocoder is composed of an all-pole filter that represents the spectral envelope characteristic of speech and an excitation signal that drives the filter. As the excitation signal, a pitch cycle pulse train is used for voiced sounds, and white noise is used for unvoiced sounds. In a linear prediction vocoder, an excitation signal generated by a periodic pulse train or white noise is not enough to reproduce the characteristics of a speech waveform.
It is difficult to obtain synthetic speech with high naturalness.

【0004】一方、符号励振予測符号化では、雑音系列
を励振信号として音声の近接相関とピッチ相関特性をあ
らわす2つの全極型フィルタを駆動することにより音声
を合成する。雑音系列は複数個の符号パターンとしてあ
らかじめ用意され、その中から、入力音声波形と合成音
声波形との誤差を最小にするコードパターンが選択され
る。その詳細は、文献Schroeder:“Code
Excited Linear Predictio
n (CELP) High QualitySpee
ch at Very Low Bit Rates”
Proc.IEEE.ICASSP,pp937−94
0,1985に記載されている。符号励振予測符号化で
は、再現精度は符号パターンの数に依存する関係にあ
る。したがって、多くの系列パターンを用意すれば音声
波形の再現精度が高まり、それにともなって品質を高め
ることが出来る。しかし、音声符号化のビットレートを
4kbit/s以下にすると、符号パターンの数が制限
され、その結果十分な音声品質が得られなくなる。良好
な音声品質を得るには4.8kbit/s程度の情報量
が必要であるとされている。
[0004] On the other hand, in code excitation predictive coding, speech is synthesized by driving two all-pole filters representing the close correlation and pitch correlation characteristics of speech using a noise sequence as an excitation signal. The noise sequence is prepared in advance as a plurality of code patterns, and a code pattern that minimizes an error between the input speech waveform and the synthesized speech waveform is selected from among them. See Schroeder: “Code for details.
Excited Linear Prediction
n (CELP) High QualitySpee
chat Very Low Bit Rates ”
Proc. IEEE. ICASSP, pp937-94
0,1985. In the code excitation predictive coding, the reproduction accuracy has a relationship depending on the number of code patterns. Therefore, if a large number of series patterns are prepared, the reproduction accuracy of the audio waveform is improved, and accordingly, the quality can be improved. However, if the bit rate of audio coding is set to 4 kbit / s or less, the number of code patterns is limited, and as a result, sufficient audio quality cannot be obtained. It is said that an information amount of about 4.8 kbit / s is required to obtain good voice quality.

【0005】また、混合領域符号化法(Mixed D
omain Coding)では、有声音でフレーム毎
に残差波形よりピッチ周期分の波形が抽出され、前のピ
ッチ周期分の波形との差分が時間領域で量子化される。
復号器では周波数領域でこれらの波形の線形補間を行う
ことによって励振信号を生成し、全極フィルタを駆動し
て音声を合成する。無声音では符号励振予測符号化と同
様な方法で符号化を行う。この方式の詳細は、文献De
Martin等“Mixed DomainCodi
ng of Speech at 3kb/s”Pro
c.IEEE.ICASSP,PPII/216−17
0,1996に記載されている。この方法の特徴として
は、差分を求める際に、前ピッチ周期波形は、現在のフ
レームの波形に長さが正規化されることが挙げられる。
この差分の量子化には、パルス符号帳と雑音符号帳を用
いるが、3.5kbit/s程度の情報量が必要とされ
ている。
[0005] Also, a mixed area coding method (Mixed D
In the main coding, a pitch-period waveform is extracted from a residual waveform for each frame in a voiced sound, and a difference from a previous pitch-period waveform is quantized in a time domain.
The decoder generates an excitation signal by performing linear interpolation of these waveforms in the frequency domain, and drives an all-pole filter to synthesize speech. For unvoiced sound, encoding is performed in the same manner as in code excitation prediction encoding. For details of this method, see Reference De.
Martin et al. “Mixed DomainCodi
ng of Speech at 3kb / s "Pro
c. IEEE. ICASP, PPII / 216-17
0, 1996. A feature of this method is that the length of the previous pitch period waveform is normalized to the waveform of the current frame when the difference is obtained.
A pulse codebook and a noise codebook are used for quantization of the difference, but an information amount of about 3.5 kbit / s is required.

【0006】また、代表波形補間符号化法(Proto
type Waveform Interpolati
on Coder)では、プロトタイプ波形(Prot
otype Waveform)の線形補間を行って合
成した励振信号で全極フィルタを駆動することにより音
声を合成する。この詳細は、文献Kleijn W.
B.“Encoding Speech Using
Prototype Waveforms”IEEE
Trans.on Speech AudioProc
essing,Vol.1,pp386−399 19
93に記載されている。プロトタイプ波形は、一定周期
で残差波形より抽出され、フーリエ変換された後に符号
化される。この方式では良好な品質を得るには3.4k
bit/s程度の情報量が必要であるとされている。
In addition, a representative waveform interpolation coding method (Proto
type Waveform Interpolati
on Coder), the prototype waveform (Prot
Speech is synthesized by driving an all-pole filter with an excitation signal synthesized by performing linear interpolation (type Waveform). This is described in detail in the document Kleijn W.
B. “Encoding Speech Using
Prototype Waveforms "IEEE
Trans. on Speech AudioProc
essing, Vol. 1, pp 386-399 19
93. The prototype waveform is extracted from the residual waveform at a constant period, and is encoded after being subjected to Fourier transform. In this system, 3.4 k is required to obtain good quality.
It is said that an information amount of about bit / s is required.

【0007】[0007]

【発明が解決しようとする課題】この発明の課題は、雑
音系列やピッチパルス列を励振信号として用いる線形予
測符号化方法において、電話音声などのように入力信号
の周波数帯域が制限されている場合に、より能率的な符
号化を実現する方法と、その復号化方法を実現すること
である。
SUMMARY OF THE INVENTION An object of the present invention is to provide a linear predictive coding method using a noise sequence or a pitch pulse train as an excitation signal when the frequency band of an input signal is limited, such as telephone speech. , A method for achieving more efficient encoding and a method for decoding the same.

【0008】[0008]

【課題を解決するための手段】この発明による符号化方
法は入力音声のピッチ周期を推定し、励振信号の周期的
な部分で、推定されたピッチ周期分の波形を抽出し、そ
のピッチ周期分の波形との波形歪みが最小になるように
符号ベクトルをピッチ長で打ち切ったものより決定する
ことを特徴とする。ここで、入力ピッチ周期波形に、合
成フィルタのインパルス応答を畳み込んだベクトルと、
符号ベクトルをピッチ長で打ち切ったものに同様に畳み
込んだベクトルとの距離計算をすることよって符号を選
択する。また、音声を合成する際には、前後の励振信号
を補間したものを戻してつなげる。この補間の際には、
異なるピッチ長の励振ピッチ周期波形ベクトルは短かい
ベクトルを長いベクトルに長さを合わせて差のベクトル
に零詰めを行うことを特徴とする。
A coding method according to the present invention estimates a pitch period of an input speech, extracts a waveform corresponding to the estimated pitch period from a periodic portion of an excitation signal, and extracts the waveform corresponding to the pitch period. The code vector is determined by truncating the code vector at the pitch length so that the waveform distortion with the waveform (1) is minimized. Here, a vector obtained by convoluting the impulse response of the synthesis filter with the input pitch period waveform,
The code is selected by calculating the distance between the code vector and the vector that is similarly convolved with the code vector truncated at the pitch length. Further, when synthesizing the voice, an interpolated one of the preceding and subsequent excitation signals is returned and connected. During this interpolation,
The excitation pitch period waveform vectors of different pitch lengths are characterized in that the short vector is adjusted to the long vector and zero-padded to the difference vector.

【0009】[0009]

【発明の実施の形態】実施例1 図1にこの発明の符号化方法を適用した符号化部の機能
構成を示す。この符号化部は、以下の手順をNサンプル
数の長さをもつフレームごとに1回行う。フレームiに
おいて、入力端子11よりの入力音声信号s(t)のp
次の線形予測係数(LPC)aj (j=0,1,…,p
−1)をLPC計算部12で計算する。この線形予測係
数はLPC量子化部13で量子化され、線形予測係数符
号I1 として送出される。線形予測係数の量子化の詳細
については「音声の線形予測パラメータ符号化方法」
(特開平5−27798)に記載されている。LPC量
子化部13よりの線形予測係数符号I1 は復号され、そ
の逆量子化された線形予測係数に基づいて、線形予測逆
フィルタ14のフィルタ係数を定め、この逆フィルタ1
4に入力音声信号s(t)を通して残差信号r(t)を
計算する。逆フィルタ14は次の伝達特性1/A(z)
を持つディジタルフィルタで実現される。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiment 1 FIG. 1 shows a functional configuration of an encoding unit to which an encoding method according to the present invention is applied. This encoding unit performs the following procedure once for each frame having a length of N samples. In frame i, p of input audio signal s (t) from input terminal 11
The next linear prediction coefficient (LPC) a j (j = 0, 1,..., P
-1) is calculated by the LPC calculation unit 12. The linear prediction coefficients are quantized by LPC quantization section 13, it is transmitted as linear prediction coefficient code I 1. For details of quantization of linear prediction coefficients, see "Speech Linear Prediction Parameter Coding Method".
(JP-A-5-27798). The linear prediction coefficient code I 1 from the LPC quantization unit 13 is decoded, and based on the inversely quantized linear prediction coefficient, a filter coefficient of the linear prediction inverse filter 14 is determined.
4 to calculate a residual signal r (t) through the input audio signal s (t). The inverse filter 14 has the following transfer characteristic 1 / A (z)
It is realized by a digital filter having.

【0010】 A(z)-1=1+a1-1+…+ap -p (1) ここで得られた残差信号の相関(偏相関関数)ρを相関
計算部15で計算し、その相関ρの最大値ρmax の遅れ
(間隔)をピッチ周期抽出部16で推定ピッチ周期pi
とする。このとき、周期性判定部17で入力音声信号s
(t)が有声部であるか無声部であるかを、例えば以下
の様にしきい値θ(0.5〜1.0)で判別する。
A (z) −1 = 1 + a 1 z −1 +... + Ap z -p (1) The correlation (partial correlation function) ρ of the residual signal obtained here is calculated by the correlation calculator 15, The delay (interval) of the maximum value ρ max of the correlation ρ is determined by the pitch period extracting unit 16 as the estimated pitch period p i.
And At this time, the input sound signal s
Whether (t) is a voiced or unvoiced part is determined by, for example, a threshold value θ (0.5 to 1.0) as described below.

【0011】 k1 /2+ρmax >θ;有声部 k1 /2+ρmax <θ;無声部 (2) ここで、k1 は線形予測係数計算部12で求まる第1次
の偏自己相関(PARCOR)係数である。判定部17
が無声部と判断すると無声部量子化部19で図2Aに示
すように量子化を行う。この量子化部19では、フレー
ムをS分割し、Nsub (=N/S)サンプル数をサブフ
レームとし、そのサブフレーム中の逆フィルタ14より
残差波形r(t)の平均パワーをパワー計算部21で計
算し、その1フレーム分をベクトル量子化部22でベク
トル量子化して無声部符号I2 として出力する。
[0011] k 1/2 + ρ max> θ; voiced portion k 1/2 + ρ max < θ; unvoiced portion (2) where, k 1 is the first-order partial autocorrelation which is obtained by the linear prediction coefficient calculation unit 12 (PARCOR) It is a coefficient. Judgment unit 17
Is determined to be a voiceless part, the voiceless part quantization unit 19 performs quantization as shown in FIG. 2A. The quantization unit 19 divides the frame into S, sets the number of N sub (= N / S) samples as a subframe, and calculates the average power of the residual waveform r (t) from the inverse filter 14 in the subframe. The calculation is performed by the unit 21, and the one frame is vector-quantized by the vector quantization unit 22 and output as the unvoiced code I 2 .

【0012】この無声部の量子化は、図2Bに示すよう
な構成で行ってもよい。即ちLPC量子化部13よりの
量子化線形予測係数aj ′により線形予測合成フィルタ
23,24のフィルタ係数を設定し、逆フィルタ18よ
りの残差信号r(t)を合成フィルタ23で入力音声信
号s(t)を再生し、一方雑音符号帳25より選択した
雑音符号に利得部26で利得符号帳27より選択した利
得を与え、その利得が与えられた雑音符号を合成フィル
タ24で音声合成し、この合成音声と、合成フィルタ2
3よりの再生音声との差を引き算部28でとり、その差
(誤差)の二乗が最小となるように歪み計算部29によ
り雑音符号帳25の雑音符号の選択と、利得符号帳27
の利得選択を行う。この時の雑音符号帳25の雑音符号
および利得符号帳27の利得を無声部符号I2 とする。
The quantization of the unvoiced portion may be performed by a configuration as shown in FIG. 2B. That is, the filter coefficients of the linear prediction synthesis filters 23 and 24 are set based on the quantized linear prediction coefficients a j 'from the LPC quantization unit 13, and the residual signal r (t) from the inverse filter 18 is input to the input filter 23 by the synthesis filter 23. The signal s (t) is reproduced. On the other hand, the gain selected from the gain codebook 27 is given to the noise code selected from the noise codebook 25 by the gain section 26, and the noise code given the gain is subjected to speech synthesis by the synthesis filter 24. Then, the synthesized speech and the synthesis filter 2
The difference from the reproduced voice from No. 3 is obtained by the subtraction unit 28, and the distortion calculation unit 29 selects the noise code of the noise codebook 25 and the gain codebook 27 so that the square of the difference (error) is minimized.
Is performed. The noise code and gain of the gain codebook 27 of the noise codebook 25 at this time is unvoiced portion numerals I 2.

【0013】周期性判定部17が有声部と判断した場合
は残差切りだし部31により推定されたピッチ周期pi
を用いて、逆フィルタ14からの残差信号r(t)にお
けるフレームの中央付近からpi の長さの波形を切り出
す。この切り出された残差波形とパルス信号との相関が
大きくなるまで、その残差波形をPW整列部32で巡回
させる。ここで、切り出された1周期波形分の残差波形
p をPW(ピッチ周期波形)と呼ぶ。推定ピッチ周期
i はピッチ周期量子化部34で四捨五入によって整数
値に量子化され、ピッチ周期符号I3 として出力され
る。
When the periodicity determining section 17 determines that the voice section is a voiced section, the pitch cycle p i estimated by the residual extracting section 31 is used.
, A waveform having a length of p i is cut out from the vicinity of the center of the frame in the residual signal r (t) from the inverse filter 14. Until the correlation between the extracted residual waveform and the pulse signal becomes large, the residual waveform is circulated by the PW alignment unit 32. Here, the residual waveform r p of one cycle waveform partial cut out is referred to as a PW (pitch cycle waveform). Estimated pitch period p i is quantized to an integer value by rounding at the pitch period quantization unit 34, is output as a pitch period codes I 3.

【0014】PW整列部32よりのPWはPW量子化部
35でベクトル量子化される。PW量子化部35は例え
ば図3Aに示すように、図1中のLPC量子化部13よ
りの量子化された線形予測係数によりフィルタ係数が定
められた線形予測合成フィルタ37にインパルス信号が
通されて、インパルス応答hj が求められる。そのイン
パルス応答hj にもとづくインパルス応答行列Hが、
図1中のPW整列部32よりのPWに畳み込みフィルタ
39で畳み込まれて音声信号xが合成される。一方、P
W符号帳41から選択された符号ベクトルをその先頭か
ら、図1中のピッチ周期抽出部16が押出されたピッチ
周期長だけ符号切り出し部38で切り出し、この切り出
された符号ベクトc0 i に対し、利得部42で利得符
号帳43より取出された利得go k が与えられ、これに
対し、畳み込みフィルタ44でインパルス応答行列H
が畳み込まれて合成され、この合成音声信号の再生音声
信号xに対する誤差が引算部45でとられ、その誤差の
二乗が最小になるように、PW符号帳41の符号ベクト
ルc0 i の選択と、利得符号帳43の利得go kの選
択とが歪み計算部46で行われる。つまり再生音声信号
xを目標波形ベクトルとして、符号ベクトルと利得が選
択される。
The PW from the PW alignment unit 32 is vector-quantized by a PW quantization unit 35. As shown in FIG. 3A, for example, the PW quantization unit 35 passes the impulse signal to a linear prediction synthesis filter 37 whose filter coefficient is determined by the quantized linear prediction coefficient from the LPC quantization unit 13 in FIG. Thus, an impulse response h j is obtained. An impulse response matrix H based on the impulse response h j is
The convolution filter 39 convolves the PW from the PW alignment unit 32 in FIG. 1 to synthesize the audio signal x. On the other hand, P
The code vector from the head selected from W codebook 41, cut at the code cut-out portion 38 by the pitch period length of the pitch period extraction unit 16 is extruded in Fig. 1, with respect to the cut-out code vector c 0 i , the gain in the gain unit 42 was taken out from the gain code book 43 g o k is given, whereas, in the convolution filter 44 impulse response matrix H
Is convoluted and synthesized, an error of the synthesized audio signal with respect to the reproduced audio signal x is obtained by the subtraction unit 45, and the code vector c 0 i of the PW codebook 41 is reduced so that the square of the error is minimized. a selection, the selection of the gain g o k of the gain codebook 43 is carried out by the strain calculation unit 46. That is, the code vector and the gain are selected using the reproduced audio signal x as the target waveform vector.

【0015】なお、PW符号帳41の各符号ベクトルの
長さnは抽出されるピッチ長pi よりも十分長くとる必
要がある(n:nmax )。ここで符号ベクトルのピ
ークの位相は均一とされてある。図1中のPW整列部3
2で用いたパルス信号はベクトル長がnとされてあり、
位相は、PW符号帳41の符号ベクトルのピークの位相
と一致させてある。
Note that the length n of each code vector in the PW codebook 41 must be sufficiently longer than the extracted pitch length p i (n: n < p max ). Here, the phase of the peak of the code vector is assumed to be uniform. PW alignment unit 3 in FIG.
The pulse signal used in 2 has a vector length of n,
The phase is matched with the phase of the peak of the code vector of the PW codebook 41.

【0016】図3Aで説明したようにPW符号は、符号
ベクトルを励振信号として合成した波形と、PW波形を
励振信号として合成した波形との聴覚重み付け平均二乗
誤差が最小になるように決定される。この歪み尺度Dの
計算には以下の式(3)を用 いる。 D=‖ x−go k Hc0 i 2 (3) ここで、xは目標波形ベクトル(PW波形を励振信号と
して合成した波形)、Hは量子化された線形予測係数a
j ′を用いた合成フィルタ37のインパルス応答をあら
わす行列、co は符号ベクトル、go は符号ベクトル
の利得をあらわす。
As described with reference to FIG. 3A, the PW code is determined so that the auditory weighted mean square error between the waveform obtained by combining the code vector as the excitation signal and the waveform obtained by combining the PW waveform as the excitation signal is minimized. . The following equation (3) is used for calculating the distortion scale D. D = ‖ x-g o k Hc 0 i2 (3) where, x (waveform obtained by synthesizing the PW waveform as excitation signal) is the target waveform vector, H is the linear prediction coefficients a quantized
matrix representing the impulse response of the synthesis filter 37 with j ', c o is the code vector, g o represents a gain code vectors.

【0017】ターゲットxは以下の式(4)を用いてフ
ィルタ39で畳み込み演算によりあらかじめ計算する。 x=Hrp (4) ここで、rp は量子前の原PW波形をベクトル表示に
したものである。従来のCELP符号化では、Hには
フレーム長がNの場合通常下三角の(N×N)の正方行
列を用いるが、ここではピッチ長pi の正方向行列(p
i ×pi)を、下側に(q−pi )行分拡張した(q×
i )の非正方行列を用いる。ここで、qi であ
る。Hには、聴覚重み付けを行った線形予測フィルタ
のインパルス応答hをピッチ長pi で打ち切ったh
j (j=0,1,…,pi −1)を用いる。
The target x is calculated in advance by a convolution operation in the filter 39 using the following equation (4). x = Hr p (4) where, r p is obtained by the vector representation of the original PW waveform before quantum. In conventional CELP coding, the H frame length used square matrix when under normal triangle N (N × N), but here the positive direction matrix pitch length p i (p
i × p i ) is extended downward by (q−p i ) rows (q × p i ).
Use the non-square matrix of p i ). Here is a q> p i. H is the impulse response h of the linear prediction filter weighted by the auditory weight, h, which is truncated at the pitch length p i
j (j = 0, 1,..., p i -1) is used.

【0018】[0018]

【数1】 このとき、hj (j=0,1,…,pi −1)の計算に
用いる線形予測合成フィルタ37は、以下の伝達特性
H′(z)をもつディジタルフィルタで実現される。 H′(z)=1/A′(z)=1/(1+a1 ′z-1+…+ap ′z-p) (6) 聴覚重み付けの伝達特性は、次のように表される。
(Equation 1) At this time, the linear prediction synthesis filter 37 used for calculating h j (j = 0, 1,..., P i -1) is realized by a digital filter having the following transfer characteristic H ′ (z). H '(z) = 1 / A' (z) = 1 / (1 + a 1 'z -1 + ... + a p' z -p) (6) transfer characteristic of the perceptual weighting is expressed as follows.

【0019】 W(z)=A(z/γ1 )/A(z/γ2 ) (7) ここで、γ1 とγ2 は聴覚重み付けの程度を制御するパ
ラメータであり、0γ2 γ1 1範囲の値を取る。
図3A中の畳み込みフィルタ39、44での畳み込み演
算に用いる行列Hはインパルス応答hより先に述べた
拡張された(q×pi )の行列を用いる。このように
Hが拡張されているため、式(4)の演算で得られる
目標波形ベクトルxも
W (z) = A (z / γ 1 ) / A (z / γ 2 ) (7) Here, γ 1 and γ 2 are parameters for controlling the degree of auditory weighting, and 0 < γ 2 < Γ 1 < 1 Take a value in the range.
As the matrix H used for the convolution operation in the convolution filters 39 and 44 in FIG. 3A, the expanded (q × p i ) matrix described earlier than the impulse response h is used. Since H is extended in this manner, the target waveform vector x obtained by the calculation of Expression (4) is also

【0020】[0020]

【数2】 と次数はqとなる。ここで、xj (pi <j<q−1)
は線形予測フィルタ37の自由応答分に対応する成分
で、合成フィルタ37の零入力初期値応答である。ここ
で、演算量低下のために、hの長さを非常に短い長さで
打ち切って(例えば10サンプル程度)、Hを構成し
てもよい。
(Equation 2) And the order is q. Here, x j (p i <j <q−1)
Is a component corresponding to the free response of the linear prediction filter 37, and is a zero input initial value response of the synthesis filter 37. Here, in order to reduce the calculation amount, the length of h may be truncated to a very short length (for example, about 10 samples) to form H.

【0021】なお、量子化線形予測係数aj ′を用いて
線形予測逆フィルタ14の係数およびPW量子化部35
の合成フィルタ37の係数を決めるが、双方に量子化し
ていない線形予測係数aj を用いてH(z)を構成して
もH′(z)を用いた時と同程度の品質が得られる。こ
の場合でも畳み込みフィルタ44のH行列は量子化線
形予測係数aj ′を用いなければならない。
The coefficient of the linear prediction inverse filter 14 and the PW quantization unit 35 are calculated using the quantized linear prediction coefficient a j ′.
Of the synthesis filter 37 is determined. Even if H (z) is configured using the linear prediction coefficients a j that are not quantized for both, the same quality as when H ′ (z) is used can be obtained. . Even in this case, the H matrix of the convolution filter 44 must use the quantized linear prediction coefficients a j '.

【0022】PW符号c0 の選択では、PW符号帳41
の中から式(3)が最小となるように、符号ベクトル
0 i を選択し、その理想利得g0 i を計算する。ま
ず、式(9)のD0 ′を計算し、D0 ′値が最大となる
符号ベクトルc0 i を閉ループで選択する。なお、x
T はxの転置行列を表す。 D0 ′=(xT Hc0 i 2 /‖Hc0 i 2 (9) 選択された符号ベクトルc0 i の理想利得g0 i の計
算は、式(10)を用いて行う。
In the selection of the PW code c 0 , the PW code book 41
As Equation (3) is minimized among, select the code vector c 0 i, calculates the ideal gains g 0 i. First, D 0 ′ in equation (9) is calculated, and a code vector c 0 i having the maximum D 0 ′ value is selected in a closed loop. Note that x
T represents the transposed matrix of x. D 0 '= (x T Hc 0 i) 2 / ‖Hc 0 i ‖ 2 (9) calculates the ideal gains g 0 i of the selected code vector c 0 i is performed using equation (10).

【0023】 g0 i =xT Hc0 i /‖Hc0 i 2 (10) 次に、利得g0 i をスカラー量子化する。以上の手続き
で、符号ベクトルの選択は終了しているため、式(3)
が最小となるようなg0 k を選択する。これら選択した
符号ベクトルの符号、選択した利得の符号をPW符号I
4 として出力し、更に、周期判定部17よりそのフレー
ムが有声部か無声部かを示す周期性符号I5 を出力す
る。符号I1 〜I5 がマルチプレクサ47で合成され、
伝送路又は蓄積部へ出力される。
G 0 i = x T Hc 0 i / ‖Hc 0 i2 (10) Next, the gain g 0 i is scalar-quantized. Since the selection of the code vector has been completed by the above procedure, the expression (3)
But to select the g 0 k such that minimum. The code of the selected code vector and the code of the selected gain are represented by the PW code I.
Output as 4, further, the frame from the cycle determining unit 17 outputs a periodic code I 5 indicating whether voiced portion or unvoiced portion. Symbols I 1 to I 5 are synthesized by the multiplexer 47,
The signal is output to the transmission path or the storage unit.

【0024】以上のように1フレームは例えば25ミリ
秒とされ、そのうちから1ピッチ周期分の残差波形(信
号)が取出され、つまり1フレーム中の例えば数分の1
の部分しか取出されていない。一方合成フィルタ37は
入力を零として駆動しても、その直前の状態に応じた出
力、いわゆる零入力応答が生じる。そのためCELP符
号化においては、零入力応答を入力波形から差し引いた
ものを目標波形ベクトル(ターゲット)としている。し
かしこの発明では1フレーム中の一部のみを用いて符号
化するため、合成フィルタ37のインパルス応答行列を
CELP符号化よりも零応答に対応する分拡張して、1
ピッチ周期分の波形を零入力応答(自由応答)を含め
て、これに近い符号ベクトルの選択を行っている。以上
のように波形情報については1フレーム中の1ピッチ周
期分しか符号化していないから、それだけ少ないビット
数で表現でき、またピーク位置を正規化(一定位相)と
しているため、この点においても符号化ビット数を少な
くすることができる。
As described above, one frame is set to, for example, 25 milliseconds, and a residual waveform (signal) for one pitch period is extracted therefrom, that is, for example, a fraction of one frame.
Only the part has been removed. On the other hand, even if the synthesis filter 37 is driven with the input set to zero, an output corresponding to the immediately preceding state, that is, a so-called zero input response is generated. Therefore, in CELP encoding, a target waveform vector (target) is obtained by subtracting a zero input response from an input waveform. However, in the present invention, since encoding is performed using only a part of one frame, the impulse response matrix of the synthesis filter 37 is extended by an amount corresponding to a zero response rather than CELP encoding, and 1
A code vector close to the pitch period waveform including the zero input response (free response) is selected. As described above, since the waveform information is encoded only for one pitch period in one frame, it can be expressed with a smaller number of bits, and the peak position is normalized (constant phase). The number of coded bits can be reduced.

【0025】次に図1に示した符号化方法の実施例と対
応した、この発明の復号化方法の実施例を適用した復号
器を図4に示す。ここでは入力端子51に入力された符
号I 1 〜I5 はデマルチプレクサ52で全ての音声パラ
メータが分離復号された後、無声・有声パラメータI
2 ,I4 に応じて励振信号を生成する。周期性符号I5
が無声部の場合は、無声部符号I2 を無声部復号部53
で励振信号を再生する。即ち例えば図5Aに示すよう
に、白色雑音生成部54よりの白色雑音に、無声部符号
2 の復号パワー符号を利得計算部55で処理して無声
部の合成残差波形を生成する。つまりNサンプルの白色
雑音を生成し、各々のサブフレーム(Nsu長)中の平均
パワーを、復号された対応するサブフレームの平均パワ
ーと一致するように利得を計算して乗じたものを励振信
号とする。
Next, an embodiment of the encoding method shown in FIG.
Decoding to which the embodiment of the decoding method of the present invention is applied
The vessel is shown in FIG. Here, the mark input to the input terminal 51
Issue I 1 ~ IFive Is a demultiplexer 52 for all audio parameters.
After the meter is separated and decoded, the unvoiced / voiced parameter I
Two , IFour An excitation signal is generated according to. Periodic code IFive
Is a voiceless part, the voiceless part code ITwo To the unvoiced decoding unit 53
To reproduce the excitation signal. That is, for example, as shown in FIG.
The unvoiced part code is added to the white noise from the white noise generation unit 54.
ITwo Is processed by the gain calculation unit 55 and
Generating a composite residual waveform of the section. That is, N samples of white
Noise, and generate each subframe (NsuAverage)
Power is the average power of the corresponding decoded subframe.
Calculate and multiply the gain to match the
No.

【0026】周期性符号I5 が有声部を示す場合は図4
においてPW符号I4 によりPW復号部56で式(1
1)に示すように、符号ベクトルci に利得gi を乗
じて、PW波形ri を復号する。図に示していない
が、図3A中のPW符号帳41及び利得符号帳43と同
一のものを備え、符号ベクトルci はPW符号帳41
の符号ベクトルの先頭からピッチ周期長pi だけ符号切
り出し部60で切り出されている。
FIG. 4 shows the case where the periodic code I 5 indicates a voiced part.
In the PW code I 4 , the PW decoding unit 56 calculates the expression (1
As shown in 1), the PW waveform r i is decoded by multiplying the code vector c i by the gain g i . Although not shown, provided with the same as the PW codebook 41 and gain codebook 43 in FIG. 3A, code vector c i is PW codebook 41
Are cut out by the code cutout unit 60 by the pitch period length p i from the beginning of the code vector.

【0027】 ri =g0 i 0 i (11) 次に、この復号PW波形ri と前PWバッファ57の
内容ri-1 との間の線形補間を線形補間部58で行
い、中間のPW波形rinを得る。この線形補間には、
例えば式(12)を用いる。 rin(j)=(1−α)ri-1 (j)+αr i (j=0,1,…,p−1 ; 0α1) (12) ここで、αは、波形がNサンプル長のフレーム中のどの
位置にあるかを表す値、pは前後のピッチ(pi もしく
はpi-1 )の長い方のサンプル数、ri-1 はri
ひとつ前のPWベクトルで、rinは補間されて出来た
ベクトルをあらわす。短いピッチ長のベクトルの余りの
部分は零詰めされ、長い方とベクトル長を一致させた後
に補間を行う。
R i = g 0 i c 0 i (11) Next, linear interpolation between the decoded PW waveform r i and the contents r i−1 of the previous PW buffer 57 is performed by the linear interpolation section 58, get the PW waveform r in. This linear interpolation includes
For example, equation (12) is used. r in (j) = (1−α) r i−1 (j) + α r i (j = 0, 1,..., p−1; 0 < α < 1) (12) where α is a waveform Represents a position in a frame of N sample lengths, p is the number of longer samples of the preceding and succeeding pitches (p i or p i-1 ), and r i-1 is the PW immediately before r i a vector, r in represents a vector that can be interpolated. The remainder of the short pitch vector is padded with zeros, and interpolation is performed after matching the long vector with the long one.

【0028】つまり、符号化側では残差波形は各フレー
ム中の1ピッチ周期分しか切出されていない。従って、
現フレームで切出された波形と、前フレームで切出され
た波形との間には本来は、1ピッチ周期乃至数ピッチ周
期分程度の波形が存在する。この本来は存在すべき波形
を前フレームの復号PW波形ri-1 と現フレームの復
号PW波形ri とで線形補間する。この補間される波
形が、前フレームの切出された波形と現フレームの切出
された波形との間に補間されるべき波形の何番目かに応
じてαが決定される。ピッチ周期符号I3 はピッチ復号
部59で復号され、その復号ピッチ周期とフレーム長と
から補間する波形数が決められる。
That is, on the encoding side, the residual waveform is cut out only for one pitch period in each frame. Therefore,
Originally, a waveform of about one pitch cycle to several pitch cycles exists between the waveform cut out in the current frame and the waveform cut out in the previous frame. The originally linear interpolation should be present waveform decoding PW waveform r i-1 of the previous frame and decoding PW waveform r i of the current frame. Α is determined according to the order of the waveform to be interpolated between the extracted waveform of the previous frame and the extracted waveform of the current frame. The pitch period codes I 3 is decoded by a pitch decoder 59, the number of waveform is determined to be interpolated from its decoded pitch period and the frame length.

【0029】また復号ピッチ周期と前ピッチバッファ6
1の内容とにより、前フレームの切出し波形のピッチ周
期と、現フレームの切出し波形のピッチ周期との間の各
ピッチ周期をピッチ補間部62で線形補間して求め、そ
の補間ピッチ周期をもちいて、線形補間部58で求めた
中間PW波形を残差信号合成部64で順次つなぎ、これ
を励振信号とする。
The decoding pitch period and the previous pitch buffer 6
According to the content of 1, each pitch cycle between the pitch cycle of the cut-out waveform of the previous frame and the pitch cycle of the cut-out waveform of the current frame is obtained by linear interpolation in the pitch interpolation unit 62, and the interpolation pitch cycle is used. The intermediate PW waveform obtained by the linear interpolation unit 58 is sequentially connected by the residual signal synthesis unit 64, and this is used as an excitation signal.

【0030】なお、図には示していないが、符号化の時
に誤って半分のピッチもしくは倍のピッチ周期分のPW
を抽出した場合に、復号側で上記方法で補間を行う時、
もう片方のPWのピッチが正しいとすると、線形補間部
58よりの補間波形を用いると、出力音声の品質が劣化
する。そこで、復号された前後のピッチ周期が例えばほ
ぼ2:1のように大きく異なる場合は、前後の波形の短
い方を2回繰り返し、このベクトルと長い方の波形とを
用いて線形補間を行う。ピッチ周期も同様に短い方のピ
ッチ周期を2倍として、他方のピッチ周期とのピッチ補
間を行う。
Although not shown in the figure, a half pitch or a double pitch cycle of PW is erroneously generated at the time of encoding.
When interpolation is performed by the above method on the decoding side when
Assuming that the pitch of the other PW is correct, the use of the interpolated waveform from the linear interpolation section 58 degrades the quality of the output sound. Therefore, if the decoded pitch cycles before and after greatly differ, for example, approximately 2: 1, the shorter of the preceding and following waveforms is repeated twice, and linear interpolation is performed using this vector and the longer waveform. Similarly, the pitch cycle of the shorter pitch cycle is doubled, and pitch interpolation with the other pitch cycle is performed.

【0031】ここで、補間の際にPWの長さをサンプリ
ング変換により正規化して前後のベクトルを同一の長さ
(Nサンプル)にして式(12)と同様に以下の式(1
3)に基づいて2つのベクトルの線形補間を行うことも
可能である。 Sin(j)=(1−α)Si-1 (j)+αSi (j) (j=0,1,…,N;0α1) (13) ここで、αは、波形がNサンプル長のフレーム中のどの
位置にあるかを表す値、Nは正規化ベクトル長、S
i-1 はri のひとつ前のPWベクトルを、S i
i のPWベクトルを、それぞれ正規化したもので、
inは補間されて出来た正規化ベクトルをあらわす。
このSinは、サンプリング変換によって上記と同様に
補間されたピッチ周期長に直してから順次つながれる。
Here, at the time of interpolation, the length of the PW is sampled.
Vector before and after the same length
(N samples) and the following equation (1) as in equation (12).
It is also possible to perform linear interpolation of two vectors based on 3)
It is possible. Sin(J) = (1−α) Si-1(J) + αSi(J) (j = 0, 1,..., N; 0<α<1) (13) Here, α is any one of the frames in the frame whose waveform is N samples long.
N is the normalized vector length, S
i-1Is riThe PW vector immediately before iIs
riAre normalized PW vectors of
SinRepresents a normalized vector obtained by interpolation.
This SinIs similar to the above
After the pitch period length is interpolated, they are sequentially connected.

【0032】周期性信号I5 が無声部を示す時は無声部
信号部53よりの合成音源信号をI 5 が有声部を示す時
は残差信号合成部64よりの合成励振信号を用いて線形
予測合成フィルタ65を駆動し、出力音声を出力端子6
6に得る。ここで、線形予測係数符号I1 を線形予測係
数復号部67で復号し、この線形予測係数についても前
係数バッファ68の内容を用いて前フレーム中の1ピッ
チ周期分の線形予測係数と現フレーム中の1ピッチ周期
分の線形予測係数との間を線形予測係数補間部69で式
(12)により線形補間を行い、合成フィルタ65の係
数を決定する。この線形予測係数の補間はサブフレーム
毎に線形補間を行ってもよい。なお線形予測係数の補間
は一般的にはLSP領域で行う。実施例2 図1中のPW量子化部35で多段量子化する場合の実施
例のPW量子化部を図6に示す。図6において図3Aと
対応する部分に同一符号を付けてあり、この例は2段量
子化の場合で、PW符号帳71が更に設けられ、このP
W符号帳71より選択した符号ベクトルc1 j が符号
切り出し部70でピッチ周期長pi だけ先頭から切り出
され、これに対し、利得部72で利得符号帳43から選
択された利得g1 k が与えられて畳み込みフィルタ73
に与えられ、インパルス応答Hが畳み込まれ、これに
より得られた合成波形が、引算部45よりの誤差信号か
ら引算部74で差し引かれ、その残りが歪み計算部75
に与えられ、歪み計算部75は引算部74の出力の二乗
が最小になるようにPW符号帳71の符号ベクトルc
1 j の選択と利得符号帳43の利得g1 k の選択とが行
われる。この場合も全体として、符号ベクトルを励振信
号として合成した波形と、PW波形を励振信号として合
成した波形との聴覚重み付き平均二乗誤差が最小になる
ように符号ベクトルc0 i 、c1 j 、利得g0 k
1 k が決定される。この歪み尺度の計算には式(1
4)を用いる。
The periodic signal IFive Is a silent part when indicates a silent part
The synthesized sound source signal from the signal unit 53 is represented by I Five Indicates a voiced part
Is linear using the combined excitation signal from the residual signal combining unit 64
Drives the prediction synthesis filter 65 and outputs the output sound to the output terminal 6
Get 6 Here, the linear prediction coefficient code I1 The linear predictor
The number is decoded by the numerical decoding unit 67, and the linear prediction coefficient is also
Using the contents of the coefficient buffer 68, one
Linear prediction coefficient for one cycle and one pitch cycle in the current frame
The linear predictive coefficient interpolating unit 69 calculates the linear predictive coefficient between
Linear interpolation is performed according to (12), and the
Determine the number. The interpolation of this linear prediction coefficient is
Linear interpolation may be performed every time. Note that interpolation of linear prediction coefficients
Is generally performed in the LSP area.Example 2 Implementation in case of multi-stage quantization by PW quantization section 35 in FIG.
An example PW quantizer is shown in FIG. In FIG. 6, FIG.
Corresponding parts are denoted by the same reference numerals.
In the case of child conversion, a PW codebook 71 is further provided.
Code vector c selected from W codebook 711 jIs the sign
Pitch period length p at cutout 70iOnly cut from the beginning
On the other hand, gain section 72 selects gain codebook 43 from gain codebook 43.
Selected gain g1 kAnd convolution filter 73
And the impulse response H is convolved with
Is the error signal from the subtractor 45?
Is subtracted by a subtraction unit 74, and the remainder is calculated by a distortion calculation unit 75.
And the distortion calculator 75 calculates the square of the output of the subtractor 74.
Is the code vector c of the PW codebook 71 so that
1 jAnd gain g of codebook 431 kSelection and the line
Will be Also in this case, the excitation
Signal and the PW waveform as the excitation signal
Minimizes the weighted mean-squared error with the perceived waveform
The code vector c0 i, C1 j, Gain g0 k,
g1 kIs determined. Equation (1) is used to calculate this distortion measure.
Use 4).

【0033】 D=‖x−go k Hc0 i −g1 k Hc1 j 2 (14) ここで、xは式(4)で求めたターゲット(目標波形ベ
クトル)、Hは量子化された線形予測係数aj ′を用
いた合成フィルタ37のインパルス応答をあらわす行
列、co およびc1 は符号ベクトル、go 、g1
それぞれの符号ベクトルの利得をあらわす。
[0033] D = ‖x-g o k Hc 0 it -g 1 k Hc 1 j ‖ 2 (14) wherein, x target (target waveform vector) calculated by formula (4) is, H is quantized A matrix representing the impulse response of the synthesis filter 37 using the linear prediction coefficients a j ′, c o and c 1 represent code vectors, and g o and g 1 represent gains of the respective code vectors.

【0034】まず、図3Aについて説明したとおりに1
段目のco とのその理想利得go i を定める。次に、
PW符号帳71の中から、式(14)が最小となるよう
な符号ベクトルc1 j を選択し、その理想利得g1 j
を計算し、c0 i の理想利得であるg0 i を再計算す
る。これは、符号ベクトルco i とc1 j のベクト
ル直交化を行い符号化を行う。このベクトル直交化に基
づくベクトル量子化の詳細については、「励振信号直交
化音声符号化法」(特願平6−43519)に記載され
ている。
First, as described with reference to FIG.
Stage coAnd its ideal gain go iIs determined. next,
Equation (14) is minimized from the PW codebook 71.
Code vector c1 jAnd its ideal gain g1 j
And c0 iG, the ideal gain of0 iRecalculate
You. This is the code vector co iAnd c1 jVector
And performs encoding. Based on this vector orthogonalization,
For more information on vector quantization based on
Coded speech coding method ”(Japanese Patent Application No. 6-43519).
ing.

【0035】選択には、式(15)のD1 ′値が最大と
なる符号ベクトルc1 i を閉ループで選択する。
For the selection, the code vector c 1 i that maximizes the value of D 1 ′ in equation (15) is selected in a closed loop.

【0036】[0036]

【数3】 選択された符号ベクトルの理想利得g1 j の計算は、式
(16)を用いて行う。
(Equation 3) Calculation of the ideal gain g 1 j of the selected code vector is performed using Expression (16).

【0037】[0037]

【数4】 また、理想利得g0 i は式(17)を用いて再計算を行
う。
(Equation 4) Further, the ideal gain g 0 i is recalculated using the equation (17).

【0038】[0038]

【数5】 以上の手続きで、符号ベクトルの選択は終了しているた
め、式(14)が最小となるような(g0 k 1 k )を
選択し、これをベクトル量子化する。この場合における
復号部は、図4と同様であるが、PW波形の復号には式
(18)を用いる。
(Equation 5) Since the selection of the code vector has been completed by the above procedure, (g 0 k g 1 k ) that minimizes the expression (14) is selected and vector-quantized. The decoding unit in this case is the same as that in FIG. 4, but uses Equation (18) for decoding the PW waveform.

【0039】 ri =g0 i o i +g1 i 1 i (18) 上述において、PW符号帳には図5Bに示すような適応
符号帳(a)、固定符号帳(b)、代数的パルス符号帳
(c)の何れを用いることも可能である。適応符号帳
(a)は過去の残差波形であり、代数的パルス符号帳
(c)は規則によりその都度生成することができるもの
である。実施例3 図1中のPW量子化部35として共役構造の符号帳(2
つ)を用いて量子化する場合の実施例を図3Bにあらわ
し、図2Bと対応する部分に同一符号を付けてある。P
W符号帳81が更に設けられる。このPW符号帳81の
各符号ベクトルから、PW符号帳41の符号ベクトルと
互いに共役構造をもつもの、つまり互いに直交関係にあ
るものが選択され、その選択された符号ベクトルは符号
切り出し部70で先頭からピッチ周期長pi 分だけ切り
出され、利得部82で利得符号帳43から選択された利
得が与えられ、この利得が与えられた符号ベクトルと利
得部42よりの符号ベクトルとが加算部83で加算され
て励振信号として畳み込みフィルタ44に与えられる。
この符号ベクトルを励振信号として合成した波形と、P
W波形を励振信号として合成した波形との聴覚重み付け
平均二乗誤差が最小になるようにPW符号帳41,81
の各符号ベクトルとその利得とが決定される。この距離
の歪み距離尺度の計算には実施例2と同様に式(14)
を用いる。この共役構造の符号帳41,81を用いる符
号化方法の詳細については「多重ベクトル量子化方法お
よびその装置」(特願昭63−249450)に記載さ
れている。
[0039] r i = g 0 i c o i + g 1 i c 1 i (18) In the above, the adaptive codebook as shown in Figure 5B the PW codebook (a), a fixed codebook (b), algebraic It is possible to use any of the dynamic pulse codebooks (c). The adaptive codebook (a) is a residual waveform in the past, and the algebraic pulse codebook (c) can be generated each time according to rules. Embodiment 3 A codebook (2) of a conjugate structure is used as the PW quantization unit 35 in FIG.
3B is shown in FIG. 3B, and the same reference numerals are given to portions corresponding to FIG. 2B. P
A W codebook 81 is further provided. From each code vector of the PW codebook 81, a code vector having a conjugate structure with the code vector of the PW codebook 41, that is, a code vector orthogonal to each other is selected. from cut by the pitch period length p i min, the gain that is selected from the gain codebook 43 is given by the gain section 82, and the code vector of the from the code vector and the gain section 42 that the gain is given by an adder 83 The added signals are supplied to the convolution filter 44 as excitation signals.
A waveform obtained by combining this code vector as an excitation signal and P
The PW codebooks 41 and 81 are designed to minimize the auditory weighted mean square error with the waveform synthesized from the W waveform as the excitation signal.
Are determined and their gains are determined. For calculating the distortion distance scale of this distance, the equation (14) is used similarly to the second embodiment.
Is used. The details of the encoding method using the conjugate structure codebooks 41 and 81 are described in “Multi-vector quantization method and apparatus” (Japanese Patent Application No. 63-249450).

【0040】この場合も、符号帳としては図5Bに示す
ような適応符号帳、固定符号帳、代数的パルス符号帳を
用いることが可能である。上述において、複数の符号帳
を用いる場合は、図5Bに示した複数種類のものから、
例えば適応符号帳と、固定符号帳というように組合わせ
て用いてもよい。多段ベクトル量子化や共役構造ベクト
ル量子化に対する図4中のPW復号部56は、入力符号
ベクトル数と対応する符号帳を用意しておき、これら符
号帳からそれぞれ入力PW符号I4 に応じた符号ベクト
ルをそれぞれ取出し、かつそれらに対して、入力PW符
号I4 中の利得符号により利得符号帳から得た各対応す
る利得をそれぞれ与えればよい。このようにしてそれぞ
れ復号されたPWベクトルを加算して前フレームの加算
PWベクトルと線形補間し、更に順次つなぐことにより
連続した信号として、合成フィルタ65へ供給する。
Also in this case, an adaptive codebook, fixed codebook, and algebraic pulse codebook as shown in FIG. 5B can be used as the codebook. In the above description, when a plurality of codebooks are used, from a plurality of types shown in FIG.
For example, a combination of an adaptive codebook and a fixed codebook may be used. The PW decoding unit 56 in FIG. 4 for the multi-stage vector quantization and the conjugate structure vector quantization prepares a codebook corresponding to the number of input code vectors, and codes corresponding to the input PW code I 4 from these codebooks. extraction vector, respectively, and to them, each corresponding gain obtained from the gain codebook by the gain code in the input PW code I 4 may be given respectively. The PW vectors thus decoded are each added, linearly interpolated with the added PW vector of the previous frame, and connected successively to supply a continuous signal to the synthesis filter 65.

【0041】図1において線形予測係数の量子化も1ピ
ッチ周期分だけ行って符号I1 を出力してもよい。
In FIG. 1, the code I 1 may be output after the quantization of the linear prediction coefficient is also performed for one pitch period.

【0042】[0042]

【発明の効果】以上説明したように、この発明の符号化
方法によれば、有声区間では1フレーム中の1ピッチ周
期だけを符号化しているため、全体を符号化するより符
号化ビット数を少くすることができる。しかもその符号
化の際に、ピーク位置をそろえているために波形の位相
情報もなくなり、一層符号化ビット数を少なくすること
ができる。
As described above, according to the coding method of the present invention, only one pitch period in one frame is coded in a voiced section. Can be reduced. In addition, since the peak positions are aligned at the time of encoding, there is no phase information of the waveform, and the number of encoded bits can be further reduced.

【0043】またこの発明の復号化方法によれば有声区
間で1フレーム中の1ピッチ周期分の情報しか入力され
ないが、前後の2つの符号ベクトルの間を補間した中間
PWベクトルを作り、同様に前後の2つの復号ピッチ周
期の間を補間した中間ピッチ周期を作り、その後、その
各符号ベクトルを対応するピッチ周期で連結させること
により、連続的に変化する励振信号が得られ、これによ
り合成フィルタを励振して、音声を再生することができ
る。
According to the decoding method of the present invention, only information for one pitch period in one frame is input in a voiced section. However, an intermediate PW vector is generated by interpolating between two preceding and succeeding code vectors. By generating an intermediate pitch period interpolating between the two preceding and succeeding decoding pitch periods, and subsequently linking the respective code vectors at the corresponding pitch period, a continuously changing excitation signal is obtained. Can be excited to reproduce sound.

【0044】符号の選択および復号時の信号の合成を全
て実時間領域で得ることは、周波数領域で行うものより
も少ない演算量で実現できる。この発明の音声符号化方
法・復号化方法の効果を調べるために、以下の条件で分
析合成音声実験を行った。入力音声としては、0〜4k
Hz帯域の音声を標本化周波数8.0kHzで標本化し
た後に、電話機の特性と対応するIRS特性フィルタを
通したものを用いた。符号化器および復号器は実施例2
(図1、図6および図4)の構成のものを用いた。ま
ず、この入力音声信号に、25ms(200サンプル)
毎に音声信号に分析窓長30msのハミング窓を乗じ、
分析次数を12次として自己相関法による線形予測分析
を行い、12個の予測係数を求める。予測係数はLSP
パラメータのユークリッド距離を用いてベクトル量子化
する。
Obtaining all of the selection of codes and the synthesis of signals at the time of decoding in the real time domain can be realized with a smaller amount of calculation than that performed in the frequency domain. In order to examine the effects of the speech encoding and decoding methods of the present invention, an analysis-synthesis speech experiment was performed under the following conditions. As input voice, 0-4k
After sampling the Hz-band sound at a sampling frequency of 8.0 kHz, a signal passed through an IRS characteristic filter corresponding to the characteristics of the telephone was used. Encoder and Decoder are Embodiment 2
(FIGS. 1, 6, and 4) were used. First, 25 ms (200 samples) is added to this input audio signal.
Each time, multiply the audio signal by a Hamming window with an analysis window length of 30 ms,
The linear prediction analysis by the autocorrelation method is performed with the analysis order set to 12, to obtain 12 prediction coefficients. The prediction coefficient is LSP
Vector quantization is performed using the Euclidean distance of the parameter.

【0045】入力音声信号の状態が有声部と判断された
場合、得られるPWベクトルを2つの雑音符号c
0 i 、c1 j を用いてベクトル量子化する。偏自己相
関法でもとめたピッチは整数値へと四捨五入を用いてス
カラー量子化する。また、入力音声信号が無声部と判断
された場合は25msフレームを5分割して各5msサ
ブフレーム内の残差波形の平均パワーを計算し、その5
つの値をベクトル量子化する。
When the state of the input speech signal is determined to be a voiced part, the obtained PW vector is converted into two noise codes c.
Vector quantization is performed using 0 i and c 1 j . The pitch determined by the partial autocorrelation method is scalar-quantized by rounding to an integer value. If the input voice signal is determined to be unvoiced, the 25 ms frame is divided into five and the average power of the residual waveform in each 5 ms subframe is calculated.
Vector quantize the two values.

【0046】ビットレートは周期性がある場合は2.0
0kbit/s、周期性がない場合は1.26kbit
/sであり、その内訳は次のようになる。 パラメータ ビット数/フレーム 予測係数(LSP) 21 有声・無声パラメータ 1 励振信号(有声の場合)1段目の雑音系列 7 2段目の雑音系列 7 雑音系列の利得 7 ピッチ周期 7 励振信号(無声の場合)雑音系列 7 上記の条件で符号化された音声は、同一のビットレート
の従来のボコーダに比べてはるかに高い自然性をもち、
また同一のビットレートの従来のCELP符号化に比べ
ても明瞭で雑音感の少ない音声品質が達成された。
The bit rate is 2.0 when there is periodicity.
0 kbit / s, 1.26 kbit when there is no periodicity
/ S, and the breakdown is as follows. Parameter Number of bits / frame Prediction coefficient (LSP) 21 Voiced / unvoiced parameter 1 Excited signal (for voiced) First-stage noise sequence 7 Second-stage noise sequence 7 Gain of noise sequence 7 Pitch period 7 Excited signal (unvoiced Case) Noise sequence 7 Speech coded under the above conditions has much higher naturalness than a conventional vocoder of the same bit rate,
Also, compared to the conventional CELP coding at the same bit rate, voice quality that is clear and has little noise is achieved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の符号化方法の実施例を適用した符号
化器の機能構成例を示すブロック図。
FIG. 1 is a block diagram showing a functional configuration example of an encoder to which an embodiment of an encoding method according to the present invention is applied.

【図2】Aは図1中の無声部量子化部19の具体的機能
構成を示すブロック図、Bは図1中の無声部量子化部1
9の他の具体的機能構成を示すブロック図である。
2A is a block diagram showing a specific functional configuration of the unvoiced portion quantization unit 19 in FIG. 1, and FIG. 2B is a block diagram showing the unvoiced portion quantization unit 1 in FIG.
FIG. 9 is a block diagram showing another specific functional configuration of the ninth embodiment.

【図3】Aは図1中のPW量子化部35の具体的機能構
成例を示すブロック図、Bは共役構造ベクトル量子化の
場合のPW量子化部35の具体的機能構成例を示すブロ
ック図である。
3A is a block diagram illustrating a specific functional configuration example of a PW quantization unit 35 in FIG. 1. FIG. 3B is a block illustrating a specific functional configuration example of the PW quantization unit 35 in the case of conjugate structure vector quantization. FIG.

【図4】この発明による復号化方法の実施例を適用した
復号化器の機能構成例を示すブロック図。
FIG. 4 is a block diagram showing a functional configuration example of a decoder to which the embodiment of the decoding method according to the present invention is applied;

【図5】Aは図4中の無声部復号部53の具体的機能構
成を示すブロック図、Bはこの発明で用いられる各種符
号帳の例を示す図である。
5A is a block diagram illustrating a specific functional configuration of the unvoiced section decoding unit 53 in FIG. 4, and FIG. 5B is a diagram illustrating examples of various codebooks used in the present invention.

【図6】図1中のPW量子化部35を多段ベクトル量子
化法とした場合の機能構成例を示すブロック図。
FIG. 6 is a block diagram showing an example of a functional configuration when a PW quantization unit 35 in FIG. 1 is a multi-stage vector quantization method.

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 音声信号を音声のピッチ周期より長いフ
レームごとに線形予測分析し、その分析により得られた
線形予測係数と、その線形予測係数にもとづくフィルタ
係数の線形予測合成フィルタを駆動する励振信号とによ
って音声の特徴を表現する音声符号化方法において、 フレームごとに、有声・無声区間判別を行い、 当該フレームが有声区間ならば、音声信号を線形予測逆
フィルタリングして求めた残差信号から、ピッチ周期長
の残差信号ベクトルを抽出し、 その抽出された残差信号ベクトルを、予め定めた基準信
号ベクトルとの相関が大きくなるように、巡回して目標
残差ベクトルを求め、 その目標残差ベクトルを上記合成フィルタを通して目標
波形ベクトルを求め、 予め決めた複数の符号ベクトルを上記ピッチ周期長で打
ち切ったものより選択し、その励振信号として上記合成
フィルタにより音声合成して合成波形ベクトルを得、 この合成波形ベクトルの上記目標波形ベクトルに対する
波形の歪みが最小となる上記符号ベクトルを選択して量
子化符号を決定することを特徴とする音声符号化方法。
An excitation for driving a linear prediction synthesis filter of a linear prediction coefficient obtained by analyzing a voice signal for each frame longer than a pitch period of the voice, and a filter coefficient based on the linear prediction coefficient. In a speech coding method for expressing speech characteristics by using a signal, voiced / unvoiced section discrimination is performed for each frame, and if the frame is a voiced section, the speech signal is calculated from a residual signal obtained by performing linear prediction inverse filtering. , A residual signal vector having a pitch period length is extracted, and the extracted residual signal vector is circulated so as to increase the correlation with a predetermined reference signal vector to obtain a target residual vector. A target waveform vector is obtained from the residual vector through the synthesis filter, and a plurality of predetermined code vectors are truncated at the pitch period length. And a synthesized waveform vector obtained by performing voice synthesis using the synthesis filter as the excitation signal, and selecting the code vector that minimizes distortion of the waveform of the synthesized waveform vector with respect to the target waveform vector, and performs quantization coding. Is determined.
【請求項2】 上記目標波形ベクトルの生成は、上記合
成フィルタのインパルス応答にもとづく下方三角正方行
列に対し、そのフィルタの自由応答分を求めるための下
方に拡張した非正方行列を、上記目標残差ベクトルに対
し畳み込み演算して求め、 上記非正方行列を上記選択した符号ベクトルに畳み込み
演算して上記合成波形ベクトルを生成することを特徴と
する請求項1記載の音声符号化方法。
2. The method according to claim 1, wherein the target waveform vector is generated by adding a non-square matrix extended downward to obtain a free response of the filter to the target triangular square matrix based on the impulse response of the synthesis filter. 2. The speech encoding method according to claim 1, wherein a convolution operation is performed on a difference vector, and the non-square matrix is convolved with the selected code vector to generate the composite waveform vector.
【請求項3】 上記線形予測係数にもとづくフィルタ係
数を有する合成フィルタにインパルスを通して、インパ
ルス応答を求め、そのインパルス応答を少ないサンプル
数で打ち切ったものにより上記非正方行列を作成するこ
とを特徴とする請求項2記載の音声符号化方法。
3. An impulse response is obtained by passing an impulse through a synthesis filter having a filter coefficient based on the linear prediction coefficient, and the non-square matrix is created by truncating the impulse response with a small number of samples. The speech encoding method according to claim 2.
【請求項4】 上記予め決めた複数の符号ベクトルはそ
のピーク位置がそろえられていることを特徴とする請求
項1又は3記載の音声符号化方法。
4. The speech encoding method according to claim 1, wherein the plurality of predetermined code vectors have the same peak position.
【請求項5】 上記有声・無声区間判定が無声区間なら
ば、雑音符号帳から選択した雑音ベクトルにより上記合
成フィルタを励振し、その出力信号と入力音声信号との
歪みを最小とする雑音ベクトルを選択して上記残差信号
を量子化することを特徴とする請求項1乃至4の何れか
に記載の音声符号化方法。
5. If the voiced / unvoiced section determination is a voiceless section, the synthesis filter is excited by a noise vector selected from a noise codebook, and a noise vector that minimizes distortion between an output signal and an input speech signal is obtained. 5. The speech coding method according to claim 1, wherein the residual signal is quantized by selecting.
【請求項6】 上記有声・無声区間判定が無声区間なら
ば、1フレームを複数のサブフレームに分割し、その各
サブフレームの平均パワーをフレームごとにベクトル量
子化することにより上記無声区間の量子化を行うことを
特徴とする請求項1乃至4の何れかに記載の音声符号化
方法。
6. If the voiced / unvoiced section determination is a voiceless section, one frame is divided into a plurality of subframes, and the average power of each of the subframes is vector-quantized for each frame. 5. The speech encoding method according to claim 1, wherein encoding is performed.
【請求項7】 フレームごとに符号化された線形予測係
数符号と、励振信号の量子化符号とを入力して、上記線
形予測係数符号を復号して得たフィルタ係数を有する線
形予測合成フィルタを、符号帳より得た上記励振信号の
量子化符号の復号化信号で駆動して、出力音声を合成す
る音声復号化方法において、 当該フレームが有声区間ならば、上記励振信号の量子化
符号に応じて上記符号帳より取り出した符号ベクトル
を、入力されたピッチ周期符号を復号したピッチ周期長
で打ち切り、 上記打ち切った前後2つの符号ベクトルの補間を行な
い、かつ復号した前後2つのピッチ周期の補間を行な
い、 その補間されたピッチ周期に従って、上記補間された符
号ベクトルを順次つなげて上記フレーム長の励振信号を
生成することを特徴とする音声復号化方法。
7. A linear prediction synthesis filter having a filter coefficient obtained by inputting a linear prediction coefficient code coded for each frame and a quantization code of an excitation signal and decoding the linear prediction coefficient code. In a speech decoding method for synthesizing an output speech by driving with a decoded signal of the quantization code of the excitation signal obtained from the codebook, if the frame is a voiced section, the speech decoding method according to the quantization code of the excitation signal The code vector extracted from the codebook is truncated at the pitch period length obtained by decoding the input pitch period code, the two code vectors before and after the truncation are interpolated, and the interpolation between the decoded two pitch periods is performed. And generating an excitation signal having the frame length by sequentially connecting the interpolated code vectors in accordance with the interpolated pitch period. Encoding method.
【請求項8】 上記補間は重み付きで線形補間であるこ
とを特徴とする請求項7記載の音声復号化方法。
8. The speech decoding method according to claim 7, wherein said interpolation is weighted linear interpolation.
【請求項9】 上記補間は上記前後2つの符号ベクトル
の短い方のベクトル長を、長い方のベクトル長に一致す
るように差の部分を零詰めしてから線形補間を行うこと
を特徴とする請求項7又は8に記載の音声復号化方法。
9. The interpolation is characterized in that a shorter vector length of the two preceding and succeeding code vectors is zero-filled with a difference portion so as to match the longer vector length, and then linear interpolation is performed. The speech decoding method according to claim 7.
【請求項10】 上記補間は上記前後2つの符号ベクト
ルの長さを一定のベクトル長に正規化してから線形補間
を行い、その後上記正規化前のピッチ周期長に戻すこと
を特徴とする請求項7又は8に記載の音声復号化方法。
10. The interpolation according to claim 1, wherein the lengths of the two preceding and succeeding code vectors are normalized to a constant vector length, linear interpolation is performed, and thereafter, the pitch period length is returned to the pitch period length before the normalization. 9. The speech decoding method according to 7 or 8.
【請求項11】 上記補間は上記前後の2つのフレーム
から得たピッチ周期が他方の倍のピッチ周期長程度に大
きく異なる場合、 短い方のピッチ長を倍に補正して、短い方のベクトルを
繰り返してから補間を行うことを特徴とする請求項7乃
至10のいずれかに記載の音声復号化方法。
11. When the pitch periods obtained from the preceding and succeeding two frames are significantly different from each other by about twice the pitch period length of the other, the interpolation corrects the shorter pitch length by a factor of two and replaces the shorter vector with the shorter vector. 11. The speech decoding method according to claim 7, wherein interpolation is performed after repetition.
【請求項12】 前後の2つの上記復号した線形予測係
数を上記波形ベクトルの補間と同時に線形補間して上記
合成フィルタのフィルタ係数を求めることを特徴とする
請求項7乃至11の何れかに記載の音声復号化方法。
12. The filter coefficient of the synthesis filter according to claim 7, wherein the two preceding and succeeding decoded linear prediction coefficients are linearly interpolated simultaneously with the interpolation of the waveform vector to obtain a filter coefficient of the synthesis filter. Audio decoding method.
【請求項13】 上記復号した線形予測係数をサブフレ
ームごとに線形補間によって得ることを特徴とする請求
項7乃至11の何れかに記載の音声復号化方法。
13. The speech decoding method according to claim 7, wherein the decoded linear prediction coefficients are obtained by linear interpolation for each subframe.
【請求項14】 上記当該フレームが無声区間であれ
ば、入力された励振信号の量子化符号を復号して無声残
差波形を得、この無声残差波形で上記合成フィルタを駆
動することを特徴とする請求項7乃至13の何れかに記
載の音声復号化方法。
14. When the frame is a voiceless section, a quantized code of an input excitation signal is decoded to obtain a voiceless residual waveform, and the synthesis filter is driven by the voiceless residual waveform. 14. The audio decoding method according to claim 7, wherein:
【請求項15】 上記当該フレームが無声区間であれ
ば、パワー符号帳から1フレームが分割された複数のサ
ブフレームのそれぞれのパワーに、生成した白色雑音で
励振した上記合成フィルタの出力の各サブフレームの平
均パワーを一致させて、上記出力音声を得ることを特徴
とする請求項7乃至13の何れかに記載の音声復号化方
法。
15. If the frame is an unvoiced section, each power of a plurality of subframes obtained by dividing one frame from the power codebook is applied to each sub-output of the synthesis filter excited by generated white noise. 14. The speech decoding method according to claim 7, wherein the output speech is obtained by matching the average power of the frames.
JP03812797A 1997-02-21 1997-02-21 Voice encoding method and decoding method Expired - Fee Related JP3296411B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03812797A JP3296411B2 (en) 1997-02-21 1997-02-21 Voice encoding method and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03812797A JP3296411B2 (en) 1997-02-21 1997-02-21 Voice encoding method and decoding method

Publications (2)

Publication Number Publication Date
JPH10232697A true JPH10232697A (en) 1998-09-02
JP3296411B2 JP3296411B2 (en) 2002-07-02

Family

ID=12516798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03812797A Expired - Fee Related JP3296411B2 (en) 1997-02-21 1997-02-21 Voice encoding method and decoding method

Country Status (1)

Country Link
JP (1) JP3296411B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002533772A (en) * 1998-12-21 2002-10-08 クゥアルコム・インコーポレイテッド Variable rate speech coding
JP2003522965A (en) * 1998-12-21 2003-07-29 クゥアルコム・インコーポレイテッド Periodic speech coding
US7228272B2 (en) 2001-06-29 2007-06-05 Microsoft Corporation Continuous time warping for low bit-rate CELP coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002533772A (en) * 1998-12-21 2002-10-08 クゥアルコム・インコーポレイテッド Variable rate speech coding
JP2003522965A (en) * 1998-12-21 2003-07-29 クゥアルコム・インコーポレイテッド Periodic speech coding
JP4824167B2 (en) * 1998-12-21 2011-11-30 クゥアルコム・インコーポレイテッド Periodic speech coding
JP4927257B2 (en) * 1998-12-21 2012-05-09 クゥアルコム・インコーポレイテッド Variable rate speech coding
JP2013178545A (en) * 1998-12-21 2013-09-09 Qualcomm Inc Variable rate speech coding
US7228272B2 (en) 2001-06-29 2007-06-05 Microsoft Corporation Continuous time warping for low bit-rate CELP coding

Also Published As

Publication number Publication date
JP3296411B2 (en) 2002-07-02

Similar Documents

Publication Publication Date Title
EP0409239B1 (en) Speech coding/decoding method
JP4550289B2 (en) CELP code conversion
JPH0990995A (en) Speech coding device
JP3628268B2 (en) Acoustic signal encoding method, decoding method and apparatus, program, and recording medium
EP1597721B1 (en) 600 bps mixed excitation linear prediction transcoding
JP3582589B2 (en) Speech coding apparatus and speech decoding apparatus
JP2000155597A (en) Voice coding method to be used in digital voice encoder
JP3531780B2 (en) Voice encoding method and decoding method
JP3296411B2 (en) Voice encoding method and decoding method
JP3583945B2 (en) Audio coding method
JP3050978B2 (en) Audio coding method
JP4438280B2 (en) Transcoder and code conversion method
EP0361432A2 (en) Method of and device for speech signal coding and decoding by means of a multipulse excitation
JP2956068B2 (en) Audio encoding / decoding system
JP3232701B2 (en) Audio coding method
JP3510168B2 (en) Audio encoding method and audio decoding method
JP2001142499A (en) Speech encoding device and speech decoding device
JP2853170B2 (en) Audio encoding / decoding system
JP3192051B2 (en) Audio coding device
JP3274451B2 (en) Adaptive postfilter and adaptive postfiltering method
JP3063087B2 (en) Audio encoding / decoding device, audio encoding device, and audio decoding device
JP3071800B2 (en) Adaptive post filter
JP3232728B2 (en) Audio coding method
JP2000029499A (en) Voice coder and voice encoding and decoding apparatus
JPH02160300A (en) Voice encoding system

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090412

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090412

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100412

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100412

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110412

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120412

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130412

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees