JPH05281994A - Similarity arithmetic unit - Google Patents

Similarity arithmetic unit

Info

Publication number
JPH05281994A
JPH05281994A JP4077011A JP7701192A JPH05281994A JP H05281994 A JPH05281994 A JP H05281994A JP 4077011 A JP4077011 A JP 4077011A JP 7701192 A JP7701192 A JP 7701192A JP H05281994 A JPH05281994 A JP H05281994A
Authority
JP
Japan
Prior art keywords
category
probability density
similarity
density distribution
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4077011A
Other languages
Japanese (ja)
Other versions
JP2845018B2 (en
Inventor
Tomohiro Iwasaki
知弘 岩崎
Kunio Nakajima
邦男 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP4077011A priority Critical patent/JP2845018B2/en
Publication of JPH05281994A publication Critical patent/JPH05281994A/en
Application granted granted Critical
Publication of JP2845018B2 publication Critical patent/JP2845018B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PURPOSE:To obtain the similarity arithmetic unit which is small in arithmetic quantity without deteriorating the category decision making performance for a speech signal. CONSTITUTION:A probability density distribution storage means 2 is stored with plural probability density distributions showing acoustic features of the same category and a 2nd category similarity arithmetic means 3 finds the 2nd category similarity 9 of an input signal by using the specific probability density distribution 8a; and a probability density distribution selecting means 4 selects the probability density distributions, category by category, according to the 2nd category similarity 9 and a 1st category similarity arithmetic means 5 performs similarity arithmetic for the specified probability density distribution 8b and outputs category similarity 11.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は音声信号部分区間毎の
カテゴリ類似度を用いて音声の認識を行う音声認識装置
に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice recognition device for recognizing a voice by using a category similarity for each voice signal partial section.

【0002】[0002]

【従来の技術】図8は例えば中川聖一著「確率モデルに
よる音声認識」(電子情報通信学会発行、P72)に示
されたような従来の類似度演算装置の構成を表す構成図
である。
2. Description of the Related Art FIG. 8 is a block diagram showing the configuration of a conventional similarity calculating device as shown in "Voice Recognition by Stochastic Model" by Seiichi Nakagawa (published by The Institute of Electronics, Information and Communication Engineers, P72).

【0003】図において、41は音声信号を一定区間毎
に音響分析し音響パラメータベクトルに変換する音分析
手段、42はカテゴリの音響適特徴を表す確率密度分布
を記憶している確率密度分布記憶手段、43は記憶して
ある確率密度分布に対する前記音響パラメータベクトル
の類似度演算を行いカテゴリ類似度を出力するカテゴリ
類似度演算手段、44は音声信号、45は音響パラメー
タベクトル、46は確率密度分布、47はカテゴリ類似
度である。
In the figure, reference numeral 41 is a sound analysis means for acoustically analyzing a voice signal for each constant section and converting it into an acoustic parameter vector, and 42 is a probability density distribution storage means for storing a probability density distribution representing suitable acoustic characteristics of a category. , 43 is a category similarity calculation means for calculating the similarity of the acoustic parameter vector with respect to the stored probability density distribution and outputting the category similarity, 44 is a voice signal, 45 is an acoustic parameter vector, 46 is a probability density distribution, 47 is a category similarity.

【0004】以下、確率密度分布を分布数を8とする混
合連続分布からなる確率密度分布を用いる場合を一例と
して、従来の類似度演算装置の動作を説明する。図9は
従来の類似度演算装置の動作を示す流れ図である。
The operation of the conventional similarity calculating device will be described below by taking as an example the case of using a probability density distribution consisting of a mixed continuous distribution having a probability density distribution of 8. FIG. 9 is a flowchart showing the operation of the conventional similarity calculation device.

【0005】図9において、xは音響パラメータベクト
ル、pはカテゴリ番号、θ8(p)は分布数を8とする混
合連続分布からなるカテゴリpを表す確率密度分布、b
(θ8(p),x)は音響パラメータベクトルxの確率密度
分布θ8(p)に対する類似度、B(p)はカテゴリpのカ
テゴリ類似度、Nはカテゴリ総数である。
In FIG. 9, x is an acoustic parameter vector, p is a category number, θ8 (p) is a probability density distribution representing a category p consisting of a mixed continuous distribution having a distribution number of 8, b
(Θ8 (p), x) is the similarity of the acoustic parameter vector x to the probability density distribution θ8 (p), B (p) is the category similarity of the category p, and N is the total number of categories.

【0006】図9において処理はstart301から
始まりend307で終了する。図10に示すように類
似度演算に先立ち確率密度分布記憶手段42には予め各
カテゴリの音響的特徴を表す確率密度分布θ8(p)が記
憶されているとする。
In FIG. 9, the process starts from start 301 and ends at end 307. As shown in FIG. 10, it is assumed that a probability density distribution θ8 (p) representing acoustic characteristics of each category is stored in advance in the probability density distribution storage means 42 prior to the similarity calculation.

【0007】まず302において音響分析手段41では
入力された音声信号44に対し音響分析を行い音響パラ
メータベクトルxに変換する。次にステップ303〜3
06においてカテゴリ類似度演算手段43ではカテゴリ
pの確率密度分布θ8(p)に対し、音響分析手段より出
力される音響パラメータベクトル45のカテゴリpに対
する類似度演算をカテゴリ総数であるN回繰り返し、カ
テゴリ類似度B(p)を出力する。このカテゴリ類似度B
(p)により入力された音声信号がどのカテゴリであった
かを判別できるまたこのカテゴリ類似度を出力確率とし
てHMMにおけるビテルビ演算を行うことができる。
First, at 302, the acoustic analysis means 41 performs acoustic analysis on the input voice signal 44 to convert it into an acoustic parameter vector x. Next, steps 303 to 3
In 06, the category similarity calculation means 43 repeats the similarity calculation for the category p of the acoustic parameter vector 45 output from the acoustic analysis means N times, which is the total number of categories, for the probability density distribution θ8 (p) of the category p. The similarity B (p) is output. This category similarity B
By (p), it is possible to determine which category the input audio signal was, and it is possible to perform the Viterbi operation in the HMM using the category similarity as the output probability.

【0008】[0008]

【発明が解決しようとする課題】従来の類似度演算装置
は以上のように構成されており、入力信号によらず常に
特定の確率密度分布に対する類似度演算を繰り返すた
め、分布数の多い混合連続分布からなる確率密度分布を
用いる場合演算量が大きくなるという問題があった。
The conventional similarity calculating device is configured as described above, and since the similarity calculation for a specific probability density distribution is always repeated regardless of the input signal, the continuous mixing with a large number of distributions is performed. There is a problem that the amount of calculation becomes large when using a probability density distribution consisting of distributions.

【0009】この発明は上記のような問題点を解決する
ためになされたもので、音声信号のカテゴリ判別性能を
劣化させること無く、演算量の少ない類似度演算装置を
得ることを目的とする。
The present invention has been made to solve the above problems, and an object of the present invention is to obtain a similarity calculation device having a small amount of calculation without degrading the category discrimination performance of a voice signal.

【0010】[0010]

【課題を解決するための手段】この発明による類似度演
算装置は従来の類似度演算装置の構成に加え、同一カテ
ゴリに属する音声の音響的特徴を表す複数種類の確率密
度分布を記憶する確率密度分布記憶手段と、各カテゴリ
毎にこの確率密度分布記憶手段に記憶されている特定の
確率密度分布を用いて前記音響パラメータベクトルのカ
テゴリ類似度を演算し第2カテゴリ類似度として出力す
る第2カテゴリ類似度演算手段と、この第2カテゴリ類
似度に応じて前記確率密度分布記憶手段の確率密度分布
をカテゴリ毎に選択し確率密度分布指定信号を出力する
確率密度分布選択手段と、前記音響分析手段から出力さ
れる音響パラメータベクトルの前記確率密度分布指定信
号により指定される確率密度分布を用いてカテゴリ類似
度の演算を行い出力する第1カテゴリ類似度演算手段を
備える構成としたものである。
In addition to the configuration of the conventional similarity calculating device, the similarity calculating device according to the present invention has a probability density storing a plurality of kinds of probability density distributions representing acoustic characteristics of voices belonging to the same category. A second category that calculates the category similarity of the acoustic parameter vector using the distribution storage means and the specific probability density distribution stored in the probability density distribution storage means for each category, and outputs it as the second category similarity. Similarity calculation means, probability density distribution selection means for selecting the probability density distribution of the probability density distribution storage means for each category according to the second category similarity, and outputting a probability density distribution designation signal, and the acoustic analysis means. Category probability calculation is performed using the probability density distribution specified by the probability density distribution specifying signal of the acoustic parameter vector output from The first is obtained by a structure comprising a category similarity calculating means for.

【0011】[0011]

【作用】この発明における類似度演算装置は、入力信号
の近傍カテゴリを第2カテゴリ類似度により判定し、カ
テゴリ判定時に重要となる近傍カテゴリに対してはより
カテゴリ判定能力の高い確率密度分布を用いて類似度演
算を行い、非近傍カテゴリとなる程、より演算量の小さ
な確率密度分布を用いて類似度演算を行うことで、カテ
ゴリ判定能力を劣化させることなく演算量を少なくする
ことが可能となる。
The similarity calculating device according to the present invention determines the neighborhood category of the input signal based on the second category similarity, and uses the probability density distribution having a higher category decision ability for the neighborhood category which is important in category decision. It is possible to reduce the amount of computation without degrading the category determination ability by performing the similarity computation by using the probability density distribution with a smaller computation amount for the non-neighborhood category. Become.

【0012】[0012]

【実施例】【Example】

実施例1.以下、この発明の一実施例を図1について説
明する。図1において1は音声信号を一定区間毎に音響
分析し音響パラメータベクトルに変換する音響分析手
段、2は同一カテゴリに属する音声の音響的特徴を表す
複数種類の確率密度分布を記憶する確率密度分布記憶手
段、3は各カテゴリ毎にこの確率密度分布記憶手段2に
記憶されている特定の確率密度分布を用いて前記音響パ
ラメータベクトルのカテゴリ類似度を演算し第2カテゴ
リ類似度として出力する第2カテゴリ類似度演算手段で
ある。
Example 1. An embodiment of the present invention will be described below with reference to FIG. In FIG. 1, reference numeral 1 is an acoustic analysis means for acoustically analyzing a voice signal at regular intervals and converting it into an acoustic parameter vector. The storage means 3 calculates the category similarity of the acoustic parameter vector using the specific probability density distribution stored in the probability density distribution storage means 2 for each category, and outputs it as the second category similarity. It is a category similarity calculation means.

【0013】4はこの第2カテゴリ類似度に応じて確率
密度分布をカテゴリ毎に選択し確率密度分布指定信号を
出力する確率密度分布選択手段、5は確率密度分布指定
信号により指定される確率密度分布を用いて前記音響分
析手段から出力される音響パラメータベクトルのカテゴ
リ類似度を演算し出力する第1カテゴリ類似度演算手
段、6は音声信号、7a、7bは音響パラメータベクト
ル、8a,8bは確率密度分布、9は第2カテゴリ類似
度、10は確率密度分布指定信号、11はカテゴリ類似
度である。
Numeral 4 is a probability density distribution selecting means for selecting a probability density distribution for each category according to the second category similarity and outputting a probability density distribution designating signal. Reference numeral 5 is a probability density designated by the probability density distribution designating signal. First category similarity calculation means for calculating and outputting the category similarity of the acoustic parameter vector output from the acoustic analysis means using distribution, 6 is a voice signal, 7a and 7b are acoustic parameter vectors, and 8a and 8b are probabilities. The density distribution, 9 is the second category similarity, 10 is the probability density distribution designation signal, and 11 is the category similarity.

【0014】以下、第1カテゴリ類似度演算手段におい
て確率密度分布として分布数8と分布数2の混合連続分
布からなる2種類の確率密度分布を選択して用い、第2
カテゴリ類似度演算手段において分布数1の混合連続分
布からなる確率密度分布を用いる場合を一例として、こ
の発明による類似度演算装置の動作を説明する。
Hereinafter, in the first category similarity calculating means, two kinds of probability density distributions, which are mixed continuous distributions of distribution number 8 and distribution number 2, are selected and used as probability density distributions.
The operation of the similarity calculation device according to the present invention will be described by taking as an example the case where a probability density distribution formed of a mixed continuous distribution with a distribution number of 1 is used in the category similarity calculation means.

【0015】本来、分布数1の混合連続分布は単一連続
分布であるが、ここでは説明のため分布数1の混合連続
分布と呼ぶ。分布数2の混合分布からなる確率密度分布
はカテゴリ判定能力は低いが演算量が小さく、分布数8
の混合分布からなる確率密度分布はカテゴリ判定能力は
高いが演算量は大きい。
Originally, a mixed continuous distribution with a distribution number of 1 is a single continuous distribution, but here it is called a mixed continuous distribution with a distribution number of 1 for the sake of explanation. The probability density distribution consisting of the mixture distribution with the number of distributions 2 has a low category judgment ability, but the amount of calculation is small.
The probability density distribution, which is a mixture distribution of, has a high category judgment ability but a large amount of calculation.

【0016】図2はこの発明による類似度演算装置の動
作を示す流れ図である。図2において、xは音響パラメ
ータベクトル、pはカテゴリ番号、r(p,x)は音響
パラメータベクトルxのカテゴリpに対する第2カテゴ
リ類似度、Tは分布数選択に用いる類似度の閾値、Kは
分布数選択に用いる定数、
FIG. 2 is a flow chart showing the operation of the similarity calculating device according to the present invention. In FIG. 2, x is an acoustic parameter vector, p is a category number, r (p, x) is a second category similarity with respect to the category p of the acoustic parameter vector x, T is a threshold value of similarity used for selecting the number of distributions, and K is Constant used to select the number of distributions,

【0017】θ8(p)は分布数を8とする混合連続分布
からなるカテゴリpを表す確率密度分布、θ2(p)は分
布数を2とする混合連続分布からなるカテゴリpを表す
確率密度分布、θ1(p)は分布数を1とする混合連続分
布からなるカテゴリpを表す確率密度分布、b(θ8
(p),x)は音響パラメータベクトルxの確率密度分布
θ8(p)に対する類似度、b(θ2(p),x)は音響パラ
メータベクトルxの確率密度分布θ2(p)に対する類似
度、b(θ1(p),x)は音響パラメータベクトルxの確
率密度分布θ1(p)に対する類似度、s(p)はカテゴリ
pの確率密度分布指定信号、B(p)はカテゴリpのカテ
ゴリ類似度、Nはカテゴリ総数である。また、
Θ8 (p) is a probability density distribution representing a category p having a continuous distribution with a distribution number of 8, and θ2 (p) is a probability density distribution representing a category p having a continuous continuous distribution having a distribution number of 2. , Θ1 (p) is a probability density distribution that represents a category p consisting of a mixed continuous distribution with the number of distributions being 1, and b (θ8
(p), x) is the similarity of the acoustic parameter vector x to the probability density distribution θ8 (p), b (θ2 (p), x) is the similarity to the probability density distribution θ2 (p) of the acoustic parameter vector x, b (Θ1 (p), x) is the similarity of the acoustic parameter vector x to the probability density distribution θ1 (p), s (p) is the probability density distribution designation signal of category p, and B (p) is the category similarity of category p. , N is the total number of categories. Also,

【0018】[0018]

【数1】 [Equation 1]

【0019】は類似度R(p)のうち最大のものから定数
Kを減じた値を閾値Tとすることを示す。
Indicates that a value obtained by subtracting the constant K from the maximum similarity R (p) is used as the threshold T.

【0020】図2において処理はstart101から
始まりend120で終了する。類似度演算に先立ち図
3に示すように確率密度分布記憶手段2には予め各カテ
ゴリの音響的特徴を表す確率密度分布θ1(p)とθ2(p)
とθ8(p)が記憶されているとする。まず102におい
て音響分析手段1では入力された音声信号6に対し音響
分析を行い音響パラメータベクトルxに変換する。
In FIG. 2, the process starts at start 101 and ends at end 120. Prior to the similarity calculation, as shown in FIG. 3, the probability density distribution storage means 2 previously stores the probability density distributions θ1 (p) and θ2 (p) representing the acoustic features of each category.
And θ8 (p) are stored. First, at 102, the acoustic analysis means 1 performs acoustic analysis on the input voice signal 6 to convert it into an acoustic parameter vector x.

【0021】次にステップ103〜106において第2
カテゴリ類似度演算手段3では確率密度分布θ1(p)を
用いてカテゴリ類似度R(p)を演算し出力する。ステッ
プ107において確率密度分布選択手段4ではカテゴリ
類似度の閾値Tを決定し、ステップ108〜113にお
いてカテゴリ類似度が閾値Tより大きいカテゴリである
近傍カテゴリに関しては確率密度分布指定信号s(p)と
して8を与え、カテゴリ類似度が閾値T以下のカテゴリ
である非近傍カテゴリに関しては確率密度分布指定信号
s(p)を2とする。
Next, in steps 103 to 106, the second
The category similarity calculation means 3 calculates and outputs the category similarity R (p) using the probability density distribution θ1 (p). In step 107, the probability density distribution selecting means 4 determines the threshold value T of the category similarity, and in steps 108 to 113, the neighborhood category whose category similarity is larger than the threshold T is set as the probability density distribution designation signal s (p). 8 is given, and the probability density distribution designation signal s (p) is set to 2 for a non-neighboring category whose category similarity is equal to or lower than the threshold T.

【0022】次にステップ114〜119において第1
カテゴリ類似度演算手段5においてカテゴリ類似度B
(p)が演算される。確率密度分布指定信号s(p)が8の
場合にはステップ116において確率密度分布θ8(p)
を用い、確率密度分布指定信号s(p)が2の場合にはス
テップ117において確率密度分布θ2(p)を用いてカ
テゴリ類似度B(p)を演算する。この類似度演算をカテ
ゴリ総数であるN回繰り返し、カテゴリ類似度B(p)を
出力する。このカテゴリ類似度B(p)により入力された
音声信号がどのカテゴリであったかを判別できる。また
このカテゴリ類似度を出力確率としてHMMにおけるビ
テルビ演算を行うことができる。
Next, in steps 114 to 119, the first
The category similarity B in the category similarity calculation means 5
(p) is calculated. When the probability density distribution designation signal s (p) is 8, the probability density distribution θ8 (p) is calculated in step 116.
If the probability density distribution designating signal s (p) is 2, the category similarity B (p) is calculated using the probability density distribution θ2 (p) in step 117. This similarity calculation is repeated N times, which is the total number of categories, and the category similarity B (p) is output. It is possible to determine which category the voice signal input is based on the category similarity B (p). Further, the Viterbi operation in the HMM can be performed by using the category similarity as the output probability.

【0023】実施例2.以下、この発明に基づく別の一
実施例を図4を用いて説明する。図4において21は音
声信号を一定区間毎に音響分析し音響パラメータベクト
ルに変換する音響分析手段、22は同一カテゴリに属す
る音声の音響的特徴を表す複数種類の確率密度分布を記
憶する確率密度分布記憶手段、23は各カテゴリ毎にこ
の確率密度分布記憶手段に記憶されている特定の確率密
度分布を用いて前記音響パラメータベクトルのカテゴリ
類似度を演算し第2カテゴリ類似度として出力する第2
カテゴリ類似度演算手段である。
Example 2. Another embodiment based on the present invention will be described below with reference to FIG. In FIG. 4, reference numeral 21 is an acoustic analysis means for acoustically analyzing a voice signal at regular intervals and converting it into an acoustic parameter vector, and 22 is a probability density distribution storing a plurality of kinds of probability density distributions representing acoustic characteristics of voices belonging to the same category. The storage means 23 calculates the category similarity of the acoustic parameter vector using the specific probability density distribution stored in the probability density distribution storage means for each category, and outputs it as the second category similarity.
It is a category similarity calculation means.

【0024】24はこの第2カテゴリ類似度に応じて確
率密度分布をカテゴリ毎に選択し確率密度分布指定信号
を出力する確率密度分布選択手段、25は確率密度分布
指定信号により指定される確率密度分布を用いて前記音
響分析手段から出力される音響パラメータベクトルのカ
テゴリ類似度を演算し出力するか前記第2類似度演算手
段より出力される第2カテゴリ類似度を入力しカテゴリ
類似度として出力するかを前記確率密度分布指定信号に
より選択する第1カテゴリ類似度演算手段、26は音声
信号、27a、27bは音響パラメータベクトル、28
a,28bは確率密度分布、29a,29bは第2カテ
ゴリ類似度、30は確率密度分布指定信号、31はカテ
ゴリ類似度である。
Reference numeral 24 is a probability density distribution selecting means for selecting a probability density distribution for each category according to the second category similarity and outputting a probability density distribution designating signal, and 25 is a probability density designating by the probability density distribution designating signal. The category similarity of the acoustic parameter vector output from the acoustic analysis unit is calculated and output using the distribution, or the second category similarity output from the second similarity calculation unit is input and output as the category similarity. The first category similarity calculating means for selecting whether or not by the probability density distribution designating signal, 26 is a voice signal, 27a and 27b are acoustic parameter vectors, 28
a and 28b are probability density distributions, 29a and 29b are second category similarities, 30 is a probability density distribution designation signal, and 31 is a category similarity.

【0025】以下、第2カテゴリ類似度演算手段におい
て確率密度分布として分布数を1と分布数8の2種類の
混合連続分布を用い、第1カテゴリ類似度演算手段にお
いて第2カテゴリ類似度演算手段と共通の分布数1の混
合分布を用いる場合を一例として、この発明による類似
度演算装置の動作を説明する。分布数1の混合分布から
なる確率密度分布はカテゴリ判定能力は低いが演算量が
小さく、分布数8の混合分布からなる確率密度分布はカ
テゴリ判定能力は高いが演算量は大きい。
Hereinafter, in the second category similarity calculating means, two kinds of continuous continuous distributions having a distribution number of 1 and a distribution number of 8 are used as the probability density distribution, and in the first category similarity calculating means, the second category similarity calculating means. The operation of the similarity calculation device according to the present invention will be described by taking as an example the case of using a mixed distribution having a distribution number of 1, which is common to. The probability density distribution composed of the mixture distribution with the number of distribution 1 has a low category determination ability but a small amount of calculation, and the probability density distribution composed of the mixture distribution with a distribution number of 8 has a high category determination capability but a large amount of computation.

【0026】図5は実施例2における類似度演算装置の
動作を示す流れ図である。図5において、xは音響パラ
メータベクトル、pはカテゴリ番号、r(p,x)は音
響パラメータベクトルxのカテゴリpに対する類似度、
Tは分布数選択に用いる類似度の閾値、Kは分布数選択
に用いる定数、
FIG. 5 is a flow chart showing the operation of the similarity calculation device in the second embodiment. In FIG. 5, x is an acoustic parameter vector, p is a category number, r (p, x) is the similarity of the acoustic parameter vector x to the category p,
T is a threshold value of similarity used for selecting the number of distributions, K is a constant used for selecting the number of distributions,

【0027】θ8(p)は分布数を8とする混合連続分布
からなるカテゴリpを表す確率密度分布、θ1(p)は分
布数を1とする混合連続分布からなるカテゴリpを表す
確率密度分布、b(θ8(p),x)は音響パラメータベク
トルxの確率密度分布θ8(p)に対する類似度、b(θ1
(p),x)は音響パラメータベクトルxの確率密度分布
θ1(p)に対する類似度、s(p)はカテゴリpの確率密
度分布指定信号、B(p)はカテゴリpのカテゴリ類似
度、Nはカテゴリ総数である。また、
Θ8 (p) is a probability density distribution representing a category p having a continuous distribution with a distribution number of 8, and θ1 (p) is a probability density distribution representing a category p having a continuous continuous distribution having a distribution number of 1. , B (θ8 (p), x) is the similarity of the acoustic parameter vector x to the probability density distribution θ8 (p), b (θ1
(p), x) is the similarity of the acoustic parameter vector x to the probability density distribution θ1 (p), s (p) is the probability density distribution designating signal of the category p, B (p) is the category similarity of the category p, N Is the total number of categories. Also,

【0028】[0028]

【数2】 [Equation 2]

【0029】は類似度R(p)のうち最大のものから定数
Kを減じた値を閾値Tとすることを示す。
Indicates that a value obtained by subtracting the constant K from the maximum similarity R (p) is used as the threshold T.

【0030】図5において処理はstart201から
始まりend220で終了する。類似度演算に先立ち図
6に示すように確率密度分布記憶手段22には予め各カ
テゴリの音響的特徴を表す確率密度分布θ1(p)、θ8
(p)が記憶されているものとする。まずステップ202
において音響分析手段21では入力された音声信号26
に対し音響分析を行い音響パラメータベクトルxに変換
する。
In FIG. 5, the process starts at start 201 and ends at end 220. Prior to the similarity calculation, as shown in FIG. 6, the probability density distribution storage means 22 stores the probability density distributions θ1 (p) and θ8 in advance representing the acoustic features of each category.
It is assumed that (p) is stored. First, step 202
At the sound analysis means 21, the input voice signal 26
Then, acoustic analysis is performed on the above and converted into an acoustic parameter vector x.

【0031】次にステップ203〜206において第2
カテゴリ類似度演算手段23では確率密度分布θ1(p)
に対する類似度演算を行い、その類似度をカテゴリ類似
度R(p)をとして出力する。ステップ207において確
率密度分布選択手段24ではカテゴリ類似度の閾値Tを
決定し、ステップ208〜213においてカテゴリ類似
度が閾値Tより大きいカテゴリである近傍カテゴリに関
しては確率密度分布指定信号s(p)として8を与え、カ
テゴリ類似度が閾値T以下のカテゴリである非近傍カテ
ゴリに関しては確率密度分布指定信号s(p)を1とす
る。
Next, in steps 203 to 206, the second
In the category similarity calculation means 23, the probability density distribution θ1 (p)
Is calculated, and the similarity is output as the category similarity R (p). In step 207, the probability density distribution selecting means 24 determines the threshold value T of the category similarity, and in steps 208 to 213, the neighborhood category whose category similarity is larger than the threshold T is set as the probability density distribution designation signal s (p). 8 is given, and the probability density distribution designation signal s (p) is set to 1 for the non-neighboring category whose category similarity is less than or equal to the threshold T.

【0032】次にステップ214〜219において第1
カテゴリ確率演算手段25においてカテゴリ類似度B
(p)が演算される。確率密度分布指定信号s(p)が8の
場合には216において確率密度分布θ8(p)を用いカ
テゴリ類似度B(p)を演算し、確率密度分布指定信号s
(p)が1の場合には確率密度分布θ1(p)を用いての類
似度演算は行わず、ステップ217において第2カテゴ
リ類似度演算手段より出力されるカテゴリ類似度R(p)
をカテゴリ類似度B(p)とする。
Next, in steps 214 to 219, the first
In the category probability calculation means 25, the category similarity B
(p) is calculated. When the probability density distribution designating signal s (p) is 8, the probability density distribution θ8 (p) is used to calculate the category similarity B (p) at 216, and the probability density distribution designating signal s (p) is calculated.
When (p) is 1, the similarity calculation using the probability density distribution θ1 (p) is not performed, and the category similarity R (p) output from the second category similarity calculation means in step 217.
Is the category similarity B (p).

【0033】これにより確率密度分布θ1(p)を用いて
の類似度演算を削減でき演算量を少なくできる。この類
似度演算をカテゴリ総数であるN回繰り返し、カテゴリ
類似度B(p)を出力する。このカテゴリ類似度B(p)に
より入力された音声信号がどのカテゴリであったかを判
別できる。またこのカテゴリ類似度を出力確率としてH
MMにおけるビテルビ演算を行うことができる。
As a result, the similarity calculation using the probability density distribution θ1 (p) can be reduced and the amount of calculation can be reduced. This similarity calculation is repeated N times, which is the total number of categories, and the category similarity B (p) is output. It is possible to determine which category the voice signal input is based on the category similarity B (p). Also, this category similarity is used as the output probability H
Viterbi operation in MM can be performed.

【0034】実施例3.以下、この発明に基づく別の一
実施例を図7を用いて説明する。図7において、61は
音声信号を一定区間毎に音響分析し音響パラメータベク
トルに変換する音響分析手段、62は同一カテゴリに属
する音声の音響的特徴を表す複数種類の確率密度分布を
記憶する確率密度分布記憶手段、63は各カテゴリ毎に
この確率密度分布記憶手段に記憶されている特定の確率
密度分布を用いて前記音響パラメータベクトルのカテゴ
リ類似度を演算し第2カテゴリ類似度として出力する第
2カテゴリ類似度演算手段である。
Example 3. Another embodiment based on the present invention will be described below with reference to FIG. In FIG. 7, reference numeral 61 is an acoustic analysis means for acoustically analyzing a voice signal at regular intervals and converting it into an acoustic parameter vector, and 62 is a probability density for storing a plurality of types of probability density distributions representing acoustic characteristics of voices belonging to the same category. The distribution storage means 63 calculates the category similarity of the acoustic parameter vector using the specific probability density distribution stored in the probability density distribution storage means for each category, and outputs it as the second category similarity. It is a category similarity calculation means.

【0035】64は外部から入力される選択制御信号に
より選択基準を定め前記第2カテゴリ類似度に応じて確
率密度分布をカテゴリ毎に選択し確率密度分布指定信号
を出力する確率密度分布選択手段、65は確率密度分布
指定信号により指定される確率密度分布を用いて前記音
響分析手段から出力される音響パラメータベクトルのカ
テゴリ類似度を演算し出力するか前記第2類似度演算手
段より出力される第2カテゴリ類似度を入力しカテゴリ
類似度として出力するかを前記確率密度分布指定信号に
より選択する第1カテゴリ類似度演算手段である。
64 is a probability density distribution selecting means for selecting a probability density distribution for each category according to the second category similarity by defining a selection criterion by a selection control signal input from the outside, and outputting a probability density distribution designating signal. Reference numeral 65 denotes a category similarity of the acoustic parameter vector output from the acoustic analysis unit, which is calculated by using the probability density distribution designated by the probability density distribution designation signal, and is output, or is output from the second similarity calculation unit. The first category similarity calculation means selects whether to input the two-category similarity and output it as the category similarity according to the probability density distribution designation signal.

【0036】66は音声信号、67a、67bは音響パ
ラメータベクトル、68a,68bは確率密度分布、6
9a,69bは第2カテゴリ類似度、70は確率密度分
布指定信号、71はカテゴリ類似度、72は選択基準制
御信号である。
66 is a voice signal, 67a and 67b are acoustic parameter vectors, 68a and 68b are probability density distributions, 6
Reference numerals 9a and 69b are second category similarities, 70 is a probability density distribution designation signal, 71 is a category similarity, and 72 is a selection reference control signal.

【0037】以下、実施例2と同様に、第2カテゴリ類
似度演算手段において確率密度分布として分布数を1と
分布数8の2種類の混合連続分布を用い、第1カテゴリ
類似度演算手段において第2カテゴリ類似度演算手段と
共通の分布数1の混合分布を用いる場合を一例として、
この発明による類似度演算装置の動作を説明する。
Similarly to the second embodiment, the second category similarity calculating means uses two kinds of continuous continuous distributions having a distribution number of 1 and a distribution number of 8 as the probability density distribution, and the first category similarity calculating means As an example, the case of using a mixture distribution having a distribution number of 1, which is common to the second category similarity calculation means,
The operation of the similarity calculation device according to the present invention will be described.

【0038】図7における音響分析回路61、確率密度
分布記憶手段62、第2カテゴリ類似度演算手段63、
第1カテゴリ類似度演算手段65の動作は実施例2のそ
れぞれ相当する手段と同一である。
The acoustic analysis circuit 61, the probability density distribution storage means 62, the second category similarity calculation means 63 in FIG.
The operation of the first category similarity calculation means 65 is the same as the corresponding means of the second embodiment.

【0039】本実施例における確率密度分布選択手段6
4も実施例2と同様に第2カテゴリ類似度が閾値Tより
大きいか否かを評価基準として確率密度分布選択信号6
4を定めるが、実施例3における類似度演算装置ではこ
の閾値Tを求めるために用いる定数Kの値を外部入力さ
れる選択基準制御信号72により変更できる構成とした
ものである。
Probability density distribution selecting means 6 in this embodiment
4 also uses the probability density distribution selection signal 6 as an evaluation criterion whether or not the second category similarity is larger than the threshold T, as in the second embodiment.
4, the value of the constant K used to obtain the threshold value T can be changed by the selection reference control signal 72 externally input.

【0040】Kの値を小さくすれば閾値Tが大きくなり
演算量の大きな確率密度分布θ8(p)に対する演算が少
なくなり類似度演算装置の演算量が小さくなり、逆にK
を大きくすれば演算量は大きくなる。このように外部か
ら入力される選択基準制御信号72により類似度演算装
置の演算量を制御することが可能となる。
If the value of K is made smaller, the threshold value T becomes larger and the number of operations for the probability density distribution θ8 (p), which has a large amount of calculation, becomes smaller, so that the amount of calculation of the similarity calculating device becomes smaller, and conversely K
The larger the value, the larger the amount of calculation. In this way, it becomes possible to control the calculation amount of the similarity calculation device by the selection reference control signal 72 input from the outside.

【0041】なお、上記の実施例においてはカテゴリ判
定能力が高い確率密度分布として分布数が8の混合連続
分布からなる確率密度分布を用い、演算量が小さな確率
密度分布として分布数が1または2の混合分布からなる
確率密度分布を用いる場合を一例として説明したが、分
布数は他の数であってもよく、またはカテゴリ判定能力
が高い確率密度分布として多次元ガウス分布、演算量が
少ない確率密度分布として対角ガウス分布等、異なる型
の確率密度分布を組み合わせて用いてもよく同様に効果
を奏する。
In the above embodiment, the probability density distribution having a high category judgment ability is a probability density distribution consisting of a mixed continuous distribution having a distribution number of 8, and the probability density distribution having a small calculation amount has a distribution number of 1 or 2. Although the case where a probability density distribution consisting of mixed distributions of is used has been described as an example, the number of distributions may be another number, or a multidimensional Gaussian distribution with a high category determination ability, a probability with a small amount of calculation As the density distribution, different types of probability density distributions such as a diagonal Gaussian distribution may be combined and used, and the same effect is obtained.

【0042】また上記の実施例において第1カテゴリ類
似度演算手段において同じカテゴリを表現する確率密度
分布を2種類として説明したが、3種類、4種類、また
はより多くの種類であってもよく、同様に効果を奏す
る。
In the above embodiment, the probability density distribution expressing the same category in the first category similarity calculating means has been described as two kinds, but it may be three kinds, four kinds, or more kinds. The same effect is achieved.

【0043】また上記の説明では全てのカテゴリが独自
の確率密度分布を持つものとして説明を行ったが、複数
のカテゴリが共通の確率密度分布により表現されてお
り、これを第2カテゴリ類似度演算手段において用いた
場合、さらに大きな演算量削減効果を生ずる。
In the above description, all categories have been described as having their own probability density distributions, but a plurality of categories are represented by a common probability density distribution, and this is calculated as the second category similarity calculation. When it is used in the means, an even larger amount of calculation reduction effect is produced.

【0044】[0044]

【発明の効果】以上のようにこの発明によれば、同一カ
テゴリに属する音声の音響的特徴を表す複数種類の確率
密度分布を記憶する確率密度分布記憶手段と、各カテゴ
リ毎にこの確率密度分布記憶手段に記憶されている特定
の確率密度分布を用いて前記音響パラメータベクトルの
カテゴリ類似度を演算し第2カテゴリ類似度として出力
する第2類似度演算手段と、この第2カテゴリ類似度に
応じて前記確率密度分布記憶手段の確率密度分布をカテ
ゴリ毎に選択し確率密度分布指定信号を出力する確率密
度分布選択手段と、前記前記確率密度分布指定信号によ
り指定される確率密度分布を用いて音響分析手段から出
力される音響パラメータベクトルのカテゴリ類似度の演
算を行い出力する第1類似度演算手段を備える構成とし
たため、入力信号の近傍カテゴリをカテゴリ類似度によ
り判定し、カテゴリ判定時に重要となる近傍カテゴリに
対してはよりカテゴリ判定能力の高い確率密度分布に対
する類似度演算を行い、非近傍カテゴリとなる程より演
算量の小さな確率密度分布に対する類似度演算を行うこ
とで、カテゴリ判定能力を劣化させることなく類似度演
算の演算量の少ない類似度演算装置を実現できる効果が
ある。
As described above, according to the present invention, a probability density distribution storing means for storing a plurality of kinds of probability density distributions representing acoustic characteristics of voices belonging to the same category, and the probability density distributions for each category. Second similarity calculation means for calculating the category similarity of the acoustic parameter vector using a specific probability density distribution stored in the storage means and outputting it as the second category similarity, and according to the second category similarity The probability density distribution selecting means for selecting the probability density distribution of the probability density distribution storage means for each category and outputting the probability density distribution designating signal, and the sound using the probability density distribution designated by the probability density distribution designating signal Since the first similarity calculation unit that calculates and outputs the category similarity of the acoustic parameter vector output from the analysis unit is provided, the input signal The neighborhood category is judged by the category similarity, and the similarity calculation is performed on the probability density distribution with a higher category judgment ability for the neighbor categories that are important in category judgment. By performing the similarity calculation on the density distribution, there is an effect that a similarity calculation device having a small calculation amount of the similarity calculation can be realized without deteriorating the category determination capability.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の実施例1の類似度演算装置を示す構
成図である。
FIG. 1 is a configuration diagram showing a similarity calculation device according to a first embodiment of the present invention.

【図2】この発明の実施例1の類似度演算装置の動作を
示す流れ図である。
FIG. 2 is a flowchart showing the operation of the similarity calculation device according to the first embodiment of the present invention.

【図3】この発明の実施例1の確率密度分布記憶手段に
記憶されている確率密度分布を示す説明図である。
FIG. 3 is an explanatory diagram showing a probability density distribution stored in a probability density distribution storage unit according to the first embodiment of the present invention.

【図4】この発明の実施例2の類似度演算装置を示す構
成図である。
FIG. 4 is a configuration diagram showing a similarity calculation device according to a second embodiment of the present invention.

【図5】この発明の実施例2の類似度演算装置の動作を
示す流れ図である。
FIG. 5 is a flowchart showing the operation of the similarity calculation device according to the second embodiment of the present invention.

【図6】この発明の実施例2の確率密度分布記憶手段に
記憶されている確率密度分布を示す説明図である。
FIG. 6 is an explanatory diagram showing a probability density distribution stored in a probability density distribution storage means according to the second embodiment of the present invention.

【図7】この発明の実施例3の類似度演算装置を示す構
成図である。
FIG. 7 is a configuration diagram showing a similarity calculation device according to a third embodiment of the present invention.

【図8】従来の類似度演算装置を示す構成図である。FIG. 8 is a block diagram showing a conventional similarity calculation device.

【図9】従来の類似度演算装置の動作を示す流れ図であ
る。
FIG. 9 is a flowchart showing the operation of a conventional similarity calculation device.

【図10】従来の確率密度分布記憶手段に記憶されてい
る確率密度分布を示す説明図である。
FIG. 10 is an explanatory diagram showing a probability density distribution stored in a conventional probability density distribution storage means.

【符号の説明】[Explanation of symbols]

1 音響分析手段 2 確率密度分布記憶手段 3 第2カテゴリ類似度演算手段 4 確率密度分布選択手段 5 第1カテゴリ類似度演算手段 6 音声信号 7a,7b 音響パラメータベクトル 8a,8b 確率密度分布 9 第2カテゴリ類似度 10 確率密度分布指定信号 11 カテゴリ類似度 21 音響分析手段 22 確率密度分布記憶手段 23 第2カテゴリ類似度演算手段 24 確率密度分布選択手段 25 第1カテゴリ類似度演算手段 26 音声信号 27a,27b 音響パラメータベクトル 28a,28b 確率密度分布 29a,29b 第2カテゴリ類似度 30 確率密度分布指定信号 31 カテゴリ類似度 61 音響分析手段 62 確率密度分布記憶手段 63 第2カテゴリ類似度演算手段 64 確率密度分布選択手段 65 第1カテゴリ類似度演算手段 66 音声信号 67a,67b 音響パラメータベクトル 68a,68b 確率密度分布 69a,69b 第2カテゴリ類似度 70 確率密度分布指定信号 71 カテゴリ類似度 72 選択基準制御信号 1 Acoustic analysis means 2 Probability density distribution storage means 3 Second category similarity calculation means 4 Probability density distribution selection means 5 First category similarity calculation means 6 Speech signals 7a, 7b Acoustic parameter vectors 8a, 8b Probability density distribution 9 Second Category similarity 10 Probability density distribution designation signal 11 Category similarity 21 Acoustic analysis means 22 Probability density distribution storage means 23 Second category similarity calculation means 24 Probability density distribution selection means 25 First category similarity calculation means 26 Speech signal 27a, 27b Acoustic parameter vector 28a, 28b Probability density distribution 29a, 29b Second category similarity degree 30 Probability density distribution designation signal 31 Category similarity degree 61 Acoustic analysis means 62 Probability density distribution storage means 63 Second category similarity degree calculation means 64 Probability density distribution Selection means 65 1st category similarity performance Means 66 the speech signal 67a, 67b acoustic parameter vector 68a, 68b probability density distribution 69a, 69b second category similarity 70 probability density distribution designation signal 71 category similarity 72 selection criteria control signal

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 認識カテゴリ毎の音声の音響的特徴を表
す確率密度分布を用いて音声信号のカテゴリ類似度を演
算する類似度演算装置において、音声信号を一定区間毎
に音響分析し音響パラメータベクトルに変換する音響分
析手段と、同一カテゴリに属する音声の音響的特徴を表
す複数種類の確率密度分布を記憶する確率密度分布記憶
手段と、各カテゴリ毎にこの確率密度分布記憶手段に記
憶されている特定の確率密度分布を用いて前記音響パラ
メータベクトルのカテゴリ類似度を演算し第2カテゴリ
類似度として出力する第2カテゴリ類似度演算手段と、
この第2カテゴリ類似度に応じて前記確率密度分布記憶
手段の確率密度分布をカテゴリ毎に選択し確率密度分布
指定信号を出力する確率密度分布選択手段と、前記確率
密度分布指定信号により指定される確率密度分布を用い
て音響分析手段から出力される音響パラメータベクトル
のカテゴリ類似度の演算を行い出力する第1カテゴリ類
似度演算手段を備え、入力される音声信号に応じて各カ
テゴリ毎に確率密度分布の種類を選択しカテゴリ類似度
を演算することを特徴とする類似度演算装置。
1. A similarity calculation device for calculating a category similarity of a voice signal by using a probability density distribution that represents the acoustic characteristics of the voice for each recognition category, and acoustically analyzes the voice signal at regular intervals to obtain an acoustic parameter vector. The acoustic analysis means for converting into a probability density distribution storage means for storing a plurality of kinds of probability density distributions representing acoustic characteristics of voices belonging to the same category, and the probability density distribution storage means for each category. A second category similarity calculating means for calculating the category similarity of the acoustic parameter vector using a specific probability density distribution and outputting it as the second category similarity;
The probability density distribution selecting means for selecting the probability density distribution of the probability density distribution storing means for each category according to the second category similarity and outputting the probability density distribution designating signal, and the probability density distribution designating signal are designated. The first category similarity calculation means for calculating and outputting the category similarity of the acoustic parameter vector output from the acoustic analysis means using the probability density distribution is provided, and the probability density is calculated for each category according to the input voice signal. A similarity calculation device characterized by selecting a distribution type and calculating a category similarity.
【請求項2】 前記第1カテゴリ類似度演算手段を、指
定された確率密度分布に対するカテゴリ類似度の演算を
行いカテゴリ類似度を出力するか、前記第2類似度演算
手段より出力される第2カテゴリ類似度を入力しカテゴ
リ類似度として出力するかを前記確率密度分布指定信号
により選択する構成とすることを特徴とする請求項1記
載の類似度演算装置。
2. The first category similarity calculation means calculates the category similarity for a designated probability density distribution and outputs the category similarity, or the second similarity calculation means outputs the second category similarity. The similarity degree computing apparatus according to claim 1, wherein the category similarity degree is inputted and is output as a category similarity degree, which is selected by the probability density distribution designation signal.
【請求項3】 前記確率密度分布選択手段を、外部から
入力される選択基準制御信号に応じて確率密度分布を選
択する基準を変える構成とすることを特徴とする請求項
1または請求項2記載の類似度演算装置。
3. The configuration according to claim 1, wherein the probability density distribution selecting means is configured to change a criterion for selecting a probability density distribution according to a selection criterion control signal input from the outside. Similarity calculator.
JP4077011A 1992-03-31 1992-03-31 Similarity calculation device Expired - Lifetime JP2845018B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4077011A JP2845018B2 (en) 1992-03-31 1992-03-31 Similarity calculation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4077011A JP2845018B2 (en) 1992-03-31 1992-03-31 Similarity calculation device

Publications (2)

Publication Number Publication Date
JPH05281994A true JPH05281994A (en) 1993-10-29
JP2845018B2 JP2845018B2 (en) 1999-01-13

Family

ID=13621821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4077011A Expired - Lifetime JP2845018B2 (en) 1992-03-31 1992-03-31 Similarity calculation device

Country Status (1)

Country Link
JP (1) JP2845018B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005780A (en) * 2001-06-22 2003-01-08 Sony Corp Method and device for voice recognition, program, and recording medium
CN113947855A (en) * 2021-09-18 2022-01-18 中标慧安信息技术股份有限公司 Intelligent building personnel safety alarm system based on voice recognition

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450522B2 (en) 1995-06-21 2003-09-29 キヤノン株式会社 Information processing method and apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003005780A (en) * 2001-06-22 2003-01-08 Sony Corp Method and device for voice recognition, program, and recording medium
JP4678464B2 (en) * 2001-06-22 2011-04-27 ソニー株式会社 Voice recognition apparatus, voice recognition method, program, and recording medium
CN113947855A (en) * 2021-09-18 2022-01-18 中标慧安信息技术股份有限公司 Intelligent building personnel safety alarm system based on voice recognition

Also Published As

Publication number Publication date
JP2845018B2 (en) 1999-01-13

Similar Documents

Publication Publication Date Title
US5812975A (en) State transition model design method and voice recognition method and apparatus using same
EP1533786B1 (en) Automatic musical composition classification device and method
JPH07261784A (en) Pattern recognition method, sound recognition method and sound recognition device
US20090047003A1 (en) Playback apparatus and method
JPH07334184A (en) Calculating device for acoustic category mean value and adapting device therefor
JPH0934486A (en) Method and device for voice acknowledgement, information forming method, and recording medium
US5561722A (en) Pattern matching method and pattern recognition apparatus
US8140334B2 (en) Apparatus and method for recognizing voice
JPH05281994A (en) Similarity arithmetic unit
US20080097711A1 (en) Information processing apparatus and method, program, and record medium
JP3450522B2 (en) Information processing method and apparatus
EP1063634A2 (en) System for recognizing utterances alternately spoken by plural speakers with an improved recognition accuracy
JPH0580792A (en) Device and method for probability arithmetic
JPH04273298A (en) Voice recognition device
JP2003323196A (en) Voice recognition system, voice recognition method, and voice recognition program
JPH06259089A (en) Method for recognizing voice
KR20040098661A (en) Pattern recognition
JPH11212591A (en) Pattern recognition method, device therefor and recording medium recorded with pattern recognizing program
JP2845019B2 (en) Similarity calculation device
JPH0713598A (en) Specific task speech data base generating device
JPH0895595A (en) Learning method for hidden markov model
JPH10171488A (en) Method for speech recognition and device therefor and storage medium
JP3261691B2 (en) Codebook preliminary selection device
CN115708153A (en) Method and device for correcting rhythm of audio frequency
JPS62144200A (en) Continuous voice recognition equipment

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071030

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081030

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091030

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091030

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101030

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111030

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 14