JPH0772889A - Device for forming sound message - Google Patents

Device for forming sound message

Info

Publication number
JPH0772889A
JPH0772889A JP5217336A JP21733693A JPH0772889A JP H0772889 A JPH0772889 A JP H0772889A JP 5217336 A JP5217336 A JP 5217336A JP 21733693 A JP21733693 A JP 21733693A JP H0772889 A JPH0772889 A JP H0772889A
Authority
JP
Japan
Prior art keywords
voice
sound
speech
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5217336A
Other languages
Japanese (ja)
Other versions
JP3292218B2 (en
Inventor
Tomohisa Hirokawa
智久 広川
Kenzo Ito
憲三 伊藤
Kazuo Hakoda
和雄 箱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP21733693A priority Critical patent/JP3292218B2/en
Publication of JPH0772889A publication Critical patent/JPH0772889A/en
Application granted granted Critical
Publication of JP3292218B2 publication Critical patent/JP3292218B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PURPOSE:To provide a sound message forming device capable of easily forming a sound message provided with a required rhythm characteristic. CONSTITUTION:In a sound message forming device forming the sound message corresponding to an inputted Japanese sentence conforming to a rule, this device is provided with a sound input part 7, a sound analysis/division part 9 analyzing the inputted sound and dividing the input sound according to the sound attribute, a rhythm characteristic extraction part 10 extracting the rhythm characteristic used for revising the rhythm characteristic of a synthetic sound from the divided sound, a speech synthesis information revision part 5 revising synthetic sound information set conforming too the rule according to the extracted rhythm characteristic and a speech synthesis part 6 synthesizing the sound from speech synthesis information.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、音声メッセージ作成
装置に関し、特に所望の韻律特性を有する音声メッセー
ジを容易に作成することができる音声メッセージ作成装
置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice message creating apparatus, and more particularly to a voice message creating apparatus capable of easily creating a voice message having a desired prosody characteristic.

【0002】[0002]

【従来の技術】この種の音声合成方法の従来例について
説明する。従来、音声を使用するサービスにおいては、
予め決められた既に記憶されている音声断片を使用し、
これらを編集して音声メッセージを作成する「編集によ
る音声合成方法」が開発されている。しかし、この「編
集による音声合成方法」はサービスの種類、内容が自ず
と限定され、また音声応答用の音声メッセージの作成に
も、音声収録からメッセージ作成に到るまで多大の労力
を必要とし、更に、同一のアナウンサーに依らなければ
ならないという欠点を有していた。これらの問題を解決
するために、日本語文章を音声に変換する「規則による
音声合成方法」が提案されている。この方法によれば、
出力音声に制限はなく、同一アナウンサーを確保しなけ
ればならないという問題は解決されるが、規則に基づい
て音声を合成しているため、イントネーション、音声合
成に使用する単位音声のパワー、時間長その他の韻律特
性を任意に修正することが難しく、合成された音声の不
自然に聞こえるところの韻律特性の修正、所望する韻律
特性を有する音声メッセージを得ることは困難であっ
た。
2. Description of the Related Art A conventional example of this type of speech synthesis method will be described. Conventionally, in services using voice,
Use a pre-determined, already stored voice fragment,
A "speech synthesis method by editing" has been developed in which these are edited to create a voice message. However, this "speech synthesis method by editing" naturally limits the types and contents of services, and also requires a great deal of effort from voice recording to message creation to create a voice message for voice response. , Had the drawback of having to rely on the same announcer. In order to solve these problems, a "rule-based speech synthesis method" for converting Japanese sentences into speech has been proposed. According to this method
There is no limit to the output voice, and the problem of having to secure the same announcer is solved, but since the voices are synthesized based on the rules, intonation, power of unit voice used for voice synthesis, time length etc. It was difficult to arbitrarily modify the prosody characteristics of the speech, and it was difficult to modify the prosody characteristics of the synthesized speech where it sounds unnatural and obtain a voice message having the desired prosody characteristics.

【0003】ここで、上述の韻律特性の修正を容易にす
るために、この韻律特性をディスプレイ上に図形の形で
表示し、マウスその他のポインティング機器により視覚
的に修正変更作業を行い、合成音声による確認を行いな
がら音声メッセージを作成するという提案もなされてい
る。しかし、この作業は聴覚的に不自然な箇所を見い出
し、図形上において視覚的に韻律特性に修正を加えると
いうものであるところから、経験と音声学的な知見とを
必要とされる作業であり、通常のオペレータには困難な
作業であった。そして、合成音声の不自然さは知覚でき
るものの修正パラメータ、修正箇所を明確に指摘するこ
とができない場合が生じたり、或は適用されるサービス
によっては独特なイントネーションにより発声させたい
場合も生ずる。この様な場合、韻律特性相互間の関連性
もあるため、ディスプレイ上における韻律特性の修正は
殆ど不可能であった。
Here, in order to facilitate the modification of the above-mentioned prosody characteristics, the prosody characteristics are displayed in the form of a figure on a display, and a modification operation is visually performed with a mouse or other pointing device to produce a synthesized voice. There is also a proposal to create a voice message while confirming by. However, since this work involves finding auditory unnatural parts and visually modifying the prosody characteristics on the figure, it is a work that requires experience and phonetic knowledge. It was a difficult task for a normal operator. The unnaturalness of the synthesized speech may be perceived, but the correction parameter and the corrected portion may not be clearly pointed out, or a desired intonation may be required depending on the applied service. In such a case, since there is a relationship between the prosody characteristics, it is almost impossible to modify the prosody characteristics on the display.

【0004】[0004]

【発明が解決しようとする課題】この発明は、音声メッ
セージを作成するオペレータが、所望の韻律特性を有す
る音声メッセージを容易に作成することができる音声メ
ッセージ作成装置を提供するものである。
DISCLOSURE OF THE INVENTION The present invention provides a voice message creating apparatus by which an operator who creates a voice message can easily create a voice message having a desired prosody characteristic.

【0005】[0005]

【課題を解決するための手段】入力される日本語文章に
対応する音声メッセージを規則により作成する音声メッ
セージ作成装置において、音声入力部7を具備し、入力
された音声を分析し、その音声属性に従って当該入力音
声を区分化する音声分析・区分化部9を具備し、区分化
された音声から合成音声の韻律特性を修正するのに使用
する韻律特性を抽出する韻律特性抽出部10を具備し、
抽出された韻律特性に従って規則により設定されている
合成音声情報を修正する音声合成情報修正部5を具備
し、音声合成情報から音声を合成する音声合成部6を具
備する音声メッセージ作成装置、を構成した。
[Means for Solving the Problems] In a voice message creating apparatus for creating a voice message corresponding to an input Japanese sentence by a rule, a voice input unit 7 is provided, the input voice is analyzed, and its voice attribute According to the above, a voice analysis / segmentation unit 9 for segmenting the input voice is provided, and a prosody characteristic extraction unit 10 for extracting a prosody characteristic used to correct the prosody characteristic of the synthesized speech from the segmented speech is provided. ,
A voice message creation device comprising a voice synthesis information correction unit 5 for correcting synthesized voice information set by a rule according to the extracted prosody characteristics, and a voice synthesis unit 6 for synthesizing voice from voice synthesis information. did.

【0006】[0006]

【実施例】この発明の音声メッセージ作成装置の実施例
を図1を参照して説明する。先ず、音声メッセージに変
換されるべき漢字カナ混じり文字情報である日本語テキ
ストが日本語入力部1に入力される。この入力情報は主
制御部2を介して音声合成情報変換部3に送りこまれ
る。音声合成情報変換部3に送り込まれた入力情報は、
ここにおいて文節の区切り記号情報、カナ読み列情報、
アクセント情報に変換される。ここで、区切り記号とは
文節間の結合度合を示す記号であり、強結合(*)、弱
結合(/)、短ポーズ(- )、中ポーズ(、)、長ポー
ズ(。)その他のものがある。カナ読み列とは発声され
るべき音声に対応するカナ列であって、通常カタカナ文
字列により表現する。アクセント情報とは文節内のアク
セントの位置を示すものであり、先頭から付された音節
番号により表現する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT An embodiment of the voice message creating apparatus of the present invention will be described with reference to FIG. First, a Japanese text, which is character information including kanji and kana to be converted into a voice message, is input to the Japanese input unit 1. This input information is sent to the voice synthesis information conversion unit 3 via the main control unit 2. The input information sent to the voice synthesis information conversion unit 3 is
Here, punctuation mark information, kana reading string information,
Converted to accent information. Here, the delimiter is a symbol that indicates the degree of connection between clauses, such as strong connection (*), weak connection (/), short pose (-), medium pose (,), long pose (.), And others. There is. The kana reading string is a kana string corresponding to the voice to be uttered, and is usually expressed by a katakana character string. Accent information indicates the position of an accent within a syllable and is represented by a syllable number added from the beginning.

【0007】カタカナ列は、更に音声合成に使用する単
位音声を表す記号列に分解され、またアクセント情報、
区切り情報から規則により各単位音声の時間長、パワ
ー、ピッチ周波数その他の韻律特性が設定される。音声
合成に使用する単位音声、韻律特性は音声合成情報保存
部4に蓄えられ、必要に応じて音声合成情報修正部5に
送られる。音声合成情報修正部5においては、上述の音
声合成情報を音声合成部6に送り出し、オペレータが合
成音声を試聴しながらその韻律特性を修正する。
The katakana string is further decomposed into a symbol string representing a unit voice used for voice synthesis, and accent information,
The time length, power, pitch frequency and other prosody characteristics of each unit voice are set according to rules from the delimiter information. The unit voices and prosody characteristics used for voice synthesis are stored in the voice synthesis information storage unit 4 and sent to the voice synthesis information correction unit 5 as necessary. The voice synthesis information correction unit 5 sends the above-mentioned voice synthesis information to the voice synthesis unit 6, and the operator corrects the prosody characteristics of the synthesized voice while listening to the synthesized voice.

【0008】この発明の音声メッセージ作成装置は、合
成音声の韻律特性の修正にオペレータ自身の発声による
音声の韻律特性を使用する。ここで、オペレータ自身の
発声自体をそのまま使用することも考えられるが、この
様にすると音声メッセージに対する違和感を増し、サー
ビス性の低下につながる。従って、オペレータの発声し
た音声の内の韻律特性のみに着目してこれを使用する。
以下、これについて説明する。
The voice message creating apparatus of the present invention uses the prosody characteristics of the voice produced by the operator himself to correct the prosody characteristics of the synthetic speech. Here, it is conceivable to use the operator's own utterance itself as it is, but if this is done, the sense of discomfort with respect to the voice message increases and the serviceability deteriorates. Therefore, only the prosody characteristics of the voice uttered by the operator are focused and used.
This will be described below.

【0009】オペレータは、作成しようとする音声メッ
セージと同一の音声を所望の韻律により音声入力部7に
実音声入力する。音声入力部7に入力された実音声は音
声信号バッファ部8に蓄えられ、次いで音声分析・区分
化部9において音声分析され、音声の分析属性に従って
カテゴリー別に区分化される。音声分析・区分化部9に
おける処理は音声区間抽出処理および音声分析処理の2
つの処理に分けられる。音声区間抽出処理においては、
音声信号バッファ部8に蓄えられた音声信号に対してバ
ッファの先頭から短時間パワーを計算し、このパワーが
閾値を超えればここを音声の先頭と判断し、そしてバッ
ファの後尾から同様に短時間パワーを計算し、このパワ
ーが閾値を超えたところを音声の終端と判断して音声信
号を抽出する。音声分析処理においては、音声区分化に
必要なパラメータ、例えば短時間パワー、零交差数、分
析残差信号相関係数、ケプストラム係数差分、高域/低
域周波数成分比を一定時間毎に計算する。この一定時間
をフレーム長と呼び、通常一定の波形が保たれていると
考えられる30msecで分析する。この様な音声分析
を一定時間毎、シフトしながら抽出音声区間全体に対し
て実行する。この一定時間の時間的シフトをフレームシ
フトと呼び、通常5msecに設定している。音声区分
化においては、上述の分析パラメータを参照して、入力
音声を複数種のカテゴリーに区分化する。フレームシフ
トが5msecの場合、区分化精度は5msecになる
が、抽出した韻律特性による音声合成を考えれば、5m
secの精度は聴覚的に充分満足するものである。区分
化カテゴリーは大まかな分類から微細な分類まで幾通り
かの分類分けが考えられるが、区分化カテゴリー種別と
音声合成に使用する単位音声種別が一致していれば、韻
律特性の修正には都合がよい。即ち、区分化単位音声毎
にパワー、時間長その他の韻律特性を抽出し、対応する
単位音声の韻律特性の修正を行えばよい。音声区分化は
入力音声が既知であるので、音声の物理的特徴、先見的
知識を充分に利用することができ、未知音声を対象とす
る音声認識において使用されている音声セグメント技術
と比較して格段に高い区分化精度が期待される。
The operator inputs the same voice as the voice message to be created into the voice input section 7 by using a desired prosody. The actual voice input to the voice input unit 7 is stored in the voice signal buffer unit 8 and then voice analyzed by the voice analysis / segmentation unit 9 to be segmented into categories according to the analysis attribute of the voice. The processing in the voice analysis / segmentation unit 9 is the voice segment extraction process and the voice analysis process.
It is divided into two processes. In the voice segment extraction process,
For the audio signal stored in the audio signal buffer unit 8, short-time power is calculated from the beginning of the buffer, and if this power exceeds a threshold value, this is determined to be the beginning of the audio, and similarly from the end of the buffer for a short time. The power is calculated, and when the power exceeds a threshold value, it is determined that the end of the voice, and the voice signal is extracted. In the voice analysis processing, parameters necessary for voice segmentation, such as short-time power, number of zero crossings, analysis residual signal correlation coefficient, cepstrum coefficient difference, and high / low frequency component ratio are calculated at regular time intervals. . This fixed time is called a frame length, and analysis is performed for 30 msec, which is considered to normally maintain a fixed waveform. Such speech analysis is executed for the entire extracted speech section while shifting at regular intervals. This temporal shift for a certain period of time is called a frame shift and is normally set to 5 msec. In the voice segmentation, the input voice is segmented into a plurality of categories by referring to the above-mentioned analysis parameters. When the frame shift is 5 msec, the segmentation accuracy is 5 msec. However, considering speech synthesis based on the extracted prosody characteristics, it is 5 msec.
The accuracy of sec is audibly satisfactory. There are several possible classifications for the segmented categories, from rough classifications to fine classifications, but if the segmented category type and the unit speech type used for speech synthesis match, it is convenient to modify the prosody characteristics. Is good. That is, power, time length and other prosodic characteristics may be extracted for each segmented unit speech, and the prosody characteristics of the corresponding unit speech may be modified. Since speech segmentation is known for input speech, it can fully utilize physical characteristics and a priori knowledge of speech, and compared with speech segmentation technology used in speech recognition for unknown speech. Remarkably high segmentation accuracy is expected.

【0010】韻律特性抽出部10においては、区分化さ
れた単位音声から合成音声の修正に使用する韻律特性を
抽出する処理を行う。この処理は音声区分化が適切に行
なわれていれば比較的に容易な処理である。即ち、区分
化音声の時間長は区分境界から容易に算出することがで
き、また、パワー情報は区分境界内の音声サンプルのパ
ワ値より容易に算出することができ、ピッチ周波数につ
いても分析残差相関値から計算することができる。この
様にして得られた区分化音声毎の韻律特性は、合成音声
の韻律特性の修正に使用される。この際、修正に使用す
る韻律特性を選択する様にすることもできる。即ち、合
成音声の試聴の結果、時間長情報のみを修正したい場
合、入力音声の分析・区分化から得られた時間長情報の
みを使用すればよい。これらの修正すべき韻律特性の選
択も、合成音の試聴を行いながら決定することができ
る。韻律特性、音声合成に使用する単位音声その他の音
声合成情報の修正作業、およびその試聴により所望の音
声が確認された場合は、この音声に対応する音声合成情
報は音声合成情報保存部4に保存されて操作はすべて完
了する。
The prosody characteristic extraction unit 10 performs processing for extracting a prosody characteristic used for modifying synthetic speech from the segmented unit speech. This process is a relatively easy process if the voice segmentation is appropriately performed. That is, the time length of the segmented speech can be easily calculated from the segment boundary, the power information can be easily calculated from the power value of the voice sample within the segment boundary, and the analysis residual for the pitch frequency is also included. It can be calculated from the correlation value. The prosody characteristic for each segmented speech thus obtained is used for modifying the prosody characteristic of the synthesized speech. At this time, it is possible to select the prosody characteristic used for correction. That is, when it is desired to correct only the time length information as a result of the audition of the synthesized voice, only the time length information obtained from the analysis / segmentation of the input voice may be used. The selection of these prosody characteristics to be modified can also be determined while listening to the synthesized voice. When a desired voice is confirmed by a prosody characteristic, a unit voice used for voice synthesis, and other voice synthesis information correction work, and a desired voice is confirmed, the voice synthesis information corresponding to this voice is stored in the voice synthesis information storage unit 4. This completes all operations.

【0011】[0011]

【発明の効果】以上の通りであって、この発明の音声メ
ッセージ作成装置によれば、「規則による合成」音が不
自然であって、しかもその韻律特性の修正が困難である
場合、或は規則により設定した韻律特性と大きく異なる
韻律特性により合成音声を作成したい場合、オペレータ
は自身の発声音声の韻律特性を使用することにより、音
質を変えずに自然で、しかも所望の韻律特性を有する合
成音を容易に作成することができ、音声メッセージ作成
作業に必要とされた労力を大幅に軽減することができ
る。そして、この発明の音声メッセージ作成装置は、格
別の音声学的専門知識を必要とはしないので、一般のユ
ーザによっても容易に所望の音声メッセージを作成する
ことができる。
As described above, according to the voice message creating apparatus of the present invention, when the "synthesized by rules" sound is unnatural and it is difficult to correct the prosodic characteristics, or When the operator wants to create a synthetic voice with prosodic characteristics that are significantly different from the prosody characteristics set by the rules, the operator uses the prosody characteristics of his or her own vocal sound to synthesize a natural and desired prosody characteristic without changing the sound quality. Sounds can be created easily, and the effort required for voice message creation work can be greatly reduced. Since the voice message creating device of the present invention does not require special phonetic expertise, a general user can easily create a desired voice message.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の実施例のブロック図。FIG. 1 is a block diagram of an embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 日本語入力部 2 主制御部 3 音声合成情報変換部 4 音声合成情報保存部 5 音声合成情報修正部 6 音声合成部 7 音声入力部 8 音声信号バッファ部 9 音声分析・区分化部 10 韻律特性抽出部 1 Japanese input section 2 Main control section 3 Speech synthesis information conversion section 4 Speech synthesis information storage section 5 Speech synthesis information correction section 6 Speech synthesis section 7 Speech input section 8 Speech signal buffer section 9 Speech analysis / segmentation section 10 Prosodic characteristics Extractor

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 入力される日本語文章に対応する音声メ
ッセージを規則により作成する音声メッセージ作成装置
において、音声入力部を具備し、入力された音声を分析
し、その音声属性に従って当該入力音声を区分化する音
声分析・区分化部を具備し、区分化された音声から合成
音声の韻律特性を修正するのに使用する韻律特性を抽出
する韻律特性抽出部を具備し、抽出された韻律特性に従
って規則により設定されている合成音声情報を修正する
音声合成情報修正部を具備し、音声合成情報から音声を
合成する音声合成部を具備することを特徴とする音声メ
ッセージ作成装置。
1. A voice message creating apparatus for creating a voice message corresponding to an input Japanese sentence by a rule, comprising a voice input unit, analyzing the input voice, and inputting the input voice according to the voice attribute. The speech analysis / segmentation unit for segmentation is provided, and the prosody characteristic extraction unit for extracting the prosody characteristic used to correct the prosody characteristic of the synthesized speech from the segmented speech is provided, and according to the extracted prosody characteristic. A voice message creating apparatus comprising: a voice synthesis information correction unit that corrects voice synthesis information set by a rule; and a voice synthesis unit that synthesizes voice from voice synthesis information.
JP21733693A 1993-09-01 1993-09-01 Voice message composer Expired - Lifetime JP3292218B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21733693A JP3292218B2 (en) 1993-09-01 1993-09-01 Voice message composer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21733693A JP3292218B2 (en) 1993-09-01 1993-09-01 Voice message composer

Publications (2)

Publication Number Publication Date
JPH0772889A true JPH0772889A (en) 1995-03-17
JP3292218B2 JP3292218B2 (en) 2002-06-17

Family

ID=16702585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21733693A Expired - Lifetime JP3292218B2 (en) 1993-09-01 1993-09-01 Voice message composer

Country Status (1)

Country Link
JP (1) JP3292218B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358092A (en) * 2001-06-01 2002-12-13 Sony Corp Voice synthesizing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358092A (en) * 2001-06-01 2002-12-13 Sony Corp Voice synthesizing system

Also Published As

Publication number Publication date
JP3292218B2 (en) 2002-06-17

Similar Documents

Publication Publication Date Title
JP3083640B2 (en) Voice synthesis method and apparatus
JPH0833744B2 (en) Speech synthesizer
JPH10153998A (en) Auxiliary information utilizing type voice synthesizing method, recording medium recording procedure performing this method, and device performing this method
JPH11202884A (en) Method and device for editing and generating synthesized speech message and recording medium where same method is recorded
CN112185341A (en) Dubbing method, apparatus, device and storage medium based on speech synthesis
AU769036B2 (en) Device and method for digital voice processing
JPH08335096A (en) Text voice synthesizer
JP4409279B2 (en) Speech synthesis apparatus and speech synthesis program
JP3292218B2 (en) Voice message composer
JP2536169B2 (en) Rule-based speech synthesizer
JPH07140996A (en) Speech rule synthesizer
JPH0756589A (en) Voice synthesis method
JPH0580791A (en) Device and method for speech rule synthesis
JPH05224689A (en) Speech synthesizing device
JP3113101B2 (en) Speech synthesizer
JP2703253B2 (en) Speech synthesizer
JP2577372B2 (en) Speech synthesis apparatus and method
JPH064090A (en) Method and device for text speech conversion
JPH01204100A (en) Text speech synthesis system
JPH1063287A (en) Pronunciation trainer
JP2573586B2 (en) Rule-based speech synthesizer
JPH1011083A (en) Text voice converting device
JP2003005774A (en) Speech synthesizer
JPH0635913A (en) Sentence reader
JP3088211B2 (en) Basic frequency pattern generator

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090329

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090329

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100329

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110329

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110329

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120329

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130329

Year of fee payment: 11