JP2000172289A - Method and record medium for processing natural language, and speech synthesis device - Google Patents

Method and record medium for processing natural language, and speech synthesis device

Info

Publication number
JP2000172289A
JP2000172289A JP10342992A JP34299298A JP2000172289A JP 2000172289 A JP2000172289 A JP 2000172289A JP 10342992 A JP10342992 A JP 10342992A JP 34299298 A JP34299298 A JP 34299298A JP 2000172289 A JP2000172289 A JP 2000172289A
Authority
JP
Japan
Prior art keywords
word
text
pronunciation
words
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10342992A
Other languages
Japanese (ja)
Other versions
JP3706758B2 (en
Inventor
Katsuyoshi Yamagami
勝義 山上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP34299298A priority Critical patent/JP3706758B2/en
Publication of JP2000172289A publication Critical patent/JP2000172289A/en
Application granted granted Critical
Publication of JP3706758B2 publication Critical patent/JP3706758B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To realize a method for processing a natural language which is convertible to an expression suitable for reading out aloud a hard-to-hear expression irrespective of words or compound words. SOLUTION: A pronunciation pattern extracting part 104 of a text translation part 103 searches whether or not a corresponding pronunciation pattern exists in a pronunciation rule table 111, and extracts a part presumed to be hard to hear when reading it out. Next a text translation processing part 105 converts the extracted part into a text assuming that it is read out, by using a text translation rule table 112. Since a hard-to hear expression is widely searched from the new viewpoint of a combination of sound at the time of reading aloud a document, it is possible to substitute an appropriate expression even for an expression in units of compound words.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、自然言語処理方
法,自然言語処理用記録媒体および音声合成装置に関す
る。
The present invention relates to a natural language processing method, a natural language processing recording medium, and a speech synthesizer.

【0002】[0002]

【従来の技術】インターネットなどの普及により、さま
ざまなテキスト情報を容易に得ることができるが、まと
まった量のテキスト情報を画面上で閲覧するのは、ユー
ザにとって負担となることがある。そこで、テキストを
音声化するテキスト音声合成技術が開発され、最近で
は、テキスト読み上げ機能を備えるパソコンやワープロ
も発売されるようになった。
2. Description of the Related Art With the spread of the Internet and the like, various types of text information can be easily obtained. However, browsing a large amount of text information on a screen may be burdensome for a user. Accordingly, a text-to-speech technology for converting text into speech has been developed, and recently, personal computers and word processors having a text-to-speech function have been released.

【0003】但し、テキスト情報は読まれることを前提
として記述されているのが普通なので、忠実に音声とし
て再現するだけでは、ユーザーにわかりやすい読み上げ
にならない場合が多い。この不都合を軽減する技術は、
いろいろと提案されている。
[0003] However, since text information is usually described on the premise that it is read, it is often difficult to read the text information intelligibly to the user only by faithfully reproducing it as audio. Techniques to reduce this inconvenience
Various proposals have been made.

【0004】例えば、次のようなものがある。特開平3
−35296号公報(従来例),特開平10−171
485号公報(従来例),特開平7−121543号
公報(従来例),特開平7−325595号公報(従
来例),特開平10−228471号公報(従来例
)。
For example, there is the following. JP Hei 3
-35296 (conventional example), JP-A-10-171
No. 485 (conventional example), JP-A-7-121543 (conventional example), JP-A-7-325595 (conventional example), and JP-A-10-228471 (conventional example).

【0005】従来例は、入力テキストの難意語や紛ら
わしい同音異義語を平易な単語に置き換える機能を音声
合成装置に付与したものである。従来例は、語義テー
ブルを用いて構文を解析し、単語の置き換えを行う音声
合成装置である。従来例は、会話文辞書を用いて構文
を解析する構文解析装置である。従来例は、文節関係
規則にしたがってポーズを挿入する音声合成装置であ
る。従来例は、単語辞書を用いて単語を同定してポー
ズを挿入する音声合成システムである。
In the prior art, a speech synthesizing apparatus is provided with a function of replacing a difficult word or a confusing homonym in an input text with a plain word. The conventional example is a speech synthesis device that analyzes a syntax using a meaning table and replaces words. The conventional example is a syntax analysis device that analyzes a syntax using a conversation sentence dictionary. The conventional example is a speech synthesizer that inserts a pause according to a phrase relation rule. The conventional example is a speech synthesis system in which a word is identified using a word dictionary and a pause is inserted.

【0006】[0006]

【発明が解決しようとする課題】上述の従来例は、「単
語を単位」とした「構文解析」を行う点で共通する。
The above-mentioned prior art is common in that "syntax analysis" is performed in "word units".

【0007】この場合、「単語を単位」とした処理を行
うと、以下のような点で十分な対応ができない。
[0007] In this case, if processing is performed on a "word-by-word" basis, sufficient measures cannot be taken in the following respects.

【0008】すなわち、書き言葉のテキストには複数の
単語で構成される複合語が多用されるが、複合語を構成
するそれぞれの単語を聞き取ることは容易であっても、
連続して読み上げた場合に、聞き取りにくい発音となる
場合がある。したがって、単語単位の処理では、このよ
うな連続して単語を読み上げていく場合に生じる聞き取
りにくさを改善するには不十分である。複合語を一つの
単位として置き換えることも考えられるが、複合語は、
任意の単語の組み合わせによって無限に存在するので、
事実上、複合語単位での規則を網羅することは不可能で
ある。
That is, a compound word composed of a plurality of words is frequently used in the text of a written word, but it is easy to hear each word constituting the compound word.
When reading continuously, the pronunciation may be difficult to hear. Therefore, word-by-word processing is not sufficient to improve the inaudibility that arises when reading out words in succession. It is conceivable to replace compound words as one unit, but compound words are
Because there are infinite by any combination of words,
In fact, it is impossible to cover the rules in compound words.

【0009】また、「構文解析」は、単語に分割した
後、文節や、かかり結び等の文章構造を解析するもので
あり、上述の単語単位の処理(単語の置き換え等)は、こ
のような文章の解析処理と不可分の関係となっていて、
構文解析の方式やその精度による影響を受ける。
The "syntax analysis" is to analyze a sentence structure such as a phrase or a kashikomi after dividing it into words. The above-described processing in units of words (such as replacement of words) is performed in such a manner. It is inseparable from the sentence analysis process,
It is affected by the parsing method and its accuracy.

【0010】本発明は、このような検討に基づいてなさ
れたものであり、上述した従来の自然言語処理の不都合
を解消し得る、新規な自然言語処理方法を提供すること
を目的とする。
The present invention has been made based on such studies, and has as its object to provide a novel natural language processing method capable of solving the above-mentioned disadvantages of the conventional natural language processing.

【0011】[0011]

【課題を解決するための手段】本発明は、文書の構造で
はなく、「文書を音読する際の音の組み合わせ」という
新規な観点から分析するようにしたものである。すなわ
ち、発音の組み合わせで聞きづらいものを予め発音パタ
ーン規則として登録しておき、テキストが入力される
と、まず、その発音パターン規則に該当する音のパター
ンが存在するかをサーチして、聞きづらいと推定される
部分を拾い出す(第1段階の処理)。次に、この拾い出さ
れた部分に、読み上げを前提とした文体に変換するため
のテキスト変換規則を適用する(第2段階の処理)。
SUMMARY OF THE INVENTION According to the present invention, analysis is made not from the structure of a document but from a novel viewpoint of "combination of sounds when reading a document aloud". That is, a combination of pronunciations that is difficult to hear is registered in advance as a pronunciation pattern rule, and when a text is input, first, it is searched for a sound pattern corresponding to the pronunciation pattern rule, and it is estimated that it is difficult to hear. Pick up the part to be processed (first stage processing). Next, a text conversion rule for converting into a style that is supposed to be read out is applied to the picked-up portion (second stage processing).

【0012】変換処理の内容は、状況に応じて柔軟に変
化する。すなわち、単語を別の単語で置換するか、単語
を複合語に置換するか、単語と単語の間にポーズを挿入
するか、単語と単語の間に助詞を挿入するか、といった
判断が個別的になされ、最適な変換処理が選択されるこ
とになる。
The contents of the conversion process flexibly change according to the situation. That is, the decision to replace a word with another word, replace a word with a compound word, insert a pause between words, or insert a particle between words, is made individually. The most suitable conversion process is selected.

【0013】本発明では、従来例のように文章の字面に
着目するのではなく、音の組み合わせのパターンという
新規な観点から問題となりそうな箇所を拾い出すので、
一つの単語が特殊な発音で聞きづらい場合やその単語に
同音異義語があることによって聞きづらい場合、といっ
た一つの単語に起因する場合のみならず、単語を連続し
て読み上げる際に生じる、複合語に起因して聞きづらさ
が生じる場合も含めて、該当箇所を抽出することができ
る。
In the present invention, instead of focusing on the character face of a sentence as in the conventional example, a portion that is likely to be a problem from a new viewpoint of a sound combination pattern is picked up.
Not only when one word is difficult to hear due to a special pronunciation, or when it is difficult to hear because the word has a homonym, but also when a word is read out continuously, due to compound words The relevant part can be extracted including the case where it is difficult to hear.

【0014】そして、抽出された部分に対して変換規則
を適用して、聞きづらさが生じる態様毎に適切な処理を
ほどこすので、テキストを読み上げる際の聞きやすさが
向上する。
[0014] Then, by applying a conversion rule to the extracted part and performing an appropriate process for each mode in which it is difficult to hear, the audibility when reading out the text is improved.

【0015】また、発音パターンによる問題箇所の絞り
込みがなされており、かつ、発音パターンによる問題箇
所の絞り込みの規則が既知であるので、テキスト変換規
則の構築も、それほど複雑とはならない。
In addition, since the problematic portion is narrowed down by the sounding pattern and the rule of narrowing down the problematic portion by the sounding pattern is known, the construction of the text conversion rule is not so complicated.

【0016】また、発音パターン規則による問題箇所の
絞り込み処理は、入力された文書を単語列に分割した段
階で行うことができ、構文解析処理とは独立に実行でき
るというメリットがある。
Further, the process of narrowing down the problem portion by the pronunciation pattern rule can be performed at the stage when the input document is divided into word strings, and has an advantage that it can be executed independently of the syntax analysis process.

【0017】[0017]

【発明の実施の形態】本発明の自然言語処理方法の第1
の態様は、入力されたテキストを、所定の発音パターン
が発音規則として登録されている第1のテーブルと照合
して、前記入力されたテキストから前記所定の発音パタ
ーンを含む部分を抽出する第1のステップと、第2のテ
ーブルに登録されている変換規則に基づき、抽出された
前記部分に含まれる単語または複合語を他の単語または
他の複合語に置換する処理、あるいは前記複合語を構成
する単語間に助詞またはポーズを挿入する処理を実行す
る第2のステップと、を含む。
DESCRIPTION OF THE PREFERRED EMBODIMENTS First Embodiment of the Natural Language Processing Method of the Present Invention
In the first aspect, the input text is compared with a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule, and a portion including the predetermined pronunciation pattern is extracted from the input text. And replacing the word or compound included in the extracted part with another word or another compound based on the conversion rule registered in the second table, or forming the compound. Performing a process of inserting a particle or a pause between words to be executed.

【0018】この態様では、第1のステップにおいて、
音の組み合わせの観点から問題となる箇所を拾い出し、
第2のステップにおいて、変換規則テーブルとの照合に
よって聴きづらさが生じる原因に応じた適切なテキスト
変換処理(読み上げを前提とした文章への変換処理)を
選択する。これにより、単語単位で聞きづらさが生じる
場合のみならず、複合語を単位とする聞きづらい態様に
ついても、テキスト変換を行うことができるようにな
る。
In this aspect, in the first step,
Picking up a problematic point from the viewpoint of sound combination,
In the second step, an appropriate text conversion process (a conversion process into a text that is supposed to be read aloud) is selected according to the cause of the difficulty in hearing due to the comparison with the conversion rule table. This makes it possible to perform text conversion not only in the case where it is difficult to hear in words, but also in the case where it is difficult to hear in terms of compound words.

【0019】また、本発明の自然言語処理方法の第2の
態様では、第1の態様において、前記所定の発音パター
ンは、母音,子音,拗音または撥音を組み合わせた一つ
の発音を単位として、その単位の組み合わせによって表
現されるようにした。
In a second aspect of the natural language processing method of the present invention, in the first aspect, the predetermined pronunciation pattern is a unit of one pronunciation combining a vowel, a consonant, a consonant, or a repellent. Expressed as a combination of units.

【0020】発音記号による分類を単位として聞きづら
い発音パターンを含んでいる文章を特定するので、文章
の意味内容等とは無関係に、発音パターンとのマッチン
グだけで問題となりそうな箇所を抽出することが可能と
なる。
Since a sentence containing a sound pattern that is difficult to hear is specified in units of classification based on phonetic symbols, it is possible to extract a part that is likely to be a problem only by matching with the sound pattern irrespective of the meaning of the sentence. It becomes possible.

【0021】また、本発明の自然言語処理方法の第3の
態様では、第2の態様において、前記所定の発音パター
ンは、(子音・拗音)からなる発音が連続するパターン
を含むようにした。
According to a third aspect of the natural language processing method of the present invention, in the second aspect, the predetermined sound generation pattern includes a pattern in which sounds of (consonants and repetitive sounds) are continuous.

【0022】聞き取りにくい発音パターンの例を明らか
としたものである。
This clarifies an example of a sound pattern that is difficult to hear.

【0023】また、本発明の自然言語処理方法の第4の
態様は、第2の態様において、前記所定の発音パターン
は、(子音・拗音)(子音・母音)(子音・拗音)の組
み合わせからなるパターンを含むようにした。
According to a fourth aspect of the natural language processing method of the present invention, in the second aspect, the predetermined pronunciation pattern is a combination of (consonant / consonant) (consonant / vowel) (consonant / consonant). Patterns.

【0024】聞き取りにくい発音パターンの他の例を明
らかとしたものである。
Another example of a sound pattern that is difficult to hear is clarified.

【0025】また、本発明の第5の態様は、第1〜第4
の態様において、前記複合語を構成する、隣接する2つ
の単語の隣接部分に前記聞き取りにくい発音パターンが
存在し、かつ、前記2つの単語が共に名詞である場合
に、前記2つの単語間に助詞またはポーズを挿入するよ
うにした。
The fifth aspect of the present invention is directed to the first to fourth aspects.
In the aspect, when the pronunciation pattern that is difficult to hear exists in an adjacent part of two adjacent words that constitute the compound word, and when the two words are both nouns, a particle between the two words is used. Or insert a pose.

【0026】複数の単語で構成する複合語の場合、それ
ぞれの単語を単独で聞き取ることは容易であっても、連
続して読み上げた場合に聞き取りにくい発音となる場合
がある。このような場合にも、聞き取りやすいように助
詞やポーズの挿入処理を可能としたものである。従来の
構文解析に基づく単語単位の処理では、連続読み上げに
起因して生じる発音の聞き取りにくさには対処すること
ができない。この場合、複合語単位の辞書と規則により
対応することも考えられるが、複合語は無限に合成可能
であるので、複合語単位のテキスト処理は事実上、実現
不可能ということになる。本発明の態様では、従来不可
能であった、隣接する2つの単語の隣接部分に前記聞き
取りにくい発音パターンが存在する場合も、第1のステ
ップで問題箇所として抽出でき、続いて、第2のステッ
プにおいて、例えば、名詞と名詞との連結の場合には助
詞やポーズを挿入するという規則を適用することによ
り、聞き取り容易な文体に変換することが可能となる。
In the case of a compound word composed of a plurality of words, even if it is easy to hear each word independently, it may be difficult to hear when read continuously. Even in such a case, it is possible to insert a particle or a pause so that it is easy to hear. Conventional word-based processing based on syntactic analysis cannot deal with the difficulty of hearing pronunciation caused by continuous reading aloud. In this case, it is conceivable to correspond to the dictionary in compound words by rules, but since compound words can be synthesized indefinitely, text processing in compound words is practically impossible. According to the aspect of the present invention, even in the case where the inaudible pronunciation pattern exists in an adjacent portion between two adjacent words, which was impossible in the related art, it can be extracted as a problem part in the first step. In the step, for example, in the case of a connection between a noun and a noun, by applying a rule of inserting a particle or a pause, it is possible to convert into a style that is easy to hear.

【0027】また、本発明の自然言語処理方法の第6の
態様では、第1〜第5の態様において、前記第1のテー
ブルに登録されている前記発音規則または前記第2のテ
ーブルに登録されている前記変換規則を、外部に提示可
能とした。
According to a sixth aspect of the natural language processing method of the present invention, in the first to fifth aspects, the pronunciation rule registered in the first table or the pronunciation rule registered in the second table is used. The conversion rules described above can be presented to the outside.

【0028】これにより、ユーザーが、発音規則または
変換規則を確認できるようになる。
Thus, the user can confirm the pronunciation rules or conversion rules.

【0029】また、本発明の自然言語処理方法の第7の
態様は、第1の態様〜第6の態様において、前記第1の
テーブルに登録されている前記発音規則または前記第2
のテーブルに登録されている前記変換規則を外部から補
正することができるようにした。
According to a seventh aspect of the natural language processing method of the present invention, in the first to sixth aspects, the pronunciation rule or the second pronunciation rule registered in the first table is used.
The conversion rules registered in the table can be externally corrected.

【0030】これにより、ユーザーがテーブルの構築に
参画できるようになる。これによって、各々のユーザー
に特有な発音規則または変換規則を追加することがで
き、また、テーブル構築の負担も軽減される。
Thus, the user can participate in the construction of the table. As a result, pronunciation rules or conversion rules unique to each user can be added, and the burden of table construction is reduced.

【0031】また、本発明の自然言語処理用記録媒体の
第1の態様では、自然言語処理装置に、入力されたテキ
ストを、所定の発音パターンが発音規則として登録され
ている第1のテーブルと照合して、前記入力されたテキ
ストから前記所定の発音パターンを含む部分を抽出する
第1のステップと、第2のテーブルに登録されている変
換規則に基づき、抽出された前記部分に含まれる単語ま
たは複合語を他の単語または他の複合語に置換する処
理、あるいは前記複合語を構成する単語間に助詞または
ポーズを挿入する処理を実行し、前記入力されたテキス
トを読み上げることを前提としたテキストに変換する第
2のステップと、を実行させるためのプログラムが記録
されている。
In a first aspect of the recording medium for natural language processing according to the present invention, a text input to a natural language processing apparatus is stored in a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule. A first step of collating and extracting a part including the predetermined pronunciation pattern from the input text; and a word included in the extracted part based on a conversion rule registered in a second table. Or, it is assumed that a process of replacing a compound word with another word or another compound word, or a process of inserting a particle or a pause between words constituting the compound word is performed, and the input text is read aloud. A program for executing the second step of converting to text is recorded.

【0032】新規な自然言語処理プログラムを記録し
た、コンピュータが読み取り可能な記録媒体が得られ
る。
A computer-readable recording medium on which a new natural language processing program is recorded can be obtained.

【0033】また、本発明の自然言語処理用記録媒体の
第2の態様は、自然言語処理装置に、入力されたテキス
トを、所定の発音パターンが発音規則として登録されて
いる第1のテーブルと照合して、前記入力されたテキス
トから前記所定の発音パターンを含む部分を抽出する第
1のステップと、第2のテーブルに登録されている変換
規則に基づき、抽出された前記部分に含まれる単語また
は複合語を他の単語または他の複合語に置換する処理、
あるいは前記複合語を構成する単語間に助詞またはポー
ズを挿入する処理を実行し、前記入力されたテキストを
読み上げることを前提としたテキストに変換する第2の
ステップと、を実行させる場合の、前記第1のテーブル
および前記第2のテーブルを記録している。
In a second aspect of the recording medium for natural language processing according to the present invention, a natural language processing apparatus stores an input text in a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule. A first step of collating and extracting a part including the predetermined pronunciation pattern from the input text; and a word included in the extracted part based on a conversion rule registered in a second table. Or the process of replacing compound words with other words or other compound words,
Or performing a process of inserting a particle or a pause between words constituting the compound word, and performing a second step of converting the input text into text on the premise of reading out the text, The first table and the second table are recorded.

【0034】新規な自然言語処理に用いられる辞書ベー
ス(知識ベース)を記録した、コンピュータが読み取り
可能な記録媒体が得られる。
A computer-readable recording medium in which a dictionary base (knowledge base) used for a new natural language processing is recorded is obtained.

【0035】また、本発明の自然言語処理用記録媒体の
第3の態様は、第1または第2の態様において、前記第
1のテーブルまたは前記第2のテーブルを、読み出し/
書き込み可能としたものである。
According to a third aspect of the recording medium for natural language processing of the present invention, in the first or second aspect, the first table or the second table is read / written.
Writable.

【0036】これにより、テーブルの参照/テーブルへ
の書き込みが可能となる。
This makes it possible to refer to the table / write to the table.

【0037】また、本発明の音声合成装置の第1の態様
では、日本語の入力テキストを単語列に分割し、単語列
の各単語に対して読み、品詞などの言語情報を付与する
言語処理手段と、母音,子音,拗音または撥音を組み合
わせた一つの発音を単位とし、その単位の組み合わせに
よって表現される、音声化した場合に聞き取りにくいと
される発音パターンが登録されている発音規則テーブル
と、前記発音規則テーブルに登録されている前記発音パ
ターンに該当する、前記言語処理手段から出力される単
語列を、音声読み上げに適した単語列に変換するための
テキスト変換規則が登録されているテキスト変換規則テ
ーブルと、前記言語処理手段から出力される単語列を前
記発音規則テーブルと照合し、前記発音パターンに該当
する単語または複数の単語からなる複合語を抽出し、抽
出された前記単語または複合語に対して、前記テキスト
変換規則テーブルに格納されている前記テキスト変換規
則を適用して聞き取りやすい単語または複合語に置換す
る処理、あるいは前記複合語を構成する単語間に助詞ま
たはポーズを挿入する処理を実行するテキスト変換手段
と、前記テキスト変換手段から出力される単語列に付与
された言語情報から音声波形を合成するのに必要な発音
系列、ピッチ、パワーなどの韻律情報を生成する韻律情
報生成手段と、前記韻律情報生成手段の出力する韻律情
報に従って音声波形を合成する音声波形合成手段と、を
有する構成とした。
In the first embodiment of the speech synthesizer of the present invention, a language processing for dividing a Japanese input text into word strings, reading each word in the word strings, and adding linguistic information such as part of speech is performed. A pronunciation rule table in which a means and a pronunciation pattern, which is expressed by the combination of vowels, consonants, murmurs, or repellents, and is difficult to hear when voiced, are registered. A text in which a text conversion rule for converting a word string corresponding to the pronunciation pattern registered in the pronunciation rule table and output from the language processing unit into a word string suitable for speech reading is registered. A conversion rule table and a word string output from the language processing means are compared with the pronunciation rule table, and a word or a plurality of words corresponding to the pronunciation pattern is matched. Processing of extracting a compound word composed of the words of the formula (1) and applying the text conversion rule stored in the text conversion rule table to the extracted word or compound word to replace it with a word or compound word that is easy to hear. Or a text converting means for executing a process of inserting a particle or a pause between words constituting the compound word, and synthesizing a speech waveform from linguistic information given to a word string output from the text converting means. A prosody information generating means for generating necessary prosody information such as a pronunciation sequence, a pitch and a power, and an audio waveform synthesizing means for synthesizing an audio waveform in accordance with the prosody information output from the prosody information generating means.

【0038】これにより、複合語に起因して聞き取りに
くさが生じるような場合にも、読み上げやすい文体に変
換して読み上げ音声として出力できる、音声合成装置が
得られる。
As a result, a speech synthesizer can be obtained which can be converted into a text style that is easy to read out and output as a read-out voice even when the compound words make it difficult to hear.

【0039】また、本発明の音声合成装置の第2の態様
では、第1の態様において、前記テキスト変換規則テー
ブルに保持されている前記テキスト変換規則について、
ユーザからの検索、追加、修正、削除などの指示にした
がって編集,管理を行うテキスト変換規則管理手段を、
さらに具備する構成とした。
According to a second aspect of the speech synthesizer of the present invention, in the first aspect, the text conversion rule held in the text conversion rule table is
Text conversion rule management means that edits and manages according to user's search, add, modify, delete, etc. instructions,
Further, a configuration was provided.

【0040】これにより、テーブルにユーザー独自の規
則を追加することができ、また、テーブルの構築コスト
を低減できる。
As a result, it is possible to add a rule unique to the user to the table, and it is possible to reduce the cost for constructing the table.

【0041】(実施の形態1)以下、本発明の音声合成
装置(自然言語処理装置を含む)について図面を参照し
て、具体的に説明する。
(Embodiment 1) Hereinafter, a speech synthesis apparatus (including a natural language processing apparatus) of the present invention will be described in detail with reference to the drawings.

【0042】図1は、本発明の実施の形態1にかかる音
声合成装置の構成を示すブロック図である。
FIG. 1 is a block diagram showing the configuration of the speech synthesizer according to the first embodiment of the present invention.

【0043】図示されるとおり、音声合成装置は、テキ
スト入力部101と、言語処理部102と、テキスト変
換部103(発音パターン抽出部104,テキスト変換
処理部105,構文解析部106を有する)と、韻律情
報生成部107と、音声波形合成部108と、音声出力
部109と、表示部110と、発音規則テーブル111
と、テキスト変換規則テーブル112と、テキスト変換
規則管理部113と、テキスト変換規則入出力部114
と、を具備する。
As shown, the speech synthesizer includes a text input unit 101, a language processing unit 102, a text conversion unit 103 (including a pronunciation pattern extraction unit 104, a text conversion processing unit 105, and a syntax analysis unit 106). , A prosody information generation unit 107, a voice waveform synthesis unit 108, a voice output unit 109, a display unit 110, a pronunciation rule table 111
, A text conversion rule table 112, a text conversion rule management unit 113, a text conversion rule input / output unit 114
And

【0044】テキスト入力部101は、処理するべきテ
キストデータを受付ける。言語処理部102は、入力さ
れたテキストデータを形態素解析して、品詞などの言語
情報付与した単語列に分割する。
The text input unit 101 receives text data to be processed. The linguistic processing unit 102 performs morphological analysis on the input text data and divides the text data into word strings to which linguistic information such as parts of speech has been added.

【0045】テキスト変換部103の発音パターン抽出
部104は、言語処理部102から出力される「単語列
の読み情報」を走査し、発音規則テーブル111に登録
されている発音パターンとの照合(マッチング)を行う
ことで、その発音パターンが含まれる部分(連続した読
み上げの場合に聞き取りにくいと判断される部分)を抽
出する。
The pronunciation pattern extraction unit 104 of the text conversion unit 103 scans the “word string reading information” output from the language processing unit 102, and checks (matches) with the pronunciation patterns registered in the pronunciation rule table 111. ) To extract a portion including the sounding pattern (a portion that is determined to be difficult to hear in continuous reading).

【0046】また、テキスト変換部103のテキスト変
換処理部105は、発音パターン抽出部104により抽
出された部分について、その部分に含まれる単語列をテ
キスト変換規則にしたがって単語列に置き換える、ある
いは単語間に助詞やポーズを挿入する、といったテキス
ト変換処理を実行し、入力テキストを、音声による読み
上げに適したテキストに変換する処理を行う。
The text conversion processing unit 105 of the text conversion unit 103 replaces a word string included in the part extracted by the pronunciation pattern extraction unit 104 with a word string according to a text conversion rule, A text conversion process, such as inserting a particle or a pause, is performed to convert the input text into a text suitable for reading out by voice.

【0047】また、構文解析部106は、言語処理部1
02から送られてくる単語列を文節列にまとめて文章の
係り結びを明らかとする。この構文解析部106は、読
み上げに適したテキストへの変換処理には必須とされる
ものではないが、韻律情報生成部107でイントネーシ
ョンの付与等のために必要となる情報を提供するべく設
けられている。
Further, the syntax analysis unit 106 includes the language processing unit 1
The word string sent from 02 is combined into a phrase string to clarify the connection between sentences. The syntactic analysis unit 106 is not essential for conversion into text suitable for reading aloud, but is provided to provide the prosody information generation unit 107 with information necessary for giving intonation and the like. ing.

【0048】韻律情報生成部107は、テキスト変換処
理部105において変換された単語列の読みや品詞など
の言語情報から、発音系列,イントネーション,ピッチ
やパワーなどの韻律情報を生成する。
The prosody information generation unit 107 generates prosody information such as pronunciation sequence, intonation, pitch and power from linguistic information such as reading of a word string and part of speech converted by the text conversion processing unit 105.

【0049】音声波形合成部108は、韻律情報生成部
107が生成した、発音系列や韻律情報に基づいて音声
波形素片を接続し、音声合成データを得るものである。
合成された音声は、音声出力部109から出力される。
The speech waveform synthesizing section 108 connects speech waveform segments based on the pronunciation sequence and prosody information generated by the prosody information generating section 107 to obtain speech synthesis data.
The synthesized voice is output from the voice output unit 109.

【0050】表示部110は、テキスト変換によって得
られた、読み上げに適したテキストを文字情報として表
示する表示手段(モニター)であり、変換された文書
を、ユーザーが自ら読み上げる場合において使用するも
のである。
The display unit 110 is a display unit (monitor) for displaying text suitable for reading, obtained by text conversion, as character information, and is used when the user reads the converted document by himself. is there.

【0051】また、発音規則テーブル111には、聞き
取りにくいと判断される音声パターンが、複数登録され
ている。テキスト変換規則テーブル112には、発音パ
ターン抽出部104により抽出された単語列に対して、
置き換え等の処理をするためのテキスト変換規則が登録
されている。
In the pronunciation rule table 111, a plurality of voice patterns determined to be difficult to hear are registered. The text conversion rule table 112 includes, for the word string extracted by the pronunciation pattern extraction unit 104,
A text conversion rule for processing such as replacement is registered.

【0052】また、テキスト変換規則管理部113は、
テキスト変換規則テーブル112に対するユーザーイン
タフェースとして機能するものであり、テキスト変換規
則テーブル112に登録されているテキスト変換規則を
テキスト変換規則入出力部114を介してユーザーに提
示したり、あるいは、ユーザが追加/修正した規則をテ
キスト変換規則テーブル112に書き込む働きをする。
Also, the text conversion rule management unit 113
It functions as a user interface to the text conversion rule table 112, and presents the text conversion rules registered in the text conversion rule table 112 to the user via the text conversion rule input / output unit 114, or adds a user And functions to write the modified rule into the text conversion rule table 112.

【0053】このような音声合成装置は、例えば、図7
に示すようなコンピュータシステム上に構築されるもの
である。このコンピュータシステムは、本体部601
と、キーボード602と、ディスプレイ603と、入力
装置(マウス)604を含む、音声出力可能なシステムで
ある。図1の発音規則テーブル111およびテキスト変
換規則テーブル112は、本体部601にセットされる
CD−ROM607内,本体部601が内蔵するディス
ク(メモリ)606内,あるいは回線608で接続され
た他のシステムのディスク605内に格納される。
Such a speech synthesizer is, for example, shown in FIG.
It is built on a computer system as shown in FIG. This computer system includes a main unit 601.
, A keyboard 602, a display 603, and an input device (mouse) 604. The pronunciation rule table 111 and the text conversion rule table 112 shown in FIG. 1 are stored in a CD-ROM 607 set in the main body 601, in a disk (memory) 606 built in the main body 601, or in another system connected via a line 608. Is stored in the disk 605.

【0054】なお、図1の音声合成装置における表示部
110は、図7のシステムにおけるディスプレイ603
に該当し、図1のテキスト変換規則入出力部114は、
図7のシステムにおけるディスプレイ603および入力
装置604に該当する。
The display unit 110 in the speech synthesizer shown in FIG. 1 is the same as the display 603 in the system shown in FIG.
And the text conversion rule input / output unit 114 in FIG.
This corresponds to the display 603 and the input device 604 in the system of FIG.

【0055】このような本実施の形態の音声合成装置で
は、音声合成前の自然言語処理過程において、図2に示
されるように、大別して2段階の処理が行われる。
In the speech synthesizing apparatus according to the present embodiment, as shown in FIG. 2, roughly two stages of processing are performed in the natural language processing process before speech synthesis.

【0056】すなわち、第1の段階の処理として、テキ
スト変換部103の発音パターン抽出部104が、入力
されたテキストの単語列(言語処理部102において分
割された単語列)を発音規則テーブル111と照合し、
所定の発音パターンに該当する部分を抽出する(ステッ
プ120)。
That is, as a process of the first stage, the pronunciation pattern extraction unit 104 of the text conversion unit 103 converts the word string of the input text (the word string divided by the language processing unit 102) into the pronunciation rule table 111 and Collate,
A part corresponding to a predetermined pronunciation pattern is extracted (step 120).

【0057】次に、第2段階の処理として、テキスト変
換処理部105が、テキスト変換規則テーブル112に
登録されている変換規則にしたがって、抽出された部分
に含まれる単語または複合語を他の単語または複合語に
置換する処理,あるいは複合語を構成する単語間に助詞
またはポーズを挿入する処理を行って、入力されたテキ
ストを読み上げることを前提としたテキストに変換する
(ステップ121)。
Next, as a process of the second stage, the text conversion processing unit 105 converts the word or compound word included in the extracted portion into another word according to the conversion rule registered in the text conversion rule table 112. Alternatively, the input text is converted into a text on the assumption that the text is read aloud by performing a process of replacing the word with a compound word or a process of inserting a particle or a pause between words constituting the compound word (step 121).

【0058】第1段階のステップでは、文章の係り結び
(文章の意味内容や文章の構造)に着目するのではな
く、音の組み合わせのパターンという新規な観点から問
題となりそうな箇所を拾い出すので、一つの単語が特殊
な発音で聞きづらい場合やその単語に同音異義語がある
ことによって聞きづらい場合、といった一つの単語に起
因する場合のみならず、単語を連続して読み上げる際に
生じる、複合語に起因して聞きづらさが生じる場合も含
めて、該当箇所を広く抽出することができる。
In the first step, instead of focusing on the connection (the semantic content of the sentence and the structure of the sentence) of the sentence, a portion which is likely to be a problem from a new viewpoint of a sound combination pattern is picked up. Not only when one word is difficult to hear due to a special pronunciation, or when it is difficult to hear because the word has a homonym, but also when a word is read out continuously, due to compound words This makes it possible to extract a wide range of relevant parts, including cases where it is difficult to hear.

【0059】そして、第2段階のステップにおいて、抽
出された部分に対して変換規則を適用して、聞きづらさ
が生じる態様毎に適切な処理をほどこすので、入力テキ
ストを読み上げる際の聞きやすさが向上する。
Then, in the step of the second stage, a conversion rule is applied to the extracted part, and an appropriate process is performed for each mode in which it is difficult to hear, so that it is easy to hear when reading the input text. Is improved.

【0060】また、発音パターンによる問題箇所の絞り
込みがなされており、かつ、発音パターンによる問題箇
所の絞り込みの規則が既知であるので、テキスト変換規
則の構築も、それほど複雑とはならない。
Further, since the problem location is narrowed down by the pronunciation pattern and the rule of narrowing down the problem location by the pronunciation pattern is known, the construction of the text conversion rule is not so complicated.

【0061】また、発音パターン規則による問題箇所の
絞り込み処理は、入力された文書を単語列に分割した段
階で行うことができ、構文解析処理とは独立に実行でき
る。例えば、構文解析と並列に「テキスト変換処理」を
行い、この「テキスト変換処理」の結果を「構文解析処
理」を補強する形で活用することにより、聞き取りやす
い音声を出力可能な音声合成装置が得られる。
Further, the process of narrowing down the problem portion by the pronunciation pattern rule can be performed at the stage when the input document is divided into word strings, and can be executed independently of the syntax analysis process. For example, by performing "text conversion processing" in parallel with syntax analysis, and utilizing the result of this "text conversion processing" in a form that reinforces "syntax analysis processing", a speech synthesizer capable of outputting speech that is easy to hear is realized. can get.

【0062】以下、発音規則テーブル111およびテキ
スト変換規則テーブル112の具体的な内容例と、これ
らの規則を用いたテキスト変換の具体例について説明す
る。
Hereinafter, specific examples of the contents of the pronunciation rule table 111 and the text conversion rule table 112 and specific examples of text conversion using these rules will be described.

【0063】図3は、言語処理部102による、入力テ
キストから単語列への分割例を示している。
FIG. 3 shows an example of division of the input text into word strings by the language processing unit 102.

【0064】すなわち、「橋本首相は競技者表彰会に出
席した。」という入力テキスト201は、「橋本」,
「首相」,「は」,「競技者」,「表彰」,「会場」,
「に」,「出席」,「し」,「た」,「。」という単語
列202に分割される。
That is, the input text 201 “Prime Minister Hashimoto attended the athlete award meeting” is “Hashimoto”,
“Prime Minister”, “Ha”, “Athlete”, “Recognition”, “Venue”,
It is divided into a word string 202 of “ni”, “attend”, “shi”, “ta”, “.”.

【0065】分割された各単語には、図3に示されるよ
うに、「単語表記 読み 品詞名」の3つの言語情報が
付与される。読点「、」や句点「。」などの読みのない
ものについては、読みの情報は「*」と記述している。
As shown in FIG. 3, each of the divided words is given three pieces of linguistic information “word notation, part of speech,”. For information that is not read, such as the reading point “,” or the period “.”, The reading information is described as “*”.

【0066】図4(a)は、発音規則テーブル111に
登録されている、聞き取りにくい発音の組み合わせのパ
ターン例を示す図であり、図4図(b)は、母音,子
音,拗音,撥音の内容を示す図である。
FIG. 4A is a diagram showing an example of a pattern of a combination of difficult-to-hear pronunciations registered in the pronunciation rule table 111, and FIG. 4B is a diagram showing vowels, consonants, resonations, and repellent sounds. It is a figure showing contents.

【0067】図4(a)には2つの発音パターン例が記
載されている。発音パターン例301は、(子音・拗
音)(子音・拗音)の組み合わせパターンであり、発音
パターン例302は、(子音・拗音)(子音・母音)
(子音・拗音)の組み合わせパターンである。
FIG. 4A shows two examples of tone generation patterns. The pronunciation pattern example 301 is a combination pattern of (consonant / consonant) (consonant / consonant), and the pronunciation pattern example 302 is (consonant / consonant) (consonant / vowel).
(Consonant / resonant)

【0068】括弧で囲んだ単位(例えば(子音・拗
音))が、一つの読みのパターンを表わす。また、「母
音」,「子音」,「拗音」,「撥音」は、日本語の読み
を発音記号列として表現した場合の発音記号のグループ
である。
A unit enclosed in parentheses (for example, (consonant / consonant)) represents one reading pattern. “Vowel”, “consonant”, “resonant”, and “pluck” are groups of phonetic symbols when the Japanese pronunciation is represented as a phonetic symbol string.

【0069】図4(b)は、発音記号をローマ字表記で
表わした場合の発音記号のグループ分けを示している。
つまり、母音は「a,i,u,e,o」からなるグルー
プであり、子音は「k,s,t,n,h,m,y,r,
w,g,z,d,b,p」からなるグループであり、拗
音は「ya,yu,yo」からなるグループであり、撥
音は、「nn」からなるグループである。
FIG. 4B shows the grouping of phonetic symbols when the phonetic symbols are represented in Roman alphabet.
That is, a vowel is a group consisting of “a, i, u, e, o” and consonants are “k, s, t, n, h, m, y, r,
w, g, z, d, b, p ", the repetitive sound is a group composed of" ya, yu, yo ", and the sound repellency is a group composed of" nn ".

【0070】例えば、「(子音・拗音)」という読み
は、「子音」のグループに含まれる任意の発音記号と
「拗音」のグループに含まれる任意の発音記号のすべて
の組み合わせとして得られる読みを意味する。例えば、
「シャ(sya)」、「ギョ(gyo)」などの読み
は、この読みとして含まれる。「車種(syasy
u)」,「授受(zyuzyu)」といった単語や「民
主主義(minsyusyugi)」といった複合語は
(子音・拗音)の組み合わせを含んでおり、したがっ
て、これらの単語,複合語は、図1の発音パターン抽出
部104による抽出対象となる。
For example, the pronunciation “(consonant / resonant)” is a pronunciation obtained as a combination of any phonetic symbol included in the “consonant” group and any phonetic symbol included in the “consonant” group. means. For example,
Readings such as “sha” and “gyo” are included as these readings. "Car type (syasy
u) "," zyuzyu ", and compound words such as" democracy (minsyusyugi) "include a combination of (consonants and murmurs). Therefore, these words and compound words are the pronunciations of FIG. The pattern is extracted by the pattern extraction unit 104.

【0071】また、「客車(kyakusya)」とい
う単語は、発音パターン例302の、(子音・拗音),
(子音・拗音),(子音・拗音)の組み合わせに該当し
て、抽出の対象となる。
Further, the word "passenger car (kyakusya)" is used in the example 302 of the pronunciation pattern (consonants / consonants),
It corresponds to a combination of (consonant / consonant) and (consonant / consonant), and is an extraction target.

【0072】図5は、テキスト変換規則テーブル112
に保持されている変換規則(聞き取りにくいとして抽出
された単語列を他の単語に置き換える等の処理を行うた
めの規則)の一例を示す図である。
FIG. 5 shows a text conversion rule table 112.
FIG. 7 is a diagram showing an example of a conversion rule (rule for performing processing such as replacing a word string extracted as hard to hear) with another word, which is stored in FIG.

【0073】参照符号401,402,403はそれぞ
れ、一つのテキスト変換規則の単位を示している。図示
されるように、各単位の規則は、原則として、上段に示
される変換前の単語列のパターンと、下段に示される変
換後の単語列パターンとの組み合わせによって規定され
ている。
Reference numerals 401, 402, and 403 each indicate a unit of one text conversion rule. As shown in the figure, the rule of each unit is defined in principle by a combination of a word string pattern before conversion shown in the upper part and a word string pattern after conversion shown in the lower part.

【0074】なお、単語列パターン中の(表記 読み
品詞)という単位が、1つの単語の情報を表わす。
In the word string pattern, (notation reading
The unit of “part of speech” represents information of one word.

【0075】テキスト変換規則401は、「首相(シュ
ショー)」という単語を「総理大臣(ソーリダイジ
ン)」という単語に置換する規則である。また、テキス
ト変換規則402は、「授受(ジュジュ)」という単語
を「受け渡し(ウケワタシ)」という単語に置換する規
則である。
The text conversion rule 401 is a rule that replaces the word “Prime Minister” with the word “Prime Minister”. The text conversion rule 402 is a rule for replacing the word “transfer (juju)” with the word “transfer (ukewashi)”.

【0076】テキスト変換規則403は、名詞と名詞と
の間に助詞を挿入するという規則である。この変換規則
403では、変換前の単語列のパターンにおいて、「表
記」および「読み」の部分を「?」としているが、これ
は任意の表記、読みと照合可能であることを示す。つま
り、聞き取りにくい発音パターンを含むとして抽出され
た単語列の中の、任意の連続する名詞に対して、本規則
が適用されることになる。
The text conversion rule 403 is a rule for inserting a particle between nouns. In the conversion rule 403, in the pattern of the word string before conversion, “notation” and “reading” are indicated by “?”, Which indicates that it can be collated with arbitrary notation and reading. In other words, this rule is applied to any continuous noun in a word string extracted as including a pronunciation pattern that is difficult to hear.

【0077】また、テキスト変換規則403における、
変換後の単語列パターンの中の、「(1)」,
「(2)」の番号は、変換前の単語列パターンに現れた
2つの「(?? 名詞)」の左からの順序に対応してい
る。つまり、名詞が連続する複合語が規則403に該当
すると、各名詞に分解して、(1)および(2)を、各
単語に置き換え、かつ、各名詞間に助詞を挿入すること
になる。例えば、「競技者表彰」がテキスト変換規則4
03と照合した場合は、「(1)」は「競技者」」と置
き換えられ、「(2)」は「表彰」と置き換えられ、結
果的に、「競技者の表彰」という、助詞が挿入された文
章に変換されることになる。なお、ここでは、助詞を挿
入することにしているが、同様の構造の規則によって、
名詞と名詞の間,あるいは特定の単語間にポーズを挿入
することも可能である。
In the text conversion rule 403,
In the converted word string pattern, “(1)”,
The number “(2)” corresponds to the order from the left of the two “(?? nouns)” appearing in the word string pattern before conversion. In other words, if a compound word having consecutive nouns corresponds to rule 403, the compound word is decomposed into each noun, (1) and (2) are replaced with each word, and a particle is inserted between each noun. For example, "Athlete Award" is the text conversion rule 4
When matching with 03, “(1)” is replaced with “athlete”, “(2)” is replaced with “recognition”, and consequently, a particle “recognition of competitor” is inserted. Will be converted into the sentence. In this case, the particle is inserted, but according to the same structure rule,
Pauses can be inserted between nouns or between specific words.

【0078】このような規則を用いてテキスト変換を実
施した場合の例を、図6に示す。図6の上側に示される
単語列501は、入力テキストを図1の言語処理部10
2で解析した結果得られる、変換前の単語列である。
FIG. 6 shows an example in which text conversion is performed using such rules. The word string 501 shown in the upper part of FIG.
This is a pre-conversion word string obtained as a result of the analysis in step 2.

【0079】この変換前の単語列501の中で、図4
(a)の発音パターン301((子音・拗音)(子音・
拗音)の組み合わせ)に該当するのは、単語列501a
の「首相(シュショー)」と、単語列501bの「競技
者(キョーギシャ)および表彰(ヒョウショー)」であ
る。よって、図1の発音パターン抽出部104による発
音規則テーブル111を用いた検索の結果として、単語
列501a,501bが抽出される。
In the word string 501 before the conversion, FIG.
(A) pronunciation pattern 301 ((consonant / resonant) (consonant /
The combination of the word string 501a corresponds to the word string 501a.
And "Athlete (Kyogisha) and Commendation (Leopard Show)" in the word string 501b. Therefore, word strings 501a and 501b are extracted as a result of the search using the pronunciation rule table 111 by the pronunciation pattern extraction unit 104 in FIG.

【0080】次に、図1のテキスト変換処理部105
は、抽出された単語列501aおよび単語列501bに
適用すべきテキスト変換規則を、テキスト変換規則テー
ブル112を検索して見つけ出す。すなわち、単語列5
01aは、図5に示されるテキスト変換規則401に該
当する。また、単語列501bは、テキスト変換規則4
03に該当する。そこで、テキスト変換処理部105
は、単語列501aを別の単語502aに置換し、単語
列501bの連続する名詞間に助詞を挿入する処理を行
う。
Next, the text conversion processing unit 105 shown in FIG.
Searches the text conversion rule table 112 for text conversion rules to be applied to the extracted word strings 501a and 501b. That is, word string 5
01a corresponds to the text conversion rule 401 shown in FIG. Also, the word string 501b is a text conversion rule 4
This corresponds to 03. Therefore, the text conversion processing unit 105
Performs a process of replacing the word string 501a with another word 502a and inserting particles between consecutive nouns in the word string 501b.

【0081】このようにして、音声による読み上げに適
したテキスト502が得られる。音声波形合成前の自然
言語処理によって、入力テキストが読み上げを考慮した
テキストに変換されているので、聞き取りやすい明快な
音声の出力が可能となる。
In this way, a text 502 suitable for reading out by voice is obtained. Since the input text is converted into a text that takes into account reading aloud by natural language processing before speech waveform synthesis, clear speech that is easy to hear can be output.

【0082】なお、テキスト変換の結果は、原則として
音声による読み上げに反映されるものであるが、必ずし
もこれに限定されるものではなく、読み上げは行わず
に、図1の表示部110(図7のディスプレイ603)
に表示させるだけでもよい。
Although the result of the text conversion is reflected in speech reading in principle, the present invention is not necessarily limited to this. The reading is not performed and the display unit 110 (FIG. 7) shown in FIG. Display 603)
May be simply displayed.

【0083】例えば、放送局のなどの放送現場では、書
き言葉で書かれた記事原稿をニュース放送で読み上げる
のに適した文章表現に修正し、アナウンサーが読み上げ
るという手順でニュース放送が行われるのが一般的であ
る。しかし、突発的に発生した事件などの場合は、記事
原稿をニュース原稿に書き換えるための十分な時間が確
保できないことも多い。
For example, at a broadcasting site such as a broadcasting station, a news broadcast is generally performed in such a manner that an article manuscript written in written language is corrected to a sentence expression suitable for reading out in a news broadcast, and an announcer reads out the text. It is a target. However, in the case of a sudden incident, sufficient time for rewriting an article manuscript to a news manuscript cannot often be secured.

【0084】このような場合には、アナウンサーの負担
軽減のために、書き言葉で書かれた記事原稿のテキスト
の中で、聞き取りにくい個所を自動的に判断し、置き換
えるべき話し言葉の表現例を、読み上げ前に提示するよ
うなシステムがあると便利である。本発明は、このよう
な用途にも使用できるものである。
In such a case, in order to reduce the burden on the announcer, in the text of the article manuscript written in written language, a portion that is difficult to hear is automatically determined, and an expression example of the spoken word to be replaced is read aloud. It is convenient to have a system as presented before. The present invention can be used for such applications.

【0085】また、図1の音声合成装置では、発音規則
テーブル111およびテキスト変換規則テーブル112
は書き換えが可能なテーブルである。つまり、テキスト
変換規則入出力部114およびテキスト変換規則管理部
113を用いて、発音規則テーブル111やテキスト変
換規則テーブル112をユーザーに提示でき、また、ユ
ーザー自らが、規則を追加,修正等することができる。
In the speech synthesizer of FIG. 1, the pronunciation rule table 111 and the text conversion rule table 112
Is a rewritable table. That is, using the text conversion rule input / output unit 114 and the text conversion rule management unit 113, the pronunciation rule table 111 and the text conversion rule table 112 can be presented to the user, and the user himself can add or modify rules. Can be.

【0086】したがって、各規則テーブルを構築する労
力が軽減されると共に、ユーザーのニーズに合致した規
則を効率的に蓄積して、ユーザーが使いやすい規則テー
ブルを構築していくことができる。すなわち、原稿を書
きかえる作業者が持っている、書き言葉から話し言葉へ
の変換に関するノウハウを効率的にシステムに蓄積でき
る。
Therefore, it is possible to reduce the labor for constructing each rule table, and to efficiently accumulate rules that meet the needs of the user, thereby constructing a rule table that is easy for the user to use. That is, the know-how of the worker who rewrites the manuscript regarding the conversion from the written language to the spoken language can be efficiently accumulated in the system.

【0087】以上説明したように、本実施の形態の音声
合成装置(自然言語処理装置)によれば、発音規則テー
ブル111に登録した聞き取りにくい発音のパターンを
用いて、単語単位だけではなく、複合語を構成する連続
する単語の読みに関しても聞き取りにくさを判定するこ
とができる。そして、テキスト変換規則テーブル112
に登録されている変換規則を用いてテキスト変換を実行
して、単語単位では置き換えが不可能であった複合語に
関しても、より聞き取りやすい表現に置き換えることが
できる。
As described above, according to the speech synthesizing apparatus (natural language processing apparatus) of the present embodiment, not only word units but also complex It is possible to determine the difficulty of hearing even when reading consecutive words constituting a word. Then, the text conversion rule table 112
The text conversion is executed using the conversion rules registered in the .symbol, and a compound word that cannot be replaced in word units can be replaced with a more audible expression.

【0088】また、例えば、抽出された単語列に対して
変換規則を適用して変換すべき表現の候補をユーザーに
提示し、また、その候補をユーザー自身が更新すること
もできできる。これによって、ユーザの現実のニーズに
対応した話し言葉への変換規則を、効率的に蓄積でき
る。
Further, for example, a conversion rule may be applied to the extracted word string to present a candidate for an expression to be converted to a user, and the user may update the candidate by himself. As a result, it is possible to efficiently accumulate the conversion rules into the spoken language corresponding to the actual needs of the user.

【0089】[0089]

【発明の効果】以上説明したように本発明によれば、書
き言葉で書かれた入力のテキストに含まれる聞き取りに
くい表現を、聞き取りやすい表現に置き換えて、分かり
やすい読み上げ音声として提供することが可能である。
また、ユーザーの現実のニーズに合致した発音規則や変
換規則を効率的に蓄積することができる。
As described above, according to the present invention, it is possible to replace hard-to-hear expressions included in input text written in written language with easy-to-hear expressions and to provide easy-to-understand speech. is there.
Further, pronunciation rules and conversion rules that match the actual needs of the user can be efficiently accumulated.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態1にかかる音声合成装置
(自然言語処理装置を含む)のブロック図
FIG. 1 is a block diagram of a speech synthesis device (including a natural language processing device) according to a first embodiment of the present invention;

【図2】実施の形態1にかかる音声合成装置におけるテ
キスト変換処理の手順を示すフロー図
FIG. 2 is a flowchart showing a procedure of a text conversion process in the speech synthesizer according to the first embodiment;

【図3】入力テキストの単語列への分割の一例を示す図FIG. 3 is a diagram illustrating an example of division of an input text into word strings.

【図4】(a) 発音規則の内容の一例を示す図 (b) 発音記号の分類を説明するための図FIG. 4A is a diagram showing an example of the contents of pronunciation rules. FIG. 4B is a diagram for explaining the classification of pronunciation symbols.

【図5】テキスト変換規則の内容の一例を示す図FIG. 5 is a diagram showing an example of the contents of a text conversion rule.

【図6】テキスト変換の一例を示す図FIG. 6 is a diagram showing an example of text conversion.

【図7】本発明を実施するためのコンピュータシステム
の一例を示す図
FIG. 7 is a diagram showing an example of a computer system for implementing the present invention.

【符号の説明】[Explanation of symbols]

101 テキスト入力部 102 言語処理部 103 テキスト変換部 104 発音パターン抽出部 105 テキスト変換処理部 106 構文解析部 107 韻律情報生成部 108 音声波形合成部 109 音声出力部 111 発音規則テーブル 112 テキスト変換規則テーブル 113 テキスト変換規則管理部 114 テキスト変換規則入出力部 Reference Signs List 101 text input unit 102 language processing unit 103 text conversion unit 104 pronunciation pattern extraction unit 105 text conversion processing unit 106 syntax analysis unit 107 prosody information generation unit 108 voice waveform synthesis unit 109 voice output unit 111 pronunciation rule table 112 text conversion rule table 113 Text conversion rule management unit 114 Text conversion rule input / output unit

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 入力されたテキストを、所定の発音パタ
ーンが発音規則として登録されている第1のテーブルと
照合して、前記入力されたテキストから前記所定の発音
パターンを含む部分を抽出する第1のステップと、 第2のテーブルに登録されている変換規則に基づき、抽
出された前記部分に含まれる単語または複合語を他の単
語または他の複合語に置換する処理、あるいは前記複合
語を構成する単語間に助詞またはポーズを挿入する処理
を実行する第2のステップと、を含むことを特徴とする
自然言語処理方法。
1. A method for comparing an input text with a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule, and extracting a part including the predetermined pronunciation pattern from the input text. 1) replacing the word or compound included in the extracted part with another word or another compound based on the conversion rule registered in the second table; or A second step of executing a process of inserting a particle or a pause between constituent words.
【請求項2】 前記所定の発音パターンは、母音,子
音,拗音または撥音を組み合わせた一つの発音を単位と
して、その単位の組み合わせによって表現されることを
特徴とする請求項1記載の自然言語処理方法。
2. The natural language processing according to claim 1, wherein the predetermined sounding pattern is expressed by a unit of one sounding combination of a vowel, a consonant, a consonant sound, or a spelling sound. Method.
【請求項3】 前記所定の発音パターンは、(子音・拗
音)からなる発音が連続するパターンを含むことを特徴
とする請求項2記載の自然言語処理方法。
3. The natural language processing method according to claim 2, wherein the predetermined pronunciation pattern includes a pattern in which pronunciations composed of (consonants / consonants) are continuous.
【請求項4】 前記所定の発音パターンは、(子音・拗
音)(子音・母音)(子音・拗音)の組み合わせからな
るパターンを含むことを特徴とする請求項2記載の自然
言語処理方法。
4. The natural language processing method according to claim 2, wherein the predetermined pronunciation pattern includes a pattern composed of a combination of (consonant / consonant) (consonant / vowel) (consonant / consonant).
【請求項5】 前記複合語を構成する、隣接する2つの
単語の隣接部分に前記聞き取りにくい発音パターンが存
在し、かつ、前記2つの単語が共に名詞である場合に、
前記2つの単語間に助詞またはポーズを挿入することを
特徴とする請求項1〜請求項4のいずれかに記載の自然
言語処理方法。
5. When the inaudible pronunciation pattern exists in an adjacent part of two adjacent words constituting the compound word, and the two words are both nouns,
5. The natural language processing method according to claim 1, wherein a particle or a pause is inserted between the two words.
【請求項6】 前記第1のテーブルに登録されている前
記発音規則または前記第2のテーブルに登録されている
前記変換規則を、外部に提示可能としたことを特徴とす
る請求項1〜請求項5のいずれかに記載の自然言語処理
方法。
6. The method according to claim 1, wherein the pronunciation rules registered in the first table or the conversion rules registered in the second table can be externally presented. Item 6. The natural language processing method according to any one of Items 5.
【請求項7】 前記第1のテーブルに登録されている前
記発音規則または前記第2のテーブルに登録されている
前記変換規則を、外部から補正することができるように
したことを特徴とする請求項1〜請求項6のいずれかに
記載の自然言語処理方法。
7. The apparatus according to claim 1, wherein the pronunciation rules registered in the first table or the conversion rules registered in the second table can be externally corrected. The natural language processing method according to claim 1.
【請求項8】 自然言語処理装置に、 入力されたテキストを、所定の発音パターンが発音規則
として登録されている第1のテーブルと照合して、前記
入力されたテキストから前記所定の発音パターンを含む
部分を抽出する第1のステップと、 第2のテーブルに登録されている変換規則に基づき、抽
出された前記部分に含まれる単語または複合語を他の単
語または他の複合語に置換する処理、あるいは前記複合
語を構成する単語間に助詞またはポーズを挿入する処理
を実行し、前記入力されたテキストを読み上げることを
前提としたテキストに変換する第2のステップと、を実
行させるためのプログラムを記録したことを特徴とする
コンピュータが読み取り可能な自然言語処理用記録媒
体。
8. The natural language processing apparatus checks an input text against a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule, and converts the predetermined pronunciation pattern from the input text. A first step of extracting a part that includes the part, and a process of replacing a word or a compound word included in the extracted part with another word or another compound word based on a conversion rule registered in a second table Or a second step of executing a process of inserting a particle or a pause between words constituting the compound word, and converting the input text into text on the assumption that the text is read aloud. And a computer-readable recording medium for natural language processing.
【請求項9】 自然言語処理装置に、 入力されたテキストを、所定の発音パターンが発音規則
として登録されている第1のテーブルと照合して、前記
入力されたテキストから前記所定の発音パターンを含む
部分を抽出する第1のステップと、 第2のテーブルに登録されている変換規則に基づき、抽
出された前記部分に含まれる単語または複合語を他の単
語または他の複合語に置換する処理、あるいは前記複合
語を構成する単語間に助詞またはポーズを挿入する処理
を実行し、前記入力されたテキストを読み上げることを
前提としたテキストに変換する第2のステップと、を実
行させる場合の、前記第1のテーブルおよび前記第2の
テーブルを記録していることを特徴とするコンピュータ
が読み取り可能な自然言語処理用記録媒体。
9. The natural language processing apparatus checks an input text against a first table in which a predetermined pronunciation pattern is registered as a pronunciation rule, and converts the predetermined pronunciation pattern from the input text. A first step of extracting a part that includes the part, and a process of replacing a word or a compound word included in the extracted part with another word or another compound word based on a conversion rule registered in a second table Or performing a process of inserting a particle or a pause between words constituting the compound word, and performing a second step of converting the input text into text on the assumption that the text is read aloud, A computer-readable recording medium for natural language processing, wherein the first table and the second table are recorded.
【請求項10】 前記第1のテーブルまたは前記第2の
テーブルは、読み出し/書き込みが可能であることを特
徴とする請求項8または請求項9記載の自然言語処理用
記録媒体。
10. The recording medium for natural language processing according to claim 8, wherein the first table or the second table is readable / writable.
【請求項11】 日本語の入力テキストを単語列に分割
し、単語列の各単語に対して読み、品詞などの言語情報
を付与する言語処理手段と、 母音,子音,拗音または撥音を組み合わせた一つの発音
を単位とし、その単位の組み合わせによって表現され
る、音声化した場合に聞き取りにくいとされる発音パタ
ーンが登録されている発音規則テーブルと、 前記発音規則テーブルに登録されている前記発音パター
ンに該当する、前記言語処理手段から出力される単語列
を、音声読み上げに適した単語列に変換するためのテキ
スト変換規則が登録されているテキスト変換規則テーブ
ルと、 前記言語処理手段から出力される単語列を前記発音規則
テーブルと照合し、前記発音パターンに該当する単語ま
たは複数の単語からなる複合語を抽出し、抽出された前
記単語または複合語に対して、前記テキスト変換規則テ
ーブルに格納されている前記テキスト変換規則を適用し
て聞き取りやすい単語または複合語に置換する処理、あ
るいは前記複合語を構成する単語間に助詞またはポーズ
を挿入する処理を実行するテキスト変換手段と、 前記テキスト変換手段から出力される単語列に付与され
た言語情報から音声波形を合成するのに必要な発音系
列、ピッチ、パワーなどの韻律情報を生成する韻律情報
生成手段と、 前記韻律情報生成手段の出力する韻律情報に従って音声
波形を合成する音声波形合成手段と、を有することを特
徴とする音声合成装置。
11. A linguistic processing means for dividing a Japanese input text into word strings, reading each word in the word strings, and adding linguistic information such as part of speech, and combining vowels, consonants, murmurs, or vowel sounds. A pronunciation rule table in which a pronunciation pattern that is expressed by a combination of the pronunciation units and is difficult to hear when voiced is registered, and the pronunciation pattern registered in the pronunciation rule table And a text conversion rule table in which a text conversion rule for converting a word string output from the language processing unit into a word string suitable for reading aloud is registered; and a text conversion rule table output from the language processing unit. The word sequence is compared with the pronunciation rule table, and a word or a compound word including a plurality of words corresponding to the pronunciation pattern is extracted and extracted. Applying the text conversion rules stored in the text conversion rule table to the words or compound words, and replacing the words or compound words with words or compounds that are easy to hear, or particles between the words constituting the compound words Or text conversion means for executing a process of inserting a pause, and prosody information such as a pronunciation sequence, pitch, and power necessary for synthesizing a speech waveform from linguistic information given to a word string output from the text conversion means. And a speech waveform synthesizing unit that synthesizes a speech waveform in accordance with the prosody information output by the prosody information generating unit.
【請求項12】 前記テキスト変換規則テーブルに保持
されている前記テキスト変換規則について、ユーザから
の検索、追加、修正、削除などの指示にしたがって編
集,管理を行うテキスト変換規則管理手段を、さらに具
備することを特徴とする請求項11記載の音声合成装
置。
12. A text conversion rule management means for editing and managing the text conversion rules stored in the text conversion rule table in accordance with a search, addition, correction, deletion, etc. instruction from a user. The speech synthesizer according to claim 11, wherein
JP34299298A 1998-12-02 1998-12-02 Natural language processing method, natural language processing recording medium, and speech synthesizer Expired - Lifetime JP3706758B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP34299298A JP3706758B2 (en) 1998-12-02 1998-12-02 Natural language processing method, natural language processing recording medium, and speech synthesizer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34299298A JP3706758B2 (en) 1998-12-02 1998-12-02 Natural language processing method, natural language processing recording medium, and speech synthesizer

Publications (2)

Publication Number Publication Date
JP2000172289A true JP2000172289A (en) 2000-06-23
JP3706758B2 JP3706758B2 (en) 2005-10-19

Family

ID=18358109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34299298A Expired - Lifetime JP3706758B2 (en) 1998-12-02 1998-12-02 Natural language processing method, natural language processing recording medium, and speech synthesizer

Country Status (1)

Country Link
JP (1) JP3706758B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149180A (en) * 2000-11-16 2002-05-24 Matsushita Electric Ind Co Ltd Device and method for synthesizing voice
JP2004525412A (en) * 2001-03-08 2004-08-19 松下電器産業株式会社 Runtime synthesis device adaptation method and system for improving intelligibility of synthesized speech
JP2006227425A (en) * 2005-02-18 2006-08-31 National Institute Of Information & Communication Technology Speech reproducing device and utterance support device
JP2006284645A (en) * 2005-03-31 2006-10-19 Nec Corp Speech reproducing device, and reproducing program and reproducing method therefor
US7809572B2 (en) 2005-07-20 2010-10-05 Panasonic Corporation Voice quality change portion locating apparatus
JP2011027971A (en) * 2009-07-24 2011-02-10 Fujitsu Ltd Device and method for recognizing voice and program of the same
WO2015159363A1 (en) * 2014-04-15 2015-10-22 三菱電機株式会社 Information providing device and method for providing information
JP2017517028A (en) * 2014-04-17 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe Method and system for handling dialogue with robots

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60208799A (en) * 1984-04-02 1985-10-21 松下電器産業株式会社 Voice analyzer/synthesizer
JPH0335296A (en) * 1989-06-30 1991-02-15 Sharp Corp Text voice synthesizing device
JPH05210482A (en) * 1991-12-26 1993-08-20 Oki Electric Ind Co Ltd Method for managing sounding dictionary
JPH08123459A (en) * 1994-10-26 1996-05-17 Sony Corp Natural language processing method and speech synthesizing device
JPH1078795A (en) * 1996-09-04 1998-03-24 Secom Co Ltd Speech synthesizing device
JPH10171485A (en) * 1996-12-12 1998-06-26 Matsushita Electric Ind Co Ltd Voice synthesizer
JPH10187179A (en) * 1996-12-26 1998-07-14 Canon Inc Method for synthesizing voice and device therefor
JPH10228471A (en) * 1996-12-10 1998-08-25 Fujitsu Ltd Sound synthesis system, text generation system for sound and recording medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60208799A (en) * 1984-04-02 1985-10-21 松下電器産業株式会社 Voice analyzer/synthesizer
JPH0335296A (en) * 1989-06-30 1991-02-15 Sharp Corp Text voice synthesizing device
JPH05210482A (en) * 1991-12-26 1993-08-20 Oki Electric Ind Co Ltd Method for managing sounding dictionary
JPH08123459A (en) * 1994-10-26 1996-05-17 Sony Corp Natural language processing method and speech synthesizing device
JPH1078795A (en) * 1996-09-04 1998-03-24 Secom Co Ltd Speech synthesizing device
JPH10228471A (en) * 1996-12-10 1998-08-25 Fujitsu Ltd Sound synthesis system, text generation system for sound and recording medium
JPH10171485A (en) * 1996-12-12 1998-06-26 Matsushita Electric Ind Co Ltd Voice synthesizer
JPH10187179A (en) * 1996-12-26 1998-07-14 Canon Inc Method for synthesizing voice and device therefor

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149180A (en) * 2000-11-16 2002-05-24 Matsushita Electric Ind Co Ltd Device and method for synthesizing voice
JP2004525412A (en) * 2001-03-08 2004-08-19 松下電器産業株式会社 Runtime synthesis device adaptation method and system for improving intelligibility of synthesized speech
JP2006227425A (en) * 2005-02-18 2006-08-31 National Institute Of Information & Communication Technology Speech reproducing device and utterance support device
JP2006284645A (en) * 2005-03-31 2006-10-19 Nec Corp Speech reproducing device, and reproducing program and reproducing method therefor
US7809572B2 (en) 2005-07-20 2010-10-05 Panasonic Corporation Voice quality change portion locating apparatus
JP2011027971A (en) * 2009-07-24 2011-02-10 Fujitsu Ltd Device and method for recognizing voice and program of the same
WO2015159363A1 (en) * 2014-04-15 2015-10-22 三菱電機株式会社 Information providing device and method for providing information
JP5976255B2 (en) * 2014-04-15 2016-08-23 三菱電機株式会社 Information providing apparatus and information providing method
US9734818B2 (en) 2014-04-15 2017-08-15 Mitsubishi Electric Corporation Information providing device and information providing method
JP2017517028A (en) * 2014-04-17 2017-06-22 ソフトバンク・ロボティクス・ヨーロッパSoftbank Robotics Europe Method and system for handling dialogue with robots
US10008196B2 (en) 2014-04-17 2018-06-26 Softbank Robotics Europe Methods and systems of handling a dialog with a robot

Also Published As

Publication number Publication date
JP3706758B2 (en) 2005-10-19

Similar Documents

Publication Publication Date Title
US6823309B1 (en) Speech synthesizing system and method for modifying prosody based on match to database
US7496498B2 (en) Front-end architecture for a multi-lingual text-to-speech system
US7454345B2 (en) Word or collocation emphasizing voice synthesizer
JP2000081892A (en) Device and method of adding sound effect
Macchi Issues in text-to-speech synthesis
WO2009021183A1 (en) System-effected text annotation for expressive prosody in speech synthesis and recognition
US6477495B1 (en) Speech synthesis system and prosodic control method in the speech synthesis system
JP3085631B2 (en) Speech synthesis method and system
JP4811557B2 (en) Voice reproduction device and speech support device
JP2006243673A (en) Data retrieval device and method
JP3706758B2 (en) Natural language processing method, natural language processing recording medium, and speech synthesizer
JP5334716B2 (en) Character information presentation control device and program
Raghavendra et al. A multilingual screen reader in Indian languages
Kolář Automatic segmentation of speech into sentence-like units
El-Imam et al. Rules and algorithms for phonetic transcription of standard Malay
Labied et al. Moroccan dialect “Darija” automatic speech recognition: a survey
JP3279261B2 (en) Apparatus, method, and recording medium for creating a fixed phrase corpus
KR100959494B1 (en) Voice Synthesizer and Its Method using Processing Not registered Word
Gardini Data preparation and improvement of NLP software modules for parametric speech synthesis
JP2004138661A (en) Voice piece database creating method, voice synthesis method, voice piece database creator, voice synthesizer, voice database creating program, and voice synthesis program
Alabbad An Investigation into Approaches to Text-to-Speech Synthesis for Modern Standard Arabic
Mihkla et al. Development of a unit selection TTS system for Estonian
JP2001249678A (en) Device and method for outputting voice, and recording medium with program for outputting voice
JPH10161847A (en) Document data speech conversion system
Brenier The automatic prediction of prosodic prominence from text

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term