JP2005250264A - Device, method, and program for pitch pattern generation - Google Patents

Device, method, and program for pitch pattern generation Download PDF

Info

Publication number
JP2005250264A
JP2005250264A JP2004062575A JP2004062575A JP2005250264A JP 2005250264 A JP2005250264 A JP 2005250264A JP 2004062575 A JP2004062575 A JP 2004062575A JP 2004062575 A JP2004062575 A JP 2004062575A JP 2005250264 A JP2005250264 A JP 2005250264A
Authority
JP
Japan
Prior art keywords
pitch
syllable
tone
information
change pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004062575A
Other languages
Japanese (ja)
Other versions
JP4428093B2 (en
Inventor
Takehiko Kawahara
毅彦 川▲原▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2004062575A priority Critical patent/JP4428093B2/en
Priority to TW094106673A priority patent/TWI271702B/en
Priority to CNB2005100514400A priority patent/CN1331112C/en
Publication of JP2005250264A publication Critical patent/JP2005250264A/en
Application granted granted Critical
Publication of JP4428093B2 publication Critical patent/JP4428093B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a pitch pattern generating device etc., for realizing natural pitch variation. <P>SOLUTION: A tone of voice/pitch variation pattern table 233a contains tone of voice numbers for specifying respective tone of voices (1st voice to 4th voice), and deformed pitch variation patterns of standard pitch variation patterns, representing standard pitch variations of the respective tone of voices, which correspond to the standard pitch variation patterns. A tone of voice/pitch variation pattern selection part 232a selects a pitch variation pattern by taking not only a tone of voice of a syllable, but also tone of voices of syllables before and after it into consideration. A pitch pattern generation part 236 generates a pitch pattern based upon the selected pitch variation pattern and pitch specification information supplied from a text analysis part 220. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、合成音声のピッチパターンを生成する技術に関する。   The present invention relates to a technique for generating a pitch pattern of synthesized speech.

中国語に対応した音声合成装置においては、入力されるピンイン(中国語の読みをローマ字で表音化したもの)に応じて、中国語の合成音声を出力する機能が搭載されている。
ここで、中国語は1つの漢字が1つの音節と対応し、1つの音節は「声母」と呼ばれる先頭子音(音節の先頭にくる子音)と「韻母」と呼ばれる「声母」を除いた部分(母音、二重母音、鼻音化母音等)とから構成されている。
A speech synthesizer corresponding to Chinese is equipped with a function for outputting Chinese synthesized speech in accordance with Pinyin (Chinese reading converted into romaji).
Here, in Chinese, one kanji character corresponds to one syllable, and one syllable excludes the first consonant called “vowel” (consonant that comes at the beginning of the syllable) and the “vowel” called “vowel”. Vowels, double vowels, nasalized vowels, etc.).

中国語の合成音声を得るためには、このような声母と韻母をローマ字で入力(ピンイン入力)する必要があるが、中国語では、同じピンインを有する漢字が複数存在することがある。例えば、ある音節「qi」についても「期」、「奇」、「起」、・・・等があり、ピンインだけを入力したとしても、意図する変換出力候補を直ちに得られないことがある。   In order to obtain Chinese synthesized speech, it is necessary to input such initials and finals in Roman characters (pinyin input), but in Chinese, there may be a plurality of Chinese characters having the same pinyin. For example, a certain syllable “qi” has “period”, “odd”, “start”,..., Etc. Even if only pinyin is input, an intended conversion output candidate may not be obtained immediately.

このような問題を解決するために、ピンインと併せて音節の抑揚(時間的なピッチの変化)を表わす「四声」と呼ばれる声調(声調情報)を入力する四声付きピンイン入力方法が採用されている(例えば、特許文献1参照)。この声調は、基本的にはピッチ(音の高さ)をそのまま維持する第1声、ピッチを上げる第2声、ピッチを一度下げてまた上げる第3声、ピッチを下げる第4声から構成されている(図16参照)。声調情報を入力する際には、第1声〜第4声までの声調を1〜4の数字で表したものを対応するピンインの直後に付加する。一例を挙げて説明すると、「期」(=第1声)、「奇」(=第2声)、「起」(=第3声)、「器」(=第4声)を変換出力候補として得る場合には、それぞれ「qi1」、「qi2」、「qi3」、「qi4」と入力する。このように、ピンインと併せて声調の種類をあらわす声調情報を入力することで、ピンインに対応する漢字や意味を一意に特定する手掛かりとなる。   In order to solve such a problem, a pinyin input method with four voices is adopted that inputs a tone (tone information) called “four voices” that represents syllable inflection (change in pitch over time) in combination with pinyin. (For example, refer to Patent Document 1). This tone is basically composed of the first voice that maintains the pitch (pitch), the second voice that raises the pitch, the third voice that lowers the pitch and raises it again, and the fourth voice that lowers the pitch. (See FIG. 16). When inputting tone information, the numbers 1 to 4 of the first to fourth voices are added immediately after the corresponding pinyin. For example, “period” (= first voice), “odd” (= second voice), “start” (= third voice), and “container” (= fourth voice) are converted output candidates. Are input as “qi1”, “qi2”, “qi3”, and “qi4”, respectively. In this way, inputting tone information representing the type of tone together with pinyin provides a clue to uniquely identify the kanji and meaning corresponding to pinyin.

特開昭61−27597号公報JP-A 61-27597

上記方法によれば、入力した声調に応じた音節毎のピッチ変化を得ることができるが、当該音節の声調と前後の音節の声調の関係(例えば、当該音節の声調が「第3声」で後続する音節の声調が「第2声」等)によっては、上記ピッチ変化が不自然になってしまう等の問題が生ずる。
また、ユーザによっては声調の種類を指定することによって合成音声のピッチを変化させるだけでなく、合成音声のピッチを自由に変化させたい等の要望もある。
According to the above method, the pitch change for each syllable according to the input tone can be obtained, but the relationship between the tone of the syllable and the tone of the preceding and following syllables (for example, the tone of the syllable is “third voice”). Depending on the tone of the subsequent syllable, such as “second voice”, there arises a problem that the pitch change becomes unnatural.
In addition, some users may desire not only to change the pitch of the synthesized speech by specifying the type of tone, but also to freely change the pitch of the synthesized speech.

本発明は、以上説明した事情を鑑みてなされたものであり、その第1の目的は自然なピッチ変化を実現するためのピッチパターン生成技術を提供することにあり、その第2の目的はユーザが意図するピッチ変化を実現するためのピッチパターン生成技術を提供することにある。   The present invention has been made in view of the circumstances described above, and a first object thereof is to provide a pitch pattern generation technique for realizing a natural pitch change, and a second object thereof is a user. Is to provide a pitch pattern generation technique for realizing the intended pitch change.

上述した問題を解決するため、本発明に係るピッチパターン生成装置は、入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、記テキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得手段と、声調番号と標準ピッチ変化パターンと該標準ピッチ変化パターンを変形した変形ピッチ変化パターンとを対応付けて記憶する記憶手段と、取得された音節の声調情報から前記声調番号を特定し、かつ、該音節に先行する音節の声調情報若しくは後続する音節の声調情報から前記声調番号に対応する前記標準ピッチ変化パターン若しくは前記変形ピッチ変化パターンのいずれかを選択する選択手段と、選択されたいずれかのピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段とを具備することを特徴とする。   In order to solve the above-described problem, the pitch pattern generation device according to the present invention generates a pitch pattern representing a temporal change in the pitch of the synthesized speech corresponding to the text information based on the input text information. An acquisition means for acquiring, for each syllable, pitch designation information representing a reference pitch and tone information representing a type of tone from the written text information, a tone number, a standard pitch change pattern, and the standard pitch change pattern Storage means for associating and storing a deformed pitch change pattern obtained by transforming, and identifying the tone number from the acquired tone information of the syllable, and the tone information of the syllable preceding or following the syllable From the information, select either the standard pitch change pattern or the modified pitch change pattern corresponding to the tone number Selection means, based on the pitch designation information of syllable obtained with any pitch variation patterns selected, characterized by comprising a generating means for generating a pitch pattern of the sound section.

かかる構成によれば、取得された音節の声調情報(例えば、「第3声」等)から声調番号が特定され、かつ、この音節に先行する音節の声調情報若しくはこの音節に後続する音節の声調情報から該声調番号に対応する標準ピッチ変化パターン(例えば、「第3声」の標準的なピッチ変化パターン)若しくはこの標準ピッチ変化パターンを変形した変形ピッチ変化パターンのいずれかが選択される(図8及び図9参照)。このように、当該音節の声調のみならず、前後の音節の声調を考慮したピッチ変化パターンが選択されるため、当該音節の声調のみを考慮してピッチ変化パターンが選択される場合と比較して、より自然なピッチ変化を得ることが可能となる。   According to this configuration, the tone number is specified from the acquired tone information (for example, “third voice”) of the syllable, and the tone information of the syllable preceding the syllable or the tone of the syllable following the syllable is included. From the information, either a standard pitch change pattern corresponding to the tone number (for example, a standard pitch change pattern of “third voice”) or a modified pitch change pattern obtained by modifying this standard pitch change pattern is selected (see FIG. 8 and FIG. 9). In this way, since the pitch change pattern considering not only the tone of the syllable but also the tone of the preceding and following syllables is selected, compared to the case where the pitch change pattern is selected only considering the tone of the syllable. It becomes possible to obtain a more natural pitch change.

また、本発明に係るピッチパターン生成装置は、入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得手段と、声調番号と標準ピッチ変化パターンとを対応付けて記憶する記憶手段と、取得された音節の声調情報から前記声調番号を特定し、該声調番号に対応する標準ピッチ変化パターンを抽出し、抽出した標準ピッチ変化パターンを該音節に先行する音節の声調情報若しくは後続する音節の声調情報に基づいて変形することにより変形ピッチ変化パターンを生成する生成手段と、生成された前記変形ピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段とを具備することを特徴とする。   Further, the pitch pattern generation device according to the present invention is a device that generates a pitch pattern representing a temporal change in the pitch of the synthesized speech corresponding to the text information based on the input text information, Acquisition means for acquiring pitch designation information representing a reference pitch and tone information representing a tone type for each syllable from text information, storage means for storing a tone number and a standard pitch change pattern in association with each other, and acquisition Identifying the tone number from the tone information of the syllable extracted, extracting a standard pitch change pattern corresponding to the tone number, and using the extracted standard pitch change pattern as the tone information of the syllable preceding the syllable or the tone of the subsequent syllable Generating means for generating a deformation pitch change pattern by deforming based on information, and the generated deformation pitch change pattern Based on the pitch designation information ting acquired syllables, characterized by comprising a generating means for generating a pitch pattern of the sound section.

また、本発明に係るピッチパターン生成装置は、入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報を音節毎に取得する取得手段と、前記各音節にアクセント情報が含まれているか否かを検出する検出手段と、アクセント記号とピッチ変化パターンとを対応づけて記憶する記憶手段と、前記アクセント情報が検出された音節について、該アクセント情報から前記アクセント記号を特定し、該アクセント記号に対応するピッチ変化パターンを選択する選択手段と、選択された前記ピッチ変化パターンと前記アクセント情報が検出された音節の前記ピッチ情報とに基づいて、該音節のピッチパターンを生成する生成手段とを具備することを特徴とする。   Further, the pitch pattern generation device according to the present invention is a device that generates a pitch pattern representing a temporal change in the pitch of the synthesized speech corresponding to the text information based on the input text information, An acquisition means for acquiring pitch designation information representing a reference pitch for each syllable from text information, a detection means for detecting whether or not each syllable contains accent information, an accent symbol, and a pitch change pattern Storage means for associating, and for the syllable in which the accent information is detected, the accent symbol is identified from the accent information, and a selection means for selecting a pitch change pattern corresponding to the accent symbol is selected. Based on the pitch change pattern and the pitch information of the syllable from which the accent information is detected, the sound Characterized by comprising a generating means for generating a pitch pattern.

かかる構成によれば、アクセント情報が検出された音節については、該アクセント情報からアクセント記号が特定され、特定されたアクセント記号に対応するピッチ変化パターンが選択される(図11及び図12参照)。このように、アクセント情報の内容が反映されたピッチ変化パターンが選択等されるため、パターン化された声調では表現できないピッチ変化やユーザが所望するピッチ変化を得ることが可能となる。   According to such a configuration, for a syllable from which accent information is detected, an accent symbol is specified from the accent information, and a pitch change pattern corresponding to the specified accent symbol is selected (see FIGS. 11 and 12). As described above, since the pitch change pattern reflecting the contents of the accent information is selected, it is possible to obtain a pitch change that cannot be expressed by the patterned tone and a pitch change desired by the user.

また、本発明に係るピッチパターン生成装置は、入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報を音節毎に取得する第1取得手段と、前記各音節にアクセント情報が含まれているか否かを検出する検出手段と、前記テキスト情報から、前記アクセント情報が検出されなかった音節について声調の種類をあらわす声調情報を取得する第2取得手段と、アクセント記号とピッチ変化パターンとを対応づけて記憶する第1記憶手段と、声調番号とピッチ変化パターンとを対応づけて記憶する第2記憶手段と、前記アクセント情報が検出された音節について、該アクセント情報から前記アクセント記号を特定し、該アクセント記号に対応するピッチ変化パターンを選択する第1選択手段と、前記声調情報が取得された音節について、取得された音節の声調情報から前記声調番号を特定し、該声調番号に対応するピッチ変化パターンを選択する第2選択手段と、前記第1選択手段によって選択されたピッチ変化パターンと前記アクセント情報が検出された音節の前記ピッチ情報とに基づいて、該音節のピッチパターンを生成する第1生成手段と、前記第2選択手段によって選択されたピッチ変化パターンと前記声調情報が取得された音節の前記ピッチ情報とに基づいて、該音節のピッチパターンを生成する第2生成手段とを具備することを特徴とする。   Further, the pitch pattern generation device according to the present invention is a device that generates a pitch pattern representing a temporal change in the pitch of the synthesized speech corresponding to the text information based on the input text information, From the text information, a first acquisition unit that acquires pitch designation information representing a reference pitch for each syllable, a detection unit that detects whether or not each syllable includes accent information, and the text information, Second acquisition means for acquiring tone information representing the type of tone for the syllable for which accent information has not been detected; first storage means for storing an accent symbol and a pitch change pattern in association with each other; tone number and pitch change Second storage means for storing a pattern in association with the syllable in which the accent information is detected; A first selection means for specifying the accent symbol and selecting a pitch change pattern corresponding to the accent symbol; and for the syllable from which the tone information is acquired, the tone number is specified from the tone information of the acquired syllable; Based on the second selection means for selecting a pitch change pattern corresponding to the tone number, the pitch change pattern selected by the first selection means, and the pitch information of the syllable from which the accent information is detected, the syllable A pitch pattern of the syllable is generated on the basis of the pitch change pattern selected by the second selection unit and the pitch information of the syllable from which the tone information is acquired. And second generation means.

以上説明したように、本発明によれば、自然なピッチ変化やユーザが意図するピッチ変化を実現することが可能となる。   As described above, according to the present invention, a natural pitch change or a pitch change intended by the user can be realized.

以下、本発明に係る実施の形態について図面を参照しながら説明する。
A.本実施形態
図1は、本実施形態に係る中国語に対応した音声合成装置100の機能構成を示す図である。本実施形態では、携帯電話やPHS(Personal Handyphone System:登録商標)、PDA(Personal Digital Assistance)などハードウェア資源に大きな制約が課される携帯端末に実装される場合を想定するが、これに限らず様々な電子機器に適用可能である。
Embodiments according to the present invention will be described below with reference to the drawings.
A. First Embodiment FIG. 1 is a diagram showing a functional configuration of a speech synthesizer 100 corresponding to Chinese according to the present embodiment. In the present embodiment, it is assumed that the device is mounted on a mobile terminal in which hardware resources are greatly restricted, such as a mobile phone, a PHS (Personal Handyphone System: registered trademark), and a PDA (Personal Digital Assistance). It can be applied to various electronic devices.

入力部210は、図示せぬ操作部等から入力されるテキスト情報をテキスト解析部220に供給する。図2及び図3は、四声付きピンイン入力方法を用いて入力されるテキスト情報を例示した図である。
テキスト情報は、第1類テキスト情報(図2参照)と第2類テキスト情報(図3参照)とに大別され、各テキスト情報には合成音声のピッチ(例えば200(Hz)等)を指定するピッチ指定情報(図示略)等が含まれている。
第1類テキスト情報は、後述するアクセント記号を含まないテキスト情報であり、ピンインに声調情報が付加されたものや(以下、「声調付ピンイン情報」と総称する;図2のA参照)、これに長音記号がさらに付加されたもの(以下、「声調・長音付ピンイン情報」と総称する;図2のB参照)等から構成されている。
The input unit 210 supplies text information input from an operation unit (not shown) to the text analysis unit 220. 2 and 3 are diagrams illustrating text information input using the four-voice pinyin input method.
Text information is broadly classified into first type text information (see FIG. 2) and second type text information (see FIG. 3), and the pitch of synthesized speech (for example, 200 (Hz)) is designated for each text information. Pitch designation information (not shown) and the like to be included.
The first type text information is text information that does not include an accent mark, which will be described later, and is obtained by adding tone information to pinyin (hereinafter collectively referred to as “pinned information with voice tone”; see FIG. 2A). Are further added with a long sound symbol (hereinafter collectively referred to as “pinned-in information with tone and long sound”; see B in FIG. 2)).

例えば、図2のAに示すテキスト情報「xiang1gang3(=香港)」は、声調付ピンイン情報「xiang1(=香)」と「gang3(=港)」から構成された2音節のテキスト情報であり、図2のBに示すテキスト情報「chao1(=超)−−ren2(=仁)」は、声調・長音付ピンイン情報「chao1(=超)−−」と声調付ピンイン情報「ren2(=仁)」から構成された2音節のテキスト情報である。
なお、長音記号「−」は、該長音記号が存在する音節(図2のBでは「chao1」)を所定長さだけ伸ばすことを意味し、連続する長音記号の数が多ければ多いほど、該音節の発音時間は長くなる。
For example, the text information “xiang1gang3 (= Hong Kong)” shown in FIG. 2A is two-syllable text information composed of pinyin information “xiang1 (= incense)” and “gang3 (= port)” with voice tone, The text information “chao1 (= super)-ren2 (= nin)” shown in FIG. 2B includes the pinyin information “chao1 (= super)-” with tone and long sound and the pinyin information “ren2 (= nin) with tone. 2 syllable text information.
Note that the long clef symbol “-” means that the syllable in which the long clef symbol exists (“chao1” in FIG. 2B) is extended by a predetermined length. The greater the number of consecutive long clef symbols, Syllable pronunciation time increases.

一方、第2類テキスト情報は、アクセント情報を含むテキスト情報である。アクセント情報は、対応する音節に抑揚をつけるための情報であり、「'」、「_」などのアクセント記号や、このアクセント記号の後に付加される抑揚の強さをあらわす「3」、「2」などのアクセント強度によって構成されている(図3参照)。   On the other hand, the second type text information is text information including accent information. Accent information is information for adding inflections to the corresponding syllables. Accent symbols such as “'” and “_” and “3” and “2” indicating the strength of the inflection added after this accent symbol. ”Or the like (see FIG. 3).

例えば、図3のAに示すテキスト情報「'2 ye3」は、声調付ピンイン情報「ye3(=也)」にアクセント情報「'2」を付加した1音節のテキスト情報であり、図3のBに示すテキスト情報「'3 a1 _2 −−'4−」は、声調・長音付ピンイン情報「a1(=阿)−−−」に、アクセント情報「'3」、「_2」、「'4」を付加したテキスト情報である(図4参照)。なお、アクセント情報に関する詳細は後述するためここでは説明を割愛する。   For example, the text information “'2 ye3” shown in FIG. 3A is text information of one syllable in which accent information “' 2” is added to pinyin information “ye3 (= ya)” with voice tone, and B in FIG. The text information “'3 a1 _2 −− ′ 4−” shown in FIG. 4 is accented with “' 3”, “_2”, and “'4” in the pinyin information “a1 (= A) −−−” with tone and long sound. (See FIG. 4). Note that details regarding the accent information will be described later, and a description thereof will be omitted here.

テキスト解析部220は、入力部210から供給されるテキスト情報を解析し、解析結果をピッチ生成部230、音声信号生成部240にそれぞれ供給する。詳述すると、テキスト解析部(取得手段、第1取得手段)220は、入力部210からテキスト情報を受け取ると、このテキスト情報を音節毎に分割して解析することにより、音節毎の基準となるピッチ(例えば200(Hz)等)をあらわすピッチ指定情報、音韻をあらわす音韻情報、音の大きさや音の長さをあらわす韻律情報を取得する。そして、テキスト解析部220は、分割した音節毎のテキスト情報をテキスト情報種類判断部231に供給すると共に、取得した音節毎のピッチ指定情報をピッチパターン生成部236へ供給し、さらに取得した音節毎の音韻情報及び韻律情報を音声信号生成部240へ供給する。   The text analysis unit 220 analyzes the text information supplied from the input unit 210 and supplies the analysis result to the pitch generation unit 230 and the audio signal generation unit 240, respectively. More specifically, when the text analysis unit (acquisition unit, first acquisition unit) 220 receives text information from the input unit 210, the text analysis unit divides the text information for each syllable and analyzes it, thereby providing a reference for each syllable. Pitch designation information representing a pitch (for example, 200 (Hz)), phonological information representing a phoneme, and prosodic information representing a volume and length of a sound are acquired. Then, the text analysis unit 220 supplies the text information for each divided syllable to the text information type determination unit 231, supplies the acquired pitch designation information for each syllable to the pitch pattern generation unit 236, and further acquires each acquired syllable for each syllable. The phoneme information and the prosody information are supplied to the voice signal generation unit 240.

テキスト情報種類判断部(検出手段)231は、テキスト解析部220から供給される音韻毎のテキスト情報が第1類テキスト情報であるか、第2類テキスト情報であるかを判断する。テキスト情報種類判断部231は、該テキスト情報にアクセント情報が含まれていない場合には第1類テキスト情報であると判断する一方、該テキスト情報にアクセント情報が含まれている場合には第2類テキスト情報であると判断する。テキスト情報種類判断部231は、かかる判断結果に基づき、第1類テキスト情報を声調情報取得部231aへ供給する一方、第2類テキスト情報をアクセント情報取得部231bへ供給する。このように、本実施形態では、1つの音節にアクセント情報が含まれていれば、該音節に声調情報が含まれるかどうかを問わずアクセント情報を優先し、該アクセント情報に基づく処理を実行するが、音節に含まれるアクセント情報を優先するか若しくは声調情報を優先するかは、音声合成装置100の設計等に応じて適宜変更可能である。   The text information type determination unit (detection unit) 231 determines whether the text information for each phoneme supplied from the text analysis unit 220 is first type text information or second type text information. The text information type determination unit 231 determines that the text information is the first type text information when the text information does not include accent information, while the text information type determination unit 231 determines the second information when the text information includes accent information. It is determined that the text information is similar. Based on the determination result, the text information type determination unit 231 supplies the first type text information to the tone information acquisition unit 231a, and supplies the second type text information to the accent information acquisition unit 231b. As described above, in the present embodiment, if accent information is included in one syllable, the accent information is given priority regardless of whether or not tone information is included in the syllable, and processing based on the accent information is executed. However, whether priority is given to the accent information included in the syllable or the tone information can be appropriately changed according to the design of the speech synthesizer 100 or the like.

声調情報取得部(取得手段、第2取得手段)231aは、第1類テキスト情報から音節毎の声調情報を取得し、声調・ピッチ変化パターン生成部234aへ供給する。
一方、アクセント情報取得部231bは、第2類テキスト情報から音節毎のアクセント情報を取得し、アクセント・ピッチ変化パターン生成部234bへ供給する。
The tone information acquisition unit (acquisition unit, second acquisition unit) 231a acquires tone information for each syllable from the first type text information and supplies it to the tone / pitch change pattern generation unit 234a.
On the other hand, the accent information acquisition unit 231b acquires accent information for each syllable from the second type text information and supplies it to the accent / pitch change pattern generation unit 234b.

<声調・ピッチ変化パターン生成部234a>
声調・ピッチ変化パターン生成部234aは、声調・ピッチ変化パターン選択部(選択手段)232aと声調・ピッチ変化パターンテーブル(記憶手段)233aとにより構成されている。
図5は、声調・ピッチ変化パターンテーブル233aの登録内容を例示した図である。声調・ピッチ変化パターンテーブル(記憶手段、第2記憶手段)233aには、各声調(第1声〜第4声)を特定するための声調番号とピッチ変化パターンとがそれぞれ対応付けて登録されている。ピッチ変化パターンは、時間的なピッチの変化をあらわすものであり、各声調の標準的なピッチ変化をあらわす標準ピッチ変化パターンと(図8及び図9に示す実線部分参照)、対応する標準ピッチ変化パターンを変形した変形ピッチ変化パターンとにより構成されている(図8及び図9に示す破線部分参照)。
<Tone / Pitch Change Pattern Generation Unit 234a>
The tone / pitch change pattern generation unit 234a includes a tone / pitch change pattern selection unit (selection unit) 232a and a tone / pitch change pattern table (storage unit) 233a.
FIG. 5 is a diagram exemplifying registered contents of the tone / pitch change pattern table 233a. In the tone / pitch change pattern table (storage means, second storage means) 233a, tone numbers for specifying each tone (first to fourth voices) and pitch change patterns are registered in association with each other. Yes. The pitch change pattern represents a change in pitch over time, and a standard pitch change pattern showing a standard pitch change of each tone (see the solid line portion shown in FIGS. 8 and 9) and a corresponding standard pitch change. It is comprised by the deformation | transformation pitch change pattern which deform | transformed the pattern (refer the broken-line part shown to FIG.8 and FIG.9).

この変形ピッチ変化パターンは、先行若しくは後続する音節の声調情報と当該音節の声調情報との関係に基づいて生成されるピッチ変化パターンであり、図8に示す変形ピッチ変化パターンは、第3声以外の声調を持つ音節が後続する場合の第3声のピッチ変化をあらわし、図9に示す変形ピッチ変化パターンは、第1声の声調を持つ音節が先行する場合の第2声のピッチ変化をあらわしている(詳細は後述)。なお、以下の説明では、先行する音節の声調情報と当該音節の声調情報との関係に基づいて生成されるピッチ変化パターンを先行型変形ピッチ変化パターンと呼び、後続する音節の声調情報と当該音節の声調情報との関係に基づいて生成されるピッチ変化パターンを後続型変形ピッチ変化パターンと呼ぶ。   This modified pitch change pattern is a pitch change pattern generated based on the relationship between the tone information of the preceding or succeeding syllable and the tone information of the syllable, and the modified pitch change pattern shown in FIG. 8 is other than the third voice. 9 represents the pitch change of the third voice when the syllable having the following tone is followed, and the modified pitch change pattern shown in FIG. 9 represents the pitch change of the second voice when the syllable having the first tone is preceded. (Details will be described later). In the following description, the pitch change pattern generated based on the relationship between the tone information of the preceding syllable and the tone information of the syllable is referred to as the preceding modified pitch change pattern, and the tone information of the succeeding syllable and the syllable A pitch change pattern generated on the basis of the relationship with the tone information is called a subsequent deformation pitch change pattern.

図6は、声調・ピッチ変化パターンテーブル233aに登録されている各ピッチ変化パターンの構成を例示した図である。
ピッチ変化パターンは、ピッチ変化を与える時間をn分割した場合における各タイミングt1〜tnと、これらに対応する各ピッチ変化量p1〜pnとによって構成されている。なお、図6では、ピッチ変化を与える時間を101(=n)等分し、このときの各タイミングt1=0、・・・、t31=30、・・・t101=100と、これらに対応する各ピッチ変化量p1=10、・・・、p31=−10、・・・、p101=30とを例示している。
FIG. 6 is a diagram illustrating the configuration of each pitch change pattern registered in the tone / pitch change pattern table 233a.
The pitch change pattern is composed of timings t1 to tn when the time for giving a pitch change is divided into n and corresponding pitch change amounts p1 to pn. In FIG. 6, the time for applying the pitch change is divided into 101 (= n) equal parts, and the timings t1 = 0,..., T31 = 30,. .., P31 = −10,..., P101 = 30.

図7は、図6に示す各タイミングにおける各ピッチ変化量を直線補間等して得られるピッチ変化パターンを例示した図である。図6及び図7から明らかなように、本実施形態では、ピッチ変化を与える時間を等分して上記タイミングを表現しているため、ピッチ変化を与える時間の伸縮を問わず、同様なピッチ変化を与えることができる。なお、上記例では、ピッチ変化を与える時間を等分割した場合を例示したが、等分割に限る趣旨ではなく、上記直線補間等によってピッチ変化パターンが得られるのであれば、どのような分割態様であっても良い。また、ピッチ変化パターンは固定的なものでも良いが、ユーザが自由に定義・変更できるものでも良い。   FIG. 7 is a diagram illustrating a pitch change pattern obtained by linear interpolation or the like for each pitch change amount at each timing shown in FIG. As is apparent from FIGS. 6 and 7, in the present embodiment, the above timing is expressed by equally dividing the time for applying the pitch change. Can be given. In the above example, the case in which the time for giving the pitch change is equally divided is illustrated. However, the purpose is not limited to the equal division. There may be. The pitch change pattern may be fixed, but may be one that can be freely defined and changed by the user.

図8は、第3声のピッチ変化パターンを例示した図であり、図9は、第2声のピッチ変化パターンを例示した図である。
第3声の標準ピッチ変化パターンは、いったんピッチが下がってからまた上がるような変化をあらわし(図8に示す実線部分参照)、一方、第3声の後続型変形ピッチ変化パターンは、ピッチが下がったまま維持されるような変化をあらわす(図8に示す破線部分参照)。この第3声の後続型変形ピッチ変化パターンを設けることで、第3声の音節の後に他の声調を持つ音節が続く場合であっても、自然なピッチ変化を得ることが可能となる。
FIG. 8 is a diagram illustrating the pitch change pattern of the third voice, and FIG. 9 is a diagram illustrating the pitch change pattern of the second voice.
The standard pitch change pattern of the 3rd voice shows a change that once rises and then rises again (see the solid line portion shown in FIG. 8), while the subsequent modified pitch change pattern of the 3rd voice has a lower pitch. This represents a change that is maintained as it is (see the broken line portion shown in FIG. 8). By providing this third type of subsequent modified pitch change pattern, it is possible to obtain a natural pitch change even when a syllable having another tone follows the syllable of the third voice.

声調・ピッチ変化パターン選択部(選択手段、第2選択手段)232aは、声調情報取得部231aから当該音節の声調情報を受け取ると、この声調情報から声調番号を特定する。声調・ピッチ変化パターン選択部232aは、特定した声調番号が「第3声」であると判断すると、これに後続する音節の声調情報を参照し、後続する音節が「第3声」の声調を持つ音節であるか否かを判断する。声調・ピッチ変化パターン選択部232aは、この判断結果に基づいて第3声の標準ピッチ変化パターン若しくは第3声の後続型変形ピッチ変化パターンのいずれかを選択する。   When the tone / pitch change pattern selection unit (selection unit, second selection unit) 232a receives the tone information of the syllable from the tone information acquisition unit 231a, it specifies the tone number from the tone information. When the tone / pitch change pattern selection unit 232a determines that the specified tone number is “third voice”, the tone information of the subsequent syllable is referred to, and the subsequent syllable changes the tone of “third voice”. It is determined whether or not the syllable has. The tone / pitch change pattern selection unit 232a selects either the standard pitch change pattern of the third voice or the subsequent modified pitch change pattern of the third voice based on the determination result.

例えば、音節「wu3(=五)」や「xiang1 gang3(=香港)」の中の音節「gang3(=港)」については、声調・ピッチ変化パターン選択部232aによって第3声の標準ピッチ変化パターンが選択される一方、「lu3 xing2(=旅行)」の中の音節「lu3(=旅)」や「bei3 jing1(=北京)」の中の音節「bei3(=北)」については、声調・ピッチ変化パターン選択部232aによって第3声の後続型変形ピッチ変化パターンが選択される。   For example, for the syllable “gang3 (= port)” in the syllable “wu3 (= 5)” and “xiang1 gang3 (= Hong Kong)”, the standard pitch change pattern of the third voice is selected by the tone / pitch change pattern selection unit 232a. On the other hand, the syllable “lu3 (= travel)” in “lu3 xing2 (= travel)” and the syllable “bei3 (= north)” in “bei3 jing1 (= Beijing)” The succeeding type modified pitch change pattern of the third voice is selected by the pitch change pattern selection unit 232a.

一方、第2声の標準ピッチ変化パターンは、図9に示すようにピッチが低い位置PS0から上がるような変化をあらわすパターンであるのに対し(図9に示す実線部分参照)、第2声の先行型変形ピッチ変化パターンは、ピッチが位置PS0よりも高い位置PS1から上がるような変化をあらわすパターンである(図9に示す破線部分参照)。この第2声の先行型変形ピッチ変化パターンを設けることで、高い音である第1声の声調を持つ音節が先行する場合であっても、通常(すなわち第1声の声調を持つ音節が先行しない場合)よりも高い位置から変化を開始させることで自然なピッチ変化を得ることが可能となる。   On the other hand, the standard pitch change pattern of the second voice is a pattern that shows a change in which the pitch rises from a low position PS0 as shown in FIG. 9 (see the solid line portion shown in FIG. 9), whereas the second voice has a standard pitch change pattern. The preceding deformation pitch change pattern is a pattern representing a change in which the pitch rises from a position PS1 higher than the position PS0 (see the broken line portion shown in FIG. 9). By providing this second-type advanced pitch change pattern of the second voice, even if a syllable having the tone of the first voice, which is a high sound, precedes the normal (that is, a syllable having the tone of the first voice) It is possible to obtain a natural pitch change by starting the change from a position higher than (if not).

なお、声調毎に先行型変形ピッチ変化パターン若しくは後続型変形ピッチ変化パターンのいずれかを設けるのではなく(図8及び図9参照)、声調毎に先行型変形ピッチ変化パターン及び後続型変形ピッチ変化パターンの両者を設けても良い。また、声調情報を参照する音節は、上述の如く1つ前若しくは1つ後の音節に限らず、2つ前や6つ後の音節等であっても良い。また、これらを適宜組み合わせた複数の音節の各声調情報を参照しても良い。   It should be noted that either the preceding deformation pitch change pattern or the subsequent deformation pitch change pattern is not provided for each tone (see FIGS. 8 and 9), but the preceding deformation pitch change pattern and the subsequent deformation pitch change for each tone. Both of the patterns may be provided. In addition, the syllable referring to the tone information is not limited to the preceding or succeeding syllable as described above, but may be the syllable two or six before. Moreover, you may refer to each tone information of a plurality of syllables combining these appropriately.

声調・ピッチ変化パターン選択部(選択手段、第2選択手段)232aは、声調情報取得部231aから当該音節の声調情報を受け取ると、この声調情報から声調番号を特定する。声調・ピッチ変化パターン選択部232aは、特定した声調番号が「第2声」であると判断すると、これに先行する音節の声調情報を参照し、先行する音節が「第1声」の声調を持つ音節であるか否かを判断する。声調・ピッチ変化パターン選択部232aは、この判断結果に基づいて第2声の標準ピッチ変化パターン若しくは第2声の先行型変形ピッチ変化パターンのいずれかを選択する。   When the tone / pitch change pattern selection unit (selection unit, second selection unit) 232a receives the tone information of the syllable from the tone information acquisition unit 231a, it specifies the tone number from the tone information. When the tone / pitch change pattern selection unit 232a determines that the specified tone number is “second voice”, it refers to the tone information of the preceding syllable, and the preceding syllable changes the tone of “first voice”. It is determined whether or not the syllable has. The tone / pitch change pattern selection unit 232a selects either the standard pitch change pattern of the second voice or the preceding modified pitch change pattern of the second voice based on the determination result.

例えば、「lu3 xing2(=旅行)」の中の音節「「xing2(=行)」や「nei4 rong2(=内容)」の中の音節「rong2(=容)」については、声調・ピッチ変化パターン選択部232aによって第2声の標準ピッチ変化パターンが選択される一方、「an1 quan2(=安全)」の中の音節「quan2(=全)」や「zhong1 wen2(=中文)」の中の音節「wen2(=文)」については、声調・ピッチ変化パターン選択部232aによって第2声の先行型変形ピッチ変化パターンが選択される。
なお、当該音節の声調が「第1声」である場合や「第4声」である場合の動作については、上記とほぼ同様に説明することができるため、割愛する。
For example, the syllable “xing2 (= line)” in “lu3 xing2 (= travel)” and the syllable “rong2 (= content)” in “nei4 rong2 (= content)” have a tone / pitch change pattern. While the standard pitch change pattern of the second voice is selected by the selection unit 232a, the syllables in the syllables “quan2 (= all)” and “zhong1 wen2 (= 中文)” in “an1 quan2 (= safe)” For “wen2 (= sentence)”, the tone / pitch change pattern selection unit 232a selects the preceding modified pitch change pattern of the second voice.
The operation when the tone of the syllable is “first voice” or “fourth voice” can be described in substantially the same manner as described above, and is therefore omitted.

声調・ピッチ変化パターン選択部232aは、声調・ピッチ変化パターンテーブル233aから声調情報に適合するピッチ変化パターンを選択すると、これをピッチパターン生成部236に供給する。   When the tone / pitch change pattern selection unit 232a selects a pitch change pattern that matches the tone information from the tone / pitch change pattern table 233a, the tone / pitch change pattern selection unit 232a supplies the selected pitch change pattern to the pitch pattern generation unit 236.

<アクセント・ピッチ変化パターン生成部234b>
アクセント・ピッチ変化パターン生成部234bは、アクセント・ピッチ変化パターン選択部232bとアクセント・ピッチ変化パターンテーブル233bとにより構成されている。
図10は、アクセント・ピッチ変化パターンテーブル233bの登録内容を例示した図である。
アクセント・ピッチ変化パターンテーブル(記憶手段、第1記憶手段)233bには、アクセント記号とピッチ変化パターンとがそれぞれ対応付けて登録されている。図11は、アクセント記号「'」のピッチ変化パターンを例示した図であり、図12は、アクセント記号「_」のピッチ変化パターンを例示した図である。
<Accent / Pitch Change Pattern Generation Unit 234b>
The accent / pitch change pattern generation unit 234b includes an accent / pitch change pattern selection unit 232b and an accent / pitch change pattern table 233b.
FIG. 10 is a diagram exemplifying registered contents of the accent / pitch change pattern table 233b.
In the accent / pitch change pattern table (storage means, first storage means) 233b, accent symbols and pitch change patterns are registered in association with each other. FIG. 11 is a diagram illustrating a pitch change pattern of the accent symbol “′”, and FIG. 12 is a diagram illustrating a pitch change pattern of the accent symbol “_”.

図11、図12に示すように、アクセント記号「'」によって特定されるピッチ変化パターンは、ピッチが徐々に上がるような変化をあらわすパターンであるのに対し、アクセント記号「_」のピッチ変化パターンは、ピッチが徐々に下がるような変化をあらわすパターンである。なお、これらピッチ変化パターンについては、例えば関数情報(例えば、図11等に示す直線であれば傾きや切片等をあらわす情報)等としてアクセント・ピッチ変化パターンテーブル233bに登録しておけば良い。なお、ピッチ変化パターンは、直線的なものに限定されないのはもちろんである。   As shown in FIGS. 11 and 12, the pitch change pattern specified by the accent symbol “′” represents a change in which the pitch gradually increases, whereas the pitch change pattern of the accent symbol “_”. Is a pattern showing a change in which the pitch gradually decreases. These pitch change patterns may be registered in the accent / pitch change pattern table 233b, for example, as function information (for example, information representing an inclination, an intercept, etc. in the case of a straight line shown in FIG. 11). Needless to say, the pitch change pattern is not limited to a linear pattern.

アクセント・ピッチ変化パターン選択部(選択手段、第1選択手段)232bは、アクセント情報取得部231bからアクセント情報を受け取ると、該アクセント情報からアクセント・ピッチ変化パターンテーブル233bに登録されているアクセント記号を特定し、該アクセント記号に対応するピッチ変化パターンを選択する。そして、アクセント・ピッチ変化パターン選択部232bは、アクセント情報に示されるアクセント強度に従ってピッチ変化パターンに示されるピッチ変化量(図11及び図12に示すピッチ変化パターンであれば直線の傾き)を変更し、さらに、ピッチ変化を与える時間に応じてタイミングを変更する(詳細は以下参照)。   When the accent / pitch change pattern selection unit (selection unit, first selection unit) 232b receives the accent information from the accent information acquisition unit 231b, the accent / pitch change pattern selection unit 232b selects an accent symbol registered in the accent / pitch change pattern table 233b from the accent information. The pitch change pattern corresponding to the accent symbol is selected. Then, the accent / pitch change pattern selection unit 232b changes the pitch change amount indicated by the pitch change pattern (in the case of the pitch change patterns shown in FIGS. 11 and 12, the slope of the straight line) according to the accent intensity indicated by the accent information. Further, the timing is changed in accordance with the time for giving the pitch change (see below for details).

図13は、「'3 a1 _2 −−'4−」といった1音節のテキスト情報(図3のB等参照)が入力された場合のピッチ変化パターンを例示した図である。なお、図13では、説明の便宜上、ピッチ変化を与える時間を100としたときのピッチ変化パターンを例示している。
図13に示すように、ピッチ変化を与える時間は「a1」、「−」、「−」、「−」によって4等分され、「a1」に付加されたアクセント情報「'3」によってピッチ変化ch1が得られ、これに続く第1番目及び第3番目の長音記号「−」に付加されたアクセント情報「_2」及び「'4」によってそれぞれピッチ変化ch2、ch4が得られる。ただし、第2番目の長音記号「−」にはアクセント情報が付加されていないため、ピッチが一定値に維持されたままのピッチ変化ch3となる。
FIG. 13 is a diagram exemplifying a pitch change pattern when text information of one syllable such as “'3 a1 _2 ---' 4-” (see B in FIG. 3) is input. In FIG. 13, for convenience of explanation, a pitch change pattern is illustrated with the time for giving the pitch change being 100.
As shown in FIG. 13, the time to give the pitch change is divided into four equal parts by “a1”, “−”, “−”, “−”, and the pitch change is made by the accent information “'3” added to “a1”. ch1 is obtained, and pitch changes ch2 and ch4 are obtained by the accent information “_2” and “′ 4” added to the first and third long sound symbols “−” following this, respectively. However, since accent information is not added to the second long sound symbol “-”, the pitch change ch3 is maintained with the pitch maintained at a constant value.

アクセント・ピッチ変化パターン選択部232bは、このようにしてアクセント・ピッチ変化パターンテーブル233bからアクセント情報に適合するピッチ変化パターンを選択・変更等すると、これをピッチパターン生成部236に供給してゆく。
ピッチパターン生成部(生成手段、第1生成手段、第2生成手段)236は、声調・ピッチ変化パターン生成部234a若しくはアクセント・ピッチ変化パターン生成部234bから出力されるピッチ変化パターンと、テキスト解析部220から供給されるピッチ変化パターンを抽出した音節のピッチ指定情報とに基づいて、基準とする指定ピッチにピッチ変化パターンを加えることで、例えば図14に示すようなピッチパターンを生成する。
The accent / pitch change pattern selection unit 232b supplies the pitch pattern generation unit 236 with the selection / change of the pitch change pattern suitable for the accent information from the accent / pitch change pattern table 233b.
The pitch pattern generation unit (generation unit, first generation unit, second generation unit) 236 includes a pitch change pattern output from the tone / pitch change pattern generation unit 234a or the accent / pitch change pattern generation unit 234b, and a text analysis unit. For example, a pitch pattern as shown in FIG. 14 is generated by adding the pitch change pattern to the reference designated pitch based on the pitch designation information extracted from the pitch change pattern supplied from 220.

音声信号生成部240は、ピッチパターン生成部236から供給されるピッチパターンとテキスト解析部220から供給される音韻情報及び韻律情報とに基づいて合成音声信号を生成する。この結果、上記の如く生成されたピッチパターンに基づく合成音声がスピーカ(図示略)等を介して外部に出力される。   The speech signal generation unit 240 generates a synthesized speech signal based on the pitch pattern supplied from the pitch pattern generation unit 236 and the phoneme information and prosodic information supplied from the text analysis unit 220. As a result, synthesized speech based on the pitch pattern generated as described above is output to the outside via a speaker (not shown) or the like.

以上説明したように、本実施形態に係る音声合成装置によれば、当該音節の声調のみならず、前後の音節の声調を考慮したピッチ変化パターンが選択される。これにより、当該音節の声調のみを考慮してピッチ変化パターンが選択される場合と比較して、より自然なピッチ変化を示す合成音声を得ることが可能となる。
また、入力されるテキスト情報にアクセント情報が含まれる場合には、このアクセント情報に示されるアクセント記号、アクセント強度を反映したピッチ変化パターンが生成される。これにより、パターン化された声調では表現できないピッチ変化やユーザが所望するピッチ変化を示す合成音声を得ることが可能となる。
As described above, according to the speech synthesizer according to the present embodiment, a pitch change pattern is selected in consideration of not only the tone of the syllable but also the tone of the preceding and following syllables. As a result, it is possible to obtain a synthesized speech showing a more natural pitch change as compared with the case where the pitch change pattern is selected considering only the tone of the syllable.
When the input text information includes accent information, a pitch change pattern reflecting the accent symbol and accent strength indicated in the accent information is generated. As a result, it is possible to obtain a synthesized speech indicating a pitch change that cannot be expressed by a patterned tone or a pitch change desired by the user.

B.変形例
<変形例1>
上述した本実施形態では、各音節の声調が4種類の特徴的なピッチ変化をもつ「四声」に分類される場合について説明したが、中国語(普通話)の音節の声調には、決まったピッチ変化をもたずに軽く発音される「軽声」と呼ばれるものも存在する。このような軽声については、例えば声調情報を付加せずピンインのみによって標記し(「xie4 xie(=謝謝)」等)、かかる軽声については先行する音節に係るピッチ変化パターンをそのまま維持するようにしても良い。なお、本実施形態では、中国語を想定していたが、タイ語やベトナム語など、声調を有するあらゆる言語に適用可能である。また、上記本実施形態では、ピンインによってテキスト情報を入力する場合について説明したが、漢字によってテキスト情報を入力しても良い。この場合、声調については、本実施形態と同様に声調情報等を用いて入力しても良く、また、各漢字と声調とを対応付けた漢字・声調テーブル等を予め用意し、この漢字・声調テーブルを参照することにより入力された漢字の声調を特定するようにしても良い。
B. Modification <Modification 1>
In the above-described embodiment, the case where the tone of each syllable is classified into “four voices” having four types of characteristic pitch changes has been described. However, the tone of the syllable of Chinese (normal speech) is determined. There is also a so-called “light voice” that is lightly pronounced without changing pitch. Such a light voice is marked only by pinyin without adding tone information (eg, “xie4 xie”), and the pitch change pattern related to the preceding syllable is maintained as it is for such a light voice. Anyway. In this embodiment, Chinese is assumed, but it can be applied to any language having a tone such as Thai and Vietnamese. Moreover, although the said embodiment demonstrated the case where text information was input by pinyin, you may input text information by a Chinese character. In this case, the tone may be input using tone information as in the present embodiment, and a kanji / tone table in which each kanji is associated with the tone is prepared in advance. You may make it identify the tone of the input Chinese character by referring to a table.

<変形例2>
図15は、変形例2に係る声調・ピッチ変化パターン生成部234a’の構成を示した図である。声調・ピッチ変化パターン生成部234a’は、変形ピッチ変化パターン生成部(生成手段)232a’と、声調・ピッチ変化パターンテーブル(記憶手段)233a’とにより構成されている。
声調・ピッチ変化パターンテーブル233a’には、各声調(第1声〜第4声)を特定するための声調番号と各声調の標準的なピッチ変化をあらわす標準ピッチ変化パターンとが対応づけて登録され、変形ピッチ変化パターンが対応付けて登録されていない点において図5に示す声調・ピッチ変化パターンテーブル233aと異なる。
<Modification 2>
FIG. 15 is a diagram illustrating a configuration of a tone / pitch change pattern generation unit 234a ′ according to the second modification. The tone / pitch change pattern generation unit 234a ′ includes a modified pitch change pattern generation unit (generation unit) 232a ′ and a tone / pitch change pattern table (storage unit) 233a ′.
In the tone / pitch change pattern table 233a ′, a tone number for identifying each tone (first to fourth voices) and a standard pitch change pattern representing a standard pitch change of each tone are registered in association with each other. However, it differs from the tone / pitch change pattern table 233a shown in FIG. 5 in that the modified pitch change patterns are not registered in association with each other.

一方、変形ピッチ変化パターン生成部(生成手段)232a’は、声調・ピッチ変化パターンテーブル233a’から抽出した標準ピッチ変化パターンを変形することにより、変形ピッチ変化パターン(図8及び図9の破線部分参照)を生成する。詳述すると、変形ピッチ変化パターン生成部232a’は、まず、声調情報取得部231aから供給される声調情報をもとに声調番号を特定する。そして、変形ピッチ変化パターン生成部232a’は、特定した声調番号に対応する標準ピッチ変化パターンを声調・ピッチ変化パターンテーブル233a’から抽出する。   On the other hand, the modified pitch change pattern generation unit (generation means) 232a ′ modifies the standard pitch change pattern extracted from the tone / pitch change pattern table 233a ′, thereby changing the modified pitch change pattern (the broken line portion in FIGS. 8 and 9). Reference). Specifically, the modified pitch change pattern generation unit 232a 'first specifies a tone number based on the tone information supplied from the tone information acquisition unit 231a. Then, the modified pitch change pattern generation unit 232a 'extracts the standard pitch change pattern corresponding to the specified tone number from the tone / pitch change pattern table 233a'.

変形ピッチ変化パターン生成部232a’は、標準ピッチ変化パターンを抽出すると、該音節に先行する音節の声調情報(若しくは後続する音節の声調情報)を参照し、変形ピッチ変化パターンを生成するか否かを決定する。なお、かかる決定に際しては、予め変形ピッチ変化パターンを生成する場合のルール(変形ルール)を登録したメモリ等を参照して決定すれば良い。変形ピッチ変化パターン生成部232a’は、変形ピッチ変化パターンを生成すべき決定を行うと、メモリ(図示略)等に格納された変形ルールを参照し、標準ピッチ変化パターンを適宜変形する。このようにして、変形ピッチ変化パターン生成部232a’は、図8や図9等に示す変形ピッチ変化パターンを生成し、これをピッチパターン生成部236に供給する。なお、変形ピッチ変化パターン生成部232a’が変形ピッチ変化パターンを生成した後の動作については、本実施形態と同様に説明することができるため、説明を割愛する。   When the modified pitch change pattern generation unit 232a ′ extracts the standard pitch change pattern, the modified pitch change pattern generation unit 232a ′ refers to the tone information of the syllable preceding the syllable (or the tone information of the subsequent syllable) and determines whether to generate the modified pitch change pattern. To decide. This determination may be made with reference to a memory or the like in which rules (deformation rules) for generating a deformation pitch change pattern are registered in advance. When the deformation pitch change pattern generation unit 232a 'determines to generate the deformation pitch change pattern, the deformation pitch change pattern generation unit 232a' refers to a deformation rule stored in a memory (not shown) or the like and appropriately deforms the standard pitch change pattern. In this manner, the modified pitch change pattern generation unit 232a ′ generates the modified pitch change pattern shown in FIGS. 8 and 9 and supplies it to the pitch pattern generation unit 236. Note that the operation after the deformation pitch change pattern generation unit 232a 'generates the deformation pitch change pattern can be described in the same manner as in this embodiment, and thus the description thereof is omitted.

<変形例3>
また、以上説明した音声合成装置100に係る諸機能は、CPU(或いはDSP)がROM等のメモリに格納されたプログラムを実行することによって実現されるため、かかるプログラムについてCD−ROM等の記録媒体に記録して頒布したり、インターネット等の通信ネットワークを介して頒布しても良い。
<Modification 3>
Further, since the various functions related to the speech synthesizer 100 described above are realized by the CPU (or DSP) executing a program stored in a memory such as a ROM, the recording medium such as a CD-ROM is used for the program. It may be recorded and distributed on the Internet or distributed via a communication network such as the Internet.

本実施形態に係る音声合成装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the speech synthesizer which concerns on this embodiment. 同実施形態に係る四声付きピンイン入力方法を用いて入力されるテキスト情報を例示した図である。It is the figure which illustrated the text information input using the pinyin input method with four voices concerning the embodiment. 同実施形態に係る四声付きピンイン入力方法を用いて入力されるテキスト情報を例示した図である。It is the figure which illustrated the text information input using the pinyin input method with four voices concerning the embodiment. 同実施形態に係るアクセント情報付与前後のテキスト情報を例示した図である。It is the figure which illustrated the text information before and after the accent information provision which concerns on the same embodiment. 同実施形態に係る声調・ピッチ変化パターンテーブルの登録内容を例示した図である。It is the figure which illustrated the registration content of the tone and pitch change pattern table which concerns on the same embodiment. 同実施形態に係るピッチ変化パターンの構成を示す図である。It is a figure which shows the structure of the pitch change pattern which concerns on the same embodiment. 同実施形態に係るピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern concerning the embodiment. 同実施形態に係る第3声のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of the 3rd voice concerning the embodiment. 同実施形態に係る第2声のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of the 2nd voice concerning the embodiment. 同実施形態に係るアクセント・ピッチ変化パターンテーブルを例示した図である。It is the figure which illustrated the accent and pitch change pattern table which concerns on the same embodiment. 同実施形態に係るアクセント記号のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of the accent symbol concerning the embodiment. 同実施形態に係るアクセント記号のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of the accent symbol concerning the embodiment. 同実施形態に係るアクセント記号列のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of the accent symbol string which concerns on the same embodiment. 同実施形態に係るピッチパターンを例示した図である。It is the figure which illustrated the pitch pattern concerning the embodiment. 変形例2に係る声調・ピッチパターン生成部の構成を例示した図である。It is the figure which illustrated the composition of the tone and pitch pattern generation part concerning modification 2. 中国語における各声調のピッチ変化パターンを例示した図である。It is the figure which illustrated the pitch change pattern of each tone in Chinese.

符号の説明Explanation of symbols

100・・・音声合成装置、210・・・入力部、220・・・テキスト解析部、230・・・ピッチ生成部、231・・・テキスト情報種類判断部、231a・・・声調情報取得部、231b・・・アクセント情報取得部、232a・・・声調・ピッチ変化パターン選択部、232a’・・・変形ピッチ変化パターン生成部、232b・・・アクセント・ピッチ変化パターン選択部、233a、233a’・・・声調・ピッチ変化パターンテーブル、233b・・・アクセント・ピッチ変化パターンテーブル、234a・・・声調・ピッチ変化パターン生成部、234b・・・アクセント・ピッチ変化パターン生成部、236・・・ピッチパターン生成部、240・・・音声信号生成部。 DESCRIPTION OF SYMBOLS 100 ... Speech synthesizer, 210 ... Input part, 220 ... Text analysis part, 230 ... Pitch generation part, 231 ... Text information type judgment part, 231a ... Tone information acquisition part, 231b ... accent information acquisition unit, 232a ... tone / pitch change pattern selection unit, 232a '... deformed pitch change pattern generation unit, 232b ... accent / pitch change pattern selection unit, 233a, 233a' ..Voice tone / pitch change pattern table, 233b ... accent / pitch change pattern table, 234a ... Voice tone / pitch change pattern generation unit, 234b ... accent / pitch change pattern generation unit, 236 ... pitch pattern Generation unit, 240... Audio signal generation unit.

Claims (6)

入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、
前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得手段と、
声調番号と標準ピッチ変化パターンと該標準ピッチ変化パターンを変形した変形ピッチ変化パターンとを対応付けて記憶する記憶手段と、
取得された音節の声調情報から前記声調番号を特定し、かつ、該音節に先行する音節の声調情報若しくは後続する音節の声調情報から前記声調番号に対応する前記標準ピッチ変化パターン若しくは前記変形ピッチ変化パターンのいずれかを選択する選択手段と、
選択されたいずれかのピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段と
を具備することを特徴とするピッチパターン生成装置。
An apparatus for generating a pitch pattern that represents a temporal change in pitch of synthesized speech corresponding to text information, based on input text information,
Acquisition means for acquiring, for each syllable, pitch designation information representing a reference pitch and tone information representing a type of tone from the text information;
Storage means for storing a tone number, a standard pitch change pattern, and a modified pitch change pattern obtained by deforming the standard pitch change pattern in association with each other;
The tone number is identified from the acquired tone information of the syllable, and the standard pitch change pattern or the modified pitch change corresponding to the tone number from the tone information of the syllable preceding the syllable or the tone information of the subsequent syllable A selection means for selecting one of the patterns;
A pitch pattern generation apparatus comprising: generation means for generating a pitch pattern of the syllable based on any selected pitch change pattern and the acquired pitch designation information of the syllable.
入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、
前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得手段と、
声調番号と標準ピッチ変化パターンとを対応付けて記憶する記憶手段と、
取得された音節の声調情報から前記声調番号を特定し、該声調番号に対応する標準ピッチ変化パターンを抽出し、抽出した標準ピッチ変化パターンを該音節に先行する音節の声調情報若しくは後続する音節の声調情報に基づいて変形することにより変形ピッチ変化パターンを生成する生成手段と、
生成された前記変形ピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段と
を具備することを特徴とするピッチパターン生成装置。
An apparatus for generating a pitch pattern that represents a temporal change in pitch of synthesized speech corresponding to text information, based on input text information,
Acquisition means for acquiring, for each syllable, pitch designation information representing a reference pitch and tone information representing a type of tone from the text information;
Storage means for storing the tone number and the standard pitch change pattern in association with each other;
The tone number is identified from the acquired tone information of the syllable, a standard pitch change pattern corresponding to the tone number is extracted, and the extracted standard pitch change pattern is used as the tone information of the syllable preceding the syllable or the subsequent syllable. Generating means for generating a deformation pitch change pattern by deforming based on the tone information;
A pitch pattern generating device comprising: generating means for generating a pitch pattern of the syllable based on the generated modified pitch change pattern and the acquired pitch designation information of the syllable.
入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、
前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報を音節毎に取得する取得手段と、
前記各音節にアクセント情報が含まれているか否かを検出する検出手段と、
アクセント記号とピッチ変化パターンとを対応づけて記憶する記憶手段と、
前記アクセント情報が検出された音節について、該アクセント情報から前記アクセント記号を特定し、該アクセント記号に対応するピッチ変化パターンを選択する選択手段と、
選択された前記ピッチ変化パターンと前記アクセント情報が検出された音節の前記ピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段と
を具備することを特徴とするピッチパターン生成装置。
An apparatus for generating a pitch pattern that represents a temporal change in pitch of synthesized speech corresponding to text information, based on input text information,
An acquisition means for acquiring pitch designation information representing a reference pitch for each syllable from the text information;
Detecting means for detecting whether or not accent information is included in each syllable;
Storage means for storing the accent symbol and the pitch change pattern in association with each other;
Selecting means for identifying the accent symbol from the accent information and selecting a pitch change pattern corresponding to the accent symbol for the syllable from which the accent information is detected;
A pitch pattern generating apparatus comprising: generating means for generating a pitch pattern of the syllable based on the selected pitch change pattern and the pitch designation information of the syllable from which the accent information is detected.
入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する装置であって、
前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報を音節毎に取得する第1取得手段と、
前記各音節にアクセント情報が含まれているか否かを検出する検出手段と、
前記テキスト情報から、前記アクセント情報が検出されなかった音節について声調の種類をあらわす声調情報を取得する第2取得手段と、
アクセント記号とピッチ変化パターンとを対応づけて記憶する第1記憶手段と、
声調番号とピッチ変化パターンとを対応づけて記憶する第2記憶手段と、
前記アクセント情報が検出された音節について、該アクセント情報から前記アクセント記号を特定し、該アクセント記号に対応するピッチ変化パターンを選択する第1選択手段と、
前記声調情報が取得された音節について、取得された音節の声調情報から前記声調番号を特定し、該声調番号に対応するピッチ変化パターンを選択する第2選択手段と
前記第1選択手段によって選択されたピッチ変化パターンと前記アクセント情報が検出された音節の前記ピッチ指定情報とに基づいて、該音節のピッチパターンを生成する第1生成手段と
前記第2選択手段によって選択されたピッチ変化パターンと前記声調情報が取得された音節の前記ピッチ指定情報とに基づいて、該音節のピッチパターンを生成する第2生成手段と
を具備することを特徴とするピッチパターン生成装置。
An apparatus for generating a pitch pattern that represents a temporal change in pitch of synthesized speech corresponding to text information, based on input text information,
First acquisition means for acquiring, for each syllable, pitch designation information representing a reference pitch from the text information;
Detecting means for detecting whether or not accent information is included in each syllable;
Second acquisition means for acquiring tone information representing a type of tone for the syllable from which the accent information has not been detected, from the text information;
First storage means for storing an accent symbol and a pitch change pattern in association with each other;
Second storage means for storing a tone number and a pitch change pattern in association with each other;
First selection means for identifying the accent symbol from the accent information and selecting a pitch change pattern corresponding to the accent symbol for the syllable from which the accent information is detected;
For the syllable from which the tone information is acquired, the tone number is specified from the tone information of the acquired syllable, and the pitch selection pattern corresponding to the tone number is selected. The second selection unit is selected by the first selection unit. A first generation means for generating a pitch pattern of the syllable based on the pitch change pattern and the pitch designation information of the syllable from which the accent information is detected; and the pitch change pattern selected by the second selection means; A pitch pattern generation device comprising: second generation means for generating a pitch pattern of the syllable based on the pitch designation information of the syllable from which the tone information has been acquired.
入力されるテキスト情報をもとに、該テキスト情報に対応する合成音声のピッチの時間的な変化をあらわすピッチパターンを生成する方法であって、
記憶手段には、声調番号と標準ピッチ変化パターンと該標準ピッチ変化パターンを変形した変形ピッチ変化パターンとが対応付けて記憶され、
前記テキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得過程と、
取得された音節の声調情報から前記声調番号を特定し、かつ、該音節に先行する音節の声調情報若しくは後続する音節の声調情報から前記声調番号に対応する前記標準ピッチ変化パターン若しくは前記変形ピッチ変化パターンのいずれかを選択する選択過程と、
選択されたいずれかのピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成過程と
を具備することを特徴とするピッチパターン生成方法。
A method for generating a pitch pattern that represents a temporal change in pitch of synthesized speech corresponding to text information, based on input text information,
The storage means stores a tone number, a standard pitch change pattern, and a modified pitch change pattern obtained by modifying the standard pitch change pattern in association with each other.
An acquisition process for acquiring, for each syllable, pitch designation information representing a reference pitch and tone information representing a type of tone from the text information;
The tone number is identified from the acquired tone information of the syllable, and the standard pitch change pattern or the modified pitch change corresponding to the tone number from the tone information of the syllable preceding the syllable or the tone information of the subsequent syllable A selection process to select one of the patterns,
A pitch pattern generation method comprising: generating a pitch pattern of the syllable based on any selected pitch change pattern and the acquired pitch designation information of the syllable.
声調番号と標準ピッチ変化パターンと該標準ピッチ変化パターンを変形した変形ピッチ変化パターンとを対応付けて記憶する記憶手段を備えたコンピュータを、
入力されるテキスト情報から、基準となるピッチをあらわすピッチ指定情報及び声調の種類をあらわす声調情報を音節毎に取得する取得手段と、
取得された音節の声調情報から前記声調番号を特定し、かつ、該音節に先行する音節の声調情報若しくは後続する音節の声調情報から前記声調番号に対応する前記標準ピッチ変化パターン若しくは前記変形ピッチ変化パターンのいずれかを選択する選択手段と、
選択されたいずれかのピッチ変化パターンと取得された音節のピッチ指定情報とに基づいて、該音節のピッチパターンを生成する生成手段として機能させるためのピッチパターン生成プログラム。
A computer comprising storage means for storing a tone number, a standard pitch change pattern, and a modified pitch change pattern obtained by deforming the standard pitch change pattern in association with each other;
Acquisition means for acquiring, for each syllable, pitch designation information that represents a reference pitch and tone information that represents a type of tone from input text information;
The tone number is identified from the acquired tone information of the syllable, and the standard pitch change pattern or the modified pitch change corresponding to the tone number from the tone information of the syllable preceding the syllable or the tone information of the subsequent syllable A selection means for selecting one of the patterns;
A pitch pattern generation program for functioning as generation means for generating a pitch pattern of a syllable based on any selected pitch change pattern and acquired pitch designation information of the syllable.
JP2004062575A 2004-03-05 2004-03-05 Pitch pattern generation apparatus, pitch pattern generation method, and pitch pattern generation program Expired - Fee Related JP4428093B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004062575A JP4428093B2 (en) 2004-03-05 2004-03-05 Pitch pattern generation apparatus, pitch pattern generation method, and pitch pattern generation program
TW094106673A TWI271702B (en) 2004-03-05 2005-03-04 Device, method and program for pitch pattern generation
CNB2005100514400A CN1331112C (en) 2004-03-05 2005-03-04 Pitch model production device, method and pitch model production program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004062575A JP4428093B2 (en) 2004-03-05 2004-03-05 Pitch pattern generation apparatus, pitch pattern generation method, and pitch pattern generation program

Publications (2)

Publication Number Publication Date
JP2005250264A true JP2005250264A (en) 2005-09-15
JP4428093B2 JP4428093B2 (en) 2010-03-10

Family

ID=35030780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004062575A Expired - Fee Related JP4428093B2 (en) 2004-03-05 2004-03-05 Pitch pattern generation apparatus, pitch pattern generation method, and pitch pattern generation program

Country Status (3)

Country Link
JP (1) JP4428093B2 (en)
CN (1) CN1331112C (en)
TW (1) TWI271702B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276660A (en) * 2005-03-30 2006-10-12 Advanced Telecommunication Research Institute International Method of indicating features of intonation variation by modification of tone and computer program thereof
KR100811226B1 (en) 2006-08-14 2008-03-07 주식회사 보이스웨어 Method For Japanese Voice Synthesizing Using Accentual Phrase Matching Pre-selection and System Thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6520108B2 (en) * 2014-12-22 2019-05-29 カシオ計算機株式会社 Speech synthesizer, method and program
CN105895075B (en) * 2015-01-26 2019-11-15 科大讯飞股份有限公司 Improve the method and system of synthesis phonetic-rhythm naturalness

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751905A (en) * 1995-03-15 1998-05-12 International Business Machines Corporation Statistical acoustic processing method and apparatus for speech recognition using a toned phoneme system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006276660A (en) * 2005-03-30 2006-10-12 Advanced Telecommunication Research Institute International Method of indicating features of intonation variation by modification of tone and computer program thereof
KR100811226B1 (en) 2006-08-14 2008-03-07 주식회사 보이스웨어 Method For Japanese Voice Synthesizing Using Accentual Phrase Matching Pre-selection and System Thereof

Also Published As

Publication number Publication date
JP4428093B2 (en) 2010-03-10
CN1331112C (en) 2007-08-08
TW200603073A (en) 2006-01-16
CN1664922A (en) 2005-09-07
TWI271702B (en) 2007-01-21

Similar Documents

Publication Publication Date Title
Sproat A computational theory of writing systems
KR101005949B1 (en) Text-to-speech apparatus, recording medium and method
KR100403293B1 (en) Speech synthesizing method, speech synthesis apparatus, and computer-readable medium recording speech synthesis program
WO2009021183A1 (en) System-effected text annotation for expressive prosody in speech synthesis and recognition
KR20060066121A (en) Method for synthesizing speech
JP6127371B2 (en) Speech synthesis apparatus and speech synthesis method
JP2009139677A (en) Voice processor and program therefor
JP2009003395A (en) Device for reading out in voice, and program and method therefor
US7912718B1 (en) Method and system for enhancing a speech database
JP2007264284A (en) Device, method, and program for adding feeling
JP2007212884A (en) Speech synthesizer, speech synthesizing method, and computer program
JP4428093B2 (en) Pitch pattern generation apparatus, pitch pattern generation method, and pitch pattern generation program
JP4525162B2 (en) Speech synthesizer and program thereof
JP4841339B2 (en) Prosody correction device, speech synthesis device, prosody correction method, speech synthesis method, prosody correction program, and speech synthesis program
JP2001134283A (en) Device and method for synthesizing speech
JP2005242231A (en) Device, method, and program for speech synthesis
JP2015179198A (en) Reading device, reading method, and program
JP6340839B2 (en) Speech synthesizer, synthesized speech editing method, and synthesized speech editing computer program
JPH096378A (en) Text voice conversion device
JP5142920B2 (en) Reading information generation apparatus, reading information generation method and program
JP3437472B2 (en) Speech synthesis method and apparatus
JP2010085581A (en) Lyrics data display, lyrics data display method, and lyrics data display program
JP2009258369A (en) Speech recognition dictionary creation device and speech recognition processing device
JPH11212586A (en) Voice synthesizer
JP6197362B2 (en) Speech synthesis method, program, and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4428093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees