JP2003330482A - 基本周波数パターン生成方法、基本周波数パターン生成装置、音声合成方法、音声合成装置、基本周波数パターン生成プログラムおよび音声合成プログラム - Google Patents

Abstract

(57)【要約】 【課題】人の発声した音声の基本周波数パターンに近い
音声の基本周波数パターンの生成が可能な基本周波数パ
ターン生成方法・装置、およびそれを用いた音声合成方
法・装置を提供する。 【解決手段】テキストに対応する音声の韻律的な特徴を
制御するための音声の単位としての第１の韻律制御単位
毎の複数の第１の基本周波数パターンを記憶した第１の
記憶手段と、前記第１の韻制御単位よりも時間長の短い
音声の単位としての第２の韻律制御単位毎の複数の第２
の基本周波数パターンを記憶した第２の記憶手段とのそ
れぞれから、前記テキストから得られた言語情報に基づ
き当該テキストに対応する第１の基本周波数パターンと
第２の基本周波数パターンを選択し、少なくとも、この
選択された第１および第２の基本周波数パターンを基
に、前記テキストに対応する音声の基本周波数パターン
を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、テキスト
音声合成に関し、特に、基本周波数Ｆ０パターンを生成
する方法および装置に関する。

【０００２】

【従来の技術】任意の文章から人工的に音声信号を作り
出すことをテキスト音声合成という。通常このテキスト
音声合成システムは、言語処理部、韻律生成部、音声信
号生成部の３つの構成部から構成される。

【０００３】テキスト音声合成システムの中で合成音声
の自然性に関係するのが、韻律生成部であり、とりわけ
声の高さの変化パターンである、Ｆ０パターンが合成音
声の自然性を大きく左右する。

【０００４】従来のテキスト音声合成システムでは、比
較的単純なモデルを用いてＦ０パターンの生成を行って
いたため、抑揚が不自然で機械的な音声となっていた。

【０００５】そこで近年、自然音声から抽出されたＦ０
パターンを用い、Ｆ０パターンの生成を行う方法が提案
されている。例えば、特開平１１−０９５７８３号公報
では、自然音声のＦ０パターンから統計的な手法を用い
て抽出された、アクセント句単位の典型的なパターンを
複数記憶しておき、アクセント句毎に、選択されたパタ
ーンを接続することによってＦ０パターンを生成する方
法が開示されている。

【０００６】図１０は、上述した従来のＦ０パターン生
成方法に係るＦ０パターン生成部の機能構成例を示した
ものである。

【０００７】図１０において、アクセント句パターン記
憶部１５には、アクセント句単位の典型的なＦ０パター
ンを表すアクセント句代表パターンが予め複数記憶され
ている。アクセント句代表パターンは、音節単位の長さ
が一定となるように、正規化されている。アクセント句
代表パターンの例を図１１に示す。縦軸は対数スケール
の基本周波数を表している。また、横軸は時間に相当す
るが、１音節の長さが「１」となるように正規化されて
いるため、１目盛りが１音節に対応する。

【０００８】アクセント句パターン選択部１０は、言語
情報１００を参照して、アクセント句代表パターン１０
１を、アクセント句パターン記憶部１５よりアクセント
句毎に選択して出力する。

【０００９】言語情報１００は、入力されたテキストに
言語解析を行って得られる情報で、音韻記号列・アクセ
ント型・品詞・構文情報などが含まれる。例えば「私は
バナナが好きです。」というテキストに対する言語情報
の例を図１２に示す。言語情報１００からアクセント句
代表パターン１０１を選択するための規則は、何らかの
公知の機械学習手法を用いて生成することができる。

【００１０】以下、図１３を参照して、アクセント句パ
ターン変形部１１とオフセット制御部１３における、パ
ターン変形およびオフセット制御について説明する。

【００１１】アクセント句パターン変形部１１は、アク
セント句代表パターンを、言語情報１００および音韻継
続時間長１１１に基づいて変形し、アクセント句パター
ン１０２を出力する。まず、例えば、図１３（ａ）に示
したようなアクセント句代表パターン１０１に対し、音
韻継続時間長１１１に従って音節単位で時間軸方向に線
形伸縮を行い、例えば、図１３（ｂ）に示したようなア
クセント句パターンを求める。次に、言語情報１００か
らアクセント句代表パターンのダイナミックレンジを推
定し、その推定値とダイナミックレンジが等しくなるよ
うに、図１３（ｂ）に示したようなアクセント句パター
ンを周波数軸方向に線形伸縮し、図１３（ｃ）に示した
ようなアクセント句パターン１０２を求める。ダイナミ
ックレンジの推定には、数量化Ｉ類などの公知の数量化
手法を用いることができる。

【００１２】オフセット推定部１２は、アクセント句の
平均的な高さに相当するオフセット値１０３を、アクセ
ント句毎に言語情報１００から推定し出力する。オフセ
ット値の推定には、上述したダイナミックレンジの推定
と同様に、数量化Ｉ類などの公知の数量化手法を用いる
ことができる。

【００１３】オフセット制御部１３は、例えば、図１３
（ｃ）に示したようなアクセント句パターン１０２を、
オフセット値１０３に従って周波数軸上で平行移動さ
せ、図１３（ｄ）に示したようなアクセント句パターン
２０５を出力する。

【００１４】パターン接続部１４は、アクセント句毎に
生成された複数のアクセント句パターン２０５を接続す
るとともに、アクセント句境界で不連続が生じないよう
に平滑化を行って、例えば、図１４に示したような「私
はバナナが好きです。」というテキスト文に対応するＦ
０パターン２０６を出力する。

【００１５】

【発明が解決しようとする課題】上述した従来例では、
アクセント句内ではＦ０パターンは滑らかに変化するも
のとしてＦ０パターンを生成している。しかしながら、
実際の音声のＦ０パターンは、必ずしもアクセント句内
で滑らかには変化せず、音韻の種類などによっては細か
な凹凸が存在する場合がある。

【００１６】図１５に、ナレータが「７時のニュース
を」と発声した実際の音声データから抽出したＦ０パタ
ーンの例を示す。この例にみられるような細かい窪み
や、無声音のため基本周波数が無い部分の前後の急激な
変化などは、従来例では表現することができないという
問題がある。

【００１７】また、中国語の音声合成のためのＦ０パタ
ーン生成では、声調（四声）と呼ばれる音節単位のＦ０
パターンを表現することが重要であるが、従来例では、
単語レベルの大まかな変化と、声調による音節レベルの
細かな変化を同時に制御することができないという問題
がある。

【００１８】すなわち、従来の手法では、アクセント句
より細かい単位、例えば、音節単位で、Ｆ０パターンを
制御することができないために、より自然発生に近い合
成音声を生成することができないという問題点があっ
た。

【００１９】そこで、本発明は、以上の問題を考慮して
なされたものであり、人の発声した音声の基本周波数パ
ターンに近い音声の基本周波数パターンの生成が可能な
基本周波数パターン生成方法および基本周波数パターン
生成装置と、それを用いて、人の発声した音声に近い音
声を合成することができる音声合成方法および音声合成
装置を提供することを目的とする。

【００２０】

【課題を解決するための手段】本発明は、テキストを解
析することによって得られる言語情報を基に、当該テキ
ストに対応する音声の韻律的な特徴の１つである、基本
周波数の時間的変化を表した基本周波数パターンを生成
するものであって、前記テキストに対応する音声の韻律
的な特徴を制御するための音声の単位としての第１の韻
律制御単位毎の複数の第１の基本周波数パターンを記憶
した第１の記憶手段と、前記第１の韻制御単位よりも時
間長の短い音声の単位としての第２の韻律制御単位毎の
複数の第２の基本周波数パターンを記憶した第２の記憶
手段とのそれぞれから、前記言語情報に基づき、当該テ
キストの音声の構成要素である前記第１の韻律制御単位
毎、前記第１の韻律制御単位毎に、第１の基本周波数パ
ターンと第２の基本周波数パターンを選択し、この選択
された第１および第２の基本周波数パターンのそれぞれ
を前記言語情報を基に変形した後、この変形された第１
および第２の基本周波数パターンを重畳することによ
り、前記第１の韻律制御単位毎の複数の第３の基本周波
数パターンを生成し、この第３の基本周波数パターンの
基本周波数の平均的な高さを前記言語情報を基に調節し
て前記第１の韻律制御単位毎の複数の第４の基本周波数
パターンを生成し、この複数の第４の基本周波数パター
ンを繋げることにより、前記テキストに対応する音声の
基本周波数パターンを生成することを特徴とする。

【００２１】好ましくは、前記第１の韻律制御単位は、
アクセント句、単語、形態素のうちのいずれか１つあ
る。また、前記第２の韻律制御単位は、音節、音素、モ
ーラのうちのいずれか１つである。

【００２２】本発明によれば、第１の韻律制御単位（例
えば、アクセント句単位）の基本周波数パターンに表さ
れた第１の韻律制御単位毎の大まかな韻律的な特徴と、
第１の韻律制御単位よりも時間長の短い音声の単位とし
ての第２の韻律制御単位（例えば、音節単位）の基本周
波数パターンに表された、第２の韻律制御単位毎の詳細
な（細かい）韻律的な特徴とを重畳して、人の発声した
音声の基本周波数パターンに近い基本周波数パターンの
生成が可能となる。従って、人の発声した音声に近い音
声を合成することができる。

【００２３】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態について説明する。

【００２４】図１は、本実施形態に係る音声合成システ
ムの構成例を示したもので、大きく分けて、言語処理部
２０、韻律生成部２１、音声信号生成部２２から構成さ
れている。

【００２５】テキスト２０８が入力されると、まず言語
処理部２０において、当該入力されたテキスト２０８に
対し、形態素解析や構文解析などの言語解析処理が行わ
れ、音韻記号列、アクセント型、品詞などの言語情報１
００が出力される。

【００２６】韻律生成部２１では、言語情報１００を基
に、入力されたテキスト２０８に対応する音声の韻律的
な特徴を表した情報（韻律情報）、すなわち、例えば、
音韻継続時間長や、基本周波数（以下ではＦ０と簡単に
表記することもある）の時間経過い伴う変化を表したパ
ターン（基本周波数（Ｆ０）パターン）などが生成され
る。韻律生成部２１は、音韻継続時間長生成部２３とＦ
０パターン生成部１より構成される。

【００２７】音韻継続時間長生成部２３は、言語情報１
００を参照して、各音素の時間的な長さ、すなわち、音
韻継続時間長１１１を生成して出力する。なお、言語情
報から音韻継続時間長を生成する手法は、従来と同様、
公知技術を用いればよく、また、本願の要旨ではないの
で、説明は省略する。

【００２８】Ｆ０パターン生成部１は、言語情報１００
と音韻継続時間長１１１を入力として、声の高さの変化
パターンであるＦ０パターン１０６を出力する。

【００２９】音声信号生成部２２では、言語情報１００
を基に生成されたＦ０パターン１０６や音韻継続時間長
１１１などの韻律情報などを基に、入力されたテキスト
２０８に対応する音声を合成し、音声信号２０７として
出力する。なお、ここで音声を合成する手法は、従来と
同様、公知の技術を用いればよく、また、本願の要旨で
はないので、説明は省略する。

【００３０】次に、図８に示すフローチャートを参照し
て、図１に示した音声合成システムの概略的な処理動作
について説明する。

【００３１】言語処理部２０において、入力されたテキ
スト２０８から音韻記号列、アクセント型、品詞などの
言語情報１００が出力されると（ステップＳ１）、この
言語情報を基に、音韻継続時間長生成部２３にて、各音
素の音韻継続時間長１１１を生成する（ステップＳ
２）。

【００３２】Ｆ０パターン生成部１は、言語情報１００
と音韻継続時間長１１１を入力として、声の高さの変化
パターンであるＦ０パターン１０６を生成し出力する
（ステップＳ３〜ステップＳ７）。

【００３３】音声信号生成部２２では、韻律生成部２１
で生成されたＦ０パターン１０６や音韻継続時間長１１
１などの韻律情報などを基に、入力されたテキスト２０
８に対応する音声を合成し、音声信号２０７として出力
する（ステップＳ８）。

【００３４】本実施形態では、Ｆ０パターン生成部１の
構成とその処理動作（図８のステップＳ３〜ステップＳ
７）に特徴がある。以下、このＦ０パターン生成部１の
構成と処理動作について説明する。

【００３５】図２は、図１のＦ０パターン生成部１の構
成例を示したものである。Ｆ０パターン生成部１は、ア
クセント句パターン選択部１０と、アクセント句パター
ン変形部１１と、オフセット推定部１２と、オフセット
制御部１３と、パターン接続部１４と、アクセント句パ
ターン記憶部１５と、音節パターン選択部１６と、音節
パターン記憶部１７と、音節パターン変形部１８とパタ
ーン重畳部１９とから構成されている。

【００３６】図２に示したＦ０パターン生成部１は、従
来のように、韻律的な特徴を制御するための音声の単位
としてのアクセント句単位のＦ０パターンだけでなく、
音節単位のＦ０パターンも生成し、それらを重畳するこ
とにより、音節単位にＦ０が制御されたアクセント句毎
のＦ０パターンを生成する点に特徴がある。以下、図８
に示したフローチャートに従って、図２に示したＦ０パ
ターン生成部１の上記各構成部と処理動作について説明
する。

【００３７】図２に示したＦ０パターン生成部１におい
て、言語情報１００を基にアクセント句単位のアクセン
ト句代表パターン１０１を選択、変形する部分は、従来
と同様である。すなわち、アクセント句パターン選択部
１０は、アクセント句パターン記憶部１５から、言語情
報１００を基に、入力されたテキスト２０８に対応する
音声の構成要素であるアクセント句毎にアクセント句代
表パターンを選択し、アクセント句パターン変形部１１
では、当該選択された各アクセント句のアクセント句代
表パターンを時間軸方向や周波数軸方向に伸縮させて、
アクセント句毎の第１のアクセント句パターン１０２を
生成する（図８のステップＳ３）。

【００３８】アクセント句パターン記憶部１５には、ア
クセント句単位の典型的なＦ０パターンを表すアクセン
ト句代表パターンが予め複数記憶されている。アクセン
ト句代表パターンは、音節単位の長さが一定となるよう
に、正規化されている。アクセント句代表パターンの例
を図１１に示す。縦軸は対数スケールの基本周波数を表
している。また、横軸は時間に相当するが、１音節の長
さが「１」となるように正規化されているため、１目盛
りが１音節に対応する。

【００３９】アクセント句パターン選択部１０は、言語
情報１００を参照して、アクセント句代表パターン１０
１を、アクセント句パターン記憶部１５よりアクセント
句毎に選択して出力する。

【００４０】言語情報１００は、入力されたテキストに
言語解析を行って得られる情報で、音韻記号列・アクセ
ント型・品詞・構文情報などが含まれる。例えば「私は
バナナが好きです。」というテキストに対する言語情報
の例を図１２に示した。言語情報１００からアクセント
句代表パターン１０１を選択するための規則は、何らか
の公知の機械学習手法を用いて生成することができる。

【００４１】アクセント句パターン変形部１１は、選択
されたアクセント句代表パターンを、言語情報１００お
よび音韻継続時間長１１１に基づいて変形し、第１のア
クセント句パターン１０２を出力する。まず、例えば、
図１３（ａ）に示したようなアクセント句代表パターン
１０１に対し、音韻継続時間長１１１に従って音節単位
で時間軸方向に線形伸縮を行い、例えば、図１３（ｂ）
に示したようなアクセント句パターンを求める。次に、
言語情報１００からアクセント句代表パターンのダイナ
ミックレンジを推定し、その推定値とダイナミックレン
ジが等しくなるように、図１３（ｂ）に示したようなア
クセント句パターンを周波数軸方向に線形伸縮し、図１
３（ｃ）に示したようなアクセント句パターン、すなわ
ち、本実施形態における第１のアクセント句パターン１
０２を求める。ダイナミックレンジの推定には、従来と
同様、数量化Ｉ類などの公知の数量化手法を用いること
ができる。

【００４２】次に、図２に示したＦ０パターン生成部１
において、言語情報１００を基に、音節単位の音節代表
パターン１０１を選択、変形するための構成と処理動作
について説明する。

【００４３】すなわち、音節パターン選択部１６は、音
節パターン記憶部１６に記憶されている音節代表パター
ンの中から、言語情報１００を基に、各アクセント句を
構成する音節毎に音節代表パターンを選択し、音節パタ
ーン変形部１８では、当該選択された各音節代表パター
ンを時間軸方向や周波数軸方向に伸縮させて、音節毎の
音節パターン１０８を生成する（図８のステップＳ
４）。

【００４４】音節パターン記憶部１６には、アクセント
句よりも時間長の短い音声の単位としての音節単位の典
型的なＦ０パターンを表す音節代表パターンを複数記憶
している。音節代表パターンは、その長さ（時間長）が
「１」になるように正規化されている。

【００４５】図３は、音節代表パターンの例として、
〜の４つのパターンを示したものである。図３におい
て、縦軸は対数スケールのＦ０を表している。また、横
軸は時間に相当するが、長さが「１」となるように正規
化されているため、１目盛りが１音節に対応する。

【００４６】音節パターン選択部１６は、言語情報１０
０を参照して、音節代表パターン１０７を、音節パター
ン記憶部１７より音節毎に選択して出力する。音節パタ
ーン選択規則の例を図４に示す。この例では、当該音節
に対応する言語情報１００を参照して、それを「規則
１」から「規則３」まで順番に適用し、該当した規則に
対応する番号の音節代表パターンを選択する。「規則
１」〜「規則３」のどの規則にも該当しなかった場合
は、デフォルトに対応するパターン番号の音節代表パ
ターンが選択される。この他にも、アクセント句代表パ
ターンの選択規則と同様に、何らかの公知の機械学習手
法を用いて決定木などの分類器を学習し、選択規則を作
るようにしても良い。

【００４７】音節パターン変形部１８は、音節代表パタ
ーン１０７を、言語情報１００および音韻継続時間長１
１１に基づいて変形し、音節パターン１０８を出力す
る。

【００４８】まず、音韻継続時間長１１１に従って時間
軸方向に線形伸縮を行う。このとき、音節単位で全体を
伸縮しても良いし、子音と母音の継続時間長に従って、
部分的に伸縮するようにしても良い。

【００４９】次に、言語情報１００から音節代表パター
ン１０７の周波数方向の伸縮率を推定し、音節代表パタ
ーン１０７を周波数軸方向に線形伸縮する。伸縮率の推
定には、従来と同様、数量化Ｉ類などの公知の数量化手
法を用いることができる。

【００５０】音節パターン変形部１８において、上記の
ように音節代表パターン１０７から音節パターン１０８
を生成する場合を、図５を参照して具体的に説明する。
この例では、「私はバナナが好きです。」というテキス
トの「私は」の部分の音節パターンを生成する場合を示
している。まず、図４に示した規則に従って、「わ」
「た」「し」「わ」の各音節に対し、図５（ａ）に示し
たように、それぞれ、、、の音節代表パターン
が選択される。次に、音韻継続時間長に従って、図５
（ｂ）に示したように、それぞれ時間方向に線形伸縮さ
せる。最後に、音節毎に周波数軸方向の伸縮率を求めて
それぞれ伸縮させ、図５（ｃ）に示したように、「私
は」の部分の各音節毎の音節パターン１０８を生成して
いる。

【００５１】このようにして生成された各音節に対応す
る複数の音節パターン１０８は、図６（ａ）に示したよ
うに、音節の境界で、不連続が生じる場合もある。この
ような場合には、音節パターン変形部１８では、図６
（ｂ）に示したように、音節の境界で、不連続が生じな
いように、各音節毎の音節パターン１０８を音節境界で
平滑化するようにしてもよい。

【００５２】以上の各構成部の処理動作により、第１の
アクセント句パターン１０２と、当該アクセント句を構
成する各音節毎の音節パターン１０８であって、音節の
境界で不連続が生じている場合には、音節の境界で不連
続が生じないように各音節毎の音節パターン１０８を音
節境界で平滑化した結果得られた各音節毎の音節パター
ン１０８を求めることができる。

【００５３】次に、パターン重畳部１９では、上記第１
のアクセント句パターン１０２と音節パターン１０８と
を、アクセント句毎に重畳して、第２のアクセント句パ
ターン１０４を生成する（図８のステップＳ５）。

【００５４】図７は、アクセント句「わたしわ」に対応
する第１のアクセント句パターン１０２（図７（ａ）参
照）と、当該アクセント句を構成する各音節毎の音節パ
ターンであって、音節の境界で不連続が生じないように
各音節毎の音節パターンを音節境界で平滑化した結果得
られた各音節毎の音節パターン１０８（図７（ｂ））と
を重畳して、第２のアクセント句パターン１０４（図７
（ｃ））を生成する様子を示したものである。上記のよ
うにして生成された第１のアクセント句パターン１０２
と音節パターン１０８とは、同じ音韻継続時間を基に時
間軸方向に同じように伸縮されているので、例えば、対
数スケールで表された両者の基本周波数同士で加算する
ことで、図７（ｃ）に示したような第２のアクセント句
パターン１０４を生成することができる。

【００５５】オフセット推定部１２は、従来と同様にし
て、各アクセント句の基本周波数の平均的な高さに相当
するオフセット値１０３を、アクセント句毎に言語情報
１００から推定し出力する。オフセット値の推定には、
ダイナミックレンジの推定と同様に、数量化Ｉ類などの
公知の数量化手法を用いることができる。

【００５６】オフセット制御部１３は、従来と同様に、
例えば、図７（ｃ）に示したような第２のアクセント句
パターン１０４を、オフセット値１０３に従って周波数
軸上で平行移動させることで、各アクセント句の基本周
波数の平均的な高さが、各アクセント句毎に推定された
オフセット値１０３になるように調節して、その結果と
して、アクセント句毎の第３のアクセント句パターン１
０５を出力する（図８のステップＳ６）。

【００５７】パターン接続部１４は、従来と同様、アク
セント句毎に生成された複数の第３のアクセント句パタ
ーン１０５を繋げて、入力されたテキスト２０８に対応
する音声の韻律的な特徴の１つであるＦ０パターン１０
６を生成する。第３のアクセント句パターン１０５同士
を接続する際、アクセント句境界で不連続が生じないよ
うに平滑化を行って、Ｆ０パターン１０６を生成し、出
力する（図８のステップＳ７）。

【００５８】以上説明したように、上記実施形態によれ
ば、アクセント句単位の基本周波数パターンに表された
アクセント句毎の大まかな韻律的な特徴と、アクセント
句よりも時間長の短い音声の単位として音節単位の基本
周波数パターンに表された、音節毎の詳細な（細かい）
韻律的な特徴とを重畳して、人の発声した音声の基本周
波数パターンに近い基本周波数パターンの生成が可能と
なる。従って、人の発声した音声に近い音声を合成する
ことができる。

【００５９】すなわち、オフセット値の変化で文全体の
大まかなＦ０の変化を表現し、アクセント句パターンで
アクセント句単位の局所的なＦ０の変化を表現し、さら
に音節パターンで音節単位の微細なＦ０の変化を表現す
ることができる。このため、より人の発声した音声に近
いＦ０パターンを生成することが可能となる。

【００６０】また、上記実施形態では、局所的なＦ０の
変化を、アクセント句単位のパターンで表現したが、単
語や形態素を単位としたパターンを用いても良く、この
場合においても上記実施形態と同様にして実現可能であ
る。また、上記実施形態では、より微細なＦ０の変化を
音節単位のパターンで表現したが、音素やモーラを単位
としたパターンを用いても良く、この場合においても上
記実施形態と同様にして実現可能である。

【００６１】上記実施形態では、日本語のＦ０パターン
生成を例にとり説明したが、英語・ドイツ語・フランス
語・イタリア語・スペイン語・オランダ語・中国語など
の外国語に本発明を適用することも可能であり、言語に
よって、最適なパターンの単位を選択すればよい。例え
ば中国語では、声調（四声）と呼ばれる音節単位のＦ０
パターンに特徴があり、これを正確に再現することが重
要であるため、音節単位のパターンを用いればよい。

【００６２】また、上記実施形態では、Ｆ０は対数スケ
ールで取り扱ったが、線形なスケールで扱っても良い。
この場合、パターン重畳部１９では、第１のアクセント
句パターン１０２と音節パターン１０８の基本周波数同
士を乗算することで、図７（ｃ）に示したような第２の
アクセント句パターン１０４を生成することができる。

【００６３】また、上記実施形態では、アクセント句代
表パターンと音節代表パターンに、それぞれ変形を加え
た後に重畳したが、順番を入れ替えて、重畳した後に変
形を加えるようにしても良い。この場合、図９に示すよ
うに、アクセント句パターン選択部１０で選択されたア
クセント句代表パターン１０１と、音節パターン選択部
１６で選択された音節代表パターン１０７は、パターン
重畳部１９に入力し、ここで、例えば、アクセント句代
表パターン１０１に音節代表パターン１０７が重畳され
る。そして、パターン変形部３１では、音節代表パター
ンの重畳されたアクセント句代表パターン（ここでは、
第４のアクセント句パターンと呼ぶ）に対し、音韻継続
時間１１１を基に時間軸方向に伸縮し、また、言語情報
１００を基に第４のアクセント句パターンの周波数方向
の伸縮率を推定し、当該第４のアクセント句パターンを
周波数軸方向に線形伸縮する。その結果得られたアクセ
ント句パターンをここでは、第５のアクセント句パター
ンと呼ぶ。その後、オフセット制御部１３において、オ
フセット推定部１２で推定されたオフセット値に従っ
て、当該第５のアクセント句パターンの基本周波数の平
均的な高さを調節し、第６のアクセント句パターンを生
成する。パターン接続部１４では、アクセント句毎の上
記第６のアクセント句パターンを繋げて、入力されたテ
キスト２０８に対応する音声のＦ０パターンを生成す
る。

【００６４】上記実施形態によれば、アクセント句単位
の極所的なＦ０パターンだけでなく、音節単位の微細な
Ｆ０パターンをも表現することが可能であり、より自然
な抑揚の合成音声を生成することができる。また、アク
セント句毎のオフセット値を制御すれば、文全体の大ま
かな抑揚の変化も制御することが可能である。また、ア
クセント句単位と音節単位といった、韻律的な特徴を制
御するためのこれら韻律制御単位を各言語対応に設定す
れば、あらゆる言語について、人の発声した音声の基本
周波数パターンに近い基本周波数パターンの生成が可能
となる。従って、人の発声した音声に近い音声を合成す
ることができる。

【００６５】なお、本発明の実施の形態に記載した本発
明の手法は、コンピュータに実行させることのできるプ
ログラムとして、磁気ディスク（フロッピー（登録商
標）ディスク、ハードディスクなど）、光ディスク（Ｃ
Ｄ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒
体に格納して頒布することもできる。

【００６６】また、本発明は、上記実施形態に限定され
るものではなく、実施段階ではその要旨を逸脱しない範
囲で種々に変形することが可能である。さらに、上記実
施形態には種々の段階の発明は含まれており、開示され
る複数の構成用件における適宜な組み合わせにより、種
々の発明が抽出され得る。例えば、実施形態に示される
全構成要件から幾つかの構成要件が削除されても、発明
が解決しようとする課題の欄で述べた課題（の少なくと
も１つ）が解決でき、発明の効果の欄で述べられている
効果（のなくとも１つ）が得られる場合には、この構成
要件が削除された構成が発明として抽出され得る。

【００６７】

【発明の効果】以上説明したように、本発明によれば、
人の発声した音声の基本周波数パターンに近い基本周波
数パターンの生成が可能となる。従って、人の発声した
音声に近い音声を合成することができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る音声合成装置の概略構
成例を示した図。

【図２】図１のＦ０パターン生成部の構成例を示した
図。

【図３】音節代表パターンの具体例を示した図。

【図４】音節パターン選択規則の一例を示した図。

【図５】音節代表パターンの変形手順を説明するための
図。

【図６】音節パターンを繋げて平滑化を行い、アクセン
ト句単位のパターンを生成する様子を示した図。

【図７】アクセント句単位に音節パターンとアクセント
句パターンを重畳する場合を説明するための図。

【図８】図１の音声合成装置の処理動作を説明するため
のフローチャート。

【図９】Ｆ０パターン生成部の他の構成例を示した図。

【図１０】従来技術を説明するための図で、従来のＦ０
パターン生成部の構成例を示した図。

【図１１】アクセント句代表パターンの具体例を示した
図。

【図１２】言語情報の具体例を示した図。

【図１３】アクセント句パターンの変形手順を説明すた
めの図。

【図１４】従来技術を説明するための図で、アクセント
句毎の基本周波数パターンをもとに生成されたＦ０パタ
ーンの具体例を示した図。

【図１５】人により発声された音声から抽出されたＦ０
パターンの一例を示した図。

【符号の説明】

１…Ｆ０パターン生成部 １０…アクセント句パターン選択部 １１…アクセント句パターン変形部 １２…オフセット推定部 １３…オフセット制御部 １４…パターン接続部 １５…アクセント句パターン記憶部 １６…音節パターン選択部 １７…音節パターン記憶部 １８…音節パターン変形部 １９…パターン重畳部 ２０…言語処理部 ２１…韻律生成部 ２２…音声信号生成 ２３…音韻継続時間長生成部 ２４…Ｆ０パターン生成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 徳田 龍太郎 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5D045 AA00 AA09 AC02

Claims (14)

【特許請求の範囲】
1. 【請求項１】テキストを解析することによって得られる
   言語情報を基に、当該テキストに対応する音声の韻律的
   な特徴の１つである、基本周波数の時間的変化を表した
   基本周波数パターンを生成する基本周波数パターン生成
   方法であって、 前記テキストに対応する音声の韻律的な特徴を制御する
   ための音声の単位としての第１の韻律制御単位毎の複数
   の第１の基本周波数パターンを記憶した第１の記憶手段
   と、前記第１の韻制御単位よりも時間長の短い音声の単
   位としての第２の韻律制御単位毎の複数の第２の基本周
   波数パターンを記憶した第２の記憶手段とのそれぞれか
   ら、前記言語情報に基づき前記テキストに対応する第１
   の基本周波数パターンと第２の基本周波数パターンを選
   択し、少なくとも、この選択された第１および第２の基
   本周波数パターンを基に、前記テキストに対応する音声
   の基本周波数パターンを生成することを特徴とする基本
   周波数パターン生成方法。
2. 【請求項２】前記言語情報を基に、前記テキストの音声
   の構成要素としての前記第１の韻律制御単位毎に前記基
   本周波数の平均的な高さを求め、この第１の韻律制御単
   位毎に前記基本周波数の平均的な高さと、前記選択され
   た第１および第２の基本周波数パターンとを基に、前記
   テキストに対応する音声の基本周波数パターンを生成す
   ることを特徴とする請求項１記載の基本周波数パターン
   生成方法。
3. 【請求項３】前記選択された第１および第２の基本周波
   数パターンのそれぞれを前記言語情報を基に変形した
   後、この変形された第１および第２の基本周波数パター
   ンを重畳することにより、前記第１の韻律制御単位毎の
   複数の第３の基本周波数パターンを生成し、この第３の
   基本周波数パターンの基本周波数の平均的な高さを前記
   言語情報を基に調節して前記第１の韻律制御単位毎の複
   数の第４の基本周波数パターンを生成し、この複数の第
   ４の基本周波数パターンを繋げることにより、前記テキ
   ストに対応する音声の基本周波数パターンを生成するこ
   とを特徴とする請求項１記載の基本周波数パターン生成
   方法。
4. 【請求項４】前記第１の韻律制御単位は、アクセント
   句、単語、形態素のうちのいずれか１つあることを特徴
   とする請求項１記載の基本周波数パターン生成方法。
5. 【請求項５】前記第２の韻律制御単位は、音節、音素、
   モーラのうちのいずれか１つであることを特徴とする請
   求項１記載の基本周波数パターン生成方法。
6. 【請求項６】テキストを解析することによって得られる
   言語情報を基に、当該テキストに対応する音声の韻律的
   な特徴の１つである、基本周波数の時間的変化を表した
   基本周波数パターンを生成する基本周波数パターン生成
   装置であって、 前記テキストに対応する音声の韻律的な特徴を制御する
   ための音声の単位としての第１の韻律制御単位毎の複数
   の第１の基本周波数パターンを記憶した第１の記憶手段
   と、 前記第１の韻制御単位よりも時間長の短い音声の単位と
   しての第２の韻律制御単位毎の複数の第２の基本周波数
   パターンを記憶した第２の記憶手段と、 前記第１の記憶手段に記憶された複数の第１の基本周波
   数パターンから、前記言語情報に基づき、前記テキスト
   の音声の構成要素としての前記第１の韻律制御単位毎に
   前記第１の基本周波数パターンを選択する第１の選択手
   段と、 前記第２の記憶手段に記憶された複数の第２の基本周波
   数パターンから、前記言語情報に基づき、前記テキスト
   の音声の構成要素としての前記第２の韻律制御単位毎に
   前記第２の基本周波数パターンを選択する第２の選択手
   段と、 少なくとも、前記第１および第２の選択手段のそれぞれ
   で選択された第１および第２の基本周波数パターンを基
   に、前記テキストに対応する音声の基本周波数パターン
   を生成する生成手段と、 を具備したことを特徴とする基本周波数パターン生成装
   置。
7. 【請求項７】テキストを解析することによって得られる
   言語情報を基に、当該テキストに対応する音声の韻律的
   な特徴の１つである、基本周波数の時間的変化を表した
   基本周波数パターンを生成する基本周波数パターン生成
   装置であって、 前記テキストに対応する音声の韻律的な特徴を制御する
   ための音声の単位としての第１の韻律制御単位毎の複数
   の第１の基本周波数パターンを記憶した第１の記憶手段
   と、 前記第１の韻制御単位よりも時間長の短い音声の単位と
   しての第２の韻律制御単位毎の複数の第２の基本周波数
   パターンを記憶した第２の記憶手段と、 前記第１の記憶手段に記憶された複数の第１の基本周波
   数パターンのうち、前記言語情報に基づき選択された第
   １の基本周波数パターンを前記言語情報を基に変形して
   第３の基本周波数パターンを生成する第１の生成手段
   と、 前記第２の記憶手段に記憶された複数の第２の基本周波
   数パターンのうち、前記言語情報に基づき選択された第
   ２の基本周波数パターンを前記言語情報を基に変形して
   第４の基本周波数パターンを生成する第２の生成手段
   と、 前記第３及び第４の基本周波数パターンを重畳して、前
   記第１の韻制御単位毎の複数の第５の基本周波数パター
   ンを生成する第３の生成手段と、 前記複数の第５の基本周波数パターンのそれぞれの基本
   周波数の平均的な高さを前記言語情報を基に調節して前
   記第１の韻律制御単位毎の複数の第６の基本周波数パタ
   ーンを生成する第４の生成手段と、 前記複数の第６の基本周波数パターンを繋げて、前記テ
   キストに対応する音声の基本周波数パターンを生成する
   第５の生成手段と、 を具備したことを特徴とする基本周波数パターン生成装
   置。
8. 【請求項８】前記第１の韻律制御単位は、アクセント
   句、単語、形態素のうちのいずれか１つあることを特徴
   とする請求項６または７記載の基本周波数パターン生成
   装置。
9. 【請求項９】前記第２の韻律制御単位は、音節、音素、
   モーラのうちのいずれか１つであることを特徴とする請
   求項６または７記載の基本周波数パターン生成装置。
10. 【請求項１０】テキストを解析することによって得られ
    る言語情報を基に、少なくとも、当該テキストに対応す
    る音声の基本周波数の時間的変化を表した基本周波数パ
    ターンを含む当該音声の韻律的な特徴を表した韻律情報
    を求めて、少なくともこの韻律情報を基に当該テキスト
    に対応する音声を合成する音声合成方法において、 前記韻律的な特徴を制御するための音声の単位としての
    第１の韻律制御単位毎の複数の第１の基本周波数パター
    ンを記憶した第１の記憶手段と、前記第１の韻制御単位
    よりも時間長の短い音声の単位としての第２の韻律制御
    単位毎の複数の第２の基本周波数パターンを記憶した第
    ２の記憶手段とのそれぞれから、前記言語情報に基づき
    前記テキストに対応する第１の基本周波数パターンと第
    ２の基本周波数パターンを選択し、少なくとも、この選
    択された第１および第２の基本周波数パターンを基に、
    前記テキストに対応する音声の基本周波数パターンを生
    成することを特徴とする音声合成方法。
11. 【請求項１１】テキストを解析することによって得られ
    る言語情報を基に、少なくとも、当該テキストに対応す
    る音声の基本周波数の時間的変化を表した基本周波数パ
    ターンを含む当該音声の韻律的な特徴を表した韻律情報
    を求めて、少なくともこの韻律情報を基に当該テキスト
    に対応する音声を合成する音声合成方法において、 前記韻律的な特徴を制御するための音声の単位としての
    第１の韻律制御単位毎の複数の第１の基本周波数パター
    ンを記憶した第１の記憶手段と、前記第１の韻制御単位
    よりも時間長の短い音声の単位としての第２の韻律制御
    単位毎の複数の第２の基本周波数パターンを記憶した第
    ２の記憶手段とのそれぞれから、前記言語情報に基づき
    前記テキストに対応する第１の基本周波数パターンと第
    ２の基本周波数パターンを選択し、この選択された第１
    および第２の基本周波数パターンのそれぞれを前記言語
    情報を基に変形した後、当該変形された第１および第２
    の基本周波数パターンを重畳することにより、前記第１
    の韻律制御単位毎の第３の基本周波数パターンを生成
    し、この第３の基本周波数パターンの基本周波数の平均
    的な高さを前記言語情報を基に調節して前記第１の韻律
    制御単位毎の複数の第４の基本周波数パターンを生成
    し、この複数の第４の基本周波数パターンを接続するこ
    とにより、前記テキストに対応する音声の基本周波数パ
    ターンを生成することを特徴とする音声合成方法。
12. 【請求項１２】テキストを解析することによって得られ
    る言語情報を基に、少なくとも、当該テキストに対応す
    る音声の基本周波数の時間的変化を表した基本周波数パ
    ターンを含む当該音声の韻律的な特徴を表した韻律情報
    を求めて、少なくともこの韻律情報を基に当該テキスト
    に対応する音声を合成する音声合成装置において、 前記韻律的な特徴を制御するための音声の単位としての
    第１の韻律制御単位毎の複数の第１の基本周波数パター
    ンを記憶した第１の記憶手段と、 前記第１の韻制御単位よりも時間長の短い音声の単位と
    しての第２の韻律制御単位毎の複数の第２の基本周波数
    パターンを記憶した第２の記憶手段と、 前記第１の記憶手段に記憶された複数の第１の基本周波
    数パターンのうち、前記言語情報に基づき選択された第
    １の基本周波数パターンを、前記言語情報を基に変形し
    て第３の基本周波数パターンを生成する第１の生成手段
    と、 前記第２の記憶手段に記憶された複数の第２の基本周波
    数パターンのうち、前記言語情報に基づき選択された第
    ２の基本周波数パターンを、前記言語情報を基に変形し
    て第４の基本周波数パターンを生成する第２の生成手段
    と、 前記第３及び第４の基本周波数パターンを重畳して、前
    記第１の韻制御単位毎の複数の第５の基本周波数パター
    ンを生成する第３の生成手段と、 前記複数の第５の基本周波数パターンのそれぞれの基本
    周波数の平均的な高さを前記言語情報を基に調節して前
    記第１の韻律制御単位毎の複数の第６の基本周波数パタ
    ーンを生成する第４の生成手段と、 前記複数の第６の基本周波数パターンを繋げて、前記テ
    キストに対応する音声の基本周波数パターンを生成する
    第５の生成手段と、 少なくとも、前記第５の生成手段で生成された基本周波
    数パターンを基に、前記テキストに対応する音声を合成
    する音声合成手段と、 を具備したことを特徴とする音声合成装置。
13. 【請求項１３】テキストを解析することによって得られ
    る言語情報を基に、当該テキストに対応する音声の韻律
    的な特徴の１つである、基本周波数の時間的変化を表し
    た基本周波数パターンを生成する基本周波数パターン生
    成プログラムであって、 コンピュータに、 前記テキストに対応する韻律的な特徴を制御するための
    音声の単位としての第１の韻律制御単位毎の複数の第１
    の基本周波数パターンを記憶した第１の記憶手段から、
    前記言語情報に基づき、当該テキストの音声の構成要素
    である前記第１の韻律制御単位毎に、前記第１の基本周
    波数パターンを選択する第１の選択ステップと、 前記第１の韻制御単位よりも時間長の短い音声の単位と
    しての第２の韻律制御単位毎の複数の第２の基本周波数
    パターンを記憶した第２の記憶手段から、前記言語情報
    に基づき、当該テキストの音声の構成要素である前記第
    ２の韻律制御単位毎に、前記第２の基本周波数パターン
    を選択する第２の選択ステップと、 前記第１の選択ステップで選択された第１の基本周波数
    パターンを前記言語情報を基に変形して第３の基本周波
    数パターンを生成する第１の生成ステップと、 前記第２の選択ステップで選択された第２の基本周波数
    パターンを前記言語情報を基に変形して第４の基本周波
    数パターンを生成する第２の生成ステップと、 前記第３及び第４の基本周波数パターンを重畳して、前
    記第１の韻制御単位毎の複数の第５の基本周波数パター
    ンを生成する第３の生成ステップと、 前記複数の第５の基本周波数パターンのそれぞれの基本
    周波数の平均的な高さを前記言語情報を基に調節して前
    記第１の韻律制御単位毎の複数の第６の基本周波数パタ
    ーンを生成する第４の生成ステップと、 前記複数の第６の基本周波数パターンを繋げて、前記テ
    キストに対応する音声の基本周波数パターンを生成する
    第５の生成ステップと、 を実行させる基本周波数パターン生成プログラム。
14. 【請求項１４】テキストを解析することによって得られ
    る言語情報を基に、少なくとも、当該テキストに対応す
    る音声の基本周波数の時間的変化を表した基本周波数パ
    ターンを含む当該音声の韻律的な特徴を表した韻律情報
    を求めて、少なくともこの韻律情報を基に当該テキスト
    に対応する音声を合成する音声合成プログラムにおい
    て、 前記韻律的な特徴を制御するための音声の単位としての
    第１の韻律制御単位毎の複数の第１の基本周波数パター
    ンを記憶した第１の記憶手段から、前記言語情報に基づ
    き、当該テキストの音声の構成要素である前記第１の韻
    律制御単位毎に、前記第１の基本周波数パターンを選択
    する第１の選択ステップと、 前記第１の韻制御単位よりも時間長の短い音声の単位と
    しての第２の韻律制御単位毎の複数の第２の基本周波数
    パターンを記憶した第２の記憶手段から、前記言語情報
    に基づき、当該テキストの音声の構成要素である前記第
    ２の韻律制御単位毎に、前記第２の基本周波数パターン
    を選択する第２の選択ステップと、 前記第１の選択ステップで選択された第１の基本周波数
    パターンを前記言語情報を基に変形して第３の基本周波
    数パターンを生成する第１の生成ステップと、 前記第２の選択ステップで選択された第２の基本周波数
    パターンを前記言語情報を基に変形して第４の基本周波
    数パターンを生成する第２の生成ステップと、 前記第３及び第４の基本周波数パターンを重畳して、前
    記第１の韻制御単位毎の複数の第５の基本周波数パター
    ンを生成する第３の生成ステップと、 前記複数の第５の基本周波数パターンのそれぞれの基本
    周波数の平均的な高さを前記言語情報を基に調節して前
    記第１の韻律制御単位毎の複数の第６の基本周波数パタ
    ーンを生成する第４の生成ステップと、 前記複数の第６の基本周波数パターンを繋げて、前記テ
    キストに対応する音声の基本周波数パターンを生成する
    第５の生成ステップと、 少なくとも、前記第５の生成ステップで生成された基本
    周波数パターンを基に、前記テキストに対応する音声を
    合成する音声合成ステップと、 を実行させる音声合成プログラム。