JP3425996B2

JP3425996B2 - ピッチパターン生成装置

Info

Publication number: JP3425996B2
Application number: JP18005693A
Authority: JP
Inventors: 哲也酒寄
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1992-07-30
Filing date: 1993-06-24
Publication date: 2003-07-14
Anticipated expiration: 2018-07-14
Also published as: JPH06236197A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、規則音声合成装置など
に用いられ、ピッチ周波数の時間パターン，すなわちピ
ッチパターンを生成するピッチパターン生成装置に関す
る。

【０００２】

【従来の技術】従来、規則音声合成装置による合成音
は、人間の発声とは明らかに異なる機械的で単調なもの
であり、自然さに欠け、聴く者にとって違和感があっ
た。自然音声に近い合成音を得るため、近年、例えば特
開平２−１９７８９７号（以下、従来例１と称す），あ
るいは特開平３−１３９６９９号（以下、従来例２と称
す）に示されているような装置が提案されている。

【０００３】すなわち、従来例１には、単語あるいは文
節のアクセント型に応じてピッチ周波数が上昇するモー
ラにおける音素の種類ごとにピッチ周波数の上昇パター
ンを記憶し、また、単語あるいは文節のアクセント型に
応じてピッチ周波数が下降するモーラにおける音素の種
類ごとにピッチ周波数の下降パターンを記憶し、合成す
る単語あるいは文節のアクセント型に応じてピッチ周波
数が上昇するモーラにおける音素の種類に応じて上記記
憶されたピッチ周波数の上昇パターンを読み出し、合成
する単語あるいは文節のアクセント型に応じてピッチ周
波数が下降するモーラにおける音素の種類に応じて上記
記憶されたピッチ周波数の下降パターンを読み出し、読
み出されたピッチ周波数の上昇パターンと読み出された
ピッチ周波数の下降パターンとを接続して単語あるいは
文節全体のピッチパターンを生成するピッチパターン生
成装置が提案されており、この装置では、ピッチ周波数
レベルが変化するモーラにおいて、自然音声のピッチパ
ターンに近いピッチパターンを生成することを意図して
いる。

【０００４】また、従来例２には、韻律語を単位として
音声を記憶し、かつピッチパターンが任意に制御できる
音声編集合成器において、各韻律語の記憶時にピッチに
ついてはアクセント成分のみを記憶しておき、文章合成
時にその文章に対応したフレーズ成分を生成するととも
に、該フレーズ成分にアクセント成分を重畳することに
よりピッチパターンを生成する音声編集合成器が提案さ
れており、この音声編集合成器では、文章全体としての
抑揚が自然となるようなピッチパターンを生成すること
を意図している。

【０００５】

【発明が解決しようとする課題】このように、従来例１
および従来例２に示されているいずれの装置も、自然音
声に近い合成音を得ることを意図している。しかしなが
ら、従来例１のピッチパターン生成装置では、使用する
パターンはアクセント型に応じてピッチが上昇あるいは
下降する部分だけに限られているので、そのほかの部分
の不自然性は解消されない。また、このパターンはピッ
チ周波数が「高」から「低」へ、あるいはその逆のレベ
ルへ変化する位置の音素の種類だけによって分類されて
いるので、同じ音韻で変化する場合にはいつも同じパタ
ーンが使用され単調な音声となり、さらに、周囲の音韻
環境やプロミネンスの有無などが考慮されていないた
め、不自然さが残るという問題があった。

【０００６】また、従来例２の装置は、音声編集合成器
に関するものであるので、使用する全ての韻律語に対応
してアクセント成分を記憶している必要があるが、韻律
語は一般に複数の単語や文節の組み合わせからなるた
め、全ての韻律語を網羅して記憶することは現実的に不
可能である。また、文章内の位置，文脈，イントネーシ
ョン，プロミネンス，発話速度などが変化した場合には
そのままでは使用できない。従って、規則合成のような
任意の音声を合成する装置への適用は難かしいという問
題があった。

【０００７】本発明は、このような問題を解決し、規則
合成のような任意の音声を合成する装置への適用にも適
しており、従来に比べてより自然なピッチパターンを生
成するピッチパターン生成装置を提供することを目的と
している。

【０００８】

【課題を解決するための手段および作用】上記目的を達
成するために、請求項１記載の発明は、合成時のピッチ
パターン設定単位と同じ単位で人間の発声のピッチパタ
ーンを切り出したユニットパターンを記憶するパターン
記憶手段と、所定の入力属性または入力言語情報に基づ
き、該入力属性または入力言語情報に適合したユニット
パターンを検索するパターン検索手段と、検索により得
られたユニットパターンを時間軸上に配置するパターン
配置手段と、時間軸上に配置されたユニットパターンを
変形するパターン変形手段とを有し、前記ユニットパタ
−ンをそのまま伸縮したパターンのみから合成時のピッ
チパターンを生成するようになっている。このように、
人間の発声したピッチパターンをそのまま使用すること
によって、規則による生成では困難な自然な変化やゆら
ぎ，ニュアンスなどを表現可能なピッチパターンを生成
することができる。

【０００９】また、請求項２記載の発明において、アク
セント句の上昇部と下降部とをそれぞれ１つ含むものを
１つの単位として切り出したものをユニットパターンと
して使用する場合には、ピッチパターンの重要な単位で
あるアクセント句のパターンをほぼ保存したピッチパタ
ーンを生成することができる。また、アクセント句の上
昇部または下降部を１つ含むものをユニットパターンと
して使用する場合には、簡単な接続処理によってピッチ
パターンを生成することができる。また、アクセント句
の平坦部を含むユニットパターンを使用する場合には、
定常部のゆらぎ等を保存でき、自然なピッチパターンを
生成することができる。また、フレーズ末の特徴的ピッ
チ変化をユニットパターンとして使用する場合には、規
則による生成では困難な多彩なイントネーションを表現
することできる。また、特定の範囲のピッチ変化率を示
すパターンをユニットパターンとして使用する場合に
は、変化部分の概形や定常部分のゆらぎ等を保存するこ
とができ、規則による生成では困難であった多彩で自然
なピッチパターンを生成することができる。また、特定
の範囲のピッチ曲率を示すパターンをユニットパターン
として使用する場合には、その他の部分を直線で補間で
きるため、処理量を低減することができる。

【００１０】また、請求項３記載の発明において、ベク
トル量子化されたユニットパターンを記憶し、これを使
用するときには、パターン記憶手段の容量を大幅に削減
することができ、装置の低コスト化，小型化，処理の高
速化を図ることができる。

【００１１】また、請求項４記載の発明において、ピッ
チ変化部分近傍の複数モーラにわたる音韻環境からユニ
ットパターンを検索する場合には、音韻環境によるパタ
ーンの局所的変化の再現性が向上し、より緻密なピッチ
パターンを生成することができる。また、プロミネンス
の情報からユニットパターンを検索する場合には、従来
単調になりがちだった合成音声の抑揚にめりはりがつ
き、了解性，自然性を向上させることができる。また、
イントネーションスタイルからユニットパターンを検索
する場合には、規則による生成では表現が困難なイント
ネーションを正確に再現することができる。

【００１２】また、請求項５記載の発明は、ニューラル
ネットワークによってユニットパターンを検索するよう
になっており、これにより、学習した人間の発声パター
ンに近いパターンを再現することができ、自然性を向上
させることができる。

【００１３】また、請求項６記載の発明において、パタ
ーン配置手段により、アクセント句境界の位置を用いて
ユニットパターンを配置する場合には、アクセント句の
上昇開始点をほぼ再現でき、了解性を向上させることが
できる。また、アクセント核の位置を用いてユニットパ
ターンを配置する場合には、アクセント句の下降開始点
をほぼ再現でき、了解性を向上させることができる。ま
た、フレーズ末の音韻，音節，モーラなどの境界位置を
用いてユニットパターンを配置する場合には、イントネ
ーションを効果的に表現でき、自然性を向上させること
ができる。また、ピッチ変化部分近傍音韻環境情報を用
いてユニットパターンを配置することにより、ピッチパ
ターンの時間構造をより緻密に再現でき、自然性を向上
させることができる。

【００１４】また、請求項７記載の発明では、パタ−ン
変形手段は、アクセント句の平坦部を時間軸方向に伸縮
するようにしており、ピッチ変化部については時間軸方
向に変形しないことにより、ピッチ変化部の時間構造を
保存することができ、安定した自然なピッチパターンを
生成することができる。また、アクセント句の上昇部と
下降部をピッチ軸方向の変形をするようにしており、平
坦部についてはピッチ軸方向に変形しないことにより、
ピッチ定常部部の高さやゆらぎ等を保存することがで
き、プロミネンスなども含めたパターン表現が可能とな
り自然性を向上させることができる。

【００１５】また、請求項８，９記載の発明では、パタ
−ン変形手段によって変形されたユニットパターンを接
続して一連のフレーズのパターンを生成するパターン接
続手段がさらに設けられており、パターン接続手段にお
いて、ユニットパターン間を直線で補間する場合には、
処理量を低減できて、高速化や低コスト化を図ることが
でき、また、ユニットパターン間を３次曲線で補間する
場合には、人間のピッチ変化に似た概形を表現でき、自
然なピッチパターンを生成することができる。

【００１６】また、請求項１０乃至１６記載の発明で
は、パターン記憶手段に記憶されるユニットパターンと
して、特定の言語的状況において特徴的に現われるピッ
チパターンが用いられることを特徴としている。これに
より、規則音声合成の入力情報である言語情報から、ヒ
ューリスティックにパターンを検索することができ、効
率的で効果的なピッチパターン生成を実現することがで
きる。

【００１７】また、請求項１７，請求項１８記載の発明
では、パターン記憶手段には、折れ線近似されたユニッ
トパターンが記憶されるようになっており、この際、折
れ線近似されたユニットパターンは、始点のピッチおよ
び各折れ線のそれぞれの区間と折れ線の傾きとの表現デ
ータによって表現されてパターン記憶手段に記憶される
ことにより、ユニットパタ−ンのデ−タ量を減らし、メ
モリ量と処理量を軽減でき、低コスト化，高速化を図る
ことができる。さらに、ユニットパタ−ンのピッチ方向
のシフトは始点ピッチの増減のみで、時間方向の伸縮は
区間長の増減によって、それぞれ簡単に実現可能で、ユ
ニットパタ−ンの変形が簡単な処理によって実現できる
ため、高速化，高機能化を図ることができる。

【００１８】また、請求項１９記載の発明では、上記各
折れ線の傾きは、ピッチ周期が単位長だけ変化するのに
要する時間としてのステップ値によって表現されてお
り、この場合、パターン検索手段は、パターン記憶手段
に記憶されているユニットパターンの表現データを検索
し、該表現データに基づきユニットパターンを再生する
ときに、ステップ値が正の値の場合、ピッチ周期を単位
長増加させ、ステップ値が負の値の場合、ピッチ周期を
単位長減少させる処理を行なうようになっている。これ
により、カウンタ，比較器などによる非常に簡単な構成
で折れ線近似のユニットパタ−ンを再生し、実際のピッ
チパタ−ンを得ることができる。

【００１９】また、請求項２０記載の発明では、パター
ン変形手段は、各折れ線の傾きを表わすステップ値に一
定のバイアスを加えることによって、ユニットパターン
にピッチ方向の滑らかな変形を施こす。これにより、ユ
ニットパタ−ン間の接続やプロミネンス付与などで必要
となるパタ−ン変形処理が加算器だけの非常に簡単な構
成で実現できる。

【００２０】また、請求項２１記載の発明では、パター
ン変形手段は、ステップ値を“２”の補数表現によって
扱い、バイアスを加えた結果のステップ値の絶対値が最
大値を越えた場合に、これを反対符号の最大絶対値とす
る。これにより、右上がりのパタ−ンから右下がりのパ
タ−ンへ、またはその逆へ、連続的にかつ無理なく、パ
タ−ン変形する処理を簡単に実現することができる。

【００２１】また、請求項２２記載の発明では、ピッチ
変化量とバイアスとの対応関係が予め求められている場
合に、パターン変形手段は、該対応関係を用いてユニッ
トパターンのピッチ方向の変形を行なう。これにより、
ユニットパタ−ン間の接続やプロミネンス付与などで必
要となるバイアスを、処理量の多い乗除算を必要とする
ことなく、極めて容易に求めることができ、処理の高速
化を図ることができる。

【００２２】また、請求項２３記載の発明では、さら
に、パターン記憶手段に記憶されているユニットパター
ンと対応付けされて、条件を含むルールが記憶されるル
ール記憶手段が設けられており、パターン検索手段は、
モーラなどの入力言語情報単位ごとにルール記憶手段に
記憶されているルールの条件を調べることによって、ル
ールの条件を満たすユニットパターンをパターン記憶手
段から検索するようになっている。ユニットパタ−ン検
索処理をル−ル検索とすることによって、ユニットパタ
−ンの追加，削除，変更などのメンテナンスが容易とな
る。

【００２３】また、請求項２４記載の発明では、ルール
の条件には、言語情報単位の特徴を表わす複数の変数の
値の範囲が含まれており、パターン検索手段は、ルール
の条件に含まれる全ての変数について、入力言語情報単
位の値がその範囲内にあるとき当該ルールを採用するこ
とによって、ユニットパターンを検索するようになって
いる。ル−ルの条件に言語情報単位の特徴を表わす複数
の変数の値の範囲を含ませることで、ル−ル検索をル−
チン処理で行なうことができる。また、ル−ルを外部デ
−タ化することが容易となり、ル−ル自体の保守性を高
めることができる。

【００２４】また、請求項２５記載の発明では、ルール
の条件に含まれる変数として、当該言語情報単位の句頭
あるいは句末からの位置を用いるか、または、当該言語
情報単位を含む句の隣接句との境界種別を用いるか、ま
たは、当該言語情報単位を含む句のアクセント情報を用
いるか、または、当該言語情報単位の音韻情報を用いる
ようになっており、ル−ルの条件に含まれる変数とし
て、言語情報単位の句頭あるいは句末からの位置を用い
ることによって、句頭から句末へ向かって徐々に下降す
るなど、句内位置によって連続的に変化するピッチパタ
−ンの性質を表現することが可能となる。また、言語情
報単位を含む句の隣接句との境界種別を用いることによ
って、読点位置よりも文末を特に下げることによる文の
終始感の演出や、疑問文等の様々なイントネ−ションス
タイルへの対応など、句境界位置でのピッチパタ−ンの
特徴を表現することが可能となる。また、言語情報単位
を含む句のアクセント情報を用いることによって、頭高
型が中高型よりも左に傾いた山になるなどのアクセント
型による特徴や、プロミネンス，副次アクセント等のア
クセントレベルによる特徴など、ピッチパタ−ンの特徴
を表現することが可能となる。また、言語情報単位の音
韻情報を用いることによって、特定の音韻で見られる局
所的なピッチパタ−ンの特徴や、音韻継続時間長の影響
などを表現することが可能となる。

【００２５】また、請求項２６記載の発明では、１つの
ルールに複数のユニットパターンが対応付けされてお
り、ルールの条件を満たすユニットパターンが複数検索
される場合に、ゆれを与えて１つのユニットパターンを
選択するようになっている。これにより、画一的で機械
的なピッチパタ−ンを避けることが可能となり、より自
然なピッチパターンを得ることができる。

【００２６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係るピッチパターン生成装置の一
実施例のブロック図である。本実施例のピッチパターン
生成装置は、自然音声のピッチパターンから所定の単位
で切り出したユニットパターンが記憶されるパターン記
憶部１と、所定の入力属性に基づき、該入力属性に適合
したユニットパターンを検索するパターン検索部２と、
検索により得られたユニットパターンを時間軸上に配置
するパターン配置部３と、時間軸上に配置されたユニッ
トパターンを変形するパターン変形部４と、変形された
ユニットパターンを接続して一連のフレーズのパターン
を生成するパターン接続部５とを有している。

【００２７】ここで、パターン記憶部１に記憶されるユ
ニットパターンは、自然音声（すなわち人間の発声）の
ピッチパターンから図２，図３，図４または図５に示す
ような仕方で、切り出しがなされる。すなわち、図２で
は、文発声されたピッチパターンＰＰのアクセント句Ａ
Ｋの上昇部ＡＵの始点から平坦部ＡＦを経て下降部ＡＤ
の終点までを単位ＤＭ₀としてユニットパターンＵＮＰ
の切り出しを行なうようになっている。また、図３で
は、文発声されたピッチパターンＰＰのアクセント句Ａ
Ｋの上昇部ＡＵの始点からそれに続く平坦部ＡＦの終点
までと、下降部ＡＤの始点からそれに続く平坦部ＡＦの
終点までとを、それぞれ単位ＤＭ₁，ＤＭ₂として、ユニ
ットパターンＵＮＰの切り出しを行なうようになってい
る。また、図４では、平坦部ＡＦだけを単位ＤＭ₃とし
て、ユニットパターンＵＮＰの切り出しを行なうように
なっている。また、図５では、文末のイントネーション
を表現するような特徴のあるピッチ変化部分を単位ＤＭ
₄としてユニットパターンＵＮＰの切り出しを行なうよ
うになっている。なお、図２乃至図５において、アクセ
ント句の平坦部ＡＦとは、ピッチの上昇部ＡＵの終点か
ら下降部ＡＤの始点までの山の部分と、その反対の谷の
部分との両方を指している。また、図２乃至図５に示し
たような切り出しは、アクセント核位置などの属性情報
との関連においてなされるが、この他にも、図示しない
が、特定の範囲のピッチ変化率を示すピッチパターン区
間を単位としてユニットパターンを切り出しても良い
し、ある特定の範囲の曲率を示すピッチパターン区間を
単位としてユニットパターンを切り出しても良い。

【００２８】このようにして、パターン記憶部１には、
上記いずれか１つの仕方によって文音声から切り出され
た種々のユニットパターンが記憶されているか、あるい
はこれらのユニットパターンを予め作成したコードブッ
ク等によってベクトル量子化したユニットパターンがデ
ータベース化して記憶されている。

【００２９】また、パターン検索部２は、所定の入力属
性に適合したユニットパターンをパターン記憶部１から
検索するが、この検索の仕方としては、パターン記憶部
１内に記憶されている各ユニットパターンに、これを切
り出したときの属性情報を付加しておき、入力属性に最
も類似する属性情報をもつユニットパターンを選ぶとい
う方法が考えられる。さらに、ユニットパターン切り出
しの際に、予め作成したコードブックによってユニット
パターンがベクトル量子化されてパターン記憶部１に記
憶されている場合には、ベクトル量子化されたユニット
パターンのコードを出力としまたそのときの属性を入力
とするような教師データによって学習させたニューラル
ネットワークに、所定の入力属性を入力してユニットパ
ターンを検索する方法も考えられる。

【００３０】また、パターン検索部２において用いられ
る所定の入力属性とは、規則合成器に与えられるような
入力情報のうち、ピッチパターンに影響を与えると考え
られる情報であり、代表的なものとしてアクセント型な
どがあるが、この他に本実施例では以下の情報も入力属
性に加える。すなわち、従来から、ピッチが変化する前
後の近傍の音韻の種類がピッチの局所的変化をもたらす
ことが知られており、この情報をパターン検索に用いる
ことが有効と考えられ、これを入力属性に加える。ま
た、従来から、プロミネンスが付加された箇所はアクセ
ントの高さなどに変化を生ずることが知られているた
め、この情報をパターン検索に用いることが有効と考え
られ、これを入力属性に加える。また、図５に示したよ
うなパターンを選択する場合には、フレーズのイントネ
ーションスタイルの情報が必要であり、この情報をパタ
ーン検索に用いることが有効と考えられ、これを入力属
性に加える。

【００３１】また、パターン配置部３は、アクセント句
境界の時間軸上の位置を入力情報として、あるいは、ア
クセント核の時間軸上の位置を入力情報として、あるい
は、フレーズ末の音韻，音節，モーラなどの境界の時間
軸上の位置を入力情報として、あるいは、ピッチ変化部
分近傍の音韻環境情報を入力情報としてユニットパター
ン時間軸上の位置を決定するようになっている。

【００３２】また、パターン変形部４は、各ユニットパ
ターンの終点を次のユニットパターンの始点に一致させ
るように、使用されたユニットパターンの種類等に応
じ、アクセント句内の上昇部ＡＵ，平坦部ＡＦ，下降部
ＡＤのいずれか１つあるいは２つあるいは全てを、時間
軸方向および／またはピッチ軸方向に伸縮するような変
形を行なうようになっている。

【００３３】また、パターン接続部５は、使用されたユ
ニットパターンの種類等に応じ、ユニットパターン間を
直線で、あるいは３次曲線で補間して接続するようにな
っている。

【００３４】次に、このような構成のピッチパターン生
成装置の動作について説明する。先づ、人間の発声から
ユニットパターンを切り出して、これを予めパターン記
憶部１に記憶する。ユニットパターンの切り出しは、前
述したように、例えば図２，図３，図４または図５に示
したような方法によって行なうことができる。

【００３５】すなわち、図２のような方法が用いられる
場合、アクセント句の上昇部の始点から平坦部を経て下
降部の終点までを単位としてユニットパターンを切り出
すことができる。なお、これに類するものとして、アク
セント句をそのまま単位として切り出すことも考えら
れ、この場合にも図２と同様に、アクセント句のパター
ンをほぼそのまま記憶しておくことができるが、図２に
示した仕方ではこれに比べて、同アクセント型の異なる
モーラ数の句を同列に扱えるという利点がある。

【００３６】また、図３のような方法が用いられる場
合、アクセント句の上昇部の始点からそれに続く平坦部
の終点までと、下降部の始点からそれに続く平坦部の終
点までをそれぞれ単位としてユニットパターンを切り出
すことができる。なお、これに類するものとして上昇
部，下降部のみを単位として切り出すことも考えられ、
この場合にもユニットパターンの始点の位置を決定する
だけで、ユニットパターンをほぼ配置することができる
が、図３に示した仕方はこれに比べて、パターン間接続
の際の補間によって生じる自然性劣化を低減できるとい
う利点がある。

【００３７】また、図４のような仕方が用いられる場
合、平坦部だけを単位としてユニットパターンを切り出
すことができる。文献「“基本周期のゆらぎの性質とそ
のモデルに関する検討”，小室修，粕谷英樹，日本音響
学会誌, Vol.47,No.12, pp.928-934, 1991」には、定常
母音部分での遅いゆらぎが自然性に影響を与えると報告
されており、図４の方法によって切り出しを行なえば、
このような聴覚上重要なゆらぎを保存することができ
る。

【００３８】また、図５のような仕方が用いられる場
合、文末のイントネーションを表現するような、特徴あ
るピッチ変化部分を単位をしてユニットパターンを切り
出すことができる。なお、図５では、疑問を表わす尻上
がりのパターンの例が示されている。図５の方法によれ
ば文末のイントネーションのパターンをそのまま記憶で
きるため、規則では表現が困難な微妙なニュアンスの違
いも表現が可能になる。

【００３９】図２乃至図５の例では、アクセント核位置
などの属性情報との関連において切り出されたユニット
パターンを使用することを前提としたが、この他に、特
定の範囲のピッチ変化率や曲率をもつパターンを自動的
に切り出したユニットパターンを使用する方法も考えら
れる。前者はピッチが変化する部分をパターンとして記
憶することによってその外形を保存できることや、定常
部をパターンとして記憶することによってゆらぎを保存
できるという利点がある。また、後者では曲線状の部分
をパターンとして記憶することによって、その他の部分
を直線で補間できるため、処理量を低減することができ
る。図２乃至図５あるいはその他の方法によって切り出
されたユニットパターンは、これをそのままパターン記
憶部１に記憶しても良いし、あるいは、ベクトル量子化
などを行なってコード化してパターン記憶部１に記憶し
ても良い。

【００４０】このようにして、パターン記憶部１にユニ
ットパターンを記憶した後、実際のピッチパターン生成
処理を開始させることができる。このピッチパターン生
成処理では、先づ、パターン検索部２に所定の入力属性
を与え、この入力属性に適するユニットパターンをパタ
ーン記憶部１から検索させる。ここで、本実施例では、
入力属性には、代表的なアクセント型などの他に、ピッ
チが変化する前後の近傍の音韻の種類の情報，プロミネ
ンスの情報，フレーズのイントネーションスタイルの情
報のうちの少なくとも１つの情報が付加されている。こ
のような入力属性の種々の情報のうち、ピッチ変化部分
近傍の複数モーラにわたる音韻環境を用いユニットパタ
ーンを検索する場合には、音韻環境によるパターンの局
所的変化の再現性が向上し、より緻密なパターン生成が
可能になる。また、プロミネンスの情報を用いユニット
パターンを検索する場合には、従来単調になりがちだっ
た合成音声の抑揚にめりはりがつき、了解性，自然性を
向上させることができる。また、イントネーションスタ
イルを用いユニットパターンを検索する場合には、規則
による生成では表現が困難なイントネーションを正確に
再現することが可能となる。また、ニューラルネットワ
ークによってユニットパターンを検索することによっ
て、学習した人間の発声パターンに近いパターンを再現
することができ、自然性を向上させることができる。

【００４１】このようにして、最適なユニットパターン
が検索された後、パターン配置部３では、主にアクセン
ト核やアクセント句境界の時間軸上の位置などから、検
索されたユニットパターンの生成ピッチパターンにおけ
る時間軸上の位置，より詳しくはユニットパターンの始
点の位置を決定し、ユニットパターンを配置する。より
詳しくは、パターン配置部３は、ユニットパターンの始
点の位置を記号レベルでのピッチレベルが変化する音韻
境界位置に、その部分の音韻環境によって変化するずれ
を考慮して決定する。ここで、ピッチレベルが変化する
位置とは、アクセント句に関しては句境界や核位置など
であるが、図５に示したようなユニットパターンに関し
ては、例えば疑問を表わす尻上がりのパターンなどは最
終母音開始点を基準として位置が決まることが文献
「“日本語疑問文の知覚”，三浦一郎，杉藤美代子，日
本音響学会秋季研究発表会講演論文集, 1991,I,2-6-9,p
p255-256」などによって知られているので、フレーズ末
の音韻，音節,モーラなどの境界位置を用いる。図６は
図３に示したようなユニットパタ−ンを用いたときのパ
タ−ン配置処理の様子を示す図であり、図６において、
下部には、音韻境界の位置と記号レベルでのピッチレベ
ルの高低を示し、上部にユニットパターンを配置した様
子を示している。図６において、点線Ｌ１は上昇部ある
いは下降部と平坦部との境界を表わしており、この場
合、ユニットパターンの始点の位置は太線Ｌ２のように
決定される。

【００４２】このようにして、ユニットパターンの時間
軸上の位置を決定した後、パターン変形部４では、生成
ピッチパターンに自然に埋めこまれるように、ユニット
パターンを変形する処理を行なう。すなわち、パターン
変形部４では、先づ、時間軸上の変形を行なう。図７は
図６のように配置のなされたユニットパターンに対して
変形を施す様子を示す図である。すなわち、図６では、
図３に示したようなユニットパターンを使用しているの
で、図７では各ユニットパターンの始点を前のユニット
パターンの終点に一致させるように、時間軸方向の伸縮
を行なう。このとき、時間軸方向の伸縮は平坦部のみで
行なうことが、発声機構の生理的制約からも妥当と考え
られる。なお、ここで、伸縮の具体的方法は特に限定す
るものではなく、また、伸縮には、データの打ち切りや
繰り返し、外挿なども含まれる。

【００４３】このようにして、時間軸方向の伸縮を行な
った後、ピッチ軸上の変形を行なう。図８は図７のよう
に時間軸方向の変形がなされたピッチパターンにピッチ
軸上の変形を施す様子を示す図である。すなわち、この
例では、各ユニットパターンの始点を前のユニットパタ
ーンの終点に一致させるように、ピッチ軸方向の伸縮が
なされる。このとき、上昇部，下降部は前後のつながり
によって変化することは妥当であるので、ピッチ軸方向
の伸縮を、上昇部および下降部のみで行なうのが良く、
これによって、平坦部の概形やゆらぎを保存することが
できる。このような方法によってユニットパターンの平
坦部はその絶対的高さも保存される。このため、プロミ
ネンスの影響やフレーズ中の位置などによる影響も含め
て、ピッチパターンをユニットパターンによって再現す
ることができる。

【００４４】上述の例では、図３に示したようなユニッ
トパターンを使用したため、パターン間の接続に際して
補間処理は特に必要としなかったが、図３に示したよう
なユニットパターン以外のユニットパターンを使用する
場合には、パターン接続部５において何らかの補間処理
が必要となる。このとき、上昇部と下降部のみをユニッ
トパターンとする場合にはその間を直線によって、ま
た、図４のように平坦部をユニットパターンとする場合
にはその間を３次曲線によって補間することで、より人
間のピッチパターンに近いパターンを生成することがで
きる。

【００４５】ところで、上述したようなユニット接続型
のピッチパターン生成装置において、どのようなユニッ
トパターンをパターン記憶部に記憶するかという問題が
性能を大きく左右する。そこで本発明では、さらに、パ
ターン記憶部に記憶されるユニットパターンとして、特
定の言語的状況において特徴的に現われるピッチパター
ンを用い、これにより、効率的で効果的なピッチパター
ン生成を実現するようにしている。以下、このようなユ
ニットパターンについて詳述する。

【００４６】連続音声には呼気段落や文などの複数のフ
レーズがあるが、通常の発声では、フレーズ内位置が末
尾に近づくにつれて低いピッチパターンとなる。従っ
て、フレーズ内位置の異なる複数のパターンを用意する
ことにより、声立て成分の分離・合成などの複雑な処理
をせずに、上記のようなフレーズ感を出すことが可能と
なる。また、文末では文の長さにかかわらず、比較的低
い専用パターンを使用することによって、文の終始感を
出すことができる。このように、ユニットパターンの１
つとして、呼気段落や文など、一連のフレーズにおける
特定の位置において特徴的に現われるピッチパターンを
用いることにより、フレーズ感，文の終始感などを表現
することができる。

【００４７】また、アクセント句のパターン概形は、ア
クセント核の有無，位置などによって異なる。無核のア
クセント句パターンは有核のそれに比べてなだらかであ
り、頭高型のものはやや急峻に上昇してなだらかに下降
する。従って、アクセント型の異なる複数のパターンを
用意し使い分けることで、このような違いを表現でき
る。このように、ユニットパターンの１つとして、頭高
型，平板型など特定のアクセント型において特徴的に現
われるピッチパターンを用いることにより、より自然な
ピッチパターンを生成することができる。

【００４８】また、プロミネンスが付与されている部分
は、比較的高い専用パターンを使用することで、フレー
ズ頭でも不自然なピッチ上昇のない自然なプロミネンス
感を出すことができる。また、従来困難であった副次ア
クセントの表現も、アクセントレベルの異なるパターン
を用意することで可能となる。このように、ユニットパ
ターンの１つとして、プロミネンスが付与されている部
分，副次アクセント核が現われる部分などの特定のアク
セントレベルにおいて特徴的に現われるピッチパターン
を用いることにより、プロミネンス，副次アクセントの
表現が可能となり、自然性を向上させることができる。

【００４９】また、ユニットパターンの１つとして、間
投詞や終助詞，擬声語，擬態語，掛け声などのその語に
独特のピッチパターンで発声される語を用いるか、ある
いはフレーズのピッチパターンをそのまま用いることも
でき、この場合には、その語に独特のピッチパターンで
発声される語を忠実に再現できて、自然性を向上させる
ことができる。

【００５０】また、数字を棒読みする場合や和歌などの
韻文を朗読する場合は、一定のピッチパターンが周期的
に現われる。従って、ユニットパターンの１つとして、
数字列，韻文などに周期的に現われる特徴的なピッチパ
ターンを用いることにより、上記のような独特の節回し
の発声にも対応することができる。

【００５１】また、会話では「えー」や「うん」など、
語そのものにはあまり意味はなく、主に韻律の違いによ
って意図を表現する場合が多々ある。従って、ユニット
パターンの１つとして、語や音韻から独立して主に韻律
によって特定の意図を表わす特徴的ピッチパターンを用
いることにより、効率的に自然な会話出力ができる。

【００５２】図９は、入力言語情報からこれらのユニッ
トパターンを検索してピッチパターンを合成する処理の
具体例を示す図である。図９の例では、パターン記憶部
１に、〔Ｐ０１〕文頭平板型，〔Ｐ０３〕文末平板型，
〔Ｐ４１〕プロミネンス，〔Ｐ４２〕副次アクセント，
〔Ｐ５１〕ですか？，〔Ｐ６１〕数字，〔Ｐ７１〕意
外，の７種類のユニットパターンが予め記憶されている
場合が示されており、入力言語情報として、「え？（意
外）／９２０９１７ですか？もう一度／メニュー番号
を（プロミネンス）／入力してください」が入力する
と、パターン検索部２では、パターン記憶部１からこの
入力言語情報に対応したユニットパターン列を検索す
る。この結果、「〔Ｐ７１〕え？〔Ｐ６１〕９２〔Ｐ６
１〕０９〔Ｐ６１〕１７〔Ｐ５１〕ですか？〔Ｐ０１〕
もう一度〔Ｐ４１〕メニュー番号を〔Ｐ０３〕入力して
〔Ｐ４２〕ください」のユニットパターン列を検索する
ことができる。次いで、このように検索されたユニット
パターン列をパターン配置部３，パターン変形部４，パ
ターン接続部５において、配置，変形，接続することに
よって、図９の下部に示すような自然なピッチパターン
を生成することができる。

【００５３】このように、パターン記憶部１に記憶され
るユニットパターンとして、特定の言語的状況において
特徴的に現われるピッチパターンを用いることにより、
入力言語情報からヒューリスティックにユニットパター
ンを検索することができ、このユニットパターンを配
置，変形，接続することによって、比較的簡単な処理で
効率的かつ効果的に、自然なピッチパターンを生成する
ことができる。

【００５４】なお、ユニットパタ−ンとして自然音声の
ピッチパタ−ンをそのまま記憶する場合には、生成規則
やモデルパラメ−タとして記憶するよりも大量のデ−タ
が必要となり、メモリ容量の増加や処理量の増加による
リアルタイム処理の困難が予想される。このため、それ
を回避するような何らかの工夫が必要となる。

【００５５】本願の発明者は、メモリ容量の増加や処理
量の増加によってリアルタイム処理が困難になるのを防
止するため、自然音声のピッチパタ−ンから適当な単位
で切り出したユニットパタ−ンをそのままの形でパタ−
ン記憶部１に記憶するのではなく、ユニットパタ−ンを
折れ線近似してパタ−ン記憶部１に記憶することをさら
に案出した。

【００５６】図１０には、本来曲線的であるユニットパ
タ−ンを折れ線近似した一例が示されている。図１０の
例では、１つのユニットパタ−ンが、７つの折れ線に近
似され、各折れ線ごとの区間（セグメント）Ｓ１及至Ｓ
７に区分されている。ここで、ユニットパタ−ンは、始
点のピッチと、それぞれの区間の区間長（セグメント
長）と、それぞれの区間の折れ線（線分）の傾きを表す
ステップ値とによって表現することができ、ユニットパ
タ−ンをこの表現形式でパタ−ン記憶部１に記憶するこ
とができる。なお、ステップ値とは、ピッチ周期が１サ
ンプル変化するのに要する時間，すなわちピッチ更新周
期であり、折れ線の傾きが図１１（ａ）のように右上が
りのときには正（＋）の値をとり、また、図１１（ｂ）
のように右下がりのときには負（−）の値をとるものと
する。

【００５７】このように、本来曲線的であるユニットパ
タ−ンを折れ線で近似し、これを始点のピッチおよびそ
れぞれの区間の区間長とステップ値とにより表現してパ
タ−ン記憶部１に記憶することにより、ユニットパタ−
ンをそのままの形で記憶する場合に比べて、パタ−ン記
憶部１に記憶されるデ−タ量を大幅に減少することがで
きる。さらに、ユニットパタ−ンのピッチ方向のシフト
を始点ピッチの増減のみで行なうことができ、また、時
間軸方向の伸縮を区間長の増減によって行なうことがで
きて、パタ−ンの変形も簡単に行なうことができる。

【００５８】但し、上記のような表現を用いる場合に
は、パタ−ン検索部２において、パタ−ン記憶部１から
所定のユニットパタ−ンの上記表現形式のデ−タを検索
し読む出したときに、これをユニットパタ−ンの形に
（すなわち折れ線の形に）再生（生成）する必要がある
が、このユニットパタ−ン生成処理は、図１２に示すよ
うな簡単な構成によって実現できる。すなわち、図１２
に示す回路は、ある１つの区間における折れ線を再生
（生成）するのに、その区間のステップ値が入力するよ
うになっており、入力したステップ値の絶対値を求める
（すなわち、ステップ値が負のときに符号を反転させ
る）インバ−タ１１と、ステップ値の絶対値が設定さ
れ、所定時間間隔のサンプルクロックを計数し、サンプ
ルクロックの計数値がステップ値の絶対値が一致したと
きに、“１”を出力するステップカウンタ１２と、入力
したステップ値の正負を判定するコンパレ−タ１３と、
コンパレ−タ１３において正（＋）と判別され、ステッ
プカウンタ１２から“１”が出力されたときに“１”を
出力するＡＮＤ回路１４と、コンパレ−タ１３において
負（−）と判別され、ステップカウンタ１２から“１”
が出力されたときに“１”を出力するＡＮＤ回路１５
と、ＡＮＤ回路１４からの出力“１”を正（＋）方向に
カウントし、また、ＡＮＤ回路１５からの出力“１”を
負（−）方向にカウントし、そのカウント値をピッチと
して出力するピッチカウンタ１６とから構成されてお
り、この回路によって、ステップ値（ピッチ更新周期）
が正の場合、ピッチ周期を単位長増加させ、ステップ値
が負の場合、ピッチ周期を単位長減少させる処理を行な
うことができる。換言すれば、ピッチカウンタ１６の初
期値に始点のピッチを設定し、１つの区間において時間
軸方向に区間長（セグメント長）となるまで上記回路の
ピッチカウンタ１６からピッチを出力させ、これを各区
間について順次に行なうことにより、折れ線近似のユニ
ットパタ−ンを再生（生成）することができる。このよ
うにして、ユニットパタ−ンを再生することができ、ま
た、実際のピッチパタ−ンを生成することができる。

【００５９】また、パタ−ン配置部３では、パタ−ン検
索部２で検索され生成された各ユニットパタ−ンを所定
位置に配置し、パタ−ン変形部４では、自然なピッチパ
タ−ンを得るために、パタ−ン配置部３により配置され
た各ユニットパタ−ンを変形する処理を行なうが、この
ときに、隣接ユニットパタ−ン間の接続やプロミネンス
付与などのために、傾きを調整する必要がある。本発明
では、前述のようなデ−タ表現を採用しているため、こ
の調整処理は、例えば、過渡部（図１０を参照）の全区
間のステップ値に一定のバイアスを加算器（図示せず）
により加えることで、容易に実現できる。

【００６０】図１３には、１つのユニットパタ−ンに対
するこのような調整処理例が示されている。図１３を参
照すると、１つのユニットパタ−ンの各区間のステップ
値のそれぞれに一定のバイアス値を加えて、ステップ値
を変えることによって（各折れ線の傾きを変えることに
よって）、ユニットパタ−ンにピッチ方向の滑らかな変
形を施すことができる。例えば、図１３の例のように、
ユニットパタ−ンの各区間のステップ値（変形前）ＳＴ
_Aに負のバイアス値BIASを加えてＳＴ_Bとすることによっ
て、変形前のユニットパタ−ンＵＮＰ_AをＵＮＰ_Bのよう
に変形することができる。すなわち、終点については変
動させず、始点を所定量（バイアス量）変動させること
ができる。このようにして、ユニットパタ−ン間の接続
やプロミネンス付与などで必要となるパタ−ン変形処理
が加算器だけの非常に簡単な構成で実現できる。

【００６１】なお、このような仕方で自然な傾きの調整
を行なうには、右上がりの傾きから水平，右下がりの傾
きへと連続的に変化させる必要があるが、これは、ステ
ップ値の最大値（正の最大絶対値）と最小値（負の最大
絶対値）とを連続的に変化させるようにすることで可能
となり、このような処理は、ステップ値（ピッチ更新周
期）を“２”の補数表現によって扱い、バイアスを加え
た結果のステップ値の絶対値が最大値を越えた場合に、
これを反対符号の最大絶対値とすることによって、容易
に実現することができる。

【００６２】このように、パターン変形部４は、１つの
ユニットパターンの各区間のユニット値に一定のバイア
スを加えることによって、このユニットパターンをピッ
チ方向に滑らかに変形することができるが、パターン変
形部４では、隣接ユニットパターン間の接続やプロミネ
ンス付与などで必要となるバイアスをリアルタイムに計
算しなければならない。この計算には通常乗除算を要す
るために処理が複雑となり、ピッチパターン生成処理全
体をリアルタイムに行なう上でボトルネックとなる場合
がある。この問題を回避するには、ピッチ変化量（例え
ば原パターンと生成パターンの始点ピッチの差、あるい
は生成パターンの始点ピッチそのもの）とバイアスとの
対応関係を予め計算した図１４に示すようなバイアステ
ーブルをユニットパターン毎に設け、ある１つのユニッ
トパターンをピッチ方向に所定のピッチ変化量で変形す
るときには、このユニットパターンのバイアステーブル
から上記ピッチ変化量に対応したバイアスを読み出して
用いれば良い。これによって、バイアスをその都度計算
する必要をなくし、リアルタイム処理に支障を生じさせ
ずに済む。具体的には、図１５に示すように、各パター
ンの終点についてはこれを変動させず、各パターンの始
点が前のパターンの終点となるように始点のピッチ変化
量を割り出し、これに対応したバイアスを図１４に示す
ようなバイアステーブルから読み出して用い、原パター
ンを変形して生成パターンとすることで、前のパターン
との接続を容易に行なうことができる。

【００６３】また、本発明の変形例として、パターン検
索部２におけるユニットパターンの追加，削除，変更等
のメンテナンスを容易にするため、図１６に示すよう
に、入力言語情報単位ごとにユニットパターンを検索す
るための複数のルールを記憶しているルール記憶部７を
さらに設けることもできる。

【００６４】この場合、ルール記憶部７に記憶されるル
ールとしては、複数のアイテムとその値の範囲とからな
る条件と、ユニット番号とにより構成されたものを用い
ることができる。ここで、アイテムは、モーラごとの各
種属性であって、具体的には、句頭からの位置，隣接句
との境界種別，アクセント型，アクセントレベル，音韻
などが有効と考えられる。

【００６５】次に図１６に示すような構成のピッチパタ
ーン生成装置におけるパターン検索処理の具体例を図１
７乃至図１９を用いて説明する。なお、図１７はパター
ン記憶部１に記憶されている各種ユニットパターンを示
す図であり、図１７の例では、４種類のユニットパター
ンがユニット番号“１”，“２”，“３”，“４”を付
されて記憶されている。また、図１８はルール記憶部７
に記憶されているルールの構成例を示す図であり、図１
８の例では、ルールは、アイテムとして、アクセント句
頭からの位置Pos，声立て句頭からの位置Mora，アクセ
ント型Acc，アクセント核の位置Coreの４つの属性を用
いており、４種類のユニット番号“１”，“２”，
“３”，“４”のそれぞれに、４つの属性の値の範囲が
割り当てられたものとなっている。

【００６６】図１６において、パターン検索部２では、
図１８のルール記憶部７を参照して、パターン記憶部１
に記憶されている４種類のユニットパターンから、入力
言語情報に応じたユニットパターンを検索する。具体的
には、入力言語情報単位をモーラとし、処理がモーラ単
位に行なわれるとするとし、図１９に示すような入力モ
ーラ列が入力する場合には、先ず、各モーラについて、
すべてのアイテムの値を求める。ある１つのモーラに着
目すると、パターン検索部２は、ルール記憶部７を参照
し、ルールの条件に含まれる全てのアイテムについて、
その範囲に、このモーラの各アイテムの値が入っている
か否かを調べる。そして、ある１つのユニット番号のア
イテムの範囲にこのモーラの各アイテムの値が入ってい
ると判断されたときには、このモーラは、ルールの条件
を満たすものとし、パターン検索部２は、そのルールの
ユニット番号に対応したユニットパターンをパターン記
憶部１から検索することができる。また、条件を満たす
ルールが１つもないときには、そのモーラ位置に配置さ
れるユニットパターンはないものとして、次のモーラに
ついての処理に進む。

【００６７】例えば、図１９の入力モーラ列において、
「メロン」の「ロ」というモーラは、各アイテム値が
“０”，“４”，“１”，“０”であって、ルール記憶
部７に記憶されているルールのうち、ユニット番号
“４”のルールの条件を満たすので、パターン検索部４
は、パターン記憶部１からユニット番号“４”のユニッ
トパターンを検索することができる。

【００６８】このように、ル−ルの条件に言語情報単位
の特徴を表わす複数の変数の値の範囲を含ませること
で、ル−ル検索をル−チン処理で行なうことができる。
また、ル−ルを外部デ−タ化することが容易となり、ル
−ル自体の保守性を高めることができる。

【００６９】また、ル−ルの条件に含まれる変数とし
て、言語情報単位の句頭あるいは句末からの位置を用い
ることによって、句頭から句末へ向かって徐々に下降す
るなど、句内位置によって連続的に変化するピッチパタ
−ンの性質を表現することが可能となる。また、言語情
報単位を含む句の隣接句との境界種別を用いることによ
って、読点位置よりも文末を特に下げることによる文の
終始感の演出や、疑問文等の様々なイントネ−ションス
タイルへの対応など、句境界位置でのピッチパタ−ンの
特徴を表現することが可能となる。また、言語情報単位
を含む句のアクセント情報を用いることによって、頭高
型が中高型よりも左に傾いた山になるなどのアクセント
型による特徴や、プロミネンス，副次アクセント等のア
クセントレベルによる特徴など、ピッチパタ−ンの特徴
を表現することが可能となる。また、言語情報単位の音
韻情報を用いることによって、特定の音韻で見られる局
所的なピッチパタ−ンの特徴や、音韻継続時間長の影響
などを表現することが可能となる。

【００７０】なお、上記例では、ルールとユニットパタ
ーンは１対１対応のものとなっているが、１つのルール
が複数のユニット番号をもつこともある。この場合に
は、その中から何らかの“ゆれ”を与えて１つのユニッ
トパターンを選択することもできる。これによって、同
じ入力からでも全く同じではないピッチパターンを生成
することができ、画一的で機械的なピッチパタ−ンを避
けることが可能となり、より自然なピッチパターンを得
ることができる。

【００７１】

【発明の効果】以上に説明したように、請求項１記載の
発明によれば、合成時のピッチパターン設定単位と同じ
単位で人間の発声のピッチパターンを切り出したユニッ
トパターンを記憶するパターン記憶手段と、所定の入力
属性または入力言語情報に基づき、該入力属性または入
力言語情報に適合したユニットパターンを検索するパタ
ーン検索手段と、検索により得られたユニットパターン
を時間軸上に配置するパターン配置手段と、時間軸上に
配置されたユニットパターンを変形するパターン変形手
段とを有し、前記ユニットパタ−ンをそのまま伸縮した
パターンのみから合成時のピッチパターンを生成するよ
うになっており、人間の発声したピッチパターンをその
まま使用しているので、規則による生成では困難な自然
な変化やゆらぎ，ニュアンスなどを表現可能なピッチパ
ターンを生成することができる。

【００７２】また、請求項２記載の発明において、アク
セント句の上昇部と下降部とをそれぞれ１つ含むものを
１つの単位として切り出したものをユニットパターンと
して使用する場合には、ピッチパターンの重要な単位で
あるアクセント句のパターンをほぼ保存したピッチパタ
ーンを生成することができる。また、アクセント句の上
昇部または下降部を１つ含むものをユニットパターンと
して使用する場合には、簡単な接続処理によってピッチ
パターンを生成することができる。また、アクセント句
の平坦部を含むユニットパターンを使用する場合には、
定常部のゆらぎ等を保存でき、自然なピッチパターンを
生成することができる。また、フレーズ末の特徴的ピッ
チ変化をユニットパターンとして使用する場合には、規
則による生成では困難な多彩なイントネーションを表現
することできる。また、特定の範囲のピッチ変化率を示
すパターンをユニットパターンとして使用する場合に
は、変化部分の概形や定常部分のゆらぎ等を保存するこ
とができ、規則による生成では困難であった多彩で自然
なピッチパターンを生成することができる。また、特定
の範囲のピッチ曲率を示すパターンをユニットパターン
として使用する場合には、その他の部分を直線で補間で
きるため、処理量を低減することができる。

【００７３】また、請求項３記載の発明において、ベク
トル量子化されたユニットパターンをパタ−ン記憶手段
に記憶し、これを使用するときには、パターン記憶手段
の容量を大幅に削減することができ、装置の低コスト
化，小型化，処理の高速化を図ることができる。

【００７４】また、請求項４記載の発明によれば、ピッ
チ変化部分近傍の複数モーラにわたる音韻環境からユニ
ットパターンを検索することによって、音韻環境による
パターンの局所的変化の再現性が向上し、より緻密なピ
ッチパターンを生成することができる。また、プロミネ
ンスの情報からユニットパターンを検索する場合には、
従来単調になりがちだった合成音声の抑揚にめりはりが
つき、了解性，自然性を向上させることができる。ま
た、イントネーションスタイルからユニットパターンを
検索する場合には、規則による生成では表現が困難なイ
ントネーションを正確に再現することができる。

【００７５】また、請求項５記載の発明によれば、ニュ
ーラルネットワークによってユニットパターンを検索す
ることによって、学習した人間の発声パターンに近いパ
ターンを再現することができ、自然性を向上させること
ができる。

【００７６】また、請求項６記載の発明において、アク
セント句境界の位置を用いてユニットパターンを配置す
る場合には、アクセント句の上昇開始点をほぼ再現で
き、了解性を向上させることができる。また、アクセン
ト核の位置を用いてユニットパターンを配置する場合に
は、アクセント句の下降開始点をほぼ再現でき、了解性
を向上させることができる。また、フレーズ末の音韻，
音節，モーラなどの境界位置を用いてユニットパターン
を配置する場合には、イントネーションを効果的に表現
でき、自然性を向上させることができる。また、ピッチ
変化部分近傍音韻環境情報を用いてユニットパターンを
配置することにより、ピッチパターンの時間構造をより
緻密に再現でき、自然性を向上させることができる。

【００７７】また、請求項７記載の発明によれば、アク
セント句の平坦部を時間軸方向に伸縮するようにしてお
り、ピッチ変化部については時間軸方向に変形しないこ
とにより、ピッチ変化部の時間構造を保存することがで
き、生理的制約から外れないパターンが保証されるた
め、安定した自然なピッチパターンを生成することがで
きる。また、アクセント句の上昇部と下降部をピッチ軸
方向の変形をするようにしており平坦部についてはピッ
チ軸方向に変形しないことにより、ピッチ定常部部の高
さやゆらぎ等を保存することができ、プロミネンスなど
も含めたパターン表現が可能となり自然性を向上させる
ことができる。

【００７８】また、請求項８，９記載の発明によれば、
ユニットパターン間を直線で補間することによって、処
理量を低減できて、高速化や低コスト化を図ることがで
き、また、ユニットパターン間を３次曲線で補間するこ
とによって、人間のピッチ変化に似た概形を表現でき、
自然なピッチパターンを生成することができる。

【００７９】また、請求項１０記載の発明によれば、パ
ターン記憶部に記憶されるユニットパターンとして、特
定の言語的状況において特徴的に現われるピッチパター
ンを用いるようになっているので、入力言語情報からヒ
ューリスティックにパターンを検索することができ、効
率的で効果的にピッチパターンを生成することができ
る。

【００８０】また、請求項１１記載の発明によれば、上
記ユニットパターンの１つとして、呼気段落や文など、
一連のフレーズにおける特定の位置において特徴的に現
われるピッチパターンを用いることにより、声立て成分
の分離・合成などの複雑な処理をせずに、フレーズ感、
文の終始感など表現でき、処理の簡略化を図ることがで
きる。

【００８１】また、請求項１２記載の発明によれば、上
記ユニットパターンの１つとして、頭高型，平板型など
特定のアクセント型において特徴的に現われるピッチパ
ターンを用いることにより、アクセント核の有無、位置
などによって異なるアクセント句のパターン概形を、ア
クセント型の異なる複数のパターンを用意し使い分ける
ことで表現でき、自然性を向上させることができる。

【００８２】また、請求項１３記載の発明によれば、上
記ユニットパターンの１つとして、プロミネンスが付与
されている部分，副次アクセント核が現われる部分など
の特定のアクセントレベルにおいて特徴的に現われるピ
ッチパターンを用いることにより、プロミネンス、副次
アクセントの表現も可能となり、自然性を向上させるこ
とができる。

【００８３】また、請求項１４記載の発明によれば、上
記ユニットパターンの１つとして、間投詞や終助詞，擬
声語，擬態語，掛け声などのその語に独特のピッチパタ
ーンで発声される語を用いるか、あるいはフレーズのピ
ッチパターンをそのまま用いることにより、その語に独
特のピッチパターンで発声される語を忠実に再現でき
て、自然性を向上させることができる。

【００８４】また、請求項１５記載の発明によれば、上
記ユニットパターンの１つとして、数字列，韻文などに
周期的に現われる特徴的ピッチパターンを用いることに
より、数字を棒読みする場合や韻文を朗読する場合など
の独特の節回しの発声にも対応することができ、装置の
汎用性を高めることができる。

【００８５】また、請求項１６記載の発明によれば、上
記ユニットパターンの１つとして、語や音韻から独立し
て主に韻律によって特定の意図を表わす特徴的ピッチパ
ターンを用いることにより、会話独特の「えー」や「う
ん」など、主に韻律の違いによって意図を表現する場合
にも、効率的に自然な会話出力が可能となる。

【００８６】また、請求項１７，請求項１８記載の発明
によれば、パターン記憶手段には、折れ線近似されたユ
ニットパターンが記憶されるようになっており、この
際、折れ線近似されたユニットパターンは、始点のピッ
チおよび各折れ線のそれぞれの区間と折れ線の傾きとの
表現データによって表現されてパターン記憶手段に記憶
されることにより、ユニットパタ−ンのデ−タ量を減ら
し、メモリ量と処理量を軽減でき、低コスト化，高速化
を図ることができる。さらに、ユニットパタ−ンのピッ
チ方向のシフトは始点ピッチの増減のみで、時間方向の
伸縮は区間長の増減によって、それぞれ簡単に実現可能
で、ユニットパタ−ンの変形が簡単な処理によって実現
できるため、高速化，高機能化を図ることができる。

【００８７】また、請求項１９記載の発明によれば、上
記各折れ線の傾きは、ピッチ周期が単位長だけ変化する
のに要する時間としてのステップ値によって表現されて
おり、この場合、パターン検索手段は、パターン記憶手
段に記憶されているユニットパターンの表現データを検
索し、該表現データに基づきユニットパターンを再生す
るときに、ステップ値が正の値の場合、ピッチ周期を単
位長増加させ、ステップ値が負の値の場合、ピッチ周期
を単位長減少させる処理を行なうようになっているの
で、カウンタ，比較器などによる非常に簡単な構成で折
れ線近似のユニットパタ−ンを再生し、実際のピッチパ
タ−ンを得ることができる。

【００８８】また、請求項２０記載の発明によれば、パ
ターン変形手段は、各折れ線の傾きを表わすステップ値
に一定のバイアスを加えることによって、ユニットパタ
ーンにピッチ方向の滑らかな変形を施こすので、ユニッ
トパタ−ン間の接続やプロミネンス付与などで必要とな
るパタ−ン変形処理が加算器だけの非常に簡単な構成で
実現できる。

【００８９】また、請求項２１記載の発明によれば、パ
ターン変形手段は、ステップ値を“２”の補数表現によ
って扱い、バイアスを加えた結果のステップ値の絶対値
が最大値を越えた場合に、これを反対符号の最大絶対値
とするので、右上がりのパタ−ンから右下がりのパタ−
ンへ、またはその逆へ、連続的にかつ無理なく、パタ−
ン変形する処理を簡単に実現することができる。

【００９０】また、請求項２２記載の発明によれば、ピ
ッチ変化量とバイアスとの対応関係が予め求められてい
る場合に、パターン変形手段は、該対応関係を用いてユ
ニットパターンのピッチ方向の変形を行なうので、ユニ
ットパタ−ン間の接続やプロミネンス付与などで必要と
なるバイアスを、処理量の多い乗除算を必要とすること
なく、極めて容易に求めることができ、処理の高速化を
図ることができる。

【００９１】また、請求項２３記載の発明によれば、さ
らに、パターン記憶手段に記憶されているユニットパタ
ーンと対応付けされて、条件を含むルールが記憶される
ルール記憶手段が設けられており、パターン検索手段
は、モーラなどの入力言語情報単位ごとにルール記憶手
段に記憶されているルールの条件を調べることによっ
て、ルールの条件を満たすユニットパターンをパターン
記憶手段から検索するようになっており、ユニットパタ
−ン検索処理をル−ル検索とすることによって、ユニッ
トパタ−ンの追加，削除，変更などのメンテナンスが容
易となる。

【００９２】また、請求項２４記載の発明によれば、ル
ールの条件には、言語情報単位の特徴を表わす複数の変
数の値の範囲が含まれており、パターン検索手段は、ル
ールの条件に含まれる全ての変数について、入力言語情
報単位の値がその範囲内にあるとき当該ルールを採用す
ることによって、ユニットパターンを検索するようにな
っており、ル−ルの条件に言語情報単位の特徴を表わす
複数の変数の値の範囲を含ませることで、ル−ル検索を
ル−チン処理で行なうことができる。また、ル−ルを外
部デ−タ化することが容易となり、ル−ル自体の保守性
を高めることができる。

【００９３】また、請求項２５記載の発明によれば、ル
ールの条件に含まれる変数として、当該言語情報単位の
句頭あるいは句末からの位置を用いるか、または、当該
言語情報単位を含む句の隣接句との境界種別を用いる
か、または、当該言語情報単位を含む句のアクセント情
報を用いるか、または、当該言語情報単位の音韻情報を
用いるようになっており、ル−ルの条件に含まれる変数
として、言語情報単位の句頭あるいは句末からの位置を
用いることによって、句頭から句末へ向かって徐々に下
降するなど、句内位置によって連続的に変化するピッチ
パタ−ンの性質を表現することが可能となる。また、言
語情報単位を含む句の隣接句との境界種別を用いること
によって、読点位置よりも文末を特に下げることによる
文の終始感の演出や、疑問文等の様々なイントネ−ショ
ンスタイルへの対応など、句境界位置でのピッチパタ−
ンの特徴を表現することが可能となる。また、言語情報
単位を含む句のアクセント情報を用いることによって、
頭高型が中高型よりも左に傾いた山になるなどのアクセ
ント型による特徴や、プロミネンス，副次アクセント等
のアクセントレベルによる特徴など、ピッチパタ−ンの
特徴を表現することが可能となる。また、言語情報単位
の音韻情報を用いることによって、特定の音韻で見られ
る局所的なピッチパタ−ンの特徴や、音韻継続時間長の
影響などを表現することが可能となる。

【００９４】また、請求項２６記載の発明によれば、１
つのルールに複数のユニットパターンが対応付けされて
おり、ルールの条件を満たすユニットパターンが複数検
索される場合に、ゆれを与えて１つのユニットパターン
を選択するので、画一的で機械的なピッチパタ−ンを避
けることが可能となり、より自然なピッチパターンを得
ることができる。

【図面の簡単な説明】

【図１】本発明に係るピッチパターン生成装置の一実施
例のブロックである。

【図２】ユニットパターンの切り出しの一例を説明する
ための図である。

【図３】ユニットパターンの切り出しの一例を説明する
ための図である。

【図４】ユニットパターンの切り出しの一例を説明する
ための図である。

【図５】ユニットパターンの切り出しの一例を説明する
ための図である。

【図６】ユニットパターンの時間軸上の位置を決定する
様子を説明するための図である。

【図７】ユニットパターンの時間軸上の変形の様子を説
明するための図である。

【図８】ユニットパターンのピッチ軸上の変形の様子を
説明するための図である。

【図９】入力言語情報からユニットパターンを検索して
ピッチパターンを合成する処理の具体例を示す図であ
る。

【図１０】ユニットパターンを折れ線近似した一例を示
す図である。

【図１１】（ａ），（ｂ）はステップ値を説明するため
の図である。

【図１２】ユニットパターン生成回路の一例を示す図で
ある。

【図１３】ユニットパターンの傾きを調整する処理を説
明するための図である。

【図１４】バイアステ−ブルの一例を示す図である。

【図１５】パターンの変形処理を説明するための図であ
る。

【図１６】図１に示すピッチパタ−ン生成装置の変形例
を示す図である。

【図１７】パタ−ン記憶部に記憶されている各種のユニ
ットパタ−ンを示す図である。

【図１８】ル−ル記憶部に記憶されているル−ルの構成
例を示す図である。

【図１９】入力モ−ラ列の一例を示す図である。

【符号の説明】

１パターン記憶部２パターン検索部３パターン配置部４パターン変形部５パターン接続部７ル−ル記憶部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平１−265299（ＪＰ，Ａ) 特開平４−130400（ＪＰ，Ａ) 特開平３−119395（ＪＰ，Ａ) 特開平３−164800（ＪＰ，Ａ) 特開平１−274199（ＪＰ，Ａ) 特開平５−232991（ＪＰ，Ａ) 特開平５−241586（ＪＰ，Ａ) 特開平５−289686（ＪＰ，Ａ) 北川博雄，他，日本語テキスト音声合成システム，ＲＩＣＯＨＴＥＣＨＮＩＣＡＬＲＥＰＯＴ，日本，1990年，Ｎｏ．20，ｐ．32−38 阿部匡伸，佐藤大和，音節を制御単位とする基本周波数の２階層制御方式，電子情報通信学会技術研究報告［音声］, 日本，1992年５月，ＳＰ92−５，ｐ. 33−40 海老原充，他，テキスト音声変換におけるピッチパターン生成方式の検討，日本音響学会平成８年度春季研究発表会講演論文集，日本，1996年３月，１−４ −７，ｐ．231−232 望月亮，他，ＶＣＶ波形接続合成のためのピッチ変換法の検討，日本音響学会平成８年度秋季研究発表会講演論文集, 日本，1996年９月，２−４−７，ｐ. 233−234 西村洋文，他，素片韻律と韻律テンプレートを利用した音声合成システム，日本音響学会平成10年度秋季研究発表会講演論文集，日本，1998年９月，２−Ｐ −３，ｐ．291−292 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 13/06 G10L 13/08 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】合成時のピッチパターン設定単位と同じ
単位で人間の発声のピッチパターンを切り出したユニッ
トパターンを記憶するパターン記憶手段と、所定の入力
属性または入力言語情報に基づき、該入力属性または入
力言語情報に適合したユニットパターンを検索するパタ
ーン検索手段と、検索により得られたユニットパターン
を時間軸上に配置するパターン配置手段と、時間軸上に
配置されたユニットパターンを変形するパターン変形手
段とを有し、前記ユニットパターンをそのまま伸縮した
パターンのみから合成時のピッチパターンを生成するよ
うになっていることを特徴とするピッチパターン生成装
置。
【請求項２】請求項１記載のピッチパターン生成装置
において、前記ユニットパターンとしては、アクセント
句の上昇部と下降部とをそれぞれ１つ含むものを１つの
単位として切り出したパタ−ン、アクセント句の上昇部
または下降部を１つ含むものを１つの単位として切り出
したパタ−ン、アクセント句の平坦部を含むピッチパタ
ーン区間を１つの単位として切り出したパタ−ン、フレ
ーズ末の特徴的ピッチ変化を示す部分を１つの単位とし
て切り出したパタ−ン、特定の範囲の変化率を示すピッ
チパターン区間を１つの単位として切り出したパタ−
ン、特定の範囲の曲率を示すピッチパターン区間を１つ
の単位として切り出したパタ−ンのうちの、少なくとも
１つが用いられることを特徴とするピッチパターン生成
装置。
【請求項３】請求項１記載のピッチパターン生成装置
において、前記パターン記憶手段には、切り出されたユ
ニットパターンが記憶されるか、あるいは切り出された
ユニットパターンをベクトル量子化したものが記憶され
るようになっていることを特徴とするピッチパターン生
成装置。
【請求項４】請求項１記載のピッチパターン生成装置
において、前記パターン検索手段は、入力属性として、
ピッチ変化部分近傍の複数モーラにわたる音韻環境情
報、ユニットパターン内あるいはその近傍におけるプロ
ミネンスに関する情報、ユニットパターンが含まれるフ
レーズのイントネーションスタイルの情報のうちの少な
くとも１つの情報を使用するようになっていることを特
徴とするピッチパターン生成装置。
【請求項５】請求項１記載のピッチパターン生成装置
において、前記パターン検索手段は、入力属性からニュ
ーラルネットワークによって最適なユニットパターンを
決定するようになっていることを特徴とするピッチパタ
ーン生成装置。
【請求項６】請求項１記載のピッチパターン生成装置
において、前記パターン配置手段は、アクセント句境界
の時間軸上の位置、アクセント核の時間軸上の位置、フ
レーズ末の音韻，音節，モーラなどの境界の時間軸上の
位置、ピッチ変化部分近傍の音韻環境情報のうちの少な
くとも１つを入力情報としてユニットパターンの時間軸
上の位置を決定するようになっていることを特徴とする
ピッチパターン生成装置。
【請求項７】請求項１記載のピッチパターン生成装置
において、前記パターン変形手段は、ユニットパターン
がアクセント句内の平坦部境界情報を持つ場合には、平
坦部を時間軸方向に伸縮するような変形を施し、ユニッ
トパターンがアクセント句内の上昇部と下降部の境界情
報を持つ場合には、上昇部と下降部をピッチ軸方向に伸
縮するような変形を施すようになっていることを特徴と
するピッチパターン生成装置。
【請求項８】請求項１記載のピッチパターン生成装置
において、前記パタ−ン変形手段によって変形されたユ
ニットパターンを接続して一連のフレーズのパターンを
生成するパターン接続手段がさらに設けられていること
を特徴とするピッチパターン生成装置。
【請求項９】請求項８記載のピッチパターン生成装置
において、前記パターン接続手段は、ユニットパターン
間を直線で補間して接続するか、あるいは、ユニットパ
ターン間を３次曲線で補間して接続するようになってい
ることを特徴とするピッチパターン生成装置。
【請求項１０】請求項１記載のピッチパターン生成装
置において、前記パターン記憶手段に記憶されるユニッ
トパターンとしては、特定の言語的状況において特徴的
に現われるピッチパターンが用いられることを特徴とす
るピッチパターン生成装置。
【請求項１１】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、呼
気段落や文などの、一連のフレーズにおける特定の位置
において特徴的に現われるピッチパターンが用いられる
ことを特徴とするピッチパターン生成装置。
【請求項１２】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、頭
高型，平板型などの特定のアクセント型において特徴的
に現われるピッチパターンが用いられることを特徴とす
るピッチパターン生成装置。
【請求項１３】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、プ
ロミネンスが付与されている部分，副次アクセント核が
現われる部分などの特定のアクセントレベルにおいて特
徴的に現われるピッチパターンが用いられることを特徴
とするピッチパターン生成装置。
【請求項１４】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、間
投詞や終助詞，擬声語，擬態語，掛け声などのその語に
特有のピッチパターンで発声される語が用いられるか、
あるいはフレーズのピッチパターンがそのまま用いられ
ることを特徴とするピッチパターン生成装置。
【請求項１５】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、数
字列，韻文などに周期的に現われる特徴的ピッチパター
ンが用いられることを特徴とするピッチパターン生成装
置。
【請求項１６】請求項１０記載のピッチパターン生成
装置において、前記ユニットパターンの１つとして、語
や音韻から独立して主に韻律によって特定の意図を表わ
す特徴的ピッチパターンが用いられることを特徴とする
ピッチパターン生成装置。
【請求項１７】請求項１記載のピッチパターン生成装
置において、前記パターン記憶手段には、折れ線近似さ
れたユニットパターンが記憶されることを特徴とするピ
ッチパターン生成装置。
【請求項１８】請求項１７記載のピッチパターン生成
装置において、前記折れ線近似されたユニットパターン
は、始点のピッチおよび各折れ線のそれぞれの区間と折
れ線の傾きとの表現データによって表現されて前記パタ
ーン記憶手段に記憶されることを特徴とするピッチパタ
ーン生成装置。
【請求項１９】請求項１８記載のピッチパターン生成
装置において、各折れ線の傾きは、ピッチ周期が単位長
だけ変化するのに要する時間としてのステップ値によっ
て表現されており、この場合、前記パターン検索手段
は、パターン記憶手段に記憶されているユニットパター
ンの表現データを検索し、該表現データに基づきユニッ
トパターンを再生するときに、ステップ値が正の値の場
合、ピッチ周期を単位長増加させ、ステップ値が負の値
の場合、ピッチ周期を単位長減少させる処理を行なうよ
うになっていることを特徴とするピッチパターン生成装
置。
【請求項２０】請求項１９記載のピッチパターン生成
装置において、前記パターン変形手段は、各折れ線の傾
きを表わすステップ値に一定のバイアスを加えることに
よって、前記ユニットパターンにピッチ方向の滑らかな
変形を施こすことを特徴とするピッチパターン生成装
置。
【請求項２１】請求項２０記載のピッチパターン生成
装置において、前記パターン変形手段は、ピッチ更新周
期を“２”の補数表現によって扱い、バイアスを加えた
結果のステップ値の絶対値が最大値を越えた場合に、こ
れを反対符号の最大絶対値とすることを特徴とするピッ
チパターン生成装置。
【請求項２２】請求項２０または請求項２１記載のピ
ッチパターン生成装置において、ピッチ変化量とバイア
スとの対応関係が予め求められている場合に、前記パタ
ーン変形手段は、該対応関係を用いてユニットパターン
のピッチ方向の変形を行なうことを特徴とするピッチパ
ターン生成装置。
【請求項２３】請求項１記載のピッチパターン生成装
置において、さらに、前記パターン記憶手段に記憶され
ているユニットパターンと対応付けされて、条件を含む
ルールが記憶されるルール記憶手段が設けられており、
前記パターン検索手段は、モーラなどの入力言語情報単
位ごとに前記ルール記憶手段に記憶されているルールの
条件を調べることによって、ルールの条件を満たすユニ
ットパターンを前記パターン記憶手段から検索するよう
になっていることを特徴とするピッチパターン生成装
置。
【請求項２４】請求項２３記載のピッチパターン生成
装置において、前記ルールの条件には、言語情報単位の
特徴を表わす複数の変数の値の範囲が含まれており、前
記パターン検索手段は、ルールの条件に含まれる全ての
変数について、入力言語情報単位の値がその範囲内にあ
るとき当該ルールを採用することによって、ユニットパ
ターンを検索するようになっていることを特徴とするピ
ッチパターン生成装置。
【請求項２５】請求項２４記載のピッチパターン生成
装置において、ルールの条件に含まれる変数として、当
該言語情報単位の句頭あるいは句末からの位置を用いる
か、または、当該言語情報単位を含む句の隣接句との境
界種別を用いるか、または、当該言語情報単位を含む句
のアクセント情報を用いるか、または、当該言語情報単
位の音韻情報を用いることを特徴とするピッチパターン
生成装置。
【請求項２６】請求項２３記載のピッチパターン生成
装置において、１つのルールに複数のユニットパターン
が対応付けされており、ルールの条件を満たすユニット
パターンが複数検索される場合に、ゆれを与えて１つの
ユニットパターンを選択することを特徴とするピッチパ
ターン生成装置。