JP2003288095A - 音声合成装置、音声合成方法並びに音声合成用プログラム及びこのプログラムを記録したコンピュータで読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 音声合成装置において、気息性（Breathines
s）の大きさを所望どおりに簡易に制御する。 【解決手段】、気息性の大きさを示す気息性データBrと
ダイナミクスを示すダイナミクスデータDyとを含む演奏
データを演奏データ入力部１０より入力する。調和／非
調和成分生成器２０は、前記演奏データに基づき音声の
調和成分Hと非調和成分NHとを生成する。気息性付与器
３０において、気息性データBr及びダイナミクスデータ
Dyに基づき調和成分Ｈ及び非調和成分NHが変更され、こ
れにより合成される音声に気息性が付与される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された演奏デ
ータに基づいて音声を合成する音声合成装置、音声合成
方法並びに音声合成用プログラム及びこのプログラムを
記録したコンピュータで読み取り可能な記録媒体に関
し、更に詳しくは、合成・出力される音声に気息性を付
与する機能を備えた音声合成装置、音声合成方法並びに
音声合成用プログラム及びこのプログラムを記録したコ
ンピュータで読み取り可能な記録媒体に関する。

【０００２】

【従来の技術】人間の音声の特徴を表わす用語として気
息性（Breathiness ブレスネス）がある。気息性と
は、息の音の大きさを表わす指標である。気息性が大き
い、といえば、それは息の音が大きく感じられる、とい
う意味である。この気息性は話者や歌唱者の特徴の１つ
であるので、音声合成装置においても、気息性を考慮に
いれた音声合成を行うのが好ましい。

【０００３】気息性や、音声の聴感上の音量感であるダ
イナミクスは、音声の調和成分、非調和成分の比率が変
化すると、それに伴って変化することが判っている。こ
こで調和成分とは、声帯の振動による周期的な音声の成
分のことであり、非調和成分とは、肺からの空気の流れ
が声門や声帯が狭められたことによって生じる雑音的な
音声の成分のことである。

【０００４】

【発明が解決しようとする課題】従来より、調和成分と
非調和成分の比率を変化させることが可能な音声合成装
置が知られている（例えば特開平１０−１８７１８０号
公報参照）。この公報に記載されているような方法で
も、結果として気息性やダイナミクスを制御することは
可能である。しかし、この方法では、調和成分と非調和
成分の比率を変化させた結果として気息性等が変化する
に過ぎず、気息性等を積極的に制御することが出来るわ
けではなかった。本発明は、この点に鑑みてなされたも
のであり、気息性の大きさを所望どおりに簡易に制御す
ることを可能とした音声合成装置、音声合成方法並びに
音声合成用プログラム及びこのプログラムを記録したコ
ンピュータで読み取り可能な記録媒体を提供することを
目的とする。

【０００５】

【課題を解決するための手段】上記目的達成のため、本
出願の第１の発明に係る音声合成装置は、入力された演
奏データに基づいて音声を合成して出力する音声合成装
置において、気息性の大きさを示す気息性データとダイ
ナミクスを示すダイナミクスデータとを含む演奏データ
を入力する演奏データ入力部と、前記演奏データに基づ
き音声の調和成分と非調和成分とを生成する調和／非調
和成分生成部と、前記気息性データ及び前記ダイナミク
スデータに基づき、前記調和成分及び前記非調和成分を
変更して前記音声に気息性を付与する気息性付与部と、
前記気息性付与部より出力された前記調和成分及び前記
非調和成分とを合成して合成音声信号を出力するミキサ
とを備えたことを特徴とする。

【０００６】この第１の発明に係る音声合成装置によれ
ば、調和／非調和成分生成部により、前記演奏データに
基づき音声の調和成分と非調和成分とが生成される。こ
の調和成分及び非調和成分が、気息性付与部により、前
記気息性データ及び前記ダイナミクスデータに基づき変
更される。これにより、出力される音声に所望の気息性
が付与される。

【０００７】この第１の発明において、前記気息性デー
タ及び前記ダイナミクスデータは数値により表現され、
前記気息性付与部は、前記気息性データの増加に伴って
増加しかつ前記ダイナミクスデータの増加には無関係な
変化分を加算することにより前記調和成分を変更すると
ともに、前記気息性データ及び前記ダイナミクスデータ
の増加に伴って増加する変化分を加算することにより前
記非調和成分を変更するようにすることができる。これ
によると、気息性データの増加に伴って増加しかつ前記
ダイナミクスデータの増加には無関係な変化分を前記調
和成分に加算することにより前記調和成分が変更され
る。また、前記気息性データ及び前記ダイナミクスデー
タの増加に伴って増加する変化分を前記非調和成分に加
算することにより前記非調和成分が変更される。

【０００８】前記気息性付与部は、前記気息性データに
所定の定数を乗算した値を変化分として算出し、この変
化分を前記調和／非調和成分生成器から出力される前記
調和成分に加算する。

【０００９】前記所定の定数は、前記演奏データに含ま
れる発声者データに基づいて決定することができる。ま
た、本発明において、前記気息性付与部は、前記気息性
データに前記ダイナミクスデータと第1の所定の定数と
を乗算した値に、前記気息性データに第2の所定の定数
を乗算した値を加算した値を変化分として算出し、この
変化分を前記調和／非調和成分生成器から出力される前
記調和成分に加算するものとすることができる。

【００１０】上記目的達成のため、本出願の第２の発明
に係る音声合成方法は、入力された演奏データに基づい
て音声を合成して出力する音声合成方法において、気息
性の大きさを示す気息性データとダイナミクスを示すダ
イナミクスデータとを含む演奏データを入力する演奏デ
ータ入力ステップと、前記演奏データに基づき音声の調
和成分と非調和成分とを生成する調和／非調和成分生成
ステップと、前記気息性データ及び前記ダイナミクスデ
ータに基づき、前記調和成分及び前記非調和成分を変更
して前記音声に気息性を付与する気息性付与ステップ
と、前記気息性付与部より出力された前記調和成分及び
前記非調和成分とを合成して合成音声信号を出力する合
成ステップとを備えたことを特徴とする。

【００１１】上記目的達成のため、本出願の第３の発明
に係る音声合成用プログラムは、入力された演奏データ
に基づいて音声を合成して出力する手順をコンピュータ
に実行させる音声合成用プログラムにおいて、気息性の
大きさを示す気息性データとダイナミクスを示すダイナ
ミクスデータとを含む演奏データを入力する演奏データ
入力ステップと、前記演奏データに基づき音声の調和成
分と非調和成分とを生成する調和／非調和成分生成ステ
ップと、前記気息性データ及び前記ダイナミクスデータ
に基づき、前記調和成分及び前記非調和成分を変更して
前記音声に気息性を付与する気息性付与ステップと、前
記気息性付与部より出力された前記調和成分及び前記非
調和成分とを合成して合成音声信号を出力する合成ステ
ップとをコンピュータに実行させるように構成されたこ
とを特徴とする。この音声合成用プログラムコンピュー
タで読み取り可能な記録媒体に記録してもよい。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態を、歌
唱音声合成装置を例にとって説明する。図１に示すよう
に、本実施の形態の歌唱音声合成装置は、演奏データ入
力部１０と、調和／非調和成分生成器２０と、気息性付
与器３０、ミキサ４０とから構成される。これらの構成
要素は、通常のコンピュータとコンピュータプログラム
とにより実現することができるが、ハードウエア的に独
立に構成することももちろん可能である。演奏データ入
力部１０は、歌唱音声を合成するための各種の演奏デー
タを入力する部分である。この実施の形態では、演奏デ
ータは、ピッチデータP、歌詞データL、歌唱者名データ
S、ダイナミクスデータDy、気息性データBr、ボリュー
ムデータＶを含んでいるものとする。

【００１３】ピッチデータPは、歌唱音声のピッチ（音
高）を示すデータである。また、歌詞データLは、歌唱
しようとする歌詞を表わすデータである。歌唱者名デー
タSは、歌唱者の声の特徴を合成される歌唱音声に反映
させるための歌唱者の識別番号である。気息性データBr
は、気息性の大きさを表わすためのものであり、ここで
は０から１の間の数値で表現する。気息性データBrの増
減により、調和成分H、非調和成分NHの変化の仕方が変
化する。詳しくは後述する。

【００１４】ダイナミクスデータDyは、聴感上のダイナ
ミクス感を表わすためのものであり、ここでは０から１
の間の数値で表現される。ダイナミクスデータDyが０の
ときは、合成される歌唱音声は最小のダイナミクス感
（人が最も小さな声で歌唱したときの音声）となり、ダ
イナミクスデータDyが１のときは、合成される歌唱音声
は最大のダイナミクス感（人が最も大きな声で歌唱した
ときの音声）となる。

【００１５】ボリュームデータＶは、合成される歌唱音
声の音量を決定するためのものであり、０から１の間の
数値で表現される。ボリュームが０の時には、合成され
る歌唱音声の音量は最小となり、ボリュームが１の時に
は、合成される歌唱音声の音量が最大となる。

【００１６】調和／非調和成分生成器２０は、入力され
る演奏データに合致する調和成分H、非調和成分NHを出
力する部分である。ここでは、調和成分H、非調和成分N
Hは周波数スペクトルで表現されるものとするが、時間
波形として表現することも可能である。調和／非調和成
分生成器２０は、演奏データの種類ごとに異なる調和成
分データ、非調和成分データを記憶したデータベースＤ
Ｂを備えている。調和／非調和成分生成器２０は、演奏
データ入力部１０から入力される演奏データに合致する
適切な調和成分と非調和成分をデータベースＤＢから取
得して出力する。なお、入力された演奏データに合致す
る調和成分及び非調和成分がデータベースＤＢ内に無い
場合には、近似する調和成分と非調和成分を読み出して
直線補間等の調整を行うようにしてもよい。

【００１７】また、気息性付与器３０は、演奏データ入
力部１０において入力される気息性データBr等に基づ
き、調和／非調和成分生成器２０から出力される調和成
分H、非調和成分NHに変更を加える部分である。ミキサ
４０は、気息性付与器３０より出力された変更後の調和
成分、非調和成分を合成して音声信号を合成して出力す
る部分である。

【００１８】次に、この実施の形態の作用を図２に示す
フローチャートに基づいて説明する。始めに、演奏デー
タ入力部１０において、各種演奏データが入力される
（Ｓ１）。

【００１９】調和／非調和成分生成器２０は、演奏デー
タ入力部１０より入力される演奏データのうち、ピッチ
データP、歌詞データL、歌唱者名データS、ダイナミク
スデータDyの入力を受け、これらデータに合致した調和
成分データ、非調和成分データをデータベースＤＢから
読み出すことにより、音声の調和成分H、非調和成分NH
を生成する（Ｓ２）。ここで生成される調和成分Hは、
図３（ａ）に示すように、ダイナミクスデータDyの増加
に伴って増加する。一方、非調和成分NHは、図３（ｂ）
に示すように、ダイナミクスデータDyの大きさの変化に
関係なく略一定である。このような曲線となるのは、調
和／非調和成分生成器２０において、気息性データBrを
ファクターとして考慮していないためである。

【００２０】気息性付与器３０は、この調和成分H、非
調和成分NHの入力を受けるとともに、演奏データ入力部
１０から入力される歌唱者名データS、ダイナミクスデ
ータDy、気息性データBrに基づいて、調和成分H、非調
和成分NHの大きさを変更する（Ｓ３）。

【００２１】変更後の調和成分の大きさH´、変更後の
非調和成分の大きさNH´は、変更前の調和成分の大きさ
H、変更前の非調和成分の大きさNH´との関係で次の式
で表わされる。

【００２２】

【数１】 H´＝H＋ΔH(S)×Br [dB] ……(1) NH´＝NH＋（ΔNH1(S)+ΔNH2(S)×Dy）×Br [dB] ……(2)

【００２３】ただし、ΔH(S)、 ΔNH1(S)、 ΔNH2(S)は
歌唱者データSにより決定される係数である。式
（１）、（２）から明らかなように、ΔH(S)が大きくな
るほど、気息性データBrの増減によるH´への影響度が
大きくなる。また、ΔNH1(S)が大きくなる程、気息性デ
ータBrの増減によるNH´への影響度が大きくなるが、ダ
イナミクスデータDyの増減によるNH´への影響度は変化
しない。また、ΔNH2(S)が大きくなるほど、気息性デー
タBrの増減によるNH´への影響度、及び、ダイナミクス
データDyの増減によるNH´への影響度は大きくなる。

【００２４】上記[数１]の式（１）で表わされるH´の
変化量（ΔH(S)×Br）を図４（ａ）のグラフに、式
（２）で表わされる変化量（（ΔNH1(S)+ΔNH2(S)×D
y）×Br）を図４（ｂ）のグラフにそれぞれに示す。図
４（ａ）、（ｂ）とも、横軸にダイナミクスデータDy
、縦軸に変化量の大きさ（ｄＢ）をとっている。

【００２５】図５は、ダイナミクスデータDyの変化に対
する変更後の調和成分の大きさH´、変更後の非調和成
分の大きさNH´の変化のしかたを示すグラフである。図
５（ａ）に示すように、ダイナミクスデータDyと調和成
分H´との関係を示す直線は、気息性データBrの変化に
よってもその傾きは変化しないが、その縦軸の切片が変
化する。すなわち、気息性データBrの変化により、ダイ
ナミクスデータDy−調和成分H´直線は縦軸方向に平行
移動する。

【００２６】一方、 図５（ｂ）に示すように、気息性
データBrが０のときは、非調和成分NH´の大きさは、ダ
イナミクスデータDyの増減に関わらず一定であるが、気
息性データBrが０より大きくなると、非調和成分NH´
は、ダイナミクスデータDyの増加に伴って大きくなり、
気息性データBrが大きくなるほど、ダイナミクスデータ
Dyの増加に伴う非調和成分NH´の変化の度合いも大きく
なる。すなわち、図５（ｂ）に示すように、気息性デー
タBrが大きくなるほど、ダイナミクスデータDy−非調和
成分NH´の変化曲線の傾きが大きくなる。

【００２７】図６に、気息性データBr＝０．０（最小）
の場合における調和成分H´、非調和成分NH´とダイナ
ミクスデータDyとの関係（同図（ａ））、気息性データ
Br＝１．０（最大）の場合における調和成分H、非調和
成分NH´とダイナミクスデータDyとの関係を示す（同図
（ｂ））。

【００２８】図６（ａ）に示すように、気息性データBr
＝０．０の場合には、調和成分H´はダイナミクスデー
タDyの増加に伴って増加するようにされるが、非調和成
分NH´はダイナミクスデータDyに拘わらず一定である。
一方、図６（ｂ）に示すように、気息性データBr＝１．
０の場合には、調和成分H´はダイナミクスデータDyの
増加に伴って増加するようにされ、非調和成分NH´もダ
イナミクスデータDyの増加に伴って増加するようにされ
る。このように、気息性データBrの大きさが異なると、
同じようにダイナミクスデータDyが変化するにしても、
調和成分H´と非調和成分NH´との比率の変化のしかた
が変わってくる。

【００２９】人間の実際の発声において、声門閉鎖区間
が長い場合や、閉鎖区間が不完全で肺からの直流的空気
流の割合が大きくなった場合の音声は「気息性の程度が
大きい」という。このような場合、ダイナミクスを大き
くしようとして発声すると、肺からの直流的空気流の大
きさ自体も大きくなるから、非調和成分もダイナミクス
の増加に伴って増加することになる。気息性の程度が小
さい場合には、こうした肺からの直流的空気流が殆ど無
いので、非調和成分はダイナミクスに関係なく低いまま
で殆ど一定となる。図６のグラフは、このような人間の
実際の声の発声の特徴と共通している。最後に、ミキサ
４０で、気息性付与器３０より出力された変更後の調和
成分Ｈ´、非調和成分ＮＨ´を合成して音声信号を合成
して出力する（Ｓ４）。

【００３０】以上説明したように、本実施の形態の歌唱
音声合成装置によれば、気息性データとダイナミクスデ
ータにより合成する音声の調和成分、非調和成分を制御
して、簡単に自然で特徴のある音声を合成することが可
能になる。また、ダイナミクスの気息性の程度を独立し
て制御することができるので、ダイナミクスを変化させ
て次第に大きくしたり小さくしたりした音声を合成する
場合でも、より人間の歌唱に近い自然な気息性を持つ音
声を合成することが可能になる。

【００３１】また、ダイナミクスと気息性の程度を適宜
設定することで、歌唱者による気息性の違いを容易に与
えることが可能になる。また、入力された演奏データに
合致する調和成分及び非調和成分がデータベースに無い
場合でも、近似する調和成分と非調和成分から補間によ
る調整により、目的とする演奏データを合成することが
可能になる。このため、すべてのダイナミクス、気息性
の組合せを取る調和成分及び非調和成分をデータベース
に蓄積する必要がなくなり、データベースを小さくする
ことができる。

【００３２】

【発明の効果】以上説明したように、本発明によれば、
気息性の大きさを所望どおりに簡易に制御することがで
きる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る歌唱音声合成装置
の構成を示す。

【図２】 図１の装置による処理の様子を示すフローチ
ャートである。

【図３】 図１の調和／非調和成分生成器２０から出力
される音声の調和成分H、非調和成分NHの、ダイナミク
スデータDyとの関係を示すグラフである。

【図４】 図１の気息性付与器３０で調和成分H、非調
和成分NHに変更を加えるための変化分と、ダイナミクス
データDyとの関係を示すグラフである。

【図５】 気息性付与器３０から出力される変更後の調
和成分H´、非調和成分NH´のダイナミクスデータDyと
の関係を示すグラフである。

【図６】 気息性データBrが異なる場合において、調和
成分H´、非調和成分NH´のダイナミクスデータDyとの
関係が変化する様子を説明するためのグラフである。

【符号の説明】

１０・・・演奏データ入力部 ２０・・・調和／非調和成分生成器 ３０・・・気息性付与器 ４０・・・ミキサ

Claims (9)

【特許請求の範囲】
1. 【請求項１】 入力された演奏データに基づいて音声を
   合成して出力する音声合成装置において、 気息性の大きさを示す気息性データとダイナミクスを示
   すダイナミクスデータとを含む演奏データを入力する演
   奏データ入力部と、 前記演奏データに基づき音声の調和成分と非調和成分と
   を生成する調和／非調和成分生成部と、 前記気息性データ及び前記ダイナミクスデータに基づ
   き、前記調和成分及び前記非調和成分を変更して前記音
   声に気息性を付与する気息性付与部と、 前記気息性付与部より出力された前記調和成分及び前記
   非調和成分とを合成して合成音声信号を出力するミキサ
   とを備えたことを特徴とする音声合成装置。
2. 【請求項２】 前記気息性データ及び前記ダイナミクス
   データは数値により表現され、前記気息性付与部は、前
   記気息性データの増加に伴って増加しかつ前記ダイナミ
   クスデータの増加には無関係な変化分を加算することに
   より前記調和成分を変更するとともに、前記気息性デー
   タ及び前記ダイナミクスデータの増加に伴って増加する
   変化分を加算することにより前記非調和成分を変更する
   請求項１に記載の音声合成装置。
3. 【請求項３】 前記気息性付与部は、前記気息性データ
   に所定の定数を乗算した値を変化分として算出し、この
   変化分を前記調和／非調和成分生成器から出力される前
   記調和成分に加算するものである請求項２に記載の音声
   合成装置。
4. 【請求項４】 前記定数は、前記演奏データに含まれる
   発声者データに基づいて決定される請求項３に記載の音
   声合成装置。
5. 【請求項５】 前記気息性付与部は、前記気息性データ
   に前記ダイナミクスデータと第1の所定の定数とを乗算
   した値に、前記気息性データに第２の所定の定数を乗算
   した値を加算した値を変化分として算出し、この変化分
   を前記調和／非調和成分生成器から出力される前記調和
   成分に加算するものである請求項２又は３に記載の音声
   合成装置。
6. 【請求項６】 前記定数は、前記演奏データに含まれる
   発声者データに基づいて決定される請求項５に記載の音
   声合成装置。
7. 【請求項７】 入力された演奏データに基づいて音声を
   合成して出力する音声合成方法において、 気息性の大きさを示す気息性データとダイナミクスを示
   すダイナミクスデータとを含む演奏データを入力する演
   奏データ入力ステップと、 前記演奏データに基づき音声の調和成分と非調和成分と
   を生成する調和／非調和成分生成ステップと、 前記気息性データ及び前記ダイナミクスデータに基づ
   き、前記調和成分及び前記非調和成分を変更して前記音
   声に気息性を付与する気息性付与ステップと、 前記気息性付与部より出力された前記調和成分及び前記
   非調和成分とを合成して合成音声信号を出力する合成ス
   テップとを備えたことを特徴とする音声合成方法。
8. 【請求項８】 入力された演奏データに基づいて音声を
   合成して出力する手順をコンピュータに実行させる音声
   合成用プログラムにおいて、 気息性の大きさを示す気息性データとダイナミクスを示
   すダイナミクスデータとを含む演奏データを入力する演
   奏データ入力ステップと、 前記演奏データに基づき音声の調和成分と非調和成分と
   を生成する調和／非調和成分生成ステップと、 前記気息性データ及び前記ダイナミクスデータに基づ
   き、前記調和成分及び前記非調和成分を変更して前記音
   声に気息性を付与する気息性付与ステップと、 前記気息性付与部より出力された前記調和成分及び前記
   非調和成分とを合成して合成音声信号を出力する合成ス
   テップとをコンピュータに実行させるように構成された
   ことを特徴とする音声合成用プログラム。
9. 【請求項９】 請求項８に記載の音声合成用プログラム
   を記録したコンピュータで読み取り可能な記録媒体。