JP2003345400A - ピッチ変換装置、ピッチ変換方法及びプログラム - Google Patents

Abstract

(57)【要約】 【課題】 歌唱合成の際に歌唱者の発声ピッチや経時的
ピッチ変動を再現可能とする。 【解決手段】 合成すべき歌唱音声について入力部１０
から歌唱者データ、音符データ等を入力する。ピッチ変
換装置１２は、ピッチ変換器１４及びデータベース１６
を含むもので、データベース１６には複数の音符ピッチ
をそれぞれ複数の音声ピッチに変換するためのピッチ変
換データを関数［ＦＴ（Ｓ，ｐ）］又は表の形で歌唱者
毎に記憶しておく。ピッチ変換器１４は、歌唱者データ
の示す歌唱者Ｓに対応するピッチ変換データを参照して
音符データの示す音符ピッチＰｉを音声ピッチＰｏに変
換する。歌唱合成器１８は、音声ピッチＰｏを有する歌
唱音声信号を合成する。データベース１６には音符ピッ
チに対する音声ピッチの経時的変動分［ΔＦＴ（Ｓ，
ｐ，ｔ）］を示す差分データを記憶し、このデータを読
出して音符ピッチＰｉに加算して音声ピッチＰｏとして
もよい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、歌唱合成に用い
るに好適なピッチ変換装置、ピッチ変換方法及びプログ
ラムに関するものである。

【０００２】

【従来の技術】従来、音声合成装置としては、合成音声
のピッチにゆらぎを付与するようにしたものが知られて
いる（例えば、特開平９−２８１９９４号公報参照）。

【０００３】この従来技術では、ディジタル音声波形デ
ータをアナログ音声信号に変換するＤ／Ａ変換器に供給
するクロック信号として、格納部から読出したクロック
間隔ゆらぎデータに応じてクロック周期にゆらぎをもた
せたクロック信号を用いることによりＤ／Ａ変換出力
（アナログ音声信号）のピッチにゆらぎを付与してい
る。

【０００４】

【発明が解決しようとする課題】人間がある音符に対応
する音声を発生するとき、物理的に一定の高さ（ピッ
チ）で発生するのは歌唱を職業とする人でも困難であ
り、一般的に発声ピッチは音符ピッチから多少ずれ、加
えて経時的なピッチ変動も生ずる。特に、歌唱を職業と
しない一般の人が歌唱した場合には、上記のようなピッ
チずれやピッチ変動の傾向が強く、歌唱の上手さ（又は
下手さ）を評価するための１つの要素となる。また、ピ
ッチのずれ方に歌唱者の特徴が見られる場合もある。そ
の上、人が発声できる上限又は下限に近いピッチの音を
発生しようとすると、声の発生機構に物理的な負担がか
かるため、発生したいピッチと、実際に発声したピッチ
とが異なる（上限近くの高音ではピッチが下がり易く、
下限近くの低音ではピッチが上がり易い）という現象が
ある。

【０００５】上記した従来技術によれば、クロック間隔
ゆらぎデータの値をピッチ上昇方向又はピッチ下降方向
に変化させることによりピッチ変動の方向及び量を変化
させることができるが、平均ピッチで見た場合にピッチ
変動を加える前のピッチ（基準ピッチ）を変化させるこ
とはできず、ピッチ変動の時間的なパターンを変化させ
ることもできない。換言すれば、上記したような歌唱者
の発声ピッチや経時的なピッチ変動を再現することはで
きない。

【０００６】この発明の目的は、歌唱合成の際に歌唱者
の発声ピッチや経時的なピッチ変動を再現することがで
きる新規なピッチ変換装置、ピッチ変換方法及びプログ
ラムを提供することにある。

【０００７】

【課題を解決するための手段】この発明に係る第１のピ
ッチ変換装置は、ピッチデータの示すピッチを有する歌
唱音声信号を合成する歌唱合成手段を備えた歌唱合成装
置において使用されるピッチ変換装置であって、合成す
べき順次の歌唱音声にそれぞれ対応して順次にピッチを
入力する入力手段と、複数の入力ピッチをそれぞれ複数
の音声ピッチに変換するためのピッチ変換データを記憶
する記憶手段と、前記入力手段から入力されるピッチ毎
に該ピッチを前記ピッチ変換データに基づいて音声ピッ
チに変換し、該音声ピッチを示すデータを前記ピッチデ
ータとして前記歌唱合成手段に供給する変換手段とを備
えたものである。

【０００８】第１のピッチ変換装置によれば、複数の入
力ピッチをそれぞれ複数の音声ピッチに変換するための
ピッチ変換データが記憶手段に記憶され、このピッチ変
換データに基づいて入力に係る各ピッチが歌唱音声合成
用の音声ピッチに変換される。ピッチ変換データにおい
て、複数の音声ピッチとして歌唱者の複数の発声ピッチ
をそれぞれ用いると、合成歌唱音声において歌唱者の発
声ピッチやピッチ特徴を再現することができ、例えば発
声可能な上限ピッチの近くではピッチを若干低くすると
共に発声可能な下限ピッチの近くではピッチを若干高く
することができる。

【０００９】第１のピッチ変換装置において、前記入力
手段は、歌唱者を示す歌唱者データを入力し、前記記憶
手段は、前記ピッチ変換データを歌唱者毎に記憶し、前
記変換手段は、前記歌唱者データの示す歌唱者に対応す
るピッチ変換データに基づいてピッチ変換を行なうよう
にしてもよい。このようにすると、歌唱者毎に発声ピッ
チやピッチ特徴を再現することができる。

【００１０】第１のピッチ変換装置においては、ピッチ
変換の際に入力ピッチに依存する乱数的な（ランダム
な）ピッチ変動を音声ピッチに付与するようにしてもよ
い。このようにすると、合成歌唱音声に一層自然なピッ
チ変化を付与することができる。また、ピッチ変換の際
に歌唱者の実際の音声に含まれる経時的なピッチ変動を
音声ピッチに付与するようにしてもよい。このようにす
ると、歌唱者の経時的に不安定なピッチ変動を再現する
ことができる。

【００１１】この発明に係る第２のピッチ変換装置は、
ピッチデータの示すピッチを有する歌唱音声信号を合成
する歌唱合成手段を備えた歌唱合成装置において使用さ
れるピッチ変換装置であって、合成すべき順次の歌唱音
声にそれぞれ対応して順次にピッチを入力する入力手段
と、複数の入力ピッチのうちの各入力ピッチ毎に該入力
ピッチに対する音声ピッチの経時的変動分を示すピッチ
差分データを記憶する記憶手段と、前記入力手段から入
力されるピッチ毎に該ピッチに対応するピッチ差分デー
タを前記記憶手段から読出すと共に入力に係るピッチに
対して読出しに係るピッチ差分データの示す音声ピッチ
の経時的変動分を加算してピッチ変換を行ない、このピ
ッチ変換後のピッチを示すデータを前記ピッチデータと
して前記歌唱合成手段に供給する変換手段とを備えたも
のである。

【００１２】第２のピッチ変換装置によれば、第１のピ
ッチ変換装置に関して前述したと同様にピッチ変換を行
なうことができる。その上、ピッチ差分データを用いて
ピッチ変換を行なうので、少ない記憶データ量で歌唱者
の発声ピッチの経時的変動を再現可能である。

【００１３】第２のピッチ変換装置において、前記入力
手段は、歌唱者を示す歌唱者データを入力し、前記記憶
手段は、前記複数の入力ピッチにそれぞれ対応する複数
のピッチ差分データを歌唱者毎に記憶し、前記変換手段
は、前記歌唱者データの示す歌唱者に対応する複数のピ
ッチ差分データのうち前記入力手段から入力されたピッ
チに対応するピッチ差分データを前記記憶手段から読出
してピッチ変換を行なうようにしてもよい。このように
すると、歌唱者毎に発声ピッチの経時的変動を再現可能
である。

【００１４】この発明に係る第１のピッチ変換方法は、
複数の入力ピッチをそれぞれ複数の音声ピッチに変換す
るためのピッチ変換データを記憶する記憶手段と、ピッ
チデータの示すピッチを有する歌唱音声信号を合成する
歌唱合成手段とを備えた歌唱合成装置において使用され
るピッチ変換方法であって、合成すべき順次の歌唱音声
にそれぞれ対応して順次にピッチを入力するステップ
と、このステップで入力されるピッチ毎に該ピッチを前
記ピッチ変換データに基づいて音声ピッチに変換し、該
音声ピッチを示すデータを前記ピッチデータとして前記
歌唱合成手段に供給するステップとを含むものである。

【００１５】第１のピッチ変換方法によれば、第１のピ
ッチ変換装置に関して前述したと同様にピッチ変換を行
なうことができる。

【００１６】この発明に係る第２のピッチ変換方法は、
複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッ
チに対する音声ピッチの経時的変動分を示すピッチ差分
データを記憶する記憶手段と、ピッチデータの示すピッ
チを有する歌唱音声信号を合成する歌唱合成手段とを備
えた歌唱合成装置において使用されるピッチ変換方法で
あって、合成すべき順次の歌唱音声にそれぞれ対応して
順次にピッチを入力するステップと、このステップで入
力されるピッチ毎に該ピッチに対応するピッチ差分デー
タを前記記憶手段から読出すと共に入力に係るピッチに
対して読出しに係るピッチ差分データの示す音声ピッチ
の経時的変動分を加算してピッチ変換を行ない、このピ
ッチ変換後のピッチを示すデータを前記ピッチデータと
して前記歌唱合成手段に供給するステップとを含むもの
である。

【００１７】第２のピッチ変換方法によれば、第２のピ
ッチ変換装置に関して前述したと同様にピッチ変換を行
なうことができる。

【００１８】この発明に係る第１のプログラムは、コン
ピュータと、ピッチデータの示すピッチを有する歌唱音
声信号を合成する歌唱合成手段とを備えた歌唱合成装置
において使用されるプログラムであって、前記コンピュ
ータを、合成すべき順次の歌唱音声にそれぞれ対応して
順次にピッチを入力する入力手段と、複数の入力ピッチ
をそれぞれ複数の音声ピッチに変換するためのピッチ変
換データを記憶する記憶手段と、前記入力手段から入力
されるピッチ毎に該ピッチを前記ピッチ変換データに基
づいて音声ピッチに変換し、該音声ピッチを示すデータ
を前記ピッチデータとして前記歌唱合成手段に供給する
変換手段として機能させるものである。

【００１９】この発明に係る第２のプログラムは、コン
ピュータを備えた歌唱合成装置において使用されるプロ
グラムであって、前記コンピュータを、合成すべき順次
の歌唱音声にそれぞれ対応して順次にピッチを入力する
入力手段と、複数の入力ピッチをそれぞれ複数の音声ピ
ッチに変換するためのピッチ変換データを記憶する記憶
手段と、前記入力手段から入力されるピッチ毎に該ピッ
チを前記ピッチ変換データに基づいて音声ピッチに変換
し、該音声ピッチを示すピッチデータを送出する変換手
段と、この変換手段から送出されるピッチデータの示す
音声ピッチを有する歌唱音声信号を合成する歌唱合成手
段として機能させるものである。

【００２０】第１又は第２のプログラムによれば、第１
のピッチ変換装置に関して前述したと同様にピッチ変換
を行なうことができる。

【００２１】この発明に係る第３のプログラムは、コン
ピュータと、ピッチデータの示すピッチを有する歌唱音
声信号を合成する歌唱合成手段とを備えた歌唱合成装置
において使用されるプログラムであって、前記コンピュ
ータを、合成すべき順次の歌唱音声にそれぞれ対応して
順次にピッチを入力する入力手段と、複数の入力ピッチ
のうちの各入力ピッチ毎に該入力ピッチに対する音声ピ
ッチの経時的変動分を示すピッチ差分データを記憶する
記憶手段と、前記入力手段から入力されるピッチ毎に該
ピッチに対応するピッチ差分データを前記記憶手段から
読出すと共に入力に係るピッチに対して読出しに係るピ
ッチ差分データの示す音声ピッチの経時的変動分を加算
してピッチ変換を行ない、このピッチ変換後のピッチを
示すデータを前記ピッチデータとして前記歌唱合成手段
に供給する変換手段として機能させるものである。

【００２２】この発明に係る第４のプログラムは、コン
ピュータを備えた歌唱合成装置において使用されるプロ
グラムであって、前記コンピュータを、合成すべき順次
の歌唱音声にそれぞれ対応して順次にピッチを入力する
入力手段と、複数の入力ピッチのうちの各入力ピッチ毎
に該入力ピッチに対する音声ピッチの経時的変動分を示
すピッチ差分データを記憶する記憶手段と、前記入力手
段から入力されるピッチ毎に該ピッチに対応するピッチ
差分データを前記記憶手段から読出すと共に入力に係る
ピッチに対して読出しに係るピッチ差分データの示す音
声ピッチの経時的変動分を加算してピッチ変換を行な
い、このピッチ変換後のピッチを示すピッチデータを送
出する変換手段と、この変換手段から送出されるピッチ
データの示す音声ピッチを有する歌唱音声信号を合成す
る歌唱合成手段として機能させるものである。

【００２３】第３又は第４のプログラムによれば、第２
のピッチ変換装置に関して前述したと同様にピッチ変換
を行なうことができる。

【００２４】

【発明の実施の形態】図１は、この発明の一実施形態に
係る歌唱合成装置を示すものである。

【００２５】図１の歌唱合成装置は、入力部１０、ピッ
チ変換装置１２及び歌唱合成器１８を含むもので、ピッ
チ変換装置１２は、ピッチ変換器１４及びデータベース
１６を備えている。

【００２６】入力部１０は、歌唱者を示す歌唱者デー
タ、音声素片（単一の音素［音韻］又は音素連鎖）を示
す音声素片データ、音符のピッチ及び長さを示す音符デ
ータ、合成音声の音強度を示す音強度データ等を入力す
るもので、入力に係る音符ピッチＰｉを示す音符ピッチ
データ及び入力に係る歌唱者Ｓを示す歌唱者データは、
ピッチ変換器１４に供給される。

【００２７】データベース１６には、複数の入力ピッチ
（音符ピッチ）をそれぞれ複数の音声ピッチ（出力ピッ
チ）に変換するためのピッチ変換データがピッチ変換関
数［ＦＴ（Ｓ，ｐ）］又はピッチ変換表の形で歌唱者毎
に記憶されている。

【００２８】図２には、歌唱者Ｓ１，Ｓ２，Ｓ３にそれ
ぞれ対応する３つのピッチ変換関数ＦＴ（Ｓ１，ｐ），
ＦＴ（Ｓ２，ｐ），ＦＴ（Ｓ３，ｐ）をデータベース１
６に記憶した例を示す。ここで、ｐは、入力ピッチを表
わす。

【００２９】図２に示すピッチ変換装置１２において、
ピッチ変換器１４は、入力部１０からの歌唱者データの
示す歌唱者Ｓに対応するピッチ変換関数をデータベース
１６にて参照すると共に、入力部１０からの音符ピッチ
データの示す音符ピッチＰｉに対応する音声ピッチＰｏ
を参照に係るピッチ変換関数に基づいて算出する。そし
て、算出された音声ピッチＰｏを示すピッチデータを歌
唱合成器１８に出力する。

【００３０】データベース１６がピッチ変換データをピ
ッチ変換表の形で記憶している場合、ピッチ変換器１４
は、入力部１０からの歌唱者Ｓに対応するピッチ変換表
を参照すると共に、入力部１０からの音符ピッチデータ
の示す音符ピッチＰｉに対応する音声ピッチＰｏを参照
に係るピッチ変換表から読出す。そして、読出された音
声ピッチＰｏを示すピッチデータを歌唱合成器１８に供
給する。

【００３１】歌唱合成器１８は、入力部１０からの歌唱
者データ、音声素片データ、音符長データ及び音強度デ
ータと、ピッチ変換器１４からのピッチデータとに基づ
いて歌唱音声信号を合成するものである。歌唱合成方式
としては、種々のものが公知であり、そのうちから適切
なものを選択して歌唱合成器１８を構成することができ
る。

【００３２】歌唱合成器１８では、一例として、歌唱者
データの示す歌唱者と、音声素片データの示す音声素片
とに対応した音声成分データを用いて歌唱音声信号を合
成する。このとき、歌唱音声信号のピッチ、音長及び音
強度は、それぞれピッチデータ、音符長データ及び音強
度データに応じて決定される。

【００３３】図３は、ピッチ変換関数の一例を示すもの
である。図３において、横軸の入力ピッチ［cent］は、
ピッチ変換器１４に入力される音符ピッチに相当し、縦
軸の出力ピッチ［cent］は、ピッチ変換器１４から出力
される音声ピッチに相当する。

【００３４】図３に示すピッチ変換関数ＦＴ（Ｓ，ｐ）
は、所定の下限ピッチＰＬと所定の上限ピッチＰＨとの
間では出力ピッチが入力ピッチと等しいが、入力ピッチ
が上限ピッチＰＨより高いときは人の発声可能な上限ピ
ッチに近づくにつれて徐々に出力ピッチが入力ピッチよ
り低くなると共に、入力ピッチが下限ピッチＰＬより低
いときは人の発声可能な下限ピッチに近づくにつれて徐
々に出力ピッチが入力ピッチより高くなるような形状に
なっている。このような形状を数式的に表現すると、次
の数１に示す通りである。

【００３５】

【数１】 ＦＴ（Ｓ，ｐ）＞ｐ if ｐ＜ＰＬ ＦＴ（Ｓ，ｐ）＝ｐ if ＰＬ≦ｐ≦ＰＨ ＦＴ（Ｓ，ｐ）＜ｐ if ＰＨ＜ｐ 具体例としては、ＰＨ＜ｐの領域では出力ピッチが入力
ピッチより最大で数１０セント程度低くなると共にｐ＜
ＰＬの領域では出力ピッチが入力ピッチより最大で数１
０セント程度高くなるようなピッチ変換関数を用いるこ
とができる。

【００３６】図３に示したようなピッチ変換関数は、歌
唱者毎に適切な形状のものが用意され、図２に関して前
述したように歌唱者毎にデータベース１６に記憶され
る。ピッチ変換器１４は、入力に係る歌唱者Ｓに対応す
るピッチ変換関数を参照して入力ピッチＰｉを出力ピッ
チＰｏに変換する。このようなピッチ変換を数式的に表
現すると、次の数２の通りである。

【００３７】

【数２】Ｐｏ＝ＦＴ（Ｓ，Ｐｉ） 図４は、図３のピッチ変換関数を用いたピッチ変換の一
例を示すもので、（Ａ）は、変換前のピッチ変化（入力
ピッチの変化）を示し、（Ｂ）は、変換後のピッチ変化
（出力ピッチの変化）を示す。図４（Ａ）において、順
次の入力ピッチは、合成すべき順次の歌唱音声にそれぞ
れ対応するものである。図４によれば、ＰＬより低音域
では、出力ピッチが入力ピッチより高くなると共にＰＨ
より高音域では出力ピッチが入力ピッチより低くなり、
ＰＬ以上でＰＨ以下の中音域では出力ピッチが入力ピッ
チに等しくなっているのがわかる。図４の例では、入力
ピッチを離散的に与えたが、そうである必要はなく、連
続的に与えても構わない。

【００３８】図３に示したピッチ変換関数は、直線に近
似したものであるが、歌唱者やピッチに依存する乱数的
な（ランダムな）ピッチ変動分ｒａｎｄ（Ｓ，ｐ）を加
えた次の数３の式に示すようなピッチ変換関数を用いて
もよい。

【００３９】

【数３】ＦＴ（Ｓ，ｐ）＋ｒａｎｄ（Ｓ，ｐ） このようなピッチ変換関数を用いると、ピッチ変換の際
に図４（Ａ）に示すような順次の入力ピッチにそれぞれ
応答して順次の出力ピッチにランダムなピッチ変化が加
わるようになり、合成音声に一層自然な変化を付与する
ことができる。

【００４０】上記した実施形態において、データベース
１６には、時間に依存しないピッチ変換関数ＦＴ（Ｓ，
ｐ）を記憶する例を示したが、データベース１６には、
時間に依存するピッチ変換関数を記憶し、このピッチ変
換関数を参照してピッチ変換を行なうようにしてもよ
い。一例としてデータベース１６には、ピッチ差分ΔＦ
Ｔ（Ｓ，ｐ，ｔ）を示すピッチ差分データをピッチ変換
データとして歌唱者毎に記憶する。ピッチ差分ΔＦＴ
（Ｓ，ｐ，ｔ）は、歌唱者Ｓが音符ピッチｐに対応する
音声を発生したときに時間ｔの進行に従って音符ピッチ
ｐに対する音声ピッチの差分を表わすものである。

【００４１】データベース１６にピッチ差分データをピ
ッチ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）の形で歌唱者毎に記
憶しておいた場合、ピッチ変換器１４は、入力に係る歌
唱者Ｓに対応するピッチ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）
を参照して入力ピッチＰｉを出力ピッチＰｏに変換す
る。このようなピッチ変換を数式的に表現すると、次の
数４に示す通りである。

【００４２】

【数４】Ｐｏ＝Ｐｉ＋ΔＦＴ（Ｓ，Ｐｉ，ｔ） この場合のピッチ変換は、入力ピッチＰｉに対して入力
ピッチＰｉ対応のピッチ差分ΔＦＴ（Ｓ，Ｐｉ，ｔ）を
加算することにより行なわれる。

【００４３】データベース１６には、上記のようにピッ
チ変換関数ΔＦＴ（Ｓ，ｐ，ｔ）を記憶する代りに、ピ
ッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）の経時的な変化波形を表
わすピッチ差分データを記憶するようにしてもよい。図
５は、このようなピッチ差分データを歌唱者Ｓ_１…Ｓｎ
（ｎは２以上の整数）のうちの各歌唱者毎にｐ１〜ｐ２
５の２５ピッチ分記憶した例を示す。ピッチｐ１〜ｐ２
５は、１００セント（半音）刻みで１２００〜３６００
［ｃｅｎｔ］となっている。データベース１６にピッチ
差分データを記憶すると、後述のピッチ波形データを記
憶する場合に比べてデータ量が少なくて済む。

【００４４】図５の例において、各ピッチ毎のピッチ差
分データとしては、実際の歌唱に基づくものを用いると
よい。一例を示すと、歌唱者Ｓ_１にピッチｐ１に対応す
る音声を実際に発生させると共に、ピッチｐ１に対する
発生音声のピッチの差分の経時的変化波形を求め、この
変化波形を表わすピッチ差分データを用いる。このよう
にすると、歌唱者の特性を反映したピッチ変化を再現可
能になると共に、より人間的な微細なピッチ変化を表現
可能になる。

【００４５】ピッチ変換器１４は、入力に係る歌唱者Ｓ
に対応するピッチ差分データのうち入力ピッチＰｉに対
応するピッチ差分データを参照して前述の数４の式に従
って入力ピッチＰｉを出力ピッチＰｏに変換する。図６
は、図５のピッチ差分データを用いたピッチ変換の一例
を示すもので、（Ａ）は、図４（Ａ）と同様に変換前の
ピッチ変化（入力ピッチの変化）を示し、（Ｂ）は、変
換後のピッチ変化（出力ピッチの変化）を示す。図６に
よれば、人の発声可能な上限ピッチ又は下限ピッチの近
傍では図４に関して前述したと同様に出力が入力ピッチ
よりそれぞれ低く又は高くなると共に、人の発声可能な
上限ピッチ又は下限ピッチの近傍ではピッチの変動量
（ゆらぎ量）が大きくなることがわかる。従って、人間
的な発声ピッチやピッチ変動の再現が可能となる。

【００４６】ピッチは、離散値ではなく連続値であるの
で、図５の例においてすべてのピッチに対応可能とする
には全ピッチ分のピッチ差分データを記憶することにな
り、記憶するデータ量が膨大なものになってしまう。ま
た、ピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）の変化が長く継続
するピッチ差分データについても、記憶するデータ量が
膨大なものになってしまう。このような記憶データ量の
増大を回避するためには、次の（イ）又は（ロ）のよう
な対策を適宜採用することができる。

【００４７】（イ）複数の離散的なピッチについてそれ
ぞれピッチ差分ΔＦＴ（Ｓ，ｐ，ｔ）を表わすピッチ差
分データを記憶した場合において、入力ピッチとピッチ
が丁度一致するピッチ差分データを検出できないとき
は、入力ピッチとピッチが最も近いピッチ差分データを
参照してピッチ変換を行なう。また、入力ピッチとピッ
チが近い２つのピッチ差分データから補間により新たな
ピッチ差分データを求めてピッチ変換を行なってもよ
い。

【００４８】（ロ）ピッチ差分データとしては、ピッチ
差分の変化継続時間が所定値以内のものを記憶してお
き、入力ピッチの時間長がピッチ差分ΔＦＴ（Ｓ，ｐ，
ｔ）の変化継続時間を越えたときは、ピッチ差分の変化
波形において時間０等の適当な位置に戻って再びピッチ
差分データを読出す。

【００４９】図５の例において、データベース１６に
は、歌唱者毎に複数のピッチにそれぞれ対応してピッチ
差分の変化波形を表わすピッチ差分データを記憶した
が、歌唱者毎に複数のピッチにそれぞれ対応してピッチ
変化波形を表わすピッチ波形データをピッチ変換データ
として記憶するようにしてもよい。この場合、入力に係
る歌唱者Ｓに対応する複数のピッチ波形データのうち入
力ピッチＰｉに対応するピッチ波形データを読出して出
力ピッチＰｏとすることによりピッチ変換を行なう。ピ
ッチ波形データを実際の歌唱に基づいて作成すると、歌
唱者の発声ピッチや経時的なピッチ変動を再現すること
ができる。

【００５０】上記したようなピッチ変換処理は、パーソ
ナルコンピュータ等の小型コンピュータにおいてソフト
ウェア処理として実行するようにしてもよい。すなわ
ち、ＲＯＭ又はＲＡＭ等の記憶手段にストアしたプログ
ラムに従ってＣＰＵ（中央処理装置）にピッチ変換処理
を実行させるようにしてもよい。

【００５１】図７は、この発明の他の実施形態に係る歌
唱合成装置を示すもので、この装置は、例えば特許第２
９０６９７０号に示されるＳＭＳ（Spectral Modeling
Synthesis）技術を用いて歌唱合成を行なうものであ
る。

【００５２】ステップＳ１では、歌唱音声信号を入力
し、ステップＳ２では、入力された歌唱音声信号にＳＭ
Ｓ分析処理及び区間切出し処理を施す。

【００５３】ＳＭＳ分析処理では、入力音声信号を一連
の時間フレームに区分し、各フレーム毎にＦＦＴ（Fast
Fourier Transform）等により１組の強度（マグニチ
ュード）スペクトルデータを生成し、各フレーム毎に１
組の強度スペクトルデータから複数のピークに対応する
線スペクトルを抽出する。これらの線スペクトルの振幅
値及び周波数を表わすデータを調和成分（Deterministi
c Component）のデータと称する。次に入力音声波形の
スペクトルから調和成分のスペクトルを差引いて残差ス
ペクトルを得る。この残差スペクトルを非調和成分（St
ochastic Component）と称する。

【００５４】区間切出し処理では、ＳＭＳ分析処理で得
られた調和成分のデータ及び非調和成分のデータを音声
素片に対応して区分する。音声素片とは、歌詞の構成要
素であり、例えば［ａ］，［ｉ］のような単一の音素
（又は音韻：Phoneme）又は例えば「ａ ｉ」，「ａ
ｐ」のような音素連鎖（複数音素の連鎖）からなるもの
である。

【００５５】データベース２０には、音声素片毎に調和
成分のデータ及び非調和成分のデータが記憶される。ま
た、データベース２０には、データベース１６に関して
前述したと同様にピッチ変換データ（ピッチ差分データ
又はピッチ波形データである場合も含む）が記憶されて
いる。

【００５６】歌唱合成に際しては、ステップＳ３で歌詞
データ及びメロディデータを入力する。そして、ステッ
プＳ４では、歌詞データが表わす音素列に音素列／音声
素片変換処理を施して音素列を音声素片に区分し、音声
素片毎にそれに対応する調和成分のデータ及び非調和成
分のデータを音声素片データとしてデータベース２０か
ら読出す。

【００５７】ステップＳ５では、データベース２０から
読出された音声素片データ（調和成分のデータ及び非調
和成分のデータ）に音声素片接続処理を施して音声素片
データ同士を発音順に接続する。

【００５８】ステップＳ６では、ピッチ変換処理を行な
う。すなわち，ステップＳ３で入力されたメロディデー
タの示す音符ピッチを前述したと同様にしてデータベー
ス２０のピッチ変換データ（ピッチ差分データ又はピッ
チ波形データである場合も含む）に基づいて音声ピッチ
に変換し、該音声ピッチを示すピッチデータを生成す
る。

【００５９】ステップ７では、音声素片毎に調和成分の
データとステップＳ６で生成されたピッチデータの示す
音声ピッチとに基づいて該音声ピッチに適合した新たな
調和成分のデータを生成する。このとき、新たな調和成
分のデータでは、ステップＳ５の処理を受けた調和成分
のデータが表わすスペクトル包絡の形状をそのまま引継
ぐようにスペクトル強度を調整すると、ステップＳ１で
入力した音声信号の音色を再現することができる。

【００６０】ステップＳ８では、ステップＳ７で生成し
た調和成分のデータとステップＳ５の処理を受けた非調
和成分のデータとを音声素片毎に加算する。そして、ス
テップＳ９では、ステップＳ８で加算処理を受けたデー
タを音声素片毎に逆ＦＦＴ等により時間領域の歌唱音声
信号に変換する。ステップ９の処理の結果として得られ
る歌唱音声信号は、ディジタル形式の信号であり、Ｄ／
Ａ変換器２２によりアナログ形式の歌唱音声信号に変換
される。

【００６１】一例として、「サイタ」（ｓａｉｔａ）と
いう歌唱音声を合成するには、データベース２０から音
声素片「＃ｓ」、「ｓ ａ」、「ａ」、「ａ ｉ」、
「ｉ」、「ｉ ｔ」、「ｔ ａ」、「ａ」、「ａ＃」（＃
は無音を表わす）にそれぞれ対応する音声素片データを
読出してステップＳ５で接続する。そして、ステップＳ
７では、音声素片毎にステップＳ６での変換に係るピッ
チを有する調和成分のデータを生成し、ステップＳ８の
加算処理、ステップＳ９の変換処理及び変換器２２のＤ
／Ａ変換処理を経ると、「サイタ」の歌唱音声信号が得
られる。

【００６２】上記したステップＳ１〜Ｓ９の処理は、パ
ーソナルコンピュータ等の小型コンピュータにおいてソ
フトウエア処理として実行してもよく、あるいは電子回
路等のハードウェアを用いて実行してもよい。

【００６３】

【発明の効果】以上のように、この発明によれば、記憶
手段に記憶したピッチ変換データを用いて入力音符ピッ
チを歌唱合成用の音声ピッチに変換する構成にしたの
で、歌唱者の発声ピッチや経時的なピッチ変動を再現で
きる効果が得られる。また、人間の実際の発声における
経時的に不安定なピッチ変動を忠実に再現したり、音域
による発声ピッチの精度の違いを表現したり、歌唱者に
よるピッチ変化の違いを表現したりすることも可能とな
る。

【００６４】その上、入力ピッチに対してピッチ差分デ
ータの示す音声ピッチの変動分を加算してピッチ変換を
行なう構成にしたので、記憶するデータ量が少なくて済
む利点もある。

【図面の簡単な説明】

【図１】 この発明の一実施形態に係る歌唱合成装置を
示すブロック図である。

【図２】 ピッチ変換装置の動作を説明するためのブロ
ック図である。

【図３】 ピッチ変換関数の一例を示すグラフである。

【図４】 図３のピッチ変換関数を用いたピッチ変換の
一例を示す図であり、（Ａ）は、変換前のピッチ変化を
示すグラフ、（Ｂ）は、変換後のピッチ変化を示すグラ
フである。

【図５】 データベースにおけるピッチ差分データの記
憶状況を示すグラフである。

【図６】 図５のピッチ差分データを用いたピッチ変換
の一例を示す図であり、（Ａ）は、変換前のピッチ変化
を示すグラフ、（Ｂ）は、変換後のピッチ変化を示すグ
ラフである。

【図７】 この発明の他の実施形態に係る歌唱合成装置
を示すブロック図である。

【符号の説明】

１０：入力部、１２：ピッチ変換装置、１４：ピッチ変
換器、１６，２０：データベース、１８：歌唱合成器、
２２：Ｄ／Ａ変換器、Ｓ１：歌唱音声信号入力処理、Ｓ
２：ＳＭＳ分析及び区間切出し処理、Ｓ３：歌詞データ
及びメロディデータ入力処理、Ｓ４：音素列−音声素片
変換処理、Ｓ５：音声素片接続処理、Ｓ６：ピッチ変換
処理、Ｓ７：調和成分生成処理、Ｓ８：加算処理、Ｓ
９：時間領域の歌唱音声信号に変換する処理。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ピッチデータの示すピッチを有する歌唱
   音声信号を合成する歌唱合成手段を備えた歌唱合成装置
   において使用されるピッチ変換装置であって、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
   ッチを入力する入力手段と、 複数の入力ピッチをそれぞれ複数の音声ピッチに変換す
   るためのピッチ変換データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチを前記
   ピッチ変換データに基づいて音声ピッチに変換し、該音
   声ピッチを示すデータを前記ピッチデータとして前記歌
   唱合成手段に供給する変換手段とを備えたピッチ変換装
   置。
2. 【請求項２】 前記入力手段は、歌唱者を示す歌唱者デ
   ータを入力し、前記記憶手段は、前記ピッチ変換データ
   を歌唱者毎に記憶し、前記変換手段は、前記歌唱者デー
   タの示す歌唱者に対応するピッチ変換データに基づいて
   ピッチ変換を行なう請求項１記載のピッチ変換装置。
3. 【請求項３】 前記変換手段は、ピッチ変換の際に入力
   ピッチに依存する乱数的なピッチ変動を音声ピッチに付
   与する請求項１又は２記載のピッチ変換装置。
4. 【請求項４】 前記変換手段は、ピッチ変換の際に経時
   的なピッチ変動を音声ピッチに付与する請求項１又は２
   記載のピッチ変換装置。
5. 【請求項５】 ピッチデータの示すピッチを有する歌唱
   音声信号を合成する歌唱合成手段を備えた歌唱合成装置
   において使用されるピッチ変換装置であって、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
   ッチを入力する入力手段と、 複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッ
   チに対する音声ピッチの経時的変動分を示すピッチ差分
   データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチに対応
   するピッチ差分データを前記記憶手段から読出すと共に
   入力に係るピッチに対して読出しに係るピッチ差分デー
   タの示す音声ピッチの経時的変動分を加算してピッチ変
   換を行ない、このピッチ変換後のピッチを示すデータを
   前記ピッチデータとして前記歌唱合成手段に供給する変
   換手段とを備えたピッチ変換装置。
6. 【請求項６】 前記入力手段は、歌唱者を示す歌唱者デ
   ータを入力し、前記記憶手段は、前記複数の入力ピッチ
   にそれぞれ対応する複数のピッチ差分データを歌唱者毎
   に記憶し、前記変換手段は、前記歌唱者データの示す歌
   唱者に対応する複数のピッチ差分データのうち前記入力
   手段から入力されたピッチに対応するピッチ差分データ
   を前記記憶手段から読出してピッチ変換を行なう請求項
   ５記載のピッチ変換装置。
7. 【請求項７】 複数の入力ピッチをそれぞれ複数の音声
   ピッチに変換するためのピッチ変換データを記憶する記
   憶手段と、ピッチデータの示すピッチを有する歌唱音声
   信号を合成する歌唱合成手段とを備えた歌唱合成装置に
   おいて使用されるピッチ変換方法であって、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
   ッチを入力するステップと、 このステップで入力されるピッチ毎に該ピッチを前記ピ
   ッチ変換データに基づいて音声ピッチに変換し、該音声
   ピッチを示すデータを前記ピッチデータとして前記歌唱
   合成手段に供給するステップとを含むピッチ変換方法。
8. 【請求項８】 複数の入力ピッチのうちの各入力ピッチ
   毎に該入力ピッチに対する音声ピッチの経時的変動分を
   示すピッチ差分データを記憶する記憶手段と、ピッチデ
   ータの示すピッチを有する歌唱音声信号を合成する歌唱
   合成手段とを備えた歌唱合成装置において使用されるピ
   ッチ変換方法であって、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
   ッチを入力するステップと、 このステップで入力されるピッチ毎に該ピッチに対応す
   るピッチ差分データを前記記憶手段から読出すと共に入
   力に係るピッチに対して読出しに係るピッチ差分データ
   の示す音声ピッチの経時的変動分を加算してピッチ変換
   を行ない、このピッチ変換後のピッチを示すデータを前
   記ピッチデータとして前記歌唱合成手段に供給するステ
   ップとを含むピッチ変換方法。
9. 【請求項９】 コンピュータと、ピッチデータの示すピ
   ッチを有する歌唱音声信号を合成する歌唱合成手段とを
   備えた歌唱合成装置において使用されるプログラムであ
   って、前記コンピュータを、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
   ッチを入力する入力手段と、 複数の入力ピッチをそれぞれ複数の音声ピッチに変換す
   るためのピッチ変換データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチを前記
   ピッチ変換データに基づいて音声ピッチに変換し、該音
   声ピッチを示すデータを前記ピッチデータとして前記歌
   唱合成手段に供給する変換手段として機能させるプログ
   ラム。
10. 【請求項１０】 コンピュータと、ピッチデータの示す
    ピッチを有する歌唱音声信号を合成する歌唱合成手段と
    を備えた歌唱合成装置において使用されるプログラムで
    あって、前記コンピュータを、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
    ッチを入力する入力手段と、 複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッ
    チに対する音声ピッチの経時的変動分を示すピッチ差分
    データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチに対応
    するピッチ差分データを前記記憶手段から読出すと共に
    入力に係るピッチに対して読出しに係るピッチ差分デー
    タの示す音声ピッチの経時的変動分を加算してピッチ変
    換を行ない、このピッチ変換後のピッチを示すデータを
    前記ピッチデータとして前記歌唱合成手段に供給する変
    換手段として機能させるプログラム。
11. 【請求項１１】 コンピュータを備えた歌唱合成装置に
    おいて使用されるプログラムであって、前記コンピュー
    タを、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
    ッチを入力する入力手段と、 複数の入力ピッチをそれぞれ複数の音声ピッチに変換す
    るためのピッチ変換データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチを前記
    ピッチ変換データに基づいて音声ピッチに変換し、該音
    声ピッチを示すピッチデータを送出する変換手段と、 この変換手段から送出されるピッチデータの示す音声ピ
    ッチを有する歌唱音声信号を合成する歌唱合成手段とし
    て機能させるプログラム。
12. 【請求項１２】 コンピュータを備えた歌唱合成装置に
    おいて使用されるプログラムであって、前記コンピュー
    タを、 合成すべき順次の歌唱音声にそれぞれ対応して順次にピ
    ッチを入力する入力手段と、 複数の入力ピッチのうちの各入力ピッチ毎に該入力ピッ
    チに対する音声ピッチの経時的変動分を示すピッチ差分
    データを記憶する記憶手段と、 前記入力手段から入力されるピッチ毎に該ピッチに対応
    するピッチ差分データを前記記憶手段から読出すと共に
    入力に係るピッチに対して読出しに係るピッチ差分デー
    タの示す音声ピッチの経時的変動分を加算してピッチ変
    換を行ない、このピッチ変換後のピッチを示すピッチデ
    ータを送出する変換手段と、 この変換手段から送出されるピッチデータの示す音声ピ
    ッチを有する歌唱音声信号を合成する歌唱合成手段とし
    て機能させるプログラム。