JP2003323188A - 歌唱合成方法、歌唱合成装置及び歌唱合成用プログラム - Google Patents

Abstract

(57)【要約】 【課題】 自然性の高い歌唱音声を合成する。 【解決手段】 音韻情報、音高（ピッチ）情報、時刻情
報等を含む演奏データを入力し、この演奏データを、歌
唱合成データベースに基づき、歌唱合成エンジンが理解
可能な形式のデータ（歌唱合成スコア）に変換する。音
韻の変化する時点の前後における音高の情報を取得し、
この情報に基づき、音韻の変化する時点における音高変
化曲線に傾きを加え、これにより出力される歌唱音声の
自然性を高める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、リアルタイムに
入力される演奏データに基づいて歌唱を合成する歌唱合
成装置、方法及びプログラムに係るものである。

【０００２】

【従来の技術】従来の歌唱合成装置においては、人間の
実際の歌声から取得したデータを、例えばテンプレート
データとしてデータベースとして保存しておき、入力さ
れた演奏データ（音符、歌詞、表情等）の内容に合致し
たデータをデータベースより読み出す。そして、この演
奏データとテンプレートデータに基づいて、歌唱合成ス
コアと呼ばれるデータを作成する。この歌唱合成スコア
とは、歌唱音声のデータを、音韻、音高（ピッチ）、音
韻遷移（無音から有声音へ、或いはその逆への遷移、伸
ばし音など）、状態遷移などのパラメータごとに時系列
的に記憶させたものである。例えば、音韻データは音韻
トラックに、音高データは音高トラックに記憶される。
この歌唱合成スコアに、さらに各種の音源制御情報を付
加することにより、本物の人の歌声に近い歌唱音声を合
成している。

【０００３】

【発明が解決しようとする課題】従来の歌唱合成装置
は、音高トラックを形成する場合、受信したＭＩＤＩデ
ータをそのまま音高トラックの形式に変換するものであ
った。このため、音韻が変化する前後において音高が階
段状に、不連続に変化し、このため合成される歌唱音声
が不自然なものとして聞こえてしまう。この不自然さを
解消するためには、ピッチベンダを使用して音高の変化
を逐一調整するなどの作業が必要となっていた。

【０００４】本発明は、この点に鑑み、自然な歌唱音声
を簡易に合成することのできる歌唱合成方法、歌唱合成
装置及びプログラムを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的の達成のため、
本出願に係る第１発明は、少なくとも音韻を表わす音韻
情報と音高を表わす音高情報と歌唱開始時刻を表わす時
刻情報とを含む演奏データを入力する入力ステップと、
前記音韻情報が切り替わる音韻変化時点における音韻の
変化のしかたに関する音韻変化情報を取得する音韻変化
情報取得ステップと、該音韻変化時点に先行する時点又
は後続する時点における音高情報を取得する音高情報取
得ステップと、前記音韻変化情報取得ステップ及び前記
音高情報取得ステップで取得された情報に基づき、前記
音韻変化時点における音高変化曲線に有限の傾きを付与
する傾き付与ステップとを備えたことを特徴とする。

【０００６】この第１発明によれば、音韻情報が切り替
わる音韻変化時点における音韻の変化のしかたに関する
音韻変化情報と、該音韻変化時点に先行する時点又は後
続する時点における音高情報とが取得される。傾き付与
ステップにおいて、これらの情報に基づき、前記音韻変
化時点における音高変化曲線に有限の傾きが付与され
る。音韻変化時点における音高の状態に応じた傾きが付
与されるので、出力される合成歌唱音声の自然性が高ま
る。

【０００７】前記傾き付与ステップは、前音韻変化情報
に基づいて、付与する前記傾きの位置を変化させるよう
にするのが好適である。

【０００８】前記傾き付与ステップは、前記音高情報の
大きさに応じて付与する前記傾きの大きさを変化させる
のが好適である。

【０００９】上記第１発明において、母音部分の歌唱開
始時刻を、前記演奏データのノートオン信号の発生時刻
と一致させて合成歌唱音声として出力するステップを更
に備えるようにすることができる。

【００１０】上記第１発明において前記音韻変化時点に
先行する時点又は後続する時点における歌唱音速さ情報
を取得する歌唱音速さ情報取得ステップを更に備え、前
記傾き付与ステップは、前記歌唱音速さ情報をも参照し
て前記傾きを付与するようにすることができる。

【００１１】また、上記第１発明において、前記傾き付
与ステップにより傾きを付与された音高変化曲線にゆら
ぎを付加するゆらぎ付加ステップを更に備えるようにす
ることもできる。

【００１２】前記傾き付与ステップは、前記音韻変化情
報及び前記音高情報の大きさが異なる毎に異なるパラメ
ータを対応させて記憶するテーブルに基づき前記傾きを
付与するようにすることもできる。前記テーブルをユー
ザが編集することを可能としてもよい。

【００１３】また、上記の各歌唱合成方法のステップを
コンピュータプログラムにより実行させるようにしても
よい。

【００１４】上記目的達成のため、本出願に係る第２発
明は、少なくとも音韻を表わす音韻情報と音高を表わす
音高情報と歌唱開始時刻を表わす時刻情報とを含む演奏
データを入力する入力手段と、前記音韻情報が切り替わ
る音韻変化時点における音韻の変化のしかたに関する音
韻変化情報を取得する音韻変化情報取得手段と、該音韻
変化時点に先行する時点又は後続する時点における音高
情報を取得する音高情報取得手段と、前記音韻変化情報
取得手段及び前記音高情報取得手段で取得された情報に
基づき、前記音韻変化時点における音高変化曲線に有限
の傾きを付与する傾き付与手段とを備えたことを特徴と
する。

【００１５】前記傾き付与手段は、前記音韻変化情報取
得手段により取得された音韻の変化のしかたに関する情
報に基づいて、付与する前記傾きの位置を変化させるよ
うにしてもよい。また、前記傾き付与手段は、前記音高
情報取得手段により取得された前記音高情報の大きさに
応じて付与する前記傾きの大きさを変化させるようにし
てもよい。

【００１６】前記第２発明において、母音部分の歌唱開
始時刻を、前記演奏データのノートオン信号の発生時刻
と一致させて合成歌唱音声として出力する出力手段を更
に備えることができる。

【００１７】前記第２発明において、前記音韻変化時点
に先行する時点又は後続する時点における歌唱音速さ情
報を取得する歌唱音速さ情報取得手段を更に備え、前記
傾き付与手段は、前記歌唱音速さ情報をも参照して前記
傾きを付与するようにすることもできる。

【００１８】前記第２発明において、前記傾き付与手段
により傾きを付与された音高変化曲線にゆらぎを付加す
るゆらぎ付加手段を更に備えるようにしてもよい。ま
た、前記第2発明において、前記傾き付与手段は、前記
音韻変化情報及び前記音高情報の大きさが異なる毎に異
なるパラメータを対応させて記憶するテーブルに基づき
前記傾きを付与するようにするのが好適である。また、
前記テーブルをユーザが編集可能としてもよい。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態を説明
する。以下では、日本語の歌唱音声を合成するものとし
て説明する。一般に日本語の場合、出現する音素は、
子音と母音の組み合わせ、母音のみ、有声子音（鼻
音、半母音）のみ、のいずれかとなる。ただし、有声
子音のみの場合は、有声子音の歌唱開始タイミングが
母音のみの場合と類似しているので、以下に説明する本
実施の形態では、はとみなしてと同一の処理を受
けるものとする。

【００２０】〔第１の実施の形態〕図１は、この発明の
実施の形態に係る歌唱合成装置の全体構成を示すもので
ある。ＭＩＤＩ（Musical Instrument Digital Inte
rface）機器３９と、このＭＩＤＩ機器３９にＭＩＤＩ
インターフェース３０を介して接続されたコンピュータ
システムＣＳと、音源回路２８と、サウンドシステム３
８とから構成されている。コンピュータシステムＣＳ
は、ＣＰＵ１２、ＲＯＭ１４，ＲＡＭ１６、検出回路２
０、操作子群３４、表示回路２２、表示器３６、外部記
憶装置２４、タイマ２６等を備えている。

【００２１】ＣＰＵ１２は、コンピュータシステムＣＳ
全体の制御を司る部分である。ＲＯＭ１４は、楽音発
生、歌唱合成等の各種プログラムを記憶している。ＣＰ
Ｕ１２は、これらのプログラムをＲＯＭ１４から適宜読
み込んで各種処理を実行する。ＲＡＭ１６は、ＣＰＵ１
２の各種処理に際して作業領域を提供するための記憶部
であり、例えばＭＩＤＩ機器３９から読み込まれた演奏
データを書き込むための受信バッファとして機能する。

【００２２】検出回路２０は、パネル等の操作子群３４
からの操作情報を検出するものであり、また、表示回路
２２は、表示器３６の表示動作を制御することにより各
種の表示を可能にするものである。外部記憶装置２４
は、ハードディスク、フロッピー（登録商標）ディス
ク、ＣＤ、ＤＶＤ、光磁気ディスクドライブなどの記録
媒体をドライブするためコンピュータシステムＣＳに外
付けされた記憶装置であり、その記憶内容をＲＡＭ１６
へ転送する他、ハードディスクなどの書き込み可能な記
録媒体の場合には、逆にＲＡＭ１６からデータの転送を
受けることもできる。この外部記憶装置は、ＲＯＭ１４
の代わりにプログラム記録手段として使用することも出
来る。

【００２３】タイマ２６は、テンポデータＴＭの指示す
るテンポに対応した周期でテンポクロック信号ＴＣＬを
発生するものである。テンポクロック信号ＴＣＬは、Ｃ
ＰＵ１２に割込み命令信号として供給される。ＣＰＵ１
２は、テンポクロック信号ＴＣＬに基づく割込み処理に
より歌唱合成を行う。テンポデータＴＭにより指示され
るテンポは、操作子群３４を操作するなどにより変更す
ることができる。なお、テンポクロック信号ＴＣＬの周
期は、一例としては１ms程度である。

【００２４】音源回路２８は、多数の楽音発生チャンネ
ル及び多数の歌唱合成チャンネルを含んでいる。歌唱合
成チャンネルは、フォルマント合成方式により歌唱音声
を合成するようになっている。後述する歌唱合成処理で
は、歌唱合成チャンネルから歌唱音声信号が発生され
る。発生に係る楽音信号及び歌唱音声信号は、サウンド
システム３８により音響に変換される。フォルマント合
成方式の代わりに、波形処理方式等の他の方式を用いて
もよい。

【００２５】ＭＩＤＩインターフェース３０は、この歌
唱合成装置とは別体のＭＩＤＩ機器３９との間でＭＩＤ
Ｉデータを送受信するためのインターフェースである。

【００２６】次に、図２を用いて、上記の歌唱合成装置
の構成において、本実施の形態に係る歌唱合成処理を実
行する手順の概略を説明する。図２において、左側のブ
ロック４０−４８は歌唱合成処理の手順を示しており、
また、右側に示された歌唱合成ＤＢ１４Ａは、ＲＯＭ１
４などにより構成され、ＭＩＤＩ機器３９等により入力
された演奏データの内容に応じたデータ変換を行うため
の各種のテンプレートデータを記憶する部分を示す。歌
唱合成ＤＢ１４Ａは、例えば音韻に関するデータを記憶
する音韻ＤＢ１４ａ、先行音韻から後続音韻への音韻遷
移に関する情報を記憶する音韻遷移ＤＢ１４ｂ、状態遷
移（アタック、リリース等）に関するデータを記憶する
状態遷移ＤＢ１４ｃ、ビブラート情報を記憶するビブラ
ートＤＢ１４ｄ等を備えている。

【００２７】また、複数の矢印は、どのようなデータが
どの手順において歌唱合成ＤＢから読み出されるのかを
示している。

【００２８】この歌唱合成処理の手順（ステップ４０−
４８）を、順に説明する。最初に、演奏データがＭＩＤ
Ｉ機器３９より入力され、受信バッファとしてのＲＡＭ
１６がこれを受信する（ステップ４０）。演奏データの
内容については後述する。図３に示すように、演奏デー
タＳ１−Ｓ３は、実歌唱時刻Ｔ１、Ｔ２、Ｔ３よりも早い
時刻ｔ１、ｔ２、ｔ３において送信される。

【００２９】続くステップ４２では、歌唱合成スコアを
形成する。歌唱合成スコアとは、受信された演奏データ
を、音韻、音高などのパラメータごとのトラックにより
時系列的に表現したデータ配列である。歌唱合成スコア
の内容については後述する。歌唱合成スコアを形成する
には、歌唱合成ＤＢ中の音韻ＤＢ１４ａ、音韻遷移ＤＢ
１４ｂ等より、受信した演奏データに対応した音韻デー
タ、音韻遷移時間長データ等を獲得する。ここで音韻遷
移時間長データとは、複数の音韻間の遷移時間の長さを
示すデータである。

【００３０】ステップ４４では、歌唱合成エンジンによ
る歌唱合成を行う。このステップでは、まず、音源制御
情報を音韻ＤＢ１４ａ、音韻遷移ＤＢ１４ｂ、状態遷移
ＤＢ１４ｃ及びビブラートＤＢ１４ｄから獲得する。こ
こで音源制御情報とは、音源回路２８において所望の歌
唱音声を合成するために必要なフォルマント周波数の情
報、及びフォルマントレベルの制御パラメータの情報等
を含むものである。そして、この獲得した音源制御情報
と、歌唱合成スコア、演奏データに基づき、歌唱合成を
行い、歌唱順に歌唱音声信号を出力する。

【００３１】この歌唱音声信号は音源回路２８によりＤ
Ａ変換され（ステップ４６）、サウンドシステム３８に
おいて歌唱音声として出力される（ステップ４８）。こ
のとき、歌唱音声ＳＳ１の子音「ｓ」を実歌唱時刻Ｔ１
より早い時刻Ｔ１１に発生開始させ、ＳＳ１の母音
「ａ」を実歌唱時刻Ｔ１に発生開始させる。また、歌唱
音声ＳＳ３の子音「ｔ」を実歌唱時刻Ｔ３より早い時刻
Ｔ３１に発生開始させ、その母音「ａ」を実歌唱時刻Ｔ
３に発生開始させる。また、歌唱音声ＳＳ２の母音
「ｉ」は実歌唱時刻Ｔ２に発生開始させる。このよう
に、歌唱音声が子音と母音の組合せからなる場合、その
子音を実歌唱時刻に先行させて発音させる。これによ
り、歌唱音声が伴奏に対し遅れて発音される感じがなく
なり、自然な歌唱音声が発生される。

【００３２】次に、ステップ４０で入力される演奏デー
タ内に含まれる情報の内容を図４を用いて説明する。演
奏データは、１音節を歌唱するために必要な演奏情報、
具体的には、ノート情報、歌唱音速さ情報、音韻トラッ
ク情報等を含んでいる。ノート情報には、実歌唱開始時
刻を表わすノートオン（Note on）情報、実歌唱長を表
わすデュレーション（Duration）情報、歌唱音高を表わ
す歌唱音高情報（Note、ピッチ（pitch）情報とも呼ば
れる）等が含まれる。音韻トラック情報には、後述する
音韻トラックＴｐを形成するための情報、例えば、歌唱
音韻を表わす音韻（PhUState）情報、歌唱子音伸縮率を
表わす子音修正（Consonant Modification）情報等が
含まれる。上述の通り、本実施の形態では、有声子音
（鼻音、半母音）のみからなる音韻を、母音のみから
なる音韻とみなして処理を行う。音韻（PhUState）情報
としては、母音のみからなる音韻の場合には、PhUSta
te=Vowelという情報が、子音と母音の組合せからなる
音韻の場合には、PhUState =Consonant_Vowel という
情報が与えられるものとする。演奏データには、この
他、遷移トラックＴｒを形成するための遷移トラック情
報、ビブラートトラックＴｂを形成するためのビブラー
トトラック情報等を含めることもできる。

【００３３】次に、図５を参照して、音韻ＤＢ１４ａの
記憶情報について説明する。音韻ＤＢ１４ａには、図５
に示すように、音韻（PhU）と音高（Pitch）の組合せご
とに異なる値の音源制御情報Control11、Control12・・
・が記憶されており、処理中の演奏データ（以下、現演
奏データという）に合致するものが適宜読み出されるよ
うになっている。例えば、現演奏データの音韻がａで、
音高（ピッチ）がＰ１１の場合には、音源制御情報とし
てControl11が読み出され、後述する音韻トラックＴｐ
の形成に使用される。

【００３４】次に、図６を参照して、音韻遷移ＤＢ１４
ｂの記憶情報について説明する。音韻遷移ＤＢ１４ｂに
は、例えば図６に示すように、先行音韻PhU１、後続音
韻PhU２及び音高Pitchの組合せに対応して、異なる音韻
遷移時間長（Duration11、12・・・）及び音源制御情報（C
ontrol11、Control12・・・）が記憶されている。例えば、
先行音韻がａ、後続音韻がｉ、音高pitchがP11の場合に
は、音韻遷移時間長としてそれぞれDuration11、Contro
l11という値が読み出される。なお、図６中のPhU2の欄
において、Mとは母音の「う」を、Aspirationとは呼気
音を表わしている。

【００３５】次に、図７を参照して、状態遷移ＤＢ１４
ｃの記憶内容を説明する。状態遷移ＤＢ１４ｃは、遷移
状態、状態タイプ、音韻、音高の組合せに対応して、異
なる状態遷移時間長、音源制御情報が記憶されている。
遷移状態としては、アタック（Attack）、ノート遷移
（Note Transition、以下「NｔN」と称す）及びリリー
ス（Release）があり、状態タイプとしては、「Norma
l」「Sexy」「Sharp」「Soft」等がある。状態遷移時間
長とは、これらアタック、ノート遷移又はリリース遷移
状態の継続時間の長さを示すものである。このＤＢ１４
ｃの内容は、後述する歌唱合成スコアの遷移トラックＴ
ｒの形成に使用される。

【００３６】次に、図８を参照して、ビブラートＤＢ１
４ｄの記憶内容について説明する。ビブラートトラック
１４ｄでは、「Normal」「Sexy」「Enka」等の各ビブラ
ートタイプ、音韻、音高の組合せごとに異なる音源制御
情報が記憶されており、後述する歌唱合成スコアのビブ
ラートトラックＴｂの形成に使用される。

【００３７】図９は、ステップ４２において形成される
歌唱合成スコアの形成例、及びステップ４４における歌
唱音声の合成例を示すものである。歌唱合成スコアＳＣ
は、ＲＡＭ１６内に形成されるもので、音韻トラックＴ
ｐ、音高トラックＴｉを備えている。この他、図９に示
すように、状態の遷移データを有する遷移トラックＴｒ
と、ビブラート情報を有するビブラートトラックＴｂな
どを備える。

【００３８】例えば、・・・・「さ（ｓａ）：Ｃ３：Ｔ
１・・・」「い（ｉ）：Ｄ３：Ｔ２・・・」「た（ｔ
ａ）：Ｅ３：ｔ３・・・」を演奏データとして入力する
ものとすると、音韻トラックＴｐには、図９、１０に示
すように、音韻の種類を示す音韻情報として、Sil、Sil
_s、s_a、a・・・a_Sil、Sil等のアイテムが保持され
る。Silは無音を、Sil_ｓは無音から子音ｓへの音素遷
移を示している。図１０に示すように、各音韻情報Si
l、Sil_s、s_a、a・・・は、開始時刻情報（Begin Tim
e）、継続時間情報（Duration）、音韻情報（PhU）から
構成される。ただし、音韻遷移部を示すアイテムは、音
韻情報として、先行音韻情報（PhU１）と後続音韻情報
（PhU２）との２種類を有する。

【００３９】音高トラックＴｉには、図９に示すような
音高変化曲線９０が記憶される。音高変化曲線は、演奏
データからの歌唱音高情報（Ｃ３，Ｄ３，Ｅ３等）、に
基づき形成される定常部９１と、後述するピッチモデル
により形成される傾き部９２とを備えている。また、歌
唱合成スコアＳＣには、この音韻トラックＴｐ、音高ト
ラックＴｉの他、図９に示すように、状態の遷移データ
を有する遷移トラックＴｒと、ビブラート情報を有する
ビブラートトラックＴｂなどを備える。

【００４０】次に、図２に示す各ステップ４０−４８の
詳細な処理内容を説明する。〔ステップ４０（演奏デー
タ入力）〕まず、ステップ４０における演奏データ入力
の詳細な手順を図１１により説明する。

【００４１】ステップ４０−１では初期化処理を行う。
ここでは、ＲＡＭ１６内の受信回数カウンタＮをゼロに
セットする。

【００４２】ステップ４０−２では、ｎ＝Ｎ番目の演奏
データを受信し、受信バッファとしてのＲＡＭ１６内に
書き込む。ステップ４０−３では、このｎ＝Ｎ番目の演
奏データがデータエンド（データの終端）であるか否か
が判定される。データエンドである場合（ＹＥＳ）に
は、ステップ４０−６に移動して終端処理を実行する。
データエンドでない場合（ＮＯ）には、ステップ４０−
４に移行する。

【００４３】ステップ４０−４では、受信されたｎ＝Ｎ
番目の演奏データに基づいて歌唱合成スコアを形成す
る。ステップ４０−５では、カウンタＮの値を１増加さ
せてＮ＋１としてステップ４０−２に戻り、次の演奏デ
ータを受信する。このようにして演奏データがデータエ
ンドとなるまで繰り返すことにより、すべての演奏デー
タについての歌唱合成スコアＳＣがＲＡＭ１６の受信バ
ッファに入力される。

【００４４】［ステップ４２（歌唱合成スコア形成）］
次に、ステップ４２の歌唱合成スコアの形成手順の詳細
を図１２を用いて説明する。まず、ステップ４２−１
で、ＣＰＵ１２がＲＡＭ１６の受信バッファより演奏デ
ータを受信する。ステップ４２−２では、受信された演
奏データのうち、歌唱合成スコア形成に必要なものを抽
出する。ステップ４２−３では、管理データを作成す
る。管理データは、後続の演奏データを処理する際、先
行する演奏データの内容に合わせたデータ処理をするた
めに使用される各種のデータであり、後述するように、
例えば音韻状態（PhUState）、音素（phoneme）、音高
（pitch）、現ノートオン（Current Note On）、現ノ
ートデュレーション（Current NoteDuration）、フル
デュレーション（Full Duration）、イベント状態（Ev
entState）などの情報を含んでいる。情報の内容、管理
データの作成の詳細な手順については次で述べる。

【００４５】次に、ステップ４２−４では、演奏デー
タ、前ステップで作成された管理データ、及び先行演奏
データについて形成され保存された歌唱合成スコアに基
づいて音韻トラックＴｐを形成する。続くステップ４２
−５では、演奏データ、前ステップで作成された管理デ
ータ、及び先行演奏データについて形成され保存された
歌唱合成スコアに基づいて音高トラックＴｉを形成す
る。同様にして、続くステップ４２−６、７では、演奏
データ、前ステップで作成された管理データ、及び先行
演奏データについて形成され保存された歌唱合成スコア
に基づいて遷移トラックＴｒ、ビブラートトラックＴｂ
を形成する。そして、ステップ４２−８では、後続の演
奏データのためのスコアデータを形成し保存する。これ
を全演奏データについて完了させると、歌唱合成スコア
が完成する。

【００４６】〔ステップ４２−３（管理データ作成）〕
次に、図１２のステップ４２−３に示す管理データの作
成の詳細な手順を、図１３に基づいて説明する。最初
に、ステップ４２−３．１において、演奏データを受信
し、続くステップ４２−３．２においてこの演奏データ
に含まれる音韻の特性を分析する。具体的には、演奏デ
ータに含まれる音韻が子音＋母音か、又は母音のみ
（鼻音のみ）かを分析し、その結果PhUStateを保存す
る。の場合はPhUState＝Consonant_Vowelと、の場
合はPhUState＝Vowelとする。

【００４７】次に、ステップ４２−３．３で、演奏デー
タ中の音高を分析し、その結果Pitchを保存する。続く
ステップ４２−３．４で、演奏データの速さを分析し、
その結果Velocityを保存する。続くステップ４２−３．
５で、演奏データに含まれる実歌唱時刻を分析し、得ら
れた実歌唱開始時刻Current Note Onを保存する（図１
４参照）。このとき、図１４に示すように、乱数等によ
って与えられるΔｔだけCurrent Note Oｎを更新するこ
とで、歌唱開始時刻にゆらぎを与えることができる。

【００４８】また、実歌唱長を現ノートデュレーション
（Current Note Duration）とし、実歌唱開始時刻から
実歌唱長だけ経過した時間を、現ノートオフCurrent N
ote Offとする（図１４参照）。

【００４９】続くステップ４２−３．６では、管理デー
タに基づき現演奏データの実歌唱時刻を分析する。ま
ず、先行演奏データの並び替えを済ませた受信ナンバー
Previous Event Number、先行演奏データについて形
成され保存された歌唱合成スコアのデータPrevious Sco
re Data、先行演奏データの実歌唱終了時刻を表わす先
行ノートオフ情報等を取得する。これらの情報に基づ
き、先行演奏データ、現演奏データの接続状況を分析
し、その結果Event Stateを保存する。図１４（a）に示
すcase１のように、無音が挿入されず先行演奏データと
現演奏データが連続する場合にはEvent State＝Transit
ionとする。一方、図１４（ｂ）のcase２のように、先
行演奏データと現演奏データとの間に無音が挿入される
場合には、Event State＝Attackとする。

【００５０】次に、歌唱合成スコアＳＣを構成する各ト
ラックを形成するための詳細な手順を説明する。ただ
し、状態遷移トラックＴｒ、ビブラートトラックＴｂの
形成処理については、本発明との関連が薄いため、説明
を省略し、音韻トラックＴｐ、音高トラックＴｉの形成
処理のみについて説明する。

【００５１】［ステップ４２−４（音韻トラックＴｐ形
成）］次に、図１２のステップ４２−４に示す音韻トラ
ックＴｐの形成処理の詳細な手順を、図１５に示すフロ
ーチャートにより説明する。最初に、ステップ４２−
４．１において、演奏データ、管理データ、歌唱合成ス
コアを受信する。続くステップ４２−４．２では、管理
データに基づき、音韻遷移ＤＢ１４ｂより音韻遷移時間
長データを獲得する。この音韻遷移時間長データの獲得
方法の詳細手順については次項で述べる。

【００５２】次に、ステップ４２−４．３において、管
理データ中のEvent StateがAttackであるか否かが判定
される。判定が肯定的（YES）である場合には、ステッ
プ４４−４．４のSilence歌唱長算出の手順に移行す
る。Silence歌唱長の意義については後述する。一方、
判定が否定的（NO）、すなわち、EventState＝Transiti
onである場合には、ステップ４４−４．５の先行Vowel
歌唱長算出の手順に移行する。先行Vowel歌唱長の意義
については後述する。

【００５３】ステップ４４−４．４又は５の処理が完了
すると、ステップ４２−４．６のVowel歌唱長を算出す
る処理に移行する。詳細は後述する。

【００５４】次に、上述したステップ４２−４．２（音
韻遷移時間長の獲得）の詳細な手順を図１６に示すフロ
ーチャートにより説明する。最初に、ステップ４−２．
１で管理データ及び歌唱合成スコアのデータを受信す
る。続くステップ４−２．２で、ＲＡＭ１６に記憶され
ている全ての遷移時間長データ（後述のステップ４−
２．６、７、９〜１２で獲得される音韻遷移時間長）を
初期化する。

【００５５】次に、ステップ４−２．３では、管理デー
タに基づいてV_Sil（母音から無音へ）の音韻遷移時間
長をＤＢ１４ｂから獲得する。この手順は、一般に日本
語が母音で終わることから必要となるものである。一例
として、管理データの音韻が母音「a」であり、その音
高がＰ１であったとすると、音韻遷移ＤＢ１４ｂから
は、「a_Sil」と「P１」に対応した音韻遷移時間長が獲
得される。

【００５６】次に、ステップ４−２．４において、管理
データに基づいてEventState＝Attackであるか否かが判
定される。判定が肯定的（ＹＥＳ）であれば、ステップ
４−２．５へ移行し、否定的（ＮＯ）であればステップ
４−２．８へ移行する。ステップ４−２．５では、管理
データに基づいて、PhUState＝Consonant_Vowelか否か
が判定される。この判定結果が肯定的（ＹＥＳ）であれ
ば、ステップ４−２．６に移行し、否定的（NＯ）であ
ればステップ４−２．１１へ移行する。同様にステップ
４−２．８では、管理データに基づいて、PhUState＝Co
nsonant_Vowelか否かが判定される。この判定結果が肯
定的（ＹＥＳ）であれば、ステップ４−２．９に移行
し、否定的（NＯ）であればステップ４−２．１２へ移
行する。

【００５７】要するに、このステップ４−２．４、４−
２．５、４−２．８では、受信された管理データに係る
音韻が、 （ａ）その音韻が立ち上がり部分(attack)にあり、その
音韻が子音と母音の組合せである場合 （ｂ）その音韻が立ち上がり部分(attack)にあり、その
音韻が母音のみ（又は有声子音のみ）である場合 （ｃ）その音韻が遷移部分(transition)にあり、その音
韻が子音と母音の組合せである場合 （ｄ）その音韻が遷移部分(transition)にあり、その音
韻が母音である場合 の４つの場合に分け、それぞれに必要なデータを獲得さ
せるようにしているものである。

【００５８】上記（ａ）の場合には、ステップ４−２．
６へ移行する。ステップ４−２．６では、管理データに
基づいてＤＢ１４ｂから無音から子音への音韻遷移時間
長Silence_Consonantを獲得する。獲得の具体的な方法
は、ステップ４−２．３における方法と同様である。続
くステップ４−２．７では、管理データに基づいてＤＢ
１４ｂから子音から母音への音韻遷移時間長Consonant_
Vowelを獲得する。獲得の具体的な方法は、ステップ４
−２．３における方法と同様である。これにより（ａ）
の場合の音韻遷移長データの獲得が完了する。

【００５９】上記（ｂ）の場合には、ステップ４−２．
１１へ移行して、管理データに基づいて、無音から母音
への音韻遷移時間長Silence_Vowelを獲得する。獲得の
具体的な方法は、ステップ４−２．３における方法と同
様である。上記（ｃ）の場合には、ステップ４−２．９
に移行する。一般に日本語の場合、遷移部分の直前の音
素は母音であるので、ステップ４−２．９では、管理デ
ータ及び歌唱合成スコアに基づいて、先行母音から子音
への音韻遷移長ｐVowel_Consonantを獲得する。獲得の
具体的な方法は、ステップ４−２．３における方法と同
様である。続いて、ステップ４−２．１０において、管
理データ及び子音データに基づいて、子音から母音への
音韻遷移長Consonant_Vowelを獲得して、必要なデータ
の獲得が完了する。

【００６０】上記（ｄ）の場合には、ステップ４．２−
１２に移行し、管理データに基づいて、先行母音から母
音への音韻遷移時間長pVowel_Vowelを獲得する。獲得の
具体的な方法は、ステップ４−２．３における方法と同
様である。

【００６１】次に、図１５に示すステップ４２−４．４
のSilence歌唱長を算出する手法を図１７〜１８により
説明する。図１７はSilence歌唱長の算出の手順を示す
フローチャートであり、図１８は、Silence歌唱長の概
念を説明するものである。Silence歌唱長とは、図１８
に示すように、EventState＝Attackにおいて、無音部の
一部をなす部分の長さを示している。すなわち、無音時
間は、 先行母音から無音への音韻遷移時間長の無音部 Silence歌唱長 無音から子音又は母音への音韻遷移時間長の無音部 の３つの合計からなる。

【００６２】従って、Silence歌唱長は、演奏データ、
管理データ、歌唱合成スコアから得られる無音時間の長
さ、及び上記、の情報に基づき演算することができ
る。図１８に示すように、Silence歌唱長の大きさは、
接続される先行音韻と後続音韻の音韻の種類によって異
なる。

【００６３】次に、Silence歌唱長の算出の手順を図１
７に基づいて説明する。最初に、ステップ４．４−１に
おいて演奏データ、管理データ、歌唱合成スコアのデー
タを受信する。続くステップ４．４−２では、管理デー
タの音韻状態PhUStateがConsonant_Vowelか否かが判定
される。判定結果が肯定的（ＹＥＳ）であればステップ
４．４−３に移行する。判定結果が否定的（ＮＯ）であ
れば、ステップ４．４−３はスキップしてステップ４．
４−４に移行する。

【００６４】ステップ４．４−３では、子音歌唱時間を
算出する。子音歌唱時間とは、この後続の音韻中に子音
が含まれる場合において、その子音の発音が継続される
時間を意味する。この子音歌唱時間は、後続音韻の種類
によって異なる。これを図１８に基づいて説明する。図
１８（Ａ）は、先行母音(「あ」)−無音−子音「さ」と
発音させる場合の音韻トラックＴｐの状態を、同図
（Ｂ）は、先行母音(「あ」)−無音−子音「ぱ」と発音
させる場合の音韻トラックＴｐの状態を、同図（Ｃ）
は、先行母音(「あ」)−無音−後続母音「い」と発音さ
せる場合の音韻トラックＴｐの状態を示している。図１
８からわかるように、（Ｂ）の場合は子音歌唱時間が短
く、（Ｃ）の場合には当然ながら子音歌唱時間は無い。
従って、後続音韻が母音のみの場合には、ステップ４．
４−２によりステップ４．４−３がスキップされる。

【００６５】次に、ステップ４．４−４において、Sile
nce歌唱長の大きさを算出する。なお、子音歌唱時間
は、演奏データに含まれる歌唱子音伸縮率（Consonant
Modulation）によって変化する。図１９は、このこと
を説明するための図である。図１９（Ａ）は、歌唱子音
伸縮率が１より大きい場合である。この場合、無音から
子音への音韻遷移Sil_Cの子音長と、子音から母音への
音韻遷移Ｃ_Vの子音長との和に歌唱子音伸縮率を掛け合
わせたものをConsonant歌唱長として加算することによ
り、子音歌唱時間を伸長する。

【００６６】一方、図１９（Ｂ）は、歌唱子音伸縮率が
１より小さい場合である。この場合、Sil_Cの子音長と、
子音から母音への音韻遷移Ｃ_Vの子音長との双方に歌唱
子音伸縮率を掛け合わせることにより、子音歌唱時間を
短縮する。

【００６７】〔ステップ４２−４−５（先行Vowel歌唱
長算出）〕次に、ステップ４２−４−５における先行Vo
wel歌唱長の算出の手法を、図２０及び図２１を用いて
詳細に説明する。この先行Vowel歌唱長とは、先行音韻
と後続音韻が無音を挟まず連続している状態（EventSta
te＝Transition）の場合において、その先行音韻の母音
部分の歌唱時間（以下、先行母音歌唱時間と称す）を伸
縮するために設定される時間の長さを意味する。

【００６８】先行音韻と後続音韻との間の時間から、後
続音韻の子音部分が歌唱される時間（以下、子音歌唱時
間と称す）を差し引いた部分が先行母音歌唱時間である
（図２１参照）。従って、設定されるべき先行母音歌唱
時間の長さは、子音歌唱時間に基づいて決定される。な
お、本実施の形態では、この先行母音歌唱時間の長さの
決定は、この先行母音歌唱時間の一部としての先行Vowe
l歌唱長を伸縮することにより行われる。

【００６９】例えば、図２１（Ａ）は、先行音韻ｐＶ
「ａ」に続いて、後続音韻として「ｓａ」（子音と母音
の組合せ）が発音された場合を、同（Ｂ）は先行音韻ｐ
Ｖ「ａ」に続いて、後続音韻「ｐａ」（子音と母音の組
合せ）が発音された場合を、同（Ｃ）は先行音韻ｐＶ
「ａ」に続いて、後続音韻「ｉ」（母音のみ）が発音さ
れた場合を示している。前２者の場合には、子音歌唱時
間が存在するが、（Ａ）のそれのほうが（Ｂ）のそれよ
りも長い。このため、先行母音歌唱時間も、（Ａ）の場
合の方が（Ｂ）の場合に比して短くなる。（Ｃ）の場合
には、子音歌唱時間が存在しないので、先行母音歌唱時
間は最大となる。

【００７０】なお、子音歌唱時間は、演奏データに含ま
れる歌唱子音伸縮率（Consonant Modulation）によっ
て変化する。図２２は、このことを説明するための図で
ある。図２２（Ａ）は、歌唱子音伸縮率が１より大きい
場合である。この場合、先行音韻から後続音韻（この図
では子音と母音の組合せ）への音韻遷移pV_Cの子音長
と、子音から母音への音韻遷移Ｃ_Vの子音長との和に歌
唱子音伸縮率を掛け合わせたものをConsonant歌唱長と
して加算することにより、子音歌唱時間を伸長する。一
方、図２２（Ｂ）は、歌唱子音伸縮率が１より小さい場
合である。この場合、pV_Cの子音長と、子音から母音へ
の音韻遷移Ｃ_Vの子音長との双方に歌唱子音伸縮率を掛
け合わせることにより、子音歌唱時間を短縮する。

【００７１】ステップ４２−４．６のVowel歌唱長算出
の処理を図２３及び図２４を用いて説明する。Vowel歌
唱長は、「次の演奏データとの間に無音が挿入される」
という仮定の下、仮定が真実であった場合に後続音韻の
母音の後に接続され、真実でなかった場合には破棄され
るものである。Vowel歌唱長を算出するには、まず、演
奏データ、管理データ、歌唱合成スコアのデータを受信
し（ステップ４．６−１）、これらの受信データに基づ
いてVowel歌唱長を算出する（ステップ４．６−２）。
この算出方法を図２４により説明する。最初に、現演奏
データ（X_V、なお、Xは無音、子音、先行母音のいずれ
でも可）と次の演奏データ（図示せず）との間に無音
（Sil）が挿入される、と仮定する。

【００７２】この仮定の下では、X_Vから無音Silまでの
間の母音Vの歌唱時間（母音歌唱時間）は、X_Vの母音
Vの歌唱時間長、Vowel歌唱長、V_Silの母音Vの歌唱
時間長の和となる。V_Sil内のVとSilの境界が実歌唱終
了時刻（Current Note Off）と一致させた後、これによ
り決定した母音歌唱時間に基づき、Vowel歌唱長が算出
される。

【００７３】次の演奏データを受信したとき、現演奏デ
ータとの間の接続状態（EventState）が判明し、上記の
仮定が真実であったか否かが明らかになる。真実であっ
た場合（EventState＝Attack）には、算出されたVowel
歌唱長は更新されずそのまま使用される。真実でなかっ
た場合（EventState＝Transition）には、前述のステッ
プ４．５−４によって先行Vowel歌唱長が算出される。

【００７４】〔ピッチモデル形成〕次に、ピッチモデル
を形成する手順について、図２５〜４１を用いて説明す
る。本実施の形態においてピッチモデルとは、音高トラ
ックＴｉにおいて、音高の不連続な変化を連続的な変化
に変換するための連続曲線モデルのことである。音韻の
変化の前後においては音高変化曲線が不連続となってい
るので、この音韻変化点においてピッチモデルを音高ト
ラックＴｉに付与することにより、音高の変化が滑らか
となり、合成される歌唱音声の自然性が高められる。

【００７５】本実施の形態のピッチモデルは、その付与
される位置との関係により、立ち上がり部ピッチモデ
ル、遷移部ピッチモデル、立下り部ピッチモデルの３つ
に大別される。

【００７６】立ち上がり部ピッチモデルとは、音韻が無
音から有声音に遷移するAttack部分において、音高をあ
る値から該有声音の音高（以下、これをカレントピッチ
（Current Pitch）という）へ緩やかに移行させる曲線
であり、基本的には正の傾きを有する。

【００７７】遷移部ピッチモデルとは、音韻がある有声
音から別の有声音へ遷移するtransition部分において、
音高を先行音韻の音高から後続音韻の音高へと緩やかに
移行させる曲線モデルである。

【００７８】立下がり部ピッチモデルとは、音韻がある
有声音から無音に遷移するrelease部分において、音高
をカレントピッチからある値へ緩やかに移行させる曲線
である。

【００７９】図２５は、このピッチモデルの形成手順を
示すフローチャートである。演奏データ、管理データ及
び歌唱合成スコアを取得した後、ステップ５０におい
て、その取得されたデータ部分のEventState＝Attackで
あるか否かが判断される。判定が肯定的（YES）であれ
ばステップ５１へ、否定的（NO）であればステップ５２
へ移行する。ステップ５１では、立ち上がり部ピッチモ
デルを算出する。ステップ５２では、遷移部ピッチモデ
ルを算出する。

【００８０】このステップ５１又は５２が終了すると、
次にステップ５３において立下り部ピッチモデルを形成
する。なお、処理中の現演奏データに係る音韻と、後続
の演奏データに係る音韻との間に無音が存在しない場合
には、この立下り部ピッチモデルは不要となり破棄され
る。

【００８１】ステップ５１−５３が完了すると、ステッ
プ５４により、作成されたピッチモデルが音高トラック
Ｔｉに記憶されている音高変化曲線に付与され、これに
より音韻の変化する時点における音高の変化が自然なも
のとなる。

【００８２】以下、ステップ５１、５２，５３での処理
の詳細を説明する。

【００８３】〔ステップ５１（立ち上がり部ピッチモデ
ル形成）〕このステップ５１では、無音（Sil）に続く
音素が、無声子音か、有声子音か、母音のみか、３音素
連鎖かにより、ピッチモデルを付与する位置を変化させ
ている。これを図２６−２９により説明する。ここで、
図２６−２９において、１０３は音韻データ列を示して
おり、Silは無音、Cは子音、Vは母音を表わしている。S
il、C、Vを囲む実線は音韻の境界を、点線は音素の境界
を示している。例えば、左から2番目のSilと左から3番
目のCとは、実線の長方形で囲われ、１つの音韻遷移
（無音から無声子音への遷移）を構成していることを示
しており、また、SilとCの間の点線は、無音と無声子音
の境界を示している。

【００８４】図２６は、無音から無声子音と母音の組合
せ（例：ｓａ）に遷移する場合に付与される立ち上がり
部ピッチモデルの例である。この場合、無声子音C_Vの
子音部Cが終了した時点をピッチモデルの始点とし、所
定の傾きを付与してカレントピッチへ接続させる。な
お、ピッチモデルには、その始端部と終端部にそれぞれ
オーバーシュート部１０１、１０２が付加されている。
オーバーシュート部１０１、１０２の高さはvalue1、va
lue２により規定される。また、オーバーシュート部１
０１，１０２の幅は、それぞれDuration1、Duration2に
より規定される。また、オーバーシュート部１０２の始
端部からオーバーシュート部１０１の始端部までの長さ
をSlope Durationと称する。この点は、遷移部ピッチ
モデル、立下り部ピッチモデルでも同様である。

【００８５】図２７は、無音から有声子音と母音の組合
せ（例：ｇａ）に遷移する場合に付与される立ち上がり
部ピッチモデルの例である。この場合、無声から有声子
音への遷移部Sil_Cの子音部Ｃの発音が開始された時点
をピッチモデルの始点とし、所定の傾きを付与してカレ
ントピッチへ接続させる。

【００８６】図２８は無音から母音（例：ａ）に遷移す
る場合に付与される立ち上がり部ピッチモデルの例であ
る。この場合、母音V（例えばａ）の発音が開始された
時点をピッチモデルの始点とし、所定の傾きを付与して
カレントピッチへ接続させる

【００８７】図２９は無音Silから３音素連鎖Sil_CVに
遷移する場合に付与される立ち上がり部ピッチモデルの
例である。この場合には、オーバーシュート部１０２の
始端部を３音素連鎖のSilとＣＶの境界位置に合わせ、
オーバーシュート部１０１の始端部を3音素連鎖の終端
部に合わせる。

【００８８】このように、本実施の形態では、音韻が変
化する時点において、前後の音韻がどのように変化する
かによって、ピッチモデルを付与する位置を変化させて
いる。これにより、合成される歌唱音声の自然性が高め
られる。

【００８９】また、このステップ５１では、カレントピ
ッチの大きさにより、付与するピッチモデルの形状を変
化させている。基本的には、カレントピッチが小さい場
合には緩いカーブのピッチモデルを、カレントピッチが
大きい場合には比較的急なカーブのピッチモデルを付与
するようにする。このため、例えば、図３０に示すよう
に、ピッチモデル付与用のパラメータ群を記憶したテー
ブルを、異なるカレントピッチごとに予めＲＯＭ１４等
に保存しておく。すなわち、このパラメータ群は、図３
０に示すように、現演奏データの音高（カレントピッチ
（Current Pitch））がＰ０（最小），・・・ＰＮ（最
大）と異なる毎に異なる値のValue1、Value2、Duration
1、Duration2、Slope Durationを保持している。

【００９０】また、Slope Durationの部分を所定の間隔
（例：0.00、0.10、0.25、・・・1.00）で分割し、各分割
点での縦軸方向の大きさをPositionで示している。この
Positionも、カレントピッチの値が異なる毎に異なる値
を与えられている。Positionの値Ｐ０（０），Ｐ０
（１）・・・Ｐ０（ｊ）（又はＰＮ（０），ＰＮ（１），・
・・ＰＮ（ｊ））は、図３１に示すように、各分割点にお
ける音高と、カレントピッチＰ０（又はＰＮ）との差を
示している。

【００９１】なお、図３０に示すパラメータを、外部記
憶装置２４等に記憶させておくこともできる。例えば、
ユーザが任意に編集したテ−ブルをＣＤ−ＲＯＭ等に記
憶させて、これを外部記憶装置２４から読み込むことに
よりピッチモデルを形成するようにしてもよい。また、
ユーザが編集したテーブルをＭＩＤＩインターフェース
３０により、外部から取得してもよい。

【００９２】次に、このステップ５１の具体的な手順を
説明する。まず、現演奏データの音韻状態PhUStateに基
づき、ピッチモデルの付与を開始する位置を決定する。
次に、現演奏データに基づきカレントピッチのデータを
読み出して、このカレントピッチに合致するパラメータ
をＲＯＭ１４に記憶されたテーブル（図３０）から読み
出す。

【００９３】カレントピッチの大きさがＲＯＭ１４に記
憶されたテーブル（図３０）の最大値ＰＮよりも大きい
場合には、カレントピッチはＰＮであるとみなして、対
応するパラメータを読み出してピッチモデルを作成す
る。逆に、カレントピッチの大きさがテーブル（図３
０）の最小値Ｐ０よりも小さい場合には、カレントピッ
チはＰ０であるとみなして対応するパラメータを読出
し、ピッチモデルを作成する。

【００９４】また、カレントピッチの大きさが、テーブ
ル（図３０）の飛び飛びの値PMとPM−1との間の大きさ
である場合には、これらＰＭに関するパラメータと、PM
−1に関するパラメータを補完して新しいパラメータを
生成した後、生成したパラメータに基づいてピッチモデ
ルを作成する。

【００９５】こうしてピッチモデルの形状が決定する
と、このピッチモデルをすでに決定された開始位置に当
てはめ、これにより音高変化曲線になだらかな変化を加
える。

【００９６】〔ステップ５２（遷移部ピッチモデル形
成）〕次に、ステップ５２の遷移部ピッチモデルの形成
の具体的な処理を説明する。ステップ５１の立ち上がり
部ピッチモデルの形成では、現演奏データのカレントピ
ッチのみに基づきピッチモデルを決定していた。これに
対し、このステップ５２では、遷移部に先行する先行演
奏データの音高（Previous Pitch）と、後続の現演奏
データの音高（Current Pitch）との差に基づき、ピッ
チモデルの形成を行う。

【００９７】また、このステップ５２でも、現演奏デー
タの音韻の種類（無声子音、有声子音、母音のみ、３音
素連鎖など）に応じて、ピッチモデルの付与を開始する
位置を変化させている。例えば、現演奏データが無声子
音と母音の組合せである場合には、図３２に示すよう
に、その無声子音の開始時間をピッチモデルの開始時間
とする。すなわち、オーバーシュート部１０２の終端部
が、無声子音の開始時間に合致するように、遷移部ピッ
チモデルの位置を合わせこむ。

【００９８】また、現演奏データが有声子音と母音の組
合せである場合には、さらに当該有声子音部分の長さC_
V.Fromが十分な長さを有している場合（図３３）と、十
分な長さを有していない場合（図３４）とで処理を異な
らせている。前者の場合には、図３３に示すようにオー
バーシュート部１０２の終端部を後続音韻（C_V）の子
音Ｃの開始位置に合わせるとともに、オーバーシュート
部１０１の始端部を後続音韻（C_V）の子音Ｃと母音Ｖ
の境界位置に合わせる。

【００９９】一方、後者の場合には、図３４に示すよう
に、オーバーシュート部１０１の始端部を後続音韻（C_
V）の子音Ｃと母音Ｖの境界位置に合わせるが、オーバ
ーシュート部１０２の終端部の位置は、ＲＯＭ１４に記
憶されたテ−ブル内のSlopeDurationに基づいて決定す
る。すなわち、オーバーシュート部１０１の始端部から
Slope Durationの長さの分だけ左方向へ移動した位置を
オーバーシュート部１０２の終端部とする。

【０１００】また、現演奏データが母音のみからなる場
合には、図３５に示すように、先行音韻の母音ｐＶと後
続音韻の母音Ｖへの音韻遷移部のｐＶとＶの境界位置を
オーバーシュート部１０１の始端部とする。オーバーシ
ュート部１０２の終端位置はテ−ブル内のSlope Durati
onにより決定する。

【０１０１】また、先行演奏データの音高と、後続の現
演奏データの音高とが同一である場合には、図３６に示
すように、オーバーシュート部１０２のデータvalue
２、Duration２のデータのみを利用し、オーバーシュー
ト部１０２のみを付加する。図３６において、（ａ）は
現演奏データが子音と母音の組合せである場合を示し、
（ｂ）は現演奏データが母音のみである場合を示してい
るが、どちらも処理の内容は同一である。

【０１０２】また、3音素連鎖の場合には、図３７に示
すように、オーバーシュート部１０１の始端部を３音素
連鎖（ＶＣＶ）のＶとＣＶの境界位置に合わせる。

【０１０３】図３８は、上述のような遷移部ピッチモデ
ル付与用のパラメータ群を記憶したテーブルであり、図
３０に示す立ち上がり部ピッチモデル付与用のパラメー
タ群を記憶したテーブルと同様、異なるカレントピッチ
ごとに予めＲＯＭ１４等に保存される。前述したよう
に、遷移部ピッチモデルは、前述のように先行演奏デー
タの音高Previous pitchとカレントピッチ（CurrentPi
tch）の差ΔNによって決定される。ΔNがＲＯＭ１４に
パラメータ群として保存されている最大値ΔNmaxよりも
大きい場合には、ΔN＝ΔNmaxであるとみなして、対応
するパラメータを読み出してピッチモデルを作成する。
逆に、ΔNが最小値ΔNminよりも小さい場合には、ΔN＝
ΔNminであるとみなして対応するパラメータを読出し、
ピッチモデルを作成する。

【０１０４】また、ΔNが、保存されている飛び飛びの
値ΔNｍとΔNｍ-1との間の大きさである場合には、これ
らΔNｍに関するパラメータと、ΔNｍ-1に関するパラメ
ータを補間して新しいパラメータを生成した後、生成し
たパラメータに基づいてピッチモデルを作成する。

【０１０５】遷移部ピッチモデル付与用のテーブルは
（図３８）は、異なるΔN毎に異なる値のValue1、Value
2、Duration1、Duration2、Slope Durationを保持して
いる。また、Slope Durationの部分を所定の間隔
（例：0.00、0.10、0.25、・・・1.00）で分割し、各分割
点での縦軸方向の大きさをPositionで示している。この
Positionも、差ΔNの値が異なる毎に異なる値を与えら
れている。図３９は、テーブル（図３８）で与えられる
パラメータの意義を表わしている。

【０１０６】〔ステップ５３（立下り部ピッチモデル形
成）〕このステップ５３では、ステップ５１とは逆に、
有声音から無音へ音韻が変化する場合の立下り部におけ
るピッチモデルを形成する。ステップ５１の立ち上がり
ピッチモデル形成の場合には、無音に続く音韻の種類に
よりピッチモデルの形成位置を変化させていた。これに
対し、このステップ５３では、母音と無音の接続のみを
考慮すれば十分である。一般に日本語の場合、無音の前
には母音が存在するためである。

【０１０７】図４０は無音から母音（例：ａ）に遷移す
る場合に付与される立ち下がり部ピッチモデルの例であ
る。この場合、図４０（ａ）に示すように、母音（例え
ばａ）の発音が終了し無音部に移行した時点をピッチモ
デルの終点とし、所定の傾きを付与してカレントピッチ
へ接続させる。

【０１０８】このステップ５３では、ステップ５１と同
様に、カレントピッチの大きさにより、付与するピッチ
モデルの形状を変化させる。このため、図４０（ｂ）に
示すような立下がりピッチモデル付与用のパラメータ群
を記憶したテーブルを、異なるカレントピッチごとに予
めＲＯＭ１４等に保存しておく。内容は図３０の立ち上
がり部ピッチモデル付与用のパラメータ群と同様であ
る。

【０１０９】次に、このステップ５３の具体的な手順を
説明する。まず、現演奏データに基づきカレントピッチ
のデータを読み出して、このカレントピッチに合致する
パラメータをＲＯＭ１４から読み出す。カレントピッチ
の大きさがＲＯＭ１４に保存されている最大値ＰＮより
も大きい場合には、カレントピッチはＰＮであるとみな
して、対応するパラメータを読み出してピッチモデルを
作成する。

【０１１０】逆に、カレントピッチの大きさが最小値Ｐ
０よりも小さい場合には、カレントピッチはＰ０である
とみなして対応するパラメータを読出し、ピッチモデル
を作成する。

【０１１１】また、カレントピッチの大きさが、保存さ
れている飛び飛びの値PMとPM−1との間の大きさである
場合には、これらＰＭに関するパラメータと、PM−1に
関するパラメータを補間して新しいパラメータを生成し
た後、生成したパラメータに基づいてピッチモデルを作
成する。こうしてピッチモデルの形状が決定すると、こ
のピッチモデルをすでに決定された開始位置に当ては
め、これにより音高変化曲線になだらかな変化を加え
る。

【０１１２】（第2の実施の形態）次に、本発明の第２
の実施の形態を図４２、４３により説明する。装置全体
の構成、処理の概略等は、図１，２等に示すのと同一で
ある。第１の実施の形態では、カレントピッチの大きさ
の変化に応じてピッチモデルの形状を変化させていた
が、この変形例では、カレントピッチに加えて歌唱音速
さ（ＭＩＤＩのベロシティ（Velocity）と同義）を参照
してピッチモデルを形成してもよい。この第2の実施の
形態のピッチモデルを形成するためのパラメータ群の一
例を図４２に示す。図４２に示すように、この第２の実
施の形態では、カレントピッチ（Ｐ0、・・・ＰＮ）及び歌
唱音速さVelocity（Ve0、・・・Vej）の組合せによりValue
1、Value2、Duration1、Duration2、Slope Duration、P
osition等のパラメータの値を変化させている。

【０１１３】この第２の実施の形態によると、例えばカ
レントピッチが等しくても歌唱音速さVelocityが異なれ
ば、付与されるピッチモデルの形状が変化することにな
る。図４３は、カレントピッチがP０で歌唱音速さVeloc
ityがVe0の場合において付与されるピッチモデル１０４
と、カレントピッチが同じくP０で歌唱音速さがVej（＞
Ve0）の場合において付与されるピッチモデル１０５と
を示している。図４３に示すように、歌唱音速さVeloci
tyが大きい場合には、より傾きの大きいピッチモデルが
付与される。これにより、より自然な歌唱音を合成する
ことができる。

【０１１４】(変形例)この発明は、上記した実施の形態
に限定されるものではなく、種々の改変形態で実施可能
なものである。例えば、次のような変更が可能である。 （１）上記実施の形態では、カレントピッチ又は歌唱音
速さに合致したパラメータ群をＲＯＭ１４から読出し、
この読出し値に基づきピッチモデルを形成していた。こ
のため、カレントピッチ等が等しい限り、付与されるピ
ッチモデルの形状は、歌唱位置の如何に拘わらず一定と
なる。この読出し値に、乱数等によって与えられる値を
加算して、ピッチモデルの形状にゆらぎを与えることが
できる。

【０１１５】例えば、図４４に示すように、読み出され
たValue1、Value2、Duration１、Duration2、Slope Dur
ationの値V1-n、V2-n、D1-n、D２-n等に、乱数等によっ
て与えられる値ΔV1、ΔV2、ΔD1、ΔD2等を加算するこ
とにより、同じ条件の下でも異なる形状のピッチモデル
を形成させることができる。これにより、より自然な歌
唱合成が可能になる。

【０１１６】（２）上記した実施の形態では、歌唱合成
スコアの形成が完了した後、歌唱合成スコアに従って歌
唱音声を合成するようにしたが、歌唱合成スコアを形成
しつつ形成済みの歌唱合成スコアに従って歌唱音声を合
成するようにしてもよい。このためには、例えば演奏デ
ータの受信を割込み処理により優先的に行いつつ受信済
みの演奏データに基づいて歌唱合成スコアを形成すれば
よい。

【０１１７】（３）上記した実施の形態では、歌唱合成
スコアを音韻トラックＴｐ、音高トラックＴｉ、遷移ト
ラックＴｒ、ビブラートトラックＴｂの４トラックで構
成したが、トラック数はこれに限られない。例えば、音
韻トラックＴｐに音高情報も記憶させて音韻トラックＴ
ｐと音高トラックＴｉとを合体させてもよいし、全ての
トラックを統合して1トラックとしてもよい。

【０１１８】

【発明の効果】以上説明したように、本発明によれば、
音韻変化時点における音高の変化曲線に適当な傾きを簡
易に付与することができ、自然な歌唱音声を簡易に合成
することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態に係る歌唱合成シ
ステムの全体構成を示す。

【図２】 図１に示す歌唱合成システムにおける歌唱合
成手順の概略を示す。

【図３】 図２に示す歌唱合成の結果を時系列的に表現
したものである。

【図４】 演奏データに含まれる情報の内容を示す。

【図５】 音韻ＤＢ１４ａ内に含まれる情報の内容を示
す。

【図６】 音韻遷移ＤＢ１４ｂ内の情報の内容を示す。

【図７】 状態遷移ＤＢ１４ｃ内の情報の内容を示す。

【図８】 ビブラートＤＢ１４ｄ内の情報の内容を示
す。

【図９】 図１に示す歌唱合成システムにより形成され
る歌唱合成スコアＳＣの構成の一例を示す。

【図１０】 歌唱合成スコアＳＣ内の音韻トラックＴｐ
のアイテムを説明する表である。

【図１１】 図２に示すフローチャートのステップ４０
の詳細な手順を示すフローチャートである。

【図１２】 図２に示すフローチャートのステップ４２
の詳細な手順を示すフローチャートである。

【図１３】 図１２に示すフローチャートのステップ４
２−３（管理データ作成）の詳細な手順を示すフローチ
ャートである。

【図１４】 管理データ作成の方法を示す説明図であ
る。

【図１５】 図１２に示すフローチャートのステップ４
２−４（音韻トラックＴｐの形成）の詳細な手順を示す
フローチャートである。

【図１６】 図１５に示すフローチャートのステップ４
２−４．２（音韻遷移時間長獲得）の詳細な手順を示す
フローチャートである。

【図１７】 図１５に示すフローチャートのステップ４
２−４．４（Silence歌唱長算出）の詳細な手順を示す
フローチャートである。

【図１８】 Silence歌唱長算出の手法を示す説明図で
ある。

【図１９】 子音歌唱時間の決定方法を示す説明図であ
る。

【図２０】 図１５に示すフローチャートのステップ
４２−４．５（先行Vowel歌唱長の算出）の詳細な手順
を示すフローチャートである。

【図２１】 先行Vowel歌唱長の算出の手法を示す説明
図である。

【図２２】 図２０に示すフローチャートのステップ
４．５−３（子音歌唱時間算出）の手法を示す説明図で
ある。

【図２３】 図１５に示すフローチャートのステップ４
２−４．６（Vowel歌唱長の算出）の詳細な手順を示す
フローチャートである。

【図２４】 Vowel歌唱長の算出の手法を説明するため
の説明図である。

【図２５】 ピッチモデル形成の手順を示すフローチャ
ートである。

【図２６】 立ち上がり部ピッチモデルを形成する手法
を示す説明図の１つである。

【図２７】 立ち上がり部ピッチモデルを形成する手法
を示す説明図の１つである。

【図２８】 立ち上がり部ピッチモデルを形成する手法
を示す説明図の１つである。

【図２９】 立ち上がり部ピッチモデルを形成する手法
を示す説明図の１つである。

【図３０】 立ち上がり部ピッチモデルを形成するため
のパラメータ群の構成を示す。

【図３１】 図３０に示す各パラメータの意義を説明す
る説明図である。

【図３２】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３３】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３４】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３５】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３６】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３７】 遷移部ピッチモデルを形成する手法を示す
説明図の１つである。

【図３８】 遷移部ピッチモデルを形成するためのパラ
メータ群を記憶したテーブルの構成を示す。

【図３９】 図３８に示す各パラメータの意義を説明す
る説明図である。

【図４０】 立下りピッチモデルの説明図、及び立ち下
がり部ピッチモデルを形成するためのパラメータ群の構
成を示す表である。

【図４１】 図４０（ｂ）の各パラメータの意義を説明
する説明図である。

【図４２】 第2の実施の形態によるピッチモデル付与
のためのパラメータ群を記憶したテーブルの構成を示す
表である。

【図４３】 第2の実施の形態によるピッチモデルの付
与のされかたを説明する説明図である。

【図４４】 本実施の形態の変形例を示す。

【符号の説明】

１０・・・バス、 １２・・・CＰＵ、 １４・・・ＲＯＭ、 １
４Ａ・・・歌唱合成ＤＢ、１６・・・ＲＡＭ、２０・・・検出回
路、 ２２・・・表示回路、 ２４・・・外部記憶装置、 ２
６・・・タイマ、 ２８・・・音源回路、 ３０・・・ＭＩＤＩ
インターフェース、３４・・・操作子群、 ３６・・・表示
器、 ３８・・・サウンドシステム、３９・・・ＭＩＤＩ機
器、 Ｔｐ・・・音韻トラック、 Ｔｉ・・・音高トラック、
Ｔｒ・・・遷移トラック、 Ｔｂ・・・ビブラートトラッ
ク、１０１、１０２…オーバーシュート部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 シャウメ オルトラ スペイン バルセロナ パセイ デ シル コンバルーラシオ、８．08003 Ｆターム(参考） 5D045 AA07

Claims (23)

【特許請求の範囲】
1. 【請求項１】 少なくとも音韻を表わす音韻情報と音高
   を表わす音高情報と歌唱開始時刻を表わす時刻情報とを
   含む演奏データを入力する入力ステップと、 前記音韻情報が切り替わる音韻変化時点における音韻の
   変化のしかたに関する音韻変化情報を取得する音韻変化
   情報取得ステップと、 該音韻変化時点に先行する時点又は後続する時点におけ
   る音高情報を取得する音高情報取得ステップと、 前記音韻変化情報取得ステップ及び前記音高情報取得ス
   テップで取得された情報に基づき、前記音韻変化時点に
   おける音高変化曲線に有限の傾きを付与する傾き付与ス
   テップとを備えたことを特徴とする歌唱合成方法。
2. 【請求項２】 前記傾き付与ステップは、前記音韻変化
   情報に基づいて、付与する前記傾きの位置を変化させる
   請求項１に記載の歌唱合成方法。
3. 【請求項３】 前記傾き付与ステップは、前記音高情報
   の大きさに応じて付与する前記傾きの大きさを変化させ
   る請求項１又は２に記載の歌唱合成方法。
4. 【請求項４】 母音部分の歌唱開始時刻を、前記演奏デ
   ータのノートオン信号の発生時刻と一致させて合成歌唱
   音声として出力するステップを備えた請求項1乃至３の
   いずれか１項に記載の歌唱合成方法。
5. 【請求項５】 前記音韻変化時点に先行する時点又は後
   続する時点における歌唱音速さ情報を取得する歌唱音速
   さ情報取得ステップを備え、 前記傾き付与ステップは、前記歌唱音速さ情報をも参照
   して前記傾きを付与する請求項１乃至４のいずれか１項
   に記載の歌唱合成方法。
6. 【請求項６】 前記傾き付与ステップにより傾きを付与
   された音高変化曲線にゆらぎを付加するゆらぎ付加ステ
   ップを更に備えた請求項１乃至５のいずれか１項に記載
   の歌唱合成方法。
7. 【請求項７】 前記傾き付与ステップは、前記音韻変化
   情報及び前記音高情報の大きさが異なる毎に異なるパラ
   メータを対応させて記憶するテーブルに基づき前記傾き
   を付与する請求項１乃至５のいずれか1項に記載の歌唱
   合成方法。
8. 【請求項８】 前記テーブルをユーザが編集可能とした
   請求項７に記載の歌唱合成方法。
9. 【請求項９】 少なくとも音韻を表わす音韻情報と音高
   を表わす音高情報と歌唱開始時刻を表わす時刻情報とを
   含む演奏データを入力する入力ステップと、 前記音韻情報が切り替わる音韻変化時点における音韻の
   変化のしかたに関する音韻変化情報を取得する音韻変化
   情報取得ステップと、 該音韻変化時点に先行する時点又は後続する時点におけ
   る音高情報を取得する音高情報取得ステップと、 前記音韻変化情報取得ステップ及び前記音高情報取得ス
   テップで取得された情報に基づき、前記音韻変化時点に
   おける音高変化曲線に有限の傾きを付与する傾き付与ス
   テップとをコンピュータに実行させるように構成された
   ことを特徴とする歌唱合成用プログラム。
10. 【請求項１０】 前記傾き付与ステップは、前記音韻変
    化情報に基づいて、付与する前記傾きの位置を変化させ
    る請求項９に記載の歌唱合成用プログラム。
11. 【請求項１１】 前記傾き付与ステップは、前記音高情
    報の大きさに応じて付与する前記傾きの大きさを変化さ
    せる請求項９又は１０に記載の歌唱合成用プログラム。
12. 【請求項１２】 母音部分の歌唱開始時刻を、前記演奏
    データのノートオン信号の発生時刻と一致させて合成歌
    唱音声として出力するステップを更に実行させるように
    された請求項９乃至１１のいずれか１項に記載の歌唱合
    成用プログラム。
13. 【請求項１３】 前記音韻変化時点に先行する時点又は
    後続する時点における歌唱音速さ情報を取得する歌唱音
    速さ情報取得ステップを更に実行させるように構成さ
    れ、 前記傾き付与ステップは、前記歌唱音速さ情報をも参照
    して前記傾きを付与する請求項９乃至１２のいずれか１
    項に記載の歌唱合成用プログラム。
14. 【請求項１４】 前記傾き付与ステップにより傾きを付
    与された音高変化曲線にゆらぎを付加するゆらぎ付加ス
    テップを更に実行させるように構成された請求項９乃至
    １３のいずれか１項に記載の歌唱合成用プログラム。
15. 【請求項１５】 前記傾き付与ステップは、前記音韻変
    化情報及び前記音高情報の大きさが異なる毎に異なるパ
    ラメータを対応させて記憶するテーブルに基づき前記傾
    きを付与する請求項９乃至１３に記載の歌唱合成用プロ
    グラム。
16. 【請求項１６】 少なくとも音韻を表わす音韻情報と音
    高を表わす音高情報と歌唱開始時刻を表わす時刻情報と
    を含む演奏データを入力する入力手段と、 前記音韻情報が切り替わる音韻変化時点における音韻の
    変化のしかたに関する音韻変化情報を取得する音韻変化
    情報取得手段と、 該音韻変化時点に先行する時点又は後続する時点におけ
    る音高情報を取得する音高情報取得手段と、 前記音韻変化情報取得手段及び前記音高情報取得手段で
    取得された情報に基づき、前記音韻変化時点における音
    高変化曲線に有限の傾きを付与する傾き付与手段とを備
    えたことを特徴とする歌唱合成装置。
17. 【請求項１７】 前記傾き付与手段は、前記音韻変化情
    報取得手段により取得された音韻の変化のしかたに関す
    る情報に基づいて、付与する前記傾きの位置を変化させ
    る請求項１６に記載の歌唱合成装置。
18. 【請求項１８】 前記傾き付与手段は、前記音高情報取
    得手段により取得された前記音高情報の大きさに応じて
    付与する前記傾きの大きさを変化させる請求項１６又は
    １７に記載の歌唱合成装置。
19. 【請求項１９】 母音部分の歌唱開始時刻を、前記演奏
    データのノートオン信号の発生時刻と一致させて合成歌
    唱音声として出力する出力手段を備えた請求項１６乃至
    １８のいずれか1項に記載の歌唱合成装置。
20. 【請求項２０】 前記音韻変化時点に先行する時点又は
    後続する時点における歌唱音速さ情報を取得する歌唱音
    速さ情報取得手段を備え、 前記傾き付与手段は、前記歌唱音速さ情報をも参照して
    前記傾きを付与する請求項１６乃至１９のいずれか１項
    に記載の歌唱合成装置。
21. 【請求項２１】 前記傾き付与手段により傾きを付与さ
    れた音高変化曲線にゆらぎを付加するゆらぎ付加手段を
    更に備えた請求項１６乃至２０のいずれか１項に記載の
    歌唱合成装置。
22. 【請求項２２】 前記傾き付与手段は、前記音韻変化情
    報及び前記音高情報の大きさが異なる毎に異なるパラメ
    ータを対応させて記憶するテーブルに基づき前記傾きを
    付与する請求項１６乃至２０のいずれか1項に記載の歌
    唱合成装置。
23. 【請求項２３】 前記テーブルをユーザが編集可能とし
    た請求項２２に記載の歌唱合成装置。