JP2020013170A - 電子楽器、電子楽器の制御方法、及びプログラム - Google Patents

Abstract

【課題】鍵盤等の操作子の操作に応じて歌声を再生する電子楽器、電子楽器の制御方法、及びプログラムに関し、演奏者に指定される各音高に基づいて学習された歌い手の歌声に応じた歌声で良好に歌う電子楽器を提供する。【解決手段】少なくとも歌詞情報及び音高情報を、歌い手の学習用歌声データ３１１を解析して得られる学習用言語特徴量系列３１３と歌い手の学習用歌声音声データ３１２から抽出される学習用音響特徴量系列３１４とに対する統計的な機械学習処理で算出された学習結果３１５（モデルパラメータ）が設定された音響モデル部３０６に入力する入力処理が実行され、その入力処理による入力に応じて、音響モデル部３０６が歌い手に応じた音響特徴量系列３１７を出力する出力処理が実行され、その出力処理により出力された音響特徴量系列３１７に基づいて発声モデル部３０８が歌声音声出力データ３２１を出力する音声合成処理が実行される。【選択図】図３

Description

本発明は、鍵盤等の操作子の操作に応じて歌声を再生する電子楽器、電子楽器の制御方法、及びプログラムに関する。

従来、録音された音声の素片を接続し加工する素片連結型の合成方式により音声合成された歌声を出力する電子楽器が知られている（例えば特許文献１）。

特開平９−０５０２８７

しかし、ＰＣＭ（Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：パルス符号変調）方式の延長ともいえるこの方式は、開発時に長時間の録音作業が必要であり、また、録音された音声の素片同士を滑らかに繋ぐための複雑な計算処理や、自然な歌声にするための調整が必要であった。

そこで、本発明の目的は、或る歌手の歌声を学習した学習済みモデルを搭載することにより、演奏者による各操作子の操作により指定された音高で、前記或る歌手が良好に歌う電子楽器を提供することにある。

態様の一例の電子楽器では、各音高情報がそれぞれ対応付けられている複数の操作子と、学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、歌い手の声道をモデル化したスペクトル情報と、歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、プロセッサと、を含み、プロセッサは、複数の操作子のなかのいずれかの操作子への操作に応じて、学習済み音響モデルに対して、歌詞情報と、いずれかの操作子に対応付けられている音高情報と、を入力するとともに、入力に応じて学習済み音響モデルが出力したスペクトル情報と、音源情報と、に基づいて歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、を実行する。

本発明によれば、或る歌手の歌声を学習した学習済みモデルを搭載することにより、演奏者による各操作子の操作により指定された音高で、前記或る歌手が良好に歌う電子楽器を提供できる。

電子鍵盤楽器の一実施形態の外観例を示す図である。 電子鍵盤楽器の制御システムの一実施形態のハードウェア構成例を示すブロック図である。 音声学習部及び音声合成部の構成例を示すブロック図である。 統計的音声合成処理の第１の実施形態の説明図である。 統計的音声合成処理の第２の実施形態の説明図である。 本実施形態のデータ構成例を示す図である。 本実施形態における電子楽器の制御処理例を示すメインフローチャートである。 初期化処理、テンポ変更処理、及びソング開始処理の詳細例を示すフローチャートである。 スイッチ処理の詳細例を示すフローチャートである。 自動演奏割込み処理の詳細例を示すフローチャートである。 ソング再生処理の詳細例を示すフローチャートである。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。

図１は、電子鍵盤楽器の一実施形態１００の外観例を示す図である。電子鍵盤楽器１００は、演奏操作子としての複数の鍵からなる鍵盤１０１と、音量の指定、ソング再生のテンポ設定、ソング再生開始、伴奏再生等の各種設定を指示する第１のスイッチパネル１０２と、ソングや伴奏の選曲や音色の選択等を行う第２のスイッチパネル１０３と、ソング再生時の歌詞、楽譜や各種設定情報を表示するＬＣＤ１０４（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）等を備える。また、電子鍵盤楽器１００は、特には図示しないが、演奏により生成された楽音を放音するスピーカを裏面部、側面部、又は背面部等に備える。

図２は、図１の電子鍵盤楽器１００の制御システム２００の一実施形態のハードウェア構成例を示す図である。図２において、制御システム２００は、ＣＰＵ（中央演算処理装置）２０１、ＲＯＭ（リードオンリーメモリ）２０２、ＲＡＭ（ランダムアクセスメモリ）２０３、音源ＬＳＩ（大規模集積回路）２０４、音声合成ＬＳＩ２０５、図１の鍵盤１０１、第１のスイッチパネル１０２、及び第２のスイッチパネル１０３が接続されるキースキャナ２０６、及び図１のＬＣＤ１０４が接続されるＬＣＤコントローラ２０８が、それぞれシステムバス２０９に接続されている。また、ＣＰＵ２０１には、自動演奏のシーケンスを制御するためのタイマ２１０が接続される。更に、音源ＬＳＩ２０４及び音声合成ＬＳＩ２０５からそれぞれ出力される楽音出力データ２１８及び歌声音声出力データ２１７は、Ｄ／Ａコンバータ２１１、２１２によりそれぞれアナログ楽音出力信号及びアナログ歌声音声出力信号に変換される。アナログ楽音出力信号及びアナログ歌声音声出力信号は、ミキサ２１３で混合され、その混合信号がアンプ２１４で増幅された後に、特には図示しないスピーカ又は出力端子から出力される。

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして使用しながらＲＯＭ２０２に記憶された制御プログラムを実行することにより、図１の電子鍵盤楽器１００の制御動作を実行する。また、ＲＯＭ２０２は、上記制御プログラム及び各種固定データのほか、歌詞データ及び伴奏データを含む曲データを記憶する。

ＣＰＵ２０１には、本実施形態で使用するタイマ２１０が実装されており、例えば電子鍵盤楽器１００における自動演奏の進行をカウントする。

音源ＬＳＩ２０４は、ＣＰＵ２０１からの発音制御指示に従って、例えば特には図示しない波形ＲＯＭから楽音波形データを読み出し、Ｄ／Ａコンバータ２１１に出力する。音源ＬＳＩ２０４は、同時に最大２５６ボイスを発振させる能力を有する。

音声合成ＬＳＩ２０５は、ＣＰＵ２０１から、歌詞のテキストデータと音高に関する情報を歌声データ２１５として与えられると、それに対応する歌声の音声データを合成し、Ｄ／Ａコンバータ２１２に出力する。

キースキャナ２０６は、図１の鍵盤１０１の押鍵／離鍵状態、第１のスイッチパネル１０２、及び第２のスイッチパネル１０３のスイッチ操作状態を定常的に走査し、ＣＰＵ２０１に割り込みを掛けて状態変化を伝える。

ＬＣＤコントローラ６０９は、ＬＣＤ５０５の表示状態を制御するＩＣ（集積回路）である。

図３は、本実施形態における音声合成部、音響効果付加部、及び音声学習部の構成例を示すブロック図である。ここで、音声合成部３０２及び音響効果付加部３２０は、図２の音声合成ＬＳＩ２０５が実行する一機能として電子鍵盤楽器１００に内蔵される。

音声合成部３０２は、後述するソング再生処理により図１の鍵盤１０１上の押鍵に基づいて図２のキースキャナ２０６を介してＣＰＵ２０１から指示される歌詞及び音高の情報を含む歌声データ２１５を入力することにより、歌声音声出力データ３２１を合成し出力する。このとき音声合成部３０２のプロセッサは、鍵盤１０１上の複数の鍵（操作子）のなかのいずれかの鍵への操作に応じて、音響モデル部３０６に設定されている学習済み音響モデルに対して、歌詞情報と、いずれかの鍵に対応付けられている音高情報を含む歌声データ２１５を入力するとともに、その入力に応じて音響モデル部３０６が出力したスペクトル情報３１８と音源情報３１９とに基づいて、歌い手の歌声を推論した歌声音声出力データ３２１（第１音源情報使用推論歌声データ）を出力する音源情報使用推論歌声データ出力処理を実行する。

音響効果付加部３２０は、更に効果の情報が含まれる歌声データ２１５を入力することにより、音声合成部３０２が出力する歌声音声出力データ３２１に対して、ビブラート効果、トレモロ効果、又はワウ効果などの音響効果を付加し、最終的な歌声音声出力データ２１７（図２参照）を出力する。

音声学習部３０１は例えば、図３に示されるように、図１の電子鍵盤楽器１００とは別に外部に存在するサーバコンピュータ３００が実行する一機能として実装されてよい。或いは、図３には図示していないが、音声学習部３０１は、図２の音声合成ＬＳＩ２０５の処理能力に余裕があれば、音声合成ＬＳＩ２０５が実行する一機能として電子鍵盤楽器１００に内蔵されてもよい。

図２の音声学習部３０１及び音声合成部３０２は、例えば下記非特許文献１に記載の「深層学習に基づく統計的音声合成」の技術に基づいて実装される。

（非特許文献１）
橋本佳，高木信二「深層学習に基づく統計的音声合成」日本音響学会誌７３巻１号（２０１７），ｐｐ．５５−６２

図３に示されるように例えば外部のサーバコンピュータ３００が実行する機能である図２の音声学習部３０１は、学習用テキスト解析部３０３と学習用音響特徴量抽出部３０４とモデル学習部３０５とを含む。

音声学習部３０１において、学習用歌声音声データ３１２としては、例えば適当なジャンルの複数の歌唱曲を或る歌い手が歌った音声を録音したものが使用される。また、学習用歌声データ３１１としては、各歌唱曲の歌詞テキストが用意される。

学習用テキスト解析部３０３は、歌詞テキストを含む学習用歌声データ３１１を入力してそのデータを解析する。この結果、学習用テキスト解析部３０３は、学習用歌声データ３１１に対応する音素、音高等を表現する離散数値系列である学習用言語特徴量系列３１３を推定して出力する。

学習用音響特徴量抽出部３０４は、上記学習用歌声データ３１１の入力に合わせてその学習用歌声データ３１１に対応する歌詞テキストを或る歌い手が歌うことによりマイク等を介して集録された学習用歌声音声データ３１２を入力して分析する。この結果、学習用音響特徴量抽出部３０４は、学習用歌声音声データ３１２に対応する音声の特徴を表す学習用音響特徴量系列３１４を抽出して出力する。

モデル学習部３０５は、下記（１）式に従って、学習用言語特徴量系列３１３（これを
と置く）と、音響モデル（これを
と置く）とから、学習用音響特徴量系列３１４（これを
と置く）が生成される確率（これを
と置く）を最大にするような音響モデル
を、機械学習により推定する。即ち、テキストである言語特徴量系列と音声である音響特徴量系列との関係が、音響モデルという統計モデルによって表現される。

ここで、
は、その右側に記載される関数に関して最大値を与える、その下側に記載されている引数を算出する演算を示す。

モデル学習部３０５は、（１）式によって機械学習を行った結果算出される音響モデル
を表現するモデルパラメータを学習結果３１５として出力する。

この学習結果３１５（モデルパラメータ）は例えば、図３に示されるように、図１の電子鍵盤楽器１００の工場出荷時に、図２の電子鍵盤楽器１００の制御システムのＲＯＭ２０２に記憶され、電子鍵盤楽器１００のパワーオン時に、図２のＲＯＭ２０２から音声合成ＬＳＩ２０５内の後述する音響モデル部３０６にロードされてよい。或いは、学習結果３１５は例えば、図３に示されるように、演奏者が電子鍵盤楽器１００の第２のスイッチパネル１０３を操作することにより、特には図示しないインターネットやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等のネットワークからネットワークインタフェース２１９を介して、音声合成ＬＳＩ２０５内の後述する音響モデル部３０６にダウンロードされてもよい。

音声合成ＬＳＩ２０５が実行する機能である音声合成部３０２は、テキスト解析部３０７と音響モデル部３０６と発声モデル部３０８とを含む。音声合成部３０２は、歌詞テキストを含む歌声データ２１５に対応する歌声音声出力データ３２１を、音響モデル部３０６に設定された音響モデルという統計モデルを用いて予測することにより合成する、統計的音声合成処理を実行する。

テキスト解析部３０７は、自動演奏に合わせた演奏者の演奏の結果として、図２のＣＰＵ２０１より指定される歌詞の音素、音高等に関する情報を含む歌声データ２１５を入力し、そのデータを解析する。この結果、テキスト解析部３０７は、歌声データ２１５に対応する音素、品詞、単語等を表現する言語特徴量系列３１６を解析して出力する。

音響モデル部３０６は、言語特徴量系列３１６を入力することにより、それに対応する音響特徴量系列３１７を推定して出力する。即ち音響モデル部３０６は、下記（２）式に従って、テキスト解析部３０７から入力する言語特徴量系列３１６（これを再度
と置く）と、モデル学習部３０５での機械学習により学習結果３１５として設定された音響モデル
とに基づいて、音響特徴量系列３１７（これを再度
と置く）が生成される確率（これを
と置く）を最大にするような音響特徴量系列３１７の推定値
を推定する。

発声モデル部３０８は、音響特徴量系列３１７を入力することにより、ＣＰＵ２０１より指定される歌詞テキストを含む歌声データ２１５に対応する歌声音声出力データ３２１を生成する。歌声音声出力データ３２１は、後述する音響効果付加部３２０にて音響効果が付加されて最終的な歌声音声出力データ２１７に変換され、図２のＤ／Ａコンバータ２１２からミキサ２１３及びアンプ２１４を介して出力され、特には図示しないスピーカから放音される。

学習用音響特徴量系列３１４や音響特徴量系列３１７で表される音響特徴量は、人間の声道をモデル化したスペクトル情報と、人間の声帯をモデル化した音源情報とを含む。スペクトル情報（パラメータ）としては例えば、メルケプストラムや線スペクトル対（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｐａｉｒｓ：ＬＳＰ）等を採用できる。音源情報としては、人間の音声のピッチ周波数を示す基本周波数（Ｆ０）及びパワー値を採用できる。発声モデル部３０８は、音源生成部３０９と合成フィルタ部３１０とを含む。音源生成部３０９は、人間の声帯をモデル化した部分であり、音響モデル部３０６から入力する音源情報３１９の系列を順次入力することにより、例えば、音源情報３１９に含まれる基本周波数（Ｆ０）及びパワー値で周期的に繰り返されるパルス列（有声音音素の場合）、又は音源情報３１９に含まれるパワー値を有するホワイトノイズ（無声音音素の場合）、或いはそれらが混合された信号からなる音源信号を生成する。合成フィルタ部３１０は、人間の声道をモデル化した部分であり、音響モデル部３０６から順次入力するスペクトル情報３１８の系列に基づいて声道をモデル化するデジタルフィルタを形成し、音源生成部３０９から入力する音源信号を励振源信号として、デジタル信号の歌声音声出力データ３２１を生成し出力する。

学習用歌声音声データ３１２に対するサンプリング周波数は、例えば１６ＫＨｚ（キロヘルツ）である。また、学習用音響特徴量系列３１４及び音響特徴量系列３１７に含まれるスペクトルパラメータとして、例えばメルケプストラム分析処理により得られるメルケプストラムパラメータが採用される場合、その更新フレーム周期は、例えば５ｍｓｅｃ（ミリ秒）である。更に、メルケプストラム分析処理の場合、分析窓長は２５ｍｓｅｃ、窓関数はブラックマン窓、分析次数は２４次である。

音声合成部３０２から出力される歌声音声出力データ３２１は更に、音声合成ＬＳＩ２０５内の音響効果付加部３２０により、ビブラート効果、トレモロ効果、又はワウ効果などの音響効果が付加される。

ビブラート効果とは、歌唱において音を伸ばすとき、音高の高さを所定の振れ幅（深さ）で周期的に振らす効果をいう。ビブラート効果を付加するための音響効果付加部３２０の構成としては、例えば下記特許文献２又は３に記載の技術を採用することができる。
＜特許文献２＞
特開平０６−１６７９７６号公報
＜特許文献３＞
特開平０７−１９９９３１号公報

トレモロ効果とは、同一又は複数の音を小刻みに演奏する効果をいう。トレモロ効果を付加するための音響効果付加部３２０の構成としては、例えば下記特許文献４に記載の技術を採用することができる。
＜特許文献４＞
特開平０７−０２８４７１号公報

ワウ効果とは、バンドパスフィルタの利得がピークとなる周波数を動かすことによって、「ワウワウ」としゃべっているような効果を得るものである。ワウ効果を付加するための音響効果付加部３２０の構成としては、例えば下記特許文献５に記載の技術を採用することができる。
＜特許文献５＞
特開平０５−００６１７３号公報

演奏者は、歌声音声を指示するための鍵盤１０１（図１）上の第１鍵（第１操作子）によって、歌声音声出力データ３２１の出力を継続させている状態（第１鍵を押している状態）で、鍵盤１０１上の第２鍵（第２操作子）を繰り返し連打する操作を行うと、音響効果付加部３２０において、ビブラート効果、トレモロ効果、又はワウ効果のうち、第１のスイッチパネル１０２（図１）で予め選択した音響効果を付加させることができる。

この場合更に、演奏者は、歌声指定している第１鍵の音高に対して、連打する第２鍵を、第２鍵と第１鍵の音高差が所望の音高差となるように指定することにより、音響効果付加部３２０における音高効果の程度を可変させることができる。例えば、第２鍵と第１鍵の間の音高差が１オクターブ離れていれば、音響効果の深さ（デプス）の最大値が設定され、音高差が小さくなるにつれて音響効果の程度が弱くなるように可変させることができる。

なお、連打する鍵盤１０１上の第２鍵は、白鍵でもよいが、例えば黒鍵とした場合には、歌声音声の音高を指定するための第１鍵の演奏操作を邪魔しにくくて済む。

このように、本実施形態では、音声合成部３０２から出力される歌声音声出力データ３２１に対して、音響効果付加部３２０にて更に多彩な音響効果を付加させて、最終的な歌声音声出力データ２１７を生成することが可能となる。
なお、設定された時間（たとえば、数百ミリ秒）、第２鍵に対する押鍵を検出しない場合に、音響効果の付加を終了する。

別の実施例として、第１鍵が押されている状態で第２鍵が１度押されただけで、すなわち上述のように第２鍵が連打されていなくても、このような音響効果を付加してもよい。この場合も、第１鍵と第２鍵との間の音高差に応じて、このような音響効果の深さを変更してもよい。また、第２鍵が押されている間、音響効果を付加させて、第２鍵に対する離鍵の検出に応じて、音響効果の付加を終了してもよい。

また別の実施例としては、第１鍵が押されている状態で第２鍵が押された後、第１鍵が離鍵されても、このような音響効果を付加してもよい。また、第１鍵及び第２鍵を連打する「トリル」を検出することにより、このような音高効果を付加してもよい。

なお、本明細書においては、これらの音響効果を付加する演奏法のことを、便宜上、「いわゆるレガート奏法」と言う場合がある。

次に、図３の音声学習部３０１及び音声合成部３０２からなる統計的音声合成処理の第１の実施形態について説明する。統計的音声合成処理の第１の実施形態では、音響モデル部３０６に設定される学習結果３１５（モデルパラメータ）によって表現される音響モデルとして、前述した非特許文献１、及び下記非特許文献２に記載のＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：隠れマルコフモデル）を用いる。

（非特許文献２）
酒向慎司、才野慶二郎、南角吉彦、徳田恵一、北村正「声質と歌唱スタイルを自動学習可能な歌声合成システム」情報処理学会研究報告音楽情報科学（ＭＵＳ）２００８（１２（２００８−ＭＵＳ−０７４）），ｐｐ．３９−４４，２００８−０２−０８

統計的音声合成処理の第１の実施形態では、ユーザが或るメロディーにそった歌詞を発声する際、声帯の振動や声道特性の歌声の特徴パラメータがどのような時間変化をしながら発声されるかが、ＨＭＭ音響モデルによって学習される。より具体的には、ＨＭＭ音響モデルは、学習用の歌声データから求めたスペクトル、基本周波数、およびそれらの時間構造を音素単位でモデル化したものである。

まず、ＨＭＭ音響モデルが採用される図３の音声学習部３０１の処理について説明する。音声学習部３０１内のモデル学習部３０５は、学習用テキスト解析部３０３が出力する学習用言語特徴量系列３１３と、学習用音響特徴量抽出部３０４が出力する上記学習用音響特徴量系列３１４とを入力することにより、前述した（１）式に基づいて、尤度が最大となるＨＭＭ音響モデルの学習を行う。ＨＭＭ音響モデルの尤度関数は下記（３）式で示される。

ここで、
はフレームｔにおける音響特徴量、Ｔはフレーム数、
はＨＭＭ音響モデルの状態系列、
はフレームｔにおけるＨＭＭ音響モデルの状態番号を表す。また、
は状態
から状態
への状態遷移確率を表し、
は平均ベクトル
、共分散行列
の正規分布であり、状態
の出力確率分布を表す。尤度最大化基準によるＨＭＭ音響モデルの学習は、期待値最大化（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ：ＥＭ）アルゴリズムを利用することで効率良く行われる。

歌声音声のスペクトルパラメータは、連続ＨＭＭによってモデル化することができる。一方、対数基本周波数（Ｆ０）は有声区間では連続値をとり、無声区間では値を持たない可変次元の時間系列信号であるため、通常の連続ＨＭＭや離散ＨＭＭで直接モデル化することはできない。そこで、可変次元に対応した多空間上の確率分布に基づくＨＭＭであるＭＳＤ−ＨＭＭ（Ｍｕｌｔｉ−Ｓｐａｃｅ ｐｒｏｂａｂｉｌｉｔｙ ＤｉｓｔｒｉｂｕｔｉｏｎＨＭＭ）を用い、スペクトルパラメータとしてメルケプストラムを多次元ガウス分布、対数基本周波数（Ｆ０）の有声音を1次元空間、無声音を0次元空間のガウス分布として同時にモデル化する。

また、歌声を構成する音素の特徴は、音響的な特徴は同一の音素であっても、様々な要因の影響を受けて変動することが知られている。例えば、基本的な音韻単位である音素のスペクトルや対数基本周波数（Ｆ０）は、歌唱スタイルやテンポ、或いは、前後の歌詞や音高等によって異なる。このような音響特徴量に影響を与える要因のことをコンテキストと呼ぶ。第１の実施形態の統計的音声合成処理では、音声の音響的な特徴を精度良くモデル化するために、コンテキストを考慮したＨＭＭ音響モデル（コンテキスト依存モデル）を採用することができる。具体的には、学習用テキスト解析部３０３は、フレーム毎の音素、音高だけでなく、直前、直後の音素や、現在位置、直前、直後のビブラートやアクセント等も考慮した学習用言語特徴量系列３１３を出力してよい。更に、コンテキストの組合せの効率化のために、決定木に基づくコンテキストクラスタリングが用いられてよい。これは、二分木を用いてＨＭＭ音響モデルの集合を木構造に分割することで、類似したコンテキストの組合せごとにＨＭＭ音響モデルをクラスタリングする手法である。木の各ノードには、「直前の音素は／ａ／であるか？」等のコンテキストを二分する質問があり、各リーフノードには、特定のＨＭＭ音響モデルに相当する学習結果３１５（モデルパラメータ）がある。任意のコンテキストの組合せは、ノードにある質問に沿って木を辿ることで、何れかのリーフノードに到達でき、そのリーフノードに対応する学習結果３１５（モデルパラメータ）を選択できる。適切な決定木構造を選択することで、高精度かつ汎化性能の高いＨＭＭ音響モデル（コンテキスト依存モデル）を推定することができる。

図４は、統計的音声合成処理の第１の実施形態における、ＨＭＭの決定木についての説明図である。コンテキストに依存するそれぞれの音素について、その音素の各状態は、例えば図４（ａ）に示される＃１、＃２、＃３の３つの状態４０１からなるＨＭＭに対応付けられる。各状態に対して入出力する矢印は、状態遷移を示している。例えば、状態４０１（＃１）は例えば、その音素の開始付近をモデル化する状態である。また、状態４０１（＃２）は例えば、その音素の中心付近をモデル化する状態である。更に、状態４０１（＃３）は例えば、その音素の終了付近をモデル化する状態である。

また、音素長に依存して、図４（ａ）のＨＭＭが示す＃１から＃３の各状態４０１が継続する長さが、図４（ｂ）の状態継続長モデルにより決定される。図３のモデル学習部３０５は、図３の学習用テキスト解析部３０３が図３の学習用歌声データ３１１から抽出した状態継続長に関する多数の音素のコンテキストに対応する学習用言語特徴量系列３１３から、状態継続長を決定するための状態継続長決定木４０２を学習により生成し、学習結果３１５として音声合成部３０２内の音響モデル部３０６に設定する。

また、図３のモデル学習部３０５は例えば、図３の学習用音響特徴量抽出部３０４が図３の学習用歌声音声データ３１２から抽出したメルケプストラムパラメータに関する多数の音素に対応する学習用音響特徴量系列３１４から、メルケプストラムパラメータを決定するためのメルケプストラムパラメータ決定木４０３を学習により生成し、学習結果３１５として音声合成部３０２内の音響モデル部３０６に設定する。

更に、図３のモデル学習部３０５は例えば、図３の学習用音響特徴量抽出部３０４が図３の学習用歌声音声データ３１２から抽出した対数基本周波数（Ｆ０）に関する多数の音素に対応する学習用音響特徴量系列３１４から、対数基本周波数（Ｆ０）を決定するための対数基本周波数決定木４０４を学習により生成し、学習結果３１５として音声合成部３０２内の音響モデル部３０６に設定する。なお、前述したように、対数基本周波数（Ｆ０）の有声区間と無声区間はそれぞれ、可変次元に対応したＭＳＤ−ＨＭＭにより、1次元及び0次元のガウス分布としてモデル化され、対数基本周波数決定木４０４が生成される。

その他、図３のモデル学習部３０５は、図３の学習用テキスト解析部３０３が図３の学習用歌声データ３１１から抽出した状態継続長に関する多数の音素のコンテキストに対応する学習用言語特徴量系列３１３から、音高のビブラートやアクセント等のコンテキストを決定するための決定木を学習により生成し、学習結果３１５として音声合成部３０２内の音響モデル部３０６に設定してもよい。

次に、ＨＭＭ音響モデルが採用される図３の音声合成部３０２の処理について説明する。音響モデル部３０６は、テキスト解析部３０７が出力する歌詞の音素、音高、その他のコンテキストに関する言語特徴量系列３１６を入力することにより、コンテキスト毎に図４に例示される各決定木４０２、４０３、４０４等を参照してＨＭＭを連結し、連結した各ＨＭＭから出力確立が最大となる音響特徴量系列３１７（スペクトル情報３１８と音源情報３１９）を予測する。

このとき、音響モデル部３０６は、前述した（２）式に従って、テキスト解析部３０７から入力する言語特徴量系列３１６（＝
）と、モデル学習部３０５での機械学習により学習結果３１５として設定された音響モデル（＝
）とに基づいて、音響特徴量系列３１７（＝
）が生成される確率（＝
）を最大にするような音響特徴量系列３１７の推定値（＝
）を推定する。ここで、前述した（２）式は、図４（ｂ）の状態継続長モデルによって推定される状態系列
を用いることで、下記（４）式により近似される。

ここで、
であり、
と
はそれぞれ状態
における平均ベクトルと共分散行列である。言語特徴量系列
を用い、音響モデル部３０６に設定された各決定木を辿ることにより、平均ベクトルと共分散行列が算出される。（４）式より、音響特徴量系列３１７の推定値（＝
）は平均ベクトル（＝
）によって得られるが、
は状態が遷移する部分で階段状に変化する不連続な系列となる。このような不連続な音響特徴量系列３１７から合成フィルタ部３１０が歌声音声出力データ３２１を合成した場合、自然性という観点からは低品質な合成音声となってしまう。そこで、統計的音声合成処理の第１の実施形態では、モデル学習部３０５において動的特徴量を考慮した学習結果３１５（モデルパラメータ）の生成アルゴリズムが採用されてよい。静的特徴量
と動的特徴量
からフレームｔにおける音響特徴量系列（＝
）が構成されるとき、各時刻の音響特徴量系列（＝
）は、下記（５）式で示される。

ここで、
は静的特徴量系列
から動的特徴量を含む音響特徴量系列
を求める行列である。モデル学習部３０５は、上述の（５）式を制約として前述の（４）式を、下記（６）式に示されるように解く。

ここで、
は、動的特徴量を制約としながら出力確率が最大となる静的特徴量系列である。動的特徴量を考慮することで状態境界の不連続が解決され、滑らかに変化する音響特徴量系列３１７を得ることができ、合成フィルタ部３１０において、高品質な歌声音声出力データ３２１を生成することが可能となる。

ここで、歌声データの音素境界は楽譜が定める音符の境界とは一致しないことが多い。このような時間的な揺らぎは、音楽表現という観点からは本質的なものといえる。そこで、上述のＨＭＭ音響モデルを採用した統計的音声合成処理の第１の実施形態において、歌声の発声において、発声する際の音韻の違いや音高やリズムなど、様々な影響を受けた時間の偏りがあると仮定し、学習データにおける発声のタイミングと楽譜とのずれをモデル化する技術が採用されてもよい。具体的には、音符単位のずれモデルとして、音符単位に見た歌声と楽譜のずれを１次元ガウス分布によって表し、他のスペクトルパラメータや対数基本周波数（Ｆ０）等と同様にして、コンテキストに依存したＨＭＭ音響モデルとして扱ってよい。このような、「ずれ」のコンテキストを含むＨＭＭ音響モデルを用いた歌声合成では、まず楽譜の表す時間境界を定めた後、音符単位のずれモデルと音素状態継続長モデルの両者の同時確率を最大化することで、学習データにおける音符の揺らぎを考慮した時間構造を決定することが可能となる。

次に、図３の音声学習部３０１及び音声合成部３０２からなる統計的音声合成処理の第２の実施形態について説明する。統計的音声合成処理の第２の実施形態では、言語特徴量系列３１６から音響特徴量系列３１７を予測するために、音響モデル部３０６がディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）により実装される。これに対応して、音声学習部３０１内のモデル学習部３０５は、言語特徴量から音響特徴量へのＤＮＮ内の各ニューロンの非線形変換関数を表すモデルパラメータを学習し、そのモデルパラメータを学習結果３１５として音声合成部３０２内の音響モデル部３０６のＤＮＮに出力する。

通常、音響特徴量は例えば５．１ｍｓｅｃ（ミリ秒）幅のフレームを単位として算出され、言語特徴量は音素を単位として算出される。従って、音響特徴量と言語特徴量は時間単位が異なる。ＨＭＭ音響モデルを採用した統計的音声合成処理の第１の実施形態では、音響特徴量と言語特徴量の対応はＨＭＭの状態系列によって表現され，モデル学習部３０５は、音響特徴量と言語特徴量の対応関係を、図３の学習用歌声データ３１１及び学習用歌声音声データ３１２に基づき自動学習した。これに対して、ＤＮＮを採用した統計的音声合成処理の第２の実施形態では、音響モデル部３０６に設定されるＤＮＮは、入力である言語特徴量系列３１６と出力である音響特徴量系列３１７の一対一の対応関係を表すモデルであるため、時間単位の異なる入出力データ対を用いてＤＮＮを学習させることはできない。このため、統計的音声合成処理の第２の実施形態では、予めフレーム単位の音響特徴量系列と音素単位の言語特徴量系列の対応関係が設定され、フレーム単位の音響特徴量と言語特徴量の対が生成される。

図５は、上述の対応関係を示す音声合成ＬＳＩ２０５の動作説明図である。例えば、童謡「きらきら星」の歌い出しの歌詞文字列「き」「ら」「き」（図５（ａ））に対応する言語特徴量系列である歌声音素列「／ｋ／」「／ｉ／」「／ｒ／」「／ａ／」「／ｋ／」「／ｉ／」（図５（ｂ））が得られているときに、これらの言語特徴量系列が、フレーム単位の音響特徴量系列（図５（ｃ））に対して、１対多の関係（図５の（ｂ）と（ｃ）の関係）で対応付けられる。なお、言語特徴量は音響モデル部３０６におけるＤＮＮへの入力として使用されるため、数値データとして表現する必要がある。このため、言語特徴量系列としては、「直前の音素は「／ａ／」であるか？」や「現在の単語に含まれる音素の数は？」等のコンテキストに関する質問に対する二値のデータ（０又は１）、或いは、連続値での回答を連結して得られる数値データが用意される。

統計的音声合成処理の第２の実施形態における図３の音声学習部３０１内のモデル学習部３０５は、図５の破線矢印群５０１として示されるように、フレーム単位で、図５（ｂ）に対応する学習用言語特徴量系列３１３の音素列と図５（ｃ）に対応する学習用音響特徴量系列３１４の対を音響モデル部３０６のＤＮＮに順次与えて学習を行う。なお、音響モデル部３０６内のＤＮＮは、図５のグレー色の丸印群として示されるように、入力層、１つ以上の中間層、及び出力層からなるニューロン群を含む。

一方、音声合成時には、上記フレーム単位で、図５（ｂ）に対応する言語特徴量系列３１６の音素列が音響モデル部３０６のＤＮＮに入力される。この結果、音響モデル部３０６のＤＮＮは、図５の太実線矢印群５０２として示されるように、上記フレーム単位で、音響特徴量系列３１７を出力する。従って、発声モデル部３０８においても、上述のフレーム単位で、音響特徴量系列３１７に含まれる音源情報３１９及びスペクトル情報３１８がそれぞれ音源生成部３０９及び合成フィルタ部３１０に与えられて、音声合成が実行される。

この結果、発声モデル部３０８は、図５の太実線矢印群５０３として示されるように、フレーム毎に、例えば２２５サンプル（ｓａｍｐｌｅｓ）ずつの歌声音声出力データ３２１を出力する。フレームは５．１ｍｓｅｃの時間幅を有するため、１サンプルは「５．１ｍｓｅｃ÷２２５≒０．０２２７ｍｓｅｃ」であり、従って、歌声音声出力データ３２１のサンプリング周波数は１／０．０２２７≒４４ｋＨｚ（キロヘルツ）である。

ＤＮＮの学習は、フレーム単位の音響特徴量と言語特徴量の対を用いて、下記の（７）式で演算される二乗誤差最小化基準によって行われる。

ここで、
と
はそれぞれｔ番目のフレームｔにおける音響特徴量と言語特徴量、
は音響モデル部３０６のＤＮＮのモデルパラメータ、
はＤＮＮによって表される非線形変換関数である。ＤＮＮのモデルパラメータは誤差逆伝播法によって効率良く推定することができる。前述した（１）式によって表される統計的音声合成におけるモデル学習部３０５の処理との対応関係を考慮すると、ＤＮＮの学習は下記の（８）式のように表すことができる。

ここで、下記（９）式が成立する。

上記（８）式及び（９）式のように、音響特徴量と言語特徴量の関係は、ＤＮＮの出力を平均ベクトルとする正規分布
によって表すことができる。ＤＮＮを用いた統計的音声合成処理の第２の実施形態では、通常、言語特徴量系列
に非依存な共分散行列、即ち全てのフレームにおいて同じ共分散行列
が用いられる。また、共分散行列
を単位行列とすると、（８）式は（７）式と等価な学習処理を示している。

図５で説明したように、音響モデル部３０６のＤＮＮは、フレーム毎に独立に音響特徴量系列３１７を推定する。このため、得られる音響特徴量系列３１７には、合成音声の品質を低下させるような不連続が含まれる。そこで、本実施形態では例えば、統計的音声合成処理の第１の実施形態の場合と同様な、動的特徴量を用いたパラメータ生成アルゴリズムを利用することにより、合成音声の品質を改善することができる。

図３から図５で説明した統計的音声合成処理を利用した図１及び図２の電子鍵盤楽器１００の実施形態の動作について、以下に詳細に説明する。図６は、本実施形態において、図２のＲＯＭ２０２からＲＡＭ２０３に読み込まれる曲データのデータ構成例を示す図である。このデータ構成例は、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）用ファイルフォーマットの一つであるスタンダードＭＩＤＩファイルのフォーマットに準拠している。この曲データは、チャンクと呼ばれるデータブロックから構成される。具体的には、曲データは、ファイルの先頭にあるヘッダチャンクと、それに続く歌詞パート用の歌詞データが格納されるトラックチャンク１と、伴奏パート用の演奏データが格納されるトラックチャンク２とから構成される。

ヘッダチャンクは、ＣｈｕｎｋＩＤ、ＣｈｕｎｋＳｉｚｅ、ＦｏｒｍａｔＴｙｐｅ、ＮｕｍｂｅｒＯｆＴｒａｃｋ、及びＴｉｍｅＤｉｖｉｓｉｏｎの４つの値からなる。ＣｈｕｎｋＩＤは、ヘッダチャンクであることを示す"MThd"という半角４文字に対応する４バイトのアスキーコード「4D 54 68 64」（数字は１６進数）である。ＣｈｕｎｋＳｉｚｅは、ヘッダチャンクにおいて、ＣｈｕｎｋＩＤとＣｈｕｎｋＳｉｚｅを除く、ＦｏｒｍａｔＴｙｐｅ、ＮｕｍｂｅｒＯｆＴｒａｃｋ、及びＴｉｍｅＤｉｖｉｓｉｏｎの部分のデータ長を示す４バイトデータであり、データ長は６バイト：「00 00 00 06」（数字は１６進数）に固定されている。ＦｏｒｍａｔＴｙｐｅは、本実施形態の場合、複数トラックを使用するフォーマット１を意味する２バイトのデータ「00 01」（数字は１６進数）である。ＮｕｍｂｅｒＯｆＴｒａｃｋは、本実施形態の場合、歌詞パートと伴奏パートに対応する２トラックを使用することを示す２バイトのデータ「00 02」（数字は１６進数）である。ＴｉｍｅＤｉｖｉｓｉｏｎは、４分音符あたりの分解能を示すタイムベース値を示すデータであり、本実施形態の場合、１０進法で４８０を示す２バイトのデータ「01 E0」（数字は１６進数）である。

トラックチャンク１、２はそれぞれ、ＣｈｕｎｋＩＤ、ＣｈｕｎｋＳｉｚｅと、ＤｅｌｔａＴｉｍｅ＿１［ｉ］及びＥｖｅｎｔ＿１［ｉ］（トラックチャンク１／歌詞パートの場合）又はＤｅｌｔａＴｉｍｅ＿２［ｉ］及びＥｖｅｎｔ＿２［ｉ］（トラックチャンク２／伴奏パートの場合）からなる演奏データ組（０≦ｉ≦Ｌ：トラックチャンク１／歌詞パートの場合、０≦ｉ≦Ｍ：トラックチャンク２／伴奏パートの場合）とからなる。ＣｈｕｎｋＩＤは、トラックチャンクであることを示す"MTrk"という半角４文字に対応する４バイトのアスキーコード「4D 54 72 6B」（数字は１６進数）である。ＣｈｕｎｋＳｉｚｅは、各トラックチャンクにおいて、ＣｈｕｎｋＩＤとＣｈｕｎｋＳｉｚｅを除く部分のデータ長を示す４バイトデータである。

ＤｅｌｔａＴｉｍｅ＿１［ｉ］は、その直前のＥｖｅｎｔ＿１［ｉ−１］の実行時刻からの待ち時間（相対時間）を示す１〜４バイトの可変長データである。同様に、ＤｅｌｔａＴｉｍｅ＿２［ｉ］は、その直前のＥｖｅｎｔ＿２［ｉ−１］の実行時刻からの待ち時間（相対時間）を示す１〜４バイトの可変長データである。Ｅｖｅｎｔ＿１［ｉ］は、トラックチャンク１／歌詞パートにおいて、歌詞の発声タイミングと音高を指示するメタイベント（タイミング情報）である。Ｅｖｅｎｔ＿２［ｉ］は、トラックチャンク２／伴奏パートにおいて、ノートオン又はノートオフを指示するＭＩＤＩイベント、又は拍子を指示するメタイベント（タイミング情報）である。トラックチャンク１／歌詞パートに対して、各演奏データ組ＤｅｌｔａＴｉｍｅ＿１［ｉ］及びＥｖｅｎｔ＿１［ｉ］において、その直前のＥｖｅｎｔ＿１［ｉ−１］の実行時刻からＤｅｌｔａＴｉｍｅ＿１［ｉ］だけ待った上でＥｖｅｎｔ＿１［ｉ］が実行されることにより、歌詞の発声進行が実現される。一方、トラックチャンク２／伴奏パートに対して、各演奏データ組ＤｅｌｔａＴｉｍｅ＿２［ｉ］及びＥｖｅｎｔ＿２［ｉ］において、その直前のＥｖｅｎｔ＿２［ｉ−１］の実行時刻からＤｅｌｔａＴｉｍｅ＿２［ｉ］だけ待った上でＥｖｅｎｔ＿２［ｉ］が実行されることにより、自動伴奏の進行が実現される。

図７は、本実施形態における電子楽器の制御処理例を示すメインフローチャートである。この制御処理は例えば、図２のＣＰＵ２０１が、ＲＯＭ２０２からＲＡＭ２０３にロードされた制御処理プログラムを実行する動作である。

ＣＰＵ２０１は、まず初期化処理を実行した後（ステップＳ７０１）、ステップＳ７０２からＳ７０８の一連の処理を繰り返し実行する。

この繰返し処理において、ＣＰＵ２０１はまず、スイッチ処理を実行する（ステップＳ７０２）。ここでは、ＣＰＵ２０１は、図２のキースキャナ２０６からの割込みに基づいて、図１の第１のスイッチパネル１０２又は第２のスイッチパネル１０３のスイッチ操作に対応する処理を実行する。

次に、ＣＰＵ２０１は、図２のキー・スキャナ２０６からの割込みに基づいて図１の鍵盤１０１の何れかの鍵が操作されたか否かを判定して処理する鍵盤処理を実行する（ステップＳ７０３）。ここでは、ＣＰＵ２０１は、演奏者による何れかの鍵の押鍵又は離鍵の操作に応じて、図２の音源ＬＳＩ２０４に対して、発音開始又は発音停止を指示する楽音制御データ２１６を出力する。

次に、ＣＰＵ２０１は、図１のＬＣＤ１０４に表示すべきデータを処理し、そのデータを、図２のＬＣＤコントローラ２０８を介してＬＣＤ１０４に表示する表示処理を実行する（ステップＳ７０４）。ＬＣＤ１０４に表示されるデータとしては、例えば演奏される歌声音声出力データ２１７に対応する歌詞とその歌詞に対応するメロディの楽譜や、各種設定情報がある。

次に、ＣＰＵ２０１は、ソング再生処理を実行する（ステップＳ７０５）。この処理においては、ＣＰＵ２０１が、演奏者の演奏に基づいて図５で説明した制御処理を実行し、歌声データ２１５を生成して音声合成ＬＳＩ２０５に出力する。

続いて、ＣＰＵ２０１は、音源処理を実行する（ステップＳ７０６）。音源処理において、ＣＰＵ２０１は、音源ＬＳＩ２０４における発音中の楽音のエンベロープ制御等の制御処理を実行する。

続いて、ＣＰＵ２０１は、音声合成処理を実行する（ステップＳ７０７）。音声合成処理において、ＣＰＵ２０１は、音声合成ＬＳＩ２０５による音声合成の実行を制御する。

最後にＣＰＵ２０１は、演奏者が特には図示しないパワーオフスイッチを押してパワーオフしたか否かを判定する（ステップＳ７０８）。ステップＳ７０８の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ７０２の処理に戻る。ステップＳ７０８の判定がＹＥＳならば、ＣＰＵ２０１は、図７のフローチャートで示される制御処理を終了し、電子鍵盤楽器１００の電源を切る。

図８（ａ）、（ｂ）、及び（ｃ）はそれぞれ、図７のステップＳ７０１の初期化処理、図７のステップＳ７０２のスイッチ処理における後述する図９のステップＳ９０２のテンポ変更処理、及び同じく図９のステップＳ９０６のソング開始処理の詳細例を示すフローチャートである。

まず、図７のステップＳ７０１の初期化処理の詳細例を示す図８（ａ）において、ＣＰＵ２０１は、ＴｉｃｋＴｉｍｅの初期化処理を実行する。本実施形態において、歌詞の進行及び自動伴奏は、ＴｉｃｋＴｉｍｅという時間を単位として進行する。図６の曲データのヘッダチャンク内のＴｉｍｅＤｉｖｉｓｉｏｎ値として指定されるタイムベース値は４分音符の分解能を示しており、この値が例えば４８０ならば、４分音符は４８０ＴｉｃｋＴｉｍｅの時間長を有する。また、図６の曲データのトラックチャンク内の待ち時間ＤｅｌｔａＴｉｍｅ＿１［ｉ］値及びＤｅｌｔａＴｉｍｅ＿２［ｉ］値も、ＴｉｃｋＴｉｍｅの時間単位によりカウントされる。ここで、１ＴｉｃｋＴｉｍｅが実際に何秒になるかは、曲データに対して指定されるテンポによって異なる。今、テンポ値をＴｅｍｐｏ［ビート／分］、上記タイムベース値をＴｉｍｅＤｉｖｉｓｉｏｎとすれば、ＴｉｃｋＴｉｍｅの秒数は、次式により算出される。

ＴｉｃｋＴｉｍｅ［秒］＝６０／Ｔｅｍｐｏ／ＴｉｍｅＤｉｖｉｓｉｏｎ （１０）

そこで、図８（ａ）のフローチャートで例示される初期化処理において、ＣＰＵ２０１はまず、上記（１０）式に対応する演算処理により、ＴｉｃｋＴｉｍｅ［秒］を算出する（ステップＳ８０１）。なお、テンポ値Ｔｅｍｐｏは、初期状態では図２のＲＯＭ２０２に所定の値、例えば６０［ビート／秒］が記憶されているとする。或いは、不揮発性メモリに、前回終了時のテンポ値が記憶されていてもよい。

次に、ＣＰＵ２０１は、図２のタイマ２１０に対して、ステップＳ８０１で算出したＴｉｃｋＴｉｍｅ［秒］によるタイマ割込みを設定する（ステップＳ８０２）。この結果、タイマ２１０において上記ＴｉｃｋＴｉｍｅ［秒］が経過する毎に、ＣＰＵ２０１に対して歌詞進行及び自動伴奏のための割込み（以下「自動演奏割込み」と記載）が発生する。従って、この自動演奏割込みに基づいてＣＰＵ２０１で実行される自動演奏割込み処理（後述する図１０）では、１ＴｉｃｋＴｉｍｅ毎に歌詞進行及び自動伴奏を進行させる制御処理が実行されることになる。

続いて、ＣＰＵ２０１は、図２のＲＡＭ２０３の初期化等のその他初期化処理を実行する（ステップＳ８０３）。その後、ＣＰＵ２０１は、図８（ａ）のフローチャートで例示される図７のステップＳ７０１の初期化処理を終了する。

図８（ｂ）及び（ｃ）のフローチャートについては、後述する。図９は、図７のステップＳ７０２のスイッチ処理の詳細例を示すフローチャートである。

ＣＰＵ２０１はまず、図１の第１のスイッチパネル１０２内のテンポ変更スイッチにより歌詞進行及び自動伴奏のテンポが変更されたか否かを判定する（ステップＳ９０１）。その判定がＹＥＳならば、ＣＰＵ２０１は、テンポ変更処理を実行する（ステップＳ９０２）。この処理の詳細は、図８（ｂ）を用いて後述する。ステップＳ９０１の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ９０２の処理はスキップする。

次に、ＣＰＵ２０１は、図１の第２のスイッチパネル１０３において何れかのソング曲が選曲されたか否かを判定する（ステップＳ９０３）。その判定がＹＥＳならば、ＣＰＵ２０１は、ソング曲読込み処理を実行する（ステップＳ９０４）。この処理は、図６で説明したデータ構造を有する曲データを、図２のＲＯＭ２０２からＲＡＭ２０３に読み込む処理である。なお、ソング曲読込み処理は、演奏中でなくても、演奏開始前でもよい。これ以降、図６に例示されるデータ構造内のトラックチャンク１又は２に対するデータアクセスは、ＲＡＭ２０３に読み込まれた曲データに対して実行される。ステップＳ９０３の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ９０４の処理はスキップする。

続いて、ＣＰＵ２０１は、図１の第１のスイッチパネル１０２においてソング開始スイッチが操作されたか否かを判定する（ステップＳ９０５）。その判定がＹＥＳならば、ＣＰＵ２０１は、ソング開始処理を実行する（ステップＳ９０６）。この処理の詳細は、図８（ｃ）を用いて後述する。ステップＳ９０５の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ９０６の処理はスキップする。

続いて、ＣＰＵ２０１は、図１の第１のスイッチパネル１０２においてエフェクト選択スイッチが操作されたか否かを判定する（ステップＳ９０７）。その判定がＹＥＳならば、ＣＰＵ２０１は、エフェクト選択処理を実行する（ステップＳ９０８）。ここでは、前述したように、図３の音響効果付加部３２０が歌声音声出力データ３２１の発声音声に対して音響効果を付加するときに、ビブラート効果、トレモロ効果、又はワウ効果のうちどの音響効果を付加するかを、第１のスイッチパネル１０２によって演奏者に選択させる。この選択の結果、ＣＰＵ２０１は、上記音響効果のうち演奏者が選択した何れかを、音声合成ＬＳＩ２０５内の音響効果付加部３２０に設定する。ステップＳ９０７の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ９０８の処理はスキップする。

設定によっては、複数の効果を同時に付加するようにしてもよい。

最後に、ＣＰＵ２０１は、図１の第１のスイッチパネル１０２又は第２のスイッチパネル１０３においてその他のスイッチが操作されたか否かを判定し、各スイッチ操作に対応する処理を実行する（ステップＳ９０９）。その後、ＣＰＵ２０１は、図９のフローチャートで例示される図７のステップＳ７０２のスイッチ処理を終了する。

図８（ｂ）は、図９のステップＳ９０２のテンポ変更処理の詳細例を示すフローチャートである。前述したように、テンポ値が変更されるとＴｉｃｋＴｉｍｅ［秒］も変更になる。図８（ｂ）のフローチャートでは、ＣＰＵ２０１は、このＴｉｃｋＴｉｍｅ［秒］の変更に関する制御処理を実行する。

まず、ＣＰＵ２０１は、図７のステップＳ７０１の初期化処理で実行された図８（ａ）のステップＳ８０１の場合と同様にして、前述した（１０）式に対応する演算処理により、ＴｉｃｋＴｉｍｅ［秒］を算出する（ステップＳ８１１）。なお、テンポ値Ｔｅｍｐｏは、図１の第１のスイッチパネル１０２内のテンポ変更スイッチにより変更された後の値がＲＡＭ２０３等に記憶されているものとする。

次に、ＣＰＵ２０１は、図７のステップＳ７０１の初期化処理で実行された図８（ａ）のステップＳ８０２の場合と同様にして、図２のタイマ２１０に対して、ステップＳ８１１で算出したＴｉｃｋＴｉｍｅ［秒］によるタイマ割込みを設定する（ステップＳ８１２）。その後、ＣＰＵ２０１は、図８（ｂ）のフローチャートで例示される図９のステップＳ９０２のテンポ変更処理を終了する。

図８（ｃ）は、図９のステップＳ９０６のソング開始処理の詳細例を示すフローチャートである。

まず、ＣＰＵ２０１は、自動演奏の進行において、ＴｉｃｋＴｉｍｅを単位として、直前のイベントの発生時刻からの相対時間をカウントするためのＲＡＭ２０３上の変数ＤｅｌｔａＴ＿１（トラックチャンク１）及びＤｅｌｔａＴ＿２（トラックチャンク２）の値を共に０に初期設定する。次に、ＣＰＵ２０１は、図６に例示される曲データのトラックチャンク１内の演奏データ組ＤｅｌｔａＴｉｍｅ＿１［ｉ］及びＥｖｅｎｔ＿１［ｉ］（１≦ｉ≦Ｌ−１）の夫々ｉの値を指定するためのＲＡＭ２０３上の変数ＡｕｔｏＩｎｄｅｘ＿１と、同じくトラックチャンク２内の演奏データ組ＤｅｌｔａＴｉｍｅ＿２［ｉ］及びＥｖｅｎｔ＿２［ｉ］（１≦ｉ≦Ｍ−１）の夫々ｉを指定するためのＲＡＭ２０３上の変数ＡｕｔｏＩｎｄｅｘ＿２の各値を共に０に初期設定する（以上、ステップＳ８２１）。これにより、図６の例では、初期状態としてまず、トラックチャンク１内の先頭の演奏データ組ＤｅｌｔａＴｉｍｅ＿１［０］とＥｖｅｎｔ＿１［０］、及びトラックチャンク２内の先頭の演奏データ組ＤｅｌｔａＴｉｍｅ＿２［０］とＥｖｅｎｔ＿２［０］がそれぞれ参照される。

次に、ＣＰＵ２０１は、現在のソング位置を指示するＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘの値を０に初期設定する（ステップＳ８２２）。

更に、ＣＰＵ２０１は、歌詞及び伴奏の進行をするか（＝１）しないか（＝０）を示すＲＡＭ２０３上の変数ＳｏｎｇＳｔａｒｔの値を１（進行する）に初期設定する（ステップＳ８２３）。

その後、ＣＰＵ２０１は、演奏者が、図１の第１のスイッチパネル１０２により歌詞の再生に合わせて伴奏の再生を行う設定を行っているか否かを判定する（ステップＳ８２４）。

ステップＳ８２４の判定がＹＥＳならば、ＣＰＵ２０１は、ＲＡＭ２０３上の変数Ｂａｎｓｏｕの値を１（伴奏有り）に設定する（ステップＳ８２５）。逆に、ステップＳ８２４の判定がＮＯならば、ＣＰＵ２０１は、変数Ｂａｎｓｏｕの値を０（伴奏無し）に設定する（ステップＳ８２６）。ステップＳ８２５又はＳ８２６の処理の後、ＣＰＵ２０１は、図８（ｃ）のフローチャートで示される図９のステップＳ９０６のソング開始処理を終了する。

図１０は、図２のタイマ２１０においてＴｉｃｋＴｉｍｅ［秒］毎に発生する割込み（図８（ａ）のステップＳ８０２又は図８（ｂ）のステップＳ８１２を参照）に基づいて実行される自動演奏割込み処理の詳細例を示すフローチャートである。以下の処理は、図６に例示される曲データのトラックチャンク１及び２の演奏データ組に対して実行される。

まず、ＣＰＵ２０１は、トラックチャンク１に対応する一連の処理（ステップＳ１００１からＳ１００６）を実行する。始めにＣＰＵ２０１は、ＳｏｎｇＳｔａｒｔ値が１であるか否か、即ち歌詞及び伴奏の進行が指示されているか否かを判定する（ステップＳ１００１）。

ＣＰＵ２０１は、歌詞及び伴奏の進行が指示されていないと判定した（ステップＳ１００１の判定がＮＯである）場合には、ＣＰＵ２０１は、歌詞及び伴奏の進行は行わずに図１０のフローチャートで例示される自動演奏割込み処理をそのまま終了する。

ＣＰＵ２０１は、歌詞及び伴奏の進行が指示されていると判定した（ステップＳ１００１の判定がＹＥＳである）場合には、トラックチャンク１に関する前回のイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿１値が、ＡｕｔｏＩｎｄｅｘ＿１値が示すこれから実行しようとする演奏データ組の待ち時間ＤｅｌｔａＴｉｍｅ＿１［ＡｕｔｏＩｎｄｅｘ＿１］に一致したか否かを判定する（ステップＳ１００２）。

ステップＳ１００２の判定がＮＯならば、ＣＰＵ２０１は、トラックチャック１に関して、前回のイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿１値を＋１インクリメントさせて、今回の割込みに対応する１ＴｉｃｋＴｉｍｅ単位分だけ時刻を進行させる（ステップＳ１００３）。その後、ＣＰＵ２０１は、後述するステップＳ１００７に移行する。

ステップＳ１００２の判定がＹＥＳになると、ＣＰＵ２０１は、トラックチャック１に関して、ＡｕｔｏＩｎｄｅｘ＿１値が示す演奏データ組のイベントＥｖｅｎｔ［ＡｕｔｏＩｎｄｅｘ＿１］を実行する（ステップＳ１００４）。このイベントは、歌詞データを含むソングイベントである。

続いて、ＣＰＵ２０１は、トラックチャンク１内の次に実行すべきソングイベントの位置を示すＡｕｔｏＩｎｄｅｘ＿１値を、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘに格納する（ステップＳ１００４）。

更に、ＣＰＵ２０１は、トラックチャンク１内の演奏データ組を参照するためのＡｕｔｏＩｎｄｅｘ＿１値を＋１インクリメントする（ステップＳ１００５）。

また、ＣＰＵ２０１は、トラックチャンク１に関して今回参照したソングイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿１値を０にリセットする（ステップＳ１００６）。その後、ＣＰＵ２０１は、ステップＳ１００７の処理に移行する。

次に、ＣＰＵ２０１は、トラックチャンク２に対応する一連の処理（ステップＳ１００７からＳ１０１３）を実行する。始めにＣＰＵ２０１は、トラックチャンク２に関する前回のイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿２値が、ＡｕｔｏＩｎｄｅｘ＿２値が示すこれから実行しようとする演奏データ組の待ち時間ＤｅｌｔａＴｉｍｅ＿２［ＡｕｔｏＩｎｄｅｘ＿２］に一致したか否かを判定する（ステップＳ１００７）。

ステップＳ１００７の判定がＮＯならば、ＣＰＵ２０１は、トラックチャック２に関して、前回のイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿２値を＋１インクリメントさせて、今回の割込みに対応する１ＴｉｃｋＴｉｍｅ単位分だけ時刻を進行させる（ステップＳ１００８）。その後、ＣＰＵ２０１は、図１０のフローチャートで示される自動演奏割込み処理を終了する。

ステップＳ１００７の判定がＹＥＳならば、ＣＰＵ２０１は、伴奏再生を指示するＲＡＭ２０３上の変数Ｂａｎｓｏｕの値が１（伴奏有り）であるか否かを判定する（ステップＳ１００９）（図８（ｃ）のステップＳ８２４からＳ８２６を参照）。

ステップＳ１００９の判定がＹＥＳならば、ＣＰＵ２０１は、ＡｕｔｏＩｎｄｅｘ＿２値が示すトラックチャック２に関する伴奏に関するイベントＥｖｅｎｔ＿２［ＡｕｔｏＩｎｄｅｘ＿２］を実行する（ステップＳ１０１０）。ここで実行されるイベントＥｖｅｎｔ＿２［ＡｕｔｏＩｎｄｅｘ＿２］が、例えばノートオンイベントであれば、そのノートオンイベントにより指定されるキーナンバー及びベロシティにより、図２の音源ＬＳＩ２０４に対して伴奏用の楽音の発音命令が発行される。一方、イベントＥｖｅｎｔ＿２［ＡｕｔｏＩｎｄｅｘ＿２］が、例えばノートオフイベントであれば、そのノートオフイベントにより指定されるキーナンバー及びベロシティにより、図２の音源ＬＳＩ２０４に対して発音中の伴奏用の楽音の消音命令が発行される。

一方、ステップＳ１００９の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ１０１０をスキップすることにより、今回の伴奏に関するイベントＥｖｅｎｔ＿２［ＡｕｔｏＩｎｄｅｘ＿２］は実行せずに、歌詞に同期した進行のために、次のステップＳ１０１１の処理に進んで、イベントを進める制御処理のみを実行する。

ステップＳ１０１０の後又はステップＳ１００９の判定がＮＯの場合に、ＣＰＵ２０１は、トラックチャンク２上の伴奏データのための演奏データ組を参照するためのＡｕｔｏＩｎｄｅｘ＿２値を＋１インクリメントする（ステップＳ１０１１）。

また、ＣＰＵ２０１は、トラックチャンク２に関して今回実行したイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ＿２値を０にリセットする（ステップＳ１０１２）。

そして、ＣＰＵ２０１は、ＡｕｔｏＩｎｄｅｘ＿２値が示す次に実行されるトラックチャンク２上の演奏データ組の待ち時間ＤｅｌｔａＴｉｍｅ＿２［ＡｕｔｏＩｎｄｅｘ＿２］が０であるか否か、即ち、今回のイベントと同時に実行されるイベントであるか否かを判定する（ステップＳ１０１３）。

ステップＳ１０１３の判定がＮＯならば、ＣＰＵ２０１は、図１０のフローチャートで示される今回の自動演奏割込み処理を終了する。

ステップＳ１０１３の判定がＹＥＳならば、ＣＰＵ２０１は、ステップＳ１００９に戻って、ＡｕｔｏＩｎｄｅｘ＿２値が示すトラックチャンク２上で次に実行される演奏データ組のイベントＥｖｅｎｔ＿２［ＡｕｔｏＩｎｄｅｘ＿２］に関する制御処理を繰り返す。ＣＰＵ２０１は、今回同時に実行される回数分だけ、ステップＳ１００９からＳ１０１３の処理を繰り返し実行する。以上の処理シーケンスは、例えば和音等のように複数のノートオンイベントが同時タイミングで発音されるような場合に実行される。

図１１は、図７のステップＳ７０５のソング再生処理の詳細例を示すフローチャートである。

まずＣＰＵ２０１は、図１０の自動演奏割込み処理におけるステップＳ１００４で、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘに、値がセットされてＮｕｌｌ値でなくなっているか否かを判定する（ステップＳ１１０１）。このＳｏｎｇＩｎｄｅｘ値は、現在のタイミングが歌声の再生タイミングになっているか否かを示すものである。

ステップＳ１１０１の判定がＹＥＳになった、即ち現時点がソング再生のタイミングになったら、ＣＰＵ２０１は、図７のステップＳ７０３の鍵盤処理により演奏者による図１の鍵盤１０１上で新たな押鍵が検出されているか否かを判定する（ステップＳ１１０２）。

ステップＳ１１０２の判定がＹＥＳならば、ＣＰＵ２０１は、演奏者による押鍵により指定された音高を、発声音高として特には図示しないレジスタ又はＲＡＭ２０３上の変数にセットする（ステップＳ１１０３）。

続いて、ＣＰＵ２０１は、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘが示すＲＡＭ２０３上の曲データのトラックチャンク１上のソングイベントＥｖｅｎｔ＿１［ＳｏｎｇＩｎｄｅｘ］から、歌詞文字列を読み出す。ＣＰＵ２０１は、読み出した歌詞文字列に対応する歌声音声出力データ３２１を、ステップＳ１１０３で設定された押鍵に基づく音高がセットされた発声音高で発声させるための歌声データ２１５を生成し、音声合成ＬＳＩ２０５に対して発声処理を指示する（ステップＳ１１０５）。音声合成ＬＳＩ２０５は、図３から図５を用いて説明した統計的音声合成処理の第１の実施形態又は第２の実施形態を実行することにより、ＲＡＭ２０３から曲データとして指定される歌詞を、演奏者が鍵盤１０１上で押鍵した鍵の音高にリアルタイムに対応して歌う歌声音声出力データ２１７を合成して出力する。

一方、ステップＳ１１０１の判定により現時点がソング再生のタイミングになったと判定されると共に、ステップＳ１１０２の判定がＮＯ、即ち現時点で新規押鍵が検出されていないと判定された場合には、ＣＰＵ２０１は、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘが示すＲＡＭ２０３上の曲データのトラックチャンク１上のソングイベントＥｖｅｎｔ＿１［ＳｏｎｇＩｎｄｅｘ］から音高のデータを読み出し、この音高を発声音高として特には図示しないレジスタ又はＲＡＭ２０３上の変数にセットする（ステップＳ１１０４）。

その後、ＣＰＵ２０１は、前述したステップＳ１１０５の処理を実行することにより、ソングイベントＥｖｅｎｔ＿１［ＳｏｎｇＩｎｄｅｘ］から読み出した歌詞文字列に対応する歌声音声出力データ３２１を、ステップＳ１１０４で設定された発声音高で発声させるための歌声データ２１５を生成し、音声合成ＬＳＩ２０５に対して発声処理を指示する（ステップＳ１１０５）。音声合成ＬＳＩ２０５は、図３から図５を用いて説明した統計的音声合成処理の第１の実施形態又は第２の実施形態を実行することにより、演奏者が鍵盤１０１上でいずれの鍵も押鍵していなくても、ＲＡＭ２０３から曲データとして指定される歌詞を、同じく曲データとしてデフォルト指定されている音高に対応して歌う歌声音声出力データ３２１を合成して出力する。

ステップＳ１１０５の処理の後、ＣＰＵ２０１は、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘが示す再生を行ったソング位置を、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘ＿ｐｒｅに記憶させる（ステップＳ１１０６）。

更に、ＣＰＵ２０１は、変数ＳｏｎｇＩｎｄｅｘの値をＮｕｌｌ値にクリアして、これ以降のタイミングをソング再生のタイミングでない状態にする（ステップＳ１１０７）。その後、ＣＰＵ２０１は、図１１のフローチャートで示される図７のステップＳ７０５のソング再生処理を終了する。

前述したステップＳ１１０１の判定がＮＯである、即ち現時点がソング再生のタイミングではないときには、ＣＰＵ２０１は、図７のステップＳ７０３の鍵盤処理により演奏者による図１の鍵盤１０１上で効果付加のための「いわゆるレガート奏法」が検出されているか否かを判定する（ステップＳ１１０８）。前述したように、このレガート奏法は、例えば、ステップＳ１１０２でソング再生のための第１鍵が押鍵がされている状態で、他の第２鍵を繰り返し連打する奏法である。この場合、ＣＰＵ２０１は、ステップＳ１１０８０において、第２鍵の押鍵を検出したときに、その押鍵の繰返し速度が所定の速度以上であるときに、レガート奏法が実行されていると判定する。

ステップＳ１１０８の判定がＮＯならば、ＣＰＵ２０１はそのまま、図１１のフローチャートで示される図７のステップＳ７０５のソング再生処理を終了する。

ステップＳ１１０８の判定がＹＥＳの場合には、ＣＰＵ２０１は、ステップＳ１１０３で設定されている発声音高と、「いわゆるレガート奏法」により図１の鍵盤１０１上で繰り返し連打されている鍵の音高との音高差を計算する（ステップＳ１１０９）。

続いて、ＣＰＵ２０１は、ステップＳ１１０９で計算した音高差に応じたエフェクト量を、図２の音声合成ＬＳＩ２０５内の音響効果付加部３２０(図３)に設定する（ステップＳ１１１０）。この結果、音響効果付加部３２０は、音声合成部３０２内の合成フィルタ部３１０かから出力される歌声音声出力データ３２１に対して、図９のステップＳ９０８で選択された音響効果の付加処理を上記エフェクト量で実行し、最終的な歌声音声出力データ２１７（図２、図３）を出力する。

以上のステップＳ１１０９とステップＳ１１１０の処理により、音声合成部３０２から出力される歌声音声出力データ３２１に対して、ビブラート効果、トレモロ効果、又はワウ効果などの音響効果を付加することが可能となり、多彩な歌声表現が実現される。

ステップＳ１１１０の処理の後、ＣＰＵ２０１は、図１１のフローチャートで示される図７のステップＳ７０５のソング再生処理を終了する。

図３及び図４を用いて説明したＨＭＭ音響モデルを採用した統計的音声合成処理の第１の実施形態では、特定の歌い手や歌唱スタイルなどの微妙な音楽表現を再現することが可能となり、接続歪みのない滑らかな歌声音質を実現することが可能となる。更に、学習結果３１５（モデルパラメータ）の変換により、別の歌い手への適応や、多様な声質や感情を表現することが可能となる。更に、ＨＭＭ音響モデルにおける全てのモデルパラメータを、学習用歌声データ３１１及び学習用歌声音声データ３１２からから自働学習できることにより、特定の歌い手の特徴をＨＭＭ音響モデルとして獲得し、合成時にそれらの特徴を再現するような歌声合成システムを自動的に構築することが可能となる。歌声の基本周波数や長さは楽譜のメロディやテンポに従うものであり、ピッチの時間変化やリズムの時間構造を楽譜から一意に定めることもできるが、そこから合成される歌声は単調で機械的なものになり，歌声としての魅力に欠けるものである。実際の歌声には，楽譜通りの画一化されたものだけではなく，声質のほかに声の高さやそれらの時間的な構造の変化により、それぞれの歌い手独自のスタイルが存在している。ＨＭＭ音響モデルを採用する統計的音声合成処理の第１の実施形態では、歌声におけるスペクトル情報とピッチ情報の時系列変化をコンテキストに基づいてモデル化することができ、さらに楽譜情報を考慮することで、実際の歌声により近い歌声再生が可能となる。更に、統計的音声合成処理の第１の実施形態で採用されるＨＭＭ音響モデルは、あるメロディに沿った歌詞を発声する際、歌い手の声帯の振動や声道特性における歌声の音響特徴量系列がどのような時間変化をしながら発声されるか、という生成モデルに相当する。更に、統計的音声合成処理の第１の実施形態において、音符と歌声の「ずれ」のコンテキストを含むＨＭＭ音響モデルを用いることにより、歌い手の発声特性に依存して複雑に変化する傾向を有する歌唱法を正確に再現できる歌声音声の合成が実現される。このようなＨＭＭ音響モデルを採用する統計的音声合成処理の第１の実施形態の技術が、例えば電子鍵盤楽器１００によるリアルタイム演奏の技術と融合されることにより、素片合成方式等による従来の電子楽器では不可能であった、モデルとなる歌い手の歌唱法及び声質を正確に反映させることのでき、まるでその歌い手が実際に歌っているような歌声の演奏を、電子鍵盤楽器１００の鍵盤演奏等に合わせて、実現することが可能となる。

図３及び図５を用いて説明したＤＮＮ音響モデルを採用した統計的音声合成処理の第２の実施形態では、言語特徴量系列と音響特徴量系列の関係の表現として、統計的音声合成処理の第１の実施形態における決定木に基づくコンテキストに依存したＨＭＭ音響モデルが、ＤＮＮに置き換えられる。これにより、決定木では表現することが困難な複雑な非線形変換関数によって言語特徴量系列と音響特徴量系列の関係を表現することが可能となる。また、決定木に基づくコンテキストに依存したＨＭＭ音響モデルでは、決定木に基づいて対応する学習データも分類されるため、各コンテキストに依存したＨＭＭ音響モデルに割り当てられる学習データが減少してしまう。これに対し、ＤＮＮ音響モデルでは学習データ全体から単一のＤＮＮを学習するため、学習データを効率良く利用することが可能となる。このため、ＤＮＮ音響モデルはＨＭＭ音響モデルよりも高精度に音響特徴量を予測することが可能となり、合成音声の自然性を大幅に改善することが可能となる。更に、ＤＮＮ音響モデルでは、フレームに関する言語特徴量系列を利用可能することが可能となる。即ち、ＤＮＮ音響モデルでは、予め音響特徴量系列と言語特徴量系列の時間的な対応関係が決められるため、ＨＭＭ音響モデルでは考慮することが困難であった「現在の音素の継続フレーム数」、「現在のフレームの音素内位置」などのフレームに関する言語特徴量を利用することが可能となる。これにより、フレームに関する言語特徴量を用いることで、より詳細な特徴をモデル化することが可能となり，合成音声の自然性を改善することが可能となる。このようなＤＮＮ音響モデルを採用する統計的音声合成処理の第２の実施形態の技術が、例えば電子鍵盤楽器１００によるリアルタイム演奏の技術と融合されることにより、鍵盤演奏等に基づく歌声の演奏を、モデルとなる歌い手の歌唱法及び声質に更に自然に近づけることが可能となる。

以上説明した実施形態では、音声合成方式として統計的音声合成処理の技術を採用することにより、従来の素片合成方式に比較して格段に少ないメモリ容量を実現することが可能となる。例えば、素片合成方式の電子楽器では、音声素片データのために数百メガバイトに及ぶ記憶容量を有するメモリが必要であったが、本実施形態では、図３の学習結果３１５のモデルパラメータを記憶させるために、わずか数メガバイトの記憶容量を有するメモリのみで済む。このため、より低価格の電子楽器を実現することが可能となり、高音質の歌声演奏システムをより広いユーザ層に利用してもらうことが可能となる。

更に、従来の素片データ方式では、素片データの人手による調整が必要なため、歌声演奏のためのデータの作成に膨大な時間（年単位）と労力を必要としていたが、本実施形態によるＨＭＭ音響モデル又はＤＮＮ音響モデルのための学習結果３１５のモデルパラメータの作成では、データの調整がほとんど必要ないため、数分の一の作成時間と労力で済む。これによっても、より低価格の電子楽器を実現することが可能となる。また、一般ユーザが、クラウドサービスとして利用可能なサーバコンピュータ３００や或いは音声合成ＬＳＩ２０５に内蔵された学習機能を使って、自分の声、家族の声、或いは有名人の声等を学習させ、それをモデル音声として電子楽器で歌声演奏させることも可能となる。この場合にも、従来よりも格段に自然で高音質な歌声演奏を、より低価格の電子楽器として実現することが可能となる。

以上説明した実施形態は、電子鍵盤楽器について本発明を実施したものであるが、本発明は電子弦楽器等他の電子楽器にも適用することができる。

また、図３の発声モデル部３０８として採用可能な音声合成方式は、ケプストラム音声合成方式には限定されず、ＬＳＰ音声合成方式をはじめとして様々な音声合成方式を採用することが可能である。

更に、以上説明した実施形態では、ＨＭＭ音響モデルを用いた統計的音声合成処理の第１の実施形態又はＤＮＮ音響モデルを用いた遠後の第２の実施形態の音声合成方式について説明したが、本発明はこれに限られるものではなく、例えばＨＭＭとＤＮＮを組み合わせた音響モデル等、統計的音声合成処理を用いた技術であればどのような音声合成方式が採用されてもよい。

以上説明した実施形態では、歌詞情報は曲データとして与えられたが、演奏者がリアルタイムに歌う内容を音声認識して得られるテキストデータが歌詞情報としてリアルタイムに与えられてもよい。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
プロセッサと、
を含み、
前記プロセッサは、前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
を実行する電子楽器。
（付記２）
付記１に記載の電子楽器において、
前記メモリは、メロディデータと、自動演奏させる伴奏データと、を有する曲データを記憶しており、
前記メロディデータは、各音高情報と、前記各音高情報に応じた音を出力する各タイミング情報と、前記各音高情報に対応付けられている各歌詞情報と、を含み、
前記プロセッサは、
前記伴奏データに基づいて発音部に発音させる伴奏データ自動演奏処理と、
前記学習済み音響モデルに対して、操作された前記いずれかの操作子に対応付けられている音高情報を入力する代わりに、前記メロディデータに含まれる音高情報を入力するとともに、前記メロディデータに含まれる歌詞情報を入力する入力処理と、
を実行し、
前記音源情報使用推論歌声データ出力処理は、前記メロディデータに含まれるタイミング情報が示すタイミングに応じて前記複数の操作子のなかのいずれの操作子も演奏者に操作されなかった場合に、前記入力処理に応じて前記学習済み音響モデルから出力された前記スペクトル情報と、前記音源情報と、に基づいて、前記歌い手の歌声を推論した第２音源情報使用推論歌声データを、前記メロディデータに含まれるタイミング情報が示すタイミングに合わせて出力する。
（付記３）
付記１または付記２に記載の電子楽器において、
前記複数の操作子は、操作された前記いずれかの操作子としての第１操作子と、前記第１操作子からみて設定された条件を満たす第２操作子と、を含み、
前記音源情報使用推論歌声データ出力処理により前記第１音源情報使用推論歌声データが出力されている際に、前記第１操作子への操作が継続している状態で前記第２操作子が繰り返し操作された場合に、前記第１音源情報使用推論歌声データに対して少なくともビブラート、トレモロ及びワウワウのいずれかのエフェクトをかけるエフェクト処理、
を実行する。
（付記４）
付記３に記載の電子楽器において、
前記エフェクト処理は、前記第１操作子に対応付けられている音高情報が示す音高と、前記第２操作子に対応付けられている音高情報が示す音高と、の音高差に応じて前記エフェクトの程度を変更している。
（付記５）
付記３または４に記載の電子楽器において、
前記第２操作子は、黒鍵である。
（付記６）
各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
を実行させる方法。
（付記７）
各音高情報がそれぞれ対応付けられている複数の操作子と、
学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
を含む電子楽器のコンピュータに、
前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
を実行させるプログラム。

１００ 電子鍵盤楽器
１０１ 鍵盤
１０２ 第１のスイッチパネル
１０３ 第２のスイッチパネル
１０４ ＬＣＤ
２００ 制御システム
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 音源ＬＳＩ
２０５ 音声合成ＬＳＩ
２０６ キースキャナ
２０８ ＬＣＤコントローラ
２０９ システムバス
２１０ タイマ
２１１、２１２ Ｄ／Ａコンバータ
２１３ ミキサ
２１４ アンプ
２１５ 歌声データ
２１６ 発音制御データ
２１７、３２１ 歌声音声出力データ
２１８ 楽音出力データ
２１９ ネットワークインタフェース
３００ サーバコンピュータ
３０１ 音声学習部
３０２ 音声合成部
３０３ 学習用テキスト解析部
３０４ 学習用音響特徴量抽出
３０５ モデル学習部
３０６ 音響モデル部
３０７ テキスト解析部
３０８ 発声モデル部
３０９ 音源生成部
３１０ 合成フィルタ部
３１１ 学習用歌声データ
３１２ 学習用歌声音声データ
３１３ 学習用言語特徴量系列
３１４ 学習用音響特徴量系列
３１５ 学習結果
３１６ 言語情報量系列
３１７ 音響特徴量系列
３１８ スペクトル情報
３１９ 音源情報
３２０ 音響効果付加部

Claims (7)

1. 各音高情報がそれぞれ対応付けられている複数の操作子と、
   学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
   プロセッサと、
   を含み、
   前記プロセッサは、前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
   を実行する電子楽器。
2. 請求項１に記載の電子楽器において、
   前記メモリは、メロディデータと、自動演奏させる伴奏データと、を有する曲データを記憶しており、
   前記メロディデータは、各音高情報と、前記各音高情報に応じた音を出力する各タイミング情報と、前記各音高情報に対応付けられている各歌詞情報と、を含み、
   前記プロセッサは、
   前記伴奏データに基づいて発音部に発音させる伴奏データ自動演奏処理と、
   前記学習済み音響モデルに対して、操作された前記いずれかの操作子に対応付けられている音高情報を入力する代わりに、前記メロディデータに含まれる音高情報を入力するとともに、前記メロディデータに含まれる歌詞情報を入力する入力処理と、
   を実行し、
   前記音源情報使用推論歌声データ出力処理は、前記メロディデータに含まれるタイミング情報が示すタイミングに応じて前記複数の操作子のなかのいずれの操作子も演奏者に操作されなかった場合に、前記入力処理に応じて前記学習済み音響モデルから出力された前記スペクトル情報と、前記音源情報と、に基づいて、前記歌い手の歌声を推論した第２音源情報使用推論歌声データを、前記メロディデータに含まれるタイミング情報が示すタイミングに合わせて出力する。
3. 請求項１または請求項２に記載の電子楽器において、
   前記複数の操作子は、操作された前記いずれかの操作子としての第１操作子と、前記第１操作子からみて設定された条件を満たす第２操作子と、を含み、
   前記音源情報使用推論歌声データ出力処理により前記第１音源情報使用推論歌声データが出力されている際に、前記第１操作子への操作が継続している状態で前記第２操作子が繰り返し操作された場合に、前記第１音源情報使用推論歌声データに対して少なくともビブラート、トレモロ及びワウワウのいずれかのエフェクトをかけるエフェクト処理、
   を実行する。
4. 請求項３に記載の電子楽器において、
   前記エフェクト処理は、前記第１操作子に対応付けられている音高情報が示す音高と、前記第２操作子に対応付けられている音高情報が示す音高と、の音高差に応じて前記エフェクトの程度を変更している。
5. 請求項３または４に記載の電子楽器において、
   前記第２操作子は、黒鍵である。
6. 各音高情報がそれぞれ対応付けられている複数の操作子と、
   学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
   を含む電子楽器のコンピュータに、
   前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
   を実行させる方法。
7. 各音高情報がそれぞれ対応付けられている複数の操作子と、
   学習用歌詞情報及び学習用音高情報を含む学習用楽譜データと、歌い手の学習用歌声データと、を用いた機械学習処理により学習させた学習済み音響モデルであって、歌わせる歌詞情報と、音高情報と、を入力することにより、前記歌い手の声道をモデル化したスペクトル情報と、前記歌い手の声帯をモデル化した音源情報と、を出力する学習済み音響モデルを記憶しているメモリと、
   を含む電子楽器のコンピュータに、
   前記複数の操作子のなかのいずれかの操作子への操作に応じて、前記学習済み音響モデルに対して、前記歌詞情報と、前記いずれかの操作子に対応付けられている音高情報と、を入力するとともに、前記入力に応じて前記学習済み音響モデルが出力した前記スペクトル情報と、前記音源情報と、に基づいて前記歌い手の歌声を推論した第１音源情報使用推論歌声データを出力する音源情報使用推論歌声データ出力処理、
   を実行させるプログラム。