JP2022038903A - 電子楽器、電子楽器の制御方法、及びプログラム - Google Patents

Abstract

【課題】表示装置を持たない電子楽器においても、分かり易くかつ意欲を失わせることなく飽きずに音楽を練習させることができるようにする。【解決手段】演奏練習における押鍵タイミング及び押鍵音高が自動再生されるタイミング情報及び音高情報に正しく対応している場合に、押鍵タイミングで、自動再生される歌詞情報と音高情報とを音響モデル部３０１に入力させ、そこから出力される音源情報３１０に基づいて生成される音源信号によって音響モデル部３０１からのスペクトル情報３０９に基づいて形成される合成フィルタ部３０５を励振させることにより歌声音声出力データ２１７が出力される。このとき、フォルマント補間処理部３０６及びノイズ重畳部３０７が、演奏練習の採点途中結果に応じて、スペクトル情報３０９やノイズ混合比３１４を複数の人間のキャラクタ間で補間することにより、歌声音声出力データ２１７の声質を変化させる。【選択図】図３

Description

本発明は、鍵盤等の操作子の操作に応じて歌声を再生する電子楽器、電子楽器の制御方法、及びプログラムに関する。

鍵盤楽器において、発音すべき音高とその発音タイミングとを表す楽曲データに基づき、ユーザに電子楽器をレッスンさせ、その電子楽器からの信号を入力して各種項目について評価及び採点を行う音楽教習システムが知られている（例えば特許文献１に記載のシステム）。

近年では、例えば電子鍵盤楽器とＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）により接続され、表示画面上で、楽曲の進行に伴い、画面上部より落ちてくるバー（ピアノロール）が画面下部の鍵盤に到達するタイミングでユーザが電子鍵盤楽器の鍵盤上の該当する鍵を押鍵することで得点を加算する、スマートデバイス向けアプリケーションソフトウェア（以下「アプリ」と呼ぶ）が知られている。このようなアプリでは、更に楽曲途中の採点途中経過を表示するとともに、楽曲終了後には採点結果を表示することができるものもあり、ユーザは飽きることなく、演奏の練習をすることができる（例えば非特許文献１に記載のアプリ）。

特開平１０－１８７０２１号公報

"Ｃｈｏｒｄａｎａ Ｐｌａｙ ｆｏｒ Ｐｉａｎｏ：ＭＩＤＩプレイヤー"，カシオ計算機株式会社，［令和２年７月２０日検索］，インターネット＜URL https://web.casio.com/app/ja/piano/＞

ところで、上記従来技術は、ユーザによる楽器演奏の演奏経過や採点結果などをディスプレイに表示することを前提としており、このような表示は、電子楽器に搭載された高精細なディスプレイやスマートデバイスのディスプレイなどの表示装置があって初めて可能となる。

しかしながら、一般的な電子楽器、特にこのような演奏練習機能の対象となる初心者向けの低価格な電子楽器においては、搭載する表示装置が小型かつ低解像度である、或いは表示装置自体を装備していない場合も多い。従って、このような電子楽器単体では、演奏練習機能自体は実装可能であっても、それを分かり易く飽きにくい機能としてユーザに提供することは困難であった。

更に、表示装置に演奏経過が表示されたとしても、特に初心者においては自身の演奏に気を取られるあまり鍵盤以外の表示装置を見る余裕がないことが考えられる。

そこで、本発明は、低品質な表示装置しか持たない若しくは表示装置を持たない電子楽器においても、分かり易くかつ意欲を失わせることなく飽きずに演奏の練習をさせることができるようにすること、および表示装置がなくともユーザに演奏練習に関する情報を伝達できるようにすることを目的とする。

態様の一例の電子楽器は、演奏者の演奏情報を取得する演奏情報取得手段と、歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価手段と、演奏情報と歌詞情報に基づき、歌詞を歌声で発声する歌声発声手段と、演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して歌声の声質を変更する声質変更手段と、を備える。

本発明によれば、低品質な表示装置しか持たない若しくは表示装置を持たない電子楽器においても、分かり易くかつ意欲を失わせることなく飽きずに演奏の練習させることが可能となり、また、表示装置がなくともユーザに演奏練習に関する情報を伝達できるようにすることが可能となる。

電子鍵盤楽器の一実施形態の外観例を示す図である。 電子鍵盤楽器の制御システムの一実施形態のハードウェア構成例を示すブロック図である。 音声合成ＬＳＩの構成例を示すブロック図である。 実施形態の動作説明図である。 実施形態のデータ構成例を示す図である。 演奏レッスンの全体処理の例を示すフローチャートである。 レッスン処理の詳細例を示すフローチャートである。 自動再生処理の詳細例を示すフローチャートである。 演奏ガイド処理の詳細例を示すフローチャートである。 押鍵・離鍵処理の詳細例を示すフローチャートである。 採点処理の詳細例を示すフローチャートである。 声質更新処理の詳細例を示すフローチャートである。 声質変更処理の例を示すフローチャートである。 ノイズ混合比補間処理及びフォルマント補間処理の詳細例を示すフローチャートである。 音声合成ＬＳＩ内の音声合成部３００内の発声モデル部３０３の他の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、電子鍵盤楽器の一実施形態１００の外観例を示す図である。電子鍵盤楽器１００は、操作子としての複数の鍵からなる鍵盤１０１と、音量の指定、歌詞自動再生のテンポ設定、歌詞自動再生開始等の各種設定を指示する第１のスイッチパネル１０２と、ソングの選曲や楽器音色の選択等を行う第２のスイッチパネル１０３を備える。また、鍵盤１０１の各鍵は、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：発光ダイオード）１０４を備える。このＬＥＤ１０４は、それが含まれる鍵が歌詞自動再生時に次に指定されるべき鍵であるときには最大輝度で光り、その鍵が歌詞自動再生時に次の次に指定されるべき鍵であるときには最大輝度の半分の輝度で光る。更に、電子鍵盤楽器１００は、特には図示しないが、演奏により生成された楽音を放音するスピーカを裏面部、側面部、又は背面部等に備える。

図２は、図１の電子鍵盤楽器１００の制御システム２００の一実施形態のハードウェア構成例を示す図である。図２において、制御システム２００は、ＣＰＵ（中央演算処理装置）２０１、ＲＯＭ（リードオンリーメモリ）２０２、ＲＡＭ（ランダムアクセスメモリ）２０３、音源ＬＳＩ（大規模集積回路）２０４、音声合成ＬＳＩ２０５、図１の鍵盤１０１、第１のスイッチパネル１０２と第２のスイッチパネル１０３が接続されるキースキャナ２０６、及び図１の鍵盤１０１上の各鍵が備えるＬＥＤ１０４が接続されるＬＥＤコントローラ２０７、外部のネットワークとＭＩＤＩデータ等のやりとりを行うネットワークインタフェース２０８が、それぞれシステムバス２０９に接続されている。また、ＣＰＵ２０１には、歌声データの自動再生のシーケンスを制御するためのタイマ２１０が接続される。更に、音源ＬＳＩ２０４及び音声合成ＬＳＩ２０５からそれぞれ出力される楽音出力データ２１８及び歌声音声出力データ２１７は、Ｄ／Ａコンバータ２１１、２１２によりそれぞれアナログ楽音出力信号及びアナログ歌声音声出力信号に変換される。アナログ楽音出力信号及びアナログ歌声音声出力信号は、ミキサ２１３で混合され、その混合信号がアンプ２１４で増幅された後に、特には図示しないスピーカ又は出力端子から出力される。

ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして使用しながらＲＯＭ２０２に記憶された制御プログラムを実行することにより、図１の電子鍵盤楽器１００の制御動作を実行する。また、ＲＯＭ２０２は、上記制御プログラム及び各種制御データのほか、歌詞データを含む後述する演奏ガイドデータを記憶する。

ＣＰＵ２０１には、本実施形態で使用するタイマ２１０が実装されており、例えば電子鍵盤楽器１００における演奏ガイドデータの自動再生の進行をカウントする。

音源ＬＳＩ２０４は、ＣＰＵ２０１からの発音制御指示に従って、例えば特には図示しない波形ＲＯＭから楽音波形データを読み出し、Ｄ／Ａコンバータ２１１に出力する。音源ＬＳＩ２０４は、同時に最大２５６ボイスを発音させる能力を有する。

音声合成ＬＳＩ２０５は、ＣＰＵ２０１から、歌詞のテキストデータである歌詞情報と音高に関する音高情報を歌声データ２１５として与えられると、それに対応する歌声の音声データである歌声音声出力データ２１７を合成し、Ｄ／Ａコンバータ２１２に出力する。

キースキャナ２０６は、図１の鍵盤１０１の押鍵／離鍵状態、第１のスイッチパネル１０２、及び第２のスイッチパネル１０３のスイッチ操作状態を定常的に走査し、ＣＰＵ２０１に割込みをかけて状態変化を伝える。

ＬＥＤコントローラ２０７は、図１の鍵盤１０１上の各鍵が備える各ＬＥＤ１０４の表示状態を制御するＩＣ（集積回路）である。

図３は、本実施形態における音声合成部３００の構成例を示すブロック図である。ここで、音声合成部３００は、図２の音声合成ＬＳＩ２０５が実行する一機能として電子鍵盤楽器１００に内蔵される。

音声合成部３００は、図２のＣＰＵ２０１から指示される歌詞情報及び音高情報を含む歌声データ２１５を入力することにより、歌声音声出力データ２１７を合成し出力する。このとき音声合成部３００のプロセッサは、音響モデル部３０１に設定されている音響モデルに対して、ＣＰＵ２０１により入力される歌詞情報と音高情報を含む歌声データ２１５に応じて音響モデル部３０１が出力したスペクトル情報３０９と音源情報３１０とに基づいて、歌い手の歌声を推論した歌声音声出力データ２１７を出力する発声処理を実行する。音声合成部３００は、例えば下記特許文献に記載の技術に基づいて実装される。

（特許文献）：特許第６６１０７１４号公報
音声合成部３００の動作の詳細は上記特許文献に開示されているが、その概略動作について以下に説明する。

音声合成部３００は、テキスト解析部３０２と音響モデル部３０１と発声モデル部３０３とフォルマント補間処理部３０６とノイズ重畳部３０７とを含む。

音声合成部３００は、歌詞のテキストである歌詞情報と音源情報３１０とを含む歌声データ２１５に対応する歌声音声出力データ３２１を、音響モデル部３０１に設定された音響モデルという統計モデルを用いて予測することにより合成する、統計的音声合成処理を実行する。

テキスト解析部３０２は、図２のＣＰＵ２０１より指定される歌詞の音素、音高等に関する歌詞情報を含む歌声データ２１５を入力し、そのデータを解析する。この結果、テキスト解析部３０２は、歌声データ２１５に対応する音素、品詞、単語等を表現する言語特徴量系列３０８を解析して出力する。

音響モデル部３０１は、言語特徴量系列３０８と歌声データ２１５中の音高情報とを入力することにより、それに対応するスペクトル情報３０９及び音源情報３１０を推定して出力する。即ち、音響モデル部３０１は、テキスト解析部３０２から入力する言語特徴量系列３０８及び歌声データ２１５中の音高情報とに基づいて、例えば機械学習により学習結果として設定された音響モデルを用いて、生成確率を最大にするようなスペクトル情報３０９及び音源情報３１０の推定値を出力する。

発声モデル部３０３は、スペクトル情報３０９及び音源情報３１０を入力することにより、ＣＰＵ２０１より指定される歌詞情報と音高情報を含む歌声データ２１５に対応する歌声音声出力データ３２１を生成する。歌声音声出力データ３２１は、図２のＤ／Ａコンバータ２１２からミキサ２１３及びアンプ２１４を介して出力され、特には図示しないスピーカから放音される。

音響モデル部３０１が出力する音響特徴量は、人間の声道をモデル化したスペクトル情報３０９と、人間の声帯をモデル化した音源情報３１０とを含む。スペクトル情報３０９のパラメータとしては例えば、人間の声道特性である複数のフォルマント周波数を効率的にモデル化することができる線スペクトル対（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｐａｉｒｓ：ＬＳＰ）又は線スペクトル周波数（Ｌｉｎｅ Ｓｐｅｃｔｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ：ＬＳＦ）等を採用できる。音源情報３１０としては、人間の音声のピッチ周波数を示す基本周波数（Ｆ０）及びパワー値を採用できる。発声モデル部３０３は、音源生成部３０４と合成フィルタ部３０５とを含む。音源生成部３０４は、人間の声帯をモデル化した部分であり、音響モデル部３０１から入力する音源情報３１０の系列を順次入力することにより、例えば、音源情報３１０に含まれる基本周波数（Ｆ０）及びパワー値で周期的に繰り返されるパルス列（有声音音素の場合）、又は音源情報３１０に含まれるパワー値を有するホワイトノイズ（無声音音素の場合）、或いはそれらが混合された信号からなる音源信号を生成する。合成フィルタ部３０５は、人間の声道をモデル化した部分であり、音響モデル部３０１から順次入力するスペクトル情報３０９の系列に基づいて声道をモデル化するデジタルフィルタを形成する。音源生成部３０４から入力する音源信号を励振源信号として上記デジタルフィルタが励振されることにより、歌声音声出力データ３２１のもととなるデジタル信号のフィルタ出力データ３１３が出力される。

歌声音声出力データ２１７に対するサンプリング周波数は、例えば１６ＫＨｚ（キロヘルツ）である。また、スペクトル情報３０９のパラメータとして、例えばＬＳＰ分析処理により得られるＬＳＦパラメータが採用される場合、その更新フレーム周期は、例えば５ミリ秒である。更に、ＬＳＦ分析処理の場合、分析窓長は例えば２５ミリ秒、窓関数は例えばブラックマン窓、分析次数は例えば１０次である。

図２及び図３の構成のもとでの、本実施形態の動作概略について説明する。まず、ＣＰＵ２０１は、歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータに基づき、演奏者に楽曲の演奏をガイドする演奏ガイド手段として動作する。具体的には、図２において、ＣＰＵ２０１は、メモリであるＲＯＭ２０２に記憶されている自動再生のための歌詞情報と音高情報とタイミング情報とを少なくとも含む一連の演奏ガイドデータの組を順次読み出しながら、その演奏ガイドデータの組に含まれるタイミング情報に対応するタイミングでその演奏ガイドデータの組に含まれる歌詞情報と音高情報とを自動再生する、自動再生処理を実行する。この自動再生処理の詳細については、図８のフローチャートを用いて後述する。

このとき、ＣＰＵ２０１は、自動再生される音高情報に対応する鍵盤１０１上の鍵を指示することで、自動再生に同期してユーザが押鍵操作して演奏レッスン（演奏練習）することをガイドする、演奏ガイド処理を実行する。より具体的には、ＣＰＵ２０１は、この演奏ガイド処理において、自動再生のタイミングに同期させて、例えば図１の２つのＬＥＤ１０４が光っている鍵として示されるように、次に自動再生される音高情報に対応する鍵（操作子）が備えるＬＥＤ１０４を強い輝度例えば最大輝度で光らせると共に、次の次に自動再生される音高情報に対応する鍵が備えるＬＥＤ１０４を弱い輝度例えば最大輝度の半分の輝度で光らせる。この演奏ガイド処理の詳細については、図９のフローチャートを用いて後述する。

次に、ＣＰＵ２０１は、演奏者の演奏情報を取得する演奏情報取得手段として動作する。具体的には、ＣＰＵ２０１は、上記演奏ガイドに従って、演奏者が図１の鍵盤１０１上の鍵を押鍵又は離鍵する演奏操作を取得する。

更に、ＣＰＵ２０１は、演奏ガイドデータと演奏情報から、楽曲の進行中に演奏者の演奏を随時評価する演奏評価手段として動作する。具体的には、ＣＰＵ２０１は、演奏レッスンにおける鍵の押鍵タイミング（操作タイミング）及び押鍵音高（操作音高）を自動再生されるタイミング情報及び音高情報と比較して、演奏レッスンを採点する採点処理を実行する。この採点処理の詳細については、図１１のフローチャートを用いて後述する。

そして、ＣＰＵ２０１は、演奏情報と歌詞情報に基づき、歌詞を歌声で発声する歌声発声手段として動作する。具体的には、ＣＰＵ２０１は、演奏レッスンにおける鍵盤１０１上の鍵の押鍵タイミング（操作タイミング）及び鍵の押鍵音高（操作音高）が自動再生されるタイミング情報及び音高情報に正しく対応している場合に、その押鍵タイミングで、自動再生される歌詞情報と音高情報とを歌声データ２１５として図３のテキスト解析部３０２を介して音響モデル部３０１に入力し、音響モデル部３０１から出力される音源情報３１０が設定される音源生成部３０４が出力する音源信号によって音響モデル部３０１から出力されるスペクトル情報３０９に基づいて形成される合成フィルタ部３０５のデジタルフィルタを励振させることにより、フィルタ出力データ３１３を出力し、そのフィルタ出力データ３１３を図２の歌声音声出力データ２１７として出力させる。

このとき、ＣＰＵ２０１は、演奏評価に対応して歌声の声質を変更する声質変更手段として動作する。具体的には、図２のＣＰＵ２０１及び図３の音声合成部３００内のフォルマント補間処理部３０６とノイズ重畳部３０７は、発声処理において出力される歌声音声出力データ２１７の声質を、前述した採点処理での採点途中結果に応じて変化させる声質変更処理を実行する。

このとき、声質変更手段として動作するＣＰＵ２０１は、複数の特定の演奏評価に対応する複数の声質の間を、楽曲進行中の演奏評価に応じた割合で、補間する。また、ＣＰＵ２０１は、例えば人声のフォルマント成分と人声に混合するノイズ成分の割合を変更することにより、声質を変更させる。

より具体的には、上述の声質変更処理において、まずＣＰＵ２０１が、前述した採点処理での採点途中結果に応じて、演奏レッスンの進行の度合いを示す練習進行度データ３１１を算出する。そして、図３のフォルマント補間処理部３０６が、採点途中結果が良い場合に対応する女性の声を含む心地よい声質を有し自動再生される図３の歌声データ２１５中の歌詞情報に対応して音響モデル部３０１から出力される１組以上のスペクトル情報３０９と、採点途中結果が悪い場合に対応する男性の声を含む耳障りな声質を有し自動再生される歌声データ２１５中の歌詞情報に対応して音響モデル部３０１から出力される１組以上のスペクトル情報３０９との間で、ＣＰＵ２０１から与えられる練習進行度データ３１１に応じた割合で補間処理を実行することにより、目標スペクトル情報３１２を算出し、発声モデル部３０３内の合成フィルタ部３０５に入力させる。

上述の声質変更処理において、上述のフォルマント補間処理部３０６での動作に加えて、図３のノイズ混合比補間処理部３１６が、採点途中結果が良い場合に対応する女性の声を含む心地よい声質を有し自動再生される図３の歌声データ２１５中の歌詞情報に対応して音響モデル部３０１から出力される１組以上のノイズ混合比と、採点途中結果が悪い場合に対応する男性の声を含む耳障りな声質を有し自動再生される歌声データ２１５中の歌詞情報に対応して音響モデル部３０１から出力される１組以上のノイズ混合比との間で、ＣＰＵ２０１から与えられる前述した練習進行度データ３１１に応じた割合で補間処理を実行することにより、目標ノイズ混合比３１７を算出してノイズ重畳部３０７に入力させる。そして、ノイズ重畳部３０７は、歌声音声出力データ２１７の最大振幅値にノイズ混合比補間処理部３１６が算出した目標ノイズ混合比３１７を乗じた振幅値を有するノイズデータ３１５を生成し、合成フィルタ部３０５から出力されるフィルタ出力データ３１３と混合して、歌声音声出力データ２１７として出力する。

上述の２つの声質変更処理により、例えば図４（ａ）に示されるように、ユーザが演奏レッスンにおいて電子鍵盤楽器１００に歌唱を行わせる場合に、歌唱時の声質をあるキャラクタ（例えば男性大人）から別のキャラクタ（例えば女性大人）に徐々に変えていく機能（以降「モーフィング機能」と呼ぶ）が実現される。そして、本実施例では、図４（ａ）に示されるように、演奏レッスン開始時の歌唱機能の声質を例えば男性大人に設定し、演奏レッスン開始後課題をクリアし採点途中結果が上がっていくごとに、女性大人の声質に徐々に変化し、逆に点数が下がっていった場合は少し耳障りないわゆるダミ声と言われている声質に変化していく。

上述したように、本実施形態における音声合成部３００は、人の声帯の振動に相当する励振源を人の声道の特性に相当するフィルタを通過させることで音声を発声する。図４（ｂ）に示されるように、声道特性に相当するフィルタの特性はいわゆる人声のフォルマントに該当し、人の声のキャラクタはこの特性に大きく依存する。そこで、本実施形態では、図３のフォルマント補間処理部３０６において、採点途中結果に基づいてＣＰＵ２０１から出力される練習進行度データ３１１に基づいて音響モデル部３０１が出力する複数の特性のスペクトル情報３０９を補間して得られる目標スペクトル情報３１２によって、合成フィルタ部３０５における特性を徐々に変えていくことにより、或る人物の声のキャラクタを別の人の声のキャラクタに滑らかに変化させることができる。

また、合成フィルタ部３０５での特性の他に、白色ノイズ成分を音声に加えることでより本物に近い音声となる。そこで、本実施形態では更に、図３のノイズ混合比補間処理部３１６が採点途中結果に基づいてＣＰＵ２０１から出力される練習進行度データ３１１に基づく補間処理により得られる目標ノイズ混合比３１７を算出し、ノイズ重畳部３０７がその目標ノイズ混合比３１７に基づいて白色ノイズの加算量を増減させて得られるノイズデータ３１５を算出し、そのノイズデータ３１５を合成フィルタ部３０５が出力するフィルタ出力データ３１３に混合して歌声音声出力データを生成する。これにより、いわゆるハスキーボイスの特性などの表現豊かな特性を有する採点途中結果が反映された歌唱を行わせることが可能となる。

図１、図２、及び図３の構成を有する本実施形態の電子鍵盤楽器１００の動作について、以下に詳細に説明する。

図５（ａ）は、本実施形態において、図２のＲＯＭ２０２からＲＡＭ２０３に読み込まれる演奏ガイドデータのデータ構成例を示す図である。このデータ構成例は、ＭＩＤＩ用ファイルフォーマットの一つであるスタンダードＭＩＤＩファイルのフォーマットに準拠している。この曲データは、チャンクと呼ばれるデータブロックから構成される。具体的には、曲データは、ファイルの先頭にあるヘッダチャンクと、それに続く歌詞パート用の歌詞データが格納されるトラックチャンクとから構成される。なお、伴奏パート用の自動演奏データが格納されるトラックチャンクを別に備えてもよい。

ヘッダチャンクは、ＣｈｕｎｋＩＤ、ＣｈｕｎｋＳｉｚｅ、ＦｏｒｍａｔＴｙｐｅ、ＮｕｍｂｅｒＯｆＴｒａｃｋ、及びＴｉｍｅＤｉｖｉｓｉｏｎの４つの値からなる。ＣｈｕｎｋＩＤは、ヘッダチャンクであることを示す"MThd"という半角４文字に対応する４バイトのアスキーコード「4D 54 68 64」（数字は１６進数）である。ＣｈｕｎｋＳｉｚｅは、ヘッダチャンクにおいて、ＣｈｕｎｋＩＤとＣｈｕｎｋＳｉｚｅを除く、ＦｏｒｍａｔＴｙｐｅ、ＮｕｍｂｅｒＯｆＴｒａｃｋ、及びＴｉｍｅＤｉｖｉｓｉｏｎの部分のデータ長を示す４バイトデータであり、データ長は６バイト：「00 00 00 06」（数字は１６進数）に固定されている。ＦｏｒｍａｔＴｙｐｅは、本実施形態の場合、単一トラックを使用するフォーマット０を意味する２バイトのデータ「00 00」（数字は１６進数）である。ＮｕｍｂｅｒＯｆＴｒａｃｋは、本実施形態の場合、歌詞パートに対応する１トラックを使用することを示す２バイトのデータ「00 01」（数字は１６進数）である。ＴｉｍｅＤｉｖｉｓｉｏｎは、４分音符あたりの分解能を示すタイムベース値を示すデータであり、本実施形態の場合、１０進法で４８０を示す２バイトのデータ「01 E0」（数字は１６進数）である。

トラックチャンクは、ＣｈｕｎｋＩＤ、ＣｈｕｎｋＳｉｚｅと、ＤｅｌｔａＴｉｍｅ［ｉ］及びＥｖｅｎｔ［ｉ］からなる演奏データ組（０≦ｉ≦Ｌ－１）とからなる。ＣｈｕｎｋＩＤは、トラックチャンクであることを示す"MTrk"という半角４文字に対応する４バイトのアスキーコード「4D 54 72 6B」（数字は１６進数）である。ＣｈｕｎｋＳｉｚｅは、トラックチャンクにおいて、ＣｈｕｎｋＩＤとＣｈｕｎｋＳｉｚｅを除く部分のデータ長を示す４バイトデータである。

ＤｅｌｔａＴｉｍｅ［ｉ］は、その直前のＥｖｅｎｔ［ｉ－１］（ｉ＝０の場合は先頭）の実行時刻からの待ち時間（相対時間）を示すタイミング情報であり、１～４バイトの可変長データである。Ｅｖｅｎｔ［ｉ］は、歌詞のテキストデータである歌詞情報と音高を指示する音高情報を含むメタイベントである。各演奏ガイドデータ組ＤｅｌｔａＴｉｍｅ１［ｉ］及びＥｖｅｎｔ［ｉ］において、その直前のＥｖｅｎｔ［ｉ－１］の実行時刻からＤｅｌｔａＴｉｍｅ［ｉ］だけ待った上でＥｖｅｎｔ［ｉ］が実行されることにより、歌詞の自動再生（発声）の進行が実現される。

図５（ｂ）及び図５（ｃ）のデータ構成については後述する。

図６は、演奏レッスンの全体処理の例を示すフローチャートである。この処理は、図２において、ＣＰＵ２０１がＲＯＭ２０２に記憶された演奏レッスンの全体処理プログラムをＲＡＭ２０３にロードして実行する処理として実現され、電子鍵盤楽器１００を制御する特には図示しないメイン処理プログラムから呼び出される。

まず、ＣＰＵ２０１は、ユーザに、図１の第２のスイッチパネル１０３を操作させて、ユーザが演奏レッスンを実施したい歌声曲を選択させる（ステップＳ６０１）。

次に、ＣＰＵ２０１は、レッスン処理を実行する（ステップＳ６０２）。この処理の詳細については、後述する。

レッスン処理によりユーザの演奏レッスンが終了すると、ＣＰＵ２０１は、ユーザ演奏の評価得点をフィードバックする（ステップＳ６０３）。ここでは、ＣＰＵ２０１は、図２の音声合成ＬＳＩ２０５に歌声データ２１５を与えることにより、ユーザが最終的に到達した評価得点に対応した声質にて音声で評価得点を発声する。後述するように、点数は０点から１０点までの１１段階あり、満点の１０点であれば女声で「じゅってん」、０点であればダミ声で「れいてん」と発声される。

図７は、図６のステップＳ６０２のレッスン処理の詳細例を示すフローチャートである。ＣＰＵ２０１はまず、初期化処理を実行する（ステップＳ７０１）。この処理では、レッスン処理の実行に必要なパラメータの初期化や、最初に押鍵すべき図１の鍵盤１０１上の鍵のＬＥＤ１０４を最大輝度の半分の輝度での点灯状態にする等の処理が実行される。

次に、ＣＰＵ２０１は、図６のステップＳ６０１においてユーザが選択した歌声曲の演奏ガイドデータの再生を開始するための、歌声曲開始処理を実行する（ステップＳ７０２）。この歌声曲開始処理において、ＣＰＵ２０１は、ＴｉｃｋＴｉｍｅの初期化処理を実行する。本実施形態において、歌詞の進行は、ＴｉｃｋＴｉｍｅという時間を単位として進行する。図５の曲データのヘッダチャンク内のＴｉｍｅＤｉｖｉｓｉｏｎ値として指定されるタイムベース値は４分音符の分解能を示しており、この値が例えば４８０ならば、４分音符は４８０ＴｉｃｋＴｉｍｅの時間長を有する。また、図５の曲データのトラックチャンク内の待ち時間ＤｅｌｔａＴｉｍｅ［ｉ］値も、ＴｉｃｋＴｉｍｅの時間単位によりカウントされる。ここで、１ＴｉｃｋＴｉｍｅが実際に何秒になるかは、曲データに対して指定されるテンポによって異なる。今、テンポ値をＴｅｍｐｏ［ビート／分］、上記タイムベース値をＴｉｍｅＤｉｖｉｓｉｏｎとすれば、ＣＰＵ２０１は、下記（１）式に対応する演算処理により、ＴｉｃｋＴｉｍｅ［秒］を算出する。

次に、ＣＰＵ２０１は、ステップＳ７０２の歌声曲開始処理において、図２のタイマ２１０に対して、上記算出したＴｉｃｋＴｉｍｅ［秒］によるタイマ割込みを設定する。この結果、タイマ２１０において上記ＴｉｃｋＴｉｍｅ［秒］が経過する毎に、ＣＰＵ２０１に対して歌声曲進行のための割込み（以下「自動再生割込み」と記載）が発生する。従って、この自動再生割込みに基づいてＣＰＵ２０１で実行される自動再生処理（後述する図８）では、１ＴｉｃｋＴｉｍｅ毎に演奏ガイドデータの組を進行させる制御処理が実行されることになる。

なお、テンポ値Ｔｅｍｐｏは、初期状態では図２のＲＯＭ２０２に所定の値、例えば６０［ビート／秒］が記憶されているとする。楽曲のテンポ値が演奏ガイドデータのイベントとして演奏ガイドデータに含まれている場合には、そのテンポ値を使用してもよい。或いは、不揮発性メモリに、前回終了時のテンポ値が記憶されていてもよい。また、ユーザは、図１の第１のスイッチパネル１０２等を操作して、テンポ値を変更することができ、特には図示しないが、その度に上記ＴｉｃｋＴｉｍｅ［秒］の算出とタイマ２１０へのタイマ割込み設定とが実行される。

続いて、ＣＰＵ２０１は、ステップＳ７０２の歌声曲開始処理において、自動再生処理の進行において、ＴｉｃｋＴｉｍｅを単位として、直前のイベントの発生時刻からの相対時間をカウントするためのＲＡＭ２０３上の変数ＤｅｌｔａＴの値を０に初期設定する。次に、ＣＰＵ２０１は、図５に例示される曲データのトラックチャンク内の演奏データ組ＤｅｌｔａＴｉｍｅ［ｉ］及びＥｖｅｎｔ［ｉ］（１≦ｉ≦Ｌ－１）の夫々ｉの値を指定するためのＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘの値を０に初期設定する。これにより、図５の例では、初期状態としてまず、トラックチャンク内の先頭の演奏データ組ＤｅｌｔａＴｉｍｅ［０］とＥｖｅｎｔ［０］が参照される。更に、ＣＰＵ２０１は、歌詞の進行をするか（＝１）しないか（＝０）を示すＲＡＭ２０３上の変数ＳｏｎｇＳｔａｒｔの値を１（進行する）に初期設定する。

更に、ＣＰＵ２０１は、ステップＳ７０２の歌声曲開始処理において、ＲＡＭ２０３上の変数Ｍａｒｇｉｎの値を、上記ＤｅｌｔａＴｉｍｅ［０］の値の３０％に最も近い整数値とする。Ｍａｒｇｉｎ変数値については後述する。また、ＣＰＵ２０１は、ステップＳ７０２の歌声曲開始処理において、ＲＡＭ２０３上の変数である後述する正解フラグの値と、後述する変数ＮｏｔｅＯｎ＿ｉｎ、ＮｏｔｅＯｎ＿ｏｕｔ、及びＮｏｔｅＯｎを、それぞれ０にリセットする。

ステップＳ７０２の処理の後、ＣＰＵ２０１は、ステップＳ７０３からＳ７０９までの一連の処理を繰り返し実行することにより、歌詞の自動再生処理とユーザによる演奏レッスンの処理を進行させる。

図８は、上記図７のステップＳ７０３からＳ７０９の繰返し処理の期間中に、上記ＴｉｃｋＴｉｍｅ［秒］毎にタイマ２１０で発生する自動再生割込みに基づいて実行される自動再生処理の例を示すフローチャートである。この処理は、タイマ２１０から自動再生割込みが発生した場合に、ＣＰＵ２０１が、図７のレッスン処理において実行中の処理（ステップＳ７０３からＳ７０９の何れかの処理）を中断し、ＲＯＭ２０２からＲＡＭ２０３に予めロードされている自動再生処理プログラムを実行する機能として実現される。

まず、ＣＰＵ２０１は、ＲＡＭ２０３の変数ＳｏｎｇＳｔａｒｔ値が１であるか否か、即ち歌詞の自動再生の進行が指示されているか否かを判定する（ステップＳ８０１）。

ＣＰＵ２０１は、歌詞の自動再生の進行が指示されていないと判定した（ステップＳ８０１の判定がＮＯである）場合には、ＣＰＵ２０１は、歌詞の進行は行わずに図８のフローチャートで例示される自動再生処理をそのまま終了する。

ＣＰＵ２０１は、歌詞の自動再生の進行が指示されていると判定した（ステップＳ８０１の判定がＹＥＳである）場合には、ＲＡＭ２０３にロードされている図５（ａ）のデータ構成を有する演奏ガイドデータのトラックチャンクに関する前回のイベントの発生時刻からの相対時刻を示すＤｅｌｔａＴ値が、ＳｏｎｇＩｎｄｅｘ値が示すこれから実行しようとする演奏ガイドデータ組の待ち時間ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］からＭａｒｇｉｎ値を減算した値に到達したか否かを判定する（ステップＳ８０２）。ステップＳ８０２の判定がＮＯならば、更に、ＤｅｌｔａＴ値が、ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］にＭａｒｇｉｎ値を加算した値に到達したか否かを判定する（ステップＳ８０３）。

本実施形態においては、各演奏ガイドデータの組の歌詞が発声されるべきタイミングでユーザが図１の鍵盤１０１上で上記組に設定されている音高情報が示す音高に一致する正しい音高の鍵を押鍵したか否かが判定される。この場合、ユーザの演奏レッスンに余裕を持たせるために、図４（ｃ）に示されるように、ユーザの押鍵を正解とするタイミングは、各演奏ガイドデータの組に設定されているタイミング情報＝ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］にぴったり一致するタイミングの前後に幅を持たせるようにすることができる。この時間幅を押鍵期間と呼ぶこととする。押鍵期間はジャストタイミングの前後１００ミリ秒のように絶対時間とすることもできるが、本実施例では音長の３０％をジャストタイミングの前後の押鍵期間とする。即ち、テンポ６０のときの四分音符であれば音長は１秒であるからジャストタイミングの前後３００ミリ秒の区間、即ち６００ミリ秒が押鍵期間となる。ジャストタイミングの前後を同じ時間だけ押鍵期間とするのではなく、前を２０％、後ろを４０％のように設定することもできる。本実施形態では、ステップＳ８０９でジャストタイミングＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］の３０％の値が計算されてＲＡＭ２０３上の変数Ｍａｒｇｉｎにセットされる。そして、ステップＳ８０２で、前回のイベントの発生時刻からの相対時刻を示す変数値ＤｅｌｔａＴが押鍵期間の開始時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］－Ｍａｒｇｉｎ”に到達したか否かが判定され、続くステップＳ８０３で、ＤｅｌｔａＴが押鍵期間の終了時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］＋Ｍａｒｇｉｎ”に到達したか否かが判定される。

ステップＳ８０２及びＳ８０３の何れの判定もＮＯの場合、ＣＰＵ２０１は、前回のイベントの発生時刻からの相対時刻を示すＲＡＭ２０３上の変数ＤｅｌｔａＴの値を＋１インクリメントさせて、今回の割込みに対応する１ＴｉｃｋＴｉｍｅ単位分だけ時刻を進行させる（ステップＳ８０４）。その後、ＣＰＵ２０１は、図８のフローチャートで示される自動再生処理を終了し、図７のレッスン処理の中断していた処理の実行に戻る。

ステップＳ８０２において、前回のイベントの発生時刻からの相対時刻を示す変数値ＤｅｌｔａＴが押鍵期間の開始時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］－Ｍａｒｇｉｎ”に到達したと判定された場合、ＣＰＵ２０１は、押鍵期間に突入したことを示すＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｉｎの値を１にセットし、更に、押鍵期間であることを示すＲＡＭ２０３上の変数ＮｏｔｅＯｎの値を１にセットする（ステップＳ８０５）。続いて、ＣＰＵ２０１は、ステップＳ８０４の処理に進んで、前回のイベントの発生時刻からの相対時刻を示すＲＡＭ２０３上の変数ＤｅｌｔａＴの値を＋１インクリメントさせて、今回の割込みに対応する１ＴｉｃｋＴｉｍｅ単位分だけ時刻を進行させ、その後、図８のフローチャートで示される自動再生処理を終了し、図７のレッスン処理において中断していた処理の実行に戻る。

ステップＳ８０２の判定がＮＯとなった後、ステップＳ８０３において、前回のイベントの発生時刻からの相対時刻を示す変数値ＤｅｌｔａＴが押鍵期間の終了時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］＋Ｍａｒｇｉｎ”に到達したと判定された場合、ＣＰＵ２０１は、押鍵期間からちょうど出るところであることを示すＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｏｕｔの値を１にセットし、更に、押鍵期間であることを示すＲＡＭ２０３上の変数ＮｏｔｅＯｎの値を押鍵期間でなくなったことを示す値０にセットする（ステップＳ８０６）。

次に、ＣＰＵ５０１は、変数ＤｅｌｔａＴの値がＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］から既に進んでいる分に１をプラスした時点「ＤｅｌｔａＴ－ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］＋１」を新たな変数ＤｅｌｔａＴの値とする（ステップＳ８０７）。

更に、ＣＰＵ２０１は、到達判定に用いる演奏ガイドデータの組を１つ進めるために、ＲＡＭ２０３上の変数ＳｏｎｇＩｎｄｅｘの値を＋１インクリメントする（ステップＳ８０８）。

最後に、ＣＰＵ２０１は、次の演奏ガイドデータの組への到達判定に用いる図４（ｃ）のＭａｒｇｉｎ値を、新たに更新されたＳｏｎｇＩｎｄｅｘ値によって参照される新たなＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］値に０．３（３０％）を乗じた値「ＩＮＴ（ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］×０．３）」（「ＩＮＴ（）」は括弧内の値の整数値を算出する演算を示す）に設定する（ステップＳ８０９）。その後、ＣＰＵ２０１は、図８のフローチャートで示される自動再生処理を終了し、図７のレッスン処理の中断していた処理の実行に戻る。

図７のフローチャートの説明に戻り、ステップＳ７０３からＳ７０９の繰り返し処理において、ＣＰＵ２０１はまず、演奏ガイド処理を実行する（ステップＳ７０３）。ＣＰＵ２０１は、この演奏ガイド処理において、自動再生のタイミングに同期させて、例えば図１の２つのＬＥＤ１０４が光っている鍵として示されるように、次に自動再生される音高情報に対応する鍵（操作子）が備えるＬＥＤ１０４を強い輝度例えば最大輝度で光らせると共に、次の次に自動再生される音高情報に対応する鍵が備えるＬＥＤ１０４を弱い輝度例えば最大輝度の半分の輝度で光らせる。この演奏ガイド処理の詳細については、図９のフローチャートを用いて後述する。

次に、ＣＰＵ２０１は、押鍵・離鍵処理を実行する（ステップＳ７０４）。この押鍵・離鍵処理において、ＣＰＵ２０１は、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵された場合において、演奏レッスンにおける鍵盤１０１上の鍵（操作子）の押鍵タイミング（操作タイミング）が自動再生されるタイミング情報に正しく対応しており（図４（ｃ）の押鍵期間に入っており）、かつ鍵の押鍵音高（操作音高）が演奏ガイドデータの組の音高情報に正しく対応している（一致している）と判定した場合には、その押鍵タイミングで図２の音声合成ＬＳＩ２０５から歌声音声出力データ２１７を出力させるための発声イベントを生成する。

また、ステップＳ７０４の押鍵・離鍵処理において、ＣＰＵ２０１は、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵された場合において、演奏レッスンにおける押鍵タイミングが自動再生されるタイミング情報に正しく対応している（図４（ｃ）の押鍵期間に入っている）が、鍵の押鍵音高（操作音高）が演奏ガイドデータの組の音高情報に正しく対応していない（一致していない）と判定した場合には、その押鍵タイミングで図２の音源ＬＳＩ２０４から所定の（例えばユーザが図１の第２のスイッチパネル１０３上で予め選択している楽器音と演奏ガイドデータの音高による）楽音出力データ２１４を出力させるための発音イベントを生成する。

更に、ステップＳ７０４の押鍵・離鍵処理において、ＣＰＵ２０１は、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵された場合において、演奏レッスンにおける押鍵タイミングが自動再生されるタイミング情報に正しく対応していない（図４（ｃ）の押鍵期間に入っていない）と判定した場合には、音声合成ＬＳＩ２０５に歌声音声出力データ２１７を発声させるためのイベント、及び音源ＬＳＩ２０４に楽音出力データ２１４を発音させるためのイベントの何れも生成しない。

一方、ステップＳ７０４の押鍵・離鍵処理において、ＣＰＵ２０１は、ユーザにより図１の鍵盤１０１上の何れかの鍵が離鍵された場合には、音声合成ＬＳＩ２０５における対応する歌声音声出力データ２１７の発声又は音源ＬＳＩ２０４における対応する楽音出力データ２１４の発音を終了させるための離鍵イベントを生成する。

以上のステップＳ７０４の押鍵・離鍵処理の詳細は、図１０のフローチャートを用いて後述する。

次に、ＣＰＵ２０１は、採点処理を実行する（ステップＳ７０５）。この採点処理において、ＣＰＵ２０１は、演奏レッスンにおける鍵の押鍵タイミング（操作タイミング）及び押鍵音高（操作音高）を自動再生されるタイミング情報及び音高情報と比較して、演奏レッスンを採点する。この採点処理の詳細については、図１１のフローチャートを用いて後述する。

次に、ＣＰＵ２０１は、声質更新処理を実行する（ステップＳ７０６）。この声質更新処理において、ＣＰＵ２０１は、ステップＳ７０５の採点処理の採点途中結果に応じて、後述するステップＳ７０８の発声・発音処理において出力される歌声音声出力データ２１７の声質を示す値を設定する処理を実行する。

続いて、ＣＰＵ２０１は、練習進行度算出処理を実行する（ステップＳ７０７）。この練習進行度算出処理において、図２のＣＰＵ２０１及び図３の音声合成部３００内のフォルマント補間処理部３０６とノイズ重畳部３０７が、後述するステップＳ７０８の発声・発音処理において出力される歌声音声出力データ２１７の声質をステップＳ７０５の採点処理の採点途中結果に応じて変化させるための、練習進行度データ３１１を算出する。前述の声質更新処理及び上述の練習進行度算出処理の詳細については、図１２のフローチャートを用いて後述する。

更に、ＣＰＵ２０１は、発声・発音処理を実行する（ステップＳ７０８）。この発声・発音処理において、ＣＰＵ２０１は、ステップＳ７０４の押鍵・離鍵処理で歌声音声出力データ２１７の発声イベントを生成した場合には、ＲＡＭ２０３上の発行イベント領域に保持されているその発声イベントを図２の音声合成ＬＳＩ２０５に対して発行することにより、音声合成ＬＳＩ２０５から歌声音声出力データ２１７を出力させる。また、この発声・発音処理において、ＣＰＵ２０１は、ステップＳ７０４の押鍵・離鍵処理で楽音出力データ２１４の発音イベントを生成した場合には、ＲＡＭ２０３上の発行イベント領域に保持されているその発音イベントを図２の音源ＬＳＩ２０４に対して発行することにより、音源ＬＳＩ２０４から楽音出力データ２１４を出力させる。更に、この発声・発音処理において、ＣＰＵ２０１は、ステップＳ７０４の押鍵・離鍵処理で離鍵イベントを生成した場合には、ＲＡＭ２０３上の発行イベント領域に保持されているその離鍵イベントを図２の音声合成ＬＳＩ２０５又は音源ＬＳＩ２０４に対して発行することにより、対応する歌声音声出力データ２１７又は楽音出力データ２１４の出力を停止させる。

最後に、ＣＰＵ２０１は、ＲＡＭ２０３から読み出されるべき演奏ガイドデータの組がなくなって歌声曲が終了したか否かを判定する（ステップＳ７０９）。ステップＳ７０９の判定がＮＯならば、ステップＳ７０３の処理に戻って、ステップＳ７０３からＳ７０９の一連の処理を繰り返し実行する。ステップＳ７０９の判定がＹＥＳになったら、ＣＰＵ２０１は、図７のフローチャートで示される図６のステップＳ６０２のレッスン処理を終了する。

図９は、図７のステップＳ７０３の演奏ガイド処理の詳細例を示すフローチャートである。

ＣＰＵ２０１はまず、ＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｉｎの値が１であるか否か、即ち現在の自動再生のタイミングが押鍵期間（図４（ｃ）参照）に突入したか否かを判定する（ステップＳ９０１）。前述したように、この変数ＮｏｔｅＯｎ＿ｉｎの値は、図８の自動再生処理のステップＳ８０２において、前回のイベントの発生時刻からの相対時刻を示す変数値ＤｅｌｔａＴが押鍵期間の開始時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］－Ｍａｒｇｉｎ”に到達したと判定された場合に、押鍵期間に突入したことを示す値「１」にセットされる。

ステップＳ９０１の判定がＹＥＳになると、ＣＰＵ２０１は、ＲＡＭ２０３上の現在の変数値ＳｏｎｇＩｎｄｅｘ値によって参照されるＲＡＭ２０３上の演奏ガイドデータ組Ｅｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる音高情報に対応する図１の鍵盤１０１上の鍵のＬＥＤ１０４を、図２のＬＥＤコントローラ２０７を介して最大輝度で点灯させる（ステップＳ９０２）。これにより、ユーザは、この最大輝度でＬＥＤ１０４が点灯した鍵を、次に押鍵すべき鍵であると認識することができる。

次に、ＣＰＵ２０１は、ＲＡＭ２０３上の現在の変数値ＳｏｎｇＩｎｄｅｘ値に＋１した値によって参照される演奏ガイドデータ組Ｅｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ＋１］がＲＡＭ２０３上に存在するか否かを判定する（ステップＳ９０３）。

ステップＳ９０３の判定がＹＥＳならば、ＣＰＵ２０１は、ＲＡＭ２０３上のＲＡＭ２０３上の演奏ガイドデータ組Ｅｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ＋１］に含まれる音高情報に対応する図１の鍵盤１０１上の鍵のＬＥＤ１０４を、図２のＬＥＤコントローラ２０７を介して最大輝度の半分の輝度で点灯させる（ステップＳ９０４）。これにより、ユーザは、最大輝度の半分の輝度でＬＥＤ１０４が点灯した鍵を、次の次に押鍵すべき鍵であると認識することができる。

ステップＳ９０３の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ９０４の処理は実行しない、この結果、ユーザは、最大輝度の半分の輝度でＬＥＤ１０４が点灯する鍵がないことにより、最大輝度でＬＥＤ１０４が点灯している鍵がレッスンの最後の鍵であると認識することができる。

ステップＳ９０４の処理の後又はステップＳ９０３の判定がＮＯとなった後、ＣＰＵ２０１は、ＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｉｎの値を０にすることにより、現在の自動再生のタイミングが押鍵期間に突入した状態が終了する。その後、ＣＰＵ２０１は、図９のフローチャートで示される図７のステップＳ７０３の演奏ガイド処理を終了する。

前述したステップＳ９０１の判定がＮＯの場合、ＣＰＵ２０１は次に、ＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｏｕｔの値が１であるか否か、即ち現在の自動再生のタイミングが押鍵期間（図４（ｃ）参照）から出るタイミングであるか否かを判定する（ステップＳ９０６）。前述したように、この変数ＮｏｔｅＯｎ＿ｏｕｔの値は、図８の自動再生処理のステップＳ８０３において、前回のイベントの発生時刻からの相対時刻を示す変数値ＤｅｌｔａＴが押鍵期間の終了時刻に対応する“ＤｅｌｔａＴｉｍｅ［ＳｏｎｇＩｎｄｅｘ］＋Ｍａｒｇｉｎ”に到達したと判定された場合に、押鍵期間を出ることを示す値「１」にセットされる。

ステップＳ９０６の判定がＹＥＳになると、ＣＰＵ２０１は、ＲＡＭ２０３上の現在の変数値ＳｏｎｇＩｎｄｅｘ値から－１した値によって参照されるＲＡＭ２０３上の演奏ガイドデータ組Ｅｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ－１］に含まれる音高情報に対応する図１の鍵盤１０１上の鍵のＬＥＤ１０４を、図２のＬＥＤコントローラ２０７を介して消灯させる（ステップＳ９０７）。これにより、ユーザは、この鍵について、押鍵期間が終了したことを認識することができる。なお、ＳｏｎｇＩｎｄｅｘでなくＳｏｎｇＩｎｄｅｘ－１を参照するのは、図８のステップＳ８０６でＮｏｔｅＯｎ＿ｏｕｔ＝１になった場合には、続くステップＳ８０８でＳｏｎｇＩｎｄｅｘの値が＋１インクリメントされるため、Ｅｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ－１］を参照することにより直前の押鍵期間の鍵のＬＥＤ１０４を消灯できるようにするためである。

ステップＳ９０７の処理の後又はステップＳ９０６の判定がＮＯとなった後、ＣＰＵ２０１は、図９のフローチャートで示される図７のステップＳ７０３の演奏ガイド処理を終了する。

図１０は、図７のステップＳ７０４の押鍵・離鍵処理の詳細例を示すフローチャートである。

ＣＰＵ２０１はまず、図２のキースキャナ２０６を介してユーザによって図１の鍵盤１０１上で新規押鍵がなされたか否かを判定する（ステップＳ１００１）。

ステップＳ１００１の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ１００７の離鍵の判定処理に進む。

ステップＳ１００１の判定がＹＥＳならば、ＣＰＵ２０１は、ＲＡＭ２０３上の変数ＮｏｔｅＯｎの値が１であるか否か、即ち現在の自動再生のタイミングが押鍵期間（図４（ｃ）参照）に入っているか否かを判定する（ステップＳ１００２）。

ステップＳ１００２の判定がＮＯならば、ＣＰＵ２０１は、ステップＳ１００７の離鍵の判定処理に進む。このように、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵された場合において、演奏レッスンにおける押鍵タイミングが自動再生されるタイミング情報に正しく対応していない（図４（ｃ）の押鍵期間に入っていない）と判定された場合には、音声合成ＬＳＩ２０５に歌声音声出力データ２１７を発声させるためのイベント、及び音源ＬＳＩ２０４に楽音出力データ２１４を発音させるためのイベントの何れも生成されないで、発声及び発音の何れも行われない。

このようにしてユーザは、押鍵を行ったにもかかわらず歌声音声出力データ２１７の発声も楽音出力データ２１４の発音もないことにより、自分の押鍵が間違ったタイミングであったことを認識することができる。

ステップＳ１００２の判定がＹＥＳならば、ＣＰＵ２０１は、キースキャナ２０６を介して通知された新規押鍵の音高が、ＲＡＭ２０３上の現在のＳｏｎｇＩｎｄｅｘ値によって参照されるＲＡＭ２０３上のＥｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる音高情報に一致するか否かを判定する（ステップＳ１００３）。

ステップＳ１００３の判定がＹＥＳならば、ＣＰＵ２０１は、ＲＡＭ２０３上の現在のＳｏｎｇＩｎｄｅｘ値によって参照されるＲＡＭ２０３上のＥｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる歌詞情報と音高情報を歌声データ２１５として有する発声イベントを生成し、ＲＡＭ２０３の発行イベント領域にセットする（ステップＳ１００４）。続いて、ＣＰＵ２０１は、ＲＡＭ２０３上の正解フラグ変数の値を１にセットする（ステップＳ１００５）。

一方、ステップＳ１００３の判定がＮＯならば、ＣＰＵ２０１は、ＲＡＭ２０３上の現在のＳｏｎｇＩｎｄｅｘ値によって参照されるＲＡＭ２０３上のＥｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる音高情報と共に所定の音色（例えばピアノ音）の音色情報を発音制御データ２１６（図２参照）として有する発音イベントを生成し、ＲＡＭ２０３の発行イベント領域にセットする（ステップＳ１００６）。

以上のステップＳ１００４又はＳ１００５のように、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵されその押鍵タイミングが自動再生されるタイミング情報に正しく対応している場合に、押鍵音高が演奏ガイドデータの組の音高情報に正しく対応していれば正解として音声合成ＬＳＩ２０５から自動再生中の歌詞と音高に対応する歌声音声出力データ２１７を出力させることができ、押鍵音高が間違っていれば不正解として音源ＬＳＩ２０４から自動再生中の音高に対応する所定の音色の楽音出力データ２１４を出力させることができる。このように、ユーザは、演奏レッスンの正解／不正解を、いちいちディスプレイ等を見なくても、歌声音声出力データ２１７が発声されるか、楽音出力データ２１４が発音されるかによって簡単に認識することが可能となる。

ステップＳ１００１の判定がＮＯの場合或いはステップＳ１００５又はＳ１００６の処理の後、ＣＰＵ２０１は、図２のキースキャナ２０６を介して図１の鍵盤１０１上で新たな離鍵がユーザによってなされたか否かを判定する（ステップＳ１００７）。

ステップＳ１００７の判定がＹＥＳならば、図２の音声合成ＬＳＩ２０５又は音源ＬＳＩ２０４に対して、現在発音中の歌声音声出力データ２１７又は楽音出力データ２１４の出力を停止させるための離鍵イベントを生成し、ＲＡＭ２０３の発行イベント領域にセットする（ステップＳ１００８）。

ステップＳ１００８の処理の後又はステップＳ１００７の判定がＮＯの場合に、ＣＰＵ２０１は、図１０のフローチャートで示される図８のステップＳ７０４の押鍵・離鍵処理を終了する。

図１１は、図７のステップＳ７０５の採点処理の詳細例を示すフローチャートである。まずＣＰＵ２０１は、ＲＡＭ２０３上の変数ＮｏｔｅＯｎ＿ｏｕｔの値が１になっているか否か、即ち現在の自動再生のタイミングが押鍵期間（図４（ｃ）参照）から出るタイミングであるか否かを判定する（ステップＳ１１０１）。

ステップＳ１１０１の判定がＹＥＳの場合に、以下の採点処理が実行される。即ち、ＣＰＵ２０１はまず、ＲＡＭ２０３の正解フラグの変数値が１であるか否かを判定する（ステップＳ１１０２）。この正解フラグの変数値は、前述したように、ユーザにより図１の鍵盤１０１上の何れかの鍵が新たに押鍵されその押鍵タイミングが自動再生されるタイミング情報に正しく対応しており、かつ押鍵音高が演奏ガイドデータの組の音高情報に正しく対応している場合に、図１０のステップＳ１００５において値「１」にセットされる。

ステップＳ１１０２の判定がＹＥＳならば、ＣＰＵ２０１は、ＲＡＭ２０３上の採点途中結果を示す変数値に加点処理を行う（例えば＋１する）（ステップＳ１１０３）。続いて、ＣＰＵ２０１は、ＲＡＭ２０３上の正解フラグの変数値を０にリセットする（ステップＳ１１０４）。

一方、ステップＳ１１０２の判定がＮＯならば、ＣＰＵ２０１は、ＲＡＭ２０３上の採点途中結果を示す変数値に減点処理を行う（例えば－１する）（ステップＳ１１０５）。

ステップＳ１１０４又はＳ１１０５の処理の後、ＣＰＵ２０１は、ＲＡＭ２０３上のＮｏｔｅＯｎ＿ｏｕｔ変数の値を０にリセットする（ステップＳ１１０６）。

ステップＳ１１０６の処理の後又はステップＳ１１０１の判定がＮＯの場合に、ＣＰＵ２０１は、図１１のフローチャートで示される図７のステップＳ７０５の採点処理を終了する。

以上のように、本実施形態では、押鍵期間が経過した際に押鍵期間中の正解フラグの状態を見るので、押鍵期間以外にユーザにより押鍵されても採点には影響を与えない。押鍵期間中に押鍵しない場合は減点となる。

図１２は、図７のステップＳ７０６の声質更新処理の詳細例を示すフローチャートである。前述したように、本実施例における声質変化は、初期状態を男声とし、採点途中結果の点数が上がるにつれて女声方向、点数が下がるにつれて男性のダミ声方向へと声質が変化させられる。声質は前述したフォルマントと呼ばれる声道の周波数特性の他に、声帯が発する音の周波数（声の高さ）によって決まる。フォルマントについては、図４（ｂ）に示されように、一般的に女声や子供では、周波数の高い領域に第１フォルマント以降のフォルマントが位置し、逆に男声では、周波数の低い領域にフォルマントが位置する。また、女性や子供は一般的に声の高さ（声帯の振動数）が高い。

上記の傾向を踏まえ、本実施例では、図５（ｂ）に示されるように、初期状態の男声の声質５を中心として上方向に５段階、下方向に５段階の計１１段階で声質が変化するものとする。フォルマントについては女声、男声及びダミ声間を補間するように変化させる。また、声質変更の３段階目（声質８と声質２）では声の高さを１オクターブ上下させる処理を実行する。

図１２のフローチャートで示される処理において、ＣＰＵ２０１は、ＲＡＭ２０３に記憶されている前回の採点途中結果の点数と今回の採点途中結果の点数を比較し（ステップＳ１２０１）、点数がアップしたか否かを判定する（ステップＳ１２０２）。

そして、ステップＳ１２０２の判定がＹＥＳの場合（点数がアップした場合）には、ＣＰＵ２０１は、声質が最大値の１０に到達していなければ（ステップＳ１２０４の判定がＮＯならば）、声質を１段階加算する（ステップＳ１２０５）。声質が最大値の１０に到達していれば（ステップＳ１２０４の判定がＹＥＳならば）、ＣＰＵ２０１は、ステップＳ１２０５の加算処理は実行しない。

また、声質がオクターブ切替え段階である８又は２であった場合（ステップＳ１２０６の判定がＹＥＳならば）、ＣＰＵ２０１は、声の高さを１オクターブ上げる（ステップＳ１２０７）。ステップＳ１２０６の判定がＮＯならば、ＣＰＵ２０１は、オクターブは維持する。その後、ＣＰＵ２０１は、図１２のフローチャートで示される図７のステップＳ７０６の声質更新処理を終了する。

一方、ステップＳ１２０２の判定がＮＯの場合には、ＣＰＵ２０１は更に、ステップＳ１２０１での比較処理の結果、点数がダウンしたか否かを判定する（ステップＳ１２０３）。ステップＳ１２０３の判定もＮＯで、点数が維持されている場合には、ＣＰＵ２０１は、何もせずに、図１２のフローチャートで示される図７のステップＳ７０６の声質更新処理を終了する。

ＣＰＵ２０１は、ステップＳ１２０３の判定がＹＥＳで点数がダウンしたと判定した場合には、声質が最小値の０に到達していなければ（ステップＳ１２０８の判定がＮＯならば）、声質を１段階減算する（ステップＳ１２０９）。声質が最小値の０に到達していれば（ステップＳ１２０８の判定がＹＥＳならば）、ＣＰＵ２０１は、ステップＳ１２０９の減算処理は実行しない。

また、声質がオクターブ切替え段階である８又は２であった場合（ステップＳ１２１０の判定がＹＥＳならば）、ＣＰＵ２０１は、声の高さを１オクターブ下げる（ステップＳ１２１１）。ステップＳ１２１０の判定がＮＯならば、ＣＰＵ２０１は、オクターブは維持する。

ＣＰＵ２０１は、上述のように声質を算出すると、その声質をＲＡＭ２０３上の変数ｃｕｒＮｕｍに記憶させた後に、図１２のフローチャートで示される図７のステップＳ７０６の声質更新処理を終了する。続いて、ＣＰＵ２０１は、図７のステップＳ７０７の練習進行度算出処理において、ステップＳ７０６で変数ｃｕｒＮｕｍに得た声質の値を用いて、（２）式で示される演算処理によって練習進行度データ３１１の値ｘを算出する。

ここで、ｃｕｒＮｕｍは図７のステップＳ７０６の声質更新処理によってＲＡＭ２０３上の変数ｃｕｒＮｕｍに得られている現在の声質の値である。また、ｍａｌｅＮｕｍは、男性の声質の値であり、前述したように例えば５である。更に、ｆｅｍａｌｅＮｕｍは、女性の声質の値であり、例えば最高値１０である。従って、上記（２）式の演算処理により算出される練習進行度データ３１１の値ｘは、男性の声質の値ｍａｌｅＮｕｍに対する採点途中結果に対応する現在の声質の値ｃｕｒＮｕｍの差分値が、男性の声質の値ｍａｌｅＮｕｍに対する女性の声質の値ｆｅｍａｌｅＮｕｍの差分値に対して、どの程度の割合であるかを示している。例えば、現在の声質の値ｃｕｒＮｕｍ＝１０（女性の声質の値と同じ最高の声質の値）であれば、上記（２）式の演算結果は「ｘ＝（１０―５）÷（１０－５）＝１」となる。また例えば、現在の声質の値ｃｕｒＮｕｍ＝５（男性の声質の値と同じ値）であれば、上記（２）式の演算結果は「ｘ＝（５―５）÷（１０－５）＝０」となる。更に例えば、現在の声質の値ｃｕｒＮｕｍ＝０（最低の声質の値）であれば、上記（２）式の演算結果は「ｘ＝（０―５）÷（１０－５）＝－１」となる。即ち、上記（２）式の演算処理によって算出される練習進行度データ３１１の値ｘは、図７のステップＳ７０５の採点処理に基づく採点途中結果が最高値となって、図７のステップＳ７０６の声質更新処理によって算出される現在の声質の値ｃｕｒＮｕｍが女性の声質と同じ最高値１０になれば、練習進行度データ３１１の値ｘ＝１となる。また、図７のステップＳ７０５の採点処理に基づく採点途中結果が平均値となって、図７のステップＳ７０６の声質更新処理によって算出される現在の声質の値ｃｕｒＮｕｍが男性の声質と同じ平均値５になれば、練習進行度データ３１１の値ｘ＝０となる。更に、図７のステップＳ７０５の採点処理に基づく採点途中結果が最低値となって、図７のステップＳ７０６の声質更新処理によって算出される現在の声質の値ｃｕｒＮｕｍが最低値０になれば、練習進行度データ３１１の値ｘ＝－１となる。

図５（ｃ）は、本実施例において音声合成ＬＳＩ２０５内の音響モデル部３０１に保持されている声質パラメータのデータ構成例（以下、「声質パラメータ構造体」と呼ぶ）を示す図である。「母音フラグ」は当該音素が母音であるか、子音であるかを示すフラグである。母音のときｔｒｕｅ、子音のときｆａｌｓｅとなる。「ノイズ混合比」は、音声に混合されるホワイトノイズの振幅比である。この値は、歌声音声出力データ２１７の最大振幅（１６ビットなら３２，７６８）を１としたときの比率になる。フォルマントパラメータである「ＬＳＦ１配列ポインタ」及び「ＬＳＦ２配列ポインタ」は、ＬＳＰ分析の結果得られるＬＳＰパラメータ値を周波数パラメータ値に変換して得られるＬＳＦ値への配列ポインタである。ＬＳＦは2つで１対のデータとなるため、「ＬＳＦ１配列ポインタ」と「ＬＳＦ２配列ポインタ」のペアがそれぞれＬＳＰ分析の次数分だけ、上記データ構造体に保持されることになる。全音素×全ノート番号分の数の上記声質パラメータ構造体のデータ群が、人間の声の１キャラクタ分の全声質パラメータ群となる。この声質パラメータ群が、男声、女声、ダミ声のキャラクタ毎に、音響モデル部３０１内の特には図示しない書込み可能ＲＯＭに保持されている。

図１３は、音声合成ＬＳＩ２０５での発声処理時に、図３の音声合成ＬＳＩ２０５のプロセッサによって、音声合成部３００のフォルマント補間処理部３０６及びノイズ混合比補間処理部３１６の各機能として実行される声質変更処理の例を示すフローチャートである。ここでは、男声、女声間の声質変更について説明する。男声、ダミ声間の声質変更も同様に実施できる。

音声合成ＬＳＩ２０５のプロセッサは、図７のステップＳ７０８の発声・発音処理によりＣＰＵ２０１から発行された歌声データ２１５に基づいて図３のテキスト解析部３０２を介して設定された発声すべき音素番号を取得し（ステップＳ１３０１）、同じく歌声データ２１５に含まれる形で指定された音高情報であるノート番号を取得する（ステップＳ１３０２）。また、音声合成部３００のプロセッサは、図７のステップＳ７０７でＣＰＵ２０１が前述した（２）式で示される演算処理によって算出した練習進行度データ３１１の値ｘを取得する（ステップＳ１３０３）。

次に、音声合成ＬＳＩ２０５のプロセッサは、ステップＳ１３０１で取得した音素番号及びステップＳ１３０２で取得したノート番号に基づいて、音響モデル部３０１から、図５（ｃ）に示されるデータ形式の男声および女声の各声質パラメータ構造体を取得する（ステップＳ１３０４、Ｓ１３０５）。

次に、音声合成ＬＳＩ２０５のプロセッサは、ステップＳ１３０４又はＳ１３０５で取得した声質パラメータ構造体において、母音フラグが設定されているか否かを判定する（ステップＳ１３０６）。

ステップＳ１３０１で取得された現在の音素番号の音素が母音でなくステップＳ１３０６の判定がＮＯの場合、即ち、子音である場合には、当該音素はピッチを持たないノイズ音声である。この場合には、音声合成ＬＳＩ２０５のプロセッサは、ステップＳ１３０４で取得した男性の声質パラメータ構造体から、「ノイズ混合比」（図５（ｃ）参照）を取り出して目標ノイズ混合比３１７として図３のノイズ重畳部３０７にセットし、「ＬＳＦ１配列ポインタ」及び「ＬＳＦ２配列ポインタ」（図５（ｃ）参照）を取り出して図３の目標スペクトル情報３１２として図３の合成フィルタ部３０５にセットする（ステップＳ１３１０）。なお、男声の代わりに女声の声質パラメータ構造体からのデータを、目標ノイズ混合比３１７及び目標スペクトル情報３１２としてセットしてよいことはもちろんである。

ステップＳ１３０１で取得された現在の音素番号の音素が母音であってステップＳ１３０６の判定がＹＥＳの場合、音声合成ＬＳＩ２０５のプロセッサはまず、図３のノイズ混合比補間処理部３１６の機能としてノイズ混合比補間処理を実行し（ステップＳ１３０７）、続いて、図３のフォルマント補間処理部３０６の機能としてフォルマント補間処理を実行する（ステップＳ１３０８）。そして、音声合成ＬＳＩ２０５のプロセッサは、上記ステップＳ１３０７のノイズ混合比補間処理によって得られた目標ノイズ混合比３１７を図３のノイズ重畳部３０７に目標パラメータとしてセットし、ステップＳ１３０８のフォルマント補間処理によって得られた目標スペクトル情報３１２を図３の合成フィルタ部３０５に目標パラメータとしてセットする。

ステップＳ１３０９又はＳ１３１０の処理の後、音声合成ＬＳＩ２０５のプロセッサは、図１３のフローチャートで示される声質変更処理を終了する。

図１４（ａ）は、図１３のステップＳ１３０７のノイズ混合比補間処理の詳細例を示すフローチャートであり、音声合成ＬＳＩ２０５のプロセッサによって図３の音声合成部３００のノイズ重畳部３０７の機能として実行される。

音声合成ＬＳＩ２０５のプロセッサは、図３のステップＳ１３０４で音響モデル部３０１から取得した男性の声質パラメータ構造体から男性のノイズ混合比の値をｍａｌｅＲａｔｅとして取り出し、また、図３のステップＳ１３０５で音響モデル部３０１から取得した女性の声質パラメータ構造体から女性のノイズ混合比の値をｆｅｍａｌｅＲａｔｅとして取り出し、更に図１３のステップＳ１３０３で取得した練習進行度データ３１１の値ｘを用いて、下記（３）式で示される演算処理を実行することにより、目標ノイズ混合比３１７の値ｔａｒｇｅｔＲａｔｅを算出する（ステップＳ１４０１）。

前述したように、練習進行度データ３１１の値ｘは、男性の声質の値ｍａｌｅＮｕｍに対する採点途中結果に対応する現在の声質の値ｃｕｒＮｕｍの差分値が、男性の声質の値ｍａｌｅＮｕｍに対する女性の声質の値ｆｅｍａｌｅＮｕｍの差分値に対して、どの程度の割合であるかを示している。従って、上記（３）式に示されるように、男性のノイズ混合比に対する女性のノイズ混合比の差分値（ｆｅｍａｌｅＲａｔｅ－ｍａｌｅＲａｔｅ）に採点結果に対応する練習進行度データ３１１の値ｘを乗算し、その乗算結果を男性のノイズ混合比ｍａｌｅＲａｔｅに加算することにより、採点結果に対応して補間された声質に対応する目標ノイズ混合比３１７の値ｔａｒｇｅｔＲａｔｅを算出することができる。

図３の音声合成ＬＳＩ２０５のプロセッサは、ノイズ混合比補間処理部３１６の機能として、上述の図１４（ａ）のフローチャートで示される図１３のステップＳ１３０７で算出した目標ノイズ混合比値ｔａｒｇｅｔＲａｔｅを、前述した図１３のステップＳ１３０９で図１３の音声合成ＬＳＩ２０５内のノイズ重畳部３０７に、目標パラメータである目標ノイズ混合比３１７としてセットする。そして、音声合成ＬＳＩ２０５のプロセッサは、このノイズ重畳部３０７の機能として、信号の最大振幅値に対して上記目標ノイズ混合比３１７の値ｔａｒｇｅｔＲａｔｅを乗じて得られる振幅値を有するノイズデータ３１５を生成し、フィルタ出力データ３１３に混合させる。

図１４（ｂ）は、図１３のステップＳ１３０８のフォルマント補間処理の詳細例を示すフローチャートであり、音声合成ＬＳＩ２０５のプロセッサによって図３の音声合成部３００のフォルマント補間処理部３０６の機能として実行される。

音声合成ＬＳＩ２０５のプロセッサは、例えば特には図示しないレジスタとして有する変数ｉの値を０（ステップＳ１４１１）から、＋１ずつインクリメントさせながら（ステップＳ１４１４）、その値がパラメータ次数Ｎに達したと判定するまで（ステップＳ１４１５）、ＬＳＦ１とＬＳＦ２のパラメータセット毎に、ステップＳ１４１２とＳ１４１３の処理を繰り返し実行する。

まず、音声合成ＬＳＩ２０５のプロセッサは、図３のステップＳ１３０４で音響モデル部３０１から取得した男性の声質パラメータ構造体から男性の第ｉ次のＬＳＦ１配列ポインタを取り出し、そのポインタが参照する音響モデル部３０１内の特には図示しないメモリからＬＳＦ１パラメータの値をｍａｌｅＬＳＦ１［ｉ］として取得し、また、図３のステップＳ１３０５で音響モデル部３０１から取得した女性の声質パラメータ構造体から女性の第ｉ次のＬＳＦ１配列ポインタを取り出し、そのポインタが参照する音響モデル部３０１内のメモリからＬＳＦ１パラメータの値をｆｅｍａｌｅＬＳＦ１［ｉ］として取得し、更に図１３のステップＳ１３０３で取得した練習進行度データ３１１の値ｘを用いて、下記（４）式で示される演算処理を実行することにより、目標スペクトル情報３１２の一部である第ｉ次の目標ＬＳＦ１の値ｔａｒｇｅｔＬＳＦ１［ｉ］を算出する（ステップＳ１４１２）。

前述したように、練習進行度データ３１１の値ｘは、男性の声質の値ｍａｌｅＮｕｍに対する採点途中結果に対応する現在の声質の値ｃｕｒＮｕｍの周波数差分値が、男性の声質の値ｍａｌｅＮｕｍに対する女性の声質の値ｆｅｍａｌｅＮｕｍの周波数差分値に対して、どの程度の割合であるかを示している。従って、上記（４）式に示されるように、男性の第ｉ次のＬＳＦ１パラメータ値に対する女性の第ｉ次のＬＳＦ１パラメータ値の周波数差分値（ｆｅｍａｌｅＬＳＦ１［ｉ］－ｍａｌｅＬＳＦ１［ｉ］）に採点結果に対応する練習進行度データ３１１の値ｘを乗算し、その乗算結果を男性の第ｉ次のＬＳＦ１パラメータ値ｍａｌｅＬＳＦ１［ｉ］に加算することにより、採点結果に対応して補間された声質に対応する第ｉ次の目標ＬＳＦ１パラメータ値ｔａｒｇｅｔＬＳＦ１［ｉ］を算出することができる。

次に、音声合成ＬＳＩ２０５のプロセッサは、図３のステップＳ１３０４で音響モデル部３０１から取得した男性の声質パラメータ構造体から男性の第ｉ次のＬＳＦ２配列ポインタを取り出し、そのポインタが参照する音響モデル部３０１内のメモリからＬＳＦ２パラメータの値をｍａｌｅＬＳＦ２［ｉ］として取得し、また、図３のステップＳ１３０５で音響モデル部３０１から取得した女性の声質パラメータ構造体から女性の第ｉ次のＬＳＦ２配列ポインタを取り出し、そのポインタが参照する音響モデル部３０１内のメモリからＬＳＦ２パラメータの値をｆｅｍａｌｅＬＳＦ２［ｉ］として取得し、更に図１３のステップＳ１３０３で取得した練習進行度データ３１１の値ｘを用いて、下記（５）式で示される演算処理を実行することにより、目標スペクトル情報３１２の一部である第ｉ次の目標ＬＳＦ２の値ｔａｒｇｅｔＬＳＦ２［ｉ］を算出する（ステップＳ１４１３）。

前述した（４）式のＬＳＦ１パラメータ値の場合と同様に、上記（５）式に示されるように、男性の第ｉ次のＬＳＦ２パラメータ値に対する女性の第ｉ次のＬＳＦ２パラメータ値の周波数差分値（ｆｅｍａｌｅＬＳＦ２［ｉ］－ｍａｌｅＬＳＦ２［ｉ］）に採点結果に対応する練習進行度データ３１１の値ｘを乗算し、その乗算結果を男性の第ｉ次のＬＳＦ２パラメータ値ｍａｌｅＬＳＦ２［ｉ］に加算することにより、採点結果に対応して補間された声質に対応する第ｉ次の目標ＬＳＦ２パラメータ値ｔａｒｇｅｔＬＳＦ１［ｉ］を算出することができる。

図３の音声合成ＬＳＩ２０５のプロセッサは、フォルマント補間処理部３０６の機能として、上述の図１４（ｂ）のフローチャートで示される図１３のステップＳ１３０８フォルマント補間処理で算出したＬＳＰ分析次数分の目標ＬＳＦ１パラメータ値ｔａｒｇｅｔＬＳＦ１［ｉ］と目標ＬＳＦ２パラメータ値ｔａｒｇｅｔＬＳＦ２［ｉ］のペア（０≦ｉ≦Ｎ－１）を、前述した図１３のステップＳ１３０９で図１３の音声合成ＬＳＩ２０５内の合成フィルタ部３０５に、目標パラメータである目標スペクトル情報３１２としてセットする。この結果、合成フィルタ部３０５は、上記目標スペクトル情報３１２を用いてデジタルフィルタを形成し、このデジタルフィルタに図３の発声モデル部３０３内の音源生成部３０４の機能により音源信号を入力させることにより、フィルタ出力データ３１３を出力する。最終的に、このフィルタ出力データ３１３はノイズデータ３１５と混合され、歌声音声出力データ２１７として出力される。

上記図１３及び図１４のフローチャートによって説明した声質変更処理により、演奏レッスン開始時の歌唱機能の声質が例えば男性大人に設定され、演奏レッスン開始後採点途中結果が上がっていくごとに、ユーザの押鍵操作に基づいて電子鍵盤楽器１００のスピーカから発声される歌声音声の声質が女性大人の声質に徐々に変化し、逆に点数が下がっていった場合は上記歌声音声の声質が男性大人の声質から少し耳障りないわゆるダミ声と言われている声質に変化していく。更には、採点途中結果に応じてハスキーボイスのような声質の有り／無しの変化を加えることもできる。これにより、ユーザは、いちいちディスプレイを確認する必要なく、演奏レッスンの経過と共に自分の演奏操作の技量がどの程度になっているかを、発声される歌声音声の声質により簡単に確認することが可能となる。

以上説明した実施形態では、押鍵すべき音符ごとに弾けた又は弾けないを判断し採点途中結果の点数を上下させていたが、いくつかの音符ごとのまとまり（フレーズ）や数小節の採点の平均を取って点数を上下させたり、連続して何回か押鍵できた場合又は押鍵できなかった場合に点数を上下させるようにしてもよい。

更に、上記のように音符のまとまりで採点する場合には難易度の高い部分で通常より加点するようなボーナスステージや、逆に簡単な場所で間違えた場合には減点を増やすようなペナルティステージを設けてもよい。

本実施例では、フォルマントの移動、ホワイトノイズの混合度及び音高を変化させているが、リバーブのような残響効果や声のピッチが揺らぐトレモロのような効果を入れたり、点数が下がるにつれて音高が不安定になっていくような演出を加えてもよい。

本実施例では、次に押鍵すべき鍵に対応するＬＥＤを最大輝度で点灯し、次の次に押鍵すべき鍵に対応するＬＥＤを最大輝度の半分の輝度で点灯させるようにしたが、ＬＥＤの輝度を一定とし、同じ輝度において、次に押鍵すべき鍵に対応するＬＥＤを点灯させ、次の次に押鍵すべき鍵に対応するＬＥＤを点滅させることで、識別できるようにしてもよい。

本実施例では、電子鍵盤楽器１００として実施したが、その他の楽器形態、例えばギター型や管楽器型の電子楽器で本発明が実施されてもよい。

本実施例では最高点を女声、最低点をダミ声としているがこれら声質の選択は他にも様々な組み合わせが考えられることは言うまでもない。

本実施例では、目標とする声を一般的な女性の声としているが、特定の人物の声をモデル化した音響モデルを使用してもよい。例えば著名な歌手の歌唱を学習した音響モデルを使用すれば、演奏が上達するにつれ、あこがれの歌手の声質に近づいていくような演出が可能となり、更に効果的な演奏レッスンを行えるようになる。

本実施例では、声質パラメータとしてＬＳＦを採用したが、図３の合成フィルタ部３０５をフィルタバンクにより実現した場合には、フィルタバンクを構成する各フィルタの増幅率をフォルマント形状と見做し、各フィルタバンクの利得について声質の補間処理を実施することも可能である。

更に、下記特許文献に記載の方法による音声の周波数振幅成分に対し移動平均フィルタをかけることにより生成される周波数振幅概形を声質パラメータと見做して、周波数領域において補間処理を実施することも可能である。その他声質の変更に関して実施例の記載に関わらず種々の方法を採用することができる。
（特許文献）：特開２００５－０８４６６１号公報

本実施例では、図３の合成フィルタ部３０５への励振源信号としての音源信号は、図３の音声合成ＬＳＩ２０５内部において、音源生成部３０４が、音響モデル部３０１から出力される音高情報３１０に基づいて生成しているが、他の実施形態として、合成フィルタ部３０５に入力する音源信号を、図２の音源ＬＳＩ２０４から供給するようにしてもよい。

図１５は、上記構成を実現するための、音声合成ＬＳＩ内の音声合成部３００内の発声モデル部３０３の他の構成例を示すブロック図である。前述した図７のステップＳ７０４の押鍵・離鍵処理における図１４のステップＳ１００４において、ＣＰＵ２０１は、ＲＡＭ２０３上の現在のＳｏｎｇＩｎｄｅｘ値によって参照されるＲＡＭ２０３上のＥｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる歌詞情報と音高情報を歌声データ２１５として有する発声イベントを生成し、ＲＡＭ２０３の発行イベント領域にセットする。これと共に、ＣＰＵ２０１は、同じくＥｖｅｎｔ［ＳｏｎｇＩｎｄｅｘ］に含まれる音高情報と共に所定の発音チャネル指定を発音制御データ２１６（図２参照）として有する発声音源指定用発音イベントを生成し、ＲＡＭ２０３の発行イベント領域にセットする。

上記処理を受けて、ＣＰＵ２０１は、ステップＳ７０８の発声・発音処理において、ＲＡＭ２０３上の発行イベント領域に保持されている上記発声イベントを図２の音声合成ＬＳＩ２０５に対して発行すると共に、上記発声音源指定用発音イベントを図２の音源ＬＳＩ２０４に対して発行する。

この結果、音源ＬＳＩ２０４は、上記発声音源指定用発音イベントによって指定されている特定の音源チャネル（複数チャネルでもよい）を使って、上記発声音源指定用発音イベントに含まれる音高情報に対応する音高を有する発声音源用楽音出力データ１５０１を生成し、図２では特には図示しない信号経路を介して図２の音声合成ＬＳＩ２０５に入力させる。

演奏者による演奏レッスンに基づいて音源ＬＳＩ２０４が生成、出力する上記発声音源用楽音出力データ１５０１が、図３の音声合成ＬＳＩ２０５において、音響モデル部３０１からフォルマント補間処理部３０６を介して入力する目標スペクトル情報３１２に基づいて合成フィルタ部３０５にて形成されるデジタルフィルタに入力することにより、合成フィルタ部３０５から歌声音声出力データ２１７が出力される。

このようにして生成、出力される歌声音声出力データ２１７は、音源ＬＳＩ２０４で生成された楽器音を音源信号としている。このため、歌い手の歌声と比べると、忠実性は若干失われるが、音源ＬＳＩ２０４で設定された楽器音の雰囲気が良く残ると共に、歌い手の歌声の声質も良く残った歌声となり、効果的な歌声音声出力データ２１７を出力させることが可能となる。

更に、発声音源用楽音出力データ１５０１としては、複数チャネルを用いたポリフォニック動作も可能であるため、その場合には複数の歌声がハモるような効果を奏することも可能となる。

なお、発声音源用楽音出力データ１５０１としては、どのような波形信号でもよいが、音源信号としての性質上、倍音成分を多く含み、かつ長く持続する、例えばブラス音、ストリング音、オルガン音のような楽器音が好ましい。勿論、大きな効果を狙って、このような基準に全く従わないような楽器音、例えば動物の鳴き声のような楽器音が使用されても、非常におもしろい効果が得られる。具体的な実施例として、例えば愛犬の鳴き声をサンプリングして得られた波形データを用いた発声音源用楽音出力データ１５０１が合成フィルタ部３１０に入力されてもよい。そうすると、まるで愛犬が歌詞を歌っているように聞こえるという非常におもしろい効果が得られる。

以上、開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
演奏者の演奏情報を取得する演奏情報取得手段と、
歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価手段と、
前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声手段と、
前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更手段と、
を備える電子楽器。
（付記２）
前記演奏ガイドデータに基づき、演奏者に楽曲の演奏をガイドする演奏ガイド手段を更に備える付記１に記載の電子楽器。
（付記３）
更に複数の発光素子を備え、
前記演奏ガイド手段は、前記演奏ガイドデータに含まれるタイミング情報に対応したタイミングで、前記演奏ガイドデータに含まれる音高情報に対応する発光素子を発光する、
付記２に記載の電子楽器。
（付記４）
前記声質変更手段は、前記演奏評価手段による複数の特定評価に対応する複数の声質の間を、前記演奏評価手段による楽曲進行中の評価に応じた割合で、補間する、付記１乃至３の何れかに記載の電子楽器。
（付記５）
前記声質変更手段は、人声のフォルマント成分と人声に混合するノイズ成分の割合を変更する、付記１乃至４のいずれかに記載の電子楽器。
（付記６）
電子楽器のプロセッサに、
演奏者の演奏情報を取得する演奏情報取得処理と、
歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価処理と、
前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声処理と、
前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更処理と、
を実行させるための電子楽器の制御方法。
（付記７）
電子楽器のプロセッサに、
演奏者の演奏情報を取得する演奏情報取得処理と、
歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価処理と、
前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声処理と、
前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更処理と、
を実行させるためのプログラム。

１００ 電子鍵盤楽器
１０１ 鍵盤
１０２ 第１のスイッチパネル
１０３ 第２のスイッチパネル
１０４ ＬＥＤ
２００ 制御システム
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 音源ＬＳＩ
２０５ 音声合成ＬＳＩ
２０６ キースキャナ
２０７ ＬＥＤコントローラ
２０８ ネットワークインタフェース
２０９ システムバス
２１０ タイマ
２１１、２１２ Ｄ／Ａコンバータ
２１３ ミキサ
２１４ アンプ
２１５ 歌声データ
２１６ 発音制御データ
２１７ 歌声音声出力データ
２１８ 楽音出力データ
３００ 音声合成部
３０１ 音響モデル部
３０２ テキスト解析部
３０３ 発声モデル部
３０４ 音源生成部
３０５ 合成フィルタ部
３０６ フォルマント補間処理部
３０７ ノイズ重畳部
３０８ 言語特徴量系列
３０９ スペクトル情報
３１０ 音源情報
３１１ 練習進行度データ
３１２ 目標スペクトル情報
３１３ フィルタ出力データ
３１４ ノイズ混合比
３１５ ノイズデータ
３１６ ノイズ混合比補間処理部
３１７ 目標ノイズ混合比
１５０１ 発声音源用楽音出力データ

Claims (7)

1. 演奏者の演奏情報を取得する演奏情報取得手段と、
   歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価手段と、
   前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声手段と、
   前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更手段と、
   を備える電子楽器。
2. 前記演奏ガイドデータに基づき、演奏者に楽曲の演奏をガイドする演奏ガイド手段を更に備える請求項１に記載の電子楽器。
3. 更に複数の発光素子を備え、
   前記演奏ガイド手段は、前記演奏ガイドデータに含まれるタイミング情報に対応したタイミングで、前記演奏ガイドデータに含まれる音高情報に対応する発光素子を発光する、
   請求項２に記載の電子楽器。
4. 前記声質変更手段は、前記演奏評価手段による複数の特定評価に対応する複数の声質の間を、前記演奏評価手段による楽曲進行中の評価に応じた割合で、補間する、請求項１乃至３の何れかに記載の電子楽器。
5. 前記声質変更手段は、人声のフォルマント成分と人声に混合するノイズ成分の割合を変更する、請求項１乃至４のいずれかに記載の電子楽器。
6. 電子楽器のプロセッサに、
   演奏者の演奏情報を取得する演奏情報取得処理と、
   歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価処理と、
   前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声処理と、
   前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更処理と、
   を実行させるための電子楽器の制御方法。
7. 電子楽器のプロセッサに、
   演奏者の演奏情報を取得する演奏情報取得処理と、
   歌詞情報と音高情報とタイミング情報を少なくとも含む演奏ガイドデータと前記演奏情報から、楽曲の進行中に演奏者の演奏を異なるタイミングで複数回評価する演奏評価処理と、
   前記演奏情報と前記歌詞情報に基づき、歌詞を歌声で発声する歌声発声処理と、
   前記演奏評価手段の評価が前回の評価から変化した場合に、変化した評価に対応して前記歌声の声質を変更する声質変更処理と、
   を実行させるためのプログラム。

Images