JP2005241717A - 自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラム - Google Patents

Abstract

【課題】自然楽器の演奏において演奏指手段の指示どおりの操作がなされたかどうかを判定するためのモデルを誤りなく作成できるようにすること。
【解決手段】モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を、マイクロフォン１０、Ａ／Ｄ変換器６を通してレベル調整して取り込む。アタック検出１３は、取り込んだ込んだ演奏音をレベル調整された演奏音の音量および該レベル調整状態で取り込んだノイズの音量に基づいて設定した閾値と比較してアタックを検出する。スペクトル作成部１２は、アタックを検出したときの演奏音のパワースペクトルをモデルとして記憶する。無音状態を検出してから次のモデル作成に移る。また、アクション音やノイズやＤＣ成分の影響をモデルから取り除く。
【選択図】図１

Description

本発明は、自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラムに関し、特に、自然楽器の演奏において演奏指示手段の指示どおりの操作がなされたかどうかを判定するためのモデルを誤りなく作成することができる自然楽器の楽音判定装置におけるモデル作成装置およびモデル作成用プログラムに関する。

従来、鍵盤楽器の演奏を独習するための押鍵指示手段を有する電子楽器が知られている。例えば、下記特許文献１には、予め記憶された演奏情報を表示回路に順次読み出し、鍵盤の各鍵に対応して設けた表示ランプをこの演奏情報に従って付勢することにより押鍵指示を行い、演奏者が押鍵した鍵の音高をキースキャン回路で検出し、この音高が表示ランプで指示した演奏情報の音高と一致した場合に次の演奏情報を表示回路に読み出すようにした押鍵指示手段を備えた電子楽器が記載されている。

下記特許文献１に従う押鍵指示は、キースキャン回路を備えた電子楽器では容易に実現できるが、キースキャン回路を持たないアコースティックピアノのような自然楽器では実現が困難である。自然楽器にキースキャン回路を設けることも考えられるが、キースキャン回路に必要なキースイッチや表示ランプを鍵ごとに後付けする作業が繁雑であり、手軽に行うことはできない。

自然楽器においても押鍵指示などの演奏指示を可能にするため、本出願人は、マイクロフォンから各音高の単音を取り込んで予め各単音のパワースペクトルをモデルとして作成して記憶させておき、レッスン時に演奏指示に従って次に弾くべき音のモデルを読み出し、これとマイクロフォンで取り込んだ演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進めるという自然楽器の楽音判定装置を特願２００３−１３４３７２号（先願）で提案した。

この装置は、自然楽器を実際に弾いて作成したモデルとレッスン時の演奏音とを比較するものであるため、演奏音のピッチなどのパラメータを検出する必要がなく、非常に簡単な計算で、また、自然楽器の調律がずれている場合でも全く問題なく確実に、モデルとレッスン時の演奏音との一致を検出できるという特徴を持つが、実際に自然楽器を弾いて各音高の単音のパワースペクトルをモデルとして予め誤りなく作成し、記憶させておく必要がある。
特公平２−７０５号公報

上記先願では、モデルとレッスン時の演奏音のパワースペクトルはできるだけ早い段階で一致検出することが望ましいので、モデル作成時に押鍵後の演奏音のアタックを検出し、アタック検出時点のパワースペクトルをモデルとして記憶する。アタックは、音量または振幅が、予想されるノイズの音量または振幅以上に閾値を超過したことで検出され、単に閾値を超過した音量または振幅が入力されればアタックが検出されてモデルが作成される。

しかしながら、演奏者は鍵によっていろいろな強さで押鍵する可能性があり、このように押鍵強さが各鍵で異なって発生された演奏音を基にモデルを作成することは好ましくない。また、レッスン時、次に弾くべき音が和音の場合には和音を構成する単音のモデルを合成してモデルとするが、ピアノの場合には同じ強さで押鍵しても音域によって音量が大きく異なるため、モデル合成時に各単音の音量を正規化して合成することは適当でない。以上のことから、モデル作成時には演奏者に各鍵を同じ強さで弾いてもらうようにして、それにより発生された演奏音を基にモデルを作成し、和音の場合には各単音のモデルをそのまま合成し、合成後に全体として正規化して使用できるようにする工夫が必要である。

また、アタック検出は入力されるデジタル信号の音量または振幅の影響を受けるため、入力される演奏音のレベルが適正に設定される必要がある。さらに、同じ強さで弾いた場合でも音域（音高）によって発生される音量に大きな差があるので、単純に音量最大値が同じ位になるようにガイドしたのでは同じ強さで弾いてもらうことはできない。また、モデル作成時に余り強く押鍵すると、高次倍音の成分が強く出てしまい、これにより作成されたモデルとレッスン時の演奏音のパワースペクトルの一致検出が難しくなってしまう。そのため、モデル作成時には普通の強さか、やや弱めに押鍵してもらうことが望ましい。

また、モデル作成時には、モデルを作成する音域の鍵を次々と押鍵してそれぞれの単音のモデルを作成して記憶していくが、余り早く次の鍵を押鍵すると前の演奏音の残響がまだ残っているため余分な周波数成分が含まれてしまい、押鍵した鍵に対応する本来のモデルが作成されないという問題がある。そうすると、レッスン時に正しい鍵を押鍵してもモデルとの一致が得られなくなってしまう。十分に残響がなくなるまで待って次の鍵のモデル作成を開始させることによりこの不都合をなくすことができるが、単音ごとに必要以上に十分な時間を費やすことは無駄であり、広い音域のモデルを作成する場合には多大に時間を要することになる。また、どの時点で次の鍵を押鍵してモデル作成に入っていいかはっきりしない。

また、上述の各音高の単音のパワースペクトルをモデルとして作成するとき、マイクロフォンからの入力音にはピアノの音以外にピアノのアクション音も含まれてしまう。モデルとレッスン時の演奏音のパワースペクトルを比較する際にはフーリエ変換（ＦＦＴ）を行うが、このアクション音のパワースペクトルは、ＦＦＴで得られたモデルおよびレッスン時の演奏音のパワースペクトルの低音部に入っている。

高音の鍵の場合には本来のピアノ音である弦の振動音よりもアクション音のパワースペクトルの方が強く出るため、モデルとレッスン時の演奏音とを比較すると、アクション音のパワースペクトルの一致が比較的大きく評価されてしまう。このアクション音がモデルとレッスン時の演奏音の含まれることにより両者の正しい一致が得られず不都合であるため、何らかの工夫が必要である。

アクション音が評価されないようにするには、アクション音を取り除けばよい。しかし、アクション音はアクション部分から発せられるノイズのようなものであり、そのパワースペクトルは毎回異なるためアクション音のみを選択して取り除くことは困難である。

また、モデルとレッスン時の演奏音のパワースペクトルの比較の前処理としてパワースペクトルの正規化を行うが、単純にパワースペクトルを音量で正規化すると外部環境によるノイズなども正規化されてしまい、特に弱く弾いた音を正規化した場合、ノイズ成分を大きく持ち上げてしまう結果になる。従って、このようなノイズがモデルやレッスン時の演奏音に含まれていても両者の正しい一致が得られない。

また、パワースペクトルを作成するためにＦＦＴを行うと、パワースペクトルにＤＣ（直流）成分が現れる。そのようなＤＣ成分がモデルやレッスン時の演奏音のパワースペクトルに含まれていても、モデルとレッスン時の演奏音のパワースペクトルの正しい一致が得られない。

さらに、モデルとレッスン時の演奏音のパワースペクトルの比較に当たってパワースペクトルの正規化のために音量を測定する場合、ＤＣ成分の影響で音量を正しく測定できない。Ａ／Ｄ変換前のアナログ信号にのっているＤＣのオフセットは、Ａ／Ｄ変換後のデジタル信号にものってしまうため、波形の振幅から音量を求めようとするとＤＣのオフセットによって音量を正しく測定できない。

従って、モデルとレッスン時の演奏音のパワースペクトルの比較を正しく行うにはノイズ成分やＤＣ成分の影響も受けないようにする工夫も必要である。

本発明の目的は、自然楽器の演奏において演奏指示手段の指示どおりの操作がなされたかどうかを判定するためのモデルを誤りなく作成できるようにすることにある。

上記の課題を解決するため、本発明は、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音をレベル調整して取り込み、取り込んだ演奏音をレベル調整された演奏音の音量および該レベル調整状態で取り込んだノイズの音量に基づいて設定した閾値と比較してアタックを検出し、アタックを検出したときの演奏音のパワースペクトルを算出してモデルとして記憶する点に特徴がある。

また、本発明は、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を閾値と比較し、演奏音の音量が閾値を一定時間継続的に下回ったとき無音状態と判断して次のモデル作成に移る点に特徴がある。

また、本発明は、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込み、取り込んだ演奏音のパワースペクトルを求め、モデルを作成しようとする音高の基本周波数より低い周波数成分をカットしたパワースペクトルをモデルとして記憶する点に特徴がある。

また、本発明は、モデル作成時に自然楽器を演奏しない状態で取り込んだ音のパワースペクトルを求め、そのパワースペクトル中でパワー最大のスペクトルのパワー値をノイズ基準値とし、このノイズ基準値以下をカットした演奏音のパワースペクトルをモデルとして記憶する点に特徴がある。

さらに、本発明は、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込み、該演奏音のパワースペクトルを求め、該パワースペクトル中の最も低い周波数付近の成分をカットしたパワースペクトルをモデルとして記憶する点に特徴がある。

なお、上記の特徴、つまりアタック検出、無音検出、アクション音やノイズやＤＣ成分除去の技術は適宜組み合わせて採用することができ、また、本発明は装置あるいはプログラムとして構成することができる。

本発明の特徴によれば、モデル作成時に演奏音の音量を適当に調整できるとともに、レベル調整されて入力された演奏音のアタックを良好に検出でき、演奏音の音量が適当でなければその旨のメッセージを送出してほぼ一定の強さで弾くように促すことができるので、誤りのないモデルを作成することができる。

また、無音状態を検出して次のモデル作成に進ませることにより、先のモデル作成での演奏音の残響の影響をなくすことができるとともに、安心して次々とモデルを作成することができる。

さらに、モデル作成時にモデルの基本周波数以下のパワースペクトルを取り除いたり、モデルとするパワースペクトルの中からノイズのパワー最大値よりも低いパワーのパワースペクトルを取り除いたり、演奏音のパワースペクトルにおいて最も低い周波数付近の成分やＤＣ成分を取り除くことにより、アクション音やノイズやＤＣ成分の影響がモデルに出ないようにすることができる。

図１は、本発明が適用される楽音判定装置のブロック図であり、アコースティックピアノ（以下、特に電子ピアノと区別しない場合は、単に「ピアノ」と呼ぶ）の楽音判定装置として構成された例である。

図１に示す楽音判定装置は、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、音源装置４、スピーカ５、Ａ／Ｄ変換器６、入力装置（キーボードやマウス）７、および表示装置８を含むパーソナルコンピュータで要部を構成することができる。表示装置８としては液晶ディスプレイやブラウン管等、パーソナルコンピュータの処理結果を表示するための周知の表示手段を使用することができる。パーソナルコンピュータには外部記憶装置９が接続され、かつＡ／Ｄ変換器６を介してマイクロフォン１０が接続される。マイクロフォン１０はピアノＰの発生音を取り込むために設けられるものであり、ピアノＰ内に配置されるのが望ましい。

ＣＰＵ１は、音量測定部１１、スペクトル作成部１２，アタック検出部１３、スペクトル比較部１４、および押鍵指示部１５を要部機能として備える。すなわち、音量測定部１１、スペクトル作成部１２，アタック検出部１３、スペクトル比較部１４、および押鍵指示部１５はソフトウエアとして構成されている。もちろん、これらの部分はハードウエアでも構成できる。

音量測定部１１は、マイクロフォン１０から入力された音のレベル（音量）を検出する。スペクトル作成部１２は、マイクロフォン１０およびＡ／Ｄ変換器６を通じて入力されたデジタル楽音信号からパワースペクトルを得るＦＦＴ（フーリエ変換）機能を有する。ＦＦＴによって得られたパワースペクトルはＲＡＭ３に記憶される。

アタック検出部１３は、検出されたパワースペクトルに基づいてアタックを検出する。スペクトル比較部１４はモデル作成フェーズおよびレッスンフェーズにおいてスペクトル作成部１２でそれぞれ作成されたパワースペクトルの距離を比較して演奏が押鍵指示どおり行われたかどうかを判断する。モデル作成フェーズ、レッスンフェーズについては後で詳細に説明する。

押鍵指示部１５は、演奏情報に従う押鍵指示を表示装置８で表示するための表示データを作成する。表示データは入力装置７から入力される演奏開始指示に応答して作成開始され表示装置８に入力される。

楽音判定装置における処理は、演奏者がピアノＰを実際に弾くことにより発生される演奏音に従って各音高の単音のモデルを作成するモデル作成フェーズと、演奏者のレッスン演奏に従って入力される演奏音とモデルとを比較して一致を判定し、その判定結果に従ってレッスンを進めるレッスンフェーズとに分けられる。以下では、モデル作成フェーズで発生される演奏音を、特に「モデル作成演奏音」と称することにする。

モデル作成フェーズでは、まず、アコースティックピアノＰの各音高の鍵を１音ずつ演奏者に押鍵してもらい、発生されるモデル作成演奏音をマイクロフォン１０から取り込む。それにより入力されたアナログ信号をＡ／Ｄ変換器６でデジタル信号に変換し、デジタル信号の音量を音量測定部１１で測定する。アタック検出部１３は、音量測定部１１で測定された音量から音の立ち上がり（アタック）を検出する。

アタックが検出されたとき、スペクトル作成部１２は、デジタル信号をＦＦＴしてパワースペクトルを作成する。スペクトル作成部１２で作成されたパワースペクトルは、押鍵された鍵の音高の単音のモデルとしてＲＡＭ３または外部記憶装置９に記憶される。

レッスンフェーズでは、ＲＡＭ３または外部記憶装置９に記憶された楽曲の演奏情報を読み出し、その楽曲の先頭の楽音の押鍵指示を表示装置８で表示する。同時に、楽曲の先頭の楽音のモデルをＲＡＭ３または外部記憶装置９から読み出す。表示装置８に表示された押鍵指示に従ってピアノＰで押鍵された音をマイクロフォン１０から取り込む。マイクロフォン１０を通して入力されたアナログ信号をＡ／Ｄ変換器６でデジタル信号に変換し、デジタル信号の音量を音量測定部１１で測定する。

スペクトル作成部１２は、音量測定部１１で測定された音量が閾値以上であるならばデジタル信号をＦＦＴしてパワースペクトルを作成する。アタック検出部１３は、スペクトル作成部１２で作成されたパワースペクトルから音の立ち上がりのアタックを検出する。アタックが一度でも検出されたならば、スペクトル比較部１４は、ＦＦＴにより求められたパワースペクトルを読み出されたモデルと比較し、両者が一致した場合には表示装置８の押鍵指示を次の楽音に進める。

なお、比較に際し、押鍵が単音の場合には単音のモデルをそのまま使用できるが、和音の場合には単音モデルを合成してパワースペクトルを比較するようにすればよい。以上の一連の動作を繰り返すことによりレッスンが進められる。

図２は、モデル作成フェーズのＣＰＵ１の処理を示すフローチャートである。モデル作成が指示されたとき、まず、楽曲あるいはレッスン（技量）レベルの選択を促す画面を表示装置８に表示し、演奏者に楽曲を選択してもらうか、レッスンレベルを選択してもらうかする（Ｓ１）。この選択に従ってモデル作成の音域を設定する（Ｓ２）。

楽曲が選択された場合には、その楽曲の演奏情報を走査し、例えば図３に示すように、それに含まれる音高を少なくとも含む音域をモデル作成の音域として自動的に設定する。選択された楽曲のレベルに応じてモデル作成の音域を自動的に設定するようにしてもよいし、選択された楽曲に出てくる音高を演奏者に示し、それらの音高を少なくとも含む音域を演奏者に指示させてモデル作成の音域を設定するようにしてもよい。

レッスンレベルが選択された場合には、選択されたレッスンレベルの楽曲に含まれる音域をモデル作成の音域として設定する。例えば図４に示すように、入門、初級、中級、上級に従って音域を広く設定する。モデル作成の音域を設定したら、モデル作成の最初の音高の音、例えばモデル作成の音域に含まれる最低音をセットする（Ｓ３）。

次に、モデル作成の音高の音に対応する鍵を表示装置８に表示した鍵盤に表示し、演奏者に押鍵を指示する（Ｓ４）。この際、押鍵指示した音高の音を音源４に発音するように指示してもよい。演奏者が指示された鍵を押鍵すると、ピアノＰから発せられたモデル作成演奏音はマイクロフォン１０により取り込まれる。Ｓ４で押鍵指示した音高の音をスピーカ５から発音させれば、ここでピアノＰから発せられるモデル作成演奏音と聴き比べて押鍵の間違いを演奏者に気付かせることができる。

マイクロフォン１０を通して入力されたアナログ信号をＡ／Ｄ変換器６でデジタル信号に変換し、その音量を音量測定部１１で測定する。音量測定は離鍵指示まで継続して行う。音量測定部１１で測定した音量が閾値を超えたらアタックとみなす（Ｓ５）。このアタック検出処理については後で詳細に説明する。スペクトル作成部１２はデジテル信号をＦＦＴしてパワースペクトルを作成し、音量測定部１１はその音量を算出する（Ｓ６）。アタックが検出されたときのパワースペクトルと音量は、後で使用するのでバッファとしてのＲＡＭ３に一時的に保存する。

パワースペクトルが作成され、音量が算出されたら表示装置８に離鍵を促す指示を表示する（Ｓ７）。離鍵指示はスピーカ５による音もしくは音声の指示であってもよい。その後、次の処理に移るが、次の処理が先の音高の音の残響音で影響されないように、その前にピアノＰが無音状態になっている必要あるので、離鍵指示後、音量測定部１１で算出される音量が無音検出の閾値以下になるまで待つ（Ｓ８）。音量がこの閾値以下になれば実質的に無音状態と判断する。ピアノの場合にはかなりの残響音があるので、誤りなくモデルを作成するために無音検出は重要である。

無音状態になったと判断できたら、押鍵指示からこれまでの期間の音量の最大値または振幅の最大値が許容範囲内に入っているかどうかを判断する（Ｓ９）。ここで音量や振幅が許容範囲内に入っておらず、それが大きすぎると判断した場合には、例えば「もっと小さく弾いて下さい。」とメッセージを出し、逆にそれが小さすぎると判断された場合には「もっと大きく弾いて下さい。」とメッセージを出すなどしてからＳ４に戻り、演奏者に再度の押鍵を指示する。これは極端に強くまたは弱く押鍵された場合のパワースペクトルはモデルとしてふさわしくないからである。アタック検出時点の音量や振幅ではなく、押鍵指示からこれまでの期間の音量の最大値または振幅をチェックするのは、アタック検出時点の音量や振幅はピーク値ではなく、音量や振幅は通常、アタック検出後にピーク値となるからである。

押鍵指示からこれまでの期間の音量の最大値または振幅の最大値が許容範囲内に入っていると判断できたら、一時的に保存しておいたパワースペクトルと音量を押鍵された音高の音のモデルとしてＲＡＭ１１に記憶する（Ｓ１０）。

Ｓ１〜Ｓ１０により単音のモデルが記憶され、以上の処理を順次、次々の音高の音について繰り返すことにより設定された音域内の単音のモデルを記憶することができるが、本実施形態では、外部環境によるノイズなどが発せられたとしても各音高の単音のモデルを正しく記憶できるように、同じ鍵を再度押鍵するように指示し、これにより得られたモデルが先に記憶したモデルと一致すればそれを正規のモデルとして残すようにしている。

以下に説明するＳ１１〜Ｓ１７がこの処理である。１回目の押鍵によるモデルをＲＡＭ３に記憶した後、演奏者にもう一度同じ鍵を押鍵するように指示する（Ｓ１１）。この押鍵指示は、１回目と同様、表示装置８による表示あるいは音源４による発音、あるいは両者によって行ってもよい。次に、Ｓ１０で記憶したモデルを読み出す（Ｓ１２）。

演奏者の押鍵によるモデル作成演奏音はマイクロフォン１０によって取り込まれる。マイクロフォン１０を通して入力されたアナログ信号をＡ／Ｄ変換器６でデジタル信号に変換した後、その音量を音量測定部１１で検出する（Ｓ１３）。ある程度以上の音量が検出されたら、スペクトル作成部１２でデジタル信号をＦＦＴしてパワースペクトルを作成し、これを２回目のモデルとする（Ｓ１４）。ある程度以上の音量が検出されて始めてパワースペクトルを作成することにより、無駄な処理をなくし、本装置がパーソナルコンピュータなどで構成された場合のＣＰＵの負荷を減らすことができる。

２回目のモデルを作成したら、すでにアタックが検出されているかどうかをチェックする（Ｓ１５）。最初はアタックは検出されていないので次のステップに進み、アタックを検出する（Ｓ１６）。アタック検出は、音の立ち上がりを検出するものであり、例えば音量変化で検出する方法やパワースペクトルの各スペクトルのパワー増加分から検出する方法などで実行できる。

Ｓ１６でアタックを検出できなかった場合、Ｓ１３に戻って再度音量の検出からやり直す。また、アタックを検出できた場合には、Ｓ１２で読み出したモデル（１回目のモデル）とＳ１４で作成したモデル（２回目のモデル）との比較処理（Ｓ１７）に移る。アタック検出（Ｓ１６）は、同じ楽音の間は一度検出したら２度目以降は検出する必要はない。通常、アタックが検出されるのは音が立ち上がる瞬間のみであり、必ずしもアタック時の楽音のパワースペクトルと１回目のモデルとが一致するとは限らないからである。比較処理に際しては、１回目と２回目の押鍵による音量の違いをなくすために両者の音量が同じになるように正規化することが好ましい。

比較処理（Ｓ１７）は、例えば１回目のモデルと比べて２回目のモデルに足りない不足分のパワースペクトルの合計を距離として算出し、これを所定の閾値と比較し、距離が閾値を超える場合には不一致と判断し、距離が閾値以下の場合には一致と判断する方法により実行できる。この方法は、ピアノなどのような残響が多く残る楽器には有効な方法である。このとき、距離が閾値以下の場合でも押鍵された鍵の楽音のパワースペクトルに構成音ごとの特徴が見つからない場合には不一致と判断するようにすることもできる。

Ｓ１７で不一致と判断した場合、Ｓ４に戻って再度１回目のモデル作成からやり直す。この再度の処理で作成されたモデルは、先に記憶されたモデルに上書きされる。

Ｓ１７で一致と判断すれば、Ｓ１０でＲＡＭ３に記憶したモデルを正しいモデルとして残したままにしておく。次に、作成されたモデルの音がモデル作成の最終音かどうかを判断する（Ｓ１８）。Ｓ２で設定された音域の最終音（最高音）ではないと判断すれば、例えば半音高い次の音高の音にするなどモデル作成演奏音を１つ進め（ＲＡＭ３にセット）てＳ４に戻り（Ｓ１９）、その音について同様の処理を繰り返す。また、Ｓ１８で最終音と判断すれば、作成された全ての音高の音のモデルをＲＡＭ３または外部記憶装置９に保存し（Ｓ２０）、モデル作成を終了する。

次に、アタック検出処理（Ｓ５）について説明する。アタック検出は、ノイズや入力信号レベルに応じた閾値に基づいて行う。モデルとレッスン時の演奏音のパワースペクトルはできるだけ早い段階で一致検出することが望ましいので、モデル作成時に押鍵後の演奏音のアタックを検出し、アタック検出時点のパワースペクトルをモデルとして記憶する。

アタック検出に際しては、まず最初に、ピアノＰを弾いていない状態で余分な音を立てないようにして、音量測定部１１で騒音（暗騒音）の音量を測定する。この測定時間は特に問題にならないが、例えば5秒程度でよく、余り長いと騒音が入り込む可能性が大きくなるので1秒程度でもよい。

音量測定部１１は、Ａ／Ｄ変換器３からの出力サンプルがＮ個たまるごとに下記式で音量を測定する。なお、Ｓ_ｉはｉ番目の出力（振幅）を表す。

サンプリング周波数が11025Hzの場合、Ｎの値は128程度が好ましく、この場合には約12msecごとに繰り返し音量が計算されることになる。上記式で求めた音量Ｐ_Ｗの例えば5秒間の最大値をノイズ音量の最大値Ｐ_{ＷＮＯＩＳＥ}として保存する。

ノイズ音量の最大値Ｐ_{ＷＮＯＩＳＥ}が保存されたら、これにアタックとみなす音量Ｐ_{ＷＡＴＴＡＣＫ}を加算した値をアタック検出の音量閾値Ｐ_ＷＴＨとする。つまり、ノイズ音量以上にある程度の音量が入力されたらピアノＰが演奏されたと判断する。図５にＰ_{ＷＮＯＩＳＥ}、Ｐ_{ＷＡＴＴＡＣＫ}およびＰ_ＷＴＨの関係を示す。

以上で説明したアタック検出は、入力されるデジタル信号の音量または振幅の影響を受けるため、マイクロフォン１の入力レベルが適正に設定される必要がある。

図６は、マイクロフォン２とＡ／Ｄ変換器３の部分（図１）の詳細構成を示すブロック図である。マイクロフォン２の出力はマイクボリューム２０１に入力され、次にマイクアンプ２０２を経由してＡ／Ｄ変換器３に入力される。マイクボリューム２０２を調節することによってマイクの感度や入力音の音量に応じてＡ／Ｄ変換器３の入力信号レベルを変更することができる。楽音判定装置がパーソナルコンピュータに実装される場合などでは録音デバイスのミキサコントロールがこれに相当する。

ピアノＰの演奏音をマイクロフォン２で取り込んでＡ／Ｄ変換器３に入力するとき、Ａ／Ｄ変換後のデジタル信号がノイズに埋もれたり、クリップされないようにするために、モデル作成時に表示装置８にピークメータを表示する。

ピークメータは、例えば図７に示すように、点灯個数の振れ具合を変化（色変化）させてＡ／Ｄ変換後のデジタル信号の一定時間ごとの振幅の最大値を表示し、その最大値が０のときには１つも点灯しない表示になる。また、その最大値がデジタル信号の量子化ビット数によって決まる振幅の最大値もしくはその半分程度になったとき全てが点灯する表示になる。

ピアノＰを強めに弾いたときに、上記のように設定されたピークメータの７〜８割程度が点灯するようにマイクボリューム２０１を調節すれば、ノイズに埋もれたり、クリップされたりしない適切な入力信号レベルにすることができる。なお、この調節の際に弾く鍵は高音域より中音域や低音域の方が適している。中音域や低音域の方が適正な音量が得られるからである。また、振幅の最大値を更新っする一定時間間隔は、10〜50msec程度が適当である。余り速すぎるとピークメータの動きに目が追いつかないし、余り遅すぎると瞬間的な音量の変化が表示されなくなってしまうからである。

アタックとみなす音量Ｐ_{ＷＡＴＴＡＣＫ}は、マイク入力レベルを適正に設定するために表示したピークメータの振れ具合に応じて変える。マイクボリューム２０１の調節によってピークメータの７〜８割程度が振れるようにできれば問題はないが、マイクロフォン２の感度が低いため、マイクボリューム２０１を最大限にしてもピークメータが余る振れないような場合には、７〜８割程度が振れるようにした場合と同じ閾値では、思いっきり強く弾いてもアタックが検出されなかったり、かなり強く弾かないとアタックが検出されなかったりする。また、ピアノのような楽器では余り強く弾くと高い倍音が強く出るため、強く弾いてモデルを作成すると、レッスン時にも同じように強く弾かないと一致が得られなくなってしまう。

ピークメータは、音量Ｐ_ＷとしてＡ／Ｄ変換後のデジタル波形の振幅の平均値を表示しているので、ピークメータが半分しか振れない場合にはアタックとみなす音量Ｐ_{ＷＡＴＴＡＣＫ}も半分程度にすればよい。つまり、通常（強めに弾いたときにピークメータが７〜８割程度振れる）時のアタックとみなす音量Ｐ_{ＷＡＴＴＡＣＫ}が100位で丁度よいことが実験的に分かっているとき、ピークメータがその半分位しか振れないときにはアタックとみなす音量Ｐ_{ＷＡＴＴＡＣＫ}も半分の50位にすればよい。

次に、音量（振幅）チェック処理（Ｓ９）で用いられる音量最大値許容範囲の設定について説明する。図８は、あるピアノを最低音の音高（ノートナンバ）21から最高音のノートナンバ108までの88鍵を、ほぼ同じ強さで弾いたときの音高対音量最大値の特性を示す。なお、音量最大値とは各鍵を弾いたときに上記式により算出される音量Ｐ_Ｗの最大値のことである。同図にみられるように、同じ強さで弾いた場合でも音域（音高）によって音量値に大きな差があることが分かる。特に最高音に近い音域では非常に小さい音量最大値しか得られない。このように音域によって音量最大値に大きな差があるため、単純に音量最大値が同じ位になるようにガイドしたのでは同じ強さで弾いてもらうことはできない。

図８の音高対音量最大値の特性が予め分かっている場合にはこの特性に従って音量最大値の許容範囲を変化させればよいが、この特性は個々のピアノによって異なるし、マイクロフォンの特性によっても音域ごとの音量が異なってくるので、全ての装置に共通的な音量最大値許容範囲を予め設定しておくことはできない。

これは、以下のような方法で個々の装置において音量最大値許容範囲を設定することにより解決できる。ピアノによって個体差があり、マイクロフォンによって周波数特性が異なるが、アコースティックピアノで一般的なマイクロフォンを使う限り最高音あたりの音量が最も小さく、中音域あたりの音量はかなり大きいことに間違いない。そこで、予め最高音と中音域の１音（中央のドなど）をモデル作成にふさわしい普通の強さ、またはやや弱いタッチで弾いてもらい、そのときの音量最大値を保存しておく。

この２つの音量最大値にある程度の幅を持たせた範囲を音量最大値許容範囲とする。つまり、最高音の音量最大値をＰ_ＷＨ、中音域の音量最大値をＰ_ＷＭとすると、入力された音の音量最大値がＰ_ＷＨ×ＲからＰ_ＷＭ／Ｒ′（Ｒ、Ｒ′は1.5程度の数値）の範囲に入っているかどうかをチェックし、入っていない場合には「もっと小さく弾いて下さい」や「もっと大きく弾いて下さい。」とメッセージを出すなどして、再度押鍵してもらうようにする。なお、ＲとＲ′は同じ値でも異なる値でもよい。

また、モデル作成にふさわしい普通の強さで弾くということが演奏者の主観が入って難しく、また同じ位の強さで弾くということが難しい場合には、最高音と中音域の１音を思いっきり強く弾いてもらって音量最大値を測定し、それを何分の一かにした音量を普通の強さで弾いたときの音量と類推し、この音量を基準値として音量最大値許容範囲を設定するようにしてもよい。ピアノの構造上、強い音といっても限界があるので、この方法により個人差のないデータを入力することができる。

また、モデル作成する音域の中の数カ所の音を弾いてもらい、それにより得られる音量最大値から音高対音量最大値の特性を作成し、この特性から音量最大値の許容範囲を決めることもできる。この場合も、標準の強さで弾いてもらうことが難しい場合には各鍵を思いっきり強く弾いてもらって音量最大値を測定し、それを何分の一かにした音量を音量最大値許容範囲の基準値とすることができる。

なお、各鍵の押鍵強さを判断するのに使う数量は、必ずしも音量最大値である必要はなく、Ａ／Ｄ変換後のデジタル波形の振幅の最大値などでもよい。また、最大値ではなく平均値を使うこともできる。

次に、離鍵指示（Ｓ７）と無音検出処理（Ｓ８）について説明する。図９は、モデル作成時に表示装置８に鍵盤を表示し、押鍵する鍵のみの色を変えて押鍵を指示する押鍵指示の例を示す。押鍵指示と同時に音源４に指示してスピーカ５から発音させるようにしてもよい。

押鍵指示に従って押鍵され、パワースペクトルを作成し、音量を算出したら、離鍵を指示する（Ｓ７）。離鍵指示は、押鍵指示の反対であり、表示装置８に表示した鍵の色を元に戻すか、または押鍵指示のときとは異なる色で表示し、以下に説明するように無音になったと判断したときに鍵の色を元に戻すことにより行う。なお、スピーカ５から発音させている場合にはその停止を音源４に指示する。

離鍵後も残響音が残っているので、次の音のモデル作成のための押鍵あるいは２回目の押鍵の前に残響音が消えるのを待つ（Ｓ８）。残響音の音量は、音量Ｐ_Ｗを求める上記式によって求めることができる。

図１０は、アコースティックピアノにおいて最低音（ノートナンバ21）を押鍵してすぐに離鍵したときに得られた音量変化を示し、実測により得られたものである。同図のように、離鍵後の残響音は音量はアタック直後に著しく低下するが、その後は上下しながら徐々に減衰していくので、音量が単純に閾値Ｐ_ＷＴＨを一度下回ったということで無音と判断すると、その後にまた音量が上がってしまう可能性がある。そこで、閾値Ｐ_ＷＴＨ以下になっても音量を追跡するとともに経過時間をカウントし、再び音量が閾値Ｐ_ＷＴＨを上回ったら経過時間をクリアする。そして、閾値Ｐ_ＷＴＨ以下の経過時間が連続して例えば１秒になって初めて無音と判断する。

ここで用いる閾値Ｐ_ＷＴＨは以下のようにして決定できる。モデル作成に先立ち、ノイズの音量を測定する。これは、演奏者に音を立てないように静かにしてもらってマイクロフォン１０から１〜５秒程度の間の音を取り込み、上記式により音量を算出すればよい。これにより測定された音量の最大値をノイズ音量の最大値Ｐ_{ＷＮＯＩＳＥ}とする。閾値Ｐ_ＷＴＨはノイズ音量の最大値Ｐ_{ＷＮＯＩＳＥ}に無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}を加えたものとする。

無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}は小さいほど無音に近い状態で判断できるが、音の減衰は時間が経過するほど減衰する音量の程度が減っていくので、余り小さくすると音量が閾値Ｐ_ＷＴＨ以下になるまでの時間が著しく長くなってしまうので、パワースペクトルに現れないくらいの音量まで低下したら無音と判断されるように設定するのがよい。

また、無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}をＡ／Ｄ変換後のデジタル信号の振幅に応じて変えるようにしてもよい。例えばＡ／Ｄ変換後のデジタル信号の一定時間ごとの振幅のピークを図７に示すようなピークメータで表示するとき、通常（強めに弾いたときにピークメータが７〜８割振れる）時の無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}が50位の値で丁度よいことが実験的に分かっているとき、ピークメータがその半分位しか振れないときには無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}もその半分の25位にする。

図１１（ａ）は、アコースティックピアノにおいてノートナンバ48（中央のドよりも１オクターブ低いドの音）を普通の強さで押鍵したときに得られた音量変化を示し、実測により得られたものである。なお、図１１（ｂ）は、その一部の拡大図である。同図のように、音量はアタック直後に著しく低下するが、その後は上下しながら徐々に減衰し、10秒前後でノイズと区別が付かない程度まで減衰する。低音になるほどこの減衰にかかる時間は長くなるが、次の音のモデル作成のための押鍵あるいは２回目の押鍵に早く入れるように、無音と判断できる程度に音量が減衰するのをできるだけ早く検知してその旨をガイドするのがよい。

図１２〜図１５はそれぞれ、実測により得られたアタック直後、アタックから約1.4秒後、アタックから約4.1秒後、アタックから約5.8秒後のパワースペクトルを示す。また、図１６は、次のモデル作成音（ノートナンバ50）をやや弱く押鍵したときに得られたパワースペクトルを示す。

図１２〜図１５と図１６を比較すれば、図１１においてどの程度に音量が減衰すれば次のモデル作成が影響されないかが判断できる。この例の音域の場合、弱めに弾いても比較的大きなパワースペクトルが得られているので、アタックから1.4秒後や4.1秒後程度でも次のモデル作成への影響は殆どない。つまり無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}は250〜750程度でも構わないことになるが、もっと小さくしてできるだけ無音に近い状態で次のモデル作成に移る方が望ましい。

一方、図１７は、最高音（ノートナンバ108）を普通の強さで押鍵したときに得られた音量変化を示し、最高でも300程度の音量しか出ないのが分かる。この場合の無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴを}を250〜750程度としたのでは大きすぎる。図１０と図１６から、無音とみなす音量Ｐ_{ＷＳＩＬＥＮＴ}を全音域で同じとするならば、10〜75程度がふさわしいことが分かる。それより大きくては、最高音（ノートナンバ108）のように音量が出ない音域で少し弱めに押鍵してしまうと最大音量がＰ_{ＷＮＯＩＳＥ}＋Ｐ_{ＷＳＩＬＥＮＴ}を下回ってしまうことがあり、それより小さくては、少し大きめのノイズが入ると無音と判断できない状況が生じるからである。

なお、図９の押鍵指示において黒丸印で示すように、モデル作成時に表示装置８に表示する鍵盤の中央「ド」などの鍵に目印表示Ｓを常時表示し、実際のピアノの鍵盤の中央「ド」の鍵にも同じ目印表示のシールＳを貼っておくことなどにより両鍵盤の対応を分かりやすくできる。また、通常、実際のピアノの鍵盤上側部にはメーカ名などのロゴ１０２が付されているが、このロゴ１０２の所定位置（図９では「Ｂ」の位置）に対応させた目印を表示装置８に表示させるなどしてもよい。これによりモデル作成時の負担を軽減することができる。

図１８は、レッスンフェーズのＣＰＵ１の処理を示すフローチャートである。レッスン開始が指示されたとき、まず、ＲＡＭ３または外部記憶装置９からモデルをワーク領域に読み込む（Ｓ２１）。読み込まれるモデルは、モデル作成フェーズで設定された音域に含まれる全ての音高の音のモデルである。ここでは、前回作成したモデルまたは前回使用したモデルを自動的に読み込むようにしてもよいし、これまで作成したモデルの中から演奏者に選択させて読み込むようにしてもよい。

次に、演奏者がレッスンする楽曲を選択する（Ｓ２２）。この際、ＲＡＭ３または外部記憶装置９に予め記憶されているレッスン曲データを検索して楽曲の一覧を作成し、この一覧の中から演奏者がレッスンする楽曲を自分で選択するようにしてもよいし、演奏者のレベルにあった楽曲を装置側で自動的に選択して提示するようにしてもよい。レッスンする楽曲が決まったら、この楽曲の演奏情報をＲＡＭ３または外部記憶装置９から読み出す（Ｓ２３）。

図１９は、レッスンで表示装置８に押鍵指示を表示したり伴奏をしたりするのに使用される演奏情報のフォーマット例を示す図である。演奏情報は、少なくともイベントデータ、およびイベントデータの読み出しタイミングを指示するタイミングデータを含む。イベントデータは、ノートナンバ（音高）を含むノートオンデータおよびノートオフデータからなる。タイミングデータは、例えば１つのイベント終了から次のイベント発生までの時間情報として設定される。イベントデータとタイミングデータは、図示のように、アドレス進行に従って記憶される。
この演奏情報は、外部記憶装置９に記憶しておくことができる。

次に、選択された楽曲に含まれる全ての音高の単音のモデルがＳ２１で読み込んだモデルに含まれているかどうかをチェックする（Ｓ２４）。ここで、選曲した楽曲の全ての音高の音の単音モデルが含まれていないと判断すれば、Ｓ２２に戻って別の楽曲の選択を指示するか、Ｓ２１に戻って別のモデルの読み込みを指示する。

Ｓ２４で、選曲した楽曲の全ての音高の音の単音モデルが含まれている判断すれば、この楽曲の最初の楽音の音高をＲＡＭ３上の変数にセットする（Ｓ２５）。同時に、この音高の音の鍵を演奏者に押鍵してもらうための押鍵指示を表示装置８に表示し（Ｓ２６）、さらに、Ｓ２１で読み込んだモデルからこの音高の音に対応する単音モデルを読み出す（Ｓ２７）。

演奏者は表示装置８に表示された押鍵指示をみてピアノＰの鍵を押鍵するが、そのときに発生される演奏音はマイクロフォン１０によって取り込まれる。マイクロフォン１０を通して入力されたアナログ信号をＡ／Ｄ変換器６でデジタル信号に変換した後、その音量を音量測定部１１で検出する（Ｓ２８）。Ｓ２８〜Ｓ３２の処理は、図２のＳ１３〜Ｓ１７の処理と同様であるので、詳細な説明は省略する。Ｓ３２で不一致と判断した場合、Ｓ２８に戻って再度音量の検出からやり直す。

Ｓ３２で一致と判断した場合には、まず、アタック検出をリセットし（Ｓ３３）、選曲した楽曲の最後の楽音か否かを判断する（Ｓ３４）。ここで楽曲の最後の楽音でないと判断すれば、次の楽音の音高をＲＡＭ３にセットし（Ｓ３５）、Ｓ２６に戻る。以上の処理を楽曲の最後の楽音まで繰り返し実行し、楽曲の終わりに達したならばもう一度レッスンするか尋ねたり（Ｓ３６）、別の楽曲をレッスンするかを尋ねたりして（Ｓ３７）その応答に対応する処理に移る。

図２０は、１回目のモデルと２回目のモデルとの比較処理（Ｓ１７）あるいはモデルとレッスン時の演奏音のパワースペクトルとの比較処理（Ｓ３２）の例を示すフローチャートである。

まず、今回の演奏音と比較するためのモデルを、Ｓ１２あるいはＳ２７で読み出したモデルから作成する（Ｓ４１）。単音の演奏音の場合は単音のモデルそのままでよく、和音の演奏音の場合には単音のモデルを合成する。また、モデルと今回の演奏音の音量の違いをなくすためにモデル作成時の音量と今回の演奏音の音量が同じになるようにモデルと今回の演奏音のパワースペクトルを音量によって正規化する。和音の演奏音の場合には和音を構成する音のモデル作成時の音量の総和によって正規化する。なお、音量ではなく波形のピーク値によって正規化してもよい。

モデルが作成できたら、モデルと比べて今回の演奏音に足りない不足分のパワースペクトルの合計を距離として算出する（Ｓ４２）。この方法は、ピアノなどのような残響が多く残る楽器には有効な方法である。

次に、モデルと今回の演奏音が一致すると判断するための閾値を設定し（Ｓ４３）、Ｓ４２で算出した距離をこの閾値と比較する（Ｓ４４）。距離が閾値以上である場合には不一致と判断し、距離が閾値より小さい場合には一致と判断する。このとき、距離が閾値より小さい場合でも今回の演奏音のパワースペクトルに構成音ごとの特徴が見つからない場合には不一致と判断するようにしてもよい（Ｓ４５）。Ｓ４４あるいはＳ４５で不一致と判断した場合、Ｓ４（Ｓ２８）に戻って再度押鍵指示（音量検出）からやり直す。また、Ｓ４５で一致と判断した場合にはＳ１８（Ｓ３３）に進む。

図２１は、レッスン時のピアノロールつまりスクロール方式による押鍵指示の表示の例を示す図である。表示装置８の表示画面１０１内の下部に鍵盤図形Ｋを表示し、その上方に押鍵指示マークＭを表示する。表示画面１０１の上下方向は時間軸であり、押鍵指示マークＭは、押鍵すべき鍵に対応する位置に楽音の演奏長さに応じた長さで表示される。最も鍵盤図形に近い押鍵指示マークＭは、次に押鍵すべき楽音であり、鍵盤図形Ｋに近い方から順番に押鍵すべき楽音を示している。

上記Ｓ３２（図１８）で、次に押鍵すべく楽音のモデルとピアノＰの演奏音から計算されたパワースペクトルの距離が閾値以下であることが判断されると、ピアノロールは下方向にスクロールされ、次の押鍵すべき楽音の押鍵指示マークＭが鍵盤図形Ｋに最も近い位置まで下がってきた時点で止まる。押鍵指示された楽音が押鍵されるまでピアノロールのスクロールが停止しているので、演奏者は自分のペースで次の楽音を押鍵することができる。Ｓ２３（図１８）で読み出す演奏情報には、演奏者に押鍵を促す楽音だけでなく、伴奏の演奏情報も含ませることができる。この場合には次に押鍵すべき音のタイミングまでの伴奏音が音源４を通してスピーカ５から出力される。

現在押鍵されているいるべき鍵はマークｍで示される。このマークｍの長さはこの鍵をあとどれだけ長く押鍵していなくてはならないかを示しており、これにより演奏者は離鍵するタイミングを前もって知ることができる。小節線ＢＬで示すように、この例では２小節分の押鍵指示を同時に１画面に表示しているが、同時に表示する小節数、表示する演奏情報の範囲は任意である。

次に、モデル作成においてモデルに含まれるアクション音、ノイズ成分およびＤＣ成分を低減する方法をについて説明する。以下では、自然楽器をピアノ（アコースティックピアノ）として説明するが、その他の自然楽器でも同様に考えることができる。

まず、モデルに含まれるアクション音を低減する方法ついて説明する。マイクロフォン２から音を取り込むときにピアノＰを弾くと、どうしてもピアノＰのアクション音まで取り込んでしまう。図２２はマイクロフォン２から取り込まれた音のスペクトルの例を示す図である。

アクション音は毎回違ったパワースペクトルを有し、ノイズのようなものである。アクション音は主に低音部に強い成分を持つパワースペクトルとして現れるが、高音部の鍵以外ではアクション音が入ってもピアノ本来の音（弦の振動音）のパワースペクトルの方がかなり大きく、押鍵された鍵の演奏音とモデルの比較に殆ど影響しない。

しかし、高音部の鍵の場合、弦の振動音のパワースペクトルが小さいため、アクション音のパワースペクトルの影響が大きく、押鍵された鍵の演奏音とモデルを比較するときにアクション音のパワースペクトルが大きく評価される結果となってしまう。したがって、押鍵された鍵の演奏音とモデルの正しい比較結果が得られなくなる。アクション音のパワースペクトルが毎回同じであればそれを減算して取り除くことは可能であるが、アクション音のパワースペクトルはノイズのようなもので毎回異なるので単純に減算して取り除くことは不可能である。

そこで、モデルを作成するときに、モデルを作成しようとする音高の音の基本周波数ｆ_０以下のパワースペクトルをカットする。ただし、ピアノＰの調律がずれていることも考えられるので、実際にカットする周波数は基本周波数ｆ_０よりも若干低い周波数、例えば半音低い周波数にすることが好ましい。アクション音に含まれる周波数成分より基本周波数が低い音高ではアクション音のパワースペクトルを取り除くことができないことになるが、上述のように高音部の鍵以外では弦の振動音のパワースペクトルに比べてアクション音のパワースペクトルは比較的小さいので、レッスン時に押鍵された鍵の演奏音とモデルとを比較する上での問題は生じない。

次に、モデルに含まれるノイズ成分を低減する方法について説明する。モデルを作成するときにマイクロフォン２から音を取り込むと、ノイズが混入されるのが普通である。ノイズには、周囲の環境音やマイクロフォン２のケーブルに入り込むノイズ、マイクアンプやＡ／Ｄ変換器３のアナログ回路部分に入り込むノイズなどがある。ピアノＰの音の音量が大きく、それに比較してノイズが目立たないほど小さければ問題はないが、弱い押鍵での演奏音をそのままモデルにした場合、モデルの音量は小さいので、モデルとレッスン時に押鍵された鍵の演奏音を比較する際に音量で正規化を行うと、ノイズ成分も大きく持ち上げられてしまうことになる。

一方、レッスン時に押鍵された鍵の演奏音にもノイズが含まれているが、その演奏音の音量が大きければ相対的にノイズ成分のパワースペクトルが低くなり、音量で正規化してもノイズ成分のスペクトルは小さいままである。そのため、モデルとレッスン時の押鍵された鍵の演奏音の一致は得られなくなってしまう。

この不都合をなくすために、演奏者がピアノＰを弾いていない状態でマイクロフォン２から音を数秒取り込み、取り込んだ入力音を一定時間間隔でオーバラップさせながらＦＦＴし、これにより求められたパワースペクトル中でのパワー最大値を測定して保存しておく。このパワー最大値をノイズと判断する基準値とする。すなわち、モデルとするパワースペクトルの中からこのパワー最大値よりも低いパワーのパワースペクトルをカットすることによりノイズと思われる成分を取り除く。図２３はノイズ除去前（ａ）とノイズ除去後（ｂ）のパワースペクトルの例を示す。なお、モデルの音量の値はそのままとし、レッスン時にモデルと演奏音のパワースペクトルの比較に際し、この音量の値に基づいて正規化を行う。

次に、モデルに含まれるＤＣ成分を低減する方法について説明する。押鍵された鍵の演奏音をＦＦＴしてパワースペクトルに変換すると、ＤＣ成分は最も低い周波数のパワースペクトルとして現れる。ＤＣ成分のパワースペクトルが実際に押鍵された鍵自体の演奏音のパワースペクトルよりも強く出てしまう場合もある。このような場合には、モデルとレッスン時に押鍵された鍵の演奏音を比較する際にＤＣ成分が大きく評価されてしまい不都合が生じる。そこで、ＦＦＴのサイドローブも考慮し、得られたパワースペクトルにおいて最も低い周波数とその隣のパワースペクトルを強制的にゼロにしてＤＣ成分と考えられる部分を取り除く。

次に、音量を測定するときのＤＣを取り除く方法について説明する。モデルとレッスン時に押鍵された鍵の演奏音を比較する際にパワースペクトルを音量で正規化するが、Ａ／Ｄ変換前のアナログ信号にＤＣのオフセットがのっているとＡ／Ｄ変換後のデジタル信号にもＤＣのオフセットがのってしまい、音量の測定では単位時間当たりの波形の振幅の絶対値の平均を音量としているため正しい音量を求めることができない。そこで、音量を測定する瞬間の例えば１秒前までの波形から音の振幅の平均値を求める。この平均値は波形のＤＣを表すのでこの平均値を音量測定の波形から減算することによりＤＣを取り除くことができる。図２４はＤＣ除去前（ａ）とＤＣ除去後（ｂ）の波形の例を示し、波形振幅の中心の０レベルからのずれがなくなる様子を示している。

本発明は種々の実施形態で実施可能である。例えば、作成されたモデルはその後のレッスンで継続して使用されるものであるので、特に注意深く、間違いなく作成される必要があるのでモデル作成者の負担が大きい。この負担を軽減するために、Ｓ１９（図２）で音高を音階に従って直上の音高に上げるのではなく、白鍵と黒鍵を別にしてそれぞれ個別に連続して押鍵させるように音高を上げていくのがよい。音階に従って順に音高を上げていくと白鍵と黒鍵を交互に弾く場合が生じ、押鍵指示された鍵に対応しない鍵を弾く誤りが起こることがあるからである。

また、設定されたモデル作成音域の全ての鍵をある色で表示し、その色を変えるなどして押鍵指示を行えば、あとどれだけの単音モデルを作成しなければならないかが容易に分かる。

なお、図２のフローチャートによれば、１回目と２回目のモデルとが一致しないとき、再度１回目のモデル作成から行うようにしており、これによれば１回目のモデルを記憶しておくだけでよいが、同一音高に単音対して１回目、２回目、３回目、・・・というように順次作成されたモデルを記憶していき、複数回、例えば２回の一致が得られた時点でその音高の単音のモデル作成を終了して、一致したモデルを正規のモデルとして採用するようにすることもできる。

また、上記したアタック検出、無音検出、アクション音やノイズやＤＣ成分除去の技術は適宜組み合わせて採用することができる。

本発明が適用される楽音判定装置のブロック図である。 モデル作成フェーズの処理を示すフローチャートである。 モデル作成の音域設定の例を示す図である。 モデル作成の音域設定の他の例を示す図である。 アタック検出処理の説明図である。 マイクロフォンとＡ／Ｄ変換器の部分の詳細構成を示すブロック図である。 音量表示の例を示す図である。 音高対音量最大値の特性図である。 モデル作成時の押鍵指示の例を示す図である。 最低音（ノートナンバ21）の鍵の離鍵後の音量変化を示す図である。 最低音（ノートナンバ48）の鍵の離鍵後の音量変化を示す図である。 アタック直後のパワースペクトルを示す図である。 アタックから約1.4秒後のパワースペクトルを示す図である。 アタックから約4.1秒後のパワースペクトルを示す図である。 アタックから約5.8秒後のパワースペクトルを示す図である。 モデル作成音（ノートナンバ50）を押鍵したときに得られたパワースペクトルを示す 最高音（ノートナンバ108）を押鍵したときに得られた音量変化を示す図である。 レッスンフェーズの処理を示すフローチャートである。 演奏情報のフォーマット例を示す図である。 比較処理の例を示すフローチャートである。 レッスン時のスクロール方式による押鍵指示の表示の例を示す図である。 マイクロフォンから取り込まれた音のスペクトルの例を示す図である。 ノイズ除去前とノイズ除去後のパワースペクトルの例を示す図である。 ＤＣ除去前とＤＣ除去後の波形の例を示す図である。

符号の説明

１・・・ＣＰＵ、２・・・ＲＯＭ、３・・・ＲＡＭ、４・・・音源、５・・・スピーカ、６・・・Ａ／Ｄ変換器、７・・・入力装置、８・・・表示装置、９・・・外部記憶装置、１０・・・マイクロフォン、１１・・・音量測定部、１２・・・スペクトル作成部、１３・・・アタック検出部、１４・・・スペクトル比較部、１５・・・押鍵指示部、１０１・・・表示画面、１０２・・・ロゴ、、２０１・・・マイクボリューム、２０２・・・マイクアンプ、Ｋ・・・鍵盤図形、Ｍ・・・押鍵指示マーク、ｍ・・・現在押鍵マーク、Ｐ・・・アコースティックピアノ、ＢＬ・・・小節線

Claims (18)

1. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置において、
   モデル作成時に自然楽器を実際に弾くことにより発生された演奏音をレベル調整して取り込む演奏音取込手段と、前記演奏音取込手段により取り込まれた演奏音をレベル調整された演奏音の音量および該レベル調整状態で取り込まれたノイズの音量に基づいて設定した閾値と比較してアタックを検出するアタック検出手段と、アタックを検出したときの演奏音のパワースペクトルを算出するパワースペクトル算出手段とを備え、前記パワースペクトル算出手段により算出したパワースペクトルをモデルとして記憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
2. モデル作成時のレベル調整された演奏音の音量を表示する表示手段を備えることを特徴とする請求項１に記載の自然楽器の楽音判定装置におけるモデル作成装置。
3. モデル作成時の演奏音の音量が許容範囲内に入っているか否かをレベル調整された演奏音の音量および楽器の音高対音量最大値の特性に従って判断する判断手段を備え、演奏音の音量が許容範囲内に入っていないときにはその旨のメッセージを送出することを特徴とする請求項１または２に記載の自然楽器の楽音判定装置におけるモデル作成装置。
4. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置において、
   モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を閾値と比較する比較手段と、演奏音の音量が閾値を一定時間継続的に下回ったとき無音状態と判断する無音状態判断手段とを備え、前記無音状態判断手段が無音状態と判断したとき次のモデル作成に移ることを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
5. モデル作成時の演奏音をレベル調整して取り込む演奏音取込手段を備え、前記比較手段は、前記演奏音取込手段によりレベル調整されて取り込まれたノイズの音量に応じて閾値を設定する閾値設定手段を備えることを特徴とする請求項４に記載の自然楽器の楽音判定装置におけるモデル作成装置。
6. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置において、
   モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む演奏音取込手段と、前記演奏音取込手段により取り込まれた演奏音のパワースペクトルを求めるパワースペクトル算出手段と、前記パワースペクトル算出手段により算出されたパワースペクトルの中でモデルを作成しようとする音高の基本周波数より低い低周波数成分をカットする低周波数成分除去手段とを備え、前記低周波数成分除去手段により低周波数成分がカットしたパワースペクトルをモデルとして記憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
7. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置において、
   モデル作成時に自然楽器を演奏しない状態で取り込んだ音のパワースペクトルを求めるパワースペクトル算出手段と、前記パワースペクトル算出手段により算出したパワースペクトルの中でパワー最大のスペクトルのパワー値をノイズ基準値とし、このノイズ基準値以下のパワースペクトルをカットするノイズ成分除去手段とを備え、前記ノイズ成分除去手段によりカットしたパワースペクトルをモデルとして記憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
8. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成装置において、
   モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む演奏音取込手段と、前記演奏音取込手段により取り込まれた演奏音のパワースペクトルを算出するパワースペクトル算出手段と、前記パワースペクトル算出手段により算出したパワースペクトルの中で最も低い周波数付近の成分をカットするＤＣ成分除去手段とを備え、前記ＤＣ成分除去手段によりカットしたパワースペクトルをモデルとして記憶することを特徴とする自然楽器の楽音判定装置におけるモデル作成装置。
9. モデル作成時の演奏音波形の一定期間の振幅平均値を求め、該振幅平均値を減算した演奏音に基づいて音量を算出する音量算出手段と、モデルと演奏音のパワースペクトルの比較に際し、算出した演奏音の音量でモデルのパワースペクトルを正規化する正規化手段とを備えることを特徴とする請求項１ないし８のいずれかに記載の自然楽器の楽音判定装置におけるモデル作成装置。
10. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プログラムにおいて、
    コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音をレベル調整して取り込む手順と、取り込んだ演奏音をレベル調整された演奏音の音量および該レベル調整状態で取り込んだノイズの音量に応じた閾値と比較してアタックを検出する手順と、アタックを検出したときの演奏音のパワースペクトルを算出してモデルとして記憶する手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
11. モデル作成時のレベル調整された演奏音の音量を表示する手順を含むことを特徴とする請求項１０に記載の自然楽器の楽音判定装置におけるモデル作成用プログラム。
12. モデル作成時の演奏音の音量が許容範囲内に入っているか否かをレベル調整された演奏音の音量および楽器の音高対音量最大値の特性に従って判断する手順と、演奏音の音量が許容範囲内に入っていないときにはその旨のメッセージを送出する手順を含むことを特徴とする請求項１０または１１に記載の自然楽器の楽音判定装置におけるモデル作成用プログラム。
13. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プログラムにおいて、
    コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音の音量を閾値と比較する手順と、演奏音の音量が閾値を一定時間継続的に下回ったとき無音状態と判断する手順と、無音状態と判断されたときに次のモデル作成に移る手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
14. 演奏音をレベル調整して取り込む手順と、レベル調整状態で取り込んだノイズの音量に応じて閾値を設定する手順を含むことを特徴とする請求項１３に記載の自然楽器の楽音判定装置におけるモデル作成用プログラム。
15. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プログラムにおいて、
    コンピュータに、モデル作成時に自然楽器を実際に弾くことにより発生された演奏音を取り込む手順と、該演奏音のパワースペクトルを求める手順と、モデルを作成しようとする音高の基本周波数より低い低周波数成分のパワースペクトルをカットする手順と、低周波数成分をカットしたパワースペクトルをモデルとして記憶する手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
16. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プログラムにおいて、
    コンピュータに、モデル作成時に自然楽器を演奏しない状態で取り込んだ音のパワースペクトルを求める手順と、そのスペクトル中でパワー最大のスペクトルのパワー値をノイズ基準値とし、このノイズ基準値以下の演奏音をノイズと判断してカットする手順と、ノイズをカットした演奏音のパワースペクトルをモデルとして記憶する手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
17. 予め各音高の単音のパワースペクトルをモデルとして作成して記憶させておき、演奏指示に従って次に弾くべき音のモデルを読み出し、これと自然楽器を実際に弾くことにより発生された演奏音のパワースペクトルを比較し、両者が閾値以内の距離に近づいた場合に演奏指示を進める自然楽器の楽音判定装置におけるモデル作成用プログラムにおいて、
    コンピュータに、自然楽器を実際に弾くことにより発生された演奏音を取り込む手順と、取り込まれた演奏音のパワースペクトルを求める手順と、該パワースペクトルの中で最も低い周波数付近の成分をカットする手順と、最も低い周波数付近の成分をカットしたパワースペクトルをモデルとして記憶する手順を実行させるための自然楽器の楽音判定装置におけるモデル作成用プログラム。
18. モデル作成時の演奏音波形の一定期間の振幅平均値を求め、該振幅平均値を減算した演奏音に基づいて演奏音の音量を算出する手順と、モデルのと演奏音のパワースペクトルの比較に際し、算出した演奏音の音量でモデルのパワースペクトルを正規化する手順とを含む１０ないし１７のいずれかに記載の自然楽器の楽音判定装置におけるモデル作成用プログラム。

Images