JP2004341026A

JP2004341026A - 自然楽器の楽音判定装置

Info

Publication number: JP2004341026A
Application number: JP2003134372A
Authority: JP
Inventors: Ren Sumida; 錬澄田; Naoyuki Tanaka; 直行田中
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2003-05-13
Filing date: 2003-05-13
Publication date: 2004-12-02
Anticipated expiration: 2023-05-13
Also published as: JP4070120B2

Abstract

【課題】マイクロフォンから入力されたピアノの演奏音が押鍵指示装置の指示通りであるかどうかを判定する。
【解決手段】モデル作成時はスペクトル作成部４で音高毎のパワースペクトルを作成し、スペクトル記憶部５に単音モデルとして記憶する。押鍵指示に従って単音モデルを記憶部５から比較部６に読み出し、演奏音のパワースペクトルとの距離によって押鍵の正しさを判定する。和音の演奏では、単音モデルの合成分と演奏音のパワースペクトルとを比較する。演奏が押鍵指示通りであれば押鍵指示装置の進行を進めて次の指示を表示装置１０に出力する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、自然楽器の楽音判定装置に関し、特に、押鍵指示手段等、演奏指示手段によって指示されたとおりに演奏されたかどうかを判定するのに適した自然楽器の楽音判定装置に関する。
【０００２】
【従来の技術】
例えば、特公平２−７０５号公報に開示されているように、鍵盤楽器を独習するための押鍵指示手段を有する電子楽器が知られている。この電子楽器では、記憶された演奏情報が表示回路に順次読み出され、鍵盤の各鍵に対応して設けられた表示ランプがこの演奏情報に従って付勢される。演奏者による操作鍵の音高はキースキャン回路で検出され、この音高が表示ランプで指示された演奏情報の音高と一致した場合に次の演奏情報が表示回路に読み出される。
【０００３】
しかし、このような押鍵指示手段は、キースキャン回路を備えた電子楽器では容易に実現できるが、キースキャン回路を持たないアコースティックピアノのような自然楽器では実現が困難である。キースキャン回路に必要なキースイッチや表示ランプを鍵毎に後付けする作業が繁雑であり、手軽に行えないからである。
【０００４】
キースキャン回路を用いる代わりに、演奏による楽音の周波数分析により操作鍵を検出することが考えられる。例えば、特公平１−５１２００公報に記載された表示装置では、音声信号の周波数分析結果に基づいて判定された音声信号の音高を、ディスプレイ上の五線譜に音符として表示する。
【０００５】
しかし、ピアノ音のような倍音成分を多く含む楽音の音高検出では、押鍵の倍音成分つまり高調波成分によって音高を誤判断してしまったり、オクターブ間隔の二つの和音と該和音の下の単音との判別（例えば、Ｃ３とＣ４の和音とＣ３単音との判別）ができなかったりすることがある。これらは互いに倍音構成が似ているからである。
【０００６】
また、同時に複数の基音とその倍音を発生する楽器の演奏に対応したＭＩＤＩコードを生成する装置が提案されている（特許第２８９０８３１号公報）。この装置では、演奏楽音の波形データから基音に対応した周波数成分の波形データを抽出し、かつそのエンベロープデータを検出する手段を備える一方、楽器が発生する各基音毎にそのエンベロープ波形に対応して基音エンベロープデータを記憶している記憶手段を備え、検出されたエンベロープデータと記憶されている基音エンベロープデータとを相互相関によって比較し、楽器音を判定する。この装置では、構成が非常に複雑であって、特に、ソフトウェアでエンベロープデータの比較や楽器音の判定をリアルタイムで処理するのが困難である。
【０００７】
特許第２８０６０４７号公報には、シンセサイザで種々の音程で順次組合わせて作成した信号と入力信号とを比較して楽音から採譜する装置が提案されている。しかし、この装置では、和音も含めたすべての組み合わせの音と比較する必要があるので、計算時間が膨大になるという問題がある。
【０００８】
【発明が解決しようとする課題】
上述のように、キースキャン手段を有していないアコースティックピアノでは、指示通りに押鍵できたかどうかの判定ができないし、マイクロフォンから入力された楽音から押鍵の正確さをリアルタイムで判定するのは容易ではないという問題点があった。
【０００９】
本発明は、上記課題に鑑み、ピアノ等、自然楽器が指示通りに弾けたかどうかを和音演奏も含めて容易に判定することができる自然楽器の楽音判定装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決し、目的を達成するための本発明は、演奏指示通りの演奏が行われたときに、演奏指示の進行を次に進めることができる演奏指示装置のための自然楽器の楽音判定装置において、自然楽器演奏音のパワースペクトルを計算するスペクトル計算手段と、自然楽器音の音高毎のパワースペクトルを単音モデルとして記憶するスペクトル記憶手段と、前記演奏指示装置による演奏指示に応答して前記スペクトル記憶手段から読み出された単音モデルと前記スペクトル計算手段で計算された前記演奏指示に基づく演奏音のパワースペクトルとの距離を判定し、該距離がしきい値以内に近接したときに前記演奏指示手段の進行を次に進める一致信号を出力するスペクトル比較手段とを具備した点に第１の特徴がある。
【００１１】
第１の特徴によれば、演奏指示に応答して単音モデルが読み出される。一方、演奏指示に従って演奏された楽器音のパワースペクトルが計算される。そして、計算された楽器演奏音のパワースペクトルと単音モデルとが比較され、両者がしきい値の距離以内であれば演奏指示が進行される。
【００１２】
また、本発明は、前記スペクトル記憶手段が、前記演奏指示に先立って演奏された自然楽器音のパワースペクトルを単音モデルとして記憶するように構成されている点に第２の特徴がある。
【００１３】
第２の特徴によれば、実際に演奏する楽器の各音高毎のパワースペクトルを予め単音モデルとして記憶しておき、その単音モデルと演奏音のパワースペクトルとを比較できる。
【００１４】
また、本発明は、前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手段から読み出された該和音の構成音の音高に対応する単音モデルを合成して前記演奏音のパワースペクトルとの比較のために前記スペクトル比較手段に出力するスペクトル合成手段を具備した点に第３の特徴がある。
【００１５】
第３の特徴によれば、単音モデルを合成して得られるパワースペクトルをスペクトル比較手段で演奏音のパワースペクトルと１度比較するだけで演奏の判定を行うことができる。
【００１６】
また、本発明は、前記スペクトル比較手段が、単音モデルまたは単音モデルの合成に対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されている点に第４の特徴がある。
【００１７】
第４の特徴によれば、残響音が特に残りやすいピアノ等では、パワースペクトルの不足分のみを距離として計算することにより、残響の影響を抑制して最新の演奏音の正確さを判定することができる。
【００１８】
また、本発明は、前記自然楽器がピアノであり、前記スペクトル作成手段が、ピアノ演奏音のアタック部分のパワースペクトルを計算するように構成された点に第５の特徴がある。
【００１９】
第５の特徴によれば、アタックが検出されれば、そこでパワースペクトルを判定することができるので、早期に判定結果が得られ、演奏に合わせて円滑に演奏指示を進行させていくことができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は本発明の一実施形態に係る楽音判定装置であって、ピアノの押鍵判定装置のシステム構成を示すブロック図である。同図において、押鍵判定装置は、押鍵指示通りの楽音がアコースティックピアノＰで弾かれたときに次に押鍵指示を進めるようにするための処理を行う。押鍵判定装置は、マイクロフォン２、Ａ／Ｄ変換器３、スペクトル作成部４、スペクトル記憶部５、スペクトル比較部６、演奏情報記憶部７、押鍵指示部８、モード切り換え部９および表示装置１０からなる。押鍵検出装置１のこれら構成要素のうちマイクロフォン２を除く各構成要素は、ＣＰＵ、ＲＯＭ、ＲＡＭ、およびマイクロフォン２から入力される音声信号を受け入れるインタフェース等を備えるパーソナルコンピュータ上のソフトウェアおよびハードウェアによって実現することができる。表示装置１０としては液晶ディスプレイやブラウン管等、パーソナルコンピュータの処理結果を表示するための周知の表示手段を使用することができる。演奏情報記憶部７は、外部記憶装置としてもよい。
【００２１】
演奏情報記憶部７には、楽曲の演奏情報が記憶されている。図２は、演奏情報のフォーマット例を示す図である。演奏情報には、少なくともイベントデータ、およびイベントデータの読み出しタイミングを指示するタイミングデータとが記憶されている。イベントデータはノートナンバを含むノートオンデータおよびノートオフデータからなる。タイミングデータは、例えば、一つのイベント終了から次のイベント発生までの時間情報として設定される。イベントデータとタイミングデータは、図示のように、アドレス進行に従って記憶される。
【００２２】
図１に戻り、押鍵検出のために演奏音と比較される単音モデルの作成について説明する。単音モデルの作成時には、パーソナルコンピュータ上の予定の入力キーを使用して入力することができるモデル作成指示に応答してモード切り換え部９をスペクトル記憶部５側に切り換える。そしてピアノＰの各鍵の演奏音を１音ずつマイクロフォン２で取り込み、単音モデルを作成する。
【００２３】
まず、ピアノＰの演奏音はマイクロフォン２からＡ／Ｄ変換器３に入力され、Ａ／Ｄ変換器３は、マイクロフォンから入力されたアナログ楽音信号をデジタル楽音信号に変換する。スペクトル作成部４は、高速フーリエ変換機能を備え、入力されたデジタル楽音信号をフーリエ変換してパワースペクトルを計算する。単音モデル作成時には、モード切り換え部９はスペクトル記憶部５に切り換えられているので、計算されたパワースペクトルは該スペクトル記憶部５に入力され、各鍵毎つまりノートナンバ毎に単音モデルとして記憶される。スペクトル記憶部５に記憶された単音モデルを保存しておくため、フレキシブルディスク等の外部記憶装置１１を有することができる。単音モデルを、演奏のつど作成する手間を省くためである。
【００２４】
ピアノＰの練習時には、押鍵指示開始指示に応答して演奏情報記憶部７から押鍵指示部８に演奏情報が読み出され、表示装置１０に押鍵指示を表示するための表示データが作成される。押鍵指示開始指示はパーソナルコンピュータ上から入力キーを使用して入力することができる。表示装置１０は押鍵指示部８から供給される表示データに従って押鍵指示表示をする。押鍵指示表示の例は、図３に関して後述する。
【００２５】
さらに、押鍵指示部８では、押鍵すべき音高つまりノートナンバが演奏情報のノートオンデータ中から抽出され、スペクトル記憶部５に入力される。スペクトル記憶部５は、入力されたノートナンバに対応する単音モデルを出力し、該単音モデルはスペクトル比較部６に入力される。
【００２６】
一方、表示装置１０上の押鍵指示表示に従って演奏されたピアノＰの各鍵の演奏音がマイクロフォン２で取り込まれる。ピアノＰの演奏音はマイクロフォン２からＡ／Ｄ変換器３に入力され、Ａ／Ｄ変換器３は、入力されたアナログ楽音信号をデジタル楽音信号に変換する。スペクトル作成部４は、高速フーリエ変換機能を備え、入力されたデジタル楽音信号をフーリエ変換してパワースペクトルを計算する。練習時には、モード切り換え部９は押鍵指示開始指示に応答してスペクトル比較部６側に切り換えられているので、計算された演奏音に対応するパワースペクトルはスペクトル比較部６に入力される。
【００２７】
スペクトル比較部６では、スペクトル作成部４で作成されたピアノＰの演奏音のパワースペクトルと、スペクトル記憶部５から入力された単音モデルとが比較される。パワースペクトルの比較についてはさらに後述する。
【００２８】
パワースペクトルの比較の結果、両者が一致していると判断された場合（一致の判断は後述する）、スペクトル比較部６は一致信号を押鍵指示部８に入力する。押鍵指示部８は、一致信号に応答して、演奏情報記憶部７の読み出しアドレスを進めて次の演奏情報を読み出す。表示装置１０の表示は読み出された演奏情報に従って更新された表示データに従って押鍵指示を進行させる。
【００２９】
パワースペクトルの比較の結果、両者が一致していないと判断された場合は、一致信号が出力されないので、次の演奏情報は読み出されない。演奏者が演奏しなおし、その演奏音のパワースペクトルが単音モデルと一致すれば、押鍵指示は進行する。なお、パワースペクトルが一致しない場合に、表示装置１０に再度の押鍵を促すエラー表示を行えるようにするのが好ましい。
【００３０】
図３は、表示装置１０の表示画面の一例を示す図であり、同図ではピアノロールつまりスクロール表示方式で押鍵指示をしている。表示画面１０１の下部に鍵盤図形Ｋが表示されていて、その上方に押鍵指示マークＭが表示される。表示画面１０１は上下が時間軸であり、押鍵指示マークＭは鍵盤図形Ｋに近いほど、早い時期に弾くべき楽音であることを意味する。押鍵指示マークＭは、押鍵すべき鍵に対応する位置に、音符長さに対応した長さで表示され、前記パワースペクトルが一致すると、下方にスクロールされる。現在押鍵されているべき鍵はマークｍで示される。小節線ＢＬで示すように、この例では２小節分の押鍵指示が同時に一画面上に表示されているが、同時に表示する画面の大きさつまり表示される演奏情報の範囲は任意である。このように演奏情報に基づく押鍵指示マークと鍵盤図形とを同時に表示し、押鍵指示マークをスクロール表示する演奏指示装置は、例えば、特開平９−３０５１７１号公報に開示されている。
【００３１】
なお、押鍵指示の表示形式は、鍵盤図形に対してマークをスクロールする方式に限らず、楽譜形式、つまり五線譜上に表示された音符をスクロールする方式であってもよい。また、ピアノＰの鍵盤に沿って各鍵毎に対応する位置にＬＥＤ（発光ダイオード）を配した表示器を設置し、押鍵すべき鍵に対応するＬＥＤを点灯させて押鍵指示を表示するものであってもよい。
【００３２】
次に、スペクトル作成部４を詳述する。図４は、スペクトル作成部４の要部機能を示すブロック図である。同図において、スペクトル作成部４は、フーリエ変換部４１、アタック検出部４２、およびバッファ４３を備えることができる。アタック検出部４２は、レベル検出部４２１、バッファ４２２、レベル増加分算出部４２３、およびレベル増加判定部４２４を有する。
【００３３】
フーリエ変換部４１は、入力されるデジタル楽音信号を所定時間毎に抽出し、そのデジタル楽音のスペクトル変換をしてバッファ４３に出力する。レベル検出部４２１は、バッファ４３に出力されたパワースペクトルの各周波数成分のレベルを検出してバッファ４２２に格納する。レベル増加分算出部４２３は、レベル検出部４２１から入力される今回のパワースペクトルとバッファ４２２に保持されている前回検出されたパワースペクトルの各周波数成分のレベルの差を合計し、前回算出時からのレベル増加分を算出する。レベル増加判定部４２４は、レベル増加分が予定のしきい値を超えたときに、アタック検出と判断してバッファ４３からパワースペクトルを前記スペクトル記憶部５に読み出す。
【００３４】
このように、入力されたデジタル楽音信号のアタックを検出してそのパワースペクトルを抽出するようにするのは、なるべく早い時期に、正しい押鍵がされたかどうかを検出するのが望ましいからである。先に弾いた音の残響がある演奏時のアタック検出では、このようにパワースペクトルのレベル増加分に基づいてアタック検出するのが好ましい。しかし、単音モデル作成時のアタック検出では、このような方法によらず、単に音量または振幅が、予想されるノイズの音量または振幅以上に設定したしきい値を超過したときにアタック検出と判断する方法でもよい。単音ずつモデル作成のために演奏音を入力すればよいので、残響等を考慮しなくてよいからである。
【００３５】
次に、スペクトル比較部６を詳述する。図５は、スペクトル比較部６の要部機能を示すブロック図である。同図において、スペクトル比較部６は、距離算出部６１、距離合計部６２、および距離判定部６３を備える。距離算出部６１は、スペクトル記憶部５から入力されるパワースペクトルとスペクトル作成部４から入力されるパワースペクトルとのユークリッド距離を各周波数成分毎に算出する。ユークリッド距離によれば、二つの値の差が２乗されて、その結果、該差が強調されるので、二つの値の一致の判別が容易である。距離合計部６２は、各周波数成分毎のユークリッド距離を合計する。距離判定部６３は、ユークリッド距離の合計が予定のしきい値以下であるかどうかによって、両パワースペクトルが一致しているかどうかを判定し、一致していれば、一致信号を出力する。
【００３６】
なお、パワースペクトルの比較に際して、距離算出部６１では、スペクトル作成部４から入力されるパワースペクトルのレベルが、スペクトル記憶部５から入力されるパワースペクトルのレベルに対してどれだけ不足しているかを各周波数成分毎に算出し、距離合計部６２では、その不足分の合計を算出するようにしてもよい。ピアノ等、残響が多く残る楽器には、この方が好都合である。
【００３７】
距離判定部６３で使用されるしきい値は、固定値にするのではなく、前回のアタック検出時から今回のアタック検出時までの時間に応じて変えることができる。すなわち、該時間が短い場合にはしきい値を大きくしてパワースペクトルの一致判定基準を甘く、該時間が長い場合はしきい値を小さくしてパワースペクトルの一致判定基準を厳しくする。
【００３８】
なお、単音モデル作成時と演奏時とでは音量が異なる。したがって、このような音のパワースペクトルを互いに比較すると正しい判定ができないので、Ａ／Ｄ変換器３から入力されるデジタル楽音信号を正規化する手段が設けられる。すなわち、該デジタル楽音信号の振幅を測定し、その測定値が所定値になるようにレベル補正する。
【００３９】
練習時の入力音が和音であるときには、スペクトル合成を行って比較を行う。図６は、和音の押鍵比較をするための機能を示すブロック図である。スペクトル記憶部５は、押鍵指示部８から和音の押鍵指示が入力されたときに、該和音を構成する各音のパワースペクトルをスペクトル合成部１２に出力する。和音の合成は各音のパワースペクトルつまり単音モデルを加算して行う。なお、単に単音モデルを加算するのではなく、各音の弾くべき音量に従って単音モデルに重み付けをした後、そのパワースペクトルを加算してもよい。弾くべき音量の大きさは、例えば、演奏情報に含めることができるベロシティデータによって判断することができる。
【００４０】
和音演奏時は、表示装置１０上の押鍵指示表示に従ってピアノＰで演奏された和音演奏音がマイクロフォン２で取り込まれる。ピアノＰの演奏和音はマイクロフォン２からＡ／Ｄ変換器３に入力されて和音のデジタル信号に変換されてスペクトル比較部６に供給される。
【００４１】
上記実施形態では、単音モデルをピアノＰの演奏音に基づいて作成し、この単音モデルとピアノＰの演奏音との比較を行った。これによって、ピアノＰが仮に調律が正しく行われていない場合であっても、同じピアノＰの演奏音同士の比較で判断するので、押鍵指示通りに弾けたかどうかの判断が確実である。
【００４２】
しかし、本発明は、これに限らず、他のピアノの演奏音から別途作成した単音モデルを外部記憶装置１１からスペクトル記憶部５に読み込んで使用する場合にも適用できる。
【００４３】
また、パワースペクトルの単音モデルを使用するのに限らず、例えば、演奏音の波形を記憶して単音モデルとしてもよいしパワースペクトルのピーク位置つまり基本波の周波数を単音モデルとしてもよい。これらの場合は、スペクトル比較部６では、ピアノＰの演奏音の波形や基本波の周波数を単音モデルと比較するのはもちろんである。
【００４４】
さらに、本発明は、ピアノの押鍵判定に限らず、オルガン、アコーディオン、ハーモニカ、リコーダ、ギター等、各種自然楽器の演奏音判定に適用することができる。
【００４５】
【発明の効果】
以上の説明から明らかなように、請求項１〜６の発明によれば、演奏指示に応答して読み出されたモデルのパワースペクトルと、演奏指示に従って演奏された楽器のパワースペクトルとの比較によって演奏が指示通りに行えたか否かが判定され、演奏指示が進行される。特に、演奏指示に従って読み出された単音モデルが存在するので、演奏音のパワースペクトルとの一致を判定するための比較が容易である。
【００４６】
請求項２の発明によれば、単音モデルが、現に演奏に使用する自然楽器の演奏音から作成されるので、該自然楽器が調律が不十分な場合であっても、パワースペクトルが確実に一致して演奏の正確さが判定可能である。
【００４７】
請求項３の発明によれば、和音の判定においても、単音モデルの合成分と演奏音のパワースペクトルと比較する処理を１度行うだけでよいので、計算時間の短縮が可能である。
【００４８】
請求項４，５の発明によれば、残響音が多い楽器において、残響音の影響を抑制して現演奏音の正確さを判定することができる。
【００４９】
請求項６の発明によれば、アタックが検出された時点から判定の手順を実行できるので、早期の判定が可能である。また、アタックを検出することにより、同じ演奏音（和音も含む）が連続する場合であっても、個々の演奏音を確実に検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るピアノの押鍵判定装置のシステム構成を示すブロック図である。
【図２】演奏情報の一例を示す図である。
【図３】押鍵指示表示の一例を示す図である。
【図４】スペクトル作成部の要部機能を示すブロック図である。
【図５】スペクトル比較部の要部機能を示すブロック図である。
【図６】和音用モデル作成のための要部機能を示すブロック図である。
【符号の説明】
４…スペクトル作成部、５…スペクトル記憶部、６…スペクトル比較部、７…演奏情報記憶部、８…押鍵指示部、９…モード切り換え部、１０…表示装置

Claims

演奏指示通りの演奏が行われたときに、演奏指示の進行を次に進めることができる演奏指示装置のための自然楽器の楽音判定装置において、
自然楽器演奏音のパワースペクトルを計算するスペクトル計算手段と、
自然楽器音の音高毎のパワースペクトルを単音モデルとして記憶するスペクトル記憶手段と、
前記演奏指示装置による演奏指示に応答して前記スペクトル記憶手段から読み出された単音モデルと前記スペクトル計算手段で計算された前記演奏指示に基づく演奏音のパワースペクトルとの距離を判定し、該距離がしきい値以内に近接したときに前記演奏指示手段の進行を次に進める一致信号を出力するスペクトル比較手段とを具備したことを特徴とする自然楽器の楽音判定装置。
前記スペクトル記憶手段が、前記演奏指示に先立って演奏された自然楽器音のパワースペクトルを単音モデルとして記憶するように構成されていることを特徴とする請求項１記載の自然楽器の楽音判定装置。
前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手段から読み出された該和音の構成音の音高に対応する単音モデルを合成して前記演奏音のパワースペクトルとの比較のために前記スペクトル比較手段に出力するスペクトル合成手段を具備したことを特徴とする請求項１または２記載の自然楽器の楽音判定装置。
前記スペクトル比較手段が、単音モデルに対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されていることを特徴とする請求項１または２記載の自然楽器の楽音判定装置。
前記スペクトル比較手段が、単音モデルの合成パワースペクトルに対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されていることを特徴とする請求項３記載の自然楽器の楽音判定装置。
前記自然楽器がピアノであり、前記スペクトル作成手段が、ピアノ演奏音のアタック部分のパワースペクトルを計算するように構成されたことを特徴とする請求項１〜５のいずれかに記載の自然楽器の楽音判定装置。