JP2007200218A - 電子音楽装置及びプログラム - Google Patents

Abstract

【課題】楽曲認識の際の認識精度や認識速度を向上させること。
【解決手段】この楽曲認識システムでは、認識対象となる複数の楽曲の夫々について楽曲データを楽曲認識上の優先度「ａ」〜「ｃ」，「ｚ」と共に楽曲データベースＤに記憶しておき、ユーザ演奏に基づいて入力されたＭＩＤＩデータと楽曲データとを当該楽曲データの優先度に従って比較し、両データの一致度に基づき当該ＭＩＤＩデータに対応する楽曲を認識する（Ｅ）。この認識結果を案内画面ユーザに提示して当該認識結果が成功したか否かを打診し（Ｆ１）、これに対するユーザの回答に応じて認識結果の採否を決定すると共に（Ｆ２）、楽曲データベースＤ中の認識結果に対応する楽曲の優先度を設定する（Ｆ３）。認識結果が妥当でなく（失敗）、認識された楽曲が不要である旨が入力されたときには、優先度「ｚ」が設定され、次回以降の楽曲認識処理で認識対象から除外される。
【選択図】図２

Description

この発明は、ユーザが歌唱や楽器で演奏した楽曲を効率よく認識する楽曲認識機能を備えた電子音楽システムに関する。

電子楽器等の電子音楽装置において、多数の楽曲データをデータベースに記憶しておき、音声や楽器演奏で入力された演奏データと記憶された楽曲データとのマッチングをとることにより楽曲を検索（認識）するものは、例えば、特許文献１により知られている。
特開２００２−２６８６３２号公報（図４）

このような電子音楽装置では、データベース中の全ての楽曲データと入力されたフレーズとのマッチングを取るようにしているので、処理に時間がかかるという不都合に加え、誤認識が多いという不都合がある。例えば、互いに類似した第１楽曲データと第２楽曲データがデータベース中に記憶されている場合に、入力されたフレーズがそのうちの第１楽曲を意図していたとしても、マッチング結果は第２楽曲データと判定される恐れがある。

この発明は、このような事情に鑑み、楽曲認識の際の認識精度や認識速度を向上させることができる電子音楽システムを提供することを目的とする。

この発明の主たる特徴に従うと、楽曲に関する楽曲データを楽曲認識上の優先度（「ａ」〜「ｃ」，「ｚ」）と共に複数楽曲分記憶する楽曲記憶手段（Ｄ）と、ユーザ演奏に基づく演奏データ（ＭＩＤＩデータ）を入力する演奏データ入力手段（Ａ〜Ｃ）と、演奏データ入力手段（Ａ〜Ｃ）により入力された演奏データ（ＭＩＤＩデータ）と楽曲記憶手段に記憶された楽曲データとを当該楽曲データの優先度（「ａ」〜「ｃ」，「ｚ」）に従って比較し、当該演奏データ（ＭＩＤＩデータ）に対応する楽曲を認識する楽曲認識手段（Ｅ）と、楽曲認識手段（Ｅ）による認識結果〔ＲＡ，図４（１）〕を提示する認識結果提示手段（Ｆ；Ｆ１）と、ユーザ操作に基づいて認識結果が妥当であるかどうか（ＣＫｓ，ＣＫｆ；ＣＫａ〜ＣＫｃ，ＣＫｚ）を指定する成否指定手段（Ｆ；Ｆ２）と、成否指定手段（Ｆ；Ｆ２）による指定に応じて、楽曲記憶手段（Ｄ）中の認識結果に対応する楽曲の優先度（「ａ」〜「ｃ」，「ｚ」）を設定する優先度設定手段（Ｆ；Ｆ３）とを具備する電子音楽装置（コンピュータ）〔請求項１〕が提供され、楽曲に関する楽曲データを楽曲認識上の優先度（「ａ」〜「ｃ」，「ｚ」）と共に複数楽曲分記憶する楽曲記憶手段（Ｄ）を具備するコンピュータ（電子音楽装置）に、ユーザ演奏に基づく演奏データ（ＭＩＤＩデータ）を入力する演奏データ入力ステップ（Ａ〜Ｃ）と、演奏データステップで入力された演奏データ（ＭＩＤＩデータ）と楽曲記憶手段（Ｄ）に記憶された楽曲データとを当該楽曲データの優先度（「ａ」〜「ｃ」，「ｚ」）に従って比較し、当該演奏データ（ＭＩＤＩデータ）に対応する楽曲を認識する楽曲認識ステップ（Ｅ）と、 楽曲認識ステップでの認識結果〔ＲＡ，図４（１）〕を提示する認識結果提示ステップ（Ｆ；Ｆ１）と、ユーザ操作に基づいて認識結果が妥当であるかどうか（ＣＫｓ，ＣＫｆ；ＣＫａ〜ＣＫｃ，ＣＫｚ）を指定する成否指定ステップ（Ｆ；Ｆ２）と、成否指定ステップ（Ｆ；Ｆ２）での指定に応じて、楽曲記憶手段（Ｄ）中の認識結果に対応する楽曲の優先度（「ａ」〜「ｃ」，「ｚ」）を設定する優先度設定ステップ（Ｆ；Ｆ３）とから成る手順を実行させる楽曲認識プログラム〔請求項３〕が提供される。なお、括弧書きは、理解の便のために付記した実施例の参照記号、用語等を表わし、以下においても同様である。

この発明による電子音楽装置において、優先度設定手段（Ｆ；Ｆ３）は、成否指定手段（Ｆ；Ｆ２）により認識結果が妥当でないこと（ＣＫｆ）が指定された場合に、ユーザ操作に基づいて、当該認識結果に対応する楽曲が不要である旨（ＣＫｚ）が入力されたときは、認識対象から除外すべきことを指示する優先度（「ｚ」）を設定する〔請求項２〕ように構成することができる。

この発明の主たる特徴による電子音楽（楽曲認識）システムでは（請求項１，３）、認識対象となる複数の楽曲の夫々について楽曲データを楽曲認識上の優先度（「ａ」〜「ｃ」，「ｚ」）と共に楽曲記憶手段（楽曲データベースＤ）に記憶しておき、ユーザ演奏に基づいて入力された演奏データ（ＭＩＤＩデータ）を楽曲データと当該楽曲データの優先度（「ａ」〜「ｃ」，「ｚ」）に従って比較し、両データのマッチング度（一致度）に基づき、当該演奏データ（ＭＩＤＩデータ）に対応する楽曲を認識する（Ｅ）。この認識結果を案内画面〔図３，図４〕で提示して当該認識結果が妥当であるか（成功したか）否かを打診し（Ｆ；Ｆ１）、ユーザ操作に基づいてこれに対する回答（ＣＫｓ，ＣＫｆ；ＣＫａ〜ＣＫｃ，ＣＫｚ）が入力されると、入力された回答結果に応じて、認識結果の妥当性を決定すると共に（Ｆ；Ｆ２）、楽曲記憶手段（楽曲データベースＤ）中の認識結果に対応する楽曲の優先度（「ａ」〜「ｃ」，「ｚ」）を設定する（Ｆ；Ｆ３）。

この発明によれば、このように、楽曲認識結果が成功したか否かをユーザから入力させ、入力結果に応じてデータベース中の認識された楽曲について優先度を設定するようにしているので、以降の楽曲認識処理における認識成功率が高くなる。

さらに、この発明による電子音楽装置においては、ユーザ操作に基づいて、認識結果が妥当でない（失敗である）こと（ＣＫｆ）が指定され、当該認識結果に対応する楽曲が不要である（ＣＫｚ）と入力されたときは、認識対象から除外すべきことを指示する優先度（「ｚ」）が設定される（Ｆ；Ｆ３）。すなわち、ユーザから楽曲認識結果が失敗でありその楽曲は不要であるとの入力がなされると、以降の楽曲認識処理において当該楽曲は認識対象から除外される（請求項２）。従って、この発明によれば、認識成功率が高くなると共に、マッチング比較の対象となる楽曲が減るため、認識速度が向上する。

なお、ユーザ操作に基づいて、認識結果が妥当である（成功した）こと（ＣＫｓ）が指定され、当該認識結果に対応する楽曲について良好であると入力されたときは（ユーザから「お気に入り」を指定する入力ＣＫａがなされると）、優先度を更に高く設定する（「ａ」）ように構成することにより、更に認識成功率が高くすることができる。

〔電子音楽装置の概要〕
図１は、この発明の一実施例による電子音楽装置のハードウエア構成ブロック図を示す。この電子音楽装置には、音楽情報処理機能を有する機器が用いられ、この例では、電子楽器、又は、演奏操作部乃至楽音信号発生部を備えるパーソナルコンピュータ（ＰＣ）が用いられる。この電子音楽装置は、中央処理装置（ＣＰＵ）１、ランダムアクセスメモリ（ＲＡＭ）２、読出専用メモリ（ＲＯＭ）３、外部記憶装置４、演奏操作検出回路５、設定操作検出回路６、表示回路７、音源回路８、効果回路９、音データ入力インターフェース（Ｉ／Ｆ）１０、通信インターフェース（Ｉ／Ｆ）１１、ＭＩＤＩインターフェース（Ｉ／Ｆ）１２などを備え、これらの要素１〜１２はバス１３を介して互いに接続される。

ＣＰＵ１は、ＲＡＭ２及びＲＯＭ３と共にデータ処理回路ＤＰを構成し、任意の制御プログラムに従い、タイマ１４によるクロックを利用して楽曲認識処理を含む種々の音楽情報処理を実行する。ＲＡＭ２は、これらの処理に際して必要な各種データを一時記憶するためのワーク領域として用いられる。また、ＲＯＭ３には、これらの処理を実行するために必要な各種制御プログラムや制御データ、演奏データ等が予め記憶され、制御プログラムには、楽曲認識処理を実行するための楽曲認識プログラムが含まれる。

外部記憶装置４は、ハードディスク（ＨＤ）等の内蔵記憶媒体の外に、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、スマートメディア（登録商標）等の小型メモリカード、等々、種々の可搬性の外部記録媒体を含み、制御プログラムを含む任意のデータを任意の外部記憶装置４に記憶することができる。また、所定の外部記憶装置（例えば、ＨＤ）４に楽曲データベース（Ｄ）を構築することができる。

演奏操作検出回路５は、鍵盤などの演奏操作子１５の演奏操作内容を検出し、これに対応するＭＩＤＩ形式の演奏データ（ＭＩＤＩデータという）をデータ処理回路ＤＰに導入する。設定操作検出回路６は、キースイッチやマウス等の設定操作子１６の設定操作内容を検出し、これに対応する設定データをデータ処理回路ＤＰに導入する。表示回路７は、画面表示用ＬＣＤ等のディスプレイ（表示器）１７や各種インジケータ（図示せず）の表示／点灯内容をＣＰＵ１からの指令に従って制御し、各操作子１５，１６の操作に対する表示援助を行う。例えば、楽曲認識モードでは、ディスプレイ１７に案内画面が表示され、設定操作子１６の操作により案内画面に所定の指定事項を入力することができる。

音源回路８及び効果回路９は、楽音信号生成部（音源部とも呼ばれる）として機能し、設定操作子１６により設定された条件に従って、音源回路８により演奏操作検出回路５からの実演奏ＭＩＤＩデータに応じた楽音データを発生し、効果付与ＤＳＰを有する効果回路９により楽音データに所定の効果を付与し、実演奏の楽音信号を生成する。楽音信号生成部８，９は、また、楽曲認識処理の際は、実演奏ＭＩＤＩデータに対応して決定される伴奏データに従って伴奏の楽音信号を発生したり、自動演奏の際には記憶手段（３，４）等からの演奏データに従って自動演奏の楽音信号を発生することもできる。効果回路９に後続するサウンドシステム１７は、Ｄ／Ａ変換部やアンプ、スピーカを備え、効果回路９からの楽音信号に基づく楽音を発生する。

音データ入力Ｉ／Ｆ１０には、エレキギター等の電気楽器が電気的に発生するアナログ音信号或いはマイクから入力される音声（例えば、歌やハミング）や音響（例えば、ギター等の楽器演奏音）に基づくアナログ音信号を音信号処理回路でディジタル化して音データに変換する音響入力機器３０が接続され、音響入力機器３０からのディジタル音データは、音データ入力Ｉ／Ｆ１０を通じてデータ処理回路ＤＰに導入される。また、データ処理回路ＤＰに導入された音データは、マイクや音信号発生機器からの入力音信号を拡声するために、効果回路９を通じ出力音信号に再変換してサウンドシステム１７から放音することができる。なお、音響入力機器３０にアナログ音信号を出力するタイプのものを用いて音データ入力Ｉ／Ｆ１０にＡ／Ｄ変換機能を持たせる構成にしてもよい。

通信Ｉ／Ｆ１１には、インターネットやローカルエリアネットワーク（ＬＡＮ）などの通信ネットワーク４０が接続され、外部のサーバコンピュータ５０等から制御プログラムをダウンロードしたり演奏データを記憶装置４に保存してこの電子音楽装置で利用することができる。ＭＩＤＩＩ／Ｆ１２には、この電子音楽装置と同様にＭＩＤＩ音楽情報処理機能を有する外部ＭＩＤＩ機器６０が接続され、ＭＩＤＩＩ／Ｆ１１を通じてこの電子音楽装置と外部ＭＩＤＩ機器６０との間でＭＩＤＩデータを授受することができる。また、外部ＭＩＤＩ機器６０が演奏操作子を有する場合、その演奏操作子の操作に基づく外部ＭＩＤＩ機器６０からのＭＩＤＩデータは、この電子音楽装置の演奏操作子１５の操作に基づく実演奏ＭＩＤＩデータと同様に取り扱うことができる。

〔楽曲認識機能の概要〕
この発明の一実施例による電子音楽装置は、設定操作子のモードスイッチ操作により楽曲認識モードがセットされた際に楽曲認識プログラムに従い楽曲認識処理を実行し、ユーザにより演奏される歌やメロディの楽曲を自動的に認識し、楽曲認識結果に対するユーザ操作に基づく成否指定により、認識された楽曲に合った情報の出力制御に利用すると共に、この成否指定を次の楽曲認識に反映させることができる。図２は、この発明の一実施例による電子音楽装置（楽曲認識システム）を説明するための概略機能ブロック図である。

ここで、この楽曲認識システムによる機能の概略を説明しておく。このシステムでは、認識対象となる複数の楽曲の夫々について楽曲データを楽曲認識上の優先度「ａ」〜「ｃ」，「ｚ」と共に楽曲データベースＤに記憶しておき、ユーザ演奏に基づいて入力された演奏データ（ＭＩＤＩデータ）と楽曲データとを当該楽曲データの優先度に従って比較し、両データのマッチング度（一致度ともいう）に基づき、当該演奏データに対応する楽曲を認識する（Ｅ）。次に、認識結果を案内画面〔図３，図４〕でユーザに提示して当該認識結果が妥当である（成功した）か否かを打診し（Ｆ１）、これに対するユーザの回答（ＣＫｓ，ＣＫｆ；ＣＫａ〜ＣＫｃ，ＣＫｚ等）に応じて認識結果の採否を決定すると共に（Ｆ２）、楽曲データベースＤ中の認識結果に対応する楽曲の優先度を設定する（Ｆ３）。認識結果が妥当でなく（失敗）、認識された楽曲が不要である旨が入力されたときには（ＣＫｆ，ＣＫｚ）、優先度「ｚ」が設定され、次回の認識対象から除外される。

以下具体的に説明する。楽曲認識モードにおける電子音楽装置は、図２の機能ブロックのように、音声／音響入力部Ａ、ＭＩＤＩ化部Ｂ、ＭＩＤＩ入力部Ｃ、楽曲データベースＤ、楽曲認識部Ｅ、結果表示及び成否指定部Ｆ並びに認識結果利用部Ｇから成り、機能部Ａ〜Ｃは、楽曲認識部Ｅでの楽曲の認識処理が可能なＭＩＤＩ形式の演奏データ（ＭＩＤＩデータ）を入力するための演奏データ入力手段を構成する。

音声／音響入力部Ａは、音響入力機器３０及び音データ入力Ｉ／Ｆ１０の機能に対応している。例えば、音響入力機器３０がマイク集音装置の場合は、ユーザが歌やハミングなどを唄ったりギター等の楽器でメロディ等を弾いたりすると、歌唱やハミング等による音声や楽器演奏による音響に基づく演奏音が音響入力機器３０のマイクから入力され、演奏音の波形を表わす音信号がマイク集音装置内の音信号処理回路でディジタル化され、また、音響入力機器３０がエレキギター等の電気楽器の場合には、電気楽器のユーザ演奏により電気的に発生する演奏音信号が電気楽器内の音信号処理回路でディジタル化される。そして、ディジタル化された音データは音データ入力Ｉ／Ｆ１０を介してデータ処理回路ＤＰのＭＩＤＩ化機能部（Ｂ）に入力される。なお、音響入力機器３０内で音信号をディジタル化するものに限らず、音響入力機器３０からはアナログの音信号を出力し、これを受けた音データ入力Ｉ／Ｆ１０内でディジタル化するようにしてもよい。

ＭＩＤＩ化部Ｂは、データ処理回路ＤＰのＭＩＤＩ化機能部に対応しており、音声／音響入力部Ａから入力された音データから音高やタイミング、音長等を検出してＭＩＤＩ化を行い、音データをＭＩＤＩデータに変換し、データ処理回路ＤＰの楽曲認識機能部（Ｅ）に入力する。

ＭＩＤＩ入力部Ｃは、演奏操作子１５及び演奏操作検出回路５或いは外部ＭＩＤＩ機器６０及びＭＩＤＩＩ／Ｆ１２の機能に対応しており、演奏操作子１５のユーザ演奏操作により発生されるＭＩＤＩデータ或いは外部ＭＩＤＩ機器６０から受信されるＭＩＤＩデータをそのままデータ処理回路ＤＰの楽曲認識機能部（Ｅ）に入力する。

なお、図示のように、音声／音響入力部Ａ及びＭＩＤＩ化部Ｂから成るＭＩＤＩデータ入力系列及びＭＩＤＩ入力部ＢによるＭＩＤＩデータ入力系列の双方を備えるものに限らず、どちらか一方のみのＭＩＤＩデータ入力系列を備えていてもよい。

楽曲データベース（認識用データベースともいう）Ｄは、外部記憶装置４の楽曲データベース構築部に対応し、多数の楽曲に関するデータを記憶している。各楽曲のデータは、例えば、楽曲の名称や作曲者等を表わす項目情報、楽曲を特定する楽曲ＩＤ等の楽曲識別情報、楽曲認識に用いられる優先度情報、楽曲演奏時の基準テンポ（値）を表わす基準テンポデータ、楽曲を構成する楽音の音高やタイミング等で楽曲の内容（実体）を表わすＭＩＤＩ形式の楽曲データなどから成る。優先度情報が表わす優先度は、楽曲認識処理の際にマッチング度に重みを付けたり認識対象から外す機能を有し、初期状態（最初のシステム起動時）では、全ての楽曲に標準値（例えば、優先度係数＝１．０）が与えられる。

楽曲認識部Ｅは、データ処理回路ＤＰの楽曲認識機能部に対応しており、ＭＩＤＩ化部Ｂで音データから変換されたＭＩＤＩデータや、ＭＩＤＩ入力部ＣからのＭＩＤＩデータが供給される。楽曲認識部Ｅは、楽曲データベースＤ内の各楽曲データに付けられた優先度を考慮して、供給されたＭＩＤＩデータと各楽曲データとのマッチング処理を行い、ＭＩＤＩデータが何れの楽曲を表わしているかを認識する。

例えば、優先度＝「ｚ」の楽曲データは認識処理の対象から除外され、優先度＝「ａ」〜「ｃ」の楽曲データについては、ＭＩＤＩデータ・楽曲データ間の音列パターンマッチング度に対して優先度に応じた重みが付けられ、ＭＩＤＩデータの音列パターンに対して最も高い重み付け号マッチング度の音列パターンを持つ楽曲データが、ユーザが演奏している楽曲を表わしているものとして、楽曲データベースＤから抽出される。

また、楽曲認識部Ｅは、必要に応じて、基準テンポとの比（差でもよい）、移調量（音高差）、楽曲内の進行位置（拍位置や小節位置等）、演奏パートなども検出する。例えば、入力されたＭＩＤＩデータと決定された楽曲データとの間で音列の音長や平均音高を比較することにより、ＭＩＤＩデータのテンポや移調量を決定し、ＭＩＤＩデータのテンポと演奏経過時間に基づいて、拍位置や小節位置などの楽曲上の進行位置を決定する。

結果表示及び成否指定部Ｆは、（Ｆ１）楽曲認識部Ｅから楽曲認識の結果を表わす認識結果情報を受け取り、表示回路７を通じてディスプレイ１７の案内画面に表示し、（Ｆ２）楽曲認識が成功したか否かをユーザに入力させて楽曲認識結果の採否を決定すると共に、（Ｆ３）認識された楽曲について優先度を設定して以後の楽曲認識に反映させる。

認識結果利用部Ｇは、楽曲認識部Ｅから、結果表示及び成否指定部Ｆにより採用が決定された認識結果データを利用する。つまり、楽曲認識部Ｅは、ユーザが演奏する楽曲を認識すると共に、ユーザ演奏によるＭＩＤＩデータのテンポ（基準テンポとの比）や移調量、進行位置（小節線タイミング等）などを検出する機能を有し、認識結果利用部Ｇは、これらの認識結果データを受けて、例えば、認識された楽曲について、楽曲データを再生し、楽曲データを購入するための処理を行い、楽譜を表示し、伴奏再生をし、或いは、認識された楽曲をマニュアル演奏する際の音色や効果などを設定し、これらの場合に検出された諸量が利用される。より具体的な例を挙げると次のとおりである：

・認識された楽曲に適した伴奏データを伴奏データベースから自動的に選択して、検出されたテンポや移調量に応じ且つ進行位置タイミングに合わせた自動伴奏を実行し、自動伴奏を所定の位置（小節線タイミング等）から開始したりフェードインにより開始する。
・認識された楽曲に対応する曲情報表示データをデータベースから自動選択し、テンポや移調量、進行位置タイミングに合わせて、楽譜、コード名、歌詞等の曲情報を表示する。
・認識された楽曲に関連する画像データをデータベースから自動的に選択し、テンポや進行位置タイミングに合わせてＭＩＤＩデータに相応しい画像を順次表示していく。
・認識された楽曲に対応する音色効果設定データや効果設定データをデータベースから読み出して音源部（８−９）に出力し、読み出された設定データに従って当該楽曲の演奏に好適な音色や効果を設定し、検出された演奏進行位置に合わせて音色や効果の設定を切り替えたり、検出された演奏パートに対応して音色や効果を設定する。等々。

〔案内画面〕
この発明の一実施例による電子音楽装置では、入力されたＭＩＤＩデータに対して楽曲認識が行われると、結果表示及び成否指定機能により、楽曲認識が成功した（妥当である）か否かをユーザに問い合わせる案内画面がディスプレイに表示され、ユーザからの入力内容に応じて楽曲認識の結果の採否及び優先度を指定することができる。図３は、楽曲認識がなされたときに表示される案内画面の一例を示す。この案内画面は、楽曲認識部Ｅによる楽曲認識の結果を表わすための結果表示領域ＲＡ、及び、楽曲認識の結果の採否及び優先度を指定するための成否指定案内領域ＤＡを備える。

この例では、結果表示領域ＲＡには、入力されたＭＩＤＩデータに対して最もマッチング度の高い認識結果第１位の楽曲が、例えば図示のようにアーティスト名及び楽曲名で、表示される。また、成否指定案内領域ＤＡには、「成功」及び「失敗」の成否表記がチェック入力欄ＣＫｓ，ＣＫｆ付きで表示され、さらに、「成功」の表示位置に対応して第１優先指定表記（ａ）＝「この楽曲をお気に入りに入れる」及び第２優先指定表記（ｂ）＝「お気に入りには入れない」が、「失敗」の表示位置に対応して第３優先指定表記（ｃ）＝「不要ではない」及び第４優先（除外）指定表記（ｚ）＝「この楽曲は不要」が、何れも、チェック入力欄ＣＫａ〜ＣＫｚ付きで表示される。なお、図中の“◎”は、チェック入力欄ＣＫ：ＣＫｓ，ＣＫｆ，ＣＫａ〜ＣＫｚにチェックが入力されたことを示し、“○”はチェック入力がないことを示す。

結果表示領域ＲＡに認識結果としてユーザ所望の妥当な楽曲が表示された場合、即ち、楽曲認識処理によりユーザが望んでいた通りの楽曲が認識された場合には、ユーザは、図示のように、成否指定案内領域ＤＡの「成功」表記のチェック入力欄ＣＫｓにチェックを入れる。これにより、当該認識結果を採用すべきことが指定され、次回以降の楽曲認識処理における当該認識結果の優先度を「ａ」又は「ｂ」に設定すべきことが指定される。

ユーザは、「成功」にチェックを入れた場合、「成功」に対応する優先指定表記（ａ），（ｂ）を選択的にチェックすることができる。例えば、図示のように、優先指定表記（ａ）の「この楽曲をお気に入りに入れる」のチェック入力欄ＣＫａにチェックを入れると、当該認識結果の優先度を「ａ」即ち「高」に設定すべきことが指定される。また、優先指定表記（ｂ）の「お気に入りには入れない」のチェック入力欄ＣＫｂをチェックすると、当該認識結果の優先度を「ｂ」即ち「中」（標準）に設定すべきことが指定される。

ユーザが「成功」にチェックを入れて了解ボタン「ＯＫ」を操作した場合或いは「成功」のチェックに加え更にチェック入力欄ＣＫａ，ＣＫｂの何れかにチェックを入れて了解ボタン「ＯＫ」を操作した場合は、結果表示及び成否指定部Ｆにより、指定された事項が決定され、楽曲認識部Ｅに当該認識結果を採用すべきことを指示すると共に、楽曲データベースＤの当該認識結果に対応する楽曲の優先度を「ａ」又は「ｂ」に設定すべきことを指示する。なお、チェック入力欄ＣＫａ，ＣＫｂのチェックなしに「ＯＫ」操作があった場合には、デフォルトで任意の優先度（例えば、「ａ」、「ｂ」、標準値又は現在値）を指示するように構成することができる。

つまり、楽曲認識部Ｅは、認識結果採用の指示に応じて、当該認識結果に対応する楽曲データ、楽曲ＩＤ或いは各種検出内容を認識結果利用部Ｇに送る。また、楽曲認識部Ｅは、当該認識結果の楽曲に指示された優先度を設定し、これにより、次回以降の楽曲認識処理において、今回入力されたＭＩＤＩデータと同様の楽曲のＭＩＤＩデータを入力した場合、優先度＝「ａ」或いは「ｂ」の設定に対応して、当該認識結果の楽曲の認識に成功する確率が高くなるか、或いは、この確率が維持されるようにする。

一方、結果表示領域ＲＡに認識結果として不所望の楽曲が表示された場合、即ち、楽曲認識処理によりユーザが望んでいた通りの楽曲が認識されなかった場合には、ユーザは、成否指定案内領域ＤＡの「失敗」表記のチェック入力欄ＣＫｆにチェックを入れる。これにより、当該認識結果を不採用とすべきことが指定されると共に、次回以降の楽曲認識処理における当該認識結果の優先度を「ｃ」又は「ｚ」に設定すべきことが指定される。

ユーザは、「失敗」にチェックを入れた場合、「失敗」に対応する優先指定表記（ｃ），（ｚ）を選択的にチェックすることができる。例えば、優先指定表記（ｃ）の「不要ではない」のチェック入力欄ＣＫｃにチェックを入れると、当該認識結果の優先度を「ｃ」即ち「低」に設定すべきことが指定される。また、優先指定表記（ｚ）の「この楽曲は不要」のチェック入力欄ＣＫｚにチェックを入れると、当該認識結果の優先度を「ｚ」即ち「対象除外」に設定し、認識対象から外すべきことが指定される。

ユーザが「失敗」にチェックを入れて了解ボタン「ＯＫ」を操作した場合或いは「失敗」のチェックに加え更にチェック入力欄ＣＫｃ，ＣＫｚの何れかにチェックを入れて了解ボタン「ＯＫ」を操作した場合には、結果表示及び成否指定部Ｆにより、指定された事項が決定され、楽曲認識部Ｅに当該認識結果の不採用を指示すると共に、楽曲データベースＤの当該認識結果に対応する楽曲の優先度を「ｃ」又は「ｚ」に設定すべきことを指示する。なお、チェック入力欄ＣＫｃ，ＣＫｚのチェックがない場合は、デフォルトで任意の優先度（例：「ｃ」、「ｚ」、標準値又は現在値）を指示する構成を採ることができる。

楽曲認識部Ｅは、認識結果不採用の指示に応じて以後の処理を中止してその旨をディスプレイ１７に表示するか、或いは、次にマッチング度の高い認識結果第２位の楽曲に関する認識結果情報を結果表示及び成否指定部Ｆに送って第２位の認識結果につき案内画面を表示させて同様の指定動作を行わせる（この動作は、第３位の認識結果まで可能）。また、楽曲認識部Ｅは、当該認識結果の楽曲に指示された優先度を設定し、これにより、次回以降の楽曲認識処理において、優先度＝「ｃ」の設定に対応して、今回入力されたＭＩＤＩデータと同様の楽曲のＭＩＤＩデータを入力した場合に当該認識結果の楽曲が再度認識され難くする。さらに、優先度＝「ｚ」に設定された楽曲は認識対象から除外される。

このように、この楽曲認識システムでは、楽曲認識結果が成功したか否か（成否）をユーザから入力させ、その入力結果に応じて、楽曲データベースＤ中の認識された楽曲について楽曲認識上の優先度を設定して以後の楽曲認識処理に反映することができる。この場合、成功と入力された楽曲でよく認識させる楽曲については、ユーザから「お気に入り」指定（ａ）がなされると優先度を更に高く設定して、次回以降の楽曲認識処理において更に認識成功率が高くすることができる。また、失敗と入力された楽曲で今後認識されて欲しくない楽曲については、認識対象から外す「不要」指定（ｚ）ができる。

なお、優先度を反映させる具体例を補足すると、次のような方法がある：
（１）楽曲データベースＤのうち認識対象となる全楽曲について一致度を求め、これに、各楽曲毎に設定された優先度に応じた優先度係数をかけて、最終的な一致度を求める。例えば、優先度＝「ａ」（高）の楽曲には優先度係数＝１．２５を乗算し、優先度＝「ｂ」（中＝標準）の楽曲には優先度係数＝１．０を乗算し、優先度＝「ｃ」（低）の楽曲には優先度係数＝０．７５を乗算する。
（２）優先度の高い楽曲から一致度を求め、一致度が所定値以上の楽曲があれば、その楽曲を認識結果に決定し、当該優先度の楽曲に所定値以上のものがなければ次の優先度の楽曲から同様に一致度を求める。等々。

また、楽曲認識の履歴と優先度「ａ」（高）〜「ｃ」（低）の設定との関係について説明を補足すると、次のような方法がある：
（１）各回の認識結果に応じて、優先度を、絶対的に（過去の履歴に拘わらず）、「高」、「中」、「低」の何れかに設定する。
（２）優先度が「高」なら、それまでに設定されていた優先度係数（現在値）を所定値だけアップし、「中」ならそれまでの係数値を維持し、「低」なら所定値だけダウンさせる。つまり、何度か認識させていくうちに徐々に係数が上がったり下がったりする。等々。

〔案内画面の変形例〕
図３では１つの楽曲の認識結果を提示して成否を指定する画面例について説明したが、複数楽曲の認識結果を同時に表示して成否を指定するようにしてもよい。図４は、認識された複数楽曲をユーザに提示して成否指定を案内する案内画面の変形例を示す。この変形例では、入力されたＭＩＤＩデータに対して楽曲認識部Ｅによる楽曲認識処理が行われると、結果表示及び成否指定部Ｆは、図４（１）に示されるように、認識結果の上位３曲が表記され各表記に対応してチェック入力欄ＣＫｓ１〜ＣＫｓ３が設けられた結果表示選択画面をディスプレイ１７に表示し、ユーザに何れか１曲を選択させる。なお、各チェック入力欄を示す“◎”，“○”の意味は、図３の各チェック入力欄と同様である。

ユーザが、結果表示選択画面に表示された３曲の中に所望の楽曲ａがある場合、当該楽曲ａを選択してその表記に対応するチェック入力欄にチェックを入れると、選択された楽曲ａの認識結果が成功し、他の楽曲ｂ，ｃの認識結果は失敗であることが指定されると共に、図４（２）に示される優先度指定案内画面がディスプレイ１７に表示される。この優先度指定案内画面では、当該選択楽曲ａについて、第１／第２優先指定表記（ａ）／（ｂ）に対応するチェック入力欄ＣＫａａ／ＣＫｂａの入力により、上位優先度「ａ」（高）／「ｂ」（中）を指定し、残り２つの楽曲ｂ，ｃについて、各楽曲の第３／第４優先指定表記（ｃ）／（ｚ）に対応するチェック入力欄ＣＫｃｂ／ＣＫｚｂ，ＣＫｃｃ／ＣＫｚｃの入力により、下位優先度「ｃ」（低）／「ｚ」（対象除外）を指定することができる。

例えば、図示のように、図４（１）の結果表示選択画面でチェック入力欄ＣＫｓ１のチェックにより第１位の楽曲を選択し、図４（２）の優先度指定案内画面で、当該第１位楽曲ａについて第１優先指定表記（ａ）＝「お気に入りに入れる」のチェック入力欄ＣＫａａをチェックし、残りの高位楽曲（この例では第２位楽曲）ｂについては第３優先指定表記（ｃ）＝「不要ではない」のチェック入力欄ＣＫｃｂをチェックし、残りの低位楽曲（この例では第３位楽曲）ｃについては第４優先指定表記（ｚ）＝「不要」のチェック入力欄ＣＫｚｃをチェックしたとすると、第１位楽曲の認識結果を採用すべきことが指定され、第１，２，３位の楽曲に夫々優先度「ａ」，「ｃ」，「ｚ」が指定される。

各チェック入力欄のチェック後、優先度指定案内画面の了解ボタン「ＯＫ」を操作すると、楽曲認識部Ｅに、結果表示選択画面で選択された楽曲ａの採用が指示され、楽曲データベースＤの第１〜３位の楽曲には、優先度指定のチェック入力による指定に従った優先度が設定される。この場合、優先度指定の入力がないときは、図３と同様に、デフォルトで優先度が設定される。また、了解ボタン「ＯＫ」の操作前に回復ボタン「戻る」を操作すると、図４（１）の結果表示選択画面に戻り、指定操作をやり直すことができる。

なお、図４（１）の結果表示選択画面に表示された３曲中にユーザ所望の楽曲がない場合は、楽曲無しボタン「無し」のユーザ操作によって、３曲全ての認識結果を不採用とする旨の情報が楽曲認識部Ｅに送られる。この場合、これら３曲について、図４（２）の優先度指定案内画面の下段にある残りの楽曲の第３／第４優先指定領域と同様の優先指定画面を表示して優先度を「ｃ」又は「ｚ」に指定することができるようにしてもよい。

〔種々の実施態様〕
以上、図面を参照しつつ、この発明の好適な実施の形態について詳述したが、これは単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。例えば、楽曲データベースは、実施例では、ＭＩＤＩデータで構築した例を示したが、ＭＩＤＩデータ以外で構築してもよい。その場合、入力された音声／音響信号、ＭＩＤＩデータを楽曲データベース内の楽曲データと同形式に変換した後にマッチング処理をすればよい。

楽曲データベースにおける優先度情報の持ち方は、どのようなものであってもよい。例えば、楽曲データごとに優先度情報を付与してもよいし、優先度ごとにグループ化した複数データベース構成としてもよい。また、実施例では、一人のユーザを想定して各楽曲に優先度を設定するようにしたが、複数ユーザの演奏データ（ＭＩＤＩデータ）を認識する場合には、楽曲データベースの各楽曲に優先度情報及びユーザ識別情報を対応付けて付記しておき、演奏データを入力する際にユーザ識別情報を入力し、このユーザ識別情報に対応する優先度情報に従って楽曲認識を行うようにすればよい。

各機能部を異なる装置に備え、複数の装置全体として楽曲認識システムを構成するようにしてもよい。例えば、音声／音響入力部、ＭＩＤＩ化部、ＭＩＤＩ入力部、結果表示及び成否指定部、認識結果利用部をクライアント装置（電子音楽装置）に備え、楽曲データベースと楽曲認識部をサーバ装置に備えるようにしてもよい。或いは、認識結果利用部をクライアント装置ではなくサーバ装置に備えるようにしてもよい。

この発明の一実施例による電子音楽装置（楽曲認識システム）のハードウエア構成例を表わすブロック図である。 この発明の一実施例による電子音楽装置（楽曲認識システム）の機能的構成例を表わすブロック図である。 この発明の一実施例による案内画面の例を表わす図である。 この発明の一実施例による案内画面の変形例を表わす図である。

符号の説明

Ａ〜Ｃ 音声／音響入力部、ＭＩＤＩ化部及びＭＩＤＩ入力部（演奏データ入力手段）、
Ｄ 楽曲データベース（楽曲記憶手段）、
Ｅ 楽曲認識部（楽曲認識手段）、
Ｆ 結果表示及び成否指定部（認識結果提示手段、成否指定手段及び優先度設定手段）、
ＣＫ：ＣＫｓ，ＣＫｆ；ＣＫａ〜ＣＫｃ，ＣＫｚ チェック入力欄、
ＲＡ，ＤＡ 結果表示領域及び成否指定案内領域。

Claims (3)

1. 楽曲に関する楽曲データを楽曲認識上の優先度と共に複数楽曲分記憶する楽曲記憶手段と、
   ユーザ演奏に基づく演奏データを入力する演奏データ入力手段と、
   演奏データ入力手段により入力された演奏データと楽曲記憶手段に記憶された楽曲データとを当該楽曲データの優先度に従って比較し、当該演奏データに対応する楽曲を認識する楽曲認識手段と、
   楽曲認識手段による認識結果を提示する認識結果提示手段と、
   ユーザ操作に基づいて上記認識結果が妥当であるかどうかを指定する成否指定手段と、
   成否指定手段による指定に応じて、楽曲記憶手段中の上記認識結果に対応する楽曲の優先度を設定する優先度設定手段と
   を具備することを特徴とする電子音楽装置。
2. 前記優先度設定手段は、前記成否指定手段により前記認識結果が妥当でないことが指定された場合に、ユーザ操作に基づいて、当該認識結果に対応する楽曲が不要である旨が入力されたときは、認識対象から除外すべきことを指示する優先度を設定することを特徴とする請求項１に記載の電子音楽装置。
3. 楽曲に関する楽曲データを楽曲認識上の優先度と共に複数楽曲分記憶する楽曲記憶手段を具備するコンピュータに、
   ユーザ演奏に基づく演奏データを入力する演奏データ入力ステップと、
   演奏データステップで入力された演奏データと楽曲記憶手段に記憶された楽曲データとを当該楽曲データの優先度に従って比較し、当該演奏データに対応する楽曲を認識する楽曲認識ステップと、
   楽曲認識ステップでの認識結果を提示する認識結果提示ステップと、
   ユーザ操作に基づいて上記認識結果が妥当であるかどうかを指定する成否指定ステップと、
   成否指定ステップでの指定に応じて、楽曲記憶手段中の上記認識結果に対応する楽曲の優先度を設定する優先度設定ステップと
   から成る手順を実行させる楽曲認識プログラム。
   

Images