JP2004038049A

JP2004038049A - Performance comparison means and performance comparison program

Info

Publication number: JP2004038049A
Application number: JP2002198065A
Authority: JP
Inventors: Takeshi Kikuchi; 菊池　健
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-07-08
Filing date: 2002-07-08
Publication date: 2004-02-05
Anticipated expiration: 2022-07-08
Also published as: JP3849598B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a performance comparison system which makes it possible to obtain an adequate result of comparison and can compare user performance and model performance by a simple method even in the indistinct state of which part among a plurality of model performance parts is the user performance. <P>SOLUTION: The performance comparison system compares the user performance data DU with performance data DU, DB and DL relating to a plurality of the performance parts (right hand, both hands, and left hand), respectively (CR, CB, CL), evaluates to which performance part the user performance data belongs (any of the right hand, both hands, and left hand) and presents the result thereof (DC and RE). Also, the system forms image data Dr to DL, Du representing the respective performances in accordance with the model and user performance data DR to DL, DU (PR to PL, PU) in this comparison, compares both image data Dr to D1, and DU, determines the matching degree or mismatching degree (CR to CL) between the model performance data DR to DL/the user performance data DU and presents this matching degree or mismatching degree(RE). <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、ユーザ演奏を手本となる演奏と比較し評価するための演奏比較システムに関する。
【０００２】
【従来の技術】
従来より、ユーザの演奏データを、予め記憶しておいた手本（模範）となる演奏データと比較して、ユーザ演奏が手本演奏と比べてどの程度正しいかを判定して提示する装置がある。この場合、ユーザ演奏データ及び手本演奏データは同じ演奏パートであることが比較及び評価の前提となっている。しかしながら、手本演奏データが複数パートある場合には、ユーザ演奏データがどのパートについて演奏したものであるかが分からず、比較・評価をすることができない。
【０００３】
また、ユーザ演奏と手本演奏の比較を行う場合、一般的には、ユーザ演奏データ及び手本演奏データ両者の音高とタイミングとを比較する処理により行うが、この処理には、一方の演奏データの或る音符が他方の演奏データのどの音符に対応するかを決定するアルゴリズムなどが含まれる。従って、演奏比較には、非常に複雑な処理が要求されていた。
【０００４】
【発明が解決しようとする課題】
この発明は、このような事情に鑑み、ユーザ演奏が複数の手本演奏パートのうちどのパートのものであるのか不明な状態であっても、適切な比較結果を得ることができ、また、簡単な方法によりユーザ演奏と手本演奏とを比較することができる演奏比較システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の一つの特徴に従うと、複数の演奏パート（右手、両手、左手）に関する手本演奏データ（ＤＲ，ＤＢ，ＤＬ）及びユーザ演奏データ（ＤＵ）を取得する演奏データ取得手段（ＡＲ，ＭＢ，ＡＬ；ＡＵ）と、取得された各手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）とをそれぞれ比較する演奏比較手段（ＰＲ〜ＰＵ；ＣＲ〜ＣＬ）と、これらの比較結果に基づいて、ユーザ演奏データ（ＤＵ）がどの演奏パート（右手〜左手）に関する手本演奏データ（ＤＲ〜ＤＬ）に対応するかを評価し、この評価結果を提示する提示手段（ＤＣ，ＲＥ）とを具備する演奏比較装置〔請求項１〕、並びに、複数の演奏パート（右手、両手、左手）に関する手本演奏データ（ＤＲ，ＤＢ，ＤＬ）及びユーザ演奏データ（ＤＵ）を取得するステップ（ＡＲ，ＭＢ，ＡＬ；ＡＵ）と、取得された各手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）とをそれぞれ比較するステップ（ＰＲ〜ＰＵ；ＣＲ〜ＣＬ）と、これらの比較結果に基づいて、ユーザ演奏データ（ＤＵ）がどの演奏パート（右手〜左手）に関する手本演奏データ（ＤＲ〜ＤＬ）に対応するかを評価し、この評価結果を提示するステップ（ＤＣ，ＲＥ）とから成る手順を情報処理装置（ＰＣ）に実行させる演奏比較プログラム〔請求項３〕が提供される。なお、括弧書きは、後述する実施例における参照記号又は用語を表わし、以下においても同様である。
【０００６】
また、この発明の別の特徴に従うと、手本演奏データ（ＤＲ，ＤＢ，ＤＬ）及びユーザ演奏データ（ＤＵ）を取得する演奏データ取得手段（ＡＲ，ＭＢ，ＡＬ；ＡＵ）と、取得された手本演奏データ及びユーザ演奏データ（ＤＲ〜ＤＬ，ＤＵ）に基づいて、それぞれの演奏を表わす画像データ（Ｄｒ〜Ｄｌ，Ｄｕ）を生成する画像データ生成手段（ＰＲ〜ＰＬ，ＰＵ）と、両画像データ（Ｄｒ〜Ｄｌ，Ｄｕ）を比較して手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）との一致度合い（Ａ）又は不一致度合い（Ｂ）を求める演奏比較手段（ＣＲ〜ＣＬ）と、求められた一致度合い（Ａ）又は不一致度合い（Ｂ）を提示する提示手段（ＲＥ）とを具備することを特徴とする演奏比較装置〔請求項２〕、並びに、手本演奏データ（ＤＲ，ＤＢ，ＤＬ）及びユーザ演奏データ（ＤＵ）を取得するステップ（ＡＲ，ＭＢ，ＡＬ；ＡＵ）と、取得された手本演奏データ及びユーザ演奏データ（ＤＲ〜ＤＬ，ＤＵ）に基づいて、それぞれの演奏を表わす画像データ（Ｄｒ〜Ｄｌ，Ｄｕ）を生成するステップ（ＰＲ〜ＰＬ，ＰＵ）と、両画像データ（Ｄｒ〜Ｄｌ，Ｄｕ）を比較して手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）との一致度合い（Ａ）又は不一致度合い（Ｂ）を求めるステップ（ＣＲ〜ＣＬ）と、求められた一致度合い（Ａ）又は不一致度合い（Ｂ）を提示するステップ（ＲＥ）とから成る手順を情報処理装置（ＰＣ）に実行させる演奏比較プログラム〔請求項４〕が提供される。
【０００７】
〔発明の作用〕
この発明による演奏比較においては、複数の演奏パート（例えば、右手、両手、左手）に関する手本演奏データ（ＤＲ，ＤＢ，ＤＬ）を取得する（ＰＲ，ＭＢ，ＰＬ）と共に、ユーザ演奏データ（ＤＵ）を取得し（ＰＵ）、各手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）とをそれぞれ比較し（ＰＲ〜ＰＵ；ＣＲ〜ＣＬ）、ユーザ演奏データ（ＤＵ）がどの演奏パート（ＰＲ〜ＰＬ）に関するものかを求め（ＤＣ）、比較結果を提示する（ＲＥ）ようにしているので、ユーザ演奏データ（ＤＵ）がどのパートの演奏データを手本にしたものであるのかが分からない状態であっても、ユーザ演奏データ（ＤＵ）が手本の対象としている演奏パートについて、適切な比較結果を得ることができる。
【０００８】
なお、手本となる演奏データが鍵盤演奏データであり、予め右手及び左手演奏データ（ＤＲ，ＤＬ）が手本データとして用意されている場合には、これらの演奏データ（ＤＲ，ＤＬ）を手本演奏データ（ＤＲ，ＤＬ）とすると共に、該演奏データ（ＤＲ，ＤＬ）から両手演奏データ（ＤＢ）を作成して（ＭＢ）これを手本演奏データに加えることによって、ユーザ演奏データ（ＤＵ）が、左手演奏又は右手演奏を手本にしているかだけでなく、両手演奏を手本にしたものであるか否かについても評価することができる。
【０００９】
また、この発明による演奏比較においては、手本演奏データ（ＤＲ，ＤＢ，ＤＬ）を取得する（ＡＲ，ＭＢ，ＡＬ）と共に、ユーザ演奏データ（ＤＵ）を取得し（ＰＵ）、手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）を元にそれぞれの演奏を表わす画像データ（Ｄｒ〜Ｄｌ；Ｄｕ）を生成し（ＰＲ〜ＰＬ，ＰＵ）、両画像データ（Ｄｒ〜Ｄｌ；Ｄｕ）を比較して手本演奏データ（ＤＲ〜ＤＬ）とユーザ演奏データ（ＤＵ）との一致度合い（Ａ）又は不一致度合い（Ｂ）を求め（ＣＲ〜ＣＬ）、比較結果を提示する（ＲＥ）ようにしているので、画像データ同士の比較という非常に簡単なアルゴリズムによって、ユーザ演奏データ（ＤＵ）と手本演奏データ（ＤＲ〜ＤＬ）との比較が可能になる。
【００１０】
【発明の実施の形態】
以下、図面を参照しつつ、この発明の好適な実施の形態について詳述する。なお、以下の実施例は単なる一例であって、この発明の精神を逸脱しない範囲で種々の変更が可能である。
【００１１】
〔システムの概要〕
図１は、この発明の一実施例による演奏比較システムのハードウエア構成を示すブロック図である。この例では、演奏比較システムの本体装置となる情報処理装置としてパーソナルコンピュータ（ＰＣ）が用いられている。この演奏比較機能を有する情報処理装置ＰＣは、中央処理装置（ＣＰＵ）１、読出専用メモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３、外部記憶装置４、検出回路５、表示回路６、音源回路７、効果回路８、通信インターフェース（通信Ｉ／Ｆ）９、ＭＩＤＩインターフェース（ＭＩＤＩ・Ｉ／Ｆ）１０などを備え、これらの装置１〜１０はバス１１を介して互いに接続されている。
【００１２】
ＣＰＵ１は、所定のソフトウエア・プログラムに従いタイマ１２によるクロックを利用して、基本的な情報処理の外に、演奏データを比較・評価するための演奏比較処理や演奏データ再生処理を含む各種音楽情報処理の制御を行う。ＲＯＭ２には、このために、基本的情報処理や、演奏比較処理などの音楽情報処理を含む各種制御プログラム、制御パラメータ、曲データファイルなどのデータが記憶されており、曲データファイルは、ユーザ演奏の手本（模範）となる多数の曲データが収められている。ＲＡＭ３は、各種制御処理に際して必要なデータやパラメータを記憶し、また、処理中の各種データ等を一時記憶するためのワーク領域として用いられる。
【００１３】
外部記憶装置４は、ハードディスク（ＨＤ）や、コンパクトディスク・リード・オンリィ・メモリ（ＣＤ−ＲＯＭ）、フレキシブルディスク（ＦＤ）、光磁気（ＭＯ）ディスク、ディジタル多目的ディスク（ＤＶＤ）、半導体メモリ等の記憶媒体を含み、この情報処理装置ＰＣで利用される演奏比較プログラムや、上述した曲データファイルを記憶することができる。
【００１４】
検出回路５は、これに接続される入力操作子装置１３による設定／制御操作の内容を検出して情報処理装置ＰＣ内に導入する。入力操作子装置１３は、キーボードやマウスなどのポインチングデバイスなどの操作子を備え、この情報処理装置ＰＣの動作状態を設定したり演奏比較に必要な各種情報を入力するのに用いられる。表示回路６は、これに接続される表示装置１４の表示内容をＣＰＵ１からの指令に従って制御し、表示装置１４にはディスプレイ（表示器）や各種インジケータが含まれる。
【００１５】
音源回路７には、ＤＳＰを含む効果回路８が接続され、効果回路８にはＤ／Ａ変換部やアンプ、スピーカを含むサウンドシステム１５が接続される。これらの装置７，８，１５により、情報処理装置ＰＣに入力乃至記憶された演奏データなどの音楽情報に基づき楽音を発音する楽音生成部が形成される。
【００１６】
通信Ｉ／Ｆ９には、インターネットなどの通信ネットワーク１６を介してサーバコンピュータなどの他の情報機器１７が接続され、他の情報機器１７から手本（模範）演奏データなどの音楽情報を受信することができる。また、ＭＩＤＩ・Ｉ／Ｆ１０にはＭＩＤＩ機器１８が接続され、情報処理装置ＰＣとＭＩＤＩ機器１８との間でＭＩＤＩ音楽情報を授受することができる。ＭＩＤＩ機器１８は、鍵盤タイプのキーボード楽器や他の任意のタイプの電子楽器などの音楽演奏機能を有する音楽情報処理装置で構成され、例えば、ＭＩＤＩ機器１８でのユーザ演奏により得られたユーザ演奏データなどの音楽情報をＭＩＤＩ形式で情報処理装置ＰＣ内に送り込むことができる。なお、ＭＩＤＩ・Ｉ／Ｆ１０については、専用のＭＩＤＩインターフェースに限らず、ＲＳ−２３２Ｃ、ＵＳＢ（ユニバーサル・シリアル・バス）、ＩＥＥＥ１３９４（アイトリプルイー１３９４）等の汎用のインターフェースを用いてＭＩＤＩインターフェースを構成してもよい。この場合、ＭＩＤＩメッセージ以外のデータをも同時に送受信するようにしてもよい。
【００１７】
〔演奏比較処理〕
図２は、この発明の一実施例による演奏比較プログラムにより実行される演奏比較処理を機能的に表わす機能ブロック図である。ここで、図２を用いてこの発明の演奏比較手法の概略を説明しておく。この演奏比較システムでは、ユーザ演奏データＤＵについて、複数の演奏パート（右手、両手、左手）に関する演奏データＤＲ，ＤＢ，ＤＬとそれぞれ比較し（ＣＲ，ＣＢ，ＣＬ）、これらの比較結果に基づいてユーザ演奏データＤＵがどの演奏パートに関するか（右手、両手又は左手の何れであるか）を評価し（ＤＣ）、その結果を提示する（ＲＥ）。また、演奏データの比較に当っては、手本及びユーザ演奏データＤＲ〜ＤＬ，ＤＵに基づいて、それぞれの演奏を表わす画像データＤｒ〜Ｄｌ，Ｄｕを生成し（ＰＲ〜ＰＬ，ＰＵ）、両画像データＤｒ〜Ｄｌ，Ｄｕを比較して手本演奏データＤＲ〜ＤＬ・ユーザ演奏データＤＵ間の一致度Ａ又は不一致度Ｂを求め（ＣＲ〜ＣＬ）、この一致又は不一致度Ａ，Ｂを提示する（ＲＥ）。
【００１８】
以下、図２の機能ブロックに従って、この演奏比較動作を具体的に説明しよう。例えば、ＲＯＭ２や外部記憶装置４などに記憶された曲データファイルには、ユーザ演奏の手本となる多数の曲データが予め用意されており、各曲データには、右手演奏パートの演奏データを表わす右手演奏データＤＲ及び左手演奏パートの演奏データを表わす左手演奏データＤＬが含まれる。
【００１９】
入力操作子１３のユーザ操作によって、曲データファイルの内容をディスプレイ１４にリスト表示したり、表示された曲データリスト中から所望の曲データを手本として選択してＲＡＭ３上に呼び出し、当該曲データを構成する演奏データに基づいて、楽音生成部７，８，１５で発音させたり或いはディスプレイ１４上に楽譜で表示させることができる。従って、ユーザは、所望の曲データの右手演奏データＤＲ及び左手演奏データＤＬによる演奏を聴いたり或いは楽譜表示を見て、例えば、キーボードタイプのＭＩＤＩ機器１８を演奏することができる。
【００２０】
図２において、ユーザのＭＩＤＩ機器１８の演奏に基づくユーザ演奏データＤＵは、ＭＩＤＩ・Ｉ／Ｆ１０を介して、ユーザ演奏データ取得部ＡＵにより取得され、ＲＡＭ３上に記録（リアルタイム記録）される。このとき、ユーザ演奏データＤＵは、右手演奏の場合、左手演奏の場合或いは両手演奏の場合の何れかが考えられる。一方、手本とされた曲データの右手演奏データＤＲ及び左手演奏データＤＬは、それぞれ、右手演奏データ取得部ＡＲ及び左手演奏データ取得部ＡＬにより、手本演奏データとして取り出される。
【００２１】
次に、右手、左手、両手及びユーザ比較データ生成部ＤＲ，ＤＬ，ＤＢ，ＤＵは、演奏比較のためのデータＤｒ，Ｄｌ，Ｄｂ，Ｄｕを生成する。ここで、各比較データ生成部で生成される比較用のデータＤｒ，Ｄｌ，Ｄｂ，Ｄｕは、例えば、図３に示されるように、ピアノロール画像データとすることができる。演奏データからピアノロール画像データを生成する技術は周知であるので、ここでの説明は省略する。
【００２２】
具体的には、右手比較データ生成部ＰＲ及び左手比較データ生成部ＰＬは、それぞれ、右手演奏データＤＲ及び左手演奏データＤＬを基にして右手比較データＤｒ及び左手比較データＤｌを生成する。また、両手比較データ生成部ＰＢには両手演奏データ作成手段ＭＢが前置され、この両手演奏データ作成手段ＭＢは、右手演奏データＤＲ及び左手演奏データＤＬをマージして両手演奏パートを表わす両手演奏データＤＢを作成し、両手比較データ生成部ＰＢは、このデータマージで得られた両手演奏データＤＢを基にして両手比較データＤｂを生成する。さらに、ユーザ比較データ生成部ＰＵは、ユーザ演奏データＤＵを基にしてユーザ比較データＤｕを生成する。
【００２３】
次いで、右手、左手及び両手比較部ＣＲ，ＣＬ，ＣＢは、ユーザ比較データＤｕを、右手比較データＤｒ、左手比較データＤｌ及び両手比較データＤｂと、それぞれ比較し、それらの一致度合い或いは不一致度合いを求める。この比較には、例えば、図４に示されるように、図３のピアノロール画像データを比較する手法を採用することができる。
【００２４】
一例としては、各比較部において、比較される２つの比較データにより表わされるピアノロール画像を重ね合わせ、論理積（ＡＮＤ）をとることにより一致部分Ｄａを抽出し、一致部分Ｄａの面積を元に一致度合い“Ａ”を求めることができる。例えば、各比較部ＣＲ，ＣＬ，ＣＢでは、右手、左手又は両手比較データＤｒ，Ｄｌ，Ｄｂを手本比較データＤｓで表わすと、次式（１）によって一致度“Ａ”を求める：
Ａ　＝（一致部分Ｄａの面積）／（手本比較データＤｓの面積）　　…（１）
【００２５】
他の例としては、各比較部において、比較される２つの比較データにより表わされるピアノロール画像を重ね合わせ、排他的論理和（ＥＯＲ又は排他的ＯＲ）をとることにより不一致部分Ｄｅを抽出し、不一致部分Ｄｅの面積を元に不一致度合い“Ｂ”を求めることができる。例えば、各比較部ＣＲ，ＣＬ，ＣＢでは次式（２）によって不一致度“Ｂ”を求める：
Ｂ　＝（不一致部分Ｄｅの面積）／（手本比較データＤｓの面積）　…（２）
【００２６】
続いて、判定部ＤＣは、各比較部ＣＲ，ＣＬ，ＣＢでの比較結果を基にして最も類似度の高い比較対象を求め、ユーザ演奏データＤＵが、どのパートに係る演奏データであるか、即ち、右手、左手又は両手演奏データＤＲ，ＤＬ，ＤＢのうち、何れの演奏データを手本としていたかを判定すると共に、ユーザ演奏を採点する。
【００２７】
この判定手法の一例としては、最も一致度合い“Ａ”の高い比較結果を採用するか、或いは、最も不一致度合い“Ｂ”の低い比較結果を採用し、採用された比較結果を与える演奏パートの手本演奏データをユーザ演奏データの手本であると判定する。また、ユーザ演奏の採点については、採用された比較結果を用いてユーザ演奏の評価点を算出することができる。例えば、最も一致度合い“Ａ”の高い比較結果については、そのまま％値で採点したり、最も不一致度合い“Ｂ”の低い比較結果については、％値を所定値（例えば“１００”）から減算して採点したり、そのまま％値で不一致度としての採点を行うことができる。
【００２８】
そして、結果提示部ＲＥは、比較部ＣＲ，ＣＬ，ＣＢでの比較結果及び判定部ＤＣでの判定結果をディスプレイ１４上にユーザに提示する。この提示手法の一つの例としては、ユーザ演奏データＤＵが、「右手」、「左手」及び「両手」パートのうち、どのパートの演奏データに対応しているかという判定結果と、判定された手本演奏データとの一致度合い“Ａ”又は不一致度合い“Ｂ”の比較結果を点数などで表示する方法を採用することができる。また、他の例として、各比較部ＣＲ，ＣＬ，ＣＢでの各比較結果を採点数値などで全て提示し、それぞれの可能性を提示してもよい。
【００２９】
〔画像データによる比較及び判定例〕
この発明の一実施例による演奏比較システムでは、ユーザ演奏データを手本演奏データと比較するために画像データが用いられる。図３は、比較データ生成部で生成される画像データの一例を示し、図４は、比較部での比較手法を説明するための画像データ比較結果の一例を示す。各図において、縦軸（Ｙ軸）は音高レベルを表わす音高軸であり、横軸（Ｘ軸）は時間の経過を表わす時間軸である。
【００３０】
なお、図３及び図４において、各音高レベルＬ１〜Ｌ７を表わす破線は、各図間で画像データの音高位置を容易に対比することができるように付加した補助線である。また、時間軸下部の短い縦棒は、画像データの時間位置を容易に把握することができるように付加したものであり、演奏データ各音の演奏開始（キーオン）及び演奏終了（キーオフ）のタイミングを表わし、演奏開始タイミングについては更に記号“ｔｒ１”〜“ｔｒ７”，“ｔｕ１”〜“ｔｕ６”を付加している。
【００３１】
さて、各比較部ＣＲ，ＣＢ，ＣＬにおいて手本演奏データＤＲ，ＤＢ，ＤＬとユーザ演奏データＤＵとの比較に用いられる手本比較データＤｒ，Ｄｂ，Ｄｌ及びユーザ比較データＤｕには、図３に示すように、各演奏データに対応する画像データが用いられる。演奏データの各音は、図示のように、比較データ（画像データ）を構成する各音符画像で表現され、この音符画像は、例えば、演奏データ各音のキーオンからキーオフまでを所定幅のバーの長さで表わし、各バーを、各音の音高レベル及びキーオン／オフに従って、音高軸方向及び時間軸方向に並べたものである。
【００３２】
図３（１）は、右手比較データ生成部ＰＲで右手演奏データＤＲに基づいて生成される右手比較データＤｒを表わす画像データの一例を示す。この例では、右手比較データＤｒを構成する音符画像Ｄｒ１〜Ｄｒ７は、時間軸（横軸）上の右手演奏データＤＲ各音のキーオン（発音開始）タイミングｔｒ１〜ｔｒ７において、各音の音高に応じた音高軸方向の位置に出現し、各音のキーオフ（発音終了）タイミングで消滅する。つまり、音符画像Ｄｒ１〜Ｄｒ７を表わす所定幅のバーは、各音のキーオンタイミングｔｒ１〜ｔｒ７に対応する時間軸上に出現し、各バーの長さは各音のキーオンからキーオフまでの時間長を表わし，各バーの音高軸（縦軸）方向の配置は各音の音高レベルに従う。
【００３３】
また、図３（２）は、ユーザ比較データ生成部ＰＵでユーザ演奏データＤＵに基づいて生成されるユーザ比較データＤｕを表わす画像データの一例を示す。この例は、ユーザ比較データＤｕを構成する音符画像Ｄｕ１〜Ｄｕ６を表わす所定幅のバーは、同様に、時間軸（横軸）上のユーザ演奏データＤｕ各音のキーオンタイミングｔｕ１〜ｔｒ６順に、各音の音高に応じた音高軸（縦軸）上の位置に出現し、各音のキーオン〜オフ時間長に対応する長さを有する。
【００３４】
各比較部ＣＲ，ＣＢ，ＣＬのうち、右手比較部ＣＲでは、右手比較データＤｒによる画像データとユーザ比較データＤｕによる画像データが比較される。図４は、図３（１），（２）に例示される画像データＤｒ，Ｄｕを比較した結果を表わし、図４（１）は、両画像データＤｒ，Ｄｕの論理積（ＡＮＤ）演算を行って一致部分を抽出した場合の比較結果を示し、図４（１）は、両画像データＤｒ，Ｄｕの排他的論理和（ＥＯＲ）演算を行って不一致部分を抽出した場合の比較結果を示す。
【００３５】
図４（１）のＡＮＤ演算について説明を加えると、ユーザ演奏データＤＵの第１音に対応するユーザ第１音符画像Ｄｕ１〔図３（２）〕は、右手演奏データＤＲの第１音に基づく右手第１音符画像Ｄｒ１〔図３（１）〕と同じ音高レベルＬ２であるが、キーオン時点ｔｕ１及びキーオフ時点が右手第１音符画像Ｄｒ１のキーオン時点ｔｒ１及びキーオフ時点より遅れている。従って、両音符画像Ｄｕ１，Ｄｒ１のＡＮＤ演算結果Ｄａ１は、ユーザ音符画像Ｄｕ１のキーオン（ｔｕ１）から手本音符画像Ｄｒ１のキーオフまでに一致する。
【００３６】
次に、ユーザ第２音符画像Ｄｕ２については、キーオン期間が右手第２音符画像Ｄｒ２と一致するものの、音高レベルＬ３が右手第２音符画像Ｄｒ２の音高レベルＬ４と異なり（操作鍵の誤り）、他に、音符画像Ｄｕ２のキーオン期間中に同レベルの右手音符画像が存在しないので、ＡＮＤ演算結果は生成されない。また、右手第３音符画像Ｄｒ３についても、同レベル且つ同キーオン期間中にユーザ音符画像が存在しないので（弾き忘れ）、ＡＮＤ演算結果が生成されない。
【００３７】
さらに、ユーザ第３音符画像Ｄｕ３は、右手第４音符画像Ｄｒ４と同じ音高レベルＬ４であり、キーオン時点ｔｕ３が右手第４音符画像Ｄｒ４のキーオン時点ｔ４より早いだけなので、両音符画像Ｄｕ３，Ｄｕ４のＡＮＤ演算結果Ｄａ２は、ユーザ第１音符画像Ｄｕ１に一致する。以下、同様にして、ユーザ及び右手音符画像Ｄｕ３〜Ｄｕ６，Ｄｒ４〜Ｄｒ７について、音高レベルとキーオン期間の一致が調べられ、図４（１）に示されるように、一致する部分Ｄａ３〜Ｄａ５がＡＮＤ演算結果として生成される。
【００３８】
図４（２）のＥＯＲ演算については、まず、同じ音高レベルＬ２でキーオン期間が重なるユーザ第１音符画像Ｄｕ１〔図３（２）〕と右手第１音符画像Ｄｒ１〔図３（１）〕との間で、キーオン期間が重ならない右手第１音符画像Ｄｒ１の前半Ｄｅ１及ユーザ第１音符画像Ｄｕ１の後半Ｄｅ４がＥＯＲ演算結果として生成される。このＥＯＲ演算結果Ｄｅ４が生成される前（ｔｒ２＝ｔｕ２）にキーオンする右手第２音符画像Ｄｒ２及びユーザ第２音符画像Ｄｕ２については、ユーザ画像と右手画像に重なりがないので、そのまま、ＥＯＲ演算結果Ｄｅ２，Ｄｅ３として生成される。
【００３９】
さらに、右手第３音符画像Ｄｒ３も、音高レベルＬ７及びキーオン期間に重なるユーザ画像がないので、そのまま、ＥＯＲ演算結果Ｄｅ５として生成される。また、同じ音高レベルＬ４でキーオン期間の後半が重なるユーザ第３音符画像Ｄｕ３及び右手第４音符画像Ｄｒ４に対して、重なりのないユーザ及び右手画像のキーオン時点間ｔｕ３〜ｔｒ４がＥＯＲ演算結果Ｄｅ６となる。以下、同様にして、ユーザ及び右手音符画像Ｄｕ３〜Ｄｕ６，Ｄｒ４〜Ｄｒ７について、音高レベルとキーオン期間の不一致が調べられ、図４（２）に示されるように、一致しない部分Ｄｅ７〜Ｄｅ９がＥＯＲ演算結果として生成される。
【００４０】
〔種々の実施態様〕
以上、この発明を一実施例について説明したが、この発明は種々の態様で実施することができる。例えば、手本演奏データについては、実施例では、右手、左手及び両手の３パートを用いたが、これに限らない。右手と左手だけでもよいし、さらに、それ以外のパートがあってもよい。
【００４１】
ユーザが演奏する楽器の形態は、実施例で説明した鍵盤楽器（キーボード楽器）に限らず、弦楽器、管楽器、打楽器など、どのような形態でもよい。さらに、情報処理装置（ＰＣ）と各形態の電子楽器を別置せず、演奏比較システムを電子楽器に一体化して、情報処理装置（ＰＣ）の持つ演奏比較処理機能を当該電子楽器に組み込んでもよい。
【００４２】
また、ユーザが演奏する楽器に対応して、手本演奏データのパートもどのようなパートでもよい。さらに、手本演奏データは、例えば、鍵盤楽器と弦楽器というように、複数の形態の楽器パートからなっていてもよい。
【００４３】
演奏データから生成される画像データは、ピアノロール画像に限らず、楽譜画像など、演奏を表わす画像であればどのようなものでもよい。ただし、楽譜画像の場合、ノートオン、ノートオフの微妙なタイミングのずれを表現できないので、これらを表現することができるピアノロール画像の方が、微妙なタイミングのずれをも評価することができるという点で好ましい。
【００４４】
なお、演奏データのフォーマットは、演奏イベントの発生時刻を１つ前のイベントからの時間で表わした「イベント＋相対時間」、演奏イベントの発生時刻を曲や小節内における絶対時間で表わした「イベント＋絶対時間」、音符の音高と符長或いは休符と休符長で演奏データを表わした「音高（休符）＋符長」、演奏の最小分解能毎にメモリの領域を確保し、演奏イベントの発生する時刻に対応するメモリ領域に演奏イベントを記憶した「ベタ方式」等、どのような形式でもよい。
【００４５】
【発明の効果】
以上説明したように、この発明によれば、複数の演奏パート（例えば、右手、両手、左手）に関する手本演奏データを取得すると共にユーザ演奏データを取得し、各手本演奏データとユーザ演奏データとをそれぞれ比較して、ユーザ演奏データがどの演奏パートに関するものかを求め、比較結果を提示するようにしているので、ユーザ演奏データがどのパートの演奏データを手本にしたものであるのかが分からない状態であっても、適切な比較結果を得ることができる。
【００４６】
また、この発明によれば、手本演奏データを取得すると共にユーザ演奏データを取得し、手本演奏データとユーザ演奏データを元に、それぞれの演奏を表わす画像データを生成し、両画像データを比較して手本演奏データとユーザ演奏データとの一致度合い又は不一致度合いを求め、比較結果を提示するようにしているので、画像データ同士の比較という非常に簡単なアルゴリズムによって、ユーザ演奏データを手本演奏データと比較することができる。
【図面の簡単な説明】
【図１】図１は、この発明の一実施例による演奏比較システム（パーソナルコンピュータ）のハードウエア構成ブロック図である。
【図２】図２は、この発明の一実施例による演奏比較処理を表わす機能ブロック図である。
【図３】図３は、この発明の一実施例による演奏比較システムの比較データ生成機能により生成されるピアノロール画像の一例を示す図である。
【図４】図４は、この発明の一実施例による演奏比較システムの比較機能による比較結果の一例を示す図である。
【符号の説明】
ＤＲ，ＤＢ，ＤＬ，ＤＵ　右手、左手、両手及びユーザ演奏データ、
Ｄｒ，Ｄｂ，Ｄｌ，Ｄｕ　右手、左手、両手及びユーザ比較データ（画像データ）、
Ｄｒ１〜Ｄｒ７，Ｄｕ１〜Ｄｕ６　右手及びユーザ比較データの各音を表わす音符画像、
Ｌ１〜Ｌ７　音高レベル、
ｔｕ１〜ｔｕ６，ｔｒ１〜ｔｒ７　右手及びユーザ演奏データ各音の開始タイミング、
Ｄａ１〜Ｄａ５，Ｄｅ１〜Ｄｅ９　論理積（ＡＮＤ）及び排他的論理和（ＥＯＲ）による比較結果Ｄａ，Ｄｅを表わす各音の比較結果画像。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a performance comparison system for comparing and evaluating a user performance with a model performance.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there has been an apparatus that compares performance data of a user with performance data serving as a model (model) stored in advance, and determines and presents how correct the user performance is compared with the model performance. is there. In this case, it is assumed that the user performance data and the model performance data are the same performance part for comparison and evaluation. However, when the model performance data includes a plurality of parts, it is not possible to determine which part of the user performance data has been performed, so that comparison and evaluation cannot be performed.
[0003]
Further, when comparing the user performance and the model performance, generally, the processing is performed by comparing the pitch and the timing of both the user performance data and the model performance data. It includes an algorithm for determining which note in the data corresponds to which note in the other performance data. Therefore, the performance comparison required very complicated processing.
[0004]
[Problems to be solved by the invention]
In view of such circumstances, the present invention can obtain an appropriate comparison result even in a state where it is not clear which of a plurality of model performance parts the user performance belongs to. It is an object of the present invention to provide a performance comparison system capable of comparing a user performance with a model performance by a simple method.
[0005]
[Means for Solving the Problems]
According to one feature of the present invention, performance data acquisition means (AR, MB) for acquiring model performance data (DR, DB, DL) and user performance data (DU) for a plurality of performance parts (right hand, both hands, left hand). , AL; AU), performance comparison means (PR-PU; CR-CL) for comparing each of the acquired model performance data (DR-DL) and the user performance data (DU), and the comparison results of these. (DC, RE) which evaluates the user performance data (DU) with the model performance data (DR-DL) related to which performance part (right hand to left hand) on the basis of the performance data. And a sample performance data (DR, DB, DL) and a user performance data (DU) relating to a plurality of performance parts (right hand, both hands, left hand). Steps (AR, MB, AL; AU) and steps (PR-PU; CR-CL) for comparing each of the acquired model performance data (DR-DL) with the user performance data (DU), respectively. Is evaluated based on the result of the comparison of the user performance data (DU) with the model performance data (DR-DL) for which performance part (right hand to left hand), and presenting the evaluation result (DC, RE) is executed by the information processing apparatus (PC). Note that parentheses indicate reference symbols or terms in the embodiments described later, and the same applies to the following.
[0006]
According to another feature of the present invention, performance data acquisition means (AR, MB, AL; AU) for acquiring model performance data (DR, DB, DL) and user performance data (DU). Image data generating means (PR-PL, PU) for generating image data (Dr-D1, Du) representing respective performances based on the model performance data and the user performance data (DR-DL, DU); Performance comparison means (CR to CR) for comparing the image data (Dr to Dl, Du) to obtain the degree of agreement (A) or the degree of disagreement (B) between the model performance data (DR to DL) and the user performance data (DU). CL) and a presentation means (RE) for presenting the determined degree of coincidence (A) or degree of non-coincidence (B). (DR DB, DL) and user performance data (DU) (AR, MB, AL; AU). Based on the acquired model performance data and user performance data (DR to DL, DU), A step (PR-PL, PU) of generating image data (Dr-Dl, Du) representing a performance, and comparing the two image data (Dr-Dl, Du) with sample performance data (DR-DL) and user A step (CR-CL) for obtaining a degree of agreement (A) or a degree of disagreement (B) with the performance data (DU); and a step (RE) for presenting the degree of agreement (A) or the degree of disagreement (B). A performance comparison program for causing an information processing device (PC) to execute the procedure consisting of the following is provided.
[0007]
[Function of the Invention]
In the performance comparison according to the present invention, sample performance data (DR, DB, DL) relating to a plurality of performance parts (for example, right hand, both hands, left hand) are obtained (PR, MB, PL) and user performance data (DU). ) Is obtained (PU), each sample performance data (DR-DL) is compared with the user performance data (DU) (PR-PU; CR-CL), and which performance part is included in the user performance data (DU). Since it is determined whether the data pertains to (PR to PL) (DC) and the comparison result is presented (RE), it is possible to determine which part of the user performance data (DU) is modeled on the performance data of the part. Even in a state where the performance part is unknown, an appropriate comparison result can be obtained for the performance part whose model is the user performance data (DU).
[0008]
If the model performance data is keyboard performance data, and the right-hand and left-hand performance data (DR, DL) are prepared in advance as model data, the performance data (DR, DL) is used as the model data. In addition to the actual performance data (DR, DL), two-hand performance data (DB) is created from the performance data (DR, DL) (MB) and is added to the example performance data, so that the user performance data (DU) is obtained. ) Can be evaluated not only as a model of left-handed or right-handed performance but also as a model of two-handed performance.
[0009]
In the performance comparison according to the present invention, sample performance data (DR, DB, DL) is obtained (AR, MB, AL), and user performance data (DU) is obtained (PU). Based on (DR-DL) and user performance data (DU), image data (Dr-Dl; Du) representing each performance is generated (PR-PL, PU), and both image data (Dr-Dl; Du) To determine the degree of agreement (A) or degree of disagreement (B) between the model performance data (DR to DL) and the user performance data (DU) (CR to CL), and present the comparison result (RE). Therefore, the user performance data (DU) and the model performance data (DR to DL) can be compared by a very simple algorithm of comparing image data.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments are merely examples, and various modifications can be made without departing from the spirit of the present invention.
[0011]
[Overview of the system]
FIG. 1 is a block diagram showing a hardware configuration of a performance comparison system according to one embodiment of the present invention. In this example, a personal computer (PC) is used as an information processing device serving as a main device of the performance comparison system. The information processing device PC having the performance comparison function includes a central processing unit (CPU) 1, a read-only memory (ROM) 2, a random access memory (RAM) 3, an external storage device 4, a detection circuit 5, a display circuit 6, a sound source The apparatus includes a circuit 7, an effect circuit 8, a communication interface (communication I / F) 9, a MIDI interface (MIDI I / F) 10, and the like. These devices 1 to 10 are connected to each other via a bus 11.
[0012]
The CPU 1 uses the clock of the timer 12 in accordance with a predetermined software program to execute various music information including a performance comparison process for comparing and evaluating performance data and a performance data reproduction process in addition to basic information processing. Controls processing. For this purpose, the ROM 2 stores various control programs including basic information processing and music information processing such as performance comparison processing, control parameters, and data such as a music data file. It contains a large number of song data that are used as examples. The RAM 3 is used as a work area for storing data and parameters necessary for various control processes and for temporarily storing various data and the like being processed.
[0013]
The external storage device 4 includes a hard disk (HD), a compact disk read only memory (CD-ROM), a flexible disk (FD), a magneto-optical (MO) disk, a digital multipurpose disk (DVD), a semiconductor memory, and the like. It includes a storage medium, and can store a performance comparison program used in the information processing apparatus PC and the above-mentioned music data file.
[0014]
The detection circuit 5 detects the content of the setting / control operation by the input operation device 13 connected thereto and introduces the content into the information processing device PC. The input control device 13 includes controls such as a pointing device such as a keyboard and a mouse, and is used to set the operation state of the information processing device PC and to input various information necessary for performance comparison. The display circuit 6 controls display contents of a display device 14 connected thereto in accordance with a command from the CPU 1, and the display device 14 includes a display (display) and various indicators.
[0015]
The sound source circuit 7 is connected to an effect circuit 8 including a DSP, and the effect circuit 8 is connected to a sound system 15 including a D / A converter, an amplifier, and a speaker. These devices 7, 8, and 15 form a musical sound generation unit that generates musical tones based on music information such as performance data input or stored in the information processing device PC.
[0016]
The communication I / F 9 is connected to another information device 17 such as a server computer via a communication network 16 such as the Internet, and receives music information such as model (model) performance data from the other information device 17. Can be. Also, a MIDI device 18 is connected to the MIDI I / F 10 so that MIDI music information can be exchanged between the information processing device PC and the MIDI device 18. The MIDI device 18 is composed of a music information processing device having a music performance function such as a keyboard-type keyboard instrument or any other type of electronic musical instrument. For example, user performance data obtained by user performance on the MIDI device 18 Music information such as MIDI information can be sent into the information processing apparatus PC in the MIDI format. Note that the MIDI I / F 10 is not limited to a dedicated MIDI interface, and a MIDI interface is configured using a general-purpose interface such as RS-232C, USB (Universal Serial Bus), or IEEE 1394 (Itriple 1394). May be. In this case, data other than the MIDI message may be transmitted and received at the same time.
[0017]
[Performance comparison processing]
FIG. 2 is a functional block diagram functionally showing performance comparison processing executed by the performance comparison program according to one embodiment of the present invention. Here, the outline of the performance comparison method of the present invention will be described with reference to FIG. In this performance comparison system, the user performance data DU is compared with performance data DR, DB, DL for a plurality of performance parts (right hand, both hands, left hand), respectively (CR, CB, CL), and based on these comparison results. It evaluates which performance part (right hand, both hands, or left hand) the user performance data DU relates to (DC) and presents the result (RE). In comparison of the performance data, image data Dr-Dl, Du representing respective performances are generated based on the model and user performance data DR-DL, DU (PR-PL, PU). By comparing the image data Dr to Dl and Du, the degree of coincidence A or the degree of inconsistency B between the model performance data DR to DL and the user performance data DU is obtained (CR to CL), and the degrees of coincidence or inconsistency A and B are presented. (RE).
[0018]
Hereinafter, this performance comparison operation will be specifically described with reference to the functional blocks of FIG. For example, in a music data file stored in the ROM 2 or the external storage device 4 or the like, a large number of music data serving as an example of a user performance is prepared in advance, and each music data contains performance data of a right-hand performance part. The right hand performance data DR and the left hand performance data DL representing the performance data of the left hand performance part are included.
[0019]
The user operates the input operation unit 13 to display the contents of the music data file in a list on the display 14 or select desired music data from the displayed music data list as an example and call it on the RAM 3 to read the music data. Can be generated by the musical tone generators 7, 8, 15 or displayed on the display 14 in the form of a musical score based on the performance data constituting. Therefore, the user can listen to the performance of the desired music data by the right hand performance data DR and the left hand performance data DL or watch the musical score display, and can play the keyboard type MIDI device 18, for example.
[0020]
In FIG. 2, user performance data DU based on the user's performance on the MIDI device 18 is acquired by the user performance data acquisition unit AU via the MIDI I / F 10 and recorded on the RAM 3 (real-time recording). At this time, the user performance data DU may be one of a right-hand performance, a left-hand performance, and a two-hand performance. On the other hand, the right-hand performance data DR and the left-hand performance data DL of the sampled music data are extracted as model performance data by the right-hand performance data acquisition unit AR and the left-hand performance data acquisition unit AL, respectively.
[0021]
Next, the right hand, left hand, both hands, and the user comparison data generation units DR, DL, DB, and DU generate data Dr, Dl, Db, and Du for performance comparison. Here, the comparison data Dr, Dl, Db, and Du generated by each comparison data generation unit can be, for example, piano roll image data as shown in FIG. A technique for generating the piano roll image data from the performance data is well-known, and a description thereof will be omitted.
[0022]
Specifically, the right hand comparison data generator PR and the left hand comparison data generator PL generate right hand comparison data Dr and left hand comparison data Dl based on the right hand performance data DR and the left hand performance data DL, respectively. The two-hand performance data creation unit MB is provided in front of the two-hand performance data creation unit PB. The two-hand performance data creation unit MB merges the right-hand performance data DR and the left-hand performance data DL to represent a two-hand performance part. The data DB is created, and the two-hand comparison data generation unit PB generates two-hand comparison data Db based on the two-hand performance data DB obtained by the data merging. Further, the user comparison data generation unit PU generates the user comparison data Du based on the user performance data DU.
[0023]
Next, the right-hand, left-hand, and both-hand comparison units CR, CL, and CB compare the user comparison data Du with the right-hand comparison data Dr, the left-hand comparison data Dl, and the two-hand comparison data Db, respectively, and determine the degree of coincidence or disagreement. Ask. For this comparison, for example, as shown in FIG. 4, a method of comparing the piano roll image data of FIG. 3 can be employed.
[0024]
As an example, in each comparing unit, a coincidence portion Da is extracted by superimposing a piano roll image represented by two pieces of comparison data to be compared and taking a logical product (AND), and based on an area of the coincidence portion Da. The degree of coincidence “A” can be obtained. For example, in each of the comparison units CR, CL, and CB, when the right-hand, left-hand or both-hand comparison data Dr, Dl, and Db are represented by the model comparison data Ds, the degree of coincidence “A” is obtained by the following equation (1):
A = (Area of matching part Da) / (Area of sample comparison data Ds) (1)
[0025]
As another example, in each comparing unit, a non-matching portion De is extracted by superimposing a piano roll image represented by two pieces of comparison data to be compared and taking an exclusive OR (EOR or exclusive OR). The degree of mismatch "B" can be determined based on the area of the mismatched portion De. For example, in each of the comparison units CR, CL, and CB, the degree of mismatch “B” is obtained by the following equation (2):
B = (area of mismatched part De) / (area of sample comparison data Ds) (2)
[0026]
Subsequently, the determination unit DC obtains a comparison target having the highest similarity based on the comparison results of the respective comparison units CR, CL, and CB, and determines which part of the user performance data DU is the performance data relating to which part. That is, it is determined which of the right-hand, left-hand or both-hand performance data DR, DL, and DB is used as the model, and the user performance is scored.
[0027]
As an example of this determination method, a comparison result with the highest degree of matching “A” or a comparison result with the lowest degree of mismatch “B” is adopted, and the hand of the playing part giving the adopted comparison result is used. It is determined that the main performance data is a model of the user performance data. Further, regarding the scoring of the user performance, an evaluation point of the user performance can be calculated using the adopted comparison result. For example, the comparison result with the highest matching degree “A” is scored as it is with the percentage value, and the comparison result with the lowest matching degree “B” is subtracted from the predetermined value (for example, “100”). Can be scored, or can be scored as the degree of inconsistency using the% value as it is.
[0028]
Then, the result presentation unit RE presents the comparison result in the comparison units CR, CL, and CB and the determination result in the determination unit DC to the user on the display 14. As one example of this presentation method, a determination result indicating which part of the user performance data DU corresponds to the performance data of the “right hand”, “left hand”, and “both hands” parts, and the determined hand A method of displaying the comparison result of the degree of coincidence "A" or the degree of non-coincidence "B" with the performance data by a score or the like can be adopted. Further, as another example, all of the comparison results in the respective comparison units CR, CL, and CB may be presented as scoring numerical values, and the respective possibilities may be presented.
[0029]
[Comparison and determination example using image data]
In the performance comparison system according to one embodiment of the present invention, image data is used to compare user performance data with sample performance data. FIG. 3 shows an example of image data generated by the comparison data generation unit, and FIG. 4 shows an example of image data comparison results for explaining a comparison method by the comparison unit. In each figure, the vertical axis (Y axis) is a pitch axis representing a pitch level, and the horizontal axis (X axis) is a time axis representing the passage of time.
[0030]
3 and 4, broken lines representing the pitch levels L1 to L7 are auxiliary lines added so that the pitch positions of the image data can be easily compared between the drawings. The short vertical bar at the bottom of the time axis is added so that the time position of the image data can be easily grasped. The timing of the start (key-on) and the end (key-off) of each sound of the performance data The symbols “tr1” to “tr7” and “tu1” to “tu6” are further added to the performance start timing.
[0031]
Now, in each of the comparison units CR, CB, CL, the model comparison data Dr, Db, D1 and the user comparison data Du used for comparing the model performance data DR, DB, DL with the user performance data DU are shown in FIG. As shown in FIG. 7, image data corresponding to each performance data is used. As shown in the figure, each sound of the performance data is represented by a note image that forms comparison data (image data). The note image includes, for example, a bar having a predetermined width from key-on to key-off of each sound of the performance data. Each bar is arranged in the pitch axis direction and the time axis direction according to the pitch level and key on / off of each sound.
[0032]
FIG. 3A shows an example of image data representing the right hand comparison data Dr generated by the right hand comparison data generation unit PR based on the right hand performance data DR. In this example, the note images Dr1 to Dr7 constituting the right-hand comparison data Dr have the pitches of the respective right-hand performance data DR on the time axis (horizontal axis) at key-on (sound generation start) timings tr1 to tr7. It appears at a position corresponding to the pitch axis direction and disappears at the key-off (end of sound) timing of each sound. That is, the bars of a predetermined width representing the note images Dr1 to Dr7 appear on the time axis corresponding to the key-on timings tr1 to tr7 of each sound, and the length of each bar indicates the time length from key-on to key-off of each sound. Each bar has a pitch axis (vertical axis) direction according to the pitch level of each sound.
[0033]
FIG. 3B shows an example of image data representing the user comparison data Du generated by the user comparison data generation unit PU based on the user performance data DU. In this example, similarly, the bars of a predetermined width representing the note images Du1 to Du6 constituting the user comparison data Du are similarly displayed in the order of the key-on timings tu1 to tr6 of the user performance data Du on the time axis (horizontal axis). It appears at a position on the pitch axis (vertical axis) corresponding to the pitch of the sound, and has a length corresponding to the key-on to off time length of each sound.
[0034]
Among the comparison units CR, CB, CL, the right hand comparison unit CR compares the image data based on the right hand comparison data Dr with the image data based on the user comparison data Du. FIG. 4 shows a result of comparing the image data Dr and Du exemplified in FIGS. 3A and 3B, and FIG. 4A shows a logical product (AND) operation of the two image data Dr and Du. FIG. 4A shows a comparison result when an exclusive OR (EOR) operation is performed on both image data Dr and Du to extract a mismatched portion. .
[0035]
To explain the AND operation of FIG. 4A, the user first note image Du1 [FIG. 3B] corresponding to the first sound of the user performance data DU is based on the first sound of the right hand performance data DR. Although the pitch level L2 is the same as the right hand first note image Dr1 [FIG. 3 (1)], the key-on time tu1 and the key-off time are later than the key-on time tr1 and the key-off time of the right-hand first note image Dr1. Therefore, the AND operation result Da1 of both note images Du1 and Dr1 coincides from the key-on (tu1) of the user note image Du1 to the key-off of the sample note image Dr1.
[0036]
Next, for the user second note image Du2, the key-on period matches the right-hand second note image Dr2, but the pitch level L3 is different from the pitch level L4 of the right-hand second note image Dr2 (operation key error). Since there is no right-hand note image of the same level during the key-on period of the note image Du2, no AND operation result is generated. Also, as for the right-hand third note image Dr3, since there is no user note image during the same level and the same key-on period (forgetting to play), no AND operation result is generated.
[0037]
Further, since the user third note image Du3 has the same pitch level L4 as the right hand fourth note image Dr4, and the key-on time tu3 is only earlier than the key-on time t4 of the right hand fourth note image Dr4, both note images Du3 and Du4. AND operation result Da2 corresponds to the user first note image Du1. Thereafter, in the same manner, for the user and the right hand note images Du3 to Du6, Dr4 to Dr7, the match between the pitch level and the key-on period is checked, and as shown in FIG. 4A, the matching portions Da3 to Da5 are found. It is generated as an AND operation result.
[0038]
Regarding the EOR operation in FIG. 4 (2), first, the user first note image Du1 [FIG. 3 (2)] and the right-hand first note image Dr1 [FIG. 3 (1)] in which the key-on period overlaps at the same pitch level L2. The first half De1 of the right hand first note image Dr1 and the second half De4 of the user first note image Du1 in which the key-on periods do not overlap are generated as the EOR operation result. The right hand second note image Du2 and the right hand second note image Du2, which are keyed on before the EOR operation result De4 is generated (tr2 = tu2), do not overlap the user image and the right hand image. It is generated as De2, De3.
[0039]
Furthermore, the right-hand third note image Dr3 is also generated as it is as the EOR operation result De5 because there is no user image overlapping the pitch level L7 and the key-on period. Further, for the user third note image Du3 and the right hand fourth note image Dr4 in which the latter half of the key-on period overlaps at the same pitch level L4, the EOR operation result De6 is the key-on time point tu3 to tr4 of the non-overlapping user and right hand image. It becomes. Hereinafter, similarly, for the user and the right hand note images Du3 to Du6, Dr4 to Dr7, the discrepancy between the pitch level and the key-on period is checked, and as shown in FIG. It is generated as an EOR operation result.
[0040]
(Various embodiments)
Although the present invention has been described with reference to one embodiment, the present invention can be implemented in various modes. For example, for the example performance data, the right hand, the left hand, and both hands are used in the embodiment, but the present invention is not limited to this. Only the right and left hands may be used, or there may be other parts.
[0041]
The form of the instrument played by the user is not limited to the keyboard instrument (keyboard instrument) described in the embodiment, but may be any form such as a stringed instrument, a wind instrument, and a percussion instrument. Furthermore, the performance comparison system is integrated into the electronic musical instrument without separately providing the information processing device (PC) and the electronic musical instrument of each form, and the performance comparison processing function of the information processing device (PC) is incorporated in the electronic musical instrument. Good.
[0042]
Further, the part of the model performance data may be any part corresponding to the musical instrument played by the user. Furthermore, the model performance data may be composed of a plurality of types of instrument parts, for example, a keyboard instrument and a string instrument.
[0043]
The image data generated from the performance data is not limited to a piano roll image, but may be any image representing a performance, such as a score image. However, in the case of a musical score image, it is not possible to express subtle timing differences between note-on and note-off, so a piano roll image that can express these can evaluate subtle timing deviations as well. It is preferable in that respect.
[0044]
The format of the performance data is “event + relative time” in which the occurrence time of the performance event is represented by the time from the immediately preceding event, and “event” in which the occurrence time of the performance event is represented by the absolute time in the music or bar + Absolute time "," pitch (rest) + note length ", which represents performance data in note pitch and note length or rest and rest length, and secures a memory area for each minimum resolution of performance, Any format, such as a “solid method” in which performance events are stored in a memory area corresponding to the time at which the performance event occurs, may be used.
[0045]
【The invention's effect】
As described above, according to the present invention, sample performance data for a plurality of performance parts (for example, right hand, both hands, and left hand) and user performance data are obtained, and each model performance data and user performance data are obtained. Are compared with each other to determine which performance part the user performance data pertains to, and the comparison result is presented. Therefore, it is possible to determine which part of the user performance data is a model of the performance data. Even if the state is unknown, an appropriate comparison result can be obtained.
[0046]
Further, according to the present invention, the model performance data is obtained and the user performance data is obtained. Based on the model performance data and the user performance data, image data representing each performance is generated. Since the degree of coincidence or inconsistency between the model performance data and the user performance data is determined by comparison, and the comparison result is presented, the user performance data is manually processed by a very simple algorithm of comparing image data. This can be compared with the performance data.
[Brief description of the drawings]
FIG. 1 is a hardware configuration block diagram of a performance comparison system (personal computer) according to an embodiment of the present invention.
FIG. 2 is a functional block diagram showing performance comparison processing according to an embodiment of the present invention.
FIG. 3 is a diagram showing an example of a piano roll image generated by a comparison data generation function of the performance comparison system according to one embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of a comparison result by a comparison function of the performance comparison system according to the embodiment of the present invention;
[Explanation of symbols]
DR, DB, DL, DU right hand, left hand, both hands and user performance data,
Dr, Db, Dl, Du right hand, left hand, both hands and user comparison data (image data)
Dr1 to Dr7, Du1 to Du6 Note images representing each sound of right hand and user comparison data,
L1 to L7 pitch level,
tu1 to tu6, tr1 to tr7 right hand and user performance data start timing of each sound,
Da1 to Da5, De1 to De9 Comparison result images of sounds representing the comparison results Da and De by logical product (AND) and exclusive OR (EOR).

Claims

Performance data acquisition means for acquiring model performance data and user performance data for a plurality of performance parts;
Performance comparison means for comparing each of the acquired model performance data with the user performance data,
A performance comparing device, comprising: a presentation unit that evaluates, based on these comparison results, the user performance data corresponding to the model performance data for which performance part, and presents the evaluation result.

Performance data acquisition means for acquiring model performance data and user performance data,
Image data generating means for generating image data representing each performance based on the acquired model performance data and user performance data;
Performance comparison means for comparing the two image data to determine the degree of agreement or mismatch between the model performance data and the user performance data;
And a presentation means for presenting the determined degree of coincidence or degree of disagreement.

Obtaining model performance data and user performance data for a plurality of performance parts;
Comparing each of the acquired model performance data with the user performance data,
A performance comparison program for causing the information processing apparatus to execute a procedure comprising: evaluating, based on these comparison results, the user performance data corresponding to the model performance data relating to which performance part, and presenting the evaluation results.

Obtaining model performance data and user performance data;
Generating image data representing each performance based on the acquired model performance data and user performance data;
Comparing the two image data to determine the degree of agreement or mismatch between the model performance data and the user performance data;
And a step of presenting the determined degree of coincidence or degree of disagreement.