JP2019053170A - 楽器練習装置 - Google Patents

Abstract

【課題】演奏が適切であるか否かを確認できるようにし、高い練習効果を得られるようにする。【解決手段】楽器練習装置は、演奏音データと演奏中の楽器練習者の演奏部位を録画した演奏動画データとを生成する撮影部と、楽譜データ、見本奏者の演奏部位を撮影した見本動画データ、及び、実演奏データを記憶する記憶部と、演奏動画データと見本動画データを合成し、演奏動画データと見本動画データが同時に再生される合成データを生成する制御部と、を備える。【選択図】図４

Description

本発明は、撮影（録音、録画）を行い、楽器練習者の技術を向上させる楽器練習装置に関する。

様々な楽器がある。例えば、ピアノ、ギターのような楽器がある。楽譜に沿って正確に演奏できるようになるため、使用者は繰り返し練習する。楽器の練習を効率的に行うための技術の一例が特許文献１に記載されている。

具体的に、特許文献１には、キーボードによる演奏楽器で音楽を演奏し、演奏信号をＭＩＤＩ規格で変換し、その後、演奏評価装置に送信し、伝送されて来た演奏信号とデータベースに記録してある演奏楽曲の楽譜信号と比較演算し、比較演算結果に演奏評価を加え、評価結果を演奏楽器に再送信し、演奏楽器に付属するコンピューターで評価結果を表示し、修正演奏できるようにした演奏評価システムが記載されている。この構成により、評価結果に従って演奏の再練習を行わせ、先生によるレッスンを受けるのと同等の練習結果を得ようとする（特許文献１：請求項１、段落［０００５］等参照）。

特開平１０−６３１７５号公報

演奏技術の向上には、練習が必要である。誤った奏法や、不適切な奏法で練習を繰り返しても、演奏技術はあまり向上しない。我流の練習では、変なクセがつくこともある。そこで、演奏技術の向上のため、楽器の熟練者を教師とし、レッスンを受ける場合も多い。

しかし、都会から離れた土地（遠隔地）では、教えてくれる人がいない場合が多い。レッスンを受けたくても、受けることができない。うまくなりたくても、自己の演奏に不適切な点があるか否かを確認できない場合があるという問題がある。

ここで、特許文献１記載の技術は、演奏のＭＩＤＩデータと楽譜のデータを比較するのみである。つまり、楽譜どおりに演奏できたか否かを確認できるのみである。奏法が適切であるか否かを確認することはできない。例えば、手の動き、手の位置、指捌きが適切であるか否かを確認することはできない。レッスンを受けるのと同等の効果を得ることは難しい。

本発明は、上記従来技術の問題点に鑑み、演奏が適切であるか否かを確認できるようにし、高い練習効果を得られるようにする。

本発明に係る楽器練習装置は、撮影部、記憶部、操作部、制御部を含む。前記撮影部は、楽譜データに対応する楽曲の演奏を録音した演奏音データと、前記楽譜データに対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データとを含む実演奏データを生成する。前記記憶部は、前記楽譜データと、前記楽譜データに対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データと、前記実演奏データを記憶する。前記操作部は使用者の操作を受け付ける。前記制御部は、前記演奏動画データと前記見本動画データを合成する。前記制御部は、前記演奏動画データと前記見本動画データが同時に再生される合成データを生成する。前記制御部は前記合成データを予め定められた動画保存装置に記憶させる。

本発明によれば、合成データを見ることにより、自己の演奏と見本の演奏を見比べることができる。従って、演奏が適切であるか否かを確認することができる。練習効果を高めることができる。身近に先生となる人がいないような遠隔地に住んでいても、演奏技術を十分に高めることができる。

実施形態に係る複合機の一例を示す図である。 実施形態に係る複合機の一例を示す図である。 実施形態に係る撮影部と記憶部（ストレージ）の一例を示す図である。 実施形態に係る複合機での演奏の撮影に伴う基本的な処理の流れの一例を示す図である。 実施形態に係る演奏保存設定画面の一例を示す図である。 実施形態に係る評価レポートの一例を示す図である。 実施形態に係る合成データ閲覧画面の一例を示す図である。 実施形態に係る全演奏保存モードが選択されているときの処理の流れの一例を示す図である。 実施形態に係るリアルタイムモードが選択されているときの処理の流れの一例を示す図である。 実施形態に係る第１保存モードでの合成データの生成の流れの一例を示す図である。 実施形態に係る第２保存モードでの合成データの生成の流れの一例を示す図である。

以下、図１〜図１１を用いて、本発明の実施形態を説明する。本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。以下では、楽器練習装置として複合機１００を例に挙げて説明する。複合機１００は、画像処理装置である。また、複合機１００は画像形成装置でもある。

（複合機１００）
図１、図２を用いて、実施形態に係る複合機１００を説明する。図１、図２は、実施形態に係る複合機１００の一例を示す図である。

図１に示すように、複合機１００は、撮影部１を含む。また、複合機１００は、楽曲サーバー２と通信可能に接続される。複合機１００と楽曲サーバー２は、ネットワークを介して通信する。ネットワークは例えば、ＬＡＮやインターネットである。楽曲サーバー２はＨＤＤのような記憶装置を含む。複合機１００からの要求に従い、楽曲サーバー２は楽譜データ２１を複合機１００に送信する。楽譜データ２１は、旋律、伴奏で構成されたデータである。なお、楽曲サーバー２に対し、複合機１００は複数存在してもよい。また、複合機１００に対し、楽曲サーバー２は複数存在してもよい。
してもよい。

具体的に、楽譜データ２１は、楽譜をデータ化したものである。楽譜データ２１は、楽曲情報、調、拍子、スコアのパート数、リズム、楽曲に含まれる各音符、楽曲に含まれる各休符、各音符と各休符が属する小節番号、各音符と各休符の小節内の順番、各音符の高さと長さ、各休符の長さ、楽譜に付された音楽記号を示すデータを含む。楽曲情報は、例えば、演奏の対象となる楽器３、曲名を含む。

また、楽曲サーバー２は、見本動画データ２２を記憶する。見本動画データ２２２２は、楽譜データ２１に対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである。複合機１００からの要求に従い、楽曲サーバー２は見本動画データ２２を複合機１００に送信する。見本動画データ２２は、楽譜の一部がテロップとして組み込まれた動画データでもよい。例えば、楽曲の現在の演奏部分の音符、休符を示す楽譜（複数小節分の楽譜）が見本動画データ２２の各フレームに含まれてもよい。

また、楽譜データ２１では、各音符について演奏に用いるべき部位が指定されることがある。例えば、鍵盤楽器は両手で弾く。鍵盤楽器は、例えば、ピアノやエレクトーンである。左手は基本的に音の低い鍵盤の演奏に用いられる。また、右手は、基本的に音の低い鍵盤の演奏に用いられる。楽譜データ２１では、楽器３に応じて、音符ごとに、演奏部位が定義されることがある。

複合機１００は、図１に示すように、撮影部１を含む。撮影部１は、例えば、ビデオカメラである。撮影部１は楽器練習者の演奏部位を撮影（録画、録音）する。演奏部位は、体のうち、楽器３に触れる部分である。演奏部位は、体のうち、楽器３から音を出すため、及び、発生音を変えるために動かされる部分である。図１では、楽器３としてピアノを例示している。楽器３がピアノの場合、演奏部位は手（指）である。撮影部１は、手（指）を撮影できる位置に設置される。

図２に示すように、複合機１００は、制御部４、記憶部５、操作パネル６（操作部、報知部、出力部に相当）、画像読取部４ｃ、印刷部７（報知部、出力部に相当）、撮影部１、通信部４ｄを含む。

制御部４は、複合機１００の動作を制御する。制御部４は、ＣＰＵ４ａ、画像処理部４ｂを含む。記憶部５はＲＡＭ５１、ＲＯＭ５２、ストレージ５３を含む。ストレージ５３は大容量の不揮発性記憶装置である。ストレージ５３は、例えば、ＨＤＤやＳＳＤである。記憶部５は、各種データ、制御用プログラムを記憶する。例えば、記憶部５は制御用データ、設定データ、画像データを記憶する。ＣＰＵ４ａは、記憶部５に記憶されたプログラム、データに基づき各部（記憶部５、操作パネル６、画像読取部４ｃ、印刷部７、撮影部１、通信部４ｄ）を制御する。画像処理部４ｂは各種画像処理を行う。例えば、画像処理部４ｂは、画像処理専用の回路（ＡＳＩＣ）である。画像処理部４ｂは、動画データの処理を行える。

操作パネル６（操作部に相当）は、表示パネル６１、タッチパネル６２、ハードキー６３、スピーカー６４を含む。表示パネル６１は、画面、画像を表示する。制御部４は表示パネル６１の表示を制御する。制御部４は、ジョブの設定に用いる操作画像を表示パネル６１に表示させる。操作画像は、例えば、ボタン、キー、チェックボックスである。タッチパネル６２は、使用者の操作を受け付ける。タッチパネル６２は、表示パネル６１の上面に設けられる。タッチパネル６２はタッチ位置を認識する。タッチパネル６２の出力に基づき、制御部４は、操作された操作画像を認識する。操作された操作画像に基づき、制御部４は、使用者の操作内容を認識する。ハードキー６３も使用者の操作を受け付ける。

原稿読み取りのとき、制御部４は、画像読取部４ｃに原稿の読み取りを行わせる。画像読取部４ｃは原稿の画像データを生成する。原稿読み取りのため、画像読取部４ｃは、光源（ランプ）、レンズ、イメージセンサー（ラインセンサー）を含む。

印刷部７は、給紙部７ａ、用紙搬送部７ｂ、画像形成部７ｃ、定着部７ｄを含む。給紙部７ａには、用紙がセットされる。印刷ジョブのとき、制御部４は給紙部７ａに用紙を供給させる。制御部４は用紙を用紙搬送部７ｂに搬送させる。制御部４はページ画像データに基づくトナー像を画像形成部７ｃに形成させる。制御部４は、搬送される用紙へのトナー像の転写を画像形成部７ｃに行わせる。制御部４は、用紙に転写されたトナー像の定着を定着部７ｄに行わせる。制御部４は、機外に向けて定着後の用紙を用紙搬送部７ｂに排出させる。

通信部４ｄはＰＣ、サーバーと通信する。通信部４ｄはコネクタ、通信用回路、通信用メモリー、通信ソフトウェアを含む。通信部４ｄは、ネットワークを介して、ＰＣ、サーバーと通信する。通信部４ｄはコンピューター２００、楽曲サーバー２、データサーバー３００から印刷用データを受信できる。制御部４は受信した印刷用データに基づき印刷部７に印刷させる（プリントジョブ）。

（撮影部１の撮影で得られたデータの流れ）
次に、図３を用いて、実施形態に係る撮影部１の撮影で得られたデータの流れの一例を説明する。図３は、実施形態に係る撮影部１と記憶部５（ストレージ５３）の一例を示す図である。

撮影部１は、マイクロフォン１１を含む。マイクロフォン１１は演奏音を集音する。集音した演奏音を表すアナログ信号を音声処理部１２に出力する。音声処理部１２はＡ／Ｄ変換器を含む。Ａ／Ｄ変換器は、Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ変換を行う。言い換えると、音声処理部１２は、マイクロフォン１１が出力したアナログ信号をデジタルデータ（演奏音データ８１）に変換する。音声処理部１２は、演奏音データ８１を出力する。

また、撮影部１は、レンズ１３、イメージセンサー１４、カメラモジュール１５を含む。撮影範囲に演奏部位が入るように、撮影部１がセットされる。撮影部１は楽器練習者の演奏部位を撮影する。例えば、楽器３がピアノの場合、撮影部１は楽器練習者の手を撮影する。イメージセンサー１４は、一定周期でアナログ信号（画像信号）を出力する。カメラモジュール１５はイメージセンサー１４が出力する画像信号に基づき、演奏動画データ８２を生成する。

撮影処理部１６は、演奏音データ８１と演奏動画データ８２をまとめた実演奏データ８を生成する。撮影処理部１６は、演奏音データ８１と演奏動画データ８２を同期させる。言い換えると、撮影処理部１６は、音声データと動画データが同期した多重化データを実演奏データ８として生成する。撮影処理部１６は、例えば、ＭＰＥＧ４規格に基づき、実演奏データ８を生成する。撮影処理部１６は生成した実演奏データ８を出力する。例えば、撮影部１は複合機１００の通信部４ｄと通信ケーブルで接続される。実演奏データ８は、複合機１００の通信部４ｄに向けて出力される。記憶部５は通信部４ｄが受信した実演奏データ８を記憶する。

記憶部５は楽譜データ２１と見本動画データ２２を記憶する。使用者は演奏する楽器３を操作パネル６で設定する。また、使用者は演奏する楽曲を操作パネル６で設定する。操作パネル６は、楽器３と楽曲の選択を受け付ける。制御部４は、楽曲サーバー２から選択された楽器３に対応し、選択された楽曲の楽譜データ２１と見本動画データ２２を通信部４ｄに取得させる。制御部４は、通信部４ｄが取得した楽譜データ２１と見本画像データを記憶部５に記憶させる。

ここで、制御部４は、演奏動画データ８２と見本動画データ２２を合成した合成データ９を生成する。合成データ９は、見本奏者の演奏部位と楽器練習者の演奏部位を並べて表示する動画データである。合成データ９は、見本奏者の演奏と楽器練習者の演奏を見比べるための動画データである。制御部４は、生成した合成データ９を予め定められた動画保存装置に記憶させる。例えば、制御部４は、ストレージ５３に合成データ９を記憶させる。この場合、ストレージ５３が動画保存装置となる。また、制御部４は、通信可能に複合機１００と接続されたデータサーバー３００に合成データ９を記憶させてもよい（図２参照）。この場合、データサーバー３００が動画保存装置となる。

（演奏の撮影に伴う処理の流れ）
次に、図４〜図７を用いて、実施形態に係る複合機１００での演奏の撮影に伴う基本的な処理の流れの一例を説明する。図４は、実施形態に係る複合機１００での演奏の撮影に伴う基本的な処理の流れの一例を示す図である。図５は、実施形態に係る演奏保存設定画面６５の一例を示す図である。図６は、実施形態に係る評価レポートＲ１の一例を示す図である。図７は、実施形態に係る合成データ閲覧画面６６の一例を示す図である。

以下の説明では、楽器３として、ピアノを用いる例を説明する。楽器３はピアノに限られない。楽器３は、他の鍵盤楽器でもよい（例えば、エレクトーン）。また、楽器３は弦楽器でもよい（例えば、ギター）。また、楽器３は管楽器でもよい（例えば、リコーダー）。また、楽器３は打楽器でもよい（例えば、ドラム）。

まず、使用者（楽器練習者）は、撮影部１（カメラ）の撮影範囲を調整する（ステップ♯１１）。演奏部位が撮影範囲に入るように、撮影部１の向き、角度、ズームを調整する。次に、楽器練習者は、操作パネル６に、練習する楽器３、練習する楽曲、楽器練習者の名前を入力する。これにより、制御部４は、これから練習する楽器３、楽曲、楽器練習者を認識する（ステップ♯１２）。次に、楽器練習者は、練習に関する設定を操作パネル６に行う（ステップ♯１３）。操作パネル６は、練習に関する設定を受け付ける。

図５は、演奏の保存（録音と録画）に関する設定画面の一例を示す図である。所定の操作が操作パネル６になされたとき、制御部４は、第１設定画面６５ａ（図５の上側の画面）を表示パネル６１に表示させる。第１設定画面６５ａは、ネクストボタンＢ１を含む。ネクストボタンＢ１が操作されたとき、制御部４は第２設定画面６５ｂ（図５の下側の画面）を表示パネル６１に表示させる。第２設定画面６５ｂは、エンドボタンＢ２を含む。エンドボタンＢ２が操作されたとき、演奏の保存に関する設定が完了する。制御部４は第２設定画面６５ｂを表示パネル６１に消させる。

第１設定画面６５ａには、第１ラジオボタンＲＢ１と第２ラジオボタンＲＢ２が設けられる。第１ラジオボタンＲＢ１と第２ラジオボタンＲＢ２は何れか１つが選択される。第１保存モードを選択するとき、第１ラジオボタンＲＢ１が操作される。第２保存モードを選択するとき、第２ラジオボタンＲＢ２が操作される。操作パネル６は、保存モードの選択を受け付ける。第１保存モードが選択されているとき、制御部４は、演奏動画データ８２のうち、演奏ミスがあった部分を抽出して合成データ９を生成する。第２保存モードが選択されているとき、演奏動画データ８２の一部を抽出せず、演奏動画データ８２の全てを用いて合成データ９を生成する。

また、第１設定画面６５ａには、ミス基準入力欄Ｌ１が設けられる。ミス基準入力欄Ｌ１が操作されたとき、制御部４は、数字入力用のソフトウェアキーボード（ソフトウェアテンキー）を表示パネル６１に表示させる。使用者は、ミスとみなすタイミングのズレをミス基準入力欄Ｌ１に入力する。操作パネル６は、ミスとみなすタイミングのズレの設定を受け付ける。制御部４は、演奏音データ８１と楽譜データ２１を比較し、ミス基準入力欄Ｌ１に入力された音符の長さだけ発音のタイミングがずれている音符を正しく演奏されなかった音符と認識する。

また、第１設定画面６５ａには、第３ラジオボタンＲＢ３、第４ラジオボタンＲＢ４、第５ラジオボタンＲＢ５が設けられる。第３ラジオボタンＲＢ３〜第５ラジオボタンＲＢ５のうち、何れか１つが選択される。右手のみで練習するとき、第３ラジオボタンＲＢ３が操作される。左手のみで練習するとき、第４ラジオボタンＲＢ４が操作される。両手で練習するとき、第５ラジオボタンＲＢ５が操作される。操作パネル６は、練習で使用する部位の選択を受け付ける。

なお、演奏に用いる人体の部位は楽器３により変わる。例えば、エレクトーンには足鍵盤が設けられる。エレクトーンの演奏者は左足で足鍵盤を操作する。そのため、楽器３がエレクトーンの場合、更に左足を選択するためのラジオボタンが設けられてもよい。一方、リコーダーは、通常、両手を用いて演奏する。片手のみの練習は行われない。そのため、楽器３がリコーダーの場合、両手のみ選択できるようにしてもよい。このように、楽器３に応じて、演奏部位を選択するためのラジオボタンの個数は変えてもよい。

また、第２設定画面６５ｂに、第６ラジオボタンＲＢ６、第７ラジオボタンＲＢ７が設けられる。第６ラジオボタンＲＢ６と第７ラジオボタンＲＢ７のうち、何れか１つが選択される。全演奏保存モードを選択するとき、第６ラジオボタンＲＢ６が操作される。リアルタイムモードを選択するとき、第７ラジオボタンＲＢ７が操作される。全演奏保存モードが選択されているとき、制御部４は、演奏の保存（録音、録画）を途中で打ち切らない。制御部４は演奏の全てを録音、録画する。リアルタイムモードが選択されている場合、打ち切り条件を満たすミスが生じたとき、制御部４は演奏の保存（実演奏データ８の生成）を打ち切る。操作パネル６は演奏の保存の打ち切りを行うか否かの選択を受け付ける。

第２設定画面６５ｂには、第１チェックボックスＣＢ１、第２チェックボックスＣＢ２、第３チェックボックスＣＢ３、第４チェックボックスＣＢ４が設けられる。第１チェックボックスＣＢ１〜第４チェックボックスＣＢ４にチェックを入れることにより、打ち切り条件を設定することができる。複数のチェックボックスに同時にチェックを入れることが可能である。複数のチェックボックスを入れることにより、打ち切り条件を増やすことができる。

第１チェックボックスＣＢ１に対し、第１回数入力欄Ｃ１が設けられる。第２チェックボックスＣＢ２に対し、第２回数入力欄Ｃ２が設けられる。第３チェックボックスＣＢ３に対し、第１時間入力欄Ｔ１と第３回数入力欄Ｃ３が設けられる。第４チェックボックスＣＢ４に対し、第２時間入力欄Ｔ２が設けられる。各回数入力欄と各時間入力欄には、数字を入力することができる。何れかの入力欄が操作されたとき、制御部４は、数字を入力するためのソフトウェアキーボード（ソフトウェアテンキー）を表示パネル６１に表示させる。楽器練習者は所望する数値を入力する。

第１チェックボックスＣＢ１にチェックが入れられた場合、演奏開始からの累計のミス回数が第１回数入力欄Ｃ１に入力された回数になったとき、制御部４は打ち切り条件が満たされたと判定する。第２チェックボックスＣＢ２にチェックが入れられた場合、１小節内のミス回数が第２回数入力欄Ｃ２に入力された回数になったとき、制御部４は打ち切り条件が満たされたと判定する。第３チェックボックスＣＢ３にチェックが入れられた場合、第１時間入力欄Ｔ１に入力された時間内のミス回数が第３回数入力欄Ｃ３に入力された回数になったとき、制御部４は打ち切り条件が満たされたと判定する。第４チェックボックスＣＢ４にチェックが入れられた場合、第２時間入力欄Ｔ２に入力された時間以上演奏が止まったとき、制御部４は打ち切り条件が満たされたと判定する。

設定の完了後、楽器練習者の演奏の開始に伴い、制御部４は、演奏の録音、録画を撮影部１に開始させる（ステップ♯１４）。例えば、複合機１００はスピーカー６４を含む（図３参照）。制御部４は、設定の完了後、複数回、開始準備音をスピーカー６４に発音させる。例えば、選択された楽曲のリズム、拍にあわせて、開始準備音を発生させる。例えば、４分の４拍子のとき、制御部４は、４拍子×２回の開始準備音をスピーカー６４に出させる。開始準備音により、楽器練習者は、演奏の開始タイミングを取る。

なお、見本動画データ２２を用いて合成データ９が生成される。楽器練習者は、合成データ９に基づき、自身の演奏と見本の演奏の差異を認識する。見本動画データ２２での見本奏者の演奏の速度（テンポ）と、楽器練習者の演奏の速度（テンポ）がずれていると、楽器練習者は正しく演奏の差異を認識できない。

そのため、見本動画データ２２には演奏のテンポを示すテンポデータが付される。制御部４は選択された楽器３、楽曲の見本動画データ２２に基づき、演奏のテンポを設定する。制御部４は、設定したテンポにあわせ、開始準備音を発生させる。制御部４は、最後の開始準備音にあわせ、演奏開始時点を定める。制御部４は、演奏開始時点から実演奏データ８（演奏音データ８１、演奏動画データ８２）の生成を撮影部１に開始させる。

やがて、制御部４は、設定に応じた時間、演奏の保存（録音、録画）を撮影部１に行わせる。そして、制御部４は、演奏の保存（実演奏データ８の生成）を撮影部１に終了させる。これにより、撮影部１により生成された実演奏データ８全体の保存が完了する（ステップ♯１５）。

そして、制御部４は、実演奏データ８（演奏音データ８１）と楽譜データ２１に基づき、演奏を評価する（ステップ♯１６）。評価の手法の一例を以下に説明する。

制御部４は、演奏音データ８１と楽譜データ２１を比較する。制御部４は、楽譜データ２１上の各音符について、正確に弾かれているか（発音されているか）を確認する。演奏のテンポは設定されている。制御部４は、楽譜データ２１の各音符について、演奏開始時点から弾くまでの時間を確認する。制御部４は演奏開始時点からの時間を測る。制御部４は、楽譜データ２１に配された音符が発音すべき時間（タイミング）に、演奏音データ８１で発音されているか否かを確認する。発音の時間差が設定されたミス基準以内のとき、制御部４は、正しいタイミングで音符が演奏されたと判定する。時間差がミス基準を超えているとき、制御部４は、音符が正しく演奏されなかったと判定する。

さらに、タイミングが正しいと判定した音符について、制御部４は、録音データに含まれる音の周波数に基づき、音の高さが正しいか否かを確認する。言い換えると、制御部４は、誤った鍵盤を押したか否かを確認する。音の高さが正しいとき、制御部４は、その音符は正しく演奏された（弾かれた）と判定する。音の高さが正しくないとき、制御部４は、その音符は正しく演奏されなかったと判定する。例えば、制御部４は、楽譜データ２１上の各音符について、正しく演奏されたか否かを判定する。制御部４は、楽譜データ２１上の音符について、正しく演奏された割合を求める。例えば、制御部４は、正しく演奏された音符の個数を演奏すべき音符の個数で除す。制御部４は、割合に１０を乗じた値を、正確性に関する評価点として求める（１０点満点）。なお、他の手法により、演奏の正確性に関する評価点を定めてもよい。

また、制御部４は、演奏音データ８１に含まれるそれぞれの音の音量を認識する。制御部４は、演奏音データ８１に含まれるそれぞれの音の音量の推移を示す実音量データを生成する。また、制御部４は、楽譜データ２１に基づき、理想的な音量の推移を示す基準音量データを生成する。制御部４は、ある時間ごとに、実音量データ上の音量と基準音量データ上の音量の差が許容範囲内であるか否かを確認する。制御部４は、許容範囲内であった回数を全ての確認回数で除し、音量（強弱）の正確性に関する割合を求める。制御部４は、求めた割合に１０を乗じた値を、音量に関する評価点として求める（１０点満点）。なお、他の手法により、音量に関する評価点を定めてもよい。

また、制御部４は、演奏音データ８１に含まれるそれぞれの音と音の間隔に基づき、リズム（テンポ）を判定する。例えば、制御部４は、各小節の最初の音を判別し、リズムを判定する。制御部４は、演奏音データ８１中のリズム（テンポ）の推移を示す実リズムデータを生成する。制御部４は、ある時間ごとに、実リズムデータで示されるリズムと、楽曲のリズムの差が許容範囲内であるか否かを確認する。制御部４は、許容範囲内であった回数を全ての確認回数で除し、リズムの正確性に関する割合を求める。制御部４は、求めた割合に１０を乗じた値を、リズムに関する評価点として求める（１０点満点）。なお、他の手法により、リズムに関する評価点を定めてもよい。

ここで、操作パネル６は演奏部位の選択を受け付ける。制御部４は、選択された演奏部位に応じて演奏を評価する。例えば、演奏部位として右手が選択された場合、制御部４は、楽譜データ２１のうち、右手で演奏すべき音符のそれぞれについて、正しく演奏されたか否かを判定する。制御部４は、右手で正しく演奏できた音符と右手で演奏すべき全ての音符の個数に基づき、正確性の評価を行う。制御部４は、楽譜データ２１に基づき、理想的な右手演奏での音量の推移を示す基準音量データを生成する。制御部４は、ある時間ごとに、実音量データ上の音量と右手演奏の基準音量データ上の音量の差が許容範囲内であるか否かを確認する。このように、制御部４は、演奏部位として片手が選択されたとき、楽譜データ２１のうち、選択された手の方向に対応する音符と演奏音データ８１を比較し、評価を行う。

なお、評価する項目は、音の高さ、音量、リズムに限られない。制御部４は、演奏音データ８１と楽譜データ２１を比較し、さらに別の項目について評価してもよい。

続いて、制御部４は合成データ９を生成し、生成した合成データ９を動画保存装置に保存させる（ステップ♯１７）。制御部４は、楽器練習者、使用楽器、曲名、生成日時のような動画情報を合成データ９に含める。そして、制御部４は、評価レポートＲ１を印刷部７に印刷出力させる（ステップ♯１８）。なお、制御部４は、評価レポートＲ１を表示パネル６１に表示出力させてもよい。そして、制御部４は、評価レポートＲ１を不揮発的に記憶部５（ストレージ５３）に記憶させる（ステップ♯１９）。そして、本フローは終了する（エンド）。

図６は、印刷出力される評価レポートＲ１の一例を示す。制御部４は、評価レポートＲ１内に、合成データ９にアクセスするための情報を出力させる。図６では、アクセスするための情報の一例として、ＱＲコード（登録商標）を図示している。ＱＲコードは、対応する合成データ９の保存先のアドレス（ＵＲＬ）を含まれる。

合成データ９を見たいとき、使用者は画像読取部４ｃに評価レポートＲ１を読み取らせる。制御部４は、読み取りで得られた画像データに基づき、ＱＲコードを解読する。制御部４は、解読した合成データ９のアドレスへのアクセスを通信部４ｄに行わせる。制御部４は、アクセス場所に保存されている合成データ９を通信部４ｄに取得させる。制御部４は、取得した合成データ９を表示パネル６１で再生表示させる。これにより、使用者は、操作パネル６で合成データ９を見られる。

図７は、ＱＲコードのアドレスへのアクセスで表示される合成データ閲覧画面６６の一例を示す。合成データ閲覧画面６６には、再生ボタンが設けられる。再生ボタンが操作されたとき、制御部４は、合成データ９の動画を表示パネル６１に表示させる。合成データ９は、見本奏者の演奏部位と楽器練習者の演奏部位を並べた動画データである。これにより、楽器練習者は、見本の（プロの）演奏と自己の演奏を見比べることができる。例えば、楽器練習者は、効率的な指捌きができているか、力が入りすぎていないか、無駄な動きが多くないか、といった点を確認できる。

また、使用者は所持する携帯通信機器を用いて合成データ９を見てもよい。携帯通信機器は、カメラ付きの機器である。携帯通信機器は、例えば、スマートフォンやタブレット型コンピューターである。携帯通信機器はＱＲコードを撮影する。携帯通信機器は、ＱＲコードを解読する。携帯通信機器は、解読の結果、得られた合成データ９の格納先にアクセスする。携帯通信機器は、ネットワークを介し、合成データ９をダウンロードする。携帯通信機器は、携帯通信機器のディスプレイで合成データ９を再生する。

また、演奏音データ８１と楽譜データ２１の比較に基づき、制御部４は、予め定められた項目について演奏を評価する。制御部４は、演奏の評価の結果を評価レポートＲ１内に含める。図６は、制御部４が演奏の正確性、音量（強弱）、リズムについての評価点を評価レポートＲ１に含める例を示す。また、制御部４は、評価した日時（合成データ９を保存した日時）、操作パネル６で選択された演奏部位を評価レポートＲ１に含める。

なお、操作部はまとめレポートの出力指示を受け付けてもよい。まとめレポートの出力指示が操作パネル６になされたとき、制御部４は、まとめレポートを印刷部７に印刷出力させてもよい。また、制御部４は、まとめレポートを表示パネル６１に表示出力させてもよい。まとめレポートは、予め定められた期間での評価の推移を示すレポートである。操作パネル６は、予め定められた期間の設定を受け付ける。例えば、予め定められた期間は、数日〜数ヶ月の範囲のなかから選ぶことができる。制御部４は、期間内に生成された複数の評価レポートＲ１の内容をまとめレポートとして出力させる。

（全演奏保存モード）
次に、図８に基づき、実施形態に係る全演奏保存モードが選択されているときの演奏の保存処理の流れの一例を説明する。図８は実施形態に係る全演奏保存モードが選択されているときの処理の流れの一例を示す図である。

図８のスタートは、図４のステップ♯１４（演奏保存の開始時点）である。制御部４が撮影部１に演奏の録音、録画を開始させた時点である。これにより、実演奏データ８の保存が開始される。全演奏保存モードが選択されているとき、制御部４は、演奏の保存（実演奏データ８の生成）を途中で打ち切らない。演奏の全てを録音、録画する。例えば、制御部４は、演奏の録音、録画の開始後、見本動画データ２２と同じ時間、録音、録画を続ける。

制御部４は、演奏の保存開始後、演奏が終了したか否かの確認を続ける（ステップ♯２１、ステップ♯２１のＮｏ→ステップ♯２１）。例えば、制御部４は、演奏開始時点（実演奏データ８の生成開始時点）から、対応する楽曲、楽器３の見本動画データ２２と同じ時間、録音、録画を続ける。そこで、制御部４は、演奏の保存を開始してからの時間を測る。そして、演奏開始時点から見本動画データ２２と同じ時間経過したとき、制御部４は、演奏が終了したと判定する。

演奏終了と判定したとき（ステップ♯２１のＹｅｓ）、制御部４は、演奏の保存を終了する（ステップ♯２２）。実演奏データ８の保存が終了する。そして、本フローは終了する（エンド）。本フローが終了すると、続いて、図４のステップ♯１６が実行される。

（リアルタイムモード）
次に、図９に基づき、実施形態に係るリアルタイムモードが選択されているときの演奏の保存処理の流れの一例を説明する。図９は実施形態に係るリアルタイムモードが選択されているときの処理の流れの一例を示す図である。

図９のスタートも、図４のステップ♯１４（演奏保存の開始時点）である。制御部４が演奏の録音、録画を撮影部１に開始させた時点である。実演奏データ８の保存が開始された時点である。リアルタイムモードが選択されている場合、打ち切り条件を満たすミスが生じたとき、制御部４は、演奏の保存（録音、録画、実演奏データ８の生成）を打ち切る。上述のように、操作パネル６は打ち切り条件を受け付ける。例えば、制御部４は、演奏開始時点から見本動画データ２２と同じ時間、録音、録画を続ける。

制御部４は、設定された打ち切り条件が満たされたか否かを確認する（ステップ♯３１）。撮影部１は、演奏開始から演奏音データ８１、演奏動画データ８２を順次生成する。制御部４は、演奏開始から実演奏データ８をストレージ５３に保存させる。制御部４は、演奏中に楽譜データ２１と演奏音データ８１の比較を開始する。制御部４は、実演奏データ８の保存に並行して、楽譜データ２１の音符が正しく演奏されたか否かを判定する。

なお、操作パネル６は演奏部位の選択を受け付ける。制御部４は、選択された演奏部位に応じて打ち切り条件が満たされたか否かを判定する。制御部４は、楽譜データ２１のうち、選択された演奏部位で演奏すべき音符のそれぞれについて、正しく演奏されたか否かを判定する。

打ち切り条件が満たされた場合（ステップ♯３１のＹｅｓ）、制御部４は、楽曲の途中で演奏の保存を終了する（ステップ♯３２）。続いて、制御部４は、演奏終了前に演奏（実演奏データ８）の保存を停止したこと報知部に報知させる（ステップ♯３３）。印刷部７を報知部として用いてもよい。この場合、例えば、制御部４は、評価レポートＲ１を印刷部７に印刷させる。実演奏データ８の保存が打ち切られたことを知らずに演奏を続けている楽器練習者は、評価レポートＲ１の印刷により、打ち切りが行われたことに気づく。また、操作パネル６を報知部として用いてもよい。この場合、例えば、制御部４は、終了を知らせるアラーム音をスピーカー６４から発音させる。楽器練習者は、アラーム音により、打ち切りが行われたことに気づく。制御部４は実演奏データ８の保存を終了させる。そして、本フローは終了する（エンド）。本フローが終了すると、続いて、図４のステップ♯１６が実行される。

打ち切り条件が満たされていない場合（ステップ♯３２のＮｏ）、制御部４は、演奏が終了したか否かを確認する。（ステップ♯３４）。例えば、制御部４は、演奏の保存開始（演奏開始時点）からの時間を測る。そして、制御部４は、演奏の保存開始後、対応する楽曲、楽器３の見本動画データ２２と同じ時間が経過したか否かを確認する。演奏の保存開始から見本動画データ２２と同じ時間経過したとき、制御部４は、演奏が終了したと判定する。

演奏が終了していないとき（ステップ♯３４のＮｏ）、フローはステップ♯３１に戻る。一方、演奏終了と判定したとき（ステップ♯３４のＹｅｓ）、制御部４は、演奏の保存を終了する（ステップ♯３５）。この場合、楽曲の全ての演奏が保存される。そして、実演奏データ８の保存が終了する。そして、本フローは終了する（エンド）。本フローが終了すると、続いて、図４のステップ♯１６が実行される。

（第１保存モードでの合成データ９の生成）
次に、図１０を用いて、実施形態に係る第１保存モードでの合成データ９の生成の一例を説明する。図１０は、実施形態に係る第１保存モードでの合成データ９の生成の流れの一例を示す図である。

図１０のスタートは、図４のステップ♯１７において、合成データ９の生成を開始する時点である。まず、制御部４は、演奏音データ８１と楽譜データ２１を比較する。そして、制御部４は、楽譜データ２１のうち、正しく演奏されなかった音符を判定する（ステップ♯４１）。音符が正しく演奏されたか否かの判定は、上述の正確性の評価の場合と同様でよい。制御部４は、選択された演奏部位に応じ、正しく演奏されなかった音符を判定する。制御部４は、楽譜データ２１のうち、選択された演奏部位で演奏すべき音符のうち、正しく演奏されなかった音符を判定する。

次に、演奏動画データ８２のうち、正しく演奏されなかった音符に対応する演奏ミス時点を判定する（ステップ♯４２）。楽器練習者は、見本動画データ２２での演奏と同じテンポで演奏する。制御部４は、見本動画データ２２での演奏のテンポに基づき、演奏開始時点（実演奏データ８の保存開始時点）から正しく演奏されなかった音符を弾くまでの所要時間を認識する。制御部４は、正しく演奏されなかった音符について、所要時間を認識する。制御部４は、演奏動画データ８２において、演奏開始時点から正しく演奏されなかった音符の所要時間が経過した時点を演奏ミス時点と判定する。複数回ミスをしている場合、制御部４は、複数の演奏ミス時点を判定する。

次に、制御部４は、演奏動画データ８２から演奏ミス時点を含む動画データを演奏ミス動画データとして抽出する（ステップ♯４３）。

制御部４は、演奏動画データ８２のうち、演奏ミス時点を中心とした一定時間帯を抽出範囲と定める。一定時間帯の長さは適宜定められる。例えば、制御部４は、一定時間帯の長さを１小節〜数小節分の時間をとしてもよい。また、制御部４は、一定時間帯の長さを数秒〜数十秒の間の何れかの時間としてもよい。演奏ミスが複数あったとき、抽出範囲が重なることがある。この場合、制御部４は、抽出範囲の論理和をとる。制御部４は、演奏動画データ８２のうち、抽出範囲の動画データを演奏ミス動画データとして抽出する。なお、制御部４は、抽出する動画データに、対応する演奏音データ８１を付してもよい。言い換えると、演奏ミス動画データは音付きでもよい。

次に、制御部４は、見本動画データ２２のうち、演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出する（ステップ♯４４）。例えば、演奏動画データ８２のうち、演奏開始から３０秒〜４０秒の時間帯が抽出されたとする。制御部４は、見本動画データ２２のうち、演奏開始から３０秒〜４０秒の時間帯を抽出する。

そして、第１保存方式が選択されているとき、制御部４は第１加工データを生成する（ステップ♯４５）。第１加工データは抽出した演奏動画ミスデータを時間順に１つにまとめた動画データである。演奏動画データ８２のうち、演奏開始から３０秒〜４０秒の時間帯と５０秒〜６０秒の時間帯を抽出したとき、制御部４は、３０秒〜４０秒の部分と５０秒〜６０秒の部分を結合した動画データを生成する。つまり、第１加工データは、演奏動画データ８２のうち、演奏ミス部分を集めた動画となる。第１加工データは、演奏音付きのデータでもよい。

次に、制御部４は、抽出した比較参照動画データを時間順に１つにまとめた第２加工データを生成する（ステップ♯４６）。見本動画データ２２のうち、演奏開始から３０秒〜４０秒の時間帯と５０秒〜６０秒の時間帯を抽出したとき、制御部４は、３０秒〜４０秒の部分と５０秒〜６０秒の部分を結合した動画データを生成する。第２加工データは、演奏ミスした箇所を修正するための見本を集めた動画となる。

そして、制御部４は、第１加工データと第２加工データが同時に再生される動画データを合成データ９として生成する（ステップ♯４７）。具体的に、制御部４は、第１加工データを下方に配し、第２加工データを上方に配した１つの動画データを合成データ９として生成する。制御部４は、演奏ミス動画データと比較参照動画データが同時に表示される動画データを生成する。また、演奏ミス動画データと比較参照動画データは時間的に対応している。そのため、制御部４は、楽曲の同じ部分を演奏し、楽器練習者の演奏と見本奏者の演奏を比較する動画を合成データ９として生成する。合成データ９は演奏音付きでもよい。合成データ９の再生時、制御部４は、スピーカー６４から楽器練習者の演奏を同時再生させてもよい。そして、本フローは終了する（エンド）。本フローが終了すると、続いて、図４のステップ♯１８が実行される。

（第２保存モードでの合成データ９の生成）
次に、図１１を用いて、実施形態に係る第２保存モードでの合成データ９の生成の一例を説明する。図１１は、実施形態に係る第２保存モードでの合成データ９の生成の流れの一例を示す図である。

図１１のスタートは、図４のステップ♯１７において、合成データ９の生成を開始する時点である。なお、操作パネル６は第２保存モードの選択を受け付けている。まず、制御部４は、演奏の保存の打ち切りが行われたか否かを確認する（ステップ♯５１）。打ち切りが行われた場合（ステップ♯５１のＹｅｓ）、制御部４は第３加工データを生成する（ステップ♯５２）。演奏動画データ８２と見本動画データ２２の再生時間を同じにするため、第３加工データは、見本動画データ２２の後半部分をカットした動画データである。制御部４は、見本動画データ２２のうち、最初から演奏動画データ８２と同じ時間までの動画を第３加工データとして生成する。

そして、制御部４は、演奏動画データ８２と第３加工データが同時に再生される動画データを合成データ９として生成する（ステップ♯５３）。具体的に、制御部４は、演奏動画データ８２を下方に配し、第３加工データを上方に配した１つの動画データを合成データ９として生成する。そして、本フローは終了する（エンド）。

一方、打ち切りが行われてなかった場合（ステップ♯５２のＹｅｓ）、制御部４は、演奏動画データ８２と見本動画データ２２が同時に再生される動画データを合成データ９として生成する（ステップ♯５４）。この場合、制御部４は演奏全体が撮影された演奏動画データ８２と、見本動画データ２２を合成する。

ステップ♯５３、ステップ♯５４においては、制御部４は、合成データ９の再生時、見本動画データ２２の演奏開始時点と演奏動画データ８２の演奏開始時点が一致するように、合成データ９を生成する。制御部４は、見本動画データ２２又は第３加工データと、演奏動画データ８２が同時に表示される動画データを合成データ９として生成する。そして、本フローは終了する（エンド）。本フローが終了すると、続いて、図４のステップ♯１８が実行される。

このようにして、実施形態に係る楽器練習装置（複合機１００）は、撮影部１、記憶部５、操作部、制御部４を含む。撮影部１は、楽譜データ２１に対応する楽曲の演奏を録音した演奏音データ８１と、楽譜データ２１に対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データ８２とを含む実演奏データ８を生成する。記憶部５は、楽譜データ２１と、楽譜データ２１に対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データ２２と、実演奏データ８を記憶する。操作部は使用者の操作を受け付ける。制御部４は、演奏動画データ８２と見本動画データ２２を合成する。制御部４は、演奏動画データ８２と見本動画データ２２が同時に再生される合成データ９を生成する。制御部４は合成データ９を予め定められた動画保存装置に記憶させる。

大方の楽器３は、手（指）を用いて演奏される。そのため、演奏部位は、例えば、手である。また、見本奏者は手本とする演奏者である。見本奏者は、例えば、プロの演奏者である。楽器練習者の演奏部位と見本奏者の演奏部位の動きを見比べるための動画データが自動的に生成することができる。見本奏者と楽器練習者の演奏部位の動きの違いを示すことができる。不適切な動作の有無を確認することができる。動画を確認することにより、自身の動きを客観的に確認することができる。従って、楽器練習者の演奏技術を効率良く向上させることができる。身近に先生となる人がいないような遠隔地に住んでいても、演奏技術を十分に高めることができる。また、変な演奏のクセが付きにくくなる。先生にレッスン料を払わなくてもよいので、安価に演奏技術を向上させることができる。合成データ９は蓄積される。合成データ９を見直すことで、日々の技術向上の程度を確認することができる。

また、操作部が第１保存モードの選択を受け付けたとき、制御部４は、演奏音データ８１と楽譜データ２１を比較して、正しく演奏されなかった音符を判定する。制御部４は、演奏動画データ８２のうち、音符が正しく演奏されなかった演奏ミス時点を判定する。制御部４は、演奏ミス時点を含む一定時間帯の動画データを演奏ミス動画データとして演奏動画データ８２から抽出する。制御部４は、見本動画データ２２のうち、演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出する。制御部４は、演奏ミス動画データ及び比較参照動画データのみを含み、演奏ミス動画データと比較参照動画データが同時に再生される動画データを合成データ９として生成する。楽曲のうち、正しく演奏できない部分を集めた合成データ９を生成することができる。楽曲のうち正しく弾けなかった部分について、見本奏者と楽器練習者の演奏部位の動きを比較する合成データ９を生成することができる。ミスする部分を知ることができる。また、楽曲全体の合成データ９を生成する場合に比べ、合成データ９のサイズを小さくすることができる。

また、操作部は、演奏部位の選択を受け付ける。制御部４は、楽譜データ２１のうち、選択された演奏部位で演奏されるべき音符が正しく演奏されたか否かを判定する。これにより、片手の練習や、両手を用いる練習に対応することができる。

また、操作部が第２保存モードの選択を受け付けたとき、制御部４は、見本動画データ２２の演奏開始時点と演奏動画データ８２の演奏開始時点が一致し、見本動画データ２２と演奏動画データ８２が同時に表示される動画データを合成データ９として生成する。これにより、楽曲の最初から最後まで、見本奏者と楽器練習者の演奏部位の動きを比較する合成データ９を生成することができる。

また、操作部がリアルタイムモードの選択を受け付けたとき、制御部４は、演奏開始後、演奏中に演奏音データ８１と楽譜データ２１を比較する。予め定められた打ち切り条件が満たされたとき、制御部４は、演奏終了前に実演奏データ８の保存を記憶部５に停止させる。これにより、ミスが多い場合、演奏完了前に、実演奏データ８の記憶を打ち切ることができる。打ち切りが生じた場所を重点的に練習すべきことを認識することができる。時間を効率的に使用して練習することができる。

また、楽器練習装置は、演奏中に打ち切り条件を満たすミスが生じたとき、演奏終了前の実演奏データ８の保存停止を報知する報知部（印刷部７、操作パネル６）を含む。これにより、演奏（実演奏データ８）の保存の打ち切りが生じたことを楽器練習者に知らせることができる。

また、操作部は、演奏部位の選択を受け付ける。制御部４は、選択された演奏部位で演奏されるべき音符が正しく演奏されたか否かに基づき、打ち切り条件が満たされたか否かを判定する。これにより、片手の練習や、両手を用いる練習に対応することができる。

また、操作部は、打ち切り条件の設定を受け付ける。これにより、使用者（楽器練習者）は、打ち切り条件を設定することができる。

また、楽器練習装置は、出力部を備える。制御部４は、演奏音データ８１と楽譜データ２１を比較する。制御部４は、比較結果に基づき、予め定められた項目について演奏を評価する。制御部４は、演奏の評価を評価レポートＲ１として、出力部に出力させる。これにより、楽譜と実際の演奏を比較した評価を得ることができる。また、評価内容を知らせることにより、改善すべきポイントや課題を楽器練習者に気づかせることができる。

また、出力部は印刷部７である。制御部４は、評価レポートＲ１を印刷部７に印刷させる。これにより、印刷された評価レポートＲ１を得ることができる。また、制御部４は、評価レポートＲ１内に、合成データ９にアクセスするための情報を出力させる。これにより、合成データ９を容易に見ることができる。合成データ９を見て演奏手法（手の動き、指の動き）に問題があるか否かを確認することができる。

また、操作部は、演奏部位の選択を受け付ける。制御部４は、選択された演奏部位に応じて演奏を評価する。これにより、片手のみの練習、両手を用いる練習のそれぞれについて、評価を得ることができる。

また、制御部４は、評価レポートＲ１を記憶部５に不揮発的に記憶させる。これにより、楽器練習者の技術を示す資料を残すことができる。また、評価レポートＲ１を後日、すきなときに見直しや出力を行うことができる。

また、制御部４は、操作部がまとめレポートの出力指示を受け付けたとき、出力部にまとめレポートを出力させる。まとめレポートは、予め定められた期間での評価の推移を示すレポートである。これにより、楽器練習者は、練習の継続により改善したポイントを知り得る。また、楽器練習者は、課題として残っているポイントを知り得る。

本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、楽器練習装置に利用可能である。

１００ 複合機（楽器練習装置） １ 撮影部
２１ 楽譜データ ２２ 見本動画データ
４ 制御部 ５ 記憶部
６ 操作パネル（操作部、報知部、出力部）
７ 印刷部（報知部、出力部）
８ 実演奏データ ８１ 演奏音データ
８２ 演奏動画データ ９ 合成データ
Ｒ１ 評価レポート

Claims (14)

1. 楽譜データに対応する楽曲の演奏を録音した演奏音データと、前記楽譜データに対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データとを含む実演奏データを生成する撮影部と、
   前記楽譜データと、前記楽譜データに対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データと、前記実演奏データを記憶する記憶部と、
   使用者の操作を受け付ける操作部と、
   前記演奏動画データと前記見本動画データを合成し、前記演奏動画データと前記見本動画データが同時に再生される合成データを生成し、前記合成データを予め定められた動画保存装置に記憶させる制御部を備えることを特徴とする楽器練習装置。
2. 前記操作部が第１保存モードの選択を受け付けたとき、
   前記制御部は、
   前記演奏音データと前記楽譜データを比較して、正しく演奏されなかった音符を判定し、
   前記演奏動画データのうち、音符が正しく演奏されなかった演奏ミス時点を判定し、
   前記演奏ミス時点を含む一定時間帯の動画データを演奏ミス動画データとして前記演奏動画データから抽出し、
   前記見本動画データのうち、前記演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出し、
   前記演奏ミス動画データ及び前記比較参照動画データのみを含み、前記演奏ミス動画データと前記比較参照動画データが同時に再生される動画データを前記合成データとして生成することを特徴とする請求項１に記載の楽器練習装置。
3. 前記操作部は、演奏部位の選択を受け付け、
   前記制御部は、前記楽譜データのうち、選択された前記演奏部位で演奏されるべき音符が正しく演奏されたか否かを判定することを特徴とする請求項２に記載の楽器練習装置。
4. 前記操作部が第２保存モードの選択を受け付けたとき、
   前記制御部は、前記見本動画データの演奏開始時点と前記演奏動画データの演奏開始時点が一致し、前記見本動画データと前記演奏動画データが同時に表示される動画データを前記合成データとして生成することを特徴とする請求項１乃至３の何れか１項に記載の楽器練習装置。
5. 前記操作部がリアルタイムモードの選択を受け付けたとき、
   前記制御部は、
   演奏開始後、演奏中に前記演奏音データと前記楽譜データを比較し、
   予め定められた打ち切り条件が満たされたとき、演奏終了前に前記実演奏データの保存を前記記憶部に停止させることを特徴とする請求項１乃至４の何れか１項に記載の楽器練習装置。
6. 演奏中に前記打ち切り条件を満たすミスが生じたとき、演奏終了前に前記実演奏データの保存を停止したことを報知する報知部を含むことを特徴とする請求項５に記載の楽器練習装置。
7. 前記操作部は、演奏部位の選択を受け付け、
   前記制御部は、選択された前記演奏部位で演奏されるべき音符が正しく演奏されたか否かに基づき、前記打ち切り条件が満たされたか否かを判定することを特徴とする請求項５又は６の何れか１項に記載の楽器練習装置。
8. 前記操作部は、前記打ち切り条件の設定を受け付けることを特徴とする請求項５乃至７の何れか１項に記載の楽器練習装置。
9. 出力部を備え、
   前記制御部は、
   前記演奏音データと前記楽譜データを比較し、
   比較結果に基づき、予め定められた項目について演奏を評価し、
   演奏の評価を評価レポートとして、前記出力部に出力させることを特徴とする請求項１乃至８の何れか１項に記載の楽器練習装置。
10. 前記出力部は印刷部であり、
    前記制御部は、評価レポートを前記印刷部に印刷させることを特徴とする請求項９に記載の楽器練習装置。
11. 前記制御部は、前記評価レポート内に、前記合成データにアクセスするための情報を出力させることを特徴とする請求項９又は１０に記載の楽器練習装置。
12. 前記操作部は、演奏部位の選択を受け付け、
    前記制御部は、選択された前記演奏部位に応じて演奏を評価することを特徴とする請求項９乃至１１の何れか１項に記載の楽器練習装置。
13. 前記制御部は、前記評価レポートを前記記憶部に不揮発的に記憶させることを特徴とする請求項９乃至１２の何れか１項に記載の楽器練習装置。
14. 前記制御部は、前記操作部がまとめレポートの出力指示を受け付けたとき、前記出力部にまとめレポートを出力させ、
    前記まとめレポートは、予め定められた期間での評価の推移を示すレポートであることを特徴とする請求項９乃至１３の何れか１項に記載の楽器練習装置。