JP2019053170A - 楽器練習装置 - Google Patents
楽器練習装置 Download PDFInfo
- Publication number
- JP2019053170A JP2019053170A JP2017176813A JP2017176813A JP2019053170A JP 2019053170 A JP2019053170 A JP 2019053170A JP 2017176813 A JP2017176813 A JP 2017176813A JP 2017176813 A JP2017176813 A JP 2017176813A JP 2019053170 A JP2019053170 A JP 2019053170A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- data
- control unit
- moving image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】演奏が適切であるか否かを確認できるようにし、高い練習効果を得られるようにする。【解決手段】楽器練習装置は、演奏音データと演奏中の楽器練習者の演奏部位を録画した演奏動画データとを生成する撮影部と、楽譜データ、見本奏者の演奏部位を撮影した見本動画データ、及び、実演奏データを記憶する記憶部と、演奏動画データと見本動画データを合成し、演奏動画データと見本動画データが同時に再生される合成データを生成する制御部と、を備える。【選択図】図4
Description
本発明は、撮影(録音、録画)を行い、楽器練習者の技術を向上させる楽器練習装置に関する。
様々な楽器がある。例えば、ピアノ、ギターのような楽器がある。楽譜に沿って正確に演奏できるようになるため、使用者は繰り返し練習する。楽器の練習を効率的に行うための技術の一例が特許文献1に記載されている。
具体的に、特許文献1には、キーボードによる演奏楽器で音楽を演奏し、演奏信号をMIDI規格で変換し、その後、演奏評価装置に送信し、伝送されて来た演奏信号とデータベースに記録してある演奏楽曲の楽譜信号と比較演算し、比較演算結果に演奏評価を加え、評価結果を演奏楽器に再送信し、演奏楽器に付属するコンピューターで評価結果を表示し、修正演奏できるようにした演奏評価システムが記載されている。この構成により、評価結果に従って演奏の再練習を行わせ、先生によるレッスンを受けるのと同等の練習結果を得ようとする(特許文献1:請求項1、段落[0005]等参照)。
演奏技術の向上には、練習が必要である。誤った奏法や、不適切な奏法で練習を繰り返しても、演奏技術はあまり向上しない。我流の練習では、変なクセがつくこともある。そこで、演奏技術の向上のため、楽器の熟練者を教師とし、レッスンを受ける場合も多い。
しかし、都会から離れた土地(遠隔地)では、教えてくれる人がいない場合が多い。レッスンを受けたくても、受けることができない。うまくなりたくても、自己の演奏に不適切な点があるか否かを確認できない場合があるという問題がある。
ここで、特許文献1記載の技術は、演奏のMIDIデータと楽譜のデータを比較するのみである。つまり、楽譜どおりに演奏できたか否かを確認できるのみである。奏法が適切であるか否かを確認することはできない。例えば、手の動き、手の位置、指捌きが適切であるか否かを確認することはできない。レッスンを受けるのと同等の効果を得ることは難しい。
本発明は、上記従来技術の問題点に鑑み、演奏が適切であるか否かを確認できるようにし、高い練習効果を得られるようにする。
本発明に係る楽器練習装置は、撮影部、記憶部、操作部、制御部を含む。前記撮影部は、楽譜データに対応する楽曲の演奏を録音した演奏音データと、前記楽譜データに対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データとを含む実演奏データを生成する。前記記憶部は、前記楽譜データと、前記楽譜データに対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データと、前記実演奏データを記憶する。前記操作部は使用者の操作を受け付ける。前記制御部は、前記演奏動画データと前記見本動画データを合成する。前記制御部は、前記演奏動画データと前記見本動画データが同時に再生される合成データを生成する。前記制御部は前記合成データを予め定められた動画保存装置に記憶させる。
本発明によれば、合成データを見ることにより、自己の演奏と見本の演奏を見比べることができる。従って、演奏が適切であるか否かを確認することができる。練習効果を高めることができる。身近に先生となる人がいないような遠隔地に住んでいても、演奏技術を十分に高めることができる。
以下、図1〜図11を用いて、本発明の実施形態を説明する。本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。以下では、楽器練習装置として複合機100を例に挙げて説明する。複合機100は、画像処理装置である。また、複合機100は画像形成装置でもある。
(複合機100)
図1、図2を用いて、実施形態に係る複合機100を説明する。図1、図2は、実施形態に係る複合機100の一例を示す図である。
図1、図2を用いて、実施形態に係る複合機100を説明する。図1、図2は、実施形態に係る複合機100の一例を示す図である。
図1に示すように、複合機100は、撮影部1を含む。また、複合機100は、楽曲サーバー2と通信可能に接続される。複合機100と楽曲サーバー2は、ネットワークを介して通信する。ネットワークは例えば、LANやインターネットである。楽曲サーバー2はHDDのような記憶装置を含む。複合機100からの要求に従い、楽曲サーバー2は楽譜データ21を複合機100に送信する。楽譜データ21は、旋律、伴奏で構成されたデータである。なお、楽曲サーバー2に対し、複合機100は複数存在してもよい。また、複合機100に対し、楽曲サーバー2は複数存在してもよい。
してもよい。
してもよい。
具体的に、楽譜データ21は、楽譜をデータ化したものである。楽譜データ21は、楽曲情報、調、拍子、スコアのパート数、リズム、楽曲に含まれる各音符、楽曲に含まれる各休符、各音符と各休符が属する小節番号、各音符と各休符の小節内の順番、各音符の高さと長さ、各休符の長さ、楽譜に付された音楽記号を示すデータを含む。楽曲情報は、例えば、演奏の対象となる楽器3、曲名を含む。
また、楽曲サーバー2は、見本動画データ22を記憶する。見本動画データ2222は、楽譜データ21に対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである。複合機100からの要求に従い、楽曲サーバー2は見本動画データ22を複合機100に送信する。見本動画データ22は、楽譜の一部がテロップとして組み込まれた動画データでもよい。例えば、楽曲の現在の演奏部分の音符、休符を示す楽譜(複数小節分の楽譜)が見本動画データ22の各フレームに含まれてもよい。
また、楽譜データ21では、各音符について演奏に用いるべき部位が指定されることがある。例えば、鍵盤楽器は両手で弾く。鍵盤楽器は、例えば、ピアノやエレクトーンである。左手は基本的に音の低い鍵盤の演奏に用いられる。また、右手は、基本的に音の低い鍵盤の演奏に用いられる。楽譜データ21では、楽器3に応じて、音符ごとに、演奏部位が定義されることがある。
複合機100は、図1に示すように、撮影部1を含む。撮影部1は、例えば、ビデオカメラである。撮影部1は楽器練習者の演奏部位を撮影(録画、録音)する。演奏部位は、体のうち、楽器3に触れる部分である。演奏部位は、体のうち、楽器3から音を出すため、及び、発生音を変えるために動かされる部分である。図1では、楽器3としてピアノを例示している。楽器3がピアノの場合、演奏部位は手(指)である。撮影部1は、手(指)を撮影できる位置に設置される。
図2に示すように、複合機100は、制御部4、記憶部5、操作パネル6(操作部、報知部、出力部に相当)、画像読取部4c、印刷部7(報知部、出力部に相当)、撮影部1、通信部4dを含む。
制御部4は、複合機100の動作を制御する。制御部4は、CPU4a、画像処理部4bを含む。記憶部5はRAM51、ROM52、ストレージ53を含む。ストレージ53は大容量の不揮発性記憶装置である。ストレージ53は、例えば、HDDやSSDである。記憶部5は、各種データ、制御用プログラムを記憶する。例えば、記憶部5は制御用データ、設定データ、画像データを記憶する。CPU4aは、記憶部5に記憶されたプログラム、データに基づき各部(記憶部5、操作パネル6、画像読取部4c、印刷部7、撮影部1、通信部4d)を制御する。画像処理部4bは各種画像処理を行う。例えば、画像処理部4bは、画像処理専用の回路(ASIC)である。画像処理部4bは、動画データの処理を行える。
操作パネル6(操作部に相当)は、表示パネル61、タッチパネル62、ハードキー63、スピーカー64を含む。表示パネル61は、画面、画像を表示する。制御部4は表示パネル61の表示を制御する。制御部4は、ジョブの設定に用いる操作画像を表示パネル61に表示させる。操作画像は、例えば、ボタン、キー、チェックボックスである。タッチパネル62は、使用者の操作を受け付ける。タッチパネル62は、表示パネル61の上面に設けられる。タッチパネル62はタッチ位置を認識する。タッチパネル62の出力に基づき、制御部4は、操作された操作画像を認識する。操作された操作画像に基づき、制御部4は、使用者の操作内容を認識する。ハードキー63も使用者の操作を受け付ける。
原稿読み取りのとき、制御部4は、画像読取部4cに原稿の読み取りを行わせる。画像読取部4cは原稿の画像データを生成する。原稿読み取りのため、画像読取部4cは、光源(ランプ)、レンズ、イメージセンサー(ラインセンサー)を含む。
印刷部7は、給紙部7a、用紙搬送部7b、画像形成部7c、定着部7dを含む。給紙部7aには、用紙がセットされる。印刷ジョブのとき、制御部4は給紙部7aに用紙を供給させる。制御部4は用紙を用紙搬送部7bに搬送させる。制御部4はページ画像データに基づくトナー像を画像形成部7cに形成させる。制御部4は、搬送される用紙へのトナー像の転写を画像形成部7cに行わせる。制御部4は、用紙に転写されたトナー像の定着を定着部7dに行わせる。制御部4は、機外に向けて定着後の用紙を用紙搬送部7bに排出させる。
通信部4dはPC、サーバーと通信する。通信部4dはコネクタ、通信用回路、通信用メモリー、通信ソフトウェアを含む。通信部4dは、ネットワークを介して、PC、サーバーと通信する。通信部4dはコンピューター200、楽曲サーバー2、データサーバー300から印刷用データを受信できる。制御部4は受信した印刷用データに基づき印刷部7に印刷させる(プリントジョブ)。
(撮影部1の撮影で得られたデータの流れ)
次に、図3を用いて、実施形態に係る撮影部1の撮影で得られたデータの流れの一例を説明する。図3は、実施形態に係る撮影部1と記憶部5(ストレージ53)の一例を示す図である。
次に、図3を用いて、実施形態に係る撮影部1の撮影で得られたデータの流れの一例を説明する。図3は、実施形態に係る撮影部1と記憶部5(ストレージ53)の一例を示す図である。
撮影部1は、マイクロフォン11を含む。マイクロフォン11は演奏音を集音する。集音した演奏音を表すアナログ信号を音声処理部12に出力する。音声処理部12はA/D変換器を含む。A/D変換器は、Analog/Digital変換を行う。言い換えると、音声処理部12は、マイクロフォン11が出力したアナログ信号をデジタルデータ(演奏音データ81)に変換する。音声処理部12は、演奏音データ81を出力する。
また、撮影部1は、レンズ13、イメージセンサー14、カメラモジュール15を含む。撮影範囲に演奏部位が入るように、撮影部1がセットされる。撮影部1は楽器練習者の演奏部位を撮影する。例えば、楽器3がピアノの場合、撮影部1は楽器練習者の手を撮影する。イメージセンサー14は、一定周期でアナログ信号(画像信号)を出力する。カメラモジュール15はイメージセンサー14が出力する画像信号に基づき、演奏動画データ82を生成する。
撮影処理部16は、演奏音データ81と演奏動画データ82をまとめた実演奏データ8を生成する。撮影処理部16は、演奏音データ81と演奏動画データ82を同期させる。言い換えると、撮影処理部16は、音声データと動画データが同期した多重化データを実演奏データ8として生成する。撮影処理部16は、例えば、MPEG4規格に基づき、実演奏データ8を生成する。撮影処理部16は生成した実演奏データ8を出力する。例えば、撮影部1は複合機100の通信部4dと通信ケーブルで接続される。実演奏データ8は、複合機100の通信部4dに向けて出力される。記憶部5は通信部4dが受信した実演奏データ8を記憶する。
記憶部5は楽譜データ21と見本動画データ22を記憶する。使用者は演奏する楽器3を操作パネル6で設定する。また、使用者は演奏する楽曲を操作パネル6で設定する。操作パネル6は、楽器3と楽曲の選択を受け付ける。制御部4は、楽曲サーバー2から選択された楽器3に対応し、選択された楽曲の楽譜データ21と見本動画データ22を通信部4dに取得させる。制御部4は、通信部4dが取得した楽譜データ21と見本画像データを記憶部5に記憶させる。
ここで、制御部4は、演奏動画データ82と見本動画データ22を合成した合成データ9を生成する。合成データ9は、見本奏者の演奏部位と楽器練習者の演奏部位を並べて表示する動画データである。合成データ9は、見本奏者の演奏と楽器練習者の演奏を見比べるための動画データである。制御部4は、生成した合成データ9を予め定められた動画保存装置に記憶させる。例えば、制御部4は、ストレージ53に合成データ9を記憶させる。この場合、ストレージ53が動画保存装置となる。また、制御部4は、通信可能に複合機100と接続されたデータサーバー300に合成データ9を記憶させてもよい(図2参照)。この場合、データサーバー300が動画保存装置となる。
(演奏の撮影に伴う処理の流れ)
次に、図4〜図7を用いて、実施形態に係る複合機100での演奏の撮影に伴う基本的な処理の流れの一例を説明する。図4は、実施形態に係る複合機100での演奏の撮影に伴う基本的な処理の流れの一例を示す図である。図5は、実施形態に係る演奏保存設定画面65の一例を示す図である。図6は、実施形態に係る評価レポートR1の一例を示す図である。図7は、実施形態に係る合成データ閲覧画面66の一例を示す図である。
次に、図4〜図7を用いて、実施形態に係る複合機100での演奏の撮影に伴う基本的な処理の流れの一例を説明する。図4は、実施形態に係る複合機100での演奏の撮影に伴う基本的な処理の流れの一例を示す図である。図5は、実施形態に係る演奏保存設定画面65の一例を示す図である。図6は、実施形態に係る評価レポートR1の一例を示す図である。図7は、実施形態に係る合成データ閲覧画面66の一例を示す図である。
以下の説明では、楽器3として、ピアノを用いる例を説明する。楽器3はピアノに限られない。楽器3は、他の鍵盤楽器でもよい(例えば、エレクトーン)。また、楽器3は弦楽器でもよい(例えば、ギター)。また、楽器3は管楽器でもよい(例えば、リコーダー)。また、楽器3は打楽器でもよい(例えば、ドラム)。
まず、使用者(楽器練習者)は、撮影部1(カメラ)の撮影範囲を調整する(ステップ♯11)。演奏部位が撮影範囲に入るように、撮影部1の向き、角度、ズームを調整する。次に、楽器練習者は、操作パネル6に、練習する楽器3、練習する楽曲、楽器練習者の名前を入力する。これにより、制御部4は、これから練習する楽器3、楽曲、楽器練習者を認識する(ステップ♯12)。次に、楽器練習者は、練習に関する設定を操作パネル6に行う(ステップ♯13)。操作パネル6は、練習に関する設定を受け付ける。
図5は、演奏の保存(録音と録画)に関する設定画面の一例を示す図である。所定の操作が操作パネル6になされたとき、制御部4は、第1設定画面65a(図5の上側の画面)を表示パネル61に表示させる。第1設定画面65aは、ネクストボタンB1を含む。ネクストボタンB1が操作されたとき、制御部4は第2設定画面65b(図5の下側の画面)を表示パネル61に表示させる。第2設定画面65bは、エンドボタンB2を含む。エンドボタンB2が操作されたとき、演奏の保存に関する設定が完了する。制御部4は第2設定画面65bを表示パネル61に消させる。
第1設定画面65aには、第1ラジオボタンRB1と第2ラジオボタンRB2が設けられる。第1ラジオボタンRB1と第2ラジオボタンRB2は何れか1つが選択される。第1保存モードを選択するとき、第1ラジオボタンRB1が操作される。第2保存モードを選択するとき、第2ラジオボタンRB2が操作される。操作パネル6は、保存モードの選択を受け付ける。第1保存モードが選択されているとき、制御部4は、演奏動画データ82のうち、演奏ミスがあった部分を抽出して合成データ9を生成する。第2保存モードが選択されているとき、演奏動画データ82の一部を抽出せず、演奏動画データ82の全てを用いて合成データ9を生成する。
また、第1設定画面65aには、ミス基準入力欄L1が設けられる。ミス基準入力欄L1が操作されたとき、制御部4は、数字入力用のソフトウェアキーボード(ソフトウェアテンキー)を表示パネル61に表示させる。使用者は、ミスとみなすタイミングのズレをミス基準入力欄L1に入力する。操作パネル6は、ミスとみなすタイミングのズレの設定を受け付ける。制御部4は、演奏音データ81と楽譜データ21を比較し、ミス基準入力欄L1に入力された音符の長さだけ発音のタイミングがずれている音符を正しく演奏されなかった音符と認識する。
また、第1設定画面65aには、第3ラジオボタンRB3、第4ラジオボタンRB4、第5ラジオボタンRB5が設けられる。第3ラジオボタンRB3〜第5ラジオボタンRB5のうち、何れか1つが選択される。右手のみで練習するとき、第3ラジオボタンRB3が操作される。左手のみで練習するとき、第4ラジオボタンRB4が操作される。両手で練習するとき、第5ラジオボタンRB5が操作される。操作パネル6は、練習で使用する部位の選択を受け付ける。
なお、演奏に用いる人体の部位は楽器3により変わる。例えば、エレクトーンには足鍵盤が設けられる。エレクトーンの演奏者は左足で足鍵盤を操作する。そのため、楽器3がエレクトーンの場合、更に左足を選択するためのラジオボタンが設けられてもよい。一方、リコーダーは、通常、両手を用いて演奏する。片手のみの練習は行われない。そのため、楽器3がリコーダーの場合、両手のみ選択できるようにしてもよい。このように、楽器3に応じて、演奏部位を選択するためのラジオボタンの個数は変えてもよい。
また、第2設定画面65bに、第6ラジオボタンRB6、第7ラジオボタンRB7が設けられる。第6ラジオボタンRB6と第7ラジオボタンRB7のうち、何れか1つが選択される。全演奏保存モードを選択するとき、第6ラジオボタンRB6が操作される。リアルタイムモードを選択するとき、第7ラジオボタンRB7が操作される。全演奏保存モードが選択されているとき、制御部4は、演奏の保存(録音、録画)を途中で打ち切らない。制御部4は演奏の全てを録音、録画する。リアルタイムモードが選択されている場合、打ち切り条件を満たすミスが生じたとき、制御部4は演奏の保存(実演奏データ8の生成)を打ち切る。操作パネル6は演奏の保存の打ち切りを行うか否かの選択を受け付ける。
第2設定画面65bには、第1チェックボックスCB1、第2チェックボックスCB2、第3チェックボックスCB3、第4チェックボックスCB4が設けられる。第1チェックボックスCB1〜第4チェックボックスCB4にチェックを入れることにより、打ち切り条件を設定することができる。複数のチェックボックスに同時にチェックを入れることが可能である。複数のチェックボックスを入れることにより、打ち切り条件を増やすことができる。
第1チェックボックスCB1に対し、第1回数入力欄C1が設けられる。第2チェックボックスCB2に対し、第2回数入力欄C2が設けられる。第3チェックボックスCB3に対し、第1時間入力欄T1と第3回数入力欄C3が設けられる。第4チェックボックスCB4に対し、第2時間入力欄T2が設けられる。各回数入力欄と各時間入力欄には、数字を入力することができる。何れかの入力欄が操作されたとき、制御部4は、数字を入力するためのソフトウェアキーボード(ソフトウェアテンキー)を表示パネル61に表示させる。楽器練習者は所望する数値を入力する。
第1チェックボックスCB1にチェックが入れられた場合、演奏開始からの累計のミス回数が第1回数入力欄C1に入力された回数になったとき、制御部4は打ち切り条件が満たされたと判定する。第2チェックボックスCB2にチェックが入れられた場合、1小節内のミス回数が第2回数入力欄C2に入力された回数になったとき、制御部4は打ち切り条件が満たされたと判定する。第3チェックボックスCB3にチェックが入れられた場合、第1時間入力欄T1に入力された時間内のミス回数が第3回数入力欄C3に入力された回数になったとき、制御部4は打ち切り条件が満たされたと判定する。第4チェックボックスCB4にチェックが入れられた場合、第2時間入力欄T2に入力された時間以上演奏が止まったとき、制御部4は打ち切り条件が満たされたと判定する。
設定の完了後、楽器練習者の演奏の開始に伴い、制御部4は、演奏の録音、録画を撮影部1に開始させる(ステップ♯14)。例えば、複合機100はスピーカー64を含む(図3参照)。制御部4は、設定の完了後、複数回、開始準備音をスピーカー64に発音させる。例えば、選択された楽曲のリズム、拍にあわせて、開始準備音を発生させる。例えば、4分の4拍子のとき、制御部4は、4拍子×2回の開始準備音をスピーカー64に出させる。開始準備音により、楽器練習者は、演奏の開始タイミングを取る。
なお、見本動画データ22を用いて合成データ9が生成される。楽器練習者は、合成データ9に基づき、自身の演奏と見本の演奏の差異を認識する。見本動画データ22での見本奏者の演奏の速度(テンポ)と、楽器練習者の演奏の速度(テンポ)がずれていると、楽器練習者は正しく演奏の差異を認識できない。
そのため、見本動画データ22には演奏のテンポを示すテンポデータが付される。制御部4は選択された楽器3、楽曲の見本動画データ22に基づき、演奏のテンポを設定する。制御部4は、設定したテンポにあわせ、開始準備音を発生させる。制御部4は、最後の開始準備音にあわせ、演奏開始時点を定める。制御部4は、演奏開始時点から実演奏データ8(演奏音データ81、演奏動画データ82)の生成を撮影部1に開始させる。
やがて、制御部4は、設定に応じた時間、演奏の保存(録音、録画)を撮影部1に行わせる。そして、制御部4は、演奏の保存(実演奏データ8の生成)を撮影部1に終了させる。これにより、撮影部1により生成された実演奏データ8全体の保存が完了する(ステップ♯15)。
そして、制御部4は、実演奏データ8(演奏音データ81)と楽譜データ21に基づき、演奏を評価する(ステップ♯16)。評価の手法の一例を以下に説明する。
制御部4は、演奏音データ81と楽譜データ21を比較する。制御部4は、楽譜データ21上の各音符について、正確に弾かれているか(発音されているか)を確認する。演奏のテンポは設定されている。制御部4は、楽譜データ21の各音符について、演奏開始時点から弾くまでの時間を確認する。制御部4は演奏開始時点からの時間を測る。制御部4は、楽譜データ21に配された音符が発音すべき時間(タイミング)に、演奏音データ81で発音されているか否かを確認する。発音の時間差が設定されたミス基準以内のとき、制御部4は、正しいタイミングで音符が演奏されたと判定する。時間差がミス基準を超えているとき、制御部4は、音符が正しく演奏されなかったと判定する。
さらに、タイミングが正しいと判定した音符について、制御部4は、録音データに含まれる音の周波数に基づき、音の高さが正しいか否かを確認する。言い換えると、制御部4は、誤った鍵盤を押したか否かを確認する。音の高さが正しいとき、制御部4は、その音符は正しく演奏された(弾かれた)と判定する。音の高さが正しくないとき、制御部4は、その音符は正しく演奏されなかったと判定する。例えば、制御部4は、楽譜データ21上の各音符について、正しく演奏されたか否かを判定する。制御部4は、楽譜データ21上の音符について、正しく演奏された割合を求める。例えば、制御部4は、正しく演奏された音符の個数を演奏すべき音符の個数で除す。制御部4は、割合に10を乗じた値を、正確性に関する評価点として求める(10点満点)。なお、他の手法により、演奏の正確性に関する評価点を定めてもよい。
また、制御部4は、演奏音データ81に含まれるそれぞれの音の音量を認識する。制御部4は、演奏音データ81に含まれるそれぞれの音の音量の推移を示す実音量データを生成する。また、制御部4は、楽譜データ21に基づき、理想的な音量の推移を示す基準音量データを生成する。制御部4は、ある時間ごとに、実音量データ上の音量と基準音量データ上の音量の差が許容範囲内であるか否かを確認する。制御部4は、許容範囲内であった回数を全ての確認回数で除し、音量(強弱)の正確性に関する割合を求める。制御部4は、求めた割合に10を乗じた値を、音量に関する評価点として求める(10点満点)。なお、他の手法により、音量に関する評価点を定めてもよい。
また、制御部4は、演奏音データ81に含まれるそれぞれの音と音の間隔に基づき、リズム(テンポ)を判定する。例えば、制御部4は、各小節の最初の音を判別し、リズムを判定する。制御部4は、演奏音データ81中のリズム(テンポ)の推移を示す実リズムデータを生成する。制御部4は、ある時間ごとに、実リズムデータで示されるリズムと、楽曲のリズムの差が許容範囲内であるか否かを確認する。制御部4は、許容範囲内であった回数を全ての確認回数で除し、リズムの正確性に関する割合を求める。制御部4は、求めた割合に10を乗じた値を、リズムに関する評価点として求める(10点満点)。なお、他の手法により、リズムに関する評価点を定めてもよい。
ここで、操作パネル6は演奏部位の選択を受け付ける。制御部4は、選択された演奏部位に応じて演奏を評価する。例えば、演奏部位として右手が選択された場合、制御部4は、楽譜データ21のうち、右手で演奏すべき音符のそれぞれについて、正しく演奏されたか否かを判定する。制御部4は、右手で正しく演奏できた音符と右手で演奏すべき全ての音符の個数に基づき、正確性の評価を行う。制御部4は、楽譜データ21に基づき、理想的な右手演奏での音量の推移を示す基準音量データを生成する。制御部4は、ある時間ごとに、実音量データ上の音量と右手演奏の基準音量データ上の音量の差が許容範囲内であるか否かを確認する。このように、制御部4は、演奏部位として片手が選択されたとき、楽譜データ21のうち、選択された手の方向に対応する音符と演奏音データ81を比較し、評価を行う。
なお、評価する項目は、音の高さ、音量、リズムに限られない。制御部4は、演奏音データ81と楽譜データ21を比較し、さらに別の項目について評価してもよい。
続いて、制御部4は合成データ9を生成し、生成した合成データ9を動画保存装置に保存させる(ステップ♯17)。制御部4は、楽器練習者、使用楽器、曲名、生成日時のような動画情報を合成データ9に含める。そして、制御部4は、評価レポートR1を印刷部7に印刷出力させる(ステップ♯18)。なお、制御部4は、評価レポートR1を表示パネル61に表示出力させてもよい。そして、制御部4は、評価レポートR1を不揮発的に記憶部5(ストレージ53)に記憶させる(ステップ♯19)。そして、本フローは終了する(エンド)。
図6は、印刷出力される評価レポートR1の一例を示す。制御部4は、評価レポートR1内に、合成データ9にアクセスするための情報を出力させる。図6では、アクセスするための情報の一例として、QRコード(登録商標)を図示している。QRコードは、対応する合成データ9の保存先のアドレス(URL)を含まれる。
合成データ9を見たいとき、使用者は画像読取部4cに評価レポートR1を読み取らせる。制御部4は、読み取りで得られた画像データに基づき、QRコードを解読する。制御部4は、解読した合成データ9のアドレスへのアクセスを通信部4dに行わせる。制御部4は、アクセス場所に保存されている合成データ9を通信部4dに取得させる。制御部4は、取得した合成データ9を表示パネル61で再生表示させる。これにより、使用者は、操作パネル6で合成データ9を見られる。
図7は、QRコードのアドレスへのアクセスで表示される合成データ閲覧画面66の一例を示す。合成データ閲覧画面66には、再生ボタンが設けられる。再生ボタンが操作されたとき、制御部4は、合成データ9の動画を表示パネル61に表示させる。合成データ9は、見本奏者の演奏部位と楽器練習者の演奏部位を並べた動画データである。これにより、楽器練習者は、見本の(プロの)演奏と自己の演奏を見比べることができる。例えば、楽器練習者は、効率的な指捌きができているか、力が入りすぎていないか、無駄な動きが多くないか、といった点を確認できる。
また、使用者は所持する携帯通信機器を用いて合成データ9を見てもよい。携帯通信機器は、カメラ付きの機器である。携帯通信機器は、例えば、スマートフォンやタブレット型コンピューターである。携帯通信機器はQRコードを撮影する。携帯通信機器は、QRコードを解読する。携帯通信機器は、解読の結果、得られた合成データ9の格納先にアクセスする。携帯通信機器は、ネットワークを介し、合成データ9をダウンロードする。携帯通信機器は、携帯通信機器のディスプレイで合成データ9を再生する。
また、演奏音データ81と楽譜データ21の比較に基づき、制御部4は、予め定められた項目について演奏を評価する。制御部4は、演奏の評価の結果を評価レポートR1内に含める。図6は、制御部4が演奏の正確性、音量(強弱)、リズムについての評価点を評価レポートR1に含める例を示す。また、制御部4は、評価した日時(合成データ9を保存した日時)、操作パネル6で選択された演奏部位を評価レポートR1に含める。
なお、操作部はまとめレポートの出力指示を受け付けてもよい。まとめレポートの出力指示が操作パネル6になされたとき、制御部4は、まとめレポートを印刷部7に印刷出力させてもよい。また、制御部4は、まとめレポートを表示パネル61に表示出力させてもよい。まとめレポートは、予め定められた期間での評価の推移を示すレポートである。操作パネル6は、予め定められた期間の設定を受け付ける。例えば、予め定められた期間は、数日〜数ヶ月の範囲のなかから選ぶことができる。制御部4は、期間内に生成された複数の評価レポートR1の内容をまとめレポートとして出力させる。
(全演奏保存モード)
次に、図8に基づき、実施形態に係る全演奏保存モードが選択されているときの演奏の保存処理の流れの一例を説明する。図8は実施形態に係る全演奏保存モードが選択されているときの処理の流れの一例を示す図である。
次に、図8に基づき、実施形態に係る全演奏保存モードが選択されているときの演奏の保存処理の流れの一例を説明する。図8は実施形態に係る全演奏保存モードが選択されているときの処理の流れの一例を示す図である。
図8のスタートは、図4のステップ♯14(演奏保存の開始時点)である。制御部4が撮影部1に演奏の録音、録画を開始させた時点である。これにより、実演奏データ8の保存が開始される。全演奏保存モードが選択されているとき、制御部4は、演奏の保存(実演奏データ8の生成)を途中で打ち切らない。演奏の全てを録音、録画する。例えば、制御部4は、演奏の録音、録画の開始後、見本動画データ22と同じ時間、録音、録画を続ける。
制御部4は、演奏の保存開始後、演奏が終了したか否かの確認を続ける(ステップ♯21、ステップ♯21のNo→ステップ♯21)。例えば、制御部4は、演奏開始時点(実演奏データ8の生成開始時点)から、対応する楽曲、楽器3の見本動画データ22と同じ時間、録音、録画を続ける。そこで、制御部4は、演奏の保存を開始してからの時間を測る。そして、演奏開始時点から見本動画データ22と同じ時間経過したとき、制御部4は、演奏が終了したと判定する。
演奏終了と判定したとき(ステップ♯21のYes)、制御部4は、演奏の保存を終了する(ステップ♯22)。実演奏データ8の保存が終了する。そして、本フローは終了する(エンド)。本フローが終了すると、続いて、図4のステップ♯16が実行される。
(リアルタイムモード)
次に、図9に基づき、実施形態に係るリアルタイムモードが選択されているときの演奏の保存処理の流れの一例を説明する。図9は実施形態に係るリアルタイムモードが選択されているときの処理の流れの一例を示す図である。
次に、図9に基づき、実施形態に係るリアルタイムモードが選択されているときの演奏の保存処理の流れの一例を説明する。図9は実施形態に係るリアルタイムモードが選択されているときの処理の流れの一例を示す図である。
図9のスタートも、図4のステップ♯14(演奏保存の開始時点)である。制御部4が演奏の録音、録画を撮影部1に開始させた時点である。実演奏データ8の保存が開始された時点である。リアルタイムモードが選択されている場合、打ち切り条件を満たすミスが生じたとき、制御部4は、演奏の保存(録音、録画、実演奏データ8の生成)を打ち切る。上述のように、操作パネル6は打ち切り条件を受け付ける。例えば、制御部4は、演奏開始時点から見本動画データ22と同じ時間、録音、録画を続ける。
制御部4は、設定された打ち切り条件が満たされたか否かを確認する(ステップ♯31)。撮影部1は、演奏開始から演奏音データ81、演奏動画データ82を順次生成する。制御部4は、演奏開始から実演奏データ8をストレージ53に保存させる。制御部4は、演奏中に楽譜データ21と演奏音データ81の比較を開始する。制御部4は、実演奏データ8の保存に並行して、楽譜データ21の音符が正しく演奏されたか否かを判定する。
なお、操作パネル6は演奏部位の選択を受け付ける。制御部4は、選択された演奏部位に応じて打ち切り条件が満たされたか否かを判定する。制御部4は、楽譜データ21のうち、選択された演奏部位で演奏すべき音符のそれぞれについて、正しく演奏されたか否かを判定する。
打ち切り条件が満たされた場合(ステップ♯31のYes)、制御部4は、楽曲の途中で演奏の保存を終了する(ステップ♯32)。続いて、制御部4は、演奏終了前に演奏(実演奏データ8)の保存を停止したこと報知部に報知させる(ステップ♯33)。印刷部7を報知部として用いてもよい。この場合、例えば、制御部4は、評価レポートR1を印刷部7に印刷させる。実演奏データ8の保存が打ち切られたことを知らずに演奏を続けている楽器練習者は、評価レポートR1の印刷により、打ち切りが行われたことに気づく。また、操作パネル6を報知部として用いてもよい。この場合、例えば、制御部4は、終了を知らせるアラーム音をスピーカー64から発音させる。楽器練習者は、アラーム音により、打ち切りが行われたことに気づく。制御部4は実演奏データ8の保存を終了させる。そして、本フローは終了する(エンド)。本フローが終了すると、続いて、図4のステップ♯16が実行される。
打ち切り条件が満たされていない場合(ステップ♯32のNo)、制御部4は、演奏が終了したか否かを確認する。(ステップ♯34)。例えば、制御部4は、演奏の保存開始(演奏開始時点)からの時間を測る。そして、制御部4は、演奏の保存開始後、対応する楽曲、楽器3の見本動画データ22と同じ時間が経過したか否かを確認する。演奏の保存開始から見本動画データ22と同じ時間経過したとき、制御部4は、演奏が終了したと判定する。
演奏が終了していないとき(ステップ♯34のNo)、フローはステップ♯31に戻る。一方、演奏終了と判定したとき(ステップ♯34のYes)、制御部4は、演奏の保存を終了する(ステップ♯35)。この場合、楽曲の全ての演奏が保存される。そして、実演奏データ8の保存が終了する。そして、本フローは終了する(エンド)。本フローが終了すると、続いて、図4のステップ♯16が実行される。
(第1保存モードでの合成データ9の生成)
次に、図10を用いて、実施形態に係る第1保存モードでの合成データ9の生成の一例を説明する。図10は、実施形態に係る第1保存モードでの合成データ9の生成の流れの一例を示す図である。
次に、図10を用いて、実施形態に係る第1保存モードでの合成データ9の生成の一例を説明する。図10は、実施形態に係る第1保存モードでの合成データ9の生成の流れの一例を示す図である。
図10のスタートは、図4のステップ♯17において、合成データ9の生成を開始する時点である。まず、制御部4は、演奏音データ81と楽譜データ21を比較する。そして、制御部4は、楽譜データ21のうち、正しく演奏されなかった音符を判定する(ステップ♯41)。音符が正しく演奏されたか否かの判定は、上述の正確性の評価の場合と同様でよい。制御部4は、選択された演奏部位に応じ、正しく演奏されなかった音符を判定する。制御部4は、楽譜データ21のうち、選択された演奏部位で演奏すべき音符のうち、正しく演奏されなかった音符を判定する。
次に、演奏動画データ82のうち、正しく演奏されなかった音符に対応する演奏ミス時点を判定する(ステップ♯42)。楽器練習者は、見本動画データ22での演奏と同じテンポで演奏する。制御部4は、見本動画データ22での演奏のテンポに基づき、演奏開始時点(実演奏データ8の保存開始時点)から正しく演奏されなかった音符を弾くまでの所要時間を認識する。制御部4は、正しく演奏されなかった音符について、所要時間を認識する。制御部4は、演奏動画データ82において、演奏開始時点から正しく演奏されなかった音符の所要時間が経過した時点を演奏ミス時点と判定する。複数回ミスをしている場合、制御部4は、複数の演奏ミス時点を判定する。
次に、制御部4は、演奏動画データ82から演奏ミス時点を含む動画データを演奏ミス動画データとして抽出する(ステップ♯43)。
制御部4は、演奏動画データ82のうち、演奏ミス時点を中心とした一定時間帯を抽出範囲と定める。一定時間帯の長さは適宜定められる。例えば、制御部4は、一定時間帯の長さを1小節〜数小節分の時間をとしてもよい。また、制御部4は、一定時間帯の長さを数秒〜数十秒の間の何れかの時間としてもよい。演奏ミスが複数あったとき、抽出範囲が重なることがある。この場合、制御部4は、抽出範囲の論理和をとる。制御部4は、演奏動画データ82のうち、抽出範囲の動画データを演奏ミス動画データとして抽出する。なお、制御部4は、抽出する動画データに、対応する演奏音データ81を付してもよい。言い換えると、演奏ミス動画データは音付きでもよい。
次に、制御部4は、見本動画データ22のうち、演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出する(ステップ♯44)。例えば、演奏動画データ82のうち、演奏開始から30秒〜40秒の時間帯が抽出されたとする。制御部4は、見本動画データ22のうち、演奏開始から30秒〜40秒の時間帯を抽出する。
そして、第1保存方式が選択されているとき、制御部4は第1加工データを生成する(ステップ♯45)。第1加工データは抽出した演奏動画ミスデータを時間順に1つにまとめた動画データである。演奏動画データ82のうち、演奏開始から30秒〜40秒の時間帯と50秒〜60秒の時間帯を抽出したとき、制御部4は、30秒〜40秒の部分と50秒〜60秒の部分を結合した動画データを生成する。つまり、第1加工データは、演奏動画データ82のうち、演奏ミス部分を集めた動画となる。第1加工データは、演奏音付きのデータでもよい。
次に、制御部4は、抽出した比較参照動画データを時間順に1つにまとめた第2加工データを生成する(ステップ♯46)。見本動画データ22のうち、演奏開始から30秒〜40秒の時間帯と50秒〜60秒の時間帯を抽出したとき、制御部4は、30秒〜40秒の部分と50秒〜60秒の部分を結合した動画データを生成する。第2加工データは、演奏ミスした箇所を修正するための見本を集めた動画となる。
そして、制御部4は、第1加工データと第2加工データが同時に再生される動画データを合成データ9として生成する(ステップ♯47)。具体的に、制御部4は、第1加工データを下方に配し、第2加工データを上方に配した1つの動画データを合成データ9として生成する。制御部4は、演奏ミス動画データと比較参照動画データが同時に表示される動画データを生成する。また、演奏ミス動画データと比較参照動画データは時間的に対応している。そのため、制御部4は、楽曲の同じ部分を演奏し、楽器練習者の演奏と見本奏者の演奏を比較する動画を合成データ9として生成する。合成データ9は演奏音付きでもよい。合成データ9の再生時、制御部4は、スピーカー64から楽器練習者の演奏を同時再生させてもよい。そして、本フローは終了する(エンド)。本フローが終了すると、続いて、図4のステップ♯18が実行される。
(第2保存モードでの合成データ9の生成)
次に、図11を用いて、実施形態に係る第2保存モードでの合成データ9の生成の一例を説明する。図11は、実施形態に係る第2保存モードでの合成データ9の生成の流れの一例を示す図である。
次に、図11を用いて、実施形態に係る第2保存モードでの合成データ9の生成の一例を説明する。図11は、実施形態に係る第2保存モードでの合成データ9の生成の流れの一例を示す図である。
図11のスタートは、図4のステップ♯17において、合成データ9の生成を開始する時点である。なお、操作パネル6は第2保存モードの選択を受け付けている。まず、制御部4は、演奏の保存の打ち切りが行われたか否かを確認する(ステップ♯51)。打ち切りが行われた場合(ステップ♯51のYes)、制御部4は第3加工データを生成する(ステップ♯52)。演奏動画データ82と見本動画データ22の再生時間を同じにするため、第3加工データは、見本動画データ22の後半部分をカットした動画データである。制御部4は、見本動画データ22のうち、最初から演奏動画データ82と同じ時間までの動画を第3加工データとして生成する。
そして、制御部4は、演奏動画データ82と第3加工データが同時に再生される動画データを合成データ9として生成する(ステップ♯53)。具体的に、制御部4は、演奏動画データ82を下方に配し、第3加工データを上方に配した1つの動画データを合成データ9として生成する。そして、本フローは終了する(エンド)。
一方、打ち切りが行われてなかった場合(ステップ♯52のYes)、制御部4は、演奏動画データ82と見本動画データ22が同時に再生される動画データを合成データ9として生成する(ステップ♯54)。この場合、制御部4は演奏全体が撮影された演奏動画データ82と、見本動画データ22を合成する。
ステップ♯53、ステップ♯54においては、制御部4は、合成データ9の再生時、見本動画データ22の演奏開始時点と演奏動画データ82の演奏開始時点が一致するように、合成データ9を生成する。制御部4は、見本動画データ22又は第3加工データと、演奏動画データ82が同時に表示される動画データを合成データ9として生成する。そして、本フローは終了する(エンド)。本フローが終了すると、続いて、図4のステップ♯18が実行される。
このようにして、実施形態に係る楽器練習装置(複合機100)は、撮影部1、記憶部5、操作部、制御部4を含む。撮影部1は、楽譜データ21に対応する楽曲の演奏を録音した演奏音データ81と、楽譜データ21に対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データ82とを含む実演奏データ8を生成する。記憶部5は、楽譜データ21と、楽譜データ21に対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データ22と、実演奏データ8を記憶する。操作部は使用者の操作を受け付ける。制御部4は、演奏動画データ82と見本動画データ22を合成する。制御部4は、演奏動画データ82と見本動画データ22が同時に再生される合成データ9を生成する。制御部4は合成データ9を予め定められた動画保存装置に記憶させる。
大方の楽器3は、手(指)を用いて演奏される。そのため、演奏部位は、例えば、手である。また、見本奏者は手本とする演奏者である。見本奏者は、例えば、プロの演奏者である。楽器練習者の演奏部位と見本奏者の演奏部位の動きを見比べるための動画データが自動的に生成することができる。見本奏者と楽器練習者の演奏部位の動きの違いを示すことができる。不適切な動作の有無を確認することができる。動画を確認することにより、自身の動きを客観的に確認することができる。従って、楽器練習者の演奏技術を効率良く向上させることができる。身近に先生となる人がいないような遠隔地に住んでいても、演奏技術を十分に高めることができる。また、変な演奏のクセが付きにくくなる。先生にレッスン料を払わなくてもよいので、安価に演奏技術を向上させることができる。合成データ9は蓄積される。合成データ9を見直すことで、日々の技術向上の程度を確認することができる。
また、操作部が第1保存モードの選択を受け付けたとき、制御部4は、演奏音データ81と楽譜データ21を比較して、正しく演奏されなかった音符を判定する。制御部4は、演奏動画データ82のうち、音符が正しく演奏されなかった演奏ミス時点を判定する。制御部4は、演奏ミス時点を含む一定時間帯の動画データを演奏ミス動画データとして演奏動画データ82から抽出する。制御部4は、見本動画データ22のうち、演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出する。制御部4は、演奏ミス動画データ及び比較参照動画データのみを含み、演奏ミス動画データと比較参照動画データが同時に再生される動画データを合成データ9として生成する。楽曲のうち、正しく演奏できない部分を集めた合成データ9を生成することができる。楽曲のうち正しく弾けなかった部分について、見本奏者と楽器練習者の演奏部位の動きを比較する合成データ9を生成することができる。ミスする部分を知ることができる。また、楽曲全体の合成データ9を生成する場合に比べ、合成データ9のサイズを小さくすることができる。
また、操作部は、演奏部位の選択を受け付ける。制御部4は、楽譜データ21のうち、選択された演奏部位で演奏されるべき音符が正しく演奏されたか否かを判定する。これにより、片手の練習や、両手を用いる練習に対応することができる。
また、操作部が第2保存モードの選択を受け付けたとき、制御部4は、見本動画データ22の演奏開始時点と演奏動画データ82の演奏開始時点が一致し、見本動画データ22と演奏動画データ82が同時に表示される動画データを合成データ9として生成する。これにより、楽曲の最初から最後まで、見本奏者と楽器練習者の演奏部位の動きを比較する合成データ9を生成することができる。
また、操作部がリアルタイムモードの選択を受け付けたとき、制御部4は、演奏開始後、演奏中に演奏音データ81と楽譜データ21を比較する。予め定められた打ち切り条件が満たされたとき、制御部4は、演奏終了前に実演奏データ8の保存を記憶部5に停止させる。これにより、ミスが多い場合、演奏完了前に、実演奏データ8の記憶を打ち切ることができる。打ち切りが生じた場所を重点的に練習すべきことを認識することができる。時間を効率的に使用して練習することができる。
また、楽器練習装置は、演奏中に打ち切り条件を満たすミスが生じたとき、演奏終了前の実演奏データ8の保存停止を報知する報知部(印刷部7、操作パネル6)を含む。これにより、演奏(実演奏データ8)の保存の打ち切りが生じたことを楽器練習者に知らせることができる。
また、操作部は、演奏部位の選択を受け付ける。制御部4は、選択された演奏部位で演奏されるべき音符が正しく演奏されたか否かに基づき、打ち切り条件が満たされたか否かを判定する。これにより、片手の練習や、両手を用いる練習に対応することができる。
また、操作部は、打ち切り条件の設定を受け付ける。これにより、使用者(楽器練習者)は、打ち切り条件を設定することができる。
また、楽器練習装置は、出力部を備える。制御部4は、演奏音データ81と楽譜データ21を比較する。制御部4は、比較結果に基づき、予め定められた項目について演奏を評価する。制御部4は、演奏の評価を評価レポートR1として、出力部に出力させる。これにより、楽譜と実際の演奏を比較した評価を得ることができる。また、評価内容を知らせることにより、改善すべきポイントや課題を楽器練習者に気づかせることができる。
また、出力部は印刷部7である。制御部4は、評価レポートR1を印刷部7に印刷させる。これにより、印刷された評価レポートR1を得ることができる。また、制御部4は、評価レポートR1内に、合成データ9にアクセスするための情報を出力させる。これにより、合成データ9を容易に見ることができる。合成データ9を見て演奏手法(手の動き、指の動き)に問題があるか否かを確認することができる。
また、操作部は、演奏部位の選択を受け付ける。制御部4は、選択された演奏部位に応じて演奏を評価する。これにより、片手のみの練習、両手を用いる練習のそれぞれについて、評価を得ることができる。
また、制御部4は、評価レポートR1を記憶部5に不揮発的に記憶させる。これにより、楽器練習者の技術を示す資料を残すことができる。また、評価レポートR1を後日、すきなときに見直しや出力を行うことができる。
また、制御部4は、操作部がまとめレポートの出力指示を受け付けたとき、出力部にまとめレポートを出力させる。まとめレポートは、予め定められた期間での評価の推移を示すレポートである。これにより、楽器練習者は、練習の継続により改善したポイントを知り得る。また、楽器練習者は、課題として残っているポイントを知り得る。
本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。
本発明は、楽器練習装置に利用可能である。
100 複合機(楽器練習装置) 1 撮影部
21 楽譜データ 22 見本動画データ
4 制御部 5 記憶部
6 操作パネル(操作部、報知部、出力部)
7 印刷部(報知部、出力部)
8 実演奏データ 81 演奏音データ
82 演奏動画データ 9 合成データ
R1 評価レポート
21 楽譜データ 22 見本動画データ
4 制御部 5 記憶部
6 操作パネル(操作部、報知部、出力部)
7 印刷部(報知部、出力部)
8 実演奏データ 81 演奏音データ
82 演奏動画データ 9 合成データ
R1 評価レポート
Claims (14)
- 楽譜データに対応する楽曲の演奏を録音した演奏音データと、前記楽譜データに対応する楽曲を演奏中の楽器練習者の演奏部位を録画した演奏動画データとを含む実演奏データを生成する撮影部と、
前記楽譜データと、前記楽譜データに対応する楽曲を演奏する見本奏者の演奏部位を撮影した動画データである見本動画データと、前記実演奏データを記憶する記憶部と、
使用者の操作を受け付ける操作部と、
前記演奏動画データと前記見本動画データを合成し、前記演奏動画データと前記見本動画データが同時に再生される合成データを生成し、前記合成データを予め定められた動画保存装置に記憶させる制御部を備えることを特徴とする楽器練習装置。 - 前記操作部が第1保存モードの選択を受け付けたとき、
前記制御部は、
前記演奏音データと前記楽譜データを比較して、正しく演奏されなかった音符を判定し、
前記演奏動画データのうち、音符が正しく演奏されなかった演奏ミス時点を判定し、
前記演奏ミス時点を含む一定時間帯の動画データを演奏ミス動画データとして前記演奏動画データから抽出し、
前記見本動画データのうち、前記演奏ミス動画データと同じ時間帯の動画データを比較参照動画データとして抽出し、
前記演奏ミス動画データ及び前記比較参照動画データのみを含み、前記演奏ミス動画データと前記比較参照動画データが同時に再生される動画データを前記合成データとして生成することを特徴とする請求項1に記載の楽器練習装置。 - 前記操作部は、演奏部位の選択を受け付け、
前記制御部は、前記楽譜データのうち、選択された前記演奏部位で演奏されるべき音符が正しく演奏されたか否かを判定することを特徴とする請求項2に記載の楽器練習装置。 - 前記操作部が第2保存モードの選択を受け付けたとき、
前記制御部は、前記見本動画データの演奏開始時点と前記演奏動画データの演奏開始時点が一致し、前記見本動画データと前記演奏動画データが同時に表示される動画データを前記合成データとして生成することを特徴とする請求項1乃至3の何れか1項に記載の楽器練習装置。 - 前記操作部がリアルタイムモードの選択を受け付けたとき、
前記制御部は、
演奏開始後、演奏中に前記演奏音データと前記楽譜データを比較し、
予め定められた打ち切り条件が満たされたとき、演奏終了前に前記実演奏データの保存を前記記憶部に停止させることを特徴とする請求項1乃至4の何れか1項に記載の楽器練習装置。 - 演奏中に前記打ち切り条件を満たすミスが生じたとき、演奏終了前に前記実演奏データの保存を停止したことを報知する報知部を含むことを特徴とする請求項5に記載の楽器練習装置。
- 前記操作部は、演奏部位の選択を受け付け、
前記制御部は、選択された前記演奏部位で演奏されるべき音符が正しく演奏されたか否かに基づき、前記打ち切り条件が満たされたか否かを判定することを特徴とする請求項5又は6の何れか1項に記載の楽器練習装置。 - 前記操作部は、前記打ち切り条件の設定を受け付けることを特徴とする請求項5乃至7の何れか1項に記載の楽器練習装置。
- 出力部を備え、
前記制御部は、
前記演奏音データと前記楽譜データを比較し、
比較結果に基づき、予め定められた項目について演奏を評価し、
演奏の評価を評価レポートとして、前記出力部に出力させることを特徴とする請求項1乃至8の何れか1項に記載の楽器練習装置。 - 前記出力部は印刷部であり、
前記制御部は、評価レポートを前記印刷部に印刷させることを特徴とする請求項9に記載の楽器練習装置。 - 前記制御部は、前記評価レポート内に、前記合成データにアクセスするための情報を出力させることを特徴とする請求項9又は10に記載の楽器練習装置。
- 前記操作部は、演奏部位の選択を受け付け、
前記制御部は、選択された前記演奏部位に応じて演奏を評価することを特徴とする請求項9乃至11の何れか1項に記載の楽器練習装置。 - 前記制御部は、前記評価レポートを前記記憶部に不揮発的に記憶させることを特徴とする請求項9乃至12の何れか1項に記載の楽器練習装置。
- 前記制御部は、前記操作部がまとめレポートの出力指示を受け付けたとき、前記出力部にまとめレポートを出力させ、
前記まとめレポートは、予め定められた期間での評価の推移を示すレポートであることを特徴とする請求項9乃至13の何れか1項に記載の楽器練習装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176813A JP2019053170A (ja) | 2017-09-14 | 2017-09-14 | 楽器練習装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176813A JP2019053170A (ja) | 2017-09-14 | 2017-09-14 | 楽器練習装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019053170A true JP2019053170A (ja) | 2019-04-04 |
Family
ID=66014807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017176813A Pending JP2019053170A (ja) | 2017-09-14 | 2017-09-14 | 楽器練習装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019053170A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022037485A (ja) * | 2020-08-25 | 2022-03-09 | ファミリーイナダ株式会社 | 支援装置、表示方法、及び、コンピュータプログラム |
WO2022070769A1 (ja) * | 2020-09-30 | 2022-04-07 | ヤマハ株式会社 | 情報処理方法および情報処理システム |
WO2023053632A1 (ja) * | 2021-10-01 | 2023-04-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102622163B1 (ko) * | 2023-07-10 | 2024-01-05 | 주식회사 스튜디오브이알 | 가상현실 기반 온라인 음악교습 방법 및 장치 |
-
2017
- 2017-09-14 JP JP2017176813A patent/JP2019053170A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022037485A (ja) * | 2020-08-25 | 2022-03-09 | ファミリーイナダ株式会社 | 支援装置、表示方法、及び、コンピュータプログラム |
JP2022136108A (ja) * | 2020-08-25 | 2022-09-15 | ファミリーイナダ株式会社 | 支援装置、表示方法、及び、コンピュータプログラム |
JP7470446B2 (ja) | 2020-08-25 | 2024-04-18 | ファミリーイナダ株式会社 | 支援装置、表示方法、及び、コンピュータプログラム |
WO2022070769A1 (ja) * | 2020-09-30 | 2022-04-07 | ヤマハ株式会社 | 情報処理方法および情報処理システム |
WO2023053632A1 (ja) * | 2021-10-01 | 2023-04-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102622163B1 (ko) * | 2023-07-10 | 2024-01-05 | 주식회사 스튜디오브이알 | 가상현실 기반 온라인 음악교습 방법 및 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101657816B (zh) | 用于分布式音频文件编辑的门户网站 | |
US20060150803A1 (en) | System and method for music score capture and synthesized audio performance with synchronized presentation | |
JP2019053170A (ja) | 楽器練習装置 | |
CN102867526A (zh) | 用于分布式音频文件编辑的门户网站 | |
JP5257966B2 (ja) | 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法 | |
JP2023025013A (ja) | 音楽療法のための歌唱補助装置 | |
JP2017032693A (ja) | 映像記録再生装置 | |
JP6729052B2 (ja) | 演奏指示装置、演奏指示プログラム、および演奏指示方法 | |
JP2007264569A (ja) | 検索装置、制御方法及びプログラム | |
JP2007256619A (ja) | 評価装置、制御方法及びプログラム | |
JP2007292979A (ja) | 失語症練習支援装置 | |
WO2017057318A1 (ja) | 再生制御方法及び再生制御システム | |
JP2003223166A (ja) | 情報処理装置およびその楽譜頁変更方法、楽譜表示用プログラムおよび記録媒体 | |
JP5847048B2 (ja) | ピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法 | |
KR101790998B1 (ko) | 악보전환방법 및 악보전환장치 | |
JP5243909B2 (ja) | カラオケシステム | |
JP6728572B2 (ja) | 撥弦楽器演奏評価装置、楽曲演奏装置及び撥弦楽器演奏評価プログラム | |
JP2007188175A (ja) | サーバ装置、端末装置およびプログラム | |
WO2022209557A1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP6638429B2 (ja) | カラオケ装置及びカラオケ用プログラム | |
JP5754449B2 (ja) | 楽曲コード譜生成装置 | |
TWM631108U (zh) | 琴譜練習糾錯器 | |
JP2006058577A (ja) | 複数の時系列データを処理するためのデータ処理装置およびプログラム | |
JP6514868B2 (ja) | カラオケ装置及びカラオケ採点システム | |
KR20080094377A (ko) | 휴대단말기에서 악기 연주 기능 제공 방법 및 장치 |