JP2005181585A - 演奏システム、ネットワーク演奏再生表示システム、演奏データ - Google Patents

Abstract

【課題】 曲進行に応じた適切なアングルからの映像を得て、演奏評価等に役立てる。
【解決手段】 演奏装置３０において教習データｅｘＤを再生し、生徒実演奏データ３１ａがデータ再編成部３４に送られ、教習データｅｘＤが再編成部３４に送られると共に、教習データｅｘＤ中のカメラ選択用データｃａｍＤが映像選択部３３に送られる。選択部３３は、カメラＡ〜Ｄから入力される４系統の映像データの中からデータｃａｍＤで規定される１系統の映像データを再編成部３４に送る。再編成部３４は、組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を生成し、これらを入出力制御部３５を介して再生装置２００に送信する。再生装置２００では、受信したデータを再生すると共に、データｉｎＤ１中の映像アドレスｖｉｄＡＤに対応する、出力映像データｖｉｄＤ１中の映像データｖｉｄを順次表示する。
【選択図】 図５

Description

本発明は、演奏の鑑賞や評価に用いるために演奏状態を撮像する演奏システム、ネットワーク演奏再生表示システム、及びこれらのシステムで利用される演奏データに関する。

従来、下記特許文献１に例示されるように、複数の端末装置がネットワークで接続され、電子楽器等の演奏状態を撮像した映像をネットワークを介して送受信するようにした演奏システムが知られている。

例えば、下記特許文献１の演奏システムでは、教師端末側にカメラを設け、教師の演奏状況を表す動的な映像を入力し、音楽指導上の音声等と共にこの映像を生徒端末に送信し、演奏練習に役立てるようにしている。
特開２００３−２５５９３５号公報

しかしながら、上記特許文献１の演奏システムでは、カメラが１つであって、アングルも固定されているため、例えば、生徒の演奏を教師が評価することを考えた場合、種々のアングルによる総合的な評価が行えない。すなわち、曲の演奏部分によっては、左手または右手を重点的に見たい場合や、指の曲げ具合を横から見たい場合や、開き具合を上方から見たい場合等、曲の進行に応じて演奏評価のために重点的に見たい場所や角度が異なる。ところが、カメラアングルが単一で固定では、そのような要望に応えることができないという問題があった。

また、生徒の上達状況によっては、教師の所望によりアングルを随時変えて演奏状態を見たいといった場合も考えられる。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、曲進行に応じた適切なアングルからの映像を得て、演奏評価等に役立てることができる演奏システム、ネットワーク演奏再生表示システム、演奏データを提供することにある。

上記目的を達成するために本発明の請求項１の演奏システムは、演奏装置と、該演奏装置における演奏者による演奏状態をそれぞれ異なる複数のアングルで撮像し、撮像情報として発生させる撮像情報発生手段と、前記演奏装置の演奏者の演奏を演奏情報として生成する演奏情報生成手段と、前記演奏情報生成手段により生成された演奏情報を、前記撮像情報発生手段から発生する撮像情報と共に出力する出力制御手段と、前記出力制御手段により出力される演奏情報に基づき楽音信号を発生させる楽音信号発生手段と、前記出力制御手段により出力される撮像情報を表示する表示手段と、前記演奏情報の記録時または出力時に、時間進行に従って、出力時に出力すべき撮像情報を選択するための選択用データを発生させる選択用データ発生手段とを有し、前記出力制御手段は、前記演奏情報を出力する際、前記選択用データ発生手段により発生した選択用データに基づいて前記撮像情報発生手段から発生する撮像情報のうち一部の撮像情報を選択し、該選択した一部の撮像情報を、前記発生した選択用データの発生タイミングに従って出力することを特徴とする。

この構成によれば、曲進行に応じて、適切なアングルからの映像を、演奏者の演奏を聴きながら再現性高く確認できるので、的確に効率よく演奏評価等を行うことができる。

上記目的を達成するために本発明の請求項６の演奏システムは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムであって、選択用データを入力する選択用データ入力手段と、前記演奏者の演奏時に、前記選択用データ入力手段から入力される選択用データを時間進行に従って記録する選択用データ記録手段と、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段と、前記演奏者の演奏時に前記複数のカメラによって得られる複数系統の撮像データを入力する撮像データ入力手段と、前記実演奏データ生成手段により生成された実演奏データを再生すると共に、前記選択用データ記録手段により記録された選択用データを読み出す出力制御手段とを有し、前記出力制御手段は、前記実演奏データの再生に際し、前記撮像データ入力手段により入力された複数系統の撮像データのうち前記読み出した選択用データに基づいて選択される撮像データを、前記実演奏データに対して時間的に対応させて出力することを特徴とする。

この構成によれば、曲進行に応じて、適切なアングルからの映像を、演奏者の演奏を聴きながら再現性高く確認できるので、的確に効率よく演奏評価等を行うことができる。

上記目的を達成するために本発明の請求項７の演奏システムは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムであって、教習用の所定データと選択用データとが時間的に対応付けられて成る教習データを再生する教習データ再生手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記教習データ中の前記選択用データに基づいて前記複数のカメラの中から選択されるカメラによって得られる撮像データを入力する撮像データ入力手段と、前記実演奏データ生成手段により生成された実演奏データと前記撮像データ入力手段により入力された撮像データとを時間的に対応させて出力するデータ出力手段とを有することを特徴とする。

この構成によれば、選択用データにより、教習曲の演奏部分に応じて予め定めた適切なアングルから撮像して得た撮像データを入力し、これを、実演奏データと共に時間的に対応させて出力することで、例えば、先生は、生徒の演奏結果を聞きながら、曲の進行に応じて重点的に見るべき場所を観察することができる。よって、教習曲の演奏部分に応じて予め定めた適切なアングルから撮像した撮像画像を出力して、演奏評価等に役立てることができる。

上記目的を達成するために本発明の請求項８の演奏システムは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムであって、教習用の所定データと選択用データとが時間的に対応付けられて成る教習データを再生する教習データ再生手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記複数のカメラによって得られる複数系統の撮像データを入力する撮像データ入力手段と、前記実演奏データ生成手段により生成された実演奏データと、前記撮像データ入力手段により入力された複数系統の撮像データのうち前記教習データ中の前記選択用データに基づいて選択されるカメラから入力された撮像データとを、時間的に対応させて出力するデータ出力手段とを有することを特徴とする。

この構成によれば、入力された複数系統の撮像データのうち、選択用データにより、教習曲の演奏部分に応じて予め定めた適切なアングルから撮像して得た撮像データを、実演奏データと共に時間的に対応させて出力することで、例えば、先生は、生徒の演奏結果を聞きながら、曲の進行に応じて重点的に見たい場所を観察することができる。よって、教習曲の演奏部分に応じて予め定めた適切なアングルから撮像した撮像画像を出力して、演奏評価等に役立てることができる。

上記目的を達成するために本発明の請求項９のネットワーク演奏再生表示システムは、上記請求項７または８記載の演奏システムと、該演奏システムにネットワークを通じて通信可能に接続されるクライアント装置とで構成されるネットワーク演奏再生表示システムであって、前記クライアント装置は、前記演奏システムの前記データ出力手段により出力される実演奏データに基づき発音処理を行う発音処理手段と、前記演奏システムの前記データ出力手段により出力される撮像データに基づき表示処理を行う表示処理手段とを有することを特徴とする。

この構成によれば、クライアント装置において、実演奏データの再生と共に、教習曲の演奏部分に応じて適切なアングルから撮像した撮像画像を表示させることができる。よって、離間した場所において行われる演奏評価等に役立てることができる。

上記目的を達成するために本発明の請求項１０の演奏データは、演奏装置と、該演奏装置における演奏状態をそれぞれ異なる複数のアングルで撮像し、撮像情報として発生させる撮像情報発生手段と、前記演奏装置の演奏者の演奏を演奏情報として記録する演奏情報記録手段と、前記演奏情報記録手段により記録された演奏情報を、前記撮像情報発生手段から発生する撮像情報と共に出力する出力制御手段とを含んで構成される演奏システムで使用される演奏データであって、発音すべき個々の演奏音に対応した演奏イベントと、前記撮像情報発生手段から発生する撮像情報のうち出力すべき一部の撮像情報を選択するための選択イベントとで構成され、前記演奏イベントと前記選択イベントとが時間的に対応付けられていることを特徴とする。

また、本発明は、上記目的を達成する上で、以下のような構成を採用してもよい。

例えば、演奏システムは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムであって、教習用の所定データを含んで成る教習データを再生する教習データ再生手段と、選択用データを入力する選択用データ入力手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記選択用データ入力手段により入力された選択用データに基づいて前記複数のカメラの中から選択されるカメラによって得られる撮像データを入力する撮像データ入力手段と、前記実演奏データ生成手段により生成された実演奏データと前記撮像データ入力手段により入力された撮像データとを時間的に対応させて出力するデータ出力手段とを有することを特徴とする。

この構成によれば、教習曲の演奏部分に応じて適切なアングルから撮像した撮像画像を出力して、演奏評価等に役立てることができる。

また、例えば、演奏システムは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムであって、教習用の所定データを含んで成る教習データを再生する教習データ再生手段と、選択用データを入力する選択用データ入力手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段と、前記教習データ再生手段による前記教習データの再生に並行して、前記複数のカメラによって得られる複数系統の撮像データを入力する撮像データ入力手段と、前記実演奏データ生成手段により生成された実演奏データと、前記撮像データ入力手段により入力された複数系統の撮像データのうち前記選択用データ入力手段により入力された選択用データに基づいて選択されるカメラから入力された撮像データとを、時間的に対応させて出力するデータ出力手段とを有することを特徴とする。

この構成によれば、教習曲の演奏部分に応じて適切なアングルから撮像した撮像画像を出力して、演奏評価等に役立てることができる。

また、例えば、ネットワーク演奏再生表示システムは、上記演奏システムと、該演奏システムにネットワークを通じて通信可能に接続されるクライアント装置とで構成されるネットワーク演奏再生表示システムであって、前記クライアント装置は、前記演奏システムの前記データ出力手段により出力される実演奏データに基づき発音処理を行う発音処理手段と、前記演奏システムの前記データ出力手段により出力される撮像データに基づき表示処理を行う表示処理手段と、前記演奏システムに対して前記選択用データを送信する選択用データ送信手段とを有し、前記演奏システムの前記選択用データ入力手段は、前記クライアント装置の前記選択用データ送信手段から送信された選択用データを入力することを特徴とする。

この構成によれば、選択用データが、クライアント装置から送信されるので、クライアント装置において、実演奏データの再生と共に、教習曲の所望の演奏部分において所望のアングルから撮像した撮像画像を表示させることができる。よって、評価側の所望による映像を表示させて、離間した場所において行われる臨機応変の演奏評価等に役立てることができる。

また、例えば、上記ネットワーク演奏再生表示システムにおいて、前記クライアント装置は、前記演奏システムに対して再生指示を送信する再生指示送信手段（３９）を有し、前記演奏システムの前記データ出力手段は、出力すべき前記実演奏データ及び前記撮像データを一旦記憶すると共に、前記クライアント装置の前記再生指示送信手段から送信される再生指示に応答してこれらのデータを前記クライアント装置に対して送信することを特徴とする。

また、例えば、上記ネットワーク演奏再生表示システムにおいて、前記演奏システムは、前記複数のカメラを近傍に配置した電子楽器（４００）とサーバ装置（４１０）とが、ネットワークを通じて通信可能に接続されて構成されることを特徴とする。

また、例えば、教習データは、演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システムで再生される教習データであって、順次読み出されることによって演奏音を発音させるための演奏イベントと、前記複数のカメラの中から、撮像データの入力対象及び撮像データの出力対象の少なくとも一方となるカメラを選択するためのカメラ選択イベントとを含んで構成され、前記演奏イベントと前記カメラ選択イベントとが時間的に対応付けられていることを特徴とする。

この構成によれば、カメラ選択用イベントにより、教習曲の演奏部分に応じて予め定めた適切なアングルから撮像して得た撮像データを選択し、これを、実演奏データと共に時間的に対応させて入力または出力することで、例えば、先生は、生徒の演奏結果を聞きながら、曲の進行に応じて重点的に見るべき場所を観察することができる。よって、教習曲の演奏部分に応じて適切なアングルから撮像した撮像画像を選択させて、演奏評価等に役立てることができる。特に、曲の進行に応じたカメラの選択の態様が予め定まっているので、評価者は、煩雑な操作を行うことなく、一定の基準で評価を行うことが容易である。

本発明によれば、曲進行に応じた適切なアングルからの映像を得て、演奏評価等に役立てることができる。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る演奏システムを含んで構成されるネットワーク演奏再生表示システムの全体構成を示す図である。本ネットワーク演奏再生表示システムは、演奏システムＰＳ１と再生装置２００とが、通信ネットワーク２２を通じて通信可能に接続されて構成される。このネットワーク演奏再生表示システムは主に、生徒が演奏練習し、それを先生が評価するのに用いられる。通常、演奏システムＰＳ１が生徒側、再生装置２００が先生側に設置される。なお、演奏システムＰＳ１及び再生装置２００は、いずれも複数存在してもよい。

演奏システムＰＳ１は、鍵盤楽器機能を有する演奏装置３０と、複数（例えば４個）のカメラＡ、Ｂ、Ｃ、Ｄ（以下、これらを「カメラＣＡＭ」と総称する）から構成される。カメラＡ、Ｂは、演奏装置３０の鍵盤１の主に低音域、高音域をそれぞれ指向するように設置される。カメラＣは上方から鍵盤１を、カメラＤは、演奏装置３０のペダル部ＰＤを、それぞれ指向するように設置される。カメラＡ〜Ｄは、いずれも映像（動画）を撮像可能に構成される。なお、カメラの数は、４個に限定されず、各々が担当する撮像領域も、例示する分担の態様に限定されるものではない。

図２は、演奏装置３０の全体構成を示すブロック図である。

演奏装置３０は、押鍵検出回路３、スイッチ検出回路４、ＲＯＭ６、ＲＡＭ７、タイマ８、表示制御回路９、記憶入出力装置１０、ハードディスクドライブ（ＨＤＤ）１１、ＣＤ−ＲＯＭ（コンパクトディスク−リード・オンリ・メモリ）ドライブ１２、ＭＩＤＩインターフェイス（ＭＩＤＩＩ／Ｆ）１３、通信インターフェイス（通信Ｉ／Ｆ）１４、音源回路１５及び効果回路１６が、バス１８を介してＣＰＵ５にそれぞれ接続されて構成される。

さらに、押鍵検出回路３には上記鍵盤１が接続され、スイッチ検出回路４にはパネルスイッチ２が接続されている。表示制御回路９にはＬＣＤ等の表示装置１９が接続されている。ＣＰＵ５にはタイマ８が接続され、通信Ｉ／Ｆ１４は上記通信ネットワーク２２に接続される。音源回路１５には効果回路１６を介してサウンドシステム１７が接続されている。

押鍵検出回路３は鍵盤１の各鍵（不図示）の押鍵状態を検出する。パネルスイッチ２は、各種情報を入力するための複数のスイッチ（不図示）を備える。スイッチ検出回路４は、パネルスイッチ２の各スイッチの押下状態を検出する。ＣＰＵ５は、演奏装置３０全体の制御を司る。ＲＯＭ６は、ＣＰＵ５が実行する制御プログラムや各種テーブルデータ等を記憶する。ＲＡＭ７は、演奏データ、テキストデータ等の各種入力情報、各種フラグやバッファデータ及び演算結果等を一時的に記憶する。タイマ８は、タイマ割り込み処理における割り込み時間や各種時間を計時する。表示制御回路９は、表示装置１９に楽譜等の各種情報を表示させる。

記憶入出力装置１０は、記憶媒体であるフロッピ（登録商標）ディスク等の可搬の記憶媒体２４をドライブする。記憶媒体２４には、上記制御プログラム、各種アプリケーションプログラム、及び各種データ等が格納される。記憶装置であるＨＤＤ１１は、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶する。ＣＤ−ＲＯＭドライブ１２は、上記制御プログラムを含む各種アプリケーションプログラムや各種データ等が格納されているＣＤ−ＲＯＭ（不図示）をドライブする。

ＭＩＤＩＩ／Ｆ１３は、他のＭＩＤＩ機器等の外部装置（図示せず）との間でＭＩＤＩ（Musical Instrument Digital Interface）信号の送受信を行う。通信ネットワーク２２は、例えばインターネット、電話回線等の、遠隔地同士の通信を可能にするネットワークであるが、有線または無線のＬＡＮ（ローカルエリアネットワーク）等であってもよい。通信Ｉ／Ｆ１４は、通信ネットワーク２２を介して、演奏装置３０とデータの送受信を行う。音源回路１５は、ＭＩＤＩＩ／Ｆ１３等から入力された演奏データを楽音信号に変換する。効果回路１６は、音源回路１５から入力される楽音信号に各種効果を付与し、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１７は、効果回路１６から入力される楽音信号等を音響に変換する。

演奏データは、記憶入出力装置１０、ＣＤ−ＲＯＭドライブ１２、ＭＩＤＩＩ／Ｆ１３または通信Ｉ／Ｆ１４を介して読み出し乃至入力される。読み出しあるいは入力された演奏データは、ＲＡＭ７に格納されると共に、対応する楽譜等が表示装置１９に表示される。なお、演奏データは、ＭＩＤＩデータのほか、音声波形データ等の他の形式のデータであってもよい。

また、演奏データのフォーマットは、演奏イベントの発生時刻を一つ前のイベントからの時間で表した「イベント＋相対時間」、演奏イベントの発生時刻や曲や小節内における絶対時間で表した「イベント＋絶対時間」、音符の音高と符長（あるいは休符と休符長）で演奏データを表した音高（休符）＋符長方式、演奏の最小分割能毎にメモリの領域を確保し、演奏イベントの発生する時刻に対応するメモリ領域に演奏イベントを記憶した「ベタ」方式等、どのような形式であってもよく、いずれのフォーマットを採用しても、周知の技術によって簡単に自動演奏処理を実現することができる。

図３は、再生装置２００の全体構成を示すブロック図である。再生装置２００において、パネルスイッチ２０２、スイッチ検出回路２０４、ＣＰＵ２０５、ＲＯＭ２０６、ＲＡＭ２０７、タイマ２０８、表示制御回路２０９、記憶入出力装置２１０、ハードディスクドライブ２１１、ＣＤ−ＲＯＭドライブ２１２、ＭＩＤＩインターフェイス２１３、通信インターフェイス２１４、音源回路２１５、効果回路２１６、サウンドシステム２１７、バス２１８、表示装置２１９及び記憶媒体２２４は、それぞれ、図２に示す演奏装置３０のパネルスイッチ２、スイッチ検出回路４、ＣＰＵ５、ＲＯＭ６、ＲＡＭ７、タイマ８、表示制御回路９、記憶入出力装置１０、ハードディスクドライブ１１、ＣＤ−ＲＯＭドライブ１２、ＭＩＤＩインターフェイス１３、通信インターフェイス１４、音源回路１５、効果回路１６、サウンドシステム１７、バス１８、表示装置１９及び記憶媒体２４と同様に構成される。

さらに、再生装置２００においては、マウス情報検出回路２２０がバス２１８に接続され、マウス情報検出回路２２０にはマウス２２１が接続される。マウス情報検出回路２２０は、マウス２２１の移動情報やスイッチオン／オフ等の操作情報を検出する。

図４は、本実施の形態で演奏データとして再生される教習データのデータ構造を示す図である。この教習データｅｘＤは、自動演奏を行うための１曲分のデータであり、例えばＭＩＤＩコードによって構成される。教習データｅｘＤの入手方法は問わないが、例えば、教習開始前に、再生装置２００から通信ネットワーク２２を通じて入手される。

この教習データｅｘＤは、伴奏パートを含んでおり、生徒が伴奏を聞きながら例えばピアノパートを練習するのに用いられる。図４に示すように、教習データｅｘＤは、ヘッダデータＨ１、カメラ選択用データｃａｍＤ、伴奏イベントデータａｃＤ及びエンドデータＥＤ等から構成される。教習データｅｘＤには、このほか、演奏に同期して楽譜を表示するための不図示の楽譜データとの対応関係を示す楽譜アドレスデータ（図示せず）等が含まれていてもよい。

伴奏イベントデータａｃＤは、伴奏パートを発音するためのデータであり、キーオン、キーオフ等のノートイベントデータ、及びタイミングデータ等から構成される。キーオンデータは、音源回路１５に対して楽音の発生を指示するためのデータであり、キーオフデータは、発生された楽音の消音を指示するためのデータである。タイミングデータは、それに続くキーオンデータまたはキーオフデータの発生タイミングを規定するためのデータである。エンドデータＥＤは、当該曲の終わりを示すためのデータである。

ヘッダデータＨ１は、曲目等の各種データのほか、拍子を表す拍子データ及び初期的なテンポ値を表すテンポデータ等を含んでいる。

カメラ選択用データｃａｍＤは、その発生タイミングに対応するカメラＣＡＭを規定するイベントデータであり、本実施の形態では、カメラＣＡＭのうち、映像データの入力乃至出力対象となるもの１つを規定する。従って、カメラ選択用データｃａｍＤは、楽音の発生には関与しない。カメラ選択用データｃａｍＤは、そのデータアドレス、すなわち読み出しタイミングにより、伴奏イベントデータａｃＤに対して時間的に対応付けられる。

カメラ選択用データｃａｍＤは、例えば、エクスクルーシブメッセージで構成され、曲の演奏部分に応じて演奏評価等のために重点的にチェックすべき場所を撮像するのに最も適したカメラが随時特定されるように、予め教習データｅｘＤに組み込まれている。カメラ選択用データｃａｍＤは、例えば、教習曲のパート毎あるいは演奏区間毎というように、曲の進行に応じてカメラが刻々と切り替わるように設定される。

図５は、ネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。演奏システムＰＳ１は、上述したように、演奏装置３０とカメラＣＡＭとから成る。演奏装置３０において、実演奏データ生成部３１及び再生部３２がデータ再編成部３４を介して入出力制御部３５に接続されている。再生部３２は映像選択部３３にも接続される。映像選択部３３には、カメラＣＡＭ（カメラＡ〜Ｄのすべて）で撮像して得られた撮像データである４系統の映像データが入力される。映像選択部３３は、データ再編成部３４に接続され、データ再編成部３４は記憶部３６及び入出力制御部３５に接続されている。記憶部３６は入出力制御部３５にも接続されている。

これらの機能部の各機能は、実際には、ＣＰＵ５をはじめとして、図１に示す、主にＲＡＭ７、タイマ８、記憶入出力装置１０、通信Ｉ／Ｆ１４、音源回路１５等の各構成要素の協働作用によって実現される。

一方、再生装置２００は、入出力制御部５０、発音部３７、表示部３８、再生指示部３９及び記憶部５１を有する。入出力制御部５０は、入出力制御部３５との間でデータのやりとりを行う。入出力制御部３５からのデータは、入出力制御部５０を介して、発音部３７、表示部３８に入力され、必要に応じて記憶部５１にも記憶される。また、再生指示部３９は、入出力制御部３５に対して、記憶部３６に記憶されたデータの再生指示を送信する。これら機能部の各機能は、実際には、ＣＰＵ２０５をはじめとして、図２に示す、主にＲＡＭ２０７、タイマ２０８、表示制御回路２０９、ＨＤＤ２１１、表示装置２１９、通信Ｉ／Ｆ２１４、音源回路２１５、効果回路２１６、サウンドシステム２１７等の各構成要素の協働作用によって実現される。

次に、教習データｅｘＤを用いた教習の態様を説明する。

図６は、本実施の形態において演奏装置３０側で実行される練習処理のフローチャートである。図７は、本実施の形態において再生装置２００側で実行される評価処理のフローチャートである。本実施の形態において、教習のモードには、評価用に用いる映像データの対象をカメラＣＡＭのいずれか１つ（１系統）に絞ることを、入力段階で行う「入力時選択モード」と、再生装置２００への出力段階で行う「出力時選択モード」という、２つのモードがある。図５を参照しつつ、これらを分けて説明する。

〈入力時選択モード〉
まず、演奏装置３０において、図６のステップＳ１０１では、教習データｅｘＤの再生処理を行う。すなわち、再生部３２が、教習データｅｘＤを順次読み出し、教習データｅｘＤ中の伴奏イベントデータａｃＤに従って、演奏信号を生成して、生成された演奏信号に設定された効果処理を付加し、増幅して出力することで伴奏演奏を行う。それと共に、生徒による鍵盤１の演奏に基づくリアルタイム発音処理も行う。再生部３２はさらに、教習データｅｘＤをデータ再編成部３４に送ると共に、教習データｅｘＤ中のカメラ選択用データｃａｍＤを、データ再編成部３４及び映像選択部３３に送る。ここで、本「入力時選択モード」では、教習データｅｘＤ中のカメラ選択用データｃａｍＤについては、データ再編成部３４で用いられることがないので、データ再編成部３４には送らず映像選択部３３のみに送るようにしてもよい。

次に、ステップＳ１０２では、実演奏データ生成部３１が、生徒による鍵盤１の演奏に基づいて、伴奏に合わせた生徒の演奏をＭＩＤＩデータに変換することで、生徒実演奏データ３１ａを生成する。ここで生成された生徒実演奏データ３１ａは、データ再編成部３４に送られる。なお、実演奏データ生成部３１は不図示の記憶部も備えており、生成した生徒実演奏データ３１ａを、データ再編成部３４に送るにあたって一時的に保存することもできる。

次に、ステップＳ１０３では、映像入力処理を行う。すなわち、映像選択部３３が、カメラＡ、Ｂ、Ｃ、Ｄから入力される４系統の映像データを入力し、その中から、再生部３２から送られた教習データｅｘＤ中のカメラ選択用データｃａｍＤで規定される１つの系統の映像データを選択する。そして、その選択した１系統の映像データをデータ再編成部３４に送る。

次に、ステップＳ１０４では、データ再編成部３４が、後述する組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を生成する。

図８（ａ）は、組み込みデータｉｎＤ１のデータ構成を示す図、図８（ｂ）は、出力映像データｖｉｄＤ１のデータ構成を示す図である。同図（ａ）に示すように、組み込みデータｉｎＤ１は、図４に示す教習データｅｘＤと、実演奏データ生成部３１から送られた生徒実演奏データ３１ａと、映像選択部３３から送られた選択された１系統の映像データとに基づいて編成される。また、同図（ｂ）に示す出力映像データｖｉｄＤ１は、再生装置２００において、組み込みデータｉｎＤ１の再生に同期して映像を表示させるためのデータであり、ヘッダＨ３（Ｈ３（１）、Ｈ３（２）・・・）に映像データｖｉｄ（ｖｉｄ（１）、ｖｉｄ（２）・・・）が対応付けられたものが複数集まって成る。

図８（ａ）に示す組み込みデータｉｎＤ１中のヘッダデータＨ２は、上記ヘッダデータＨ１の内容に加え、当該組み込みデータｉｎＤ１に対応する出力映像データｖｉｄＤ１を示すデータを含んでいる。これにより、後述する記録・出力処理後においても、組み込みデータｉｎＤ１と出力映像データｖｉｄＤ１との対応関係が保たれる。組み込みデータｉｎＤ１は、映像アドレスｖｉｄＡＤ、伴奏イベントデータａｃＤ、生徒実演奏イベントｓｔＤ及びエンドデータＥＤ等で構成される。伴奏イベントデータａｃＤ及びエンドデータＥＤは、教習データｅｘＤ中のものと同一である。生徒実演奏イベントｓｔＤは、生徒実演奏データ３１ａをイベントデータ化して組み込みデータｉｎＤ１中に組み込んだものである。

映像アドレスｖｉｄＡＤは、出力映像データｖｉｄＤ１中のどの映像データｖｉｄが対応するのかを特定するための指示データであり、映像アドレスｖｉｄＡＤとヘッダデータＨ３との対応関係により、当該映像アドレスｖｉｄＡＤの読み出しタイミングで表示対象とされる映像データｖｉｄが規定される。映像アドレスｖｉｄＡＤは、例えば、エクスクルーシブメッセージで構成される。

図６に戻り、続くステップＳ１０５では、出力処理を行う。ここで、生徒の演奏をほぼリアルタイムで先生が見ることができるように、データ再編成部３４が、生成した組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を、入出力制御部３５に順次送ると共に、入出力制御部３５は、送られた組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を、通信ネットワーク２２を介して再生装置２００に直ちに送信する。なお、データ再編成部３４は、生成したこれらのデータを一時的に保存している。

次に、ステップＳ１０６では、その他処理、すなわち、生徒からの指示の入力等、上記した以外の各種処理を実行する。次に、ステップＳ１０７で、曲の終わりであるか否かを、読み出されたデータがエンドデータＥＤであるか否かによって判別し、曲の終わりでない場合は前記ステップＳ１０１に戻る一方、曲の終わりであれば、ステップＳ１０８に進んで、データ再編成部３４が、上記一時的に保存して１曲分のデータとなった、組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を対応付けて記憶部３６に送り、これらを記憶部３６が保存する。その後本処理を終了する。

ところで、生徒の演奏を、一旦記憶しておいて先生が後で見るようにする場合は、前記ステップＳ１０５の出力処理を行うことなく、別の処理にて、記憶部３６に保存された組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を、入出力制御部３５が読み出して再生装置２００に順次送信する。この場合、入出力制御部３５が、再生装置２００の再生指示部３９から再生指示を受けて、その再生指示に応答して、上記組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を再生装置２００に送信するようにすればよい。

一方、再生装置２００では、図７に示す評価処理が実行される。ここで、この評価処理は、生徒の演奏をほぼリアルタイムで先生が見る場合は、図６の練習処理に並行して実行される。一方、生徒の演奏を先生が後で見る場合は、この評価処理は、上記再生指示部３９から再生指示が送信されるのと同時に開始される。

まず、図７のステップＳ２０１で、受信処理を実行する。すなわち、演奏装置３０の入出力制御部３５から送信される組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を、入出力制御部５０を介して受信する。これら受信される組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１は、記憶部５１に順次記憶される。なお、演奏及び表示をリアルタイムで行う場合は、これらのデータを記憶部５１に記憶する必要はない。

次に、ステップＳ２０２で、読み出し処理を実行する。すなわち、記憶部５１に記憶された組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１を順次読み出す。次に、ステップＳ２０３で、上記読み出したデータの種類を判別し、判別の結果に応じて、続くステップＳ２０４〜Ｓ２０８で各処理を実行する。

前記ステップＳ２０３において、上記読み出したデータがキーオンデータであれば、発音処理を実行する（ステップＳ２０４）。すなわち、発音部３７が、受信した組み込みデータｉｎＤ１中の伴奏イベントデータａｃＤ乃至生徒実演奏イベントｓｔＤに従って、演奏信号を生成し、効果処理を付加してサウンドシステム２１７から出力する。上記読み出したデータがキーオフデータであれば、消音処理を実行する（ステップＳ２０５）。

また、上記読み出したデータが映像アドレスｖｉｄＡＤである場合は、ステップＳ２０８で、映像選択処理を実行する。すなわち、組み込みデータｉｎＤ１中の映像アドレスｖｉｄＡＤに対応する、出力映像データｖｉｄＤ１中の映像データｖｉｄの読み出しを、入出力制御部５０に対して指示する。これによって、当該映像データｖｉｄが直ちに読み出される。

なお、この入力時選択モードでは、上記読み出したデータがカメラ選択用データｃａｍＤである場合はなく、従って、ステップＳ２０８が実行されるのは、映像アドレスｖｉｄＡＤが読み出された場合のみである。なお、後に説明する出力時選択モードにおいては、前記ステップＳ２０８は、カメラ選択用データｃａｍＤが読み出されたときにのみ実行される。

また、上記読み出したデータが映像データｖｉｄである場合は、
表示処理を実行する（ステップＳ２０６）。すなわち、表示部３８が、上記映像データｖｉｄを、対応する映像アドレスｖｉｄＡＤの読み出しタイミング（リアルタイム表示の場合は受信タイミング）に従って表示する。具体的には、表示装置２１９に、カメラＡ〜Ｄのいずれかで撮像された映像が画面表示される。

図９は、再生装置２００における発音及び表示の態様を示すタイムチャートである。同図に示すように、伴奏と共に、生徒の実演奏の楽音が発生し、表示装置２１９に表示される映像が、演奏の進行に従って、カメラＡの映像、カメラＣの映像、カメラＢの映像、カメラＤの映像・・・というように、刻々と切り替わっていく。これにより、先生は、曲の進行に応じて最適なアングルで撮像された映像を、伴奏及び生徒の実演奏を聞きながら確認することができる。

前記ステップＳ２０３において、上記読み出したデータがその他のデータである場合は、そのデータに応じた処理を実行する（ステップＳ２０７）。

次に、ステップＳ２０９に進んで、曲の終わりであるか否かを、受信されたデータがエンドデータＥＤであるか否かによって判別し、曲の終わりでない場合は前記ステップＳ２０１に戻る一方、曲の終わりであれば本処理を終了する。

〈出力時選択モード〉
図１０は、出力時選択モードを実現するネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。同図において、図５と同じ構成要素には同一符号が付してある。

出力時選択モードでは、入力時選択モードに比し、図６の練習処理においては、ステップＳ１０１、Ｓ１０３、Ｓ１０４の処理の内容が異なり、これに対応して、再生部３２、映像選択部３３、データ再編成部３４、入出力制御部３５及び記憶部３６における処理が異なる。特に、出力時選択モードでは、図１０に示すように、映像選択部３３が、入力されるカメラＣＡＭからの４系統の映像データをスルーさせて、すべてデータ再編成部３４に送る点が入力時選択モードと大きく異なる。その他の処理は入力時選択モードと同様である。また、再生装置２００側における評価処理（図７）では、ステップＳ２０３、Ｓ２０８の処理が入力時選択モードと一部異なる。

まず、図６のステップＳ１０１の再生処理では、再生部３２が、上述したのと同様に伴奏演奏、リアルタイム発音処理を行うと共に、教習データｅｘＤをデータ再編成部３４に送る。続いてステップＳ１０２の処理を実行した後、ステップＳ１０３の映像入力処理では、映像選択部３３が、カメラＡ、Ｂ、Ｃ、Ｄから入力される４系統の映像データを入力し、これらすべてをデータ再編成部３４に送る。なお、カメラ選択用データｃａｍＤは、再生部３２から映像選択部３３に送るようにする必要がない。

次に、ステップＳ１０４では、データ再編成部３４が、後述する組み込みデータｉｎＤ２及び出力映像データｖｉｄＤ２を生成する。データ再編成部３４はまた、これら組み込みデータｉｎＤ２及び出力映像データｖｉｄＤ２を記憶部３６に記憶させる。

図１１（ａ）は、組み込みデータｉｎＤ２のデータ構成を示す図、図１１（ｂ）は、出力映像データｖｉｄＤ２のデータ構成を示す図である。組み込みデータｉｎＤ２は、図４に示す教習データｅｘＤと、実演奏データ生成部３１から送られた生徒実演奏データ３１ａと、映像選択部３３から送られた４系統の映像データとに基づいて編成される。同図（ａ）、（ｂ）において、図８（ａ）、（ｂ）に示すものと同じデータには、同一符号が付してある。

図１１（ａ）に示すように、組み込みデータｉｎＤ２は、組み込みデータｉｎＤ１に比し、映像アドレスｖｉｄＡＤに代えてカメラ選択用データｃａｍＤが組み込まれている点が異なり、その他は同様である。このカメラ選択用データｃａｍＤは、再生部３２から送られた教習データｅｘＤ中に含まれていたものと同一である。

図１１（ｂ）に示す出力映像データｖｉｄＤ２は、４系統の映像データｖｉｄ（ｖｉｄ（ａ）、ｖｉｄ（ｂ）、ｖｉｄ（ｃ）、ｖｉｄ（ｄ））で構成される。いずれの映像データｖｉｄも、１曲の最初から終わりまでを通して、カメラＡ〜Ｄがそれぞれの撮像担当箇所を撮像して得られたものである。組み込みデータｉｎＤ２中のカメラ選択用データｃａｍＤは、４系統の出力映像データｖｉｄＤ２中のどの系統の映像データｖｉｄを出力するのかを指定する役割を果たす。

図６に戻り、続くステップＳ１０５〜Ｓ１０８の処理は、入力時選択モードに比し、扱う対象が、組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１に代わって組み込みデータｉｎＤ２及び出力映像データｖｉｄＤ２になる点以外は同様である。

一方、再生装置２００において、図７のステップＳ２０３の判別の結果、前記ステップＳ２０２で読み出したデータが組み込みデータｉｎＤ２中のカメラ選択用データｃａｍＤである場合は、ステップＳ２０８の映像選択処理では、該カメラ選択用データｃａｍＤで指定される１系統の映像データｖｉｄを、受信された出力映像データｖｉｄＤ２中から特定、その特定した映像データｖｉｄを順次読み出すよう、入出力制御部５０に対して指示する。これによって、当該映像データｖｉｄが直ちに読み出される。従って、出力時選択モードにおいては、前記ステップＳ２０６では、映像データｖｉｄ（ａ）〜ｖｉｄ（ｄ）のうち随時特定される１系統の映像データｖｉｄが、表示部３８に順次表示される。その表示態様は、外見上、入力時選択モードの場合と同様になる（図９参照）。

本実施の形態によれば、教習データｅｘＤに、カメラ選択用データｃａｍＤを予め組み込み、カメラ選択用データｃａｍＤに従って、曲の進行に応じて、入力段階または出力段階で、４系統のカメラ映像入力のうち１系統を採用するようにし、再生装置２００側で、伴奏及び生徒の実演奏の発音に同期させて生徒の演奏状態を表示させ、映像で確認できるようにした。これにより、先生は、生徒の演奏結果を聞きながら、教習曲の演奏部分に応じて、重点的に見るべき場所として予め定めた適切なアングルから撮像した撮像画像を観察することができるので、あらゆるアングルから観察して総合的に演奏評価をしたり、演奏結果を楽しんだりすることができる。特に、曲の進行に応じたカメラの選択の態様が予め定まっているので、評価者は、煩雑な操作を行うことなく、一定の基準で評価を行うことが容易である。しかも、再生装置２００が演奏装置３０と通信ネットワーク２２を介して接続されているので、先生は、生徒に対して遠隔に居ても、リアルタイムで演奏評価が行える。

また、組み込みデータｉｎＤ１、２及び出力映像データｖｉｄＤ１、２は、記憶部３６に一旦保存されて、再生装置２００からの再生指示に応答して送信できるようにしたので、先生は、生徒の演奏結果を、後日都合の良いときに確認することもできる。

また、カメラ選択用データｃａｍＤは、重点的にチェックすべき場所を撮像するのに最も適したカメラが随時特定されるように、予め教習データｅｘＤに組み込まれているので、評価者は、煩雑な操作を行うことなく、一定の基準で評価を行うことが容易である。特に、同じ練習曲については、複数の生徒に対して、共通のアングルで撮像した映像を見ることになるので、評価の質が均一になる。

なお、記憶部３６において、例えば、組み込みデータｉｎＤ１、２及び出力映像データｖｉｄＤ１、２を、可搬の記憶媒体２４に保存し、この記憶媒体２４を再生装置２００側に通信媒体を介することなく供給するようにしてもよい。

なお、本実施の形態の「出力時選択モード」では、４系統の出力映像データｖｉｄＤ２をすべて送信するため、送信データ量が多くなる。そこで、４系統の出力映像データｖｉｄＤ２を１系統に絞る処理を、再生装置２００ではなく演奏装置３０側で行うようにしてもよい。

その場合、次のように処理すればよい。すなわち、入出力制御部３５は、データ再編成部３４から送られた組み込みデータｉｎＤ２を通信ネットワーク２２を介して再生装置２００に送信すると共に、組み込みデータｉｎＤ２中のカメラ選択用データｃａｍＤで指定される１系統の映像データｖｉｄを出力映像データｖｉｄＤ２中から随時特定し、その特定した映像データｖｉｄを、組み込みデータｉｎＤ２と同期させて通信ネットワーク２２を介して再生装置２００に送信する。従って、入出力制御部３５は、入力されるカメラ選択用データｃａｍＤに従って、刻々と映像系統を切り換えて再生装置２００に送信する。記憶部３６に一旦保存された組み込みデータｉｎＤ２及び出力映像データｖｉｄＤ２についても同様に処理することができる。これにより、データ送信の負担を軽減することが可能になる。

なお、教習データｅｘＤは、伴奏イベントデータａｃＤとカメラ選択用データｃａｍＤとが時間的に対応付けられていればよく、例示したＭＩＤＩコードのデータ構造に限定されず、他のデータ構造を採用してもよい。その場合、各データの時間情報は、相対時間で管理してもよいし、絶対時間で管理してもよい。

なお、生徒実演奏データ３１ａと映像データｖｉｄとは、例えば、両者をＳＭＴＰＥ等の絶対時間値で、つき合わせながら進行させる等によって同期をとることができれば、必ずしも、図８（ａ）に示す組み込みデータｉｎＤ１中の映像アドレスｖｉｄＡＤは記録する必要はない。その場合、図８（ｂ）に示す出力映像データｖｉｄＤ１中のヘッダＨ３も不要となる。

（第２の実施の形態）
上記第１の実施の形態では、カメラ選択用データｃａｍＤが予め教習データｅｘＤに組み込まれていたが、第２の実施の形態では、カメラ選択用データｃａｍＤに相当する映像指定データを再生装置から受け取る。

本発明の第２の実施の形態の演奏システム、及び該演奏システムと再生装置とから構成されるネットワーク演奏再生表示システムの構成は、第１の実施の形態と基本的に同様である。従って、本第２の実施の形態では、図５に代えて図１２を用いて、入力時選択モードの処理を説明する。

図１２は、本発明の第２の実施の形態におけるネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。同図において、図５と同じ構成要素には同一符号が付してある。

第１の実施の形態に比し、再生装置２００には、映像指定部４０が追加される。また、教習データｅｘＤの内容は、カメラ選択用データｃａｍＤが組み込まれていない点以外は第１の実施の形態と同様である。なお、教習データｅｘＤは第１の実施の形態のものと同一とし、カメラ選択用データｃａｍＤを無効扱いにして処理を行うようにしてもよいし、映像指定部４０による映像の指定とカメラ選択用データｃａｍＤとを併用するようにしてもよい。第１の実施の形態では、カメラ選択用データｃａｍＤが、再生部３２からデータ再編成部３４及び映像選択部３３に送られたが、第２の実施の形態では、カメラ選択用データｃａｍＤと同様の機能を有する映像指定データ４０ａが、映像指定部４０から通信ネットワーク２２を介して映像選択部３３及びデータ再編成部３４に供給される（図１２参照）。

映像指定データ４０ａは、図７の評価処理において、例えば、ステップＳ２０７のその他処理で送信することができる。すなわち、再生装置２００において、伴奏及び生徒実演奏の再生に並行して、先生の判断で、所望のタイミングで、４系統の映像のうち所望の１つを指定するよう、映像指定データ４０ａを生成して送信する。映像指定データ４０ａは再生装置２００から演奏装置３０へ随時送信可能である。

演奏装置３０では、送信されてきた映像指定データ４０ａを随時受け付け、図６のステップＳ１０３における映像選択部３３による映像入力処理、及び、ステップＳ１０４におけるデータ再編成部３４による組み込みデータ生成処理において、その映像指定データ４０ａを反映させる。すなわち、第２の実施の形態でカメラ選択用データｃａｍＤを用いたのと同様に、映像指定データ４０ａに基づいて各処理を実行する。これらの処理の態様は、カメラ選択用データｃａｍＤに代えて映像指定データ４０ａを用いる点が異なるのみであり、その他は同様である。

また、出力時選択モードにおいては、映像指定データ４０ａが、映像指定部４０からデータ再編成部３４に供給されるようにする。そして、カメラ選択用データｃａｍＤに代えて映像指定データ４０ａを用いる点以外は、第１の実施の形態の出力時選択モードと同様に処理する。

本実施の形態によれば、第１の実施の形態と同様の効果を奏するだけでなく、再生装置２００側で、実演奏及び伴奏を聞きながら、教習曲の所望の演奏部分において所望のアングルから撮像した撮像画像を表示させることができるので、臨機応変に個別的な演奏評価を行うのに有利である。

なお、第１、第２の実施の形態においては、演奏システムＰＳ１と再生装置２００とでネットワーク演奏再生表示システムが構成された。しかし、データ送信側である演奏システムＰＳ１側には、最低限、演奏機能が備わっていればよく、データ受信側である再生装置２００には、最低限、楽音発生機能と表示機能とが備わっていればよい、従って、その他の機能は、演奏システムＰＳ１または再生装置２００のいずれかに備えるようにすればよい。

（第３の実施の形態）
図１３は、本発明の第３の実施の形態に係るネットワーク演奏再生表示システムの全体構成を示す図である。図１４は、第３の実施の形態に係るネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。図１４において、図５と同じ構成要素には同一符号が付してある。

第１の実施の形態では、演奏システムＰＳ１と再生装置２００とが、通信ネットワーク２２で接続されてネットワーク演奏再生表示システムが構成された。本発明の第３の実施の形態では、図１３に示すように、サーバ装置４１０に通信ネットワーク４３０、４４０を通じて、複数のカメラ付演奏装置４００、複数のクライアント装置４２０がそれぞれ接続されてネットワーク演奏再生表示システムが構成される。通信ネットワーク４３０、４４０の少なくとも一方は、通信ネットワーク２２と同様に遠隔通信が可能なネットワークであり、通信ネットワーク４３０と通信ネットワーク４４０とは同一のネットワークであってもよい。

図１４に示すように、第１の実施の形態と比較すると、本第３の実施の形態のネットワーク演奏再生表示システムは、演奏システムＰＳ１を、サーバ装置４１０と複数のカメラ付演奏装置４００とに通信可能に分けて構成すると共に、再生装置２００に代えてクライアント装置４２０を通信ネットワーク４４０に接続したものに相当する。サーバ装置４１０及びクライアント装置４２０はいずれも、図３に示す再生装置２００と同様の構成要素を含んで構成される。カメラ付演奏装置４００は、図１に示す演奏システムＰＳ１と同様に構成され、演奏装置３０及びカメラＣＡＭ（Ａ〜Ｄ）で構成される。本第３の実施の形態では、通常、カメラ付演奏装置４００が生徒側、クライアント装置４２０が先生側に設置される。

本第３の実施の形態では、実演奏データ生成部３１及び再生部３２の機能をカメラ付演奏装置４００が果たし、映像選択部３３、データ再編成部３４、入出力制御部３５及び記憶部３６の機能をサーバ装置４１０が果たすように構成する。クライアント装置４２０は、再生装置２００と同様の発音部３７、表示部３８及び再生指示部３９の機能を果たすように構成される。これら各機能部による処理内容は、第１の実施の形態におけるものと同様である。

なお、図示はしないが、第２の実施の形態と同様に、クライアント装置４２０が映像指定部４０を備え、この映像指定部４０からサーバ装置４１０に映像指定データ４０ａが送信されるように構成し、映像指定データ４０ａに基づき第２の実施の形態と同様の処理を行うようにしてもよい。

本第３の実施の形態によれば、第１の実施の形態と同様の効果を奏するだけでなく、サーバ装置４１０に対して、先生が用いる複数のクライアント装置４２０と、生徒が用いる複数のカメラ付演奏装置４００とがネットワークで接続される。従って、先生が生徒と遠隔にある状態で評価を行うことができるだけでなく、１人の先生が複数の生徒の評価を行ったり、逆に１人の生徒の評価を複数人の先生が行ったりすることが可能になり、演奏教習ビジネスとしての利用がより現実的となる。

なお、本実施の形態において、映像指定部４０から、映像指定データ４０ａをサーバ装置４１０に送るようにする場合は、複数のクライアント装置４２０間で映像の選択が競合する場合があり得る。そこで、同時に複数のクライアント装置４２０で評価を行う場合は、それら複数のクライアント装置４２０間で優先順位を自動または手動によって設定することで、円滑な映像選択を行えるようにするのが好ましい。

なお、上記各実施の形態では、組み込みデータｉｎＤ１、２に伴奏イベントデータａｃＤを組み込んで再生装置２００に送信するようにしたが、伴奏イベントデータａｃＤは必ずしも組み込みデータｉｎＤ１、２に含めなくてもよい。

なお、上記各実施の形態において、教習データｅｘＤに含まれる練習用のデータは、伴奏イベントデータａｃＤ等の楽音データに限られず、演奏位置を知らせるだけのメトロノーム音のような発音データ、あるいは楽譜データ等の表示用データであってもよい。

なお、上記第１、第３の実施の形態において、カメラ選択用データｃａｍＤを、教習データｅｘＤに含ませることに代えて、カメラ選択用データｃａｍＤに相当するカメラ切り換え用データを別系列で記憶しておき、これを教習データｅｘＤに同期して再生させるようにしてもよい。

なお、上記各実施の形態において、カメラ選択用データｃａｍＤ乃至映像指定データ４０ａは、１系列のカメラ映像のみを指定するように構成したが、複数系列のカメラ映像を同タイミングで指定するように構成してもよい。その場合、再生装置２００においても同時に複数画面を表示できるように構成するのが好ましい。

また、カメラ選択用データｃａｍＤ乃至映像指定データ４０ａは、入力乃至出力の対象とされるカメラ映像を指定するだけであったが、これに限られず、例えば、演奏システムＰＳ１乃至カメラ付演奏装置４００にカメラを駆動制御する機構を備えて、且つ、カメラ選択用データｃａｍＤ等にカメラズームやアングル変更の情報を含めるようにして、曲の進行に応じて、カメラ選択に加えてズーミングやアングル切り換えを行うようにしてもよい。

なお、上記各実施の形態においては、演奏システムＰＳ１乃至ネットワーク演奏再生表示システムが、主に教習用に用いられるものとして説明したが、用途はこれに限定されず、例えば、コンペティションシステムや、コンサートシステムにも適用可能である。

なお、上記各実施の形態において、組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１が時間進行に従って、シリアルに順次送信される構成を例示したが、これに限るものでなく、例えば、バルクデータとして送信し、再生装置２００側で、演奏イベントの再生の際に映像アドレスｖｉｄＡＤ等の読み出しに応じて映像を選択して表示するようにしてもよい。また、組み込みデータｉｎＤ１及び出力映像データｖｉｄＤ１の出力の態様には、ネットワーク４４０への出力や、再生装置２００側での再生だけでなく、演奏システムＰＳ１側での再生出力も含まれる。

なお、上記各実施の形態において、映像選択が、カメラ選択用データｃａｍＤまたは映像指定データ４０ａによってなされる場合を個別に示したが、教習データｅｘＤを再生進行中に、再生装置２００側から先生の意志で映像を随時指定できるようにしてもよい。

なお、上記各実施の形態において、教習データｅｘＤ中に伴奏イベントデータａｃＤが含まれたが、完全な伴奏に代えて、教習データｅｘＤ中に、曲の一部を断続的に含めたりメトロノーム音を含めたりして、曲及び撮像の進行が演奏者にわかるようにするだけでもよい。

なお、上記各実施の形態において、組み込みデータｉｎＤ１、２（図８（ａ）、図１１（ａ）参照）中に、生徒実演奏イベントｓｔＤと伴奏イベントデータａｃＤとをいっしょに記録するようにしたが、伴奏イベントデータａｃＤのない構成も採用可能である、また、生徒実演奏イベントｓｔＤ及び伴奏イベントデータａｃＤと、映像アドレスｖｉｄＡＤまたはカメラ選択用データｃａｍＤとは、それぞれ別トラックで構成するようにしてもよい。この場合、生徒実演奏イベントｓｔＤ等とそれらの発生タイミングを制御するデータとを含む形で１つのトラックを構成して記録するようにしてもよい。また、この場合、必要に応じて、生徒実演奏イベントｓｔＤ等のトラックとカメラ選択用データｃａｍＤ等のトラックのみで構成してもよい。

なお、上記各実施の形態において、演奏装置として鍵盤楽器を例示したが、管楽器、打楽器等、適用される楽器の種類は問わない。

なお、上記各実施の形態において、撮像データを発生させるデバイスとしてカメラＣＡＭ（Ａ〜Ｄ）を例示したが、撮像映像を撮像と同時にリアルタイムで表示するのでなければ、記憶装置に記憶しておいた映像を用いてもよく、その場合、該記憶装置が撮像データの発生手段となる。該記憶装置の構成は、磁気テープ、ＨＤＤ等、種類を問わない。

なお、上記各実施の形態において、発音部３７は、組み込みデータｉｎＤ１、２中の楽音データを再生できればよく、その音源等の種類は問わない。

なお、上記第２の実施の形態において、映像指定データ４０ａは映像指定部４０から発生するとしたが、映像指定データ４０ａの発生手段は例示したものに限定されない、例えば、ハンドヘルドの操作部に設けた複数のスイッチから所望のものを操作して発生するようにしてもよいし、映像系統の数に応じたフットペダルのうち所望のペダルを足で踏むことで発生するようにしてもよい。あるいは、指揮棒状のものを振ってその操作方向に応じた映像系統が選択されるようにしてもよい。

なお、上記各実施の形態では、記録側である演奏システムＰＳ１と、再生側である再生装置２００またはクライアント装置４２０とによって、ネットワーク演奏再生表示システムが構成されたが、記録側及び再生側を含んだ１つの装置として構成してもよい。そのようにすれば、例えば、記録するタイミングと再生するタイミングが異なるような場合に有用である。例えば、生徒に与えた宿題曲の演奏を、先生がいないときに記録し、後で、先生が来たときに再生して評価を行うような場合である。

なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、装置乃至システムに読み出すことによって同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭ、ハードディスクのほか、光ディスク、フロッピディスク等の可搬媒体等を用いることができる。

本発明の第１の実施の形態に係る演奏システムを含んで構成されるネットワーク演奏再生表示システムの全体構成を示す図である。 演奏装置の全体構成を示すブロック図である。 再生装置の全体構成を示すブロック図である。 本実施の形態で演奏データとして再生される教習データのデータ構造を示す図である。 ネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。 演奏装置側で実行される練習処理のフローチャートである。 再生装置側で実行される評価処理のフローチャートである。 組み込みデータのデータ構成を示す図（図（ａ））、及び出力映像データのデータ構成を示す図（図（ｂ））である。 再生装置における発音及び表示の態様を示すタイムチャートである。 出力時選択モードを実現するネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。 組み込みデータのデータ構成を示す図（図（ａ））、及び出力映像データのデータ構成を示す図（図（ｂ））である。 本発明の第２の実施の形態におけるネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。 本発明の第３の実施の形態に係るネットワーク演奏再生表示システムの全体構成を示す図である。 第３の実施の形態に係るネットワーク演奏再生表示システムの主な機能構成を示すブロック図である。

符号の説明

３０ 演奏装置、 ３１ 実演奏データ生成部（演奏情報生成手段、実演奏データ生成手段）、 ３２ 再生部（選択用データ発生手段、教習データ再生手段）、 ３３ 映像選択部（撮像データ入力手段、選択用データ入力手段）、 ３４ データ再編成部（出力制御手段の一部、データ出力手段の一部、選択用データ入力手段）、 ３５ 出力制御部（出力制御手段の一部、データ出力手段の一部）、 ３６ 記憶部（記憶手段、選択用データ記録手段）、 ３７ 発音部（楽音信号発生手段、発音処理手段）、 ３８ 表示部（表示手段、表示処理手段）、 ３９ 再生指示部、 ４０ 映像指定部（選択用データ発生手段）、 ４０ａ 映像指定データ（選択用データ）、 ２２、４３０、４４０ 通信ネットワーク、 ２００ 再生装置（受信側装置、クライアント装置）、 ４００ カメラ付演奏装置（電子楽器）、 ４１０ サーバ装置、 ４２０ クライアント装置、 ａｃＤ 伴奏イベントデータ（所定データ、演奏イベント）、 ＣＡＭ カメラ（撮像情報発生手段）、 ＰＳ１ 演奏システム（送信側装置）、 ｅｘＤ 教習データ（演奏データ）、 ｉｎＤ１、ｉｎＤ２ 組み込みデータ（演奏データ、教習用演奏情報）、 ｃａｍＤ カメラ選択用データ（選択用データ、選択イベント）、
ｖｉｄＡＤ 映像アドレス（選択用データ、選択イベント）

Claims (10)

1. 演奏装置（３０）と、
   該演奏装置における演奏者による演奏状態をそれぞれ異なる複数のアングルで撮像し、撮像情報として発生させる撮像情報発生手段（ＣＡＭ）と、
   前記演奏装置の演奏者の演奏を演奏情報（ｓｔＤ）として生成する演奏情報生成手段（３１）と、
   前記演奏情報生成手段により生成された演奏情報を、前記撮像情報発生手段から発生する撮像情報と共に出力する出力制御手段（３４、３５）と、
   前記出力制御手段により出力される演奏情報に基づき楽音信号を発生させる楽音信号発生手段（３７）と、
   前記出力制御手段により出力される撮像情報を表示する表示手段（３８）と、
   前記演奏情報の記録時または出力時に、時間進行に従って、出力時に出力すべき撮像情報を選択するための選択用データ（ｃａｍＤ、ｖｉｄＡＤ）を発生させる選択用データ発生手段（３２、４０）とを有し、
   前記出力制御手段は、前記演奏情報を出力する際、前記選択用データ発生手段により発生した選択用データに基づいて前記撮像情報発生手段から発生する撮像情報のうち一部の撮像情報を選択し、該選択した一部の撮像情報を、前記発生した選択用データの発生タイミングに従って出力することを特徴とする演奏システム。
2. 前記選択用データ発生手段は、楽曲の練習に関する練習イベント情報とともに時間進行に従って選択用データが記録されて成る教習用演奏情報（ｅｘＤ、ｉｎＤ１）を読み出すことで、前記選択用データを発生させることを特徴とする請求項１記載の演奏システム。
3. 選択用データ（４０ａ）を入力する選択用データ入力手段（３３、３４）を有し、前記教習用演奏情報（ｉｎＤ１）は、前記演奏情報生成手段により生成される演奏情報と前記選択用データ入力手段により入力される選択用データとを時間的に対応付けて記録して成ることを特徴とする請求項２記載の演奏システム。
4. 前記演奏情報生成手段により生成された演奏情報を、その演奏進行に従って選択用データ（４０ａ）と時間的に対応付けて記憶する記憶手段（３６）を有し、前記選択用データ発生手段は、前記記憶手段に記憶された演奏情報及び選択用データを順に読み出し、前記出力制御手段は、前記選択用データ発生手段により読み出されたデータが選択用データであるとき、該選択用データに基づいて前記一部の撮像情報を選択することを特徴とする請求項１記載の演奏システム。
5. 当該演奏システムは、少なくとも前記演奏装置を含んで成る送信側装置と、少なくとも前記楽音信号発生手段及び前記表示手段を含んで成る受信側装置とが、ネットワークを通じて接続されて構成されることを特徴とする請求項１記載の演奏システム。
6. 演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システム（ＰＳ１）であって、
   選択用データ（４０ａ）を入力する選択用データ入力手段（３４）と、
   前記演奏者の演奏時に、前記選択用データ入力手段から入力される選択用データを時間進行に従って記録する選択用データ記録手段（３６）と、
   前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段（３１）と、
   前記演奏者の演奏時に前記複数のカメラによって得られる複数系統の撮像データを入力する撮像データ入力手段（３３）と、
   前記実演奏データ生成手段により生成された実演奏データを再生すると共に、前記選択用データ記録手段により記録された選択用データを読み出す出力制御手段（３４、３５）とを有し、
   前記出力制御手段は、前記実演奏データの再生に際し、前記撮像データ入力手段により入力された複数系統の撮像データのうち前記読み出した選択用データに基づいて選択される撮像データを、前記実演奏データに対して時間的に対応させて出力することを特徴とする演奏システム。
7. 演奏装置（３０）と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システム（ＰＳ１）であって、
   教習用の所定データ（ａｃＤ）と選択用データ（ｃａｍＤ）とが時間的に対応付けられて成る教習データ（ｅｘＤ）を再生する教習データ再生手段（３２）と、
   前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段（３１）と、
   前記教習データ再生手段による前記教習データの再生に並行して、前記教習データ中の前記選択用データに基づいて前記複数のカメラの中から選択されるカメラによって得られる撮像データを入力する撮像データ入力手段（３３）と、
   前記実演奏データ生成手段により生成された実演奏データと前記撮像データ入力手段により入力された撮像データとを時間的に対応させて出力するデータ出力手段（３４、３５）とを有することを特徴とする演奏システム。
8. 演奏装置と、該演奏装置の演奏者による演奏状態をそれぞれ異なるアングルで撮像する複数のカメラとを含んで構成される演奏システム（ＰＳ１）であって、
   教習用の所定データ（ａｃＤ）と選択用データ（ｃａｍＤ）とが時間的に対応付けられて成る教習データ（ｅｘＤ）を再生する教習データ再生手段（３２）と、
   前記教習データ再生手段による前記教習データの再生に並行して、前記演奏者の演奏に従って実演奏データを生成する実演奏データ生成手段（３１）と、
   前記教習データ再生手段による前記教習データの再生に並行して、前記複数のカメラによって得られる複数系統の撮像データを入力する撮像データ入力手段（３３）と、
   前記実演奏データ生成手段により生成された実演奏データと、前記撮像データ入力手段により入力された複数系統の撮像データのうち前記教習データ中の前記選択用データに基づいて選択されるカメラから入力された撮像データとを、時間的に対応させて出力するデータ出力手段（３４、３５）とを有することを特徴とする演奏システム。
9. 上記請求項７または８記載の演奏システムと、該演奏システムにネットワークを通じて通信可能に接続されるクライアント装置（２００、４２０）とで構成されるネットワーク演奏再生表示システムであって、
   前記クライアント装置は、前記演奏システムの前記データ出力手段により出力される実演奏データに基づき発音処理を行う発音処理手段（３７）と、前記演奏システムの前記データ出力手段により出力される撮像データに基づき表示処理を行う表示処理手段（３８）とを有することを特徴とするネットワーク演奏再生表示システム。
10. 演奏装置と、該演奏装置における演奏状態をそれぞれ異なる複数のアングルで撮像し、撮像情報として発生させる撮像情報発生手段と、前記演奏装置の演奏者の演奏を演奏情報として記録する演奏情報記録手段と、前記演奏情報記録手段により記録された演奏情報を、前記撮像情報発生手段から発生する撮像情報と共に出力する出力制御手段とを含んで構成される演奏システムで使用される演奏データであって、
    発音すべき個々の演奏音に対応した演奏イベント（ａｃＤ）と、
    前記撮像情報発生手段から発生する撮像情報のうち出力すべき一部の撮像情報を選択するための選択イベント（ｖｉｄＡＤ、ｃａｍＤ）とで構成され、
    前記演奏イベントと前記選択イベントとが時間的に対応付けられていることを特徴とする演奏データ。

Images