JP2019056871A - 再生制御方法および再生制御装置 - Google Patents

Abstract

【課題】仮想的な他の実演者と実演しているような感覚を実演者に付与する。【解決手段】コンピュータが、演奏者Ｐによる実演を解析し、楽曲データＤが表す楽曲の演奏音を放音装置１４に再生させ、解析の結果に応じて演奏音の再生を制御し、解析の結果に応じて実演に関するメッセージを出力する。【選択図】図２

Description

本発明は、楽曲の再生を制御する技術に関する。

楽曲のうち演奏者が演奏している位置を解析する技術（スコアアライメント）が従来から提案されている。例えば特許文献１には、演奏者が実際に演奏した楽曲の演奏音から演奏位置を推定し、演奏位置の進行に同期するように伴奏パートの演奏音の再生を制御する技術が開示されている。また、特許文献２には、伴奏音のキーとテンポとを演奏者による演奏に追従させる技術が開示されている。

特開２０１６−０９９５１２号公報 特開２００６−２０１６５４号公報

しかし、伴奏パートの再生を演奏者の実際の演奏に単に同期させるだけでは、他者と協調して演奏しているような感覚を演奏者に充分に付与できない。以上の事情を考慮して、本発明は、仮想的な他の実演者と実演（例えば演奏）しているような感覚を実演者に付与することを目的とする。

以上の課題を解決するために、本発明の好適な態様に係る再生制御方法は、コンピュータが、実演者による実演を解析し、楽曲データが表す楽曲の演奏音を放音装置に再生させ、前記解析の結果に応じて前記演奏音の再生を制御し、前記解析の結果に応じて前記実演に関するメッセージを出力する。
また、本発明の好適な態様に係る再生制御装置は、実演者による実演を解析する解析処理部と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部とを具備する。

本発明の第１実施形態に係る再生制御装置の構成図である。 演奏画面の模式図である。 情報出力処理のフローチャートである。 再生制御装置の動作を示すフローチャートである。 総評画面の模式図である。 変形例における総評画面の部分的な模式図である。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る再生制御装置１００の構成を例示するブロック図である。再生制御装置１００を利用する演奏者Ｐは、楽器を使用して楽曲の特定のパート（以下「演奏パート」という）を演奏する。再生制御装置１００は、演奏者Ｐによる演奏パートの演奏に並行して、当該楽曲の他のパート（以下「再生パート」という）の演奏音を再生する。演奏パートは、例えば楽曲の主旋律のパートであり、再生パートは、例えば当該楽曲の伴奏のパートである。したがって、演奏者Ｐは、楽曲の再生パートを担当する仮想的な演奏者（以下「仮想演奏者」という）と当該楽曲を合奏する感覚で演奏パートを演奏する。なお、再生制御装置１００が再生パートの演奏音を再生する動作を以下では「再生動作」と表記する。なお、演奏パートと再生パートとは楽曲の共通のパートでもよい。

第１実施形態の再生制御装置１００は、演奏者Ｐによる演奏を解析した結果に応じたメッセージ（以下「感想メッセージ」という）を再生動作に並行して順次に表示する。感想メッセージは、仮想演奏者が演奏者Ｐの演奏について抱く感情を表現した文字列であり、仮想演奏者の発言または心情として演奏者Ｐに報知される。

図１に例示される通り、第１実施形態の再生制御装置１００は、制御装置１１と記憶装置１２と収音装置１３と放音装置１４と表示装置１５とを具備する。制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路であり、再生制御装置１００を構成する各要素（記憶装置１２，収音装置１３，放音装置１４および表示装置１５）を統括的に制御する。

記憶装置１２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成され、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、再生制御装置１００とは別体の記憶装置１２（例えばクラウドストレージ）を用意し、移動体通信網またはインターネット等の通信網を介して制御装置１１が記憶装置１２に対する書込および読出を実行してもよい。すなわち、記憶装置１２は再生制御装置１００から省略され得る。

第１実施形態の記憶装置１２は、楽曲の内容（すなわち楽譜）を表す楽曲データＤを記憶する。図１に例示される通り、楽曲データＤは、演奏データＤ1と再生データＤ2とで構成される。演奏データＤ1は、演奏者Ｐが演奏する演奏パートの内容（例えば演奏パートを構成する音符列）を指定する。他方、再生データＤ2は、再生制御装置１００が再生する再生パートの内容（例えば再生パートを構成する音符列）を指定する。演奏データＤ1および再生データＤ2の各々は、例えば、発音または消音を指示する指示データと、当該指示データの発生時点を指定する時間データとが時系列に配列されたＭＩＤＩ（Musical Instrument Digital Interface）形式の時系列データである。指示データは、例えば音高と強度とを指定して発音または消音等の動作を指示する。時間データは、例えば相前後する指示データの間隔を指定する。

記憶装置１２は、複数の感想メッセージＭaを記憶する。具体的には、仮想演奏者の相異なる感情を表現する複数の感想メッセージＭaが記憶装置１２に記憶される。複数の感想メッセージＭaの各々には識別情報が付与される。記憶装置１２に記憶された複数の感想メッセージＭaのうち演奏者Ｐによる演奏に応じて選択された感想メッセージＭaが演奏者Ｐに対して出力される。

収音装置１３は、演奏者Ｐによる演奏で楽器から発音された演奏音を収音し、当該演奏音の波形を表す音響信号Ｘを生成する。例えばマイクロホンが収音装置１３として好適に採用される。電気弦楽器等の電気楽器から出力される音響信号Ｘを利用してもよい。したがって、収音装置１３は省略され得る。なお、収音装置１３が生成した音響信号Ｘをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。

表示装置１５は、制御装置１１による制御のもとで各種の画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）表示パネルが表示装置１５として好適に採用される。第１実施形態の表示装置１５は、感想メッセージＭaを表示する。放音装置１４（スピーカまたはヘッドホン）は、再生制御装置１００から指示された音響を再生する。第１実施形態の放音装置１４は、再生制御装置１００による制御のもとで再生パートの演奏音を再生する。

制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、楽曲の再生パートの再生と感想メッセージＭaの出力とを実現するための複数の機能（解析処理部２１，再生制御部２２および出力処理部２３）を実現する。なお、制御装置１１の機能を複数の装置の集合（すなわちシステム）で実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。

解析処理部２１は、演奏者Ｐによる演奏パートの演奏を解析する。具体的には、解析処理部２１は、収音装置１３が生成した音響信号Ｘを解析することで、演奏者Ｐが演奏している楽曲内の位置（以下「演奏位置」という）Ｑ1と、演奏者Ｐによる演奏の速度（以下「演奏速度」という）Ｑ2と、演奏者Ｐによる演奏の巧拙の指標（以下「評価指標」という）Ｑ3とを算定する。解析処理部２１による各指標Ｑ（Ｑ1〜Ｑ3）の算定は、演奏者Ｐによる演奏に並行して順次に（すなわち相異なる複数の時点において）反復される。

第１実施形態の解析処理部２１は、音響信号Ｘと楽曲データＤの演奏データＤ1（すなわち演奏パートの演奏内容）とを相互に照合することで演奏位置Ｑ1を算定する。解析処理部２１による演奏位置Ｑ1の推定には、公知の解析技術（スコアアライメント技術）が任意に採用され得る。例えば、特許文献１に開示された解析技術を演奏位置Ｑ1の推定に利用することが可能である。また、ニューラルネットワークまたは多分木等の識別モデルを演奏位置Ｑ1の推定に利用してもよい。例えば、多数の演奏音の特徴量を教師データとして利用した機械学習（例えば深層学習）により識別モデルが生成される。解析処理部２１は、音響信号Ｘから抽出される特徴量を学習済の識別モデルに付与することで演奏位置Ｑ1を推定する。また、解析処理部２１は、演奏位置Ｑ1の時間的な変化を演奏速度Ｑ2（テンポ）として算定する。

また、解析処理部２１は、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏（すなわち模範的な演奏）との類似の度合に応じた評価指標Ｑ3を算定する。具体的には、解析処理部２１は、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏との間において各音符の発音の時点の時間的な誤差を評価することで、演奏者Ｐが各音符を演奏した時点の適否を表す評価指標Ｑ3を算定する。例えば、音響信号Ｘが表す演奏と演奏データＤ1が表す演奏との間で各音符の発音の時点の誤差が小さいほど（演奏者Ｐによる各音符の演奏の時点が模範的な演奏に近いほど）、評価指標Ｑ3が大きい数値となる場合を想定する。なお、演奏位置Ｑ1を推定する処理のなかで算定される指標（例えば演奏位置Ｑ1の尤度）を評価指標Ｑ3として利用してもよい。

図１の再生制御部２２は、楽曲データＤの再生データＤ2が表す再生パートの演奏音を放音装置１４に再生させる。すなわち、再生制御部２２は、再生パートの再生動作を放音装置１４に実行させる。具体的には、再生制御部２２は、再生データＤ2が指定する再生パートの各音符の波形を表す音響信号Ｙを生成して放音装置１４に供給する。再生データＤ2に対応する音響信号Ｙの生成には公知の音響生成処理（例えばソフトウェア音源）が任意に採用される。なお、再生制御部２２がＭＩＤＩ音源等の音源回路に音響信号Ｙを生成させてもよい。なお、再生制御部２２が生成した音響信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

第１実施形態の再生制御部２２は、解析処理部２１が演奏者Ｐの演奏を解析した結果に応じて放音装置１４による再生動作を制御する。具体的には、再生制御部２２は、解析処理部２１が推定した演奏位置Ｑ1の進行に再生動作が追従するように音響信号Ｙを生成する。例えば、再生制御部２２は、演奏位置Ｑ1の進行が速い場合（すなわち演奏速度Ｑ2が速い場合）には再生パートの再生速度（テンポ）を上昇させ、演奏位置Ｑ1の進行が遅い場合には再生パートの再生速度を低下させる。すなわち、演奏位置Ｑ1の進行（時間軸上の移動）に同期するように、演奏者Ｐによる演奏と同等の演奏速度で再生パートの再生動作が実行される。したがって、演奏者Ｐは、仮想演奏者が恰も自分の演奏に合わせて再生パートを演奏してくれているような感覚で演奏パートを演奏できる。

出力処理部２３は、感想メッセージＭaを表示装置１５に表示させる。第１実施形態の出力処理部２３は、図２の演奏画面Ｇaを表示装置１５に表示させる。図２に例示される通り、演奏画面Ｇaは、楽譜領域Ｇa1と演奏者画像Ｇa2と感想メッセージＭaとを含む画像である。楽譜領域Ｇa1には、演奏データＤ1が示す演奏パートの複数の音符の時系列が、音高軸と時間軸とを含む座標平面に表示（すなわちピアノロール表示）される。また、演奏位置Ｑ1を示す指示子Ｇa3が楽譜領域Ｇa1に表示され、演奏者Ｐによる演奏（すなわち演奏位置Ｑ1の進行）に連動して時間軸上を移動する。演奏者画像Ｇa2は、仮想演奏者を表す画像（キャラクタ）である。

感想メッセージＭaは、仮想演奏者の発言であることを表す吹出しに表示される。出力処理部２３は、記憶装置１２に記憶された複数の感想メッセージＭaのうち、解析処理部２１が演奏者Ｐの演奏を解析した結果に対応した感想メッセージＭaを表示装置１５に表示させる。図３は、出力処理部２３が感想メッセージＭaを表示装置１５に表示させる処理（以下「情報出力処理」という）を例示するフローチャートである。情報出力処理は、所定の周期で反復される。

情報出力処理を開始すると、出力処理部２３は、解析処理部２１が算定した指標Ｑ（Ｑ1〜Ｑ3）が所定の条件を満たすか否かを判定する（Ｓ31）。具体的には、出力処理部２３は、演奏速度Ｑ2が所定の範囲内の数値であるか否かを判定し、評価指標Ｑ3が所定の閾値Ｔ3を上回るか否かを判定する。出力処理部２３は、指標Ｑに関する判定結果が変化したか否かを判定する（Ｓ32）。判定結果が変化した場合（Ｓ32：YES）、出力処理部２３は、記憶装置１２に記憶された複数の感想メッセージＭaのうち、判定結果が変化した条件に対応する感想メッセージＭaを表示装置１５に表示させる（Ｓ33）。具体的には、出力処理部２３は、判定結果が変化した条件に対応する識別情報を生成し、当該識別情報に対応する感想メッセージＭaを記憶装置１２から選択して表示装置１５に表示させる。以上の説明から理解される通り、指標Ｑが所定の条件を満たすか否かを判定した結果が変化するたびに、当該条件に対応する感想メッセージＭaが表示装置１５に表示される。したがって、演奏者Ｐが自分の演奏を迅速に修正できるという利点がある。

例えば、演奏速度Ｑ2が所定の範囲（以下「標準範囲」という）内の数値から標準範囲の上限値を上回る数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が速いことを意味する感想メッセージＭa「はやすぎ！」を表示装置１５に表示させる。演奏速度Ｑ2が標準範囲内の数値から標準範囲の下限値を下回る数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が遅いことを意味する感想メッセージＭa「おそいよ！」を表示装置１５に表示させる。他方、演奏速度Ｑ2が標準範囲の外側の数値から内側の数値に変化した場合、出力処理部２３は、演奏速度Ｑ2が適切であることを意味する感想メッセージＭa「ちょうどいいテンポ！」を表示装置１５に表示させる。以上の説明から理解される通り、表示装置１５に表示される感想メッセージＭaは、演奏者Ｐによる演奏速度Ｑ2が標準範囲内の数値となるように演奏者Ｐを案内する情報である。

また、評価指標Ｑ3が所定の閾値を下回る数値から当該閾値を上回る数値に変化した場合、出力処理部２３は、各音符の演奏の時点が適切であることを意味する感想メッセージＭa「タイミングぴったり！」を表示装置１５に表示させる。他方、評価指標Ｑ3が所定の閾値を上回る数値から当該閾値を下回る数値に変化した場合、出力処理部２３は、各音符の演奏の時点がずれていることを意味する感想メッセージＭa「タイミングあってないよ！」を表示装置１５に表示させる。

以上に例示した感想メッセージＭaは、指標Ｑが所定の条件を満たすか否かの判定（Ｓ31）の結果が変化するたびに、所定の時間（以下「表示継続時間」という）にわたり表示装置１５に表示され、表示継続時間の経過により演奏画面Ｇaから消去される。例えば、前述の「はやすぎ！」という感想メッセージＭaは、演奏速度Ｑ2が所定の範囲内の数値から当該範囲の上限値を上回る数値に変化した時点で表示装置１５に表示され、表示の開始から表示継続時間が経過した時点で演奏画面Ｇaから消去される。同様に、例えば前述の「タイミングぴったり！」という感想メッセージＭaは、評価指標Ｑ3が所定の閾値を下回る数値から当該閾値を上回る数値に変化した時点で表示装置１５に表示され、表示の開始から表示継続時間が経過した時点で演奏画面Ｇaから消去される。

図４は、再生制御装置１００の動作（再生制御方法の一例）を例示するフローチャートである。例えば所定の周期で図４の処理が反復される。図４の処理を開始すると、解析処理部２１は、演奏者Ｐによる演奏パートの演奏を解析する（Ｓ1）。具体的には、解析処理部２１は、収音装置１３が生成した音響信号Ｘを解析することで、演奏位置Ｑ1と演奏速度Ｑ2と評価指標Ｑ3とを算定する。

再生制御部２２は、再生データＤ2が表す再生パートの再生動作を放音装置１４に実行させる一方、解析処理部２１が演奏者Ｐの演奏を解析した結果に応じて再生動作を制御する（Ｓ2）。具体的には、再生制御部２２は、再生パートの再生動作が演奏位置Ｑ1の進行に追従するように音響信号Ｙを生成する。他方、出力処理部２３は、図３の情報出力処理により、演奏者Ｐによる演奏に関する感想メッセージＭaを解析処理部２１による解析の結果に応じて表示装置１５に表示させる（Ｓ3）。以上に説明した処理が所定の周期で反復されることで、演奏者Ｐによる楽曲の演奏に並行して感想メッセージＭaが随時に表示される。

以上に説明した通り、第１実施形態では、演奏者Ｐによる演奏を解析した結果に応じて演奏音の再生が制御されるだけでなく、当該解析の結果に応じた感想メッセージＭaが出力される。したがって、仮想的な他の演奏者と協調して演奏しているような感覚を演奏者Ｐに付与することが可能である。また、演奏音の再生の制御と感想メッセージＭaの出力とに解析の結果が共用されるから、演奏音の再生の制御と感想メッセージＭaの出力とのために別個の処理が必要である構成と比較して処理が簡素化されるという利点もある。

＜第２実施形態＞
本発明の第２実施形態について説明する。以下に例示する各態様において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

第１実施形態では、再生パートの再生動作に並行して感想メッセージＭaを表示した。第２実施形態では、第１実施形態と同様に再生動作に並行して感想メッセージＭaを表示するほか、楽曲全体にわたる演奏の総評を表すメッセージ（以下「総評メッセージ」という）を楽曲の演奏終了後に表示する。なお、第１実施形態で例示した感想メッセージＭaの表示を、第２実施形態では省略してもよい。

第２実施形態の出力処理部２３は、楽曲演奏が終了すると、図５の総評画面Ｇbを表示装置１５に表示させる。総評画面Ｇbは、演奏者画像Ｇb1と集計領域Ｇb2と評価領域Ｇb3とを含んで構成される。演奏者画像Ｇb1は、仮想演奏者を表す画像である。

集計領域Ｇb2は、演奏中に頻繁に表示された感想メッセージＭaが配置される領域である。具体的には、表示回数の降順で上位に位置する所定個の感想メッセージＭaが表示回数とともに集計領域Ｇb2に表示される。演奏者Ｐは、集計領域Ｇb2を視認することで、自分の演奏の傾向を確認することが可能である。

第２実施形態の記憶装置１２には複数の総評メッセージＭbが記憶される。複数の総評メッセージＭbの各々には、感想メッセージＭaの識別情報が付加されている。出力処理部２３は、楽曲の演奏中に表示装置１５に表示された感想メッセージＭaのうち最頻の感想メッセージＭaに対応する総評メッセージＭbを表示装置１５に表示させる。すなわち、総評メッセージＭbは、楽曲全体にわたる演奏者Ｐの演奏傾向について仮想演奏者が抱く感情を表現した文字列である。例えば、「タイミングぴったり！」という感想メッセージＭaが楽曲の演奏中に最頻である場合には、図５に例示される通り、「あわせやすくて演奏たのしかった！」という総評メッセージＭbが評価領域Ｇb3に表示される。

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、楽曲全体にわたる演奏の総評を表す総評メッセージＭbが表示装置１５に表示されるから、楽曲全体にわたる演奏の傾向を演奏者Ｐが把握できるという利点がある。

＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）前述の各形態では、解析処理部２１が演奏位置Ｑ1と演奏速度Ｑ2と評価指標Ｑ3とを算定したが、演奏者Ｐによる演奏について解析処理部２１が算定する指標Ｑは、以上の例示に限定されない。例えば、演奏者Ｐによる演奏と再生パートの演奏音との間における時間的な誤差（例えば拍点のズレ）の指標Ｑ4を解析処理部２１が算定してもよい。出力処理部２３は、例えば、指標Ｑ4が所定の閾値を上回る場合には「あわせにくい！」等の感想メッセージＭaを表示装置１５に表示させ、指標Ｑ4が閾値を下回る場合には「あわせやすい！」等の感想メッセージＭaを表示装置１５に表示させる。また、演奏者Ｐによる演奏ミスの有無を表す指標Ｑ5を解析処理部２１が特定してもよい。例えば、音響信号Ｘの音量が所定の時間にわたり所定値を下回る場合（演奏者Ｐによる演奏ミスで演奏が中断した場合）、指標Ｑ5は、演奏ミスの発生を示す数値に設定される。

（２）演奏者Ｐによる演奏に並行して感想メッセージＭaを順次に表示する情報出力処理の有効／無効を演奏者Ｐが任意に選択できる構成も採用される。情報出力処理の有効が選択された場合、前述の各形態と同様に、演奏者Ｐによる演奏に並行して感想メッセージＭaの表示と再生パートの演奏音の再生とが実行される。他方、情報出力処理の無効が選択された場合、演奏者Ｐによる演奏に並行して再生パートの演奏音の再生は実行されるが、感想メッセージＭaの表示は省略される。

（３）複数の仮想演奏者の何れかを演奏者Ｐが選択できる構成も好適である。記憶装置１２には、複数の感想メッセージＭaが仮想演奏者毎に個別に記憶される。各感想メッセージＭaの内容は仮想演奏者毎に相違する。出力処理部２３は、複数の仮想演奏者のうち演奏者Ｐが選択した仮想演奏者について記憶装置１２に記憶された複数の感想メッセージＭaを当該演奏者Ｐの演奏に応じて選択的に表示装置１５に表示させる。したがって、演奏者Ｐの演奏が同様である場合でも、演奏者Ｐが選択した仮想演奏者が相違する場合には、別個の感想メッセージＭaが表示される。

（４）前述の各形態では、演奏者Ｐによる楽曲の演奏を解析したが、解析処理部２１による解析の対象は、演奏者Ｐによる演奏に限定されない。例えば、ダンサーによるダンスを解析処理部２１が解析してもよい。具体的には、ダンサーの身体に装着された加速度センサー、または、ダンサーを撮像する撮像装置からの出力信号を解析することで、解析処理部２１は、例えばダンスのリズム（拍点）を推定する。再生制御部２２は、再生データＤ2が表す再生パートの再生動作を放音装置１４に実行させ、解析処理部２１がダンスを解析した結果に応じて再生動作を制御する。具体的には、ダンスのリズムに同期するように再生動作を制御する。出力処理部２３は、解析処理部２１がダンスを解析した結果に応じた感想メッセージＭaを表示装置１５に表示させる。以上の説明から理解される通り、解析処理部２１は、実演者による実演を解析する要素として包括的に表現される。実演者の具体例は演奏者Ｐまたはダンサーであり、実演の具体例は演奏またはダンスである。

（５）前述の各形態では、感想メッセージＭaを表示装置１５に表示したが、感想メッセージＭaを利用者に報知する方法は以上の例示に限定されない。例えば、感想メッセージＭaを発音した音声を放音装置１４から再生することで演奏者Ｐに報知してもよい。感想メッセージＭaを発音した音声は、記憶装置１２に音声データとして記憶されていてもよいし、公知の音声合成技術により生成されてもよい。以上の説明から理解される通り、感想メッセージＭaの出力は、表示装置１５による表示と放音装置１４による再生との双方を包含する。なお、以上の例示では感想メッセージＭaに着目したが、第２実施形態における総評メッセージＭbについても同様に、放音装置１４から音声として再生してもよい。

（６）第２実施形態では、楽曲の全体にわたる総評を表す総評メッセージＭbを表示装置１５に表示したが、楽曲を時間軸上で区分した複数の区間の各々について総評メッセージＭbを個別に選択して表示装置１５に表示してもよい。例えば、図６に例示される通り、楽曲の序盤については総評メッセージＭb1が表示され、楽曲の中盤については総評メッセージＭb2が表示され、楽曲の終盤については総評メッセージＭb3が表示される。

（７）前述の各形態では、収音装置１３または電気楽器から出力される音響信号Ｘを解析することで指標Ｑ（Ｑ1〜Ｑ5）を算定したが、演奏者Ｐの演奏に関する指標Ｑの算定に利用される情報は音響信号Ｘに限定されない。例えば、ＭＩＤＩ楽器等の電子楽器から出力される時系列データを解析することで、演奏者Ｐの演奏に関する指標Ｑを算定してもよい。

（８）前述の各形態では、演奏位置Ｑ1の進行に追従するように再生動作を制御したが、解析処理部２１による解析結果（指標Ｑ）に応じて再生動作を制御する具体的な方法は以上の例示に限定されない。例えば、解析処理部２１が音響信号Ｘの音量を算定する構成では、再生パートの演奏音の音量が音響信号Ｘの音量に応じて変動するように再生動作を制御してもよい。

（９）前述の各形態で例示した通り、再生制御装置１００は、制御装置１１とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、実演者による実演を解析する解析処理部２１、楽曲データＤが表す楽曲の演奏音を放音装置１４に再生させる再生制御部２２であって、解析処理部２１による解析の結果に応じて演奏音の再生を制御する再生制御部２２、および、解析処理部２１による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部２３としてコンピュータを機能させるプログラムである。

以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、「非一過性の記録媒体」とは、一過性の伝搬信号（transitory, propagating signal）を除く全てのコンピュータ読み取り可能な記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。

（１０）以上に例示した具体的な形態から把握される本発明の好適な態様を以下に例示する。
＜態様１＞
本発明の好適な態様（態様１）に係る再生制御方法は、コンピュータが、実演者による実演を解析し、楽曲データが表す楽曲の演奏音を放音装置に再生させ、前記解析の結果に応じて前記演奏音の再生を制御し、前記解析の結果に応じて前記実演に関するメッセージを出力する。以上の態様では、実演者による実演を解析した結果に応じて楽曲の演奏音の再生が制御され、かつ、当該解析の結果に応じて実演に関するメッセージが出力される。したがって、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。

＜態様２＞
態様１の好適例（態様２）において、前記実演の解析では、前記楽曲内で前記実演者が演奏している位置を推定し、前記再生の制御においては、前記推定した位置の進行に追従するように前記楽曲の演奏音を前記放音装置に再生させる。以上の態様では、実演者が演奏する位置の進行に追従するように楽曲の演奏音が再生されるから、実演者は、仮想的な演奏者が恰も自分の演奏に合わせて演奏しているかのような感覚で楽曲を演奏できる。

＜態様３＞
態様１または態様２の好適例において、前記実演の解析では、前記実演者が演奏している前記楽曲内の位置と、前記演奏の速度と、前記演奏の巧拙の指標と、前記演奏と前記放音装置に再生させる演奏音との時間的な誤差の指標と、前記実演者による演奏ミスの有無を示す指標とを特定する。

＜態様４＞
態様１から態様３の何れかの好適例（態様４）において、前記解析の結果が所定の条件を満たすか否かを判定し、前記判定の結果が変化するたびに前記メッセージを出力する。以上の態様では、解析の結果が所定の条件を満たすか否かの判定の結果が変化するたびにメッセージが出力されるから、演奏者がメッセージの内容を迅速に自分の演奏に反映させることが可能である。

＜態様５＞
態様１から態様４の何れかの好適例（態様５）において、前記解析の結果に関する感情を表すメッセージを出力する。以上の態様では、解析の結果に関する感情を表すメッセージが出力されるから、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。

＜態様６＞
本発明の好適な態様に係る再生制御装置は、実演者による実演を解析する解析処理部と、楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部とを具備する。以上の態様では、実演者による実演を解析した結果に応じて楽曲の演奏音の再生が制御され、かつ、当該解析の結果に応じて実演に関するメッセージが出力される。したがって、仮想的な演奏者と協調して実演しているような感覚を実演者に付与することが可能である。

１００…再生制御装置、１１…制御装置、１２…記憶装置、１３…収音装置、１４…放音装置、１５…表示装置、２１…解析処理部、２２…再生制御部、２３…出力処理部、Ｇa…演奏画面、Ｇb…総評画面。

Claims (7)

1. コンピュータが、
   実演者による実演を解析し、
   楽曲データが表す楽曲の演奏音を放音装置に再生させ、
   前記解析の結果に応じて前記演奏音の再生を制御し、
   前記解析の結果に応じて前記実演に関するメッセージを出力する
   再生制御方法。
2. 前記実演の解析においては、前記楽曲内で前記実演者が演奏している位置を推定し、
   前記再生の制御においては、前記推定した位置の進行に追従するように前記楽曲の演奏音を前記放音装置に再生させる
   請求項１の再生制御方法。
3. 前記実演の解析においては、
   前記実演者が演奏している前記楽曲内の位置と、
   前記演奏の速度とを特定する
   請求項１または請求項２の再生制御方法。
4. 前記実演の解析においては、
   前記演奏の巧拙の指標と、
   前記演奏と前記放音装置に再生させる演奏音との時間的な誤差の指標と、
   前記実演者による演奏ミスの有無を示す指標とを特定する
   請求項１から請求項３の何れかの再生制御方法。
5. 前記解析の結果が所定の条件を満たすか否かを判定し、
   前記判定の結果が変化するたびに前記メッセージを出力する
   請求項１から請求項４の何れかの再生制御方法。
6. 前記解析の結果に関する感情を表すメッセージを出力する
   請求項１から請求項５の何れかの再生制御方法。
7. 実演者による実演を解析する解析処理部と、
   楽曲データが表す楽曲の演奏音を放音装置に再生させる再生制御部であって、前記解析処理部による解析の結果に応じて前記演奏音の再生を制御する再生制御部と、
   前記解析処理部による解析の結果に応じて前記実演に関するメッセージを出力する出力処理部と
   を具備する再生制御装置。
   

Images