JP2019144360A - 演奏支援システムおよび制御方法 - Google Patents

Abstract

【課題】楽曲データが再生された楽曲に合わせて演奏者が楽器の演奏を行う際に、表現豊かな楽曲を得ることができる演奏支援システムおよび制御方法を提供すること。【解決手段】演奏支援システムは、楽曲データを楽曲として再生する再生部と、再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、演奏者の動作を検出する動作検出部と、動作検出部が検出した演奏者の動作に関する動作情報を受信する受信部と、受信部が受信した動作情報に基づいて、再生部の再生条件を補正する制御部と、を備えることを特徴とする。【選択図】図１

Description

本発明は、演奏支援システムおよび制御方法に関する。

例えば、楽器の演奏の練習や、コンサート等においては、ＭＩＤＩ規格（Musical Instrument Digital Interface）（登録商標）等の楽曲データをスピーカー等で再生して、その再生した楽曲に合わせて演奏者が楽器を演奏するという試みが行われている。

上記楽曲データは、予め作成しておくこともでき、その際、抑揚、起伏、強弱、緩急等をつけて表現豊かな楽曲データを作成したとしても、実際に再生されるときは、作成した通りにしか再生されない。このため、演奏者は、再生された楽曲に合わせるだけという事態になりかねない。その結果、機械的な演奏になってしまい、いわゆる人間味が失われる。

楽曲データを再生しながら、その楽曲のテンポ、強弱をアレンジするための手段として、特許文献１に記載されているような装置が知られている。この装置によれば、指揮棒のような装置を用いて再生中の楽曲のテンポ、強弱を自由に変更することができる。

しかしながら、特許文献１に記載されているような装置を用いて再生中の楽曲をアレンジしながら、自身は、楽器の演奏を行うのは、到底無理である。

このように、楽曲データが再生された楽曲に合わせて演奏者が楽器の演奏を行う際に、表現豊かな楽曲を得るのは困難である。

特開平８−３０５３５５号公報

本発明の目的は、楽曲データが再生された楽曲に合わせて演奏者が楽器の演奏を行う際に、表現豊かな楽曲を得ることができる演奏支援システムおよび制御方法を提供することにある。

このような目的は、下記（１）〜（１０）の本発明により達成される。
（１） 楽曲データを楽曲として再生する再生部と、
前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、
前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御部と、を備えることを特徴とする演奏支援システム。

（２） 前記制御部は、前記楽曲データのうちの、未だ再生されていない未再生データを補正して、前記再生部に再生させる上記（１）に記載の演奏支援システム。

（３） 前記制御部は、前記動作情報から前記演奏者が演奏しているテンポを検出し、その検出結果に基づいて、前記再生部による再生のテンポを補正する上記（２）に記載の演奏支援システム。

（４） 前記動作検出部は、前記演奏者が演奏している間は、連続して前記動作情報を検出するものであり、
前記制御部は、所定時間での前記演奏者が演奏しているテンポの平均値を算出する上記（２）または（３）に記載の演奏支援システム。

（５） 前記制御部は、前記平均値が所定の範囲内であった場合、前記未再生データのテンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生データのテンポを補正する上記（４）に記載の演奏支援システム。

（６） 前記制御部は、所定時間毎に前記平均値を算出し、最新の前記平均値を、前記未再生データのテンポを補正するか否かの判断に用いる上記（５）に記載の演奏支援システム。

（７） 前記制御部は、前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基づいて、前記未再生データの強弱を補正して、前記再生部に再生させる上記（２）ないし（６）のいずれかに記載の演奏支援システム。

（８） 前記動作検出部は、角速度センサーを有する上記（１）ないし（７）のいずれかに記載の演奏支援システム。

（９） 前記再生部は、前記楽器を演奏する演奏装置を有する上記（１）ないし（８）のいずれかに記載の演奏支援システム。

（１０） 楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、を備える演奏支援システムを制御する制御方法であって、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正することを特徴とする制御方法。

本発明によれば、楽曲データが再生された楽曲に合わせて演奏者が楽器の演奏を行う際に、表現豊かな楽曲を得ることができる演奏支援システムおよび制御方法を提供することができる。

図１は、本発明の演奏支援システムの概略構成図である。 図２は、図１に示す演奏支援システムのブロック図である。 図３は、図１に示す演奏装置の一例を示す側面図である。 図４は、図１に示す動作検出部を演奏者に装着した状態を示す図である。 図５は、図１に示す動作検出部を演奏者に装着した状態で演奏者が楽器を演奏している状態を示す図である。 図６は、図１に示す制御装置が行う制御動作（本発明の制御方法）を説明するためのフローチャートである。 図７は、縦軸が、動作検出部が検出した角速度、横軸が時間で表されるグラフである。 図８は、縦軸がＢＰＭ、横軸が時間で表されるグラフである。 図９は、縦軸がＢＰＭ、横軸が時間で表されるグラフである。 図１０は、再生部が再生する楽曲のＢＰＭを示す曲線である。 図１１は、再生部が再生する楽曲のＢＰＭを示す曲線である。 図１２は、再生部が再生する楽曲のＢＰＭを示す曲線である。 図１３は、再生部が再生する楽曲のＢＰＭを示す曲線である。

以下、本発明の演奏支援システムおよび制御方法を添付図面に示す好適な実施形態に基づいて詳細に説明する。

図１は、本発明の演奏支援システムの概略構成図である。図２は、図１に示す演奏支援システムのブロック図である。図３は、図１に示す演奏装置の一例を示す側面図である。図４は、図１に示す動作検出部を演奏者に装着した状態を示す図である。図５は、図１に示す動作検出部を演奏者に装着した状態で演奏者が楽器を演奏している状態を示す図である。図６は、図１に示す制御装置が行う制御動作（本発明の制御方法）を説明するためのフローチャートである。図７は、縦軸が、動作検出部が検出した角速度、横軸が時間で表されるグラフである。図８および図９は、縦軸がＢＰＭ、横軸が時間で表されるグラフである。図１０〜図１３は、再生部が再生する楽曲のＢＰＭを示す曲線である。

図１に示す演奏支援システム１は、再生される楽曲とともに演奏者１００が楽器２００を演奏する際に、演奏者１００の演奏を支援するシステムである。この演奏支援システム１は、再生部２と、演奏者１００に装着される動作検出部３と、演奏者が行う演奏のテンポを表示する表示装置４と、これら各部の制御を行う制御装置５と、を備えている。

以下、演奏支援システム１の各部について詳細に説明する。
［再生部］
図１に示す再生部２は、後述する制御装置５のメモリー５３（図２参照）に記憶されている楽曲データを楽曲として再生（出力）する機能を有する。

再生部２は、スピーカー２１と、楽器３００を演奏する演奏装置２２と、を備えている。

スピーカー２１は、制御装置５と電気的に接続されており、制御装置５から送信された楽曲データの電気信号を物理信号に変換して音を発して楽曲を再生するものである。スピーカー２１が再生する楽曲データとしては、後に詳述するが、各種オーディオデータや、ＭＩＤＩデータ（ＭＩＤＩ規格（Musical Instrument Digital Interface）（登録商標）の楽曲データ）等が挙げられる。

このスピーカー２１と制御装置５との通信は、無線、有線の何れであってもよい。また、スピーカー２１には、音量を調節する調節部が設けられていてもよい。

また、図示の構成では、再生部２が有するスピーカー２１は１つであるが、これに限定されず、再生部２が有するスピーカー２１は複数であってもよい。

図３に示す演奏装置２２は、楽器３００を演奏する演奏装置である。
楽器３００としては、特に限定されず、例えば、後述するような、打楽器、弦楽器、鍵盤楽器、管楽器等が挙げられるが、本実施形態では、一例として、打楽器であるドラム３０１（スネアドラム、バスドラム、ハイハット、ライドシンバル、クラッシュシンバル）として説明する。

なお、本明細書中では、楽器とは、自身が音を発するものや、自身が発した音を増幅させてスピーカー等から出力するものや、自身は音を出さないが電気信号が入力されることによってスピーカー等から出力するものを含む。

演奏装置２２は、ドラム３０１の各部（スネアドラム、バスドラム、ハイハット、ライドシンバル、クラッシュシンバル）にそれぞれ設けられた打撃部２２１と、打撃部２２１を駆動する駆動部２２２とを有している。

各打撃部２２１および各駆動部２２２は、設置位置および姿勢が異なること以外は略同様の構成であるため、以下では、スネアドラム（以下、スネアドラム３０２と言う）に設置された打撃部２２１および駆動部２２２について代表的に説明する。

打撃部２２１は、スティック２２１ａと、スティック２２１ａの基端部（グリップ）を回動可能に支持する回動支持部２２１ｂと、スティック２２１ａの長手方向の途中に連結されたバネ２２１ｃと、ストッパー２２１ｄとを有する。

スティック２２１ａは、スネアヘッドと衝突することによって音を鳴らすことができるものであれば特に限定されず、例えば、木製、金属製、樹脂製のものや、いわゆるブラシスティック等が挙げられる。また、ドラム３０１の部位（スネアドラム、バスドラム、ハイハット、ライドシンバル、クラッシュシンバル）に応じて先端部（チップ）に例えばスポンジ体等を装着してもよい。

回動支持部２２１ｂは、スティック２２１ａを回動軸２２１ｅ回りに回動可能に支持する。この回動支持部２２１ｂは、ヘッド３０３（打撃面）よりも上方（離間する側）に設置されている。また、回動軸２２１ｅは、スネアドラム３０２のヘッド３０３と略平行となっている。

この回動支持部２２１ｂによって、スティック２２１ａは、スネアドラム３０２のヘッド３０３と当接（打撃）する状態と、離間した状態とをとり得る。なお、スネアドラム３０２のヘッド３０３と当接（打撃）する状態では、スティック２２１ａの先端部（チップ）がヘッド３０３と当接するとともに、スティック２２１ａの長手方向の途中（ショルダー）がリム３０４と当接するのが好ましい。これにより、鮮明な打撃音を得ることができる。

バネ２２１ｃは、スティック２２１ａの長手方向の途中に連結され、スティック２２１ａがスネアドラム３０２から離間する方向に付勢するものである。これにより、スティック２２１ａに外力が付与していない自然状態では、スティック２２１ａは、スネアドラム３０２から離間した状態となる。

ストッパー２２１ｄは、スティック２２１ａの移動限界を規制するものである。これにより、スティック２２１ａの位置が不本意にずれたりするのを防止することができ、安定した打撃音を得ることができる。

駆動部２２２は、ロッド２２２ａを有するソレノイドで構成されている。ロッド２２２ａは、通電により駆動する駆動源（図示せず）によって、出没自在に構成されており、スティック２２１ａのグリップを打撃する状態と、スティック２２１ａから離間した状態とをとり得る。

ロッド２２２ａがスティック２２１ａを打撃（押圧）することよって、図３中二点鎖線で示すように、スティック２２１ａがバネ２２１ｃの付勢力に抗して回動し、スティック２２１ａの先端部（チップ）がヘッド３０３を打撃するとともにスティック２２１ａの長手方向の途中（ショルダー）がリム３０４と当接する。これにより、スネアドラム３０２から打撃音を生じさせることができる。

一方、ロッド２２２ａが退避してスティック２２１ａから離間した状態では、スティック２２１ａは、バネ２２１ｃの付勢力によってスネアドラム３０２から離間した状態となる。

ロッド２２２ａが上記出没を繰り返すことによって、スネアドラム３０２を演奏することができる。

このような駆動部２２２は、制御装置５と電気的に接続されており、その作動が制御される。なお、駆動部２２２と制御装置５との通信は、無線、有線の何れであってもよい。

以上、再生部２について説明した。特に、再生部２が、楽器３００を演奏する演奏装置２２を有することにより、例えば、スピーカー等では再現できない楽器の倍音等の臨場感を演出することができる。

なお、本実施形態では、再生部２は、スピーカー２１と演奏装置２２とを有する構成である場合について説明したが、これらのうちのいずれか一方のみを有する構成であってもよい。

また、再生部２は、例えば、イヤホンやヘッドホン等、演奏者１００が装着する機器であってもよい。これにより、例えば、演奏者１００が自宅で楽器２００を練習する際、音量を気にせず、再生部２との合奏を楽しむことができる。なお、この構成の場合、イヤホンやヘッドホンが接続されるジャックは、制御装置５が収納された筐体（図示せず）や、スピーカー２１に設けられた構成とすることができる。

また、以下では、スピーカー２１が再生する楽曲と、演奏装置２２が演奏する楽曲とを合わせて、単に「再生部２による楽曲」とも言う。

［動作検出部］
図４および図５に示す動作検出部３は、楽器２００を演奏する演奏者１００の動作を検出する機能を有する。

楽器２００としては、特に限定されず、例えば、打楽器、弦楽器、鍵盤楽器、管楽器等が挙げられるが、本実施形態では、一例として、打楽器であるコンガ２０１として説明する。

なお、上記打楽器としては、上記ドラム、電子ドラム、和太鼓、カホン、ジャンベ、タンバリン、トライアングル、カスタネット、ウッドブロック、カウベル、拍子木、クラベス、木魚、ボンゴ、ティンパニ、コンサートチャイム、ウインドチャイム、カバサ、スレイベル、ティンパレス、アゴゴ等が挙げられる。

上記弦楽器としては、アコースティックギター、エレキギター、アコースティックベース、エレキベース、ハープ、マンドリン、ヴァイオリン、ヴィオラ、チェロ、コントラバス等が挙げられる。

上記鍵盤楽器としては、ピアノ、ホンキートンクピアノ、エレクトリックピアノ、キーボード、チェンバロ、チェレスタ、オルガン、パイプオルガン、リードオルガン、エレクトーン、鍵盤ハーモニカ、アコーディオン、シンセサイザー等が挙げられる。

上記管楽器としては、フルート、クラリネット、オーボエ、サクスフォーン、ファゴット、笙、バグパイプ等の木管楽器や、トランペット、トンロンボーン、ホルン、ユーフォニアム、チューバ、ホイッスル、サンバホイッスル等の金管楽器等が挙げられる。

これらの楽器の中でも、例えば、打楽器等、演奏の動作が大きいものや、演奏時に楽器に対する接触（インパクト）の瞬間の反力が大きいものが好ましい。これにより、動作検出部３による動作を明確に検出することができ、演奏者１００の動作をより顕著に検出することができる。

動作検出部３は、本実施形態では、角速度を検出する角速度センサー３１で構成されている。角速度センサー３１は、筐体３１１と、筐体３１１に内蔵されたセンサー素子３１２と、制御装置５と通信を行う通信部３１３とを有する（図２参照）。

筐体３１１は、演奏者１００の手首１０１にリストバンド１０２によって装着されている。なお、図示の構成に限定されず、指、頭部、腹部、足等、任意の部位に装着してもよい。また、動作検出部３は、演奏者１００の任意の部位に複数装着されていてもよい。

センサー素子３１２は、静電容量式、歪みゲージ式、圧電式、渦電流式、電磁誘導式、光式のいずれのタイプのものであってもよい。センサー素子３１２が検出した角速度の情報は、電気信号に変換されて通信部３１３によって制御装置５に送信される。通信部３１３と制御装置５との通信は、無線、有線の何れであってもよい。

ここで、図４および図５には、互いに交わる（直交する）ｘ軸、ｙ軸、ｚ軸を図示している。ｘ軸は、水平方向に沿った軸であり、かつ、演奏者１００の左右方向に沿った軸である。ｙ軸は、水平方向に沿った軸であり、かつ、前後方向に沿った軸である。ｚ軸は、鉛直方向に沿った軸である。

図５に示すように、演奏者１００がコンガ２０１を演奏する際、すなわち、コンガ２０１のヘッド２０２を叩く際、手を回動させる運動を行う。この運動の際、手および動作検出部３は、ｘ軸回りに回動する。このため、演奏者１００が演奏を行っているとき、ｘ軸回りの角速度が顕著に変化する（図７参照）。よって、演奏者１００の動作をより確実に検出することができる。

なお、演奏者１００の動作をより顕著に検出するための軸は、楽器の種類に応じて、異なっている。例えば、ギターを演奏する場合には、演奏者１００のピックを把持する方の手は、ｙ軸回りに回転する。このため、ｙ軸回りの角速度の変化が顕著になる。

また、楽器の種類に応じて角速度センサーに代えて、加速度センサーを用いてもよい。例えば、演奏者１００がヴァイオリンを演奏する場合、弓を把持する方の手は、略ｘ軸方向に沿って往復運動を行う。このため、この場合は、加速度センサーを用いた場合、ｘ軸方向の加速度の変化が顕著になり、演奏者１００の動作をより確実に検出することができる。

このように、本実施形態では、演奏者１００がコンガ２０１を演奏するため、角速度センサーが内蔵されているが、これに限定されず、楽器の種類に応じて、加速度センサー、角加速度センサー、磁気センサー、感圧センサー、変位センサー等を用いてもよい。また、これら各センサーのうちの複数が筐体３１１に内蔵されたものを用いてもよい。

また、本実施形態では、演奏者１００が演奏を行っている間は、動作検出部３は、連続して作動している。

［表示装置］
図１に示す表示装置４は、表示画面４１と、操作ボタン４２と、通信部４３とを有している。

表示画面４１は、例えば、液晶画面、有機ＥＬ画面等で構成される。この表示画面４１には、動作検出部３が検出した演奏者１００の演奏のテンポが表示される。本実施形態では、ＢＰＭ（Beats Per Minute）が表示される。この数値は、１分間に四分音符が何回現れるかを示す値であり、例えば、１２０ＢＰＭの場合、表示画面４１には、「１２０」という数値が表示される。このＢＰＭの算出方法は、後に詳述する。

また、表示画面４１には、リアルタイム（例えば、１小節ごと）で演奏のＢＰＭが表示される。従って、１２０ＢＰＭで演奏していて、演奏がもたついた場合、例えば、「１１０」という数字に切り替わる。

このような表示装置４によれば、演奏者１００が、自身が演奏しているテンポの絶対的数値を知ることができる。さらに、相対的に早くなったか遅くなったかも把握することができ、表示画面４１を見て修正することができる。

また、操作ボタン４２は、演奏者１００が押圧操作すると、その情報を通信部４３が電気信号に変換して制御装置５に送信する。これにより、後述するように制御装置５が再生部２を駆動して、再生部２が楽曲を再生する。よって、演奏者１００が、再生部２が再生した楽曲に合わせて演奏を開始することができる。

なお、操作ボタン４２は、メカニカルスイッチや、表示画面４１上に設けられた、いわゆるタッチパネル式であってもよい。

また、表示装置４は、例えば、ギターやベース等のチューニングを行う機能を有していてもよい。また、メトロノーム機能を有していてもよい。これにより、演奏者１００は、表示装置４を参照しつつ、任意のテンポで演奏を行うことができる。メトロノーム機能としては、音を発するもの以外に、光、指示棒の動きなどでテンポを参照できるものであってもよい。

また、表示画面４１には、ＢＰＭの大小を示すインジケーターが表示されていてもよい。このインジケーターには、ＢＰＭの基準値が表示され、この基準値に対してゲージが増減する構成であるのが好ましい。これにより、演奏者１００のＢＰＭが速いか遅いかが一目で分かる。また、正確な演奏を可能とするため、基準値となるＢＰＭに対して、演奏者１００のＢＰＭが、高い頻度、低い頻度、同じ頻度等を、回数や百分率などで表示するよう構成してもよく、標準偏差を表示するよう構成してもよい。

［制御装置］
図２に示すように、制御装置５は、ＣＰＵ（Central Processing Unit）５１と、Ｉ／Ｏインターフェース（受信部）５２と、メモリー（記憶部）５３とを有している。

ＣＰＵ（制御部）５１は、メモリー５３に記憶された複数のモジュールや、各種プログラム等を実行する。複数のモジュールは、論理ゲート、半導体デバイス、集積回路または他のどのような個別部品を含むハードウエア回路における内蔵コンポーネントを含んでいてもよい。また、モジュールは、ソフトウェアプログラムの一部であってもよい。ソフトウェアプログラムとしてのモジュールの実行は、ＣＰＵ５１または他のどのようなハードウェアエンティティによって実行されるべき論理演算命令のセットを含んでいてもよい。また、モジュールは、インターフェースを用いて、命令やプログラムのセットで具現化されていてもよい。

Ｉ／Ｏインターフェース５２は、他の通信機器（再生部２、動作検出部３、表示装置４等）と通信を行うためのものである。Ｉ／Ｏインターフェース５２としては、特に限定されないが、音声、アナログ、デジタル、モノラル、ＲＣＡ、ステレオ、ＩＥＥＥ−１３９４、シリアルバス、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＰＳ／２、ＢＮＣ、同軸、コンポーネント、コンポジット、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＲＦアンテナ、Ｓ−ビデオ、ＶＧＡ、ブルートゥース（登録商標）、Ｃｅｌｌｕｌａｒ（例えば、ＣＤＭＡ（Code-Division Multiple Access）、ＨＳＰＡ＋（High-Speed Packet Access）、ＧＳＭ（Global System for Mobile communications）（登録商標）、ＬＴＥ（Long-Term Evolution）、ＷｉＭａｘ等）、Wi-Fi規格、無線LAN等の通信プロトコル／方法を採用してもよい。

このＩ／Ｏインターフェース５２は、動作検出部３が検出した演奏者１００の動作に関する動作情報を受信する受信部として機能する。

メモリー５３は、例えば不揮発性半導体メモリーの一種であるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成されている。メモリー５３に記憶されたモジュールは、再生モジュール５３１と、平均ＢＰＭ算出モジュール５３２と、補正モジュール５３３と、通信モジュール５３４と、を含む。

再生モジュール５３１は、ＣＰＵ５１によって実行されたとき、楽曲データを再生部２によって再生するよう構成されている。

平均ＢＰＭ算出モジュール５３２は、ＣＰＵ５１によって実行されたとき、後述する平均ＢＰＭを算出するよう構成されている。

補正モジュール５３３は、ＣＰＵ５１によって実行されたとき、後述するように、再生部２によって再生される楽曲を補正するよう構成されている。

通信モジュール５３４は、ＣＰＵ５１によって実行されたとき、他の通信機器（再生部２、動作検出部３、表示装置４等）と通信を行うよう構成されている。

また、メモリー５３には、再生部２が楽曲を再生するための楽曲データが記憶されている。この楽曲データは、特に限定されないが、例えば、ＷＡＶＥ（RIFF waveform Audio Format）、ｍｐ３（MPEG Audio Layer-3）等の音声ファイルフォーマットからなるオーディオデータや、ＭＩＤＩデータ（ＭＩＤＩ規格（Musical Instrument Digital Interface）（登録商標）の楽曲データ）等が挙げられるが、以下では、ＭＩＤＩデータとして説明する。ＭＩＤＩデータを用いることにより、後述するような制御を容易に行うことができる。

また、メモリー５３には、上記の他に、後述するような制御プログラム（本発明の制御方法）等が記憶されている。このような制御装置５は、表示装置４に内蔵されていてもよく、表示装置４とは異なる筐体に内蔵されたものであってもよい。

以上、制御装置５について説明した。このような制御装置５は、以下で説明するような制御を行うことにより、再生部２の楽曲に合わせて演奏者１００が楽器を演奏するのを支援することができる。以下、制御装置５の制御動作（本発明の制御方法）について、図６に示すフローチャートを用いて説明するが、演奏者１００が再生部２の楽曲を再生する以前の段階から説明する。

まず、演奏者１００がコンガ２０１を試演し、その平均ＢＰＭを算出する（ステップＳ１０１：平均ＢＰＭ算出ステップ）。この算出方法を、図８に示すグラフを用いて説明する。

図８（図９についても同様）に示すグラフは、縦軸がＢＰＭであり、横軸が時間（ｓｅｃ）となっている。このグラフには、演奏者１００の動作が閾値を超えたとき、すなわち、コンガ２０１を打撃する際に、閾値を超える程度の強い打撃を検出したときを抽出し、各打撃を四分音符のタイミングとみなし、ある打撃とその次の打撃とを比較してＢＰＭとしてプロットしている。

また、時間ｔ（所定時間）ごとに、その間の複数回（本実施形態では、３回）の打撃のＢＰＭの平均値を相加平均で算出し、その値を平均ＢＰＭとする。なお、平均の算出方法としては、相乗平均、調和平均、加重平均などを用いてもよい。

なお、本ステップでは、リアルタイムでＢＰＭを表示装置４に表示する。これにより、演奏者１００が試奏しているときのＢＰＭをリアルタイムで把握することができる。よって、再生部２で再生したいＢＰＭに近づけることができる。また、練習時に用いたとき、テンポキープが出来ているかを演奏者１００が知ることができ、演奏の熟練度の向上に寄与する。

また、演奏者１００のＢＰＭに対して所定の範囲を設定し、所定の範囲から外れたら、その打撃を平均値の算出に用いないよう構成してもよい。例えば、ＢＰＭが１００付近で演奏していて、演奏ミスでＢＰＭが１５０になっても、この１５０という値は、平均値の算出に用いない。これにより、平均ＢＰＭの算出をより正確に、すなわち、演奏者１００の意図に沿って行うことができる。

なお、上記では、各打撃を四分音符のタイミングとみなして平均ＢＰＭを算出したが、これに限定されず、例えば、八分音符のタイミングとみなして算出した値を２で割って平均ＢＰＭを算出してもよい。

また、上記では、各ＢＭＰに対して統計処理を行うことによって平均ＢＰＭを決定してもよい。例えば、分散や標準偏差を求め、頻度が多いＢＰＭを平均ＢＰＭとしてもよい。

そして、ステップＳ１０２（再生ＢＰＭ決定ステップ）において、再生部２が再生する楽曲のＢＰＭ（再生ＢＰＭ）を決定する。

本実施形態では、演奏者１００が、動作検出部３が装着された方の手首をひねる。すなわち、演奏者１００が手首をｙ軸回りに回転させる。動作検出部３からの信号のうち、ｙ軸回りの角速度が所定の値を超えた場合、その時点における平均ＢＰＭを再生ＢＰＭとして決定する。すなわち、ステップＳ１０１で算出した時間ｔごとの平均ＢＰＭのうち、最新の値を再生ＢＰＭとする。

なお、演奏者１００が再生ＢＰＭを決定する際のトリガーとしては、演奏時の動作と区別することができれば、特に限定されない。

なお、例えば、表示装置４からボタンなどで操作を行って再生ＢＰＭを決定する指示を行うよう構成してもよい。

次いで、ステップＳ１０３（再生指示判断ステップ）において、演奏者１００から再生指示があったか否かを判断する。再生指示があった場合、所定時間後に再生部２を駆動して再生を開始する。

本ステップでは、ステップＳ１０２にてトリガーとして用いた動作や演奏時の動作とは異なる動作を再生指示の有無の判断に用いるのが好ましく、例えば、水平方向（ｘ軸方向またはｙ軸方向）の加速度が閾値を超えた場合、再生指示があったとみなす。これにより、再生ＢＰＭの決定の指示と明確に区別することができ、再生指示の有無の判断を正確に行うことができる。

なお、例えば、表示装置４からボタンなどで操作を行って再生ＢＰＭを決定する指示を行うよう構成してもよい。また、例えば、タイマーを用いて、所定時間以上演奏の動きを検出しなかったら、準備完了とみなして、最後（最新）の平均ＢＰＭを再生ＢＰＭとしてもよい。また、ステップＳ１０２とステップＳ１０３との順番を入れ替えてもよい。

ステップＳ１０３において再生指示があったと判断した場合、所定時間後に再生部２を駆動させて再生部２による楽曲の再生を開始する（ステップＳ１０４：再生部駆動ステップ）。

本実施形態では、前述したように、メモリー５３に記憶されている楽曲データは、ＭＩＤＩ規格のデータであるため、簡単な制御でスピーカー２１および演奏装置２２の同期をとることができる。
そして、再生部２の楽曲に合わせて、演奏者１００がコンガ２０１を演奏する。

次いで、ステップＳ１０５において、演奏者１００の演奏の強度が所定の範囲内であるか否かを判断する（ステップＳ１０５：強度判断ステップ）。なお、所定の範囲とは、予めメモリー５３に記憶された（設定された）値であり、動作検出部３が検出する角速度の値（動作情報）において、最大値Ｓ_ｍａｘと最小値Ｓ_ｍｉｎとの間の領域である（図７参照）。すなわち、動作検出部３が検出した角速度の大小を、演奏者１００の演奏の強弱とみなす。
なお、これら最大値Ｓ_ｍａｘおよび最小値Ｓ_ｍｉｎは、適宜変更することができる。

ステップＳ１０５において、動作検出部３が検出する角速度の値が最大値Ｓ_ｍａｘを超えたと判断した場合、再生部２が再生する楽曲データのうちの、未だ再生されていない（これから再生するデータ）未再生データの強度を強くするよう補正して再生する。すなわち、再生部２による再生音量が大きくなるよう楽曲データを補正する。

一方、動作検出部３が検出する角速度の値が最小値Ｓ_ｍｉｎを下回ったと判断した場合、再生部２が再生する楽曲データのうちの、未だ再生されていない（これから再生するデータ）未再生データの強度を弱くするよう補正して再生する。すなわち、再生部２による再生音量が小さくなるよう楽曲データを補正する。

上記補正は、例えば、検出した角速度の情報を演奏の強弱となるベロシティー値に対応させて、ＭＩＤＩデータのベロシティー信号に変換することにより行うことができる。なお、ＭＩＤＩのエクスプレッション値やボリューム値等に対応させてもよい。

このように、制御装置５は、演奏者１００の動作情報から演奏者１００の演奏の強弱を検出し、その検出結果に基づいて、未再生データの強弱を補正して、再生部２に再生させる（ステップＳ１０６：強弱補正ステップ）。これにより、演奏者１００の演奏の強弱を再生部２の楽曲に反映することができる。よって、よって、演奏者１００が再生部２の楽曲に合わせて演奏する、すなわち、合奏する場合であっても、演奏者１００が表現したい音楽性が損なわれず、表現豊かな楽曲を得ることができる。

なお、再生部２の楽曲の強弱を補正する際、どの程度音量を補正するかは、例えば、検出した加速度の大小と、再生部２の再生音量を示す検量線（図示せず）に基づいて行うことができる。

また、再生部２が楽曲を再生している間、演奏者１００の動作を検出し、演奏者１００の演奏の平均ＢＰＭが所定の範囲内か否かを判断する（ステップＳ１０７：平均ＢＰＭ判断ステップ）。なお、所定の範囲とは、予めメモリー５３に記憶された（設定された）最大値ＢＰＭ_ｍａｘと最小値ＢＰＭ_ｍｉｎとの間の領域であり、最大値ＢＰＭ_ｍａｘおよび最小値ＢＰＭ_ｍｉｎは、適宜変更することができる。

演奏者１００の演奏の平均ＢＰＭが上記範囲外であった場合、再生部２が再生する楽曲データのうちの、未だ再生されていない（これから再生するデータ）未再生データのテンポを補正して再生する（ステップＳ１０８：テンポ補正ステップ）。これにより、演奏者１００のテンポの変化を反映させた楽曲を再生部２から再生することができる。

なお、再生部２のテンポの補正は、演奏者１００のＢＰＭと同じ値に随時追従させてもよいが、演奏者１００のＢＰＭが徐々に変化していった場合、その変化をある程度予測して、再生部２のテンポの補正を案内する構成とすることができる。

演奏者１００のＢＰＭの変化を予測する際、例えば、演奏者１００のＢＰＭのプロットを、各種関数を用いて直線または曲線に近似して、演奏者１００のＢＰＭのプロットを予測することができる。この関数としては、ｎ次関数（ｎは、自然数）やこれらの多項式や、これらを変形させた関数が挙げられるが、シグモイド関数を用いるのが特に好ましい。これにより、自然な予測および追従を実現することができる。
このシグモイド関数としては、例えば、下記式（１）で示すようなものが挙げられる。

この式（１）を用いたグラフを図９に示す。図９に示すグラフでは、演奏者１００のＢＰＭをドットで示し、再生部２のＢＰＭを実線で示している。シグモイド関数を用いることにより、再生部２のＢＰＭを示す実線は、なだらかなＳ字曲線を描く。このため、この曲線に沿って再生部２の楽曲のテンポを補正することにより、前述したような自然な予測および追従を実現することができる。

また、式（１）中ａ_１〜ａ_７は、適宜値を設定することができ、各値を変更することにより、再生部２のＢＰＭを示す実線を以下のように変更することができる。

図１０に示すように、ａ_１の値を大きくすると、グラフ中曲線部分以降の位置を下側にシフトさせることができる。ａ_１の値を小さくすると、グラフ中曲線部分以降の位置を上側にシフトさせることができる。

また、図１０に示すように、ａ_２の値を大きくすると、グラフ中曲線部分以降の位置を上側にシフトさせることができる。ａ_２の値を小さくすると、グラフ中曲線部分以降の位置を下側にシフトさせることができる。

また、図１１に示すように、ａ_３の値を大きくすると、グラフ中曲線部分を右側にシフトさせることができ、ａ_３の値を小さくすると、グラフ中曲線部分を左側にシフトさせることができる。

また、図１２に示すように、ａ_４の値を大きくすると、グラフ中曲線部分の開始位置を右側にシフトさせることができるとともに、グラフ中曲線部分の終了位置を左側にシフトさせることができる。ａ_４の値を小さくすると、グラフ中曲線部分の開始位置を左側にシフトさせることができるとともに、グラフ中曲線部分の終了位置を右側にシフトさせることができる

また、図１１に示すように、ａ_５の値を大きくすると、グラフ中曲線部分を右側にシフトさせることができ、ａ_５の値を小さくすると、グラフ中曲線部分を左側にシフトさせることができる。

また、図１１に示すように、ａ_６の値を大きくすると、グラフ中曲線部分を右側にシフトさせることができ、ａ_６の値を小さくすると、グラフ中曲線部分を左側にシフトさせることができる。

また、図１３に示すように、ａ_７の値を大きくすると、グラフ全体を上側にシフトさせることができ、ａ_７の値を小さくすると、グラフ全体を下側にシフトさせることができる。

このような式（関数）は、予めメモリー５３に記憶されている。なお、演奏者１００の平均ＢＰＭが徐々に速くなる（アッチェレランド）場合は、上記式（１）の右辺に−１を乗算した式を用いて制御を行うことができる。

このような補正案内では、演奏者１００がＢＰＭを変化させて演奏することにより、多段階で追加補正を行うこともできる。例えば、リタルダンドの場合、だんだん遅くなるようにＢＰＭを補正案内させたつもりが、ＢＰＭの減少をもっと下げたいと判断した時点で、ＢＰＭを下げた演奏を行うと、それがトリガーとなって、再補正が行われて、再度、補正案内が行われる。

具体的に説明すると、例えば、式（１）を用いて補正を行っている途中で、式（１）中ａ_１〜ａ_７を変更する補正を行うことにより、案内終了時のＢＰＭや、それに至るタイミングや、ＢＰＭの変化度合いを変更することもできる。また、例えば、一次関数を用いて案内をしていたときに、途中で傾きを変更したりすることもできる。

このように補正データを算出してその信号を再生部２に送信する。また、楽曲データがＭＩＤＩ規格のデータであるため、ＭＩＤＩクロック信号を補正して再生部２に送信するという簡単な制御で上記補正を行うことができる。

演奏者１００の演奏の平均ＢＰＭが上記範囲内であった場合、未再生データのテンポを補正せず、後述するステップＳ１１１に移行する。

このように、制御装置５は、平均ＢＰＭ（平均値）が所定の範囲内であった場合、未再生データのテンポを補正せず、平均ＢＰＭ（平均値）が所定の範囲外であった場合、未再生データのテンポを補正する。これにより、演奏者１００の演奏のテンポのわずかなズレに、再生部２の楽曲が随時追従してしまい、演奏自体が不自然になってしまうのを防止することができる。よって、自然な演奏（合奏）を提供することができる。

また、制御装置５は、所定時間毎（図示の構成では、時間ｔ毎）に前記平均値を算出し、最新の平均値を、未再生データのテンポを補正するか否かの判断に用いる。これにより、最新の演奏者の意図を、再生部２による楽曲に反映させることができる。

最大値ＢＰＭ_ｍａｘは、特に限定されないが、例えば、平均ＢＰＭの５％〜２０％程度であるのが好ましく、平均ＢＰＭの８％〜１１％程度であるのがより好ましい。最小値ＢＰＭ_ｍｉｎは、特に限定されないが、例えば、平均ＢＰＭの−２０％〜−５％程度であるのが好ましく、平均ＢＰＭの−１１％〜−８％程度であるのがより好ましい。これにより、上記効果をより確実に発揮することができる。

そして、ステップＳ１０９（補正解除指示判断ステップ）において、演奏者１００からテンポの補正解除の指示があったか否かを判断する。

本ステップでは、演奏者１００が装着している動作検出部３からの信号によって判断する。ステップＳ１０２およびステップＳ１０３にてトリガーとして用いた動作や演奏時の動作とは異なる動作を補正解除指示の有無の判断に用いるのが好ましい。これにより、補正解除指示を、再生ＢＰＭの決定の指示および再生指示と明確に区別することができ、補正解除指示の有無の判断を正確に行うことができる。

ステップＳ１０９において、補正解除指示があったと判断した場合、テンポの補正を解除、すなわち、元のＢＰＭ（テンポ補正前の最新の平均ＢＰＭ）に戻して、再生部２から楽曲を再生する（ステップＳ１１０：補正解除ステップ）。

なお、ステップＳ１０９において、補正解除指示が無いと判断した場合、ステップＳ１１１に移行する。

そして、再生終了指示があったか否かを判断する（ステップＳ１１１：再生終了指示判断ステップ）。

本ステップでは、演奏者１００が装着している動作検出部３からの信号によって判断する。ステップＳ１０２、ステップＳ１０３およびステップＳ１０９にてトリガーとして用いた動作や演奏時の動作とは異なる動作を再生終了指示の有無の判断に用いるのが好ましい。これにより、再生終了指示を、再生ＢＰＭの決定の指示、再生指示および補正解除指示と明確に区別することができ、再生終了指示の有無の判断を正確に行うことができる。

ステップＳ１１１において、再生終了指示があった場合、再生部２による再生を終了する。また、ステップＳ１１１において、再生終了指示がないと判断した場合、ステップＳ１０５に戻り、以下のステップを順次繰り返す。

なお、上記ステップＳ１０４〜Ｓ１１１の途中に、楽曲データを最後まで再生した場合には、その時点で強制終了する。

以上説明したように、演奏支援システムは、楽曲データを楽曲として再生する再生部２と、再生部２によって再生された楽曲に合わせて楽器２００を演奏する演奏者１００に装着され、演奏者１００の動作を検出する動作検出部３と、動作検出部３が検出した演奏者１００の動作に関する動作情報を受信する受信部（Ｉ／Ｏインターフェース５２）と、受信部（Ｉ／Ｏインターフェース５２）が受信した動作情報に基づいて、再生部２の再生条件を補正するＣＰＵ５１（制御部）と、を備える。

このような本発明によれば、演奏者１００の演奏中の動作情報を取得し、その動作情報を、リアルタイムで再生部２が再生する楽曲に反映することができる。よって、演奏者１００が再生部２の楽曲に合わせて演奏する、すなわち、合奏する場合であっても、演奏者１００が表現したい音楽性が損なわれず、表現豊かな楽曲を得ることができる。

また、本実施形態では、制御装置５は、演奏者１００の動作情報から演奏者１００が演奏しているテンポを検出し、その検出結果に基づいて、再生部２による再生のテンポを補正する。これにより、演奏者１００が演奏中にテンポを変更したとしても、再生部２による楽曲もその変更したテンポで再生される。よって、さらに表現豊かな楽曲を得ることができる。

このため、例えば、バンドメンバーがそろっていなくても、ライブハウス等で表現豊かなバンド演奏を行うことができたり、オーケストラのメンバーがそろっていなくても、コンサート会場等で表現豊かなオーケストラ演奏を行うことができる。また、身体が不自由で楽器の演奏（合奏）をあきらめていた人も、合奏することの楽しさを体感することができる。

また、本発明によれば、演奏者１００が楽器２００の練習しているとき、再生部２の楽曲についていけずに、遅れをとってしまっても、再生部２の楽曲が演奏者１００の演奏に追従してテンポを遅くすることができる。これにより、演奏者１００が練習中に演奏をあきらめるのを防止することができ、楽器２００の練習を楽しく継続することができる。

このため、例えば、音楽教室等で本システムを導入することにより、老若男女問わず生徒が楽しくレッスンを長続きすることができる。

以上、本発明の演奏支援システムおよび制御方法を図示の実施形態について説明したが、本発明は、これに限定されるものではなく、演奏支援システムおよび制御方法を構成する各部（ステップ）は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物やステップが付加されていてもよい。

また、前記実施形態では、制御部は、演奏者の動作情報に基づいて、再生部の再生条件を補正するに際し、楽曲データを補正してその補正データを再生する構成について説明したが、本発明ではこれに限定されず、例えば、楽曲データを補正せず、再生速度や、再生音量を補正する構成であってもよい。

また、制御部は、演奏者の動作情報に基づいて、再生部の再生条件を補正するに際し、楽曲データのうちの、未だ再生されていない未再生データを補正して、前記再生部に再生させる構成について説明したが、本発明ではこれに限定されず、例えば、楽曲データのうちの、既に再生された部分に対しても同様の補正を行ってもよい。この場合、演奏者の動作情報が楽曲データに反映され、次回以降再生する場合、演奏者の動作情報や、演奏意図等が組み込まれた楽曲データとなる。すなわち、楽曲データを編集する作業を容易に行うことができたり、この楽曲データを、演奏者自身が聞き返すことにより、演奏の熟練度の向上に寄与することができる。

また、前記実施形態において、ステップＳ１０２、ステップＳ１０３、ステップＳ１０９およびステップＳ１１１では、一例として、判断基準のトリガーとして動作検出部が検出した動作を用いる場合について説明したが、本発明ではこれに限定されず、例えば、表示装置の操作ボタンや、別途設けたフットスイッチ等による操作であってもよい。

なお、ステップＳ１０１およびステップＳ１０２を省略して、過去のデータに基づいて再生部が再生するＢＰＭを決定してもよい。

また、前記実施形態では、楽曲データが記憶された記憶部（メモリー）は、制御装置に内蔵されたものであったが、本発明ではこれに限定されず、外部の機器（例えば、ＵＳＢフラッシュメモリー）に記憶された構成であってもよい。この場合、外部の装置を制御装置に接続することにより、実施形態で述べたような制御を行うことができる。

１ 演奏支援システム
２ 再生部
２１ スピーカー
２２ 演奏装置
２２１ 打撃部
２２１ａ スティック
２２１ｂ 回動支持部
２２１ｃ バネ
２２１ｄ ストッパー
２２１ｅ 回動軸
２２２ 駆動部
２２２ａ ロッド
３ 動作検出部
４ 表示装置
４１ 表示画面
４２ 操作ボタン
４３ 通信部
５ 制御装置
３１ 角速度センサー
３１１ 筐体
３１２ センサー素子
３１３ 通信部
５１ ＣＰＵ
５２ Ｉ／Ｏインターフェース
５３ メモリー
５３１ 再生モジュール
５３２ 平均ＢＰＭ算出モジュール
５３３ 補正モジュール
１００ 演奏者
１０１ 手首
１０２ リストバンド
２００ 楽器
２０１ コンガ
２０２ ヘッド
３００ 楽器
３０１ ドラム
３０２ スネアドラム
３０３ ヘッド
３０４ リム
ＢＰＭ_ｍａｘ 最大値
ＢＰＭ_ｍｉｎ 最小値
Ｓ_ｍａｘ 最大値
Ｓ_ｍｉｎ 最小値

Claims (10)

1. 楽曲データを楽曲として再生する再生部と、
   前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、
   前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
   前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御部と、を備えることを特徴とする演奏支援システム。
2. 前記制御部は、前記楽曲データのうちの、未だ再生されていない未再生データを補正して、前記再生部に再生させる請求項１に記載の演奏支援システム。
3. 前記制御部は、前記動作情報から前記演奏者が演奏しているテンポを検出し、その検出結果に基づいて、前記再生部による再生のテンポを補正する請求項２に記載の演奏支援システム。
4. 前記動作検出部は、前記演奏者が演奏している間は、連続して前記動作情報を検出するものであり、
   前記制御部は、所定時間での前記演奏者が演奏しているテンポの平均値を算出する請求項２または３に記載の演奏支援システム。
5. 前記制御部は、前記平均値が所定の範囲内であった場合、前記未再生データのテンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生データのテンポを補正する請求項４に記載の演奏支援システム。
6. 前記制御部は、所定時間毎に前記平均値を算出し、最新の前記平均値を、前記未再生データのテンポを補正するか否かの判断に用いる請求項５に記載の演奏支援システム。
7. 前記制御部は、前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基づいて、前記未再生データの強弱を補正して、前記再生部に再生させる請求項２ないし６のいずれか１項に記載の演奏支援システム。
8. 前記動作検出部は、角速度センサーを有する請求項１ないし７のいずれか１項に記載の演奏支援システム。
9. 前記再生部は、前記楽器を演奏する演奏装置を有する請求項１ないし８のいずれか１項に記載の演奏支援システム。
10. 楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、を備える演奏支援システムを制御する制御方法であって、
    前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正することを特徴とする制御方法。

Images