JP2011128427A - 演奏装置、演奏制御装置及びプログラム - Google Patents
演奏装置、演奏制御装置及びプログラム Download PDFInfo
- Publication number
- JP2011128427A JP2011128427A JP2009287742A JP2009287742A JP2011128427A JP 2011128427 A JP2011128427 A JP 2011128427A JP 2009287742 A JP2009287742 A JP 2009287742A JP 2009287742 A JP2009287742 A JP 2009287742A JP 2011128427 A JP2011128427 A JP 2011128427A
- Authority
- JP
- Japan
- Prior art keywords
- performance
- information
- virtual
- space
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】簡易な構成で仮想的に楽器演奏を行うことを目的とする。
【解決手段】携帯電話機は、演奏者によって演奏棒が振られたときの演奏棒の方位情報と加速度情報を演奏棒から逐次受信し、予め設定されている仮想演奏空間情報を参照して、受信した方位情報と加速度情報に基づく演奏棒が振られた仮想演奏空間を特定し、特定した仮想演奏空間に対応づけられている楽器音を出力する。
【選択図】図11
【解決手段】携帯電話機は、演奏者によって演奏棒が振られたときの演奏棒の方位情報と加速度情報を演奏棒から逐次受信し、予め設定されている仮想演奏空間情報を参照して、受信した方位情報と加速度情報に基づく演奏棒が振られた仮想演奏空間を特定し、特定した仮想演奏空間に対応づけられている楽器音を出力する。
【選択図】図11
Description
本発明は、仮想的に楽器演奏を行う技術に関する。
ユーザのスティック操作に応じて、仮想のドラムを演奏する演奏システムの技術が提案されている(下記特許文献1参照)。この演奏システムでは、スティックの先端に異なる色の球を装着し、このスティックを用いて仮想のドラムを演奏する演奏者をカメラで撮影し、撮影した画像中のスティックに設けられた各球の移動軌跡が予め設定された演奏パターンの移動軌跡と一致する場合に、その演奏パターンに対応するドラムの音を発音させるものである。
上記従来技術を用いた場合、実際にドラムセット等の楽器が無くても、その楽器の演奏を体験することができる。しかしながら、上記従来技術の演奏システムは、スティック操作を行う演奏者を撮影するためのカメラが必要であり、また、撮影画像からスティックの移動軌跡を解析するための処理能力を有する装置が必要となるため、簡易な構成で仮想演奏を実現することは困難である。
本発明は、簡易な構成で仮想的に楽器演奏を行うことを目的とする。
本発明は、簡易な構成で仮想的に楽器演奏を行うことを目的とする。
本発明に係る演奏装置は、方位を検出して方位情報を出力する方向検出手段と、運動量を検出して運動量を示す運動量情報を出力する運動量検出手段とを有し、演奏者により把持または装着されて移動可能な操作子と、仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、前記操作子において予め設定された基準方向と前記方向検出手段により出力された方位情報に基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出手段と、前記運動量検出手段により出力された運動量情報に基づいて、予め定められた演奏動作を検出する動作検出手段と、前記動作検出手段により前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出手段により検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力する演奏制御手段と、前記演奏制御手段により出力された前記発音制御情報に基づいて前記音信号を出力する音源とを備えることを特徴とする。
また、本発明に係る演奏制御装置は、方位を検出して方位情報を出力する方向検出手段と、運動量を検出して運動量を示す運動量情報を出力する運動量検出手段とを有し、演奏者により把持または装着されて移動可能な操作子と、仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、前記操作子において予め設定された基準方向と前記方向検出手段により出力された方位情報に基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出手段と、前記運動量検出手段により出力された運動量情報に基づいて、予め定められた演奏動作を検出する動作検出手段と、前記動作検出手段により前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出手段により検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力する演奏制御手段とを備えることを特徴とする。
また、本発明に係るプログラムは、仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、入力された発音制御情報に基づいて音信号を出力する音源とを備えるコンピュータに、演奏者によって把持または装着されて移動可能な操作子から、当該操作子が移動された方向を示す方位情報と、当該操作子の運動量を示す運動量情報を取得する取得ステップと、前記取得ステップにおいて取得した方位情報と前記操作子について予め設定された基準方向とに基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出ステップと、前記取得ステップにおいて取得した運動量情報に基づいて、予め定められた演奏動作を検出する動作検出ステップと、前記動作検出ステップにより前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出ステップにおいて検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を前記音源に対して入力する演奏制御ステップとを実行させることを特徴とする。
また、本発明に係る演奏制御装置は、方位を検出して方位情報を出力する方向検出手段と、運動量を検出して運動量を示す運動量情報を出力する運動量検出手段とを有し、演奏者により把持または装着されて移動可能な操作子と、仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、前記操作子において予め設定された基準方向と前記方向検出手段により出力された方位情報に基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出手段と、前記運動量検出手段により出力された運動量情報に基づいて、予め定められた演奏動作を検出する動作検出手段と、前記動作検出手段により前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出手段により検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力する演奏制御手段とを備えることを特徴とする。
また、本発明に係るプログラムは、仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、入力された発音制御情報に基づいて音信号を出力する音源とを備えるコンピュータに、演奏者によって把持または装着されて移動可能な操作子から、当該操作子が移動された方向を示す方位情報と、当該操作子の運動量を示す運動量情報を取得する取得ステップと、前記取得ステップにおいて取得した方位情報と前記操作子について予め設定された基準方向とに基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出ステップと、前記取得ステップにおいて取得した運動量情報に基づいて、予め定められた演奏動作を検出する動作検出ステップと、前記動作検出ステップにより前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出ステップにおいて検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を前記音源に対して入力する演奏制御ステップとを実行させることを特徴とする。
本発明によれば、操作子の移動に応じて仮想演奏空間に割当てられた音を発音させることが可能であり、カメラなどの装置を用いることなく簡易な構成で仮想的に楽器演奏を行うことができる。
また、前記演奏装置において、前記演奏動作の種別に対応する仰角を含む判定情報を記憶する判定情報記憶手段を備え、前記仮想演奏空間情報記憶手段は、前記演奏動作の種別毎に当該種別に対応する前記音の情報を記憶し、前記動作検出手段は、更に、前記方向検出手段により出力された前記方位情報に基づいて前記演奏動作に対する仰角を特定し、特定した仰角と前記判定情報記憶手段に記憶されている前記判定情報とに基づいて、前記演奏動作に対応する前記種別を特定し、前記演奏制御手段は、前記動作検出手段により特定された前記演奏動作の種別に対応する前記音の情報に応じた発音制御情報を出力することとしてもよい。この構成によれば、演奏動作の種別に応じた音を発音させることができる。
また、前記演奏装置において、前記操作子は複数であり、前記操作子の各々は、基準方向の設定操作を受付ける基準方向指示手段を更に有し、前記記憶手段は、前記操作子のうち、一の操作子に対応する前記仮想演奏空間情報を予め記憶し、前記操作子毎に前記基準方向指示手段により前記基準方向の設定操作が受付けられたとき、前記操作子毎の前記基準方向及び前記方位情報に基づいて、前記一の操作子に対する他の操作子の相対位置関係を特定する相対位置特定手段と、前記一の操作子に対応する前記仮想演奏空間情報と、前記相対位置特定手段によって特定された前記相対位置関係とに基づいて、前記他の操作子に対応する前記仮想演奏空間情報を設定し、設定した当該仮想演奏空間情報を当該他の操作子の前記仮想演奏空間情報として前記記憶手段に記憶させる仮想演奏空間情報設定手段とを備え、前記演奏制御手段は、前記動作検出手段において前記操作子毎に前記演奏動作が検出された際、前記移動量検出手段により検出された前記操作子毎の前記移動量と、前記操作子毎の前記仮想演奏空間情報に基づいて、各操作子において前記演奏動作がなされたときに当該操作子が移動されている前記仮想演奏空間の前記空間情報を特定し、当該操作子について特定した前記空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力することとしてもよい。この構成によれば、操作子毎の仮想演奏空間情報を設定する処理を軽減することができる。
<実施形態>
以下、本発明の実施形態に係る演奏装置ついて図面を参照して説明する。
<概要>
図1は、本実施形態に係る演奏装置の外観を示している。図1に示すように、演奏装置1は、操作子である演奏棒2aと2bとで構成された一組の演奏棒2と携帯電話機4で構成されており、演奏棒2の各々と携帯電話機4はBluetooth(登録商標)等の近距離無線通信により接続されている。携帯電話機4は、通話やメール送受信等の通常機能を有すると共に、図2に示す仮想のドラムセット3を演奏するように、ユーザにより演奏棒2が3次元空間において打撃動作されると、その打撃動作された空間に予め割当てられたドラムセット3の楽器音を発音する演奏機能を有し、ユーザ操作によって通常機能と演奏機能とを切り替える。なお、本実施形態では、楽器音が予め割当てられた3次元空間を仮想演奏空間と呼び、図2に示すドラムセット3を構成する各楽器(スネアドラム6、フロアタム8、バスドラム10、ハイハット12、クラッシュシンバル14、ライドシンバル16、タムタム18(ファーストタム18a、セカンドタム18b))の各々について仮想演奏空間が予め設定されている。以下、本実施形態における演奏装置1の詳細について説明する。
以下、本発明の実施形態に係る演奏装置ついて図面を参照して説明する。
<概要>
図1は、本実施形態に係る演奏装置の外観を示している。図1に示すように、演奏装置1は、操作子である演奏棒2aと2bとで構成された一組の演奏棒2と携帯電話機4で構成されており、演奏棒2の各々と携帯電話機4はBluetooth(登録商標)等の近距離無線通信により接続されている。携帯電話機4は、通話やメール送受信等の通常機能を有すると共に、図2に示す仮想のドラムセット3を演奏するように、ユーザにより演奏棒2が3次元空間において打撃動作されると、その打撃動作された空間に予め割当てられたドラムセット3の楽器音を発音する演奏機能を有し、ユーザ操作によって通常機能と演奏機能とを切り替える。なお、本実施形態では、楽器音が予め割当てられた3次元空間を仮想演奏空間と呼び、図2に示すドラムセット3を構成する各楽器(スネアドラム6、フロアタム8、バスドラム10、ハイハット12、クラッシュシンバル14、ライドシンバル16、タムタム18(ファーストタム18a、セカンドタム18b))の各々について仮想演奏空間が予め設定されている。以下、本実施形態における演奏装置1の詳細について説明する。
<構成>
まず、演奏棒2について説明を行うが、演奏棒2bは演奏棒2aと同一であるため、演奏棒2aについて説明する。図3は、演奏棒2aの外観を示している。図示するように、演奏棒2aは、先端部20aとユーザが手に持つ略直方体の形状を有する細長い柄20bとで構成されている。柄20bの表面上部には、電源スイッチ20cと、後述する基準方位設定を指示するための基準方位設定スイッチ20dが設けられており、柄20bの内部には3軸地磁気センサ20eと3軸加速度センサ20fが設けられている。演奏棒2aは、演奏棒2aの長手方向をy軸、基準方位設定スイッチ20dが設けられている面を上面とする場合の上下方向をz軸、左右方向をx軸とする互いに直交するxyz軸が定義されており、3軸地磁気センサ及び3軸加速度センサの各軸がこのxyz軸方向と一致するように設けられている。
まず、演奏棒2について説明を行うが、演奏棒2bは演奏棒2aと同一であるため、演奏棒2aについて説明する。図3は、演奏棒2aの外観を示している。図示するように、演奏棒2aは、先端部20aとユーザが手に持つ略直方体の形状を有する細長い柄20bとで構成されている。柄20bの表面上部には、電源スイッチ20cと、後述する基準方位設定を指示するための基準方位設定スイッチ20dが設けられており、柄20bの内部には3軸地磁気センサ20eと3軸加速度センサ20fが設けられている。演奏棒2aは、演奏棒2aの長手方向をy軸、基準方位設定スイッチ20dが設けられている面を上面とする場合の上下方向をz軸、左右方向をx軸とする互いに直交するxyz軸が定義されており、3軸地磁気センサ及び3軸加速度センサの各軸がこのxyz軸方向と一致するように設けられている。
図4は、演奏棒2aのブロック図である。演奏棒2aは、操作部21、方向検出部22、通信部23、運動量検出手段としての加速度検出部24、及び制御部25を含んで構成されている。
操作部21は、演奏棒2aの電源のオン/オフを切り換える電源スイッチ20cと、基準方位設定スイッチ20dで構成されており、ユーザからのスイッチ操作を受付ける。この基準方位設定スイッチ20dは、ドラムセット3の仮想演奏開始前にユーザが演奏棒2aの先端部20aを向けた方向を仮想演奏の基準方向、即ち仮想演奏空間における基準方位 (以下、仮想基準方位と言う)として設定するためのスイッチであり、ユーザによって押下されたときに基準方位の設定操作が行われたことを示す情報を制御部49へ送出する。
操作部21は、演奏棒2aの電源のオン/オフを切り換える電源スイッチ20cと、基準方位設定スイッチ20dで構成されており、ユーザからのスイッチ操作を受付ける。この基準方位設定スイッチ20dは、ドラムセット3の仮想演奏開始前にユーザが演奏棒2aの先端部20aを向けた方向を仮想演奏の基準方向、即ち仮想演奏空間における基準方位 (以下、仮想基準方位と言う)として設定するためのスイッチであり、ユーザによって押下されたときに基準方位の設定操作が行われたことを示す情報を制御部49へ送出する。
方向検出部22は、上記3軸地磁気センサ20eで構成されている。3軸地磁気センサ20eは、上記したxyz軸方向の地磁気を検出する3つの磁気センサで構成され、各軸の地磁気センサは、地磁気変化に応じて抵抗値が変化する素子で構成されており、各地磁気センサに一定のバイアス電流を流すことにより、演奏棒2aの先端部20aが向けられた方向に応じて、各軸方向の地磁気を検出して各地磁気センサで得られる磁界を示す電圧値g(gx,gy,gz)を一定時間毎に出力する。
通信部23は、Bluetooth(登録商標)の無線通信インタフェースであり、制御部25の制御の下、予め設定された演奏棒2aを識別するためのID番号を送信データに含めて携帯電話機4に送信し、携帯電話機4によるID番号の認証によって通信を確立し、携帯電話機4とデータ通信を行う。
加速度検出部24は、上記した3軸加速度センサ20fで構成されている。この加速度センサ20fは、上記xyz軸方向の加速度を検出する3つの加速度センサで構成され、各加速度センサは、各軸方向の加速度を検出して加速度の値を示す加速度情報α(αx,αy,αz)を一定時間毎に出力する。なお、本実施形態では、演奏棒2aの先端部20aの方向がy軸正方向、演奏棒2aの柄20bの上面(基準方位設定スイッチ20d等が設けられた面)方向がz軸正方向、図3に示す演奏棒2aの柄20bの左側面がx軸正方向として設定されている。従って、演奏棒2aの上面を上にして演奏棒2aを振り上げたときにz軸正方向に加速度が生じ、振り下ろされたときにz軸負方向に加速度が生じる。なお、運動量検出手段として、本実施形態では加速度センサを用いる例を説明するが、速度センサ、変位センサ、圧力センサ、歪みセンサ、傾き(角度)センサ、角速度センサ、角加速度センサ、衝撃センサ等の各種の運動量センサを用いてもよい。また、上記した運動量検出手段は、3軸方向の運動量を検出するセンサでもよいし、2軸(x軸とy軸)又は1軸の運動量を検出するセンサであってもよい。
制御部25は、CPU(Central Processing Unit)と、ROM(Read only Memory)及びRAM(Random Access Memory)のメモリを含んで構成されている。CPUは、RAMをワーキングエリアとして、ROMに記憶された制御プログラムを実行することにより、制御部25に接続された各部を制御する。具体的には、基準方位設定操作がなされた時に方向検出部22により出力された磁界を示す電圧値を基準方位情報として通信部23を介して携帯電話機4へ送信する。また、基準方位設定操作後に方向検出部22によって出力された電圧値を方位情報とし、加速度検出部24により出力された加速度情報と方位情報とを携帯電話機4へ一定時間毎に送信する。
次に、携帯電話機4の構成について説明する。図5は、携帯電話機4のブロック図である。携帯電話機4は、操作部40、通信部41、音源42、アンプ43、スピーカ44、記憶部45、マイク46、電話通信部47、表示部48、及び制御部49を含んで構成されている。
操作部40は、数字キー、方向キー、実行キー等の各種操作ボタンで構成されており、これらの操作ボタンを介して演奏機能と通常機能とを切り替えるユーザ操作等を受付け、受け付けたユーザ操作を示す情報を制御部49へ送出する。通信部41は、Bluetooth(登録商標)の無線通信インタフェースであり、制御部49の制御の下、演奏棒2aから送信されるID番号を認証して演奏棒2aとの接続を確立し、演奏棒2との間でデータ通信を行う。
操作部40は、数字キー、方向キー、実行キー等の各種操作ボタンで構成されており、これらの操作ボタンを介して演奏機能と通常機能とを切り替えるユーザ操作等を受付け、受け付けたユーザ操作を示す情報を制御部49へ送出する。通信部41は、Bluetooth(登録商標)の無線通信インタフェースであり、制御部49の制御の下、演奏棒2aから送信されるID番号を認証して演奏棒2aとの接続を確立し、演奏棒2との間でデータ通信を行う。
音源42は、MIDI(Musical Instruments Digital Interface)等の楽曲データや、仮想演奏時に発音させる各楽器の音データを再生する音源回路である。アンプ43は、制御部49の制御の下、電話通信における会話の音声データや仮想演奏における音データの音声信号の振幅を調整する。スピーカ44は、アンプ43によって調整された音声信号を発音する。
記憶部45は、ユーザによって設定又は生成されたユーザデータや、ドラムセット3の各楽器音データ100aを記憶すると共に、ドラムセット3の仮想演奏時に参照する演奏情報100bを記憶する。ここで、上記楽器音データ100a及び演奏情報100bについて説明する。図6は、楽器音データ100aの構成及びデータ例を示している。楽器音データ100aは、ドラムセット3を構成する各楽器6〜18(図2)の楽器名と、1回の打撃動作により発せられる各楽器の音色の音データが対応づけられて記憶されている。
次に、図7を用いて演奏情報100bについて説明する。演奏情報100bには、演奏方位情報200、演奏仰角情報300、仮想演奏空間情報400及び音量情報500が含まれている。以下、演奏方位情報200、演奏仰角情報300、仮想演奏空間情報400及び音量情報500の詳細について順に説明する。
図7(a)は、演奏方位情報200の構成及びデータ例を示している。演奏方位情報200は、方位区分と各方位区分に対応する方位角(θ)範囲とが対応づけられている。ここで、本実施形態における方位区分と方位角について、図8(a)を用いて説明する。図8(a)は、図7(a)に示す方位区分と方位角範囲の関係を示す概念図である。図8(a)に示す水平面xは、仮想の演奏者が仮想ドラムセットを仮想演奏する場合における、指揮棒2の手元位置(指揮棒2の先端部20aの反対側の端部)O(以下、仮想演奏位置と言う)を含む水平面である。
この図8(a)の水平面x内における矢印Pの方向は、仮想演奏位置Oにおいて仮想演奏を開始するときの演奏者の正面方向(基準方向)を示しており、この正面方向Pは、仮想演奏を行う基準方位(θ=0°)として予め定義される。また、水平面xにおけるh1、h2、h3、h4、h5、h6で示される各方位区分は、仮想ドラムセットの各ドラムの水平方向における位置関係を水平面xに投影した場合の、各ドラムの設置範囲を定義したものである。
各方位区分に対応しているθ1、θ2、θ3、θ4、θ5で示される方位角(単位:度)は、基準方位から各方位区分の境界までの角度差(正の値)を示しており、各方位角の符号は、基準方位から反時計回りの方向を正、時計回りの方向を負として設定されている。尚、この例における上記θ1〜θ5は、θ1<θ2<θ3およびθ1<θ4<θ5の関係を有する。例えば、この図の例で、方位区分h1は、基準方位0°から反時計周りの角度θ1までの範囲が定義され、方位区分h3は、基準方位0°から時計周りの角度θ1以上θ2未満までの範囲で定義されている。
なお、演奏棒2bについても上記と同様に演奏方位情報200が設定されており、演奏棒2aの演奏方位情報200の方位区分と一致するように演奏棒2bを用いた場合の方位角が設定されている。
次に、演奏仰角情報300について説明する。図7(b)は、演奏仰角情報300の構成及びデータ例を示している。演奏仰角情報300は、鉛直区分と各鉛直区分に対応する仰角(α)範囲とが対応づけられている。ここで、本実施形態における鉛直区分と仰角について、図8(b)を用いて説明する。
図8(b)は、図7(b)の鉛直区分と仰角範囲の関係を示す概念図である。図8(b)に示す水平面xは、上述した図8(a)と同様、仮想の演奏者uが仮想演奏を行う仮想演奏位置Oを有する水平面であり、正面方向Pは前記の基準方位である。また、v1、v2、v3、v4、v5の各々は鉛直区分を示しており、水平面xを基準の仰角(0°)として、仮想ドラムセットの各ドラムの鉛直方向における位置関係を定義したものである。各鉛直区分に対応しているα1、α2、α3、α4、α5は仰角(単位:度、正の値)を示しており、水平面xを仮想の基準方向である基準仰角0°とし、水平面xと各鉛直区分の境界がなす角度が定義されている。尚、この例の仰角は、α1<α2<α3<α4<α5の関係を有している。例えば、図8(b)の例において、鉛直区分v1は、水平面x(0°)以上α1未満の仰角範囲で定義され、鉛直区分v3は、α2以上α3未満の仰角範囲で定義されている。なお、本実施形態では、水平面xより上方の鉛直区分を仰角で定義した仮想演奏空間を例示したが、水平面xより下方の鉛直区分を俯角(負の符号をもつ仰角)で定義した仮想演奏空間を採用してもよい。
また、演奏棒2bについても上記と同様に演奏仰角情報300が設定されており、演奏棒2aの演奏仰角情報300の方位区分と一致するように演奏棒2bを用いた場合の方位角が設定されている。
次に、仮想演奏空間情報400について説明する。図7(c)は、仮想演奏空間情報400の構成及びデータ例を示している。図7(c)に示すように、仮想演奏空間情報400は、仮想演奏空間と、各仮想演奏空間に対応する空間情報である方位区分及び鉛直区分と、当該仮想演奏空間に対応する音の情報である楽器音とをそれぞれ対応づけて記憶している。
図8(c)は、図7(c)の仮想演奏空間情報400で定義された仮想演奏空間の配置を2次元平面で表した図である。図8(c)に示すように、例えば、仮想演奏空間A1は、方位区分“h1、h2”と鉛直区分“v1”で構成された仮想演奏空間であり、楽器音として “バスドラム”が割当てられている。また、方位区分“h1、h2”と鉛直区分“v2”で構成された仮想演奏空間A2には“スネアドラム”が割当てられている。このように、任意の楽器音が割り当てられる仮想演奏空間の各々は、方位区分と鉛直区分との任意の組合せで決定される。演奏者は、演奏棒2aを上記仮想演奏空間内で打撃動作することにより、各仮想演奏空間に対応する楽器音を発音させることができる。
次に、音量情報500について説明する。図7(d)は、音量情報500の構成及びデータ例を示している。音量情報500は、所定時間内における演奏棒2aの加速度が極大となる時の加速度のピーク値(以下、加速度ピーク値APと言う)について複数の閾値で区分したピーク値条件と、ピーク値条件のそれぞれに異なる音量レベルとが対応づけられている。即ち、音量レベルは、演奏棒2aの加速度が加速度ピーク値となるタイミング(以下、加速度ピーク時と言う)に発音させる楽器音の音量の大きさを示している。本実施形態では、加速度ピーク値が大きいほど、大きい音量で楽器音を発音する。
図5の説明に戻る。マイク46は、電話通信時におけるユーザ等の音声を収音する。電話通信部47は、図示しないアンテナを介して移動体通信網の基地局と無線接続を行い、マイク46によって収音された音声信号をA/D変換して送信し、また、基地局を介して音声データを受信してD/A変換した音声信号をスピーカ44から出力する。表示部48は、液晶等のディスプレイで構成されており、待ち受け画像やメニュー画像、ユーザデータ等の画像表示を行う。
制御部49は、CPUと、ROM及びRAMのメモリとを含んで構成されている。CPUは、RAMをワーキングエリアとして、ROMに記憶された制御プログラムを実行することにより、制御部49に接続された各部を制御する。ROMには、制御プログラムのほか、図9(a)に示す仮想基準方位情報110と、図9(b)に示す変換テーブル120が記憶されている。
仮想基準方位及び仮想基準仰角情報110は、仮想基準方位として「北」を示す方位角(0°)が設定され、また、仮想基準仰角として仰角0°が設定されている。また、変換テーブル120は、磁界を示す電圧値に対応する方位角(単位:度)と仰角(単位:度)が対応づけられている。制御部49は、ユーザ操作によって演奏機能に切替られた場合に、演奏棒2aから受信した基準方位情報及び方位情報に基づいて、演奏棒2aの打撃動作位置に対応する仮想演奏空間に割当てられている楽器音を発音させるための処理を行う。
<動作>
次に、本実施形態における演奏装置1の動作について説明する。図10は、ドラムセット3の仮想演奏を行う前の初期設定処理フローを示している。なお、以下の説明において、携帯電話機4は、ユーザ操作によって演奏機能に切り替えられており、ユーザは、仮想演奏を行うドラムセット3の各楽器の位置関係を予め認識しているものとする。また、演奏棒2と記載する場合には演奏棒2a及び演奏棒2bの各々を示すものとし、演奏棒2と携帯電話機4の電源はオンにされているものとして説明を行う。
次に、本実施形態における演奏装置1の動作について説明する。図10は、ドラムセット3の仮想演奏を行う前の初期設定処理フローを示している。なお、以下の説明において、携帯電話機4は、ユーザ操作によって演奏機能に切り替えられており、ユーザは、仮想演奏を行うドラムセット3の各楽器の位置関係を予め認識しているものとする。また、演奏棒2と記載する場合には演奏棒2a及び演奏棒2bの各々を示すものとし、演奏棒2と携帯電話機4の電源はオンにされているものとして説明を行う。
ユーザは演奏棒2aを手に持ち、ドラムセット3の仮想演奏を行う位置において操作部21の基準方位設定スイッチ20dをオンにする操作を行うと(ステップS10:YES)、演奏棒2aの制御部25は、方向検出部22の各地磁気センサに一定のバイアス電流をかけて各軸方向の地磁気の検出を開始し(ステップS11)、各地磁気センサにより検出された電圧値gと、演奏棒2aのID番号とを含む基準方位情報を通信部23を介して携帯電話機4に対して送信する(ステップS12)。
携帯電話機4の制御部49は、ユーザ操作により演奏機能に切り替えられた際に、ROMに記憶されている仮想基準方位及び仮想基準仰角情報110を読み出し、仮想基準方位(北:0°)と仮想基準仰角(0°)を、それぞれデフォルトの基準方位及び基準仰角としてRAMに記憶する。また、制御部49は、演奏棒2aから送信された基準方位情報を通信部42を介して受信すると(ステップS20:YES)、ROMに記憶されている変換テーブル120の電圧値Gを参照し、受信した基準方位情報の電圧値gと最も近似する電圧値Gに対応する方位角と仰角を特定し、特定した方位角と仰角を、それぞれ演奏棒2の基準方位及び基準仰角としてRAMに各々記憶する (ステップS21)。
なお、ステップS10において、ユーザが基準方位設定スイッチ20dをオンにする操作を所定時間以上行わなければ(ステップS10:NO)、演奏棒2の制御部25は初期設定処理を終了する。また、携帯電話機4の制御部49は、演奏棒2から基準方位情報を所定時間以上受信しなければ初期設定処理を終了する(ステップS20:NO)。
上記初期設定処理により、ドラムセット3を仮想演奏する仮想演奏位置が確定する。そして、初期設定処理の後、ユーザは、ドラムセット3を演奏するように3次元空間で演奏棒2を動かす。以下、演奏棒2の動作に応じて仮想演奏を行う処理について説明する。図11は、本実施形態における仮想演奏処理の動作フローを示している。
ユーザによって演奏棒2が動かされると、演奏棒2の制御部25は、方向検出部22により地磁気を検出して方位情報を一定時間毎(例えば5m秒毎)に出力し、加速度検出部24により加速度等の運動量を検出して加速度情報を一定時間毎に出力する(ステップS30)。そして、演奏棒2の制御部25は、演奏棒2のID番号を付加した方位情報と加速度情報とを、通信部23を介して携帯電話機4に一定時間毎に逐次送信する(ステップS31)。
携帯電話機4の制御部49は、演奏棒2から送信されてくる方位情報g(gx,gy,gz)び加速度情報α(αx,αy,αz)を、通信部42を介して受信する。そして、演奏棒2の各加速度情報に含まれている各軸の加速度の成分から、重力加速度の成分を除去し、高周波数成分を除去する処理を行った後、加速度の各成分(αx',αy',αz')の2乗和から加速度絶対値を求め、当該加速度絶対値を示す加速度データα'及びその加速度成分(αx',αy',αz')と、受信した方位情報gとを演奏棒2毎に対応づけて時系列でRAMに記憶する(ステップS40)。
そして、制御部49は、RAMに記憶した演奏棒2の各方位情報を読み出し、ROMに記憶されている変換テーブル120の電圧値Gを参照し、各方位情報に含まれる電圧値gに最も近似する方位角(以下、動作方位角と言う)と仰角(以下、動作仰角と言う)を各々特定する。また、制御部49は、RAMに記憶されているデフォルトの基準方位(北:0°)をステップS21において特定した基準方位に置き換え、置き換えた基準方位からの移動量として、当該基準方位に対する動作方位角の角度(右回り)を求める(ステップS41)。即ち、例えば、検出された電圧値gに対応する方位角で示される方位が「西(270°(右回り))」であり、ステップS21において検出された基準方位が「南(180°)」である場合、仮想基準方位が「北」から「南」に置き換えられ、仮想基準方位「南」に対する動作方位角「西」の方位角である90°(右回り)が移動量として求められる。
制御部49は、記憶部45に記憶された演奏棒2の演奏方位情報200の方位角(θ)範囲を参照して、ステップS41で求めた方位角を含む方位角(θ)範囲に対応する方位区分を特定する(ステップS42)。
また、制御部49は、RAMに記憶されているデフォルトの基準仰角(0°)をステップS21において特定した基準仰角に置き換え、演奏棒2毎の演奏仰角情報300の仰角範囲(α)を読み出し、置き換えた基準仰角からの移動量として、当該基準仰角に対する動作仰角との角度差を求める。そして、求めた角度が含まれる鉛直区分を演奏仰角情報300において特定する(ステップS43)。
また、制御部49は、RAMに記憶されているデフォルトの基準仰角(0°)をステップS21において特定した基準仰角に置き換え、演奏棒2毎の演奏仰角情報300の仰角範囲(α)を読み出し、置き換えた基準仰角からの移動量として、当該基準仰角に対する動作仰角との角度差を求める。そして、求めた角度が含まれる鉛直区分を演奏仰角情報300において特定する(ステップS43)。
制御部49は、記憶部45に記憶された仮想演奏空間情報400を参照して、ステップS42において特定した方位区分と、ステップS43において特定した鉛直区分を含む仮想演奏空間に対応する楽器音を特定する(ステップS44)。
なお、仮想演奏空間を特定できない場合、即ち、方位区分及び鉛直区分のいずれか一方だけが仮想演奏空間に含まれる場合には、その区分が含まれる仮想演奏空間を特定する。また、方位区分及び鉛直区分が各々異なる仮想演奏空間に含まれる場合には、例えば、鉛直区分を優先させて仮想演奏空間を特定するなど、どちらの区分を優先して仮想演奏空間を特定するのかを予め定めた所定のアルゴリズムに従って、仮想演奏空間を特定する。
制御部49は、RAMに記憶された演奏棒2の各加速度データα'に基づいて、加速度ピーク値と加速度ピーク時を検出する(ステップS45)。具体的には、各時刻における加速度データα'の絶対値の経時的変化を表す時系列データにおいて、各時刻における傾き(変化分または微分値)が正から負、又は負から正に変わる時刻を加速度ピーク時として特定し、その時の加速度データα'の絶対値を加速度ピーク値として特定する。
制御部49は、加速度ピーク値を検出した場合には(ステップS45:YES)、RAMに記憶された当該加速度ピーク値の加速度成分のうち、αzが負の値であるか否か判断する(ステップS46)。制御部49は、加速度αzが負の値である場合、即ち、振り下ろし時のピーク値である場合には(ステップS46:YES)、演奏棒2を振り下ろす演奏動作による加速度ピーク値であると判断する。そして、記憶部45に記憶された音量情報500を参照し、当該加速度ピーク値が含まれるピーク値条件に対応する音量レベルを特定する(ステップS47)。また、加速度ピーク値の加速度成分αzが正の値である場合には(ステップS46:NO)、その加速度ピーク値は演奏棒2が振り上げられたときの加速度ピーク値であると判断して、ステップS40以下の処理を繰り返す。
そして、制御部49は、ステップS44において特定した楽器音の音データを記憶部45に記憶されている楽器音データ100aから読み出して音源42により再生し、ステップS46において特定した音量レベルとなるようにアンプ43により増幅させた当該音データの音声信号をスピーカ44から出力させる(ステップS48)。また、ステップS45において、制御部49は、加速度ピーク値を検出しなかった場合には(ステップS45:NO)、ステップS40以下の処理を繰り返す。
演奏棒2の制御部25は、ユーザによって演奏棒2の各電源スイッチがオフにされるまではステップS30以下の処理を繰り返し行い(ステップS32:NO)、電源スイッチがオフにされた場合には(ステップS32:YES)、仮想演奏終了を示す終了情報を通信部23を介して携帯電話機4に送信して処理を終了する(ステップS33)。
携帯電話機4の制御部49は、演奏棒2から終了情報を受付けるまでは、ステップS40以下の処理を繰り返し行い(ステップS49:NO)、終了情報を受信した場合には(ステップS49:YES)、仮想演奏処理を終了する。
上述した実施形態では、ユーザは、演奏棒2を用いて基準方位を設定した後、仮想のドラムセット3を演奏するように演奏棒2を3次元空間で動かすだけで、その演奏動作を行った位置に対応するドラムセット3の楽器音を鳴らすことができる。そのため、実際のドラムセットが無くてもドラム演奏を容易に疑似体験することができる。
<変形例>
以下、本発明の実施形態に係る変形例について説明する。
(1)上述した実施形態では、加速度ピーク値の加速度成分αzが負の値であるときに、通常の演奏動作が行われたものとして楽器音を発音させる例を説明したが、演奏棒2を用いた演奏動作の種別、即ち、ドラム奏法に応じた楽器音を発音させるようにしてもよい。以下、本変形例について説明する。なお、本変形例に係る演奏装置の構成は、実施形態の演奏装置1と同様であり、以下の説明において同じ構成については実施形態と同じ符号を用い、実施形態と異なる部分について説明する。
以下、本発明の実施形態に係る変形例について説明する。
(1)上述した実施形態では、加速度ピーク値の加速度成分αzが負の値であるときに、通常の演奏動作が行われたものとして楽器音を発音させる例を説明したが、演奏棒2を用いた演奏動作の種別、即ち、ドラム奏法に応じた楽器音を発音させるようにしてもよい。以下、本変形例について説明する。なお、本変形例に係る演奏装置の構成は、実施形態の演奏装置1と同様であり、以下の説明において同じ構成については実施形態と同じ符号を用い、実施形態と異なる部分について説明する。
携帯電話機4の記憶部45は、図6の楽器音データ100aに加えて、図12(a)に示す奏法別楽器音データ130と図12(b)に示す奏法判定情報140を記憶する。図12(a)に示すように奏法別楽器音データ130は、図2のドラムセット3を構成する各楽器と、その楽器のドラム奏法と、ドラム奏法毎の楽器の音データとが対応づけられている。なお、図12(a)では、スネアドラム6(図2)のオープンリムショットとクローズリムショットを例に説明するが、スネアドラム6以外の楽器についても同様に記憶するようにしてもよい。また、図12(b)の奏法判定情報140は、ドラムの奏法を示す情報と、演奏棒2を振り下ろした際の加速度ピーク時において各奏法を判定するための仰角とが対応づけられて記憶されている。
ここで、ドラムの一奏法であるオープンリムショット、クローズリムショットについて図13を用いて説明する。図13(a)は、オープンリムショットでスネアドラム6を演奏する場合の演奏棒2aの角度変化を示している。オープンリムショットは、演奏棒2aの先端部20aで、スネアドラム6のヘッド部分6aを叩くと同時に、演奏棒2aの柄20bでスネアドラム6のリム部分6bを叩く奏法であり、スネアドラム6のヘッド部分6aの音とリム部分6bの音が同時に鳴る。従って、オープンリムショットの奏法の場合、図13(a)に示すように、加速度ピーク時の仰角β0が略一定に保たれた状態で、破線の位置から実線の位置へ演奏棒2aを略平行に振り動かして打撃動作(演奏動作)が行われる。
本変形例では、スネアドラム6の打撃時(演奏棒2aの振り下げ動作時)において、オープンリムショット特有の仰角β0が一定に保たれた状態で打撃動作がなされたか否かを判定することによりオープンリムショットの奏法を判定する。奏法判定情報140には、オープンリムショット奏法を判定するための判定情報として仰角β0が記憶されている。なお、仰角β0をオープンリムショット奏法の判定条件として定義するが、打撃動作時の仰角が仰角β0に対する予め定めた誤差範囲内の場合もオープンリムショットであると判定する。
また、図13(b)は、クローズリムショットでスネアドラム6を演奏する場合における演奏棒2aの角度変化の一例を示している。このクローズリムショットは、演奏棒2aを通常の向きとは逆の向きに持ち変え、演奏棒2aの先端部20aが手元になるようにして、先端部20aをスネアドラム6のヘッド6aのある位置6cに固定させた状態にし、演奏棒2aの柄20bでスネアドラム6のリム部分6bを叩く奏法であり、スネアドラム6のリム部分6bの音だけが鳴る。
この場合には、演奏棒2aの先端部20aを支点にして演奏棒2aの柄20bの方を上下に動かして演奏棒2aを動かすので、スネアドラム6のリム部分6bを叩く時(加速度ピーク時)の仰角(β2)と叩く前の仰角(β1)とは異なり、その仰角の絶対値は小さくなる(|β1|>|β2|)。
上記したように、クローズリムショットは、通常の奏法やオープンリムショットと異なり、ドラムのヘッド面に対して一定角度以上、演奏棒2の先端部20aを下に傾けてから演奏を行う。従って、本変形例においては、打撃前に演奏棒2の先端部20aが傾いた角度が、所定の第1角度(β1)以上であるか否かを判定すると共に、第1角度以上傾いた後に演奏棒2が振り下ろされた傾きが所定の第2角度(β2)以下であるか否か判断することにより、クローズリムショットの奏法か否かを判定する。なお、奏法判定情報140には、クローズリムショット奏法か否かを判定する閾値として仰角β1とβ2が記憶されている。
図14は、本変形例における演奏装置1の仮想演奏処理の動作フローを示している。なお、実施形態で説明した図11と同じ処理については、同じステップ番号を付しており、この部分の説明は省略する。以下、本変形例の特徴的な動作部分について説明する。
携帯電話機4の制御部49は、実施形態と同様、ステップS40,41の各処理を行い、ステップS41において特定した演奏棒2の所定時間分の各動作仰角及び方位角と、ステップS40において求めた所定時間分の加速度データα'を対応づけてRAMに順次記憶する。そして、ステップS42〜S46の各処理を行い、演奏棒2が動かされた位置の仮想演奏空間とその楽器音を特定し、加速度ピーク値の検出を行う。また、制御部49は、加速度ピーク値の検出と並行して演奏棒2の奏法判定処理を行う(ステップS400)。以下、奏法判定処理について、図15及び図16を用いて説明する。
図15は、オープンリムショットの奏法判定処理を示す動作フローである。制御部49は、ステップS46において、演奏棒2を用いて打撃動作された時、即ち、演奏棒2を振り下ろす演奏動作による加速度ピーク値が検出された場合(ステップS46:YES)、加速度ピーク値に対応する方位角 (以下、ピーク時方位角と言う)と、その加速度ピーク値より前の方位角データとして、例えば、加速度ピーク値の検出時以前に検出された所定数の方位角データ(以下、ピーク時前方位角と言う。)をRAMから読み出す(ステップS410)。そして、読み出した各ピーク時前方位角とピーク時方位角の差異が所定値以下であるか否か各々判定する(ステップS411)。
ステップS411において、制御部49は、ピーク時方位角と各ピーク時前方位角との差異が所定値範囲内であると判定した場合(ステップS411:YES)、打撃時の仰角、即ち、加速度ピーク時の仰角がオープンリムショットに対応する仰角であるか否か判断する。
具体的には、制御部49は、奏法判定情報140を記憶部45から読み出し、加速度ピーク値に対応する動作仰角 (以下、ピーク時動作仰角と言う。)と、前述した各ピーク時前方位角と対応づけて記憶されている動作仰角(以下、ピーク時前動作仰角と言う。)との差異が所定値以下であり(ステップS412)、且つ、ピーク時動作仰角がオープンリムショットに特有の角度β0であるか否かを判断する(ステップS413)。つまり、ピーク時動作仰角とピーク時前動作仰角との差異が所定値範囲内であれば、演奏棒2がほぼ平行に振り下ろされたものと判断する。
そして、制御部49は、ピーク時動作仰角とピーク時前動作仰角との差異が所定値範囲内であり(ステップS412:YES)、且つ、ピーク時動作仰角が角度β0であると判断した場合(ステップS413:YES)には、演奏棒2で打撃した時点より所定時間前の演奏棒2の傾きと打撃時の傾きが略一定であり、打撃時の演奏棒2の傾きがオープンリムショットを行う際に特有の仰角であると判断して、その加速度ピーク値が検出された打撃動作がオープンリムショットであると判定する(ステップS414)。
なお、ステップS411において、各方位角の差異が所定値範囲内ではないと判定した場合(ステップS411:NO)、又は、ステップS412において、各動作仰角の差異が所定値範囲内且つピーク時動作角度がβ0ではないと判定した場合(ステップS412:NO)、又は、ピーク時動作仰角が角度β0でないと判断した場合(ステップS413:NO)には、オープンリムショットではないと判断して処理を終了する。
次にクローズリムショットの奏法判定処理について説明する。図16は、クローズリムショットの奏法判定処理を示す動作フローである。制御部49は、ステップS46において、演奏棒2を振り下ろしたときの加速度ピーク値が検出された場合(ステップS46:YES)、その加速度ピーク値を検出したときの動作仰角が、奏法判定情報140におけるクローズリムショットの仰角β1以上であるか否か判断する(ステップS420:YES)。即ち、ユーザによって、演奏棒2の先端が角度β1以上下に傾けられたか否か判断する。
そして、ステップS420において、その加速度ピーク値を検出したときの動作仰角がβ1以上である場合、制御部49は、その加速度ピーク値の後に、演奏棒2を振り下ろしたときの加速度ピーク値を検出すると(ステップS421:YES)、ステップS421で検出した加速度ピーク値の検出時における動作仰角をRAMから読み出し、動作仰角がβ2以下であるか否か判断する(ステップS422)。
ステップS422において、動作仰角がβ2以下であった場合、制御部49は、クローズリムショットが行われたと判断する(ステップS422:YES、ステップS423)。また、ステップS420において、動作仰角がβ1以上でない場合(ステップS420:NO)、また、ステップS422において、動作仰角がβ2以下でない場合には(ステップS422:NO)、制御部49は、通常の打撃動作が行われたものと判断して処理を終了する(ステップS424)。なお、ステップS46において、演奏棒2を振り下ろした時の加速度ピーク値を検出しなかった場合(ステップS46:NO)、また、ステップS421において、演奏棒2を振り下ろした時の加速度ピーク値を検出しなかった場合(ステップS421:NO)には、打撃動作が行われなかったと判断し、いずれの奏法も判定せずに処理を終了する。
図14の動作説明に戻る。制御部49は、オープンリムショット又はクローズリムショットであると判定した場合には (ステップS500:NO)、奏法別楽器音データ130(図12)を記憶部45から読み出し、判定した奏法に対応するステップS44において特定した楽器の音データを読み出す(ステップS510)。
そして、制御部49は、記憶部45に記憶されている音量情報400を参照し、ステップS400において検出した所定値以上の加速度ピーク値に対応する音量レベルを特定する(ステップS520)。制御部49は、音源42によりステップS510又はS550において読み出した楽器の音データを再生し、ステップS520において特定した音量レベルに従って当該音データの音声信号をアンプ43により増幅し、増幅された音声信号をスピーカ44により出力する(ステップS530)。
なお、ステップS400において判定した奏法が通常奏法である場合には(ステップS500:NO、ステップS540:YES)、制御部49は、実施形態と同様、楽器音データ100(図6)を記憶部45から読み出し、ステップS34において特定した楽器の音データを読み出し(ステップS550)、ステップS520以下の処理を行う。
また、ステップS400においてクローズリムショット及びオープンリムショットのいずれの奏法も判定されず、また、通常奏法ではない場合には(ステップS500:NO、S540:NO)、制御部49は、楽器音を出力せず、ステップS49へ処理を移す。
また、ステップS400においてクローズリムショット及びオープンリムショットのいずれの奏法も判定されず、また、通常奏法ではない場合には(ステップS500:NO、S540:NO)、制御部49は、楽器音を出力せず、ステップS49へ処理を移す。
そして、制御部49は、演奏棒2から終了情報を受信するまでステップS40以下の処理を繰り返し行い(ステップS49:NO)、終了情報を受信したときに処理を終了する(ステップS49:YES)。
上述した変形例では、ユーザによって操作された演奏棒2の動作に基づいて、ユーザがどのようなドラム奏法を行ったか判断することができるので、ユーザの動作に応じた楽器音を発音させることができる。そのため、ユーザは、仮想のドラムセット3の演奏をよりリアルに体感することができる。
(2)また、上述した実施形態では、携帯電話機4において演奏方位情報200、演奏仰角情報300、仮想演奏空間情報400が予め記憶されているものとして説明したが、これらの各情報をユーザが任意に変更又は設定できるようにしてもよい。ユーザが任意に設定する方法としては、例えば、(a)携帯電話機4の操作ボタンを用いたユーザ操作による直接変更、(b)演奏棒2を用いた自動設定の方法がある。以下、各方法について説明する。
(a)の方法では、まず、携帯電話機4における所定の操作ボタンを用いたユーザ操作により、演奏棒2毎の演奏方位情報200と演奏仰角情報300の現在の設定状況を表示部48に表示し、データを変更するユーザ操作を受付けてデータを変更する。仮想演奏空間情報400についても、ユーザ操作に応じて現在の設定状況を表示部48に表示し、ユーザ操作により各仮想演奏空間に対応する楽器音を変更する。
なお、演奏棒2aと演奏棒2bのいずれか一方について演奏方位情報200の設定変更を行い、一方の演奏方位情報200に基づいて演奏棒2aと2bの相対位置関係を特定し、他方の演奏方位情報を自動設定するようにしてもよい。即ち、例えば、ユーザは、演奏棒2aについて演奏方位情報200の設定変更を行った後、基準方位設定操作を演奏棒2aと演奏棒2bを用いて行う。そして、基準方位設定時における演奏棒2aに対する演奏棒2bの角度を求め、当該角度分だけ演奏棒2aの演奏方位情報200における方位角の閾値をずらした演奏方位情報200を、演奏棒2bの演奏方位情報として生成してもよい。
また、(b)の方法では、演奏棒2aにおいて仮想演奏空間を設定するための操作スイッチを更に設けるよう構成する。ユーザは、まず、実施形態と同様に基準方位設定操作を行い、基準方位を設定する。そして、ユーザは、仮想演奏空間における水平方向の方位角の上限を設定するために、前記操作スイッチを押下した状態で演奏棒2aをユーザの左方向に振り、所望する方向で操作スイッチから指を離す押下終了操作を行う。
演奏棒2aの方向検出部22は、操作スイッチの押下終了操作がなされたときの方位情報を携帯電話機4に送信する。携帯電話機4の制御部49は、受信した方位情報に基づく時計回りの方位を求める。また、ユーザの右方向も左方向と同様の操作を行い、右方向の方位を特定する。
携帯電話機4の制御部49は、基準方位を含む左右の方位間の角度を、演奏方位情報200に予め設定されている方位区分の数で等分したり、予め設定されている方位区分の方位角範囲の角度比率に応じて分割したりする等、予め定めたアルゴリズムで分割した各角度の境界と基準方位との角度差を求め、求めた角度差を各方位区分の方位角として設定する。
なお、仮想演奏空間の鉛直方向の設定は、水平方向の設定の場合と同様に、基準方位設定スイッチを押下して基準仰角を設定し、前記操作スイッチを押下した状態で演奏棒2aを鉛直方向に振り上げ又は振り下げ、所望する位置で操作スイッチの押下終了操作を行う。
演奏棒2aの方向検出部22は、前記操作スイッチの押下終了操作がなされたときの方位情報を携帯電話機4に送信する。そして、携帯電話機4の制御部49は、基準仰角を0°として受信した方位情報に基づく仰角を求め、求めた仰角と基準仰角との間の角度を、演奏仰角情報300に予め設定されている鉛直区分の数で等分したり、予め設定されている鉛直区分の仰角範囲の角度比率に応じて分割する等、予め定めたアルゴリズムで分割した各角度の境界と基準仰角との角度差を求め、求めた角度差を各方位区分の仰角として設定する。
(3)上述した変形例(1)では、オープンリムショットとクローズリムショットの奏法を判別するものとして説明したが、例えば、スティックの先端にワイヤーの束が設けられたブラシ(ワイヤーブラシ)を用い、ドラムのヘッドを水平方向にブラシでこするブラシ奏法を判別するようにしてもよい。ブラシ奏法は、演奏棒2を一定の仰角を保持した状態で水平方向に移動させるため、ブラシ奏法を判定する場合には、加速度ピーク値を検出したときのピーク時方位情報と、その加速度ピーク値の前に検出されたピーク時前方位情報に基づく方位角の変化幅がブラシ奏法に固有の一定範囲内で、仰角が一定であるときに、その操作をブラシ奏法と判定する。
また、ブラシ奏法以外に、打撃する面を指先で叩くなど、スティックのような演奏棒2を用いることなく仮想演奏を行う場合には、例えば、演奏棒2に設けられている地磁気センサとは別のIDが付与されている地磁気センサを演奏者の手等に装着する。そして、演奏者に装着されている地磁気センサからの方位情報を実施形態と同様に携帯電話機4において受信し、受信した方位情報に基づく方位角及び仰角を特定して仮想演奏空間における方位区分と鉛直区分に対応する楽器を特定し、当該楽器を演奏者の手等を用いて演奏を行ったときの楽器音を放音する。なお、この場合には、各楽器を演奏者の手等を用いて演奏したときの音データを予め楽器音データとして記憶しておく。
また、ブラシ奏法以外に、打撃する面を指先で叩くなど、スティックのような演奏棒2を用いることなく仮想演奏を行う場合には、例えば、演奏棒2に設けられている地磁気センサとは別のIDが付与されている地磁気センサを演奏者の手等に装着する。そして、演奏者に装着されている地磁気センサからの方位情報を実施形態と同様に携帯電話機4において受信し、受信した方位情報に基づく方位角及び仰角を特定して仮想演奏空間における方位区分と鉛直区分に対応する楽器を特定し、当該楽器を演奏者の手等を用いて演奏を行ったときの楽器音を放音する。なお、この場合には、各楽器を演奏者の手等を用いて演奏したときの音データを予め楽器音データとして記憶しておく。
(4)また、上述した実施形態では、ドラムセット3の楽器音が仮想演奏空間に割当てられているものとして説明したが、例えば、太鼓などの打楽器音を割当てるようにしてもよいし、テルミンの音を割当てるようにしてもよい。
(5)また、上述した実施形態では、演奏棒2a及び演奏棒2b毎に仮想演奏空間情報400を対応づけて記憶するものとして説明したが、複数の演奏棒または複数のユーザの演奏棒に対して一つの仮想演奏空間情報を記憶するようにしてもよい。例えば、各ユーザが2本の演奏棒を用い、複数ユーザで一つ又は複数の太鼓を演奏する場合では、一つの仮想演奏空間情報を複数ユーザで共有することで、各ユーザの演奏棒が動かされた位置を特定して、複数のユーザによる太鼓の合奏演奏をすることができる。
(6)上述した実施形態では、演奏棒2から方位情報を携帯電話機4に送信し、携帯電話機4において演奏棒2が操作された方位角や仰角を特定するものとして説明したが、演奏棒2において方位角及び仰角を特定し、特定した結果を携帯電話機4に送信するようにしてもよい。
(7)また、上述した実施形態1では、指揮棒2において基準方位設定を行うものとして説明したが、携帯電話機4において基準方位設定を行うようにしてもよい。この場合には、携帯電話機4において、基準方位の選択入力を受付ける選択画面を表示部48に表示してユーザが選択した方位を基準方位として設定してもよいし、携帯電話機4に地磁気センサが設けられている場合には、携帯電話機4を所望する方向に向け、基準方位設定の機能を予め割当てた操作ボタンをユーザが押下することにより、その操作時における地磁気を検出して基準方位の設定を行うようにしてもよい。また、指揮棒2の基準方位として予め定めた方位を携帯電話機4において設定しておいてもよい。この場合には、例えば、北方向を基準方位として設定されている場合、仮想演奏を行う前に、携帯電話機4又は指揮棒2において北方向をユーザが認識できるように報知する。
(8)上述した実施形態では、演奏装置1は、演奏棒2と携帯電話機4で構成されているものとして説明したが、携帯電話機4が演奏棒2の機能を備えるようにしてもよい。この場合には、携帯電話機4において方位及び傾斜角度を検出し、ユーザによって携帯電話機4が動かされた位置に対応する楽器音を発音させる。また、演奏棒2と接続する装置は携帯電話機に限らず、以下のようなものでもよい。例えば、ゲーム機、パソコン、携帯情報端末、スポーツ等のトレーニングマシン、マッサージチェア等のリラクゼーション効果をもたらす装置などもよい。また、携帯電話機4を含む上記装置と接続する操作子は演奏棒2に限られず、例えば、ユーザの足などの身体や衣服に装着可能な操作子であってもよい。
(9)また、上述した実施形態では、演奏装置1は、2本の演奏棒2を含んで構成されているものとして説明したが、演奏棒は、1本でも良いし、3本以上であってもよい。
(10)また、上述した実施形態では、演奏棒2と携帯電話機4は、近距離無線通信によって接続されているものとして説明したが、演奏棒2と携帯電話機4がケーブルを介して電気的に有線接続されていてもよい。
(11)また、上述した実施形態では、仮想演奏を行う場合の基準方向及び仮想演奏空間を基準方位及び基準仰角で定義する例について説明したが、基準方位又は基準仰角の一方だけで定義するようにしてもよい。即ち、例えば、基準方位のみで仮想演奏空間及び基準方向を定義する場合には、指揮棒2がどのような仰角方向に向けられている場合であっても、指揮棒2が向けられた方位に対応する仮想演奏空間を特定するようにし、また、指揮棒2がどの方位に向けられている場合であっても、指揮棒2が向けられた仰角に対応する仮想演奏空間を特定するようにしてもよい。
1…演奏装置、2,2a,2b…演奏棒、3…ドラムセット、4…携帯電話機、21,40…操作部、22…方向検出部、23,41…通信部、24…加速度検出部、25,49…制御部、42…音源、43…アンプ、44…スピーカ、45…記憶部、46…マイク、47…電話通信部、48…表示部
Claims (5)
- 方位を検出して方位情報を出力する方向検出手段と、運動量を検出して運動量を示す運動量情報を出力する運動量検出手段とを有し、演奏者により把持または装着されて移動可能な操作子と、
仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、
前記操作子において予め設定された基準方向と前記方向検出手段により出力された方位情報に基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出手段と、
前記運動量検出手段により出力された運動量情報に基づいて、予め定められた演奏動作を検出する動作検出手段と、
前記動作検出手段により前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出手段により検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力する演奏制御手段と、
前記演奏制御手段により出力された前記発音制御情報に基づいて前記音信号を出力する音源と
を備えることを特徴とする演奏装置。 - 前記演奏動作の種別に対応する仰角を含む判定情報を記憶する判定情報記憶手段を備え、
前記仮想演奏空間情報記憶手段は、前記演奏動作の種別毎に当該種別に対応する前記音の情報を記憶し、
前記動作検出手段は、更に、前記方向検出手段により出力された前記方位情報に基づいて前記演奏動作に対する仰角を特定し、特定した仰角と前記判定情報記憶手段に記憶されている前記判定情報とに基づいて、前記演奏動作に対応する前記種別を特定し、
前記演奏制御手段は、前記動作検出手段により特定された前記演奏動作の種別に対応する前記音の情報に応じた発音制御情報を出力することを特徴とする請求項1記載の演奏装置。 - 前記操作子は複数であり、
前記操作子の各々は、基準方向の設定操作を受付ける基準方向指示手段を更に有し、
前記記憶手段は、前記操作子のうち、一の操作子に対応する前記仮想演奏空間情報を予め記憶し、
前記操作子毎に前記基準方向指示手段により前記基準方向の設定操作が受付けられたとき、前記操作子毎の前記基準方向及び前記方位情報に基づいて、前記一の操作子に対する他の操作子の相対位置関係を特定する相対位置特定手段と、
前記一の操作子に対応する前記仮想演奏空間情報と、前記相対位置特定手段によって特定された前記相対位置関係とに基づいて、前記他の操作子に対応する前記仮想演奏空間情報を設定し、設定した当該仮想演奏空間情報を当該他の操作子の前記仮想演奏空間情報として前記記憶手段に記憶させる仮想演奏空間情報設定手段とを備え、
前記演奏制御手段は、前記動作検出手段において前記操作子毎に前記演奏動作が検出された際、前記移動量検出手段により検出された前記操作子毎の前記移動量と、前記操作子毎の前記仮想演奏空間情報に基づいて、各操作子において前記演奏動作がなされたときに当該操作子が移動されている前記仮想演奏空間の前記空間情報を特定し、当該操作子について特定した前記空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力することを特徴とする請求項1又は2記載の演奏装置。 - 方位を検出して方位情報を出力する方向検出手段と、運動量を検出して運動量を示す運動量情報を出力する運動量検出手段とを有し、演奏者により把持または装着されて移動可能な操作子と、
仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、
前記操作子において予め設定された基準方向と前記方向検出手段により出力された方位情報に基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出手段と、
前記運動量検出手段により出力された運動量情報に基づいて、予め定められた演奏動作を検出する動作検出手段と、
前記動作検出手段により前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出手段により検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を出力する演奏制御手段と
を備えることを特徴とする演奏制御装置。 - 仮想演奏を行う空間を区分けして予め定義された各仮想演奏空間を識別する空間情報と、当該仮想演奏空間に予め割当てられた音の情報とを含む仮想演奏空間情報を記憶する記憶手段と、入力された発音制御情報に基づいて音信号を出力する音源とを備えるコンピュータに、
演奏者によって把持または装着されて移動可能な操作子から、当該操作子が移動された方向を示す方位情報と、当該操作子の運動量を示す運動量情報を取得する取得ステップと、
前記取得ステップにおいて取得した方位情報と前記操作子について予め設定された基準方向とに基づいて、前記操作子が前記基準方向から移動された移動量を検出する移動量検出ステップと、
前記取得ステップにおいて取得した運動量情報に基づいて、予め定められた演奏動作を検出する動作検出ステップと、
前記動作検出ステップにより前記演奏動作が検出された際、前記記憶手段に記憶されている前記仮想演奏空間情報と前記移動量検出ステップにおいて検出された前記移動量に基づいて、当該演奏動作がなされたときに前記操作子が移動された前記仮想演奏空間の空間情報を特定し、特定した空間情報に対応する前記音の情報に基づく音信号を当該演奏動作に応じて制御する発音制御情報を前記音源に対して入力する演奏制御ステップと
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009287742A JP2011128427A (ja) | 2009-12-18 | 2009-12-18 | 演奏装置、演奏制御装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009287742A JP2011128427A (ja) | 2009-12-18 | 2009-12-18 | 演奏装置、演奏制御装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011128427A true JP2011128427A (ja) | 2011-06-30 |
Family
ID=44291083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009287742A Pending JP2011128427A (ja) | 2009-12-18 | 2009-12-18 | 演奏装置、演奏制御装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011128427A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012118299A (ja) * | 2010-12-01 | 2012-06-21 | Casio Comput Co Ltd | 演奏装置および電子楽器 |
JP2013190663A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
JP2013195623A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 楽音発生装置、楽音発生方法及びプログラム |
JP2013195645A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
JP2013213946A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
JP2013213948A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
JP2015111404A (ja) * | 2013-11-05 | 2015-06-18 | 株式会社Moff | 動作検出システム、動作検出装置、移動通信端末及びプログラム |
US9514729B2 (en) | 2012-03-16 | 2016-12-06 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium capable of modifying virtual instrument layout information |
JP2017016162A (ja) * | 2016-10-25 | 2017-01-19 | カシオ計算機株式会社 | 演奏装置、方法及びプログラム |
JP2017090941A (ja) * | 2017-02-28 | 2017-05-25 | カシオ計算機株式会社 | 演奏システム、演奏方法及びプログラム |
CN109493685A (zh) * | 2018-12-29 | 2019-03-19 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的虚拟打击乐器训练系统 |
JP2021015249A (ja) * | 2019-07-16 | 2021-02-12 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法 |
-
2009
- 2009-12-18 JP JP2009287742A patent/JP2011128427A/ja active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8586853B2 (en) | 2010-12-01 | 2013-11-19 | Casio Computer Co., Ltd. | Performance apparatus and electronic musical instrument |
JP2012118299A (ja) * | 2010-12-01 | 2012-06-21 | Casio Comput Co Ltd | 演奏装置および電子楽器 |
JP2013190663A (ja) * | 2012-03-14 | 2013-09-26 | Casio Comput Co Ltd | 演奏装置及びプログラム |
US9514729B2 (en) | 2012-03-16 | 2016-12-06 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium capable of modifying virtual instrument layout information |
JP2013195645A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
US9018510B2 (en) | 2012-03-19 | 2015-04-28 | Casio Computer Co., Ltd. | Musical instrument, method and recording medium |
JP2013195623A (ja) * | 2012-03-19 | 2013-09-30 | Casio Comput Co Ltd | 楽音発生装置、楽音発生方法及びプログラム |
JP2013213946A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
JP2013213948A (ja) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
JP2015111404A (ja) * | 2013-11-05 | 2015-06-18 | 株式会社Moff | 動作検出システム、動作検出装置、移動通信端末及びプログラム |
JP2017016162A (ja) * | 2016-10-25 | 2017-01-19 | カシオ計算機株式会社 | 演奏装置、方法及びプログラム |
JP2017090941A (ja) * | 2017-02-28 | 2017-05-25 | カシオ計算機株式会社 | 演奏システム、演奏方法及びプログラム |
CN109493685A (zh) * | 2018-12-29 | 2019-03-19 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的虚拟打击乐器训练系统 |
JP2021015249A (ja) * | 2019-07-16 | 2021-02-12 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011128427A (ja) | 演奏装置、演奏制御装置及びプログラム | |
JP5598490B2 (ja) | 演奏装置、方法及びプログラム | |
JP4679431B2 (ja) | 音出力制御プログラムおよび音出力制御装置 | |
JP5420833B2 (ja) | ゲームシステム | |
US8609972B2 (en) | Performance apparatus and electronic musical instrument operable in plural operation modes determined based on movement operation of performance apparatus | |
JP6127367B2 (ja) | 演奏装置及びプログラム | |
JP2006065331A (ja) | 移動通信端末機における音楽演奏を制御する装置及び方法 | |
JP5533915B2 (ja) | 習熟度判定装置、習熟度判定方法及びプログラム | |
JP5812663B2 (ja) | 音楽演奏用プログラム、音楽演奏装置、音楽演奏システムおよび音楽演奏方法 | |
JP2013182195A (ja) | 演奏装置及びプログラム | |
CN103310769A (zh) | 演奏装置及演奏装置的控制方法 | |
JP2007293042A (ja) | 音楽演奏プログラムおよび音楽演奏装置 | |
CN107407961A (zh) | 计算机的手持式控制器、计算机的控制系统和计算机系统 | |
JP3933057B2 (ja) | 仮想打楽器演奏システム | |
JP2013213744A (ja) | 姿勢検出装置、方法及びプログラム | |
KR100617719B1 (ko) | 이동 통신 단말기에서 움직임에 종속한 사운드를 생성하는장치 및 방법 | |
JP5848520B2 (ja) | 音楽演奏プログラム、音楽演奏装置、音楽演奏システム、および音楽演奏方法 | |
CN103310766A (zh) | 演奏装置及方法 | |
JP5702585B2 (ja) | 入力判定プログラム、情報処理装置、システム及び情報処理方法 | |
JP2007075426A (ja) | プログラム、情報記憶媒体、携帯型ゲーム機及びゲームシステム | |
JP5147351B2 (ja) | 音楽演奏プログラム、音楽演奏装置、音楽演奏システムおよび音楽演奏方法 | |
JP2011123248A (ja) | 音量制御装置、楽音制御装置、再生装置及びプログラム | |
JP6111526B2 (ja) | 楽音発生装置 | |
CN111462718A (zh) | 一种乐器模拟系统 | |
JP2011133791A (ja) | 演奏制御装置及びプログラム |