JP2014062949A

JP2014062949A - 演奏装置、演奏方法及びプログラム

Info

Publication number: JP2014062949A
Application number: JP2012206650A
Authority: JP
Inventors: Naoyuki Sakazaki; 尚之坂崎
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2012-09-20
Filing date: 2012-09-20
Publication date: 2014-04-10
Anticipated expiration: 2032-09-20
Also published as: JP6098083B2

Abstract

【課題】演奏動作によりマーカーがロストしても、演奏者が叩いた楽器を判断して楽音を発生する。
【解決手段】マーカーを有する演奏部材を用いてエア楽器を演奏する演奏者をカメラで撮影する演奏装置において、第１の演奏中に撮影された画像からマーカーがロストしたことを検出するロスト検出機能３１ａと、マーカーのロスト中に演奏者が演奏部材でエア楽器を叩いたときのマーカーの位置を推測する位置推測機能３１ｂと、第２の演奏時にマーカーがロストした場合に、位置推測機能３１ｃによって推測されたマーカーの位置に基づいて所定の楽音を発生する楽音発生制御機能３１ｃとを備える。
【選択図】図５

Description

本発明は、ユーザの演奏動作に応じて楽音を発生する演奏装置に係り、特に実存しない仮想的な楽器（エア楽器と称す）に対するユーザの演奏動作に応じて楽音を発生する演奏装置と、そのエア楽器の演奏方法及びプログラムに関する。

従来、エア楽器に対するユーザの演奏動作に応じて楽音を発生する演奏装置として、「エアドラム」を演奏するための装置が知られている。これは、スティック部材に加速度センサを設けておき、演奏者であるユーザがそのスティック部材を振り下ろす動作を検出して、そのスティック部材で叩いた楽器に対応した楽音を発生するものである。

このエアドラムでは、演奏者の演奏動作をカメラで撮影し、その撮影画像をドラムセットの仮想画像と合成してモニタ画面に表示し、スティック部材の振り下ろし動作とドラムセットの各楽器との位置関係を視覚的に把握できるようにした技術が知られている（例えば、特許文献１参照）。

特許第３５９９１１５号公報

上述したエアドラムにおいて、スティック部材が叩いている位置は、スティック部材の先端部に設けられたマーカー（発光体）を撮影画像上で認識することで得られる。しかしながら、演奏者がスティック部材を振っているときに腕やスタンド等の機材などでマーカーが一時的に隠れて撮影画像上で認識できなくなることがある。これを「マーカーのロスト」と呼ぶ。マーカーがロストした状態では、加速度センサによってスティック部材を振り下ろしている動きは分かっても、エアドラムのどこを叩いているのか分からないため、鳴らすべき楽器が特定できず楽音を発生することができない。

本発明は上記のような点に鑑みなされたもので、演奏動作によりマーカーがロストしても、演奏者が叩いた楽器を判断して楽音を発生することのできる演奏装置、演奏方法及びプログラムを提供することを目的とする。

本発明に係る演奏装置は、マーカーを有する演奏部材と、この演奏部材を用いてエア楽器を演奏する演奏者を撮影する撮影手段と、第１の演奏中に上記撮影手段によって撮影された画像から上記マーカーがロストしたことを検出するロスト検出手段と、このロスト検出手段によって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測手段と、上記第１の演奏に続いて行われる第２の演奏時に上記マーカーがロストした場合に、上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御手段とを具備したことを特徴とする。

本発明によれば、演奏動作によりマーカーがロストしても、演奏者が叩いた楽器を判断して楽音を発生することができる。

図１は本発明の第１の実施形態に係る演奏装置の概要を説明するための図であり、図１（ａ）は演奏装置のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットとの位置関係を示す図である。図２は同実施形態における演奏装置のスティック部のハードウェア構成を示すブロック図である。図３は同実施形態における演奏装置のスティック部の外観構成を示す斜視図である。図４は同実施形態における演奏装置のカメラユニット部のハードウェア構成を示すブロック図である。図５は同実施形態における演奏装置のセンターユニット部のハードウェア構成を示すブロック図である。図６は同実施形態における演奏装置のスティック部の処理を示すフローチャートである。図７は同実施形態における演奏装置のスティック部を用いて演奏動作を行った場合のモーションセンサ部の垂直方向の加速度に関する出力の変化を表わした図である。図８は同実施形態における演奏装置のカメラユニット部の処理を示すフローチャートである。図９は同実施形態における演奏装置のセンターユニット部の処理を示すフローチャートである。図１０は同実施形態における演奏装置のカメラユニット部と演奏者との位置関係を説明するための図である。図１１は同実施形態における演奏装置でマーカーがロストする原因を説明するための図である。図１２は同実施形態における演奏装置のマーカーのロスト時のマーカー位置を推測する方法を説明するための図である。図１３は同実施形態における演奏装置のセンターユニット部の演奏処理を示すフローチャートである。図１４は同実施形態における演奏装置のセンターユニット部の演奏処理を示すフローチャートである。図１５は同実施形態における演奏装置の第１のロスト管理テーブルの一例を示す図である。図１６は同実施形態におけるマーカーのロスト前後の位置とショット動作の位置との関係を示す図であり、図１６（ａ）はＡ−Ｂ間の中間位置でショット動作があった場合、同図（ｂ）はＡ−Ｂ間の２／３の位置でショット動作があった場合の例である。図１７は本発明の第２の実施形態に係る演奏装置のセンターユニット部の演奏処理を示すフローチャートである。図１８は同実施形態に係る演奏装置のセンターユニット部の演奏処理を示すフローチャートである。図１９は同実施形態における演奏装置の第２のロスト管理テーブルの一例を示す図である。

以下、図面を参照して本発明の実施形態について説明する。

（第１の実施形態）
［演奏装置１の概要］
図１は本発明の第１の実施形態に係る演奏装置１の概要を説明するための図であり、図１（ａ）は演奏装置１のシステム構成を示す図、同図（ｂ）はユーザの演奏動作と仮想ドラムセットＤとの位置関係を示す図である。

本実施形態における演奏装置１は、エア楽器として「エアドラム」を演奏するための装置である。この演奏装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、モニタ部４０とを備えて構成される。

なお、本実施形態では、２本のスティックを用いた仮想的なドラム演奏を想定しているため、２つのスティック部１０Ａ、１０Ｂを備える。しかし、スティック部の数は、これに限られず、１つとしてもよく、３つ以上としてもよい。以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の部材からなる。このスティック部１０は、演奏者の操作に応じてエア楽器の演奏指示が発せられる演奏部材として用いられる。本実施形態において、演奏者であるユーザは、スティック部１０の一端（根元側）を持ち、手首などを中心としたスティック部１０の振り上げ／振り下ろしの演奏動作によりエアドラムの演奏を行う。

このようなスティック部１０を用いた演奏者の演奏動作を検出するため、スティック部１０の他端（先端側）には、加速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらのセンサによって検出された演奏者の演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。

また、スティック部１０の先端側には、マーカー部１５（図２参照）が設けられている。このマーカー部１５は、ＬＥＤ（light emitting diode）等の発光体からなり、スティック部１０の動きを検出するために用いられる。

カメラユニット部２０は、光学式のカメラ（撮像装置）からなり、スティック部１０を用いてエアドラムを演奏する演奏者を所定のフレームレートで撮影する。より詳しくは、カメラユニット部２０は、演奏者が持つスティック部１０が存在する撮像空間を撮影する。カメラユニット部２０は、その撮影画像からスティック部１０の先端部に設けられたマーカー部１５の位置座標を特定し、センターユニット部３０に送信する。

センターユニット部３０は、演奏装置１の制御本体に相当する。センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて所定の楽音を発生する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（ｂ）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データとノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が叩いた楽器を特定し、その楽器に対応する楽音を発生する。

また、モニタ部４０の画面には、カメラユニット部２０によって撮影された演奏中のユーザと仮想ドラムセットＤとが合成表示される。ユーザはこのモニタ部４０の画面を見ながら、仮想ドラムセットＤを構成する各楽器に対応する位置をスティック部１０で叩いて演奏することができる。

なお、ここで言う「楽器」とは、スティックで叩いて音を鳴らす楽器つまり打楽器（ドラムセットのシンバル，タム等）のことである。また、図１に示したモニタ部４０はセンターユニット部３０に任意接続である。演奏中に仮想ドラムセットＤの各楽器の位置を確認する必要がなければ、モニタ部４０は不要である。

以下、演奏装置１の構成ついて具体的に説明する。

［スティック部１０の構成］
図２は演奏装置１のスティック部１０のハードウェア構成を示すブロック図、図３はスティック部１０の外観構成を示す斜視図である。

スティック部１０は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６とを備える。

ＣＰＵ１１は、スティック部１０に関する制御として、後述する姿勢検知、ショット検出及びアクション検出などを行う。また、ＣＰＵ１１は、データ通信部１６を介してセンターユニット部３０との間の通信制御を行う。

ＲＯＭ１２には、ＣＰＵ１１が実行する各種処理に対応したプログラム１２ａとマーカー特徴情報１２ｂが記憶されている。ここで、本実施形態では、エアドラムの演奏に２本のスティック部１０Ａ，１０Ｂを用いるため、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別する必要がある。

マーカー特徴情報１２ｂは、この第１マーカーと第２マーカーとを区別するための情報であり、例えば発光時の形状、大きさ、色相、彩度、輝度、発光時の点減スピードなどが規定されている。スティック部１０Ａとスティック部１０Ｂでは、ＣＰＵ１１がそれぞれに異なるマーカー特徴情報１２ｂをＲＯＭ１２から読み出してマーカー部１５の発光制御を行う。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、ＣＰＵ１１の処理において取得又は生成されたデータを記憶する。

モーションセンサ部１４は、スティック部１０の状態を検出するための各種センサからなり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を実現するためのセンサとしては、例えば加速度センサ、角速度センサ、磁気センサなどを用いることができる。

（加速度センサ）
加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向の夫々に生じた加速度を出力する３軸センサを用いることができる。図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。このとき、加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸の夫々の成分の加速度を取得するとともに、夫々の加速度を合成したセンサ合成値を算出することとしてもよい。

ここで、演奏者はスティック部１０の一端（根元側）を保持し、手首や腕などを中心とした振り上げ／振り下ろし動作を行う。スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出する。スティック部１０が動いている場合には、加速度センサは、当該動きの加速度と重力加速度１Ｇとのセンサ合成値を算出する。

なお、センサ合成値は、例えばＸ軸、Ｙ軸、Ｚ軸の成分の加速度の夫々の２乗の総和の平方根を算出することで得られる。

（角速度センサ）
角速度センサとしては、例えばジャイロスコープを備えたセンサを用いることができる。ここで、図３を参照して、角速度センサは、スティック部１０のＹ軸方向の回転角３０１やスティック部１０のＸ軸方向の回転角３１１を出力する。

Ｙ軸方向の回転角３０１は、演奏者がスティック部１０を持ったとき、演奏者からみた前後軸の回転角であり、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度３０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。

Ｘ軸方向の回転角３１１は、演奏者がスティック部１０を持ったとき、演奏者からみた左右軸の回転角であり、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度３１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。

なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角３１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

（磁気センサ）
磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の夫々について出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なる。このため、これらの成分から、ＣＰＵ１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

モーションセンサ部１４（詳細には、モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１）は、上述したセンサ値に基づいてスティック部１０の動き（演奏者の演奏動作と換言することもできる）を検出する。

加速度センサを例にして説明すると、ＣＰＵ１１は、加速度センサが出力する加速度（又はＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検出する。また、ＣＰＵ１１は、後述するように、モーションセンサ部１４からのセンサ値に基づいて、スティック部１０の振り下ろし動作や振り上げ動作を検出する。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられたＬＥＤなどの発光体からなり、ＣＰＵ１１の制御下で発光／消灯する。具体的には、マーカー部１５は、ＣＰＵ１１がＲＯＭ１２から読み出したマーカー特徴情報１２ｂに基づいて発光する。この場合、スティック部１０Ａのマーカー特徴情報１２ｂと、スティック部１０Ｂのマーカー特徴情報１２ｂとは異なるため、カメラユニット部２０では、スティック部１０Ａのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｂのマーカー部（第２マーカー）の位置座標とを区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。

なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間や、モニタ部４０との間で無線通信を行うこととしてもよい。また、無線通信として、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いてもよい。

［カメラユニット部２０の構成］
図４は演奏装置１のカメラユニット部２０のハードウェア構成を示すブロック図である。

カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、マーカー検出部２４と、データ通信部２５とを備える。

ＣＰＵ２１は、カメラユニット部２０に関する制御として、主として撮影画像からスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標データを算出する制御を行う。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する。

ＲＯＭ２２には、ＣＰＵ２１が実行する各種処理に対応したプログラムが記憶されている。ＲＡＭ２３は、マーカー検出部２４が検出したマーカー部１５の位置座標データなど、処理において取得又は生成された値を記憶する。また、ＲＡＭ２３には、センターユニット部３０から与えられたスティック部１０Ａ、１０Ｂの夫々のマーカー特徴情報１２ｂなどが記憶される。

マーカー検出部２４は、撮像手段として用いられ、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮影する。また、マーカー検出部２４は、フレームごとの画像データをＣＰＵ２１に出力する。

なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定する機能を備えている。このマーカー部１５の位置座標の特定については、マーカー検出部２４で行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、マーカー部１５のマーカー特徴情報１２ｂについても、マーカー検出部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部２５は、スティック部１０やモニタ部４０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
図５は演奏装置１のセンターユニット部３０のハードウェア構成を示すブロック図である。

センターユニット部３０は、演奏装置１の制御装置として用いられる。このセンターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７とを備える。

ＣＰＵ３１は、センターユニット部３０に備えられた各機能を実現するための制御を行う。特に、本発明に関わる機能として、ＣＰＵ３１には、ロスト検出機能３１ａと、位置推測機能３１ｂと、楽音発生制御機能３１ｃとを備える。

ロスト検出機能３１ａは、第１の演奏（リハーサル演奏）中にカメラユニット部２０によって撮影された画像からスティック部１０のマーカー部１５がロストしたことを検出する。

位置推測機能３１ｂは、ロスト検出機能３１ａによって検出されたマーカー部１５のロスト中に演奏者がスティック部１０でエア楽器を叩いたときのマーカー部１５の位置を推測する。

楽音発生制御機能３１ｃは、第１の演奏（リハーサル演奏）に続いて行われる第２の演奏（本番演奏）時にマーカー部１５がロストした場合に、位置推測機能３１ｂによって推測されたマーカー部１５の位置に基づいて所定の楽音を発生する。

また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。

ＲＯＭ３２は、ＣＰＵ３１が実行する各種処理に対応したプログラム３２ａを記憶している。また、ＲＯＭ３２には、波形テーブル３２ｂが設けられている。この波形テーブル３２ｂには、種々の音色の波形データ、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなどの打楽器の波形データが位置座標などと対応付けて記憶されている。ＣＰＵ３１は、ショット検出時（ノートオンイベント受信時）にマーカー部１５の位置座標に基づいて、ＲＯＭ３２の波形テーブル３２ｂから該当する波形データを読み出すことで、演奏者の演奏動作に応じた楽音を音源装置３６を通じて発生する。なお、波形データは、音源装置３６内に備えられた波形ＲＯＭから読み出されるように構成しても良い。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）や、カメラユニット部２０から受信したマーカー部１５の位置座標など、処理において取得・生成された値を記憶する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、楽音の音量や音色の変更、表示装置３５１の表示の切り替えなどが含まれる。

また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。表示装置３５１には、各種メニュー画面の他、カメラユニット部２０で撮影された画像とエア楽器の仮想画像との合成画像などが表示される。なお、この表示装置３５１に表示されるデータを無線通信によりモニタ部４０に送って、そのモニタ部４０の画面で拡大表示して確認することも可能である。

音源装置３６は、ＣＰＵ３１からの指示に従って、ＲＯＭ３２の波形テーブル３２ｂから波形データを読み出して、その波形データから楽音データを生成するとともに当該楽音データをアナログ信号に変換し、図示しないスピーカから出力する。

また、データ通信部３７は、スティック部１０、カメラユニット部２０、モニタ部４０との間で所定の無線通信（例えば、赤外線通信）を行う。

ここで、本発明に関する処理を説明する前に、理解を容易にするために、演奏装置１の基本的な動作について説明する。

［スティック部１０の処理］
図６は演奏装置１のスティック部１０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、スティック部１０のＣＰＵ１１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

まず、スティック部１０のＣＰＵ１１は、ＲＯＭ１２に格納されているマーカー特徴情報１２ｂを読み出す（ステップＳ１１）。この場合、スティック部１０Ａ，１０ＢのＣＰＵ１１が夫々に異なるマーカー特徴情報１２ｂを読み出す。異なるマーカー特徴情報１２ｂの読み出しは、任意の方法で行うことができる。例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよい。また、スティック部１０Ａ、１０Ｂ毎に予め１つのマーカー特徴情報１２ｂを対応付けておき、スティック部１０Ａ、１０ＢのＣＰＵ１１が夫々に対応付けられた独自のマーカー特徴情報１２ｂを読み出すこととしてもよい。

ＣＰＵ１１は、ＲＯＭ１２から読み出したマーカー特徴情報１２ｂをＲＡＭ１３に一旦格納した後、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ１２）。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを夫々区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報１２ｂをセンターユニット部３０に送信するものとする。

次に、ＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１３）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を行う（ステップＳ１４）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０の傾き、ロール角及びピッチ角の変位などを検知する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいてショット検出処理を行う（ステップＳ１５）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器を演奏する動作と同様の動作を行う。

すなわち、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そして、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティックを打ちつける瞬間又はそのわずかに手前に楽音を発生することとしている。

ここで、図７を参照して、スティック部１０を用いた楽音の発音タイミングの一例について説明する。

図７はスティック部１０を用いて演奏動作を行った場合のモーションセンサ部１４の垂直方向の加速度に関する出力の変化を表わした図である。なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味する。これは、Ｙ軸成分の加速度から分解し算出することとしてもよい。あるいは、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図７において、プラスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、マイナスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（ａで表わされる部分）であっても、スティック部１０には重力加速度が加わっている。このため、静止するスティック部１０のモーションセンサ部１４は、重力加速度に逆らう形で垂直上向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。

静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対して、さらに逆らう方向に動作することになる。このため、スティック部１０に加わる加速度はマイナス方向に増加する。その後、静止させようとして持ち上げる速度を減少させると、上向きの加速度が減少し、モーションセンサ部１４で検出されるスティック部１０のマイナス方向の加速度は減少する（ｂで表わされる部分）。そして、振り上げ動作が最高点に到達した時点での加速度は重力加速度のみになる（ｂとｃの境目付近で表される部分）。

振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、下向き方向に動作することになる。従って、スティック部１０に加わる加速度は、重力加速度に逆らって検出されていたマイナス方向の加速度よりもプラス方向に増加する。その後、演奏者はショットに向けて、下向き方向の加速度を減少させていくので、スティック部１０に加わる加速度はマイナス方向に増加する。この間、振り下ろし動作が最高速に到達するタイミングを経てスティック部１０には、再び重力加速度のみが加わる状態となる（ｃで表わされる部分）。

この後、演奏者がショットに向けて、スティック部１０に対してさらに振り上げ方向の加速度を加えると、加わる加速度はマイナス方向に増加する。そしてショットが終わると、スティック部１０は再び静止し、重力加速度に逆らう形のマイナス方向の加速度が検出される状態に戻る（ｄで表わされる部分）。

本実施形態においては、演奏者が仮想的な楽器の面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ方向の加速度が加えられた瞬間を検出する。つまり、図７のｄで表わされる部分において、振り下ろし状態から、言い換えれば加わる加速度が重力加速度のみから、さらにマイナス方向に所定値だけ増加したＡ点を、ショット検出のタイミングとしている。

このショット検出のタイミングを発音タイミングとし、上述したような発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発生される。

図６に戻り、ステップＳ１５に示すショット検出処理では、上述のようにモーションセンサ情報（例えば、加速度センサのＸ軸、Ｙ軸、Ｚ軸のセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、例えばショットの強さや加速度の大きさ等に応じて、楽音の音量や音色、ベロシティやエンベロープ等の種々の情報を含めることとしてもよい。なお、楽音の音量は、例えばセンサ合成値の最大値から求めることができる。

また、ＣＰＵ１１は、モーションセンサ情報に基づいて、演奏者の所定の動作（アクション）を示す情報（以下、アクション情報と呼ぶ）を検出する処理、すなわち、アクション検出処理を行う（ステップＳ１６）。なお、ここでアクション動作とは、ユーザがスティックを用いて行う、ショット以外の動作をいい、例えば、ユーザが撮像空間内で、スティックのマーカーが所定の形状を描くように動かした場合や、ある位置でダブルクリックのような動作をさせた場合を検出する。そして、例えばユーザがスティックを横にスライドさせた場合には、ページをめくるようにドラムセットを入れ替えるなどのように用いる事ができる。

ＣＰＵ１１は、ステップＳ１４〜Ｓ１６の処理で検出した情報、すなわち、姿勢情報、ショット情報及びアクション情報を、データ通信部１６を介してセンターユニット部３０に送信して（ステップＳ１７）、ステップＳ１３の処理に戻る。このとき、ＣＰＵ１１は、スティック部１０Ａ、１０Ｂを区別するためのスティック識別情報と対応付けて、姿勢情報、ショット情報及びアクション情報をセンターユニット部３０に送信する。

［カメラユニット部２０の処理］
図８は演奏装置１のカメラユニット部２０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、カメラユニット部２０のＣＰＵ２１がＲＯＭ２２に記憶されたプログラム２２ａを読み出すことにより実行される。

カメラユニット部２０のＣＰＵ２１は、マーカー検出条件取得処理を行う（ステップＳ２１）。この処理では、ＣＰＵ２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得し、ＲＡＭ２３に格納する。

なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５の夫々を検出するための条件であり、マーカー特徴情報１２ｂから生成される（後述する図９のステップＳ３１，Ｓ３２参照）。ここで、上述したようにマーカー特徴情報１２ｂとして、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。

次に、ＣＰＵ２１は、マーカー検出条件設定処理を行う（ステップＳ２２）。この処理では、ＣＰＵ２１は、マーカー検出条件情報に基づいて、スティック部１０Ａ，１０Ｂのマーカー部１５を検出するための各種設定を行う。

次に、ＣＰＵ２１は、第１マーカー検出処理及び第２マーカー検出処理を行う（ステップＳ２３，Ｓ２４）。これらの処理では、ＣＰＵ２１は、マーカー検出部２４が検出した、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検知情報を取得してＲＡＭ２３に格納する。このとき、マーカー検出部２４は、発光中のマーカー部１５について、マーカー検知情報を検出する。

ＣＰＵ２１は、ステップＳ２３及びステップＳ２４で取得したマーカー検知情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ２５）、ステップＳ２３の処理に戻る。

［センターユニット部３０の処理］
図９は演奏装置１のセンターユニット部３０の処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ３２に記憶されたプログラム３２ａを読み出すことにより実行される。

センターユニット部３０のＣＰＵ３１は、マーカー特徴情報１２ｂをスティック部１０から受信してＲＡＭ３３に格納する（ステップＳ３１）。ＣＰＵ３１は、このマーカー特徴情報とスイッチ３４１を介して設定された検出条件からマーカー検出条件情報を生成し、データ通信部３７を介してカメラユニット部２０に送信する（ステップＳ３２）。

次に、ＣＰＵ３１は、カメラユニット部２０から第１マーカー及び第２マーカー夫々のマーカー検知情報を受信し、ＲＡＭ３３に格納する（ステップＳ３３）。また、ＣＰＵ３１は、スティック部１０Ａ、１０Ｂの夫々から、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報を受信し、ＲＡＭ３３に格納する（ステップＳ３４）。

ここで、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ３５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット処理を行う（ステップＳ３６）。ショット処理では、ＣＰＵ３１は、ＲＯＭ３２の波形テーブル３２ｂからマーカー検知情報に含まれる位置座標、サイズ及び角度などに対応する波形データを読み出し、ノートオンイベントに含まれる音量データとともに音源装置３６に出力する。これにより、音源装置３６では、受け取った波形データに基づいて該当する楽音を発生する。

一方、ステップＳ３６の後、又はステップＳ３５でＮＯと判断した場合には、ＣＰＵ３１は、スティック部１０から受信したアクション情報に基づいて、アクションありか否かを判断する（ステップＳ３５）。このとき、アクションありと判断した場合には、ＣＰＵ３１は、受信したアクション情報に基づくアクション処理を行い（ステップＳ３８）、ステップＳ３３の処理に戻る。また、アクションなしと判断した場合には、ＣＰＵ３１は、ステップＳ３３の処理に戻る。

以上が演奏装置１の基本的な動作である。
なお、上記各フローチャートでは説明を省略したが、演奏中にカメラユニット部２０で撮影した演奏者の画像をセンターユニット部３０に送ることにより、センターユニット部３０で、その撮影画像と図１（ｂ）に示した仮想ドラムセットＤの画像とを合成し、その合成画像をモニタ部４０に転送して表示することも可能である。

演奏者は、このモニタ部４０に表示された合成画像で仮想ドラムセットＤの各楽器の位置を確認しながら演奏することができる。ただし、モニタ部４０を見ながらの演奏ではゲーム的であるため、リアリティ性を求める場合にはモニタ部４０を見ないで演奏することが好ましい。つまり、あたかも目の前にドラムセットがあるものとして、スティック部１０を持って演奏するスタイルが好ましい。

ここで、図１０に示すように、スティック部１０が叩いている位置は、スティック部１０の先端部に設けられたマーカー部１５（発光体）を撮影画像上で認識することで得られる。しかしながら、演奏中に演奏者の身体やスタンド等の機材にマーカー部１５が隠れて、撮影画像上で認識できなくなることがある。

例えば、図１１に示すように、演奏者が腕を交差して２本のスティック部１０Ａ，１０Ｂを振っているような場合に、一方の手に持ったスティック部１０Ａの先端部分が他方の手に隠れることがある。このとき、撮影画像２０ｂ上でマーカー部１５Ａを認識できないため、このようにマーカーがロストしている間にスティック部１０のモーションセンサ部１４でショットが検出されても、スティック部１０Ａで叩いた楽器を特定することができない。

図１２は、このようなマーカーのロスト中の位置を推測する方法を説明するための図である。この例では、演奏者の一方の手に持ったスティック部１０Ａ（のマーカー部１５）がＡ点→Ｂ点に移動したときに、スティック部１０Ａの先端部分が他方の手に隠れ、マーカー部１５Ａがロストした状態を表している。

今、マーカー部１５ＡがＡ点からＢ点の間でロストするものとし、ロスト中のＣ点でショット動作（演奏者がスティック部１０Ａを振り下ろして楽器を叩く動作）があったとする。

リハーサル演奏により、マーカー部１５Ａがロストしたときの時刻ｔ_１とロスト直前のＡ点の位置（ｘ_１，ｙ_１）と、マーカー部１５Ａを再認識したときの時刻ｔ_３とＢ点の位置（ｘ_３，ｙ_３）を求めておく。ここで、スティック部１０ＡがＡ−Ｂ間を等速で直線移動したものとすれば、Ａ−Ｂ間の位置と時刻ｔ_１，ｔ_３、ロスト中のショット発生時刻ｔ_２との関係からＣ点の位置（ｘ_２，ｙ_２）を推測することができる。

以下に詳しく説明する。
いま、図１０に示すように、カメラユニット部２０から所定の距離Ｔだけ離れた位置で演奏者がスティック部１０を用いてドラム演奏を行うものとし、そのときにカメラユニット部２０の撮影範囲２０ｂ内で撮影された演奏者の画像がセンターユニット部３０にリアルタイムで送られているとする。

図１３および図１４は演奏装置１のセンターユニット部３０の演奏処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

演奏者がセンターユニット部３０に設けられたスイッチ３４１の操作により演奏モードを設定すると、まず、第１の演奏モードとしてリハーサル演奏が開始される（ステップＳ４１のＹＥＳ）。リハーサル演奏では、演奏者はスティック部１０を持って本番と同じ演奏動作を行うものとする。詳しくは、図１で説明したように、演奏者は２本のスティック部１０Ａ，１０Ｂを持ち、仮想ドラムセットＤの各楽器に向かってスティック部１０Ａ，１０Ｂを振り下ろす動作（ショット動作）を行う。

リハーサル演奏が開始されると、センターユニット部３０のＣＰＵ３１は、図示せぬタイマーを起動して演奏時間の計測を行う（ステップＳ４２）。また、ＣＰＵ３１は、カメラユニット部２０によって撮影された画像からスティック部１０の先端部に設けられたマーカー部１５を検出する（ステップＳ４３）。

撮影画像上でマーカー部１５が検出されている間は（ステップＳ４４のＮＯ）、ＣＰＵ３１は、そのマーカー部１５の位置座標から楽器を特定すると共に（ステップＳ４５）、そのときにスティック部１０に設けられたモーションセンサ部１４によってショット動作を検出する（ステップＳ４６）。詳しくは、図７で説明したように、例えばモーションセンサ部１４として加速度センサを用いているものとすると、その加速度センサの信号変化から演奏者がスティック部１０を振り上げてから楽器に向かって振り下ろした動作を検出する。

モーションセンサ部１４によってショット動作が検出された場合（ステップＳ４６のＹＥＳ）、ＣＰＵ３１は、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ４７）。なお、ステップＳ４５の楽器の特定は、ショットが検出されてから後に行っても良いが、あらかじめ行っておくことで、ショット検出後の処理時間を短縮でき、ショット検出後の発音までの遅延時間を短縮することができる。

一方、演奏中にマーカー部１５がロストし、撮影画像上で認識できなくなった場合には（ステップＳ４４のＹＥＳ）、ＣＰＵ３１は、タイマーからマーカー部１５がロストしたときの時刻を取得すると共に撮影画像からロスト直前のマーカー位置を取得し、その時刻と位置のデータを関連付けてＲＡＭ３３の第１のロスト管理テーブル３３ａに記録する（ステップＳ３９）。

ここで、ロスト中にモーションセンサ部１４によってショット動作が検出された場合には（ステップＳ５０のＹＥＳ）、ＣＰＵ３１は、そのときの時刻をタイマーから取得してＲＡＭ３３の第１のロスト管理テーブル３３ａに記録しておく（ステップＳ５１）。この場合、マーカー位置によって楽器を特定することができないので、楽音は発生されない。また、一回のロスト中に複数回のショット動作が検出された場合は、それぞれのショットごとの時刻を第１のロスト管理テーブル３３ａに記録しておく。

また、マーカー部１５のロスト後、再び撮影画像上に表れて再認識可能な状態に移行すると（ステップＳ５２のＹＥＳ）、ＣＰＵ３１は、そのときの時刻をタイマーから取得すると共に撮影画像上で再認識できたときのマーカー位置を取得し、その時刻と位置のデータを関連付けてＲＡＭ３３の第１のロスト管理テーブル３３ａに記録する（ステップＳ５３）。

このような処理がリハーサル演奏中に繰り返し行われる。その間にマーカー部１５がロストした場合には、その都度、ロスト時の時刻とマーカー位置、再認識時の時刻とマーカー位置、そして、ショット動作があれば、その時刻のデータを含めてＲＡＭ３３の第１のロスト管理テーブル３３ａに記録される。

図１５に第１のロスト管理テーブル３３ａの一例を示す。
ロスト時の時刻とマーカー位置、ロスト後に再認識できたときの時刻とマーカー位置、ショット発生時の時刻がロスト時の一連のデータとして第１のロスト管理テーブル３３ａに記録される。なお、この時点では、ショット発生時のマーカー位置はまだ記録されていない。

リハーサル演奏が終了すると（ステップＳ４８のＹＥＳ）、ＣＰＵ３１は、タイマーを止めて演奏時間の計測を終了する（ステップＳ５４）。そして、ＣＰＵ３１は、以下のようなロスト発生期間のデータ処理を実行する（ステップＳ５５）。

すなわち、ＣＰＵ３１は、まず、第１のロスト管理テーブル３３ａを参照してロスト発生中のショット動作の有無を調べる。ロスト発生中にショット動作があった場合には、ＣＰＵ３１は、第１のロスト管理テーブル３３ａに記録されたロスト時の時刻とマーカー位置、再認識時の時刻とマーカー位置、ショット発生時刻を読み出し、これらのデータに基づいてショット発生時刻におけるマーカー位置を推測する。

図１５の例で説明すると、リハーサル演奏により、一方のスティック部１０Ａのマーカー部１５Ａがロストしたときの時刻ｔ_１とロスト直前のＡ点の位置（ｘ_１，ｙ_１）、ロスト後に再認識できたときの時刻ｔ_３とＢ点の位置（ｘ_３，ｙ_３）、そして、ショット発生時の時刻ｔ_２が第１のロスト管理テーブル３３ａに記録されていたとする。

ここで、スティック部１０ＡがＡ−Ｂ間を等速で直線移動したとすると（図１２参照）、その移動途中でショット動作があったＣ点とＡ点との時間間隔（ｔ_２−ｔ_１）と、Ｂ点とＣ点との時間間隔（ｔ_３−ｔ_２）との比率によりＣ点の位置（ｘ_２，ｙ_２）を求めることができる。

この場合、図１６（ａ）に示すように、例えばＣ点とＡ点との時間間隔（ｔ_２−ｔ_１）が１秒であり、Ｂ点とＣ点との時間間隔（ｔ_３−ｔ_２）も１秒であれば、両者の比率は１：１である。したがって、Ｃ点の位置（ｘ_２，ｙ_２）は、Ａ−Ｂ間の中間位置つまりＡ−Ｂ間を１：１に内分する点であるから、ｘ_２＝（ｘ_１＋ｘ_３）／２，ｙ_２＝（ｙ_１＋ｙ_３）／２で求められる。

また、図１６（ｂ）に示すように、例えばＣ点とＡとの時間間隔（ｔ_２−ｔ_１）が２秒であり、Ｂ点とＣ点との時間間隔（ｔ_３−ｔ_２）が１秒であれば、両者の比率は２：１である。したがって、Ｃ点の位置（ｘ_２，ｙ_２）は、Ａ−Ｂ間を２：１に内分する点であるから、ｘ_２＝ｘ_１／３＋２ｘ_３／３＝（ｘ_１＋２ｘ_３）／３，ｙ_２＝ｙ_１／３＋２ｙ_３／３＝（ｙ_１＋２ｙ_３）／３で求められる。

このようにしてショット発生時のＣ点の位置（ｘ_２，ｙ_２）が求められると、ＣＰＵ３１は、その位置データを時刻ｔ_２に対応付けて第１のロスト管理テーブル３３ａに記録する。そして、第１のロスト管理テーブル３３ａに記録されている全てのロスト発生期間のデータについて、同様の処理を行う。全てのロスト発生期間のデータについて処理を行ったら、ここでの処理を終える。

リハーサル演奏に続いて、第２の演奏モードとして本番演奏が開始される。本番演奏の開始は、ステップＳ４１のリハーサル演奏の開始と同様、センターユニット部３０に設けられたスイッチ３４１の操作により開始指示を行っても良い。なお、ステップＳ４１のリハーサル演奏とこの本番演奏の開始のいずれも、例えば、スティック部１０を所定の向きに振ったり、所定の形状を描かせたり、スティック部１０のスイッチを操作する等、種々の方法で開始指示を行う事が可能である。

本番演奏が開始されると（ステップＳ５６のＹＥＳ）、上記リハーサル演奏と同様に、センターユニット部３０のＣＰＵ３１は、図示せぬ内部タイマーを起動して演奏時間の計測を行い（ステップＳ５７）、このときにカメラユニット部２０によって撮影された画像からスティック部１０の先端部に設けられたマーカー部１５を検出する（ステップＳ５８）。

撮影画像上でマーカー部１５が検出されている間は（ステップＳ５９のＮＯ）、ＣＰＵ３１は、そのマーカー部１５の位置座標から楽器を特定すると共に（ステップＳ６０）、そのときにスティック部１０に設けられたモーションセンサ部１４によってショット動作を検出する（ステップＳ６１）。モーションセンサ部１４によってショット動作が検出された場合（ステップＳ６１のＹＥＳ）、ＣＰＵ３１は、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ６２）。なお、ステップＳ６０の楽器の特定は、ショットが検出されてから後に行っても良いが、あらかじめ行っておくことで、ショット検出後の処理時間を短縮でき、ショット検出後の発音までの遅延時間を短縮することができる。

ここで、演奏中にマーカー部１５がロストし、撮影画像上で認識できなくなった場合には（ステップＳ５９のＹＥＳ）、ＣＰＵ３１は、以下のようなロスト対応処理を実行する。

すなわち、ＣＰＵ３１は、タイマーからマーカー部１５がロストしたときの時刻を取得すると共に撮影画像からロスト直前のマーカー位置を取得し、ＲＡＭ３３の第１のロスト管理テーブル３３ａを参照してリハーサル演奏時に近似する時刻・マーカー位置でロストが発生していたか否かを検索する（ステップＳ６３）。

リハーサル演奏時に該当するロストがあったならば、ＣＰＵ３１は、そのロスト中にモーションセンサ部１４によってショット動作が検出されたか否かを判断する（ステップＳ６４）。ショット動作が検出された場合に（ステップＳ６４のＹＥＳ）、ＣＰＵ３１は、そのショット発生時刻が第１のロスト管理テーブル３３ａに記録されたリハーサル演奏時のショット発生時刻と近いか否かを確認する。

リハーサル演奏時のショット発生時刻と近ければ、ＣＰＵ３１は、リハーサル演奏と近接するタイミングで発生したロスト中のショット動作と判断し、第１のロスト管理テーブル３３ａから当該時刻におけるマーカー位置を読み出し、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ６５）。

例えば、本番演奏中に演奏開始から時刻ｔ_１前後にＡ点の位置（ｘ_１，ｙ_１）でロストが発生したとする。本番演奏がリハーサル演奏と同じように行われるものとすると、リハーサル演奏時でも同様のタイミングでロストが発生していたと予測される。したがって、そのロスト中に時刻ｔ_２前後にショット動作があれば、リハーサル演奏時に求めたＣ点の位置（ｘ_１，ｙ_１）がショット時のマーカー位置であると推測でき、そのマーカー位置に対応した楽器の音を発生することができる。

このように、リハーサル演奏と近接するタイミングで発生したロストか否かを確認し、リハーサル演奏時のロスト情報とショット情報を用いることで、本番演奏中にマーカーのロストが発生しても、楽音を発生させることができる。

さらに、第１のロスト管理テーブル３３ａに記録されているリハーサル演奏時のロスト情報のうち、本番演奏中のロストに近似する時刻・マーカー位置でのロスト情報を検索して用いることで、別のタイミングで発生したロスト時のデータを誤使用して別の楽音を発生してしまう誤動作を防ぐことができる。さらに一回のロスト中にショット動作が複数回発生した場合でも、本番演奏中に検出されたショット動作と近似する時刻でのショット情報を第１のロスト管理テーブル３３ａから検索して使用することで、別のタイミングで発生したショット動作のデータを誤使用して別の楽音を発生してしまう誤動作を防ぐことができる。

なお、上記ステップＳ６３において、本番演奏時に発生したロストの時刻とマーカー位置と同様のロストがリハーサル演奏時に存在しなかった場合には、そのロスト中のマーカー位置は推測できないので、音は鳴らさないものとする。

ロスト後、マーカー部１５が再認識されると（ステップＳ６６のＹＥＳ）、通常の演奏処理に戻る。また、所定の演奏時間が経過すると、ここでの一連の処理が終了する（ステップＳ６７）。

このように、演奏者が腕を交差させるなど、スティック部１０のマーカー部１５がロストしやすい演奏動作を行ったとしても、リハーサル演奏により事前にマーカー部１５がロストする位置を求めておくことにより、本番の演奏では、スティック部１０の動きに合わせて所定の楽音を発生させて演奏を続けることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
上記第１の実施形態では、ロスト中、スティックが等速で直線移動しているとの仮定の下で、ロスト前後の時刻とマーカー位置とに基づいてロスト中に演奏者がエア楽器を叩いた位置（ショット位置）を推測するものとした。しかし、演奏者がスティック部１０を比較的早い動きで連打している場合や、諸方向に動かしている場合などには、ロスト前後の時刻と位置関係からだけでは正確にショット位置を推測することは難しい。そこで、第２の実施形態では、スティック部１０が早い動きで連打する等していても、正確にショット位置を推測できるようにしたものである。

基本的な装置構成は上記第１の実施形態と同様であるため、ここではマーカーロスト時の対応方法について説明する。

図１７および図１８は演奏装置１のセンターユニット部３０の演奏処理を示すフローチャートである。なお、このフローチャートで示される処理は、センターユニット部３０のＣＰＵ３１がＲＯＭ１２に記憶されたプログラム１２ａを読み出すことにより実行される。

上記第１の実施形態と同様に、まず、第１の演奏モードとしてリハーサル演奏が開始される（ステップＳ７１のＹＥＳ）。センターユニット部３０のＣＰＵ３１は、図示せぬタイマーの起動により演奏時間の計測を行い（ステップＳ７２）、このときにカメラユニット部２０によって撮影された画像からスティック部１０の先端部に設けられたマーカー部１５を検出する（ステップＳ７３）。

撮影画像上でマーカー部１５が検出されている間は（ステップＳ７４のＮＯ）、ＣＰＵ３１は、そのマーカー部１５の位置座標から楽器を特定すると共に（ステップＳ７５）、そのときにスティック部１０に設けられたモーションセンサ部１４によってショット動作を検出する（ステップＳ７６）。モーションセンサ部１４によってショット動作が検出された場合（ステップＳ７６のＹＥＳ）、ＣＰＵ３１は、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ７７）。なお、ステップＳ７５の楽器の特定は、ショットが検出されてから後に行っても良いが、あらかじめ行っておくことで、ショット検出後の処理時間を短縮でき、ショット検出後の発音までの遅延時間を短縮することができる点も、上記第１の実施形態に記載したのと同様である。

一方、演奏中にマーカー部１５がロストし、撮影画像上で認識できなくなった場合に（ステップＳ７４のＹＥＳ）、第２の実施形態では、以下のような処理が行われる。

すなわち、ＣＰＵ３１は、タイマーからマーカー部１５がロストしたときの時刻を取得すると共に撮影画像からロスト直前のマーカー位置を取得し、その時刻と位置のデータを関連付けてＲＡＭ３３の第２のロスト管理テーブル３３ｂに記録する（ステップＳ７９）。また、ＣＰＵ３１は、ロスト中にステップＳ８０からステップＳ８３の処理をループしている間、単位時間ごとにステップＳ８０の処理が実行されて、その都度モーションセンサ部１４から得られる計測データを第２のロスト管理テーブル３３ｂに記録する（ステップＳ８０）。

ここで、ロスト中にモーションセンサ部１４によってショット動作が検出された場合には（ステップＳ８１のＹＥＳ）、ＣＰＵ３１は、そのときの時刻をタイマーから取得してＲＡＭ３３の第２のロスト管理テーブル３３ｂに記録しておく（ステップＳ８２）。この場合、マーカー位置によって楽器を特定することができないので、楽音は発生されない。また、一回のロスト中に複数回のショット動作が検出された場合は、それぞれのショットごとの時刻を第２のロスト管理テーブル３３ｂに記録しておく。

マーカー部１５のロスト後、再び撮影画像上に表れて再認識可能な状態に移行するまで上記の処理が繰り返され、その間に得られるモーションセンサ部１４の計測データが第２のロスト管理テーブル３３ｂに連続的に記録されることになる。

図１９に第２のロスト管理テーブル３３ｂの一例を示す。
ロスト時の時刻とマーカー位置、ショット発生時の時刻、そして、センサの計測データがロスト時の一連のデータとして第２のロスト管理テーブル３３ｂに記録される。この場合、モーションセンサ部１４として、例えば３軸の加速度センサを用いていたとすると、ロスト中のスティック部１０のＸ軸，Ｙ軸，Ｚ軸方向の加速度が検出され、これらの各軸方向ごとに検出された加速度の計測データが連続的に記録されることになる。なお、この時点では、ショット発生時のマーカー位置はまだ記録されていない。

リハーサル演奏が終了すると（ステップＳ７８のＹＥＳ）、ＣＰＵ３１は、タイマーを止めて演奏時間の計測を終了する（ステップＳ８４）。そして、ＣＰＵ３１は、以下のようなロスト発生期間のデータ処理を実行する（ステップＳ８５）。

すなわち、ＣＰＵ３１は、まず、第２のロスト管理テーブル３３ｂを参照してロスト発生中のショット動作の有無を調べる。ロスト発生中にショット動作があった場合には、ＣＰＵ３１は、第２のロスト管理テーブル３３ｂに記録されたロスト時の時刻とマーカー位置、ロスト中のモーションセンサ部１４の計測データ、ショット発生時刻を読み出し、これらのデータに基づいてショット発生時刻におけるマーカー位置を推測する。

図１９の例で説明すると、リハーサル演奏により、一方のスティック部１０Ａのマーカー部１５Ａがロストしたときの時刻ｔ_１とロスト直前のＡ点の位置（ｘ_１，ｙ_１）、ロスト中のモーションセンサ部１４の計測データ、そして、ショット発生時の時刻ｔ_２が第２のロスト管理テーブル３３ｂに記録されていたとする。

ここで、スティック部１０ＡがＡ−Ｂ間を移動したとすると（図１２参照）、その間にスティック部１０がどのように動いたのかは、モーションセンサ部１４の計測データから判断できる。したがって、ロスト時の時刻ｔ_１とＡ点の位置（ｘ_１，ｙ_１）を起点にして計測データに基づきマーカー部１５Ａの動きを追跡していけば、ショット動作が検出された時刻ｔ_２の時点におけるマーカー位置として、Ｃ点の位置（ｘ_２，ｙ_２）を推測することができる。

より詳しくは、例えばモーションセンサ部１４が加速度センサで構成されていた場合、ロスト時の時刻ｔ_１とＡ点の位置（ｘ_１，ｙ_１）を起点とし、その後連続的に記録されている加速度センサの計測データを積分した各単位時間における速度データを各単位時間ごとに累積（積分）していくことで、ショット動作が検出された時刻ｔ_２までのスティック部１０の移動を算出し、ショット動作が検出された時刻ｔ_２の時点におけるマーカー位置Ｃ点（ｘ_２，ｙ_２）を推測することができる。

このようにしてショット発生時のＣ点の位置（ｘ_２，ｙ_２）が求められると、ＣＰＵ３１は、その位置データを時刻ｔ_２に対応付けて第２のロスト管理テーブル３３ｂに記録する。そして、第２のロスト管理テーブル３３ｂに記録されている全てのロスト発生期間のデータについて、同様の処理を行う。全てのロスト発生期間のデータについて処理を行ったら、ここでの処理を終える。

リハーサル演奏に続いて、第２の演奏モードとして本番演奏が開始される。本番演奏ならびにリハーサル演奏の開始は、第１の実施形態と同様、センターユニット部３０に設けられたスイッチ３４１の操作により開始指示を行っても良いし、スティック部１０を所定の向きに振ったり、所定の形状を描かせたり、スティック部１０のスイッチを操作する等、種々の方法で開始指示を行う事が可能である。

本番演奏が開始されると（ステップＳ８６のＹＥＳ）、上記リハーサル演奏と同様に、センターユニット部３０のＣＰＵ３１は、図示せぬ内部タイマーを起動して演奏時間の計測を行い（ステップＳ８７）、このときにカメラユニット部２０によって撮影された画像からスティック部１０の先端部に設けられたマーカー部１５を検出する（ステップＳ８８）。

撮影画像上でマーカー部１５が検出されている間は（ステップＳ８９のＮＯ）、ＣＰＵ３１は、そのマーカー部１５の位置座標から楽器を特定すると共に（ステップＳ９０）、そのときにスティック部１０に設けられたモーションセンサ部１４によってショット動作を検出する（ステップＳ９１）。モーションセンサ部１４によってショット動作が検出された場合（ステップＳ９１のＹＥＳ）、ＣＰＵ３１は、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ９２）。なお、ステップＳ９０の楽器の特定は、ショットが検出された後に行っても、あらかじめ行っても、どちらでも良いのは上記第１の実施形態に記載したのと同様である。

ここで、演奏中にマーカー部１５がロストし、撮影画像上で認識できなくなった場合には（ステップＳ８９のＹＥＳ）、ＣＰＵ３１は、以下のようなロスト対応処理を実行する。

すなわち、ＣＰＵ３１は、タイマーからマーカー部１５がロストしたときの時刻を取得すると共に撮影画像からロスト直前のマーカー位置を取得し、ＲＡＭ３３の第１のロスト管理テーブル３３ａを参照してリハーサル演奏時に近似する時刻・マーカー位置でロストが発生していたか否かを検索する（ステップＳ９３）。

リハーサル演奏時に該当するロストがあったならば、ＣＰＵ３１は、そのロスト中にモーションセンサ部１４によってショット動作が検出されたか否かを判断する（ステップＳ９４）。ショット動作が検出された場合に（ステップＳ９４のＹＥＳ）、ＣＰＵ３１は、そのショット発生時刻が第２のロスト管理テーブル３３ｂに記録されたリハーサル演奏時のショット発生時刻と近いか否かを確認する。

リハーサル演奏時のショット発生時刻と近ければ、ＣＰＵ３１は、リハーサル演奏と近接するタイミングで発生したロスト中のショット動作と判断し、第２のロスト管理テーブル３３ｂから当該時刻におけるマーカー位置を読み出し、音源装置３６を介して当該マーカー位置に対応した楽器の音を発生する（ステップＳ９５）。

さらに、第２のロスト管理テーブル３３ｂに記録されているリハーサル演奏時のロスト情報のうち、本番演奏中のロストに近似する時刻・マーカー位置でのロスト情報を検索して用いることで、別のタイミングで発生したロスト時のデータを誤使用して別の楽音を発生してしまう誤動作を防ぐことができる。さらに一回のロスト中にショット動作が複数回発生した場合でも、本番演奏中に検出されたショット動作と近似する時刻でのショット情報を第２のロスト管理テーブル３３ｂから検索して使用することで、別のタイミングで発生したショット動作のデータを誤使用して別の楽音を発生してしまう誤動作を防ぐことができる。

なお、上記ステップＳ９３において、本番演奏時に発生したロストの時刻とマーカー位置と同様のロストがリハーサル演奏時に存在しなかった場合には、そのロスト中のマーカー位置は推測できないので、音は鳴らさないものとする。

さらに、第２の実施形態では、ロスト位置の推測にモーションセンサ部１４の計測データを用いているため、演奏者がスティック部１０を早く動かして連打していても、ロスト時の位置を推測できるといった利点がある。

また、上記第２の実施形態では、ステップＳ８５のロスト発生期間のデータ処理において、リハーサル演奏時にショットが検出されていた場合に、第２のロスト管理テーブル３３ｂに記録されたロスト時の時刻とマーカー位置、ロスト中のモーションセンサ部１４の計測データ、ショット発生時刻に基づいて、当該ショット発生時のマーカー位置Ｃ点（ｘ_２，ｙ_２）を推測したが、これに限られない。

すなわち、例えば、ショットの発生とは無関係に、マーカーがロストしていた全期間について、各単位時間毎にその時刻でのマーカー位置を推定算出し、それらを全て第２のロスト管理テーブル３３ｂに記録しておく事も可能である。

このように構成することにより、本番演奏時のマーカーロスト中に、リハーサル演奏時には検出されなかったタイミングでショットが行われた場合でも、そのショット発生時刻におけるマーカーの推定位置を第２のロスト管理テーブル３３ｂから読み出して、その位置に対応した楽器の音を発生するようにすることができる。

以上のように、本実施形態によれば、リハーサル演奏により事前にマーカーがロストする位置を求めておくことにより、本番の演奏時にマーカーがロストしても、演奏者が叩いた楽器を判断して楽音を発生することができる。

なお、上記実施形態では、スティック部１０に設けられる方向検出用のセンサとして、加速度センサを例にして説明したが、例えば角速度センサなどの他のセンサでも同様であり、撮影画像との併用により同様の効果が得られる。

また、上記実施形態では、仮想的な打楽器としてエアドラムを例にして説明したが、本発明はこれに限られるものではなく、スティック部１０の振り下ろし／振り上げ動作で楽音を発生する楽器であれば、例えば木琴などの他の楽器に適用することができる。

また、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。例えば、スティック部１０のＣＰＵ１１が行うこととしているショット検出処理（図６）などを、センターユニット部３０のＣＰＵ３１で行うこととしてもよい。

要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、上述した各実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレシキブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
上記演奏部材が存在する撮像空間を撮影する撮影手段と、
第１の演奏中に上記撮影手段によって撮影された画像から上記マーカーがロストしたことを検出するロスト検出手段と、
このロスト検出手段によって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測手段と、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御手段と
を具備したことを特徴とする演奏装置。

［２］
上記マーカーがロストしたときの時刻と位置、ロスト中に上記演奏部材が上記エア楽器を叩いたときのショット発生時刻、ロスト後に再認識できたときの時刻と位置を記録する記録手段を備え、
上記位置推測手段は、
上記記録手段に記録された上記マーカーのロスト前後の時刻と位置との関係から上記ショット発生時刻における上記マーカーの位置を推測することを特徴とする［１］記載の演奏装置。

［３］
上記演奏部材の動きを検出するセンサと、
上記マーカーがロストしたときの時刻と位置、ロスト中に上記演奏部材が上記エア楽器を叩いたときのショット発生時刻を記録すると共に、ロスト中に上記センサによって検出された上記演奏部材の動きを示す計測データを連続的に記録する記録手段とを備え、
上記位置推測手段は、
上記記録手段に記録された上記マーカーのロスト時の時刻と位置を起点にして上記センサの計測データに基づきマーカーの動きを追跡することにより、上記ショット発生時刻における上記マーカーの位置を推測することを特徴とする［１］記載の演奏装置。

［４］
上記楽音発生制御手段は、
上記第２の演奏時に上記第１の演奏時と近接するタイミングで上記マーカーのロストが発生したか否かを判断し、上記第１の演奏時と近接するタイミングで上記マーカーのロストが発生した場合に上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生することを特徴とする［１］乃至［３］のいずれかに記載の演奏装置。

［５］
コンピュータによって実行されるエア楽器の演奏方法であって、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影手段で撮影する撮影ステップと、
第１の演奏中に上記撮影手段で撮影された画像から上記マーカーがロストしたことを検出するロスト検出ステップと、
このロスト検出ステップによって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測ステップと、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測ステップによって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御ステップと
を備えたことを特徴とする演奏方法。

［６］
コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
上記コンピュータを、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影手段、
第１の演奏中に上記撮影手段によって撮影された画像から上記マーカーがロストしたことを検出するロスト検出手段、
このロスト検出手段によって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測手段、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御手段
として機能させるためのコンピュータ読み取り可能なプログラム。

１…演奏装置、１０…スティック部、１１…ＣＰＵ、１２…ＲＯＭ、１２ａ…プログラム、１２ｂ…マーカー特徴情報、１３…ＲＡＭ、１４…モーションセンサ部、１５…マーカー部、１６…データ通信部、１７…操作ボタン、１８…バイブレータ機能、２０…カメラユニット部、２０ａ…撮影レンズ、２０ｂ…撮影範囲、２１…ＣＰＵ、２２…ＲＯＭ、２２ａ…プログラム、２３…ＲＡＭ、２４…マーカー検出部、２５…データ通信部、２６，２７…ランプ、３０…センターユニット、３１…ＣＰＵ、３１ａ…ロスト検出機能、３１ｂ…位置推測機能、３１ｃ…楽音発生制御機能、３２…ＲＯＭ、３２ａ…プログラム、３２ｂ…波形テーブル、３３…ＲＡＭ、３３ａ…第１のロスト管理テーブル、３３ｂ…第２のロスト管理テーブル、３４…スイッチ操作検出回路、３４１…スイッチ、３５…表示回路、３５１…表示装置、３６…音源装置、３７…データ通信部、４０…モニタ部。

Claims

演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材と、
上記演奏部材が存在する撮像空間を撮影する撮影手段と、
第１の演奏中に上記撮影手段によって撮影された画像から上記マーカーがロストしたことを検出するロスト検出手段と、
このロスト検出手段によって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測手段と、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御手段と
を具備したことを特徴とする演奏装置。
上記マーカーがロストしたときの時刻と位置、ロスト中に上記演奏部材が上記エア楽器を叩いたときのショット発生時刻、ロスト後に再認識できたときの時刻と位置を記録する記録手段を備え、
上記位置推測手段は、
上記記録手段に記録された上記マーカーのロスト前後の時刻と位置との関係から上記ショット発生時刻における上記マーカーの位置を推測することを特徴とする請求項１記載の演奏装置。
上記演奏部材の動きを検出するセンサと、
上記マーカーがロストしたときの時刻と位置、ロスト中に上記演奏部材が上記エア楽器を叩いたときのショット発生時刻を記録すると共に、ロスト中に上記センサによって検出された上記演奏部材の動きを示す計測データを連続的に記録する記録手段とを備え、
上記位置推測手段は、
上記記録手段に記録された上記マーカーのロスト時の時刻と位置を起点にして上記センサの計測データに基づきマーカーの動きを追跡することにより、上記ショット発生時刻における上記マーカーの位置を推測することを特徴とする請求項１記載の演奏装置。
上記楽音発生制御手段は、
上記第２の演奏時に上記第１の演奏時と近接するタイミングで上記マーカーのロストが発生したか否かを判断し、上記第１の演奏時と近接するタイミングで上記マーカーのロストが発生した場合に上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生することを特徴とする請求項１乃至３のいずれかに記載の演奏装置。
コンピュータによって実行されるエア楽器の演奏方法であって、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影手段で撮影する撮影ステップと、
第１の演奏中に上記撮影手段で撮影された画像から上記マーカーがロストしたことを検出するロスト検出ステップと、
このロスト検出ステップによって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測ステップと、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測ステップによって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御ステップと
を備えたことを特徴とする演奏方法。
コンピュータによって実行されるエア楽器の演奏制御用のプログラムであって、
上記コンピュータを、
演奏者の操作に応じてエア楽器の演奏指示が発せられる、マーカーを有する演奏部材が存在する撮像空間を撮影する撮影手段、
第１の演奏中に上記撮影手段によって撮影された画像から上記マーカーがロストしたことを検出するロスト検出手段、
このロスト検出手段によって検出された上記マーカーのロスト中に上記演奏者が上記演奏部材で上記エア楽器を叩いたときの上記マーカーの位置を推測する位置推測手段、
第２の演奏時に上記マーカーがロストした場合に、上記位置推測手段によって推測された上記マーカーの位置に基づいて所定の楽音を発生する楽音発生制御手段
として機能させるためのコンピュータ読み取り可能なプログラム。