JP2013186215A - 習熟度判定装置、習熟度判定方法及びプログラム - Google Patents

Abstract

【課題】仮想の楽器演奏を行う場合に、演奏の習熟度を分かりやすく示すことのできる楽音発生装置を提供する。
【解決手段】楽音発音装置１に、演奏者が保持可能なスティック部１０と、演奏者がスティック部１０を用いて演奏操作を行う毎に、所定の楽音の発生を指示する発音制御部３１１と、演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知するカメラユニット部２０と、このカメラユニット部２０により検知された各演奏操作の状態のばらつき度合を検出するばらつき検出部３１２と、このばらつき検出部３１２による検出結果に基づいて、演奏者の演奏操作の習熟度を判定する習熟度判定部３１３と、この習熟度判定部３１３による判定結果を報知する表示装置３５１と、を備えた。
【選択図】図８

Description

本発明は、楽音発生装置に関するものである。

従来、演奏者（ユーザ）の演奏操作を検知すると、演奏操作に応じた電子音（楽音）を発音する楽音発生装置（楽器ゲーム装置）が提案されている（例えば、特許文献１参照）。また、こうした電子音を発音させる装置において、演奏者が打楽器のスティックに相当する部材（コントローラ）を手に持って振る動作を行うと、それに応じて打楽器音を発音する装置（バーチャルドラム装置）も知られている（例えば、特許文献２参照）。このような装置では、コントローラにセンサを設け、演奏者がこの部材を手で保持して振ると、センサがその動作を検知し、この検知結果に応じた打楽器音を発音させるように構成されている。
例えば打楽器等の現実の楽器は、重量も重く、設置に広いスペースを要することから、自宅等で手軽に演奏や練習を行うことが難しい。
この点、演奏者の演奏操作を検知し、これに応じた楽音を発生させて、仮想の楽器演奏を行う楽音発生装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音させることができるため、演奏場所や演奏スペースに制約を受けずに手軽に演奏を楽しむことができる。

特許３５９９１１５号公報 特許４５８６５２５号公報

しかしながら、このような仮想の楽器演奏を行う装置は、現実には何も存在しない空間で所定の演奏エリアを叩く等の演奏操作を行うことで所定の楽音を発生させるものである。このため、演奏に慣れるまでは、どこで操作を行えば所望の音を発音させることができるのか、自分が正しい演奏エリアで操作することができているのか否か等が分かりにくく、適切な演奏操作を習得することが難しいという問題がある。

本発明は以上のような事情に鑑みてなされたものであり、仮想の楽器演奏を行う場合に、演奏の習熟度を分かりやすく示すことのできる楽音発生装置を提供することを目的とするものである。

前記課題を解決するために、本発明の楽音発生装置は、
演奏者が保持可能な演奏操作子と、
演奏者が前記演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示する楽音発生指示手段と、
前記演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段と、
この検知手段により検知された各演奏操作の状態のばらつき度合を検出するばらつき検出手段と、
このばらつき検出手段による検出結果に基づいて、前記演奏者の演奏操作の習熟度を判定する習熟度判定手段と、
この習熟度判定手段による判定結果を報知する報知手段と、
を備えていることを特徴としている。

本発明によれば、仮想の楽器演奏を行う場合に、演奏者に演奏の習熟度を分かりやすく示すことができるとの効果を奏する。

（Ａ）は、本発明に係る楽音発生装置の一実施形態の概要を示す図であり、（Ｂ）は、本実施形態における仮想のドラムセットを示した図である。 図１に示すスティック部のハードウェア構成を示すブロック図である。 図１に示すスティック部の斜視図である。 図１に示すカメラユニット部のハードウェア構成を示すブロック図である。 図１に示すセンターユニット部のハードウェア構成を示すブロック図である。 モーションセンサ部の垂直方向の加速度の変化を表わした図である。 （Ａ）は、スティック部で仮想の打楽器の打面の操作目標位置を打撃した様子を示す模式図であり、（Ｂ）は、仮想の打楽器の打面をスティック部で複数回打撃した場合の操作位置を示す模式図である。 （Ａ）は、仮想の打楽器の打面をスティック部で１０回打撃した場合の操作位置を示す模式図であり、（Ｂ）は、（Ａ）に示す演奏操作が行われた場合の表示装置の習熟度表示の一例を示す平面図である。 （Ａ）から（Ｃ）は、仮想の打楽器の打面をスティック部で複数回打撃した場合の表示装置の操作位置の表示例を示す平面図である。 スティック部の処理の流れを示すフローチャートである。 カメラユニット部の処理の流れを示すフローチャートである。 センターユニット部の処理の流れを示すフローチャートである。 スティック部の表示装置に習熟度表示が行われる例を示す斜視図である。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を用いて説明する。なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

［楽音発生装置の概要］
まず、図１（Ａ）及び図１（Ｂ）を参照して、本発明に係る楽音発生装置の一実施形態の概要について説明する。
図１（Ａ）は、本実施形態に係る楽音発生装置の装置構成の概要を示す図である。
図１（Ａ）に示すように、本実施形態の楽音発生装置１は、スティック部１０Ａ、１０Ｂと、カメラユニット部２０と、センターユニット部３０と、を含んで構成されている。なお、本実施形態の楽音発生装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ａ、１０Ｂを備えることとしているが、スティック部の数はこれに限られず、１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ａ、１０Ｂを区別しない場合には、両者を総称して「スティック部１０」と称する。

スティック部１０は、長手方向に延在する棒状の部材であり、演奏者が保持可能である演奏操作子として機能する。すなわち、演奏者は、スティック部１０の一端（根元側）を手に持ち、手首等を中心とした振り上げ振り下ろし動作を行うことにより、演奏操作を行う。
このような演奏者の演奏操作を検知するため、本実施形態では、スティック部１０の他端（先端側）に、加速度センサなどの各種センサ（後述のモーションセンサ部１４、図２参照）が設けられている。
各種センサによって検知された検知結果（例えば各種センサによって取得された生データ等）が、センターユニット部３０に送信されるようになっている。
また、スティック部１０の先端側には、マーカー部１５が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を容易に判別可能であるように構成されている。

カメラユニット部２０は、スティック部１０を保持して演奏操作を行う演奏者の動画を所定のフレームレートで撮像する撮像部２４（例えば光学式のカメラ、図４参照）等を備える撮像装置であり、本実施形態において、カメラユニット部２０は、演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段として機能する。
本実施形態では、検知手段としてのカメラユニット部２０は、演奏操作子であるスティック部１０（より具体的にはスティック部１０のマーカー部１５）を被写体とする撮像画像を撮像部２４によって撮像するとともに、スティック部１０（演奏操作子）が演奏操作がなされるタイミング毎に、当該撮像画像平面上におけるスティック部１０（演奏操作子）の位置座標を検知する位置検知手段としてのカメラ制御部２１を有し、当該検知された演奏操作毎のスティック部１０（演奏操作子）の位置座標夫々を、各演奏操作の状態として検知するようになっている。

センターユニット部３０は、スティック部１０から各種センサ（後述のモーションセンサ部１４）によって検知された検知結果を受信すると、この検知結果及び当該検知結果受信時におけるマーカー部１５の位置座標データに応じて、所定の楽音を発音手段である発音部３６のスピーカ等の音声出力部３６２から発音させる。
具体的には、センターユニット部３０は、その記憶手段であるＲＯＭ（後述する）等に、カメラユニット部２０の撮像空間に対応付けて、図１（Ｂ）に示すような仮想のドラムセットＤの位置座標データを記憶している。センターユニット部３０は、当該仮想のドラムセットＤの位置座標データとモーションセンサ部１４による検知結果受信時におけるマーカー部１５の位置座標データとに基づいて、スティック部１０が打撃した楽器を特定し、当該楽器に対応する所定の楽音を発音させる。
また、本実施形態では、検知手段としてのカメラユニット部２０により検知された各演奏操作の状態のばらつき度合を検出し、この検出結果に基づいて、演奏者の演奏操作の習熟度を判定する。
以下、本実施形態に係る楽音発生装置１について具体的に説明する。

［楽音発生装置１の構成］
まず、図２から図５を参照して、本実施形態における楽音発生装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について詳細に説明する。
図２は、スティック部１０のハードウェア構成を示すブロック図であり、図３は、スティック部１０の斜視図であり、図４は、カメラユニット部２０のハードウェア構成を示すブロック図であり、図５は、センターユニット部３０のハードウェア構成を示すブロック図である。

［スティック部１０の構成］
図２に示すように、スティック部１０は、ＣＰＵ（Central Processing Unit）等で構成されるスティック制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、を含んで構成されている。また、スティック部１０は、各部に電源を供給する図示しない電源部を備えている。

ＲＯＭ１２は、スティック制御部１１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納している。
ここで、マーカー特徴情報とは、同じ撮像空間に複数のマーカー部１５が存在している場合に、各マーカー部１５（本実施形態では、スティック部１０Ａの第１マーカーとスティック部１０Ｂの第２マーカー）を区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。スティック部１０が複数ある場合には、各スティック部１０はそれぞれ異なるマーカー特徴情報を有しており、各マーカー特徴情報にしたがった発光制御が行われるようになっている。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値等、処理において取得され又は生成された値を格納する。

スティック制御部１１は、スティック部１０全体の制御を実行するものである。
例えば、モーションセンサ部１４から検知結果としてのセンサ値（以下、これを「モーションセンサデータ」と称する。）が出力されると、このモーションセンサデータを、データ通信部１６を介してセンターユニット部３０に送信する等、センターユニット部３０との間の通信制御を行う。
また、スティック制御部１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報にしたがって、マーカー部１５の発光制御を行う。前述のように、複数のスティック部１０Ａ，１０Ｂがある場合には、各スティック部１０Ａ，１０Ｂはそれぞれ異なるマーカー特徴情報にしたがった発光制御が行われる。これは、カメラユニット部２０の撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）と、スティック部１０Ｂのマーカー部１５（第２マーカー）とを区別して検出できるようにするためである。すなわち、スティック部１０が複数ある場合に、マーカー部１５が同じように発光すると、カメラユニット部２０で撮影した際に、各マーカー部１５がいずれのスティック部１０のものであるか判別できないおそれがある。このため、スティック部１０Ａのスティック制御部１１及びスティック部１０Ｂのスティック制御部１１がそれぞれ異なるマーカー特徴情報を読み出し、これにしたがってマーカー部１５の発光制御を行うことで、各マーカー部１５の発光を異ならせ、両者の区別を容易としている。
なお、スティック制御部１１によって行われる制御はこれに限定されず、例えば、センターユニット部３０からの指示又はモーションセンサ部１４による検知結果であるセンサ値（モーションセンサデータ）等に基づいて、マーカー部１５の点灯／消灯等の発光制御を行うようにしてもよい。

モーションセンサ部１４は、例えばスティック部１０の内部に設けられ、スティック部１０の状態（例えば、振り下ろし位置、振り下ろし速度、振り下ろし角度等）を検知するための各種センサであり、モーションセンサ部１４は、検知結果として所定のセンサ値（モーションセンサデータ）を出力する。モーションセンサ部１４によって検知された検知結果（モーションセンサデータ）は、データ通信部１６を介してセンターユニット部３０に送信される。
ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサ等を用いることができる。

加速度センサとしては、Ｘ軸、Ｙ軸、Ｚ軸の３つの軸方向のそれぞれに生じた加速度を出力する３軸センサを用いることができる。なお、Ｘ軸、Ｙ軸、Ｚ軸については、図３に示すように、スティック部１０の長手方向の軸と一致する軸をＹ軸とし、加速度センサが配置された基板（図示せず）と平行で、かつ、Ｙ軸と直交する軸をＸ軸とし、Ｘ軸及びＹ軸と直交する軸をＺ軸とすることができる。加速度センサは、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの成分の加速度を取得するとともに、それぞれの加速度を合成したセンサ合成値を算出することとしてもよい。
本実施形態において、楽音発生装置１を用いて演奏を行う場合、演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心としてスティック部１０の他端（先端側）を上下動させる振り上げ振り下ろし動作を行うことで、スティック部１０に対して回転運動を生じさせる。ここで、スティック部１０が静止している場合には、加速度センサは、センサ合成値として重力加速度１Ｇに相当する値を算出し、スティック部１０が回転運動をしている場合には、加速度センサは、センサ合成値として重力加速度１Ｇよりも大きな値を算出する。なお、センサ合成値は、例えば、Ｘ軸、Ｙ軸、Ｚ軸の成分の加速度のそれぞれの２乗の総和の平方根を算出することで得られる。

また、角速度センサとしては、例えば、ジャイロスコープを備えたセンサを用いることができる。本実施形態において、角速度センサは、図３に示すように、スティック部１０のＹ軸方向の回転角５０１やスティック部１０のＸ軸方向の回転角５１１を出力するようになっている。
ここで、Ｙ軸方向の回転角５０１は、演奏者がスティック部１０を持ったとき、演奏者から見た前後軸の回転角であるため、ロール角と称することができる。ロール角は、Ｘ−Ｙ平面が、どの程度Ｘ軸に対して傾けられたかを示す角度５０２に対応し、演奏者がスティック部１０を手に持って、手首を軸にして左右に回転させることにより生じる。
また、Ｘ軸方向の回転角５１１は、演奏者がスティック部１０を持ったとき、演奏者から見た左右軸の回転角であるため、ピッチ角と称することができる。ピッチ角は、Ｘ−Ｙ平面が、どの程度Ｙ軸に対して傾けられたかを示す角度５１２に対応し、演奏者がスティック部１０を手に持って、手首を上下方向に振ることにより生じる。
なお、図示は省略しているが、角速度センサは、Ｚ軸方向の回転角も併せて出力することとしてもよい。このとき、Ｚ軸方向の回転角は、基本的にはＸ軸方向の回転角５１１と同じ性質を有し、演奏者がスティック部１０を手に持って、手首を左右方向に振ることにより生じるピッチ角である。

また、磁気センサとしては、図３に示すＸ軸、Ｙ軸、Ｚ軸の３軸方向の磁気センサ値を出力可能なセンサを用いることができる。このような磁気センサからは、磁石による北（磁北）を示すベクトルが、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向のそれぞれについて出力される。出力される各軸方向の成分は、スティック部１０の姿勢（向き）によって異なるため、これらの成分から、スティック制御部１１は、スティック部１０のロール角やＸ軸方向及びＺ軸方向の回転角を算出することができる。

ここで、図６を参照しつつ、モーションセンサ部１４によって検知される検知結果（モーションセンサデータ）について説明する。なお、ここでは、上記各種センサのうち加速度センサによる検知結果を示す。
演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打つ動作と同様の動作を行う。このような（演奏）動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器の打面（演奏面）に向かって振り下ろす。そして実際には打面が存在していないため、演奏者は、スティック部１０を仮想的な楽器に打ちつける寸前に、スティック部１０の動作を止めようとする力を働かせる。
図６は、このようなスティック部１０を用いて演奏操作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図であり、スティック部１０からセンターユニット部３０に送信されるモーションセンサデータの一例を示すものである。
なお、垂直方向の加速度とは、水平面に対する垂直方向の加速度を意味し、Ｙ軸成分の加速度から分解し算出することとしてもよく、Ｚ軸方向の加速度（ロール角によってはＸ軸方向の加速度）から分解し算出することとしてもよい。また、図６において、マイナスの加速度は、スティック部１０に加わる下向き方向の加速度を示し、プラスの加速度は、スティック部１０に加わる上向き方向の加速度を示す。

スティック部１０が静止している状態（図６中ａで示される部分）であっても、スティック部１０には重力加速度が加わっているため、重力加速度に逆らう形で静止するスティック部１０のモーションセンサ部１４は、垂直下向き、つまりマイナス方向の一定の加速度を検出する。なお、スティック部１０に加わる加速度が０となるのは、スティック部１０が自由落下している状態のときである。
次に、図６中ｂで示す区間のように、スティック部１０が静止している状態において、振り上げ動作に伴い演奏者がスティック部１０を持ち上げると、重力加速度に対してより逆らう方向に動作することになるため、スティック部１０に加わる加速度はマイナス方向に増加する。その後静止させようとして持ち上げる速度を減少させると、加速度は、マイナス方向からプラスの方向に転換し、振り上げ動作が最高速に到達した時点（図６中のｐ１参照）での加速度は重力加速度のみ（すなわち、重力加速度１Ｇ）になる。

次に、図６中ｃで示す区間のように、振り上げ動作によりスティック部１０が頂点に達すると、演奏者はスティック部１０の振り下ろし動作を行う。振り下ろし動作では、スティック部１０は、重力加速度に従う方向に動作することになるため、スティック部１０に加わる加速度は、重力加速度よりもプラス方向に増加する。その後、振り下ろし動作が最高速に到達すると、スティック部１０には、再び重力加速度のみ（すなわち、重力加速度１Ｇ）が加わる状態となる（図６中のｐ２参照）。
この後、図６中ｄで示す区間のように、再びスティック部１０に対して振り上げ動作を行うと、加わる加速度はマイナス方向に増加し、振り上げ動作を静止させようとすると、加わる加速度はマイナス方向からプラス方向に転じる。
演奏操作が続いている間、演奏者によるスティック部１０の振り上げ振り下ろし動作にしたがって、図６に示したような加速度の変化が繰り返され、この加速度の変化がモーションセンサ部１４によって検知される。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた、例えば、ＬＥＤなどの発光体であり、スティック制御部１１からの制御に応じて発光及び消灯する。
具体的には、マーカー部１５は、スティック制御部１１がＲＯＭ１２から読み出したマーカー特徴情報に基づいて発光する。前述のように、スティック部１０Ａのマーカー特徴情報と、スティック部１０Ｂのマーカー特徴情報とは異なるように設定されている。このため、後述するように、カメラユニット部２０は、スティック部１０Ａのマーカー部（第１マーカー）とスティック部１０Ｂのマーカー部（第２マーカー）とを判別することができ、それぞれの位置座標を、いずれのスティック部１０のものかを区別して取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ａ及びスティック部１０Ｂとの間で無線通信を行うこととしてもよい。また、データ通信部１６による通信方式は無線通信に限定されない。例えばスティック部１０とセンターユニット部３０等とをケーブルにより接続し、データ通信部１６により有線通信を行う構成としてもよい。

［カメラユニット部２０の構成］
次に、図４を参照して、カメラユニット部２０の構成について説明する。
カメラユニット部２０は、ＣＰＵ等で構成されるカメラ制御部２１と、ＲＯＭ２２と、ＲＡＭ２３と、撮像部２４と、データ通信部２５と、を含んで構成される。また、カメラユニット部２０は、各部に電源を供給する図示しない電源部を備えている。

ＲＯＭ２２は、カメラ制御部２１の実行する各種処理の処理プログラムを格納している。
ＲＡＭ２３は、撮像部２４により得られたマーカー部１５の位置を示すデータ（演奏操作を行う演奏者の画像等）、この位置を示すデータから算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ等、処理において取得され又は生成された値を格納する。
また、ＲＡＭ２３は、センターユニット部３０から送信されるマーカー検出条件情報を格納する。マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを区別して検出するための条件であり、センターユニット部３０の本体制御部３１によりマーカー特徴情報から生成されるものである。

カメラ制御部２１は、カメラユニット部２０全体の制御を実行するものである。
本実施形態では、カメラ制御部２１は、例えば、撮像部２４により得られたマーカー部１５の位置を示すデータ（すなわち、スティック部１０を持って演奏操作を行う演奏者の画像等、少なくともマーカー部１５を含むスティック部１０周辺を撮像した画像のデータ）及びマーカー検出条件情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出するマーカー位置検出処理を行う。
すなわち、カメラ制御部２１は、スティック部１０（演奏操作子）が演奏操作がなされるタイミング毎に、撮像部２４によって得られた画像からスティック部１０のマーカー部１５を検出して、当該撮像画像平面上における前記演奏操作子の位置座標（撮像空間内におけるスティック部１０のマーカー部１５の位置座標）を検知する位置検知手段として機能し、撮影部２４とともに検知手段を構成する。また、複数のスティック部１０Ａ，１０Ｂのマーカー部１５が検出された場合には、カメラ制御部２１は、ＲＡＭ２３からマーカー検出条件情報を読み出して、各マーカー部１５がスティック部１０Ａのマーカー部１５（第１マーカー）であるか、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかを判別する。そして、当該検知された演奏操作毎のスティック部１０（演奏操作子）の位置座標夫々を、各演奏操作の状態として検知する。
また、カメラ制御部２１は、算出されたスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（すなわち、第１マーカー及び第２マーカーの判別結果を伴う各マーカー部１５の位置座標のデータ。以下、これを「マーカー検出位置情報」という。）を、データ通信部２５を介してセンターユニット部３０に送信する通信制御を行う。

撮像部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏操作を行う演奏者の動画等、少なくともマーカー部１５を含むスティック部１０（演奏操作子）を被写体とする撮像画像を所定のフレームレートで撮像する。
本実施形態において、撮像部２４は、演奏者の演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段を構成する。
ここで、撮像部２４によって検知される演奏者の演奏操作に基づく演奏操作子の状態とは、スティック部１０（演奏操作子）の演奏操作時における操作位置である。
スティック部１０（演奏操作子）の演奏操作時における操作位置とは、演奏操作時において仮想の楽器の演奏面（例えばドラムであればスティック部１０による打撃の対象である打面）としてスティック部１０が振り下ろされた位置であり、後述するショットタイミングにおけるスティック部１０の先端部のマーカー部１５の位置である。

撮像部２４により撮像されたフレームごとの撮像データはカメラ制御部２１に出力される。なお、カメラユニット部２０は、撮像空間内におけるスティック部１０のマーカー部１５の位置座標を特定することとしているが、マーカー部１５の位置座標の特定（すなわち、マーカー位置検出処理、図１５参照）については、撮像部２４で行うこととしてもよいし、カメラ制御部２１が行うこととしてもよい。同様に、撮像した画像内のマーカー部１５がいずれのスティック部１０Ａ，１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）であるかの判別についても、撮像部２４において行ってもよいし、カメラ制御部２１において行うこととしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。本実施形態では、データ通信部２５は、センターユニット部３０からマーカー検出条件情報を受信する。また、データ通信部２５は、マーカー検出位置情報をセンターユニット部３０に送信する。
なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。また、データ通信部２５による通信方式は無線通信に限定されない。例えばカメラユニット部２０とセンターユニット部３０等とをケーブルにより接続し、データ通信部２５により有線通信を行う構成としてもよい。

［センターユニット部３０の構成］
次に、図５を参照して、センターユニット部３０の構成について説明する。
センターユニット部３０は、ＣＰＵ等で構成される本体制御部３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、発音部３６と、データ通信部３７と、を含んで構成される。また、センターユニット部３０は、各部に電源を供給する図示しない電源部を備えている。

ＲＯＭ３２は、本体制御部３１の実行する各種処理の処理プログラムを格納している。
また、ＲＯＭ３２は、種々の音色の波形データ（すなわち各楽器の音源データ）、例えば、バスドラム、ハイハット、スネア、シンバル、タムなど本実施形態において想定される仮想のドラムセットＤ（図１（Ｂ）参照）を構成する打楽器の波形データを、各楽器の空間上の演奏エリア５（図２等参照）の位置座標等と対応付けて格納している。なお、ＲＯＭ３２に格納されている音色の波形データは、これら打楽器に限定されず、例えばフルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器の音色の波形データがＲＯＭ３２に格納されていてもよい。

ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態に関する情報、すなわち、スティック部１０のモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）等や、検知手段であるカメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標のデータ（第１マーカー検出位置情報及び第２マーカー検出位置情報）等を格納する。
また、ＲＡＭ３３は、スティック部１０Ａ，１０Ｂから送信されたスティック部１０Ａのマーカー部１５（第１マーカー）、スティック部１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれのマーカー特徴情報を格納している。

本体制御部３１は、センターユニット部３０全体の制御を実行するものである。
本実施形態では、本体制御部３１は、機能的に見た場合、発音制御部３１１、ばらつき検出部３１２、習熟度判定部３１３等を備えている。これら発音制御部３１１、ばらつき検出部３１２、習熟度判定部３１３等としての機能は、ＣＰＵとＲＯＭ３２等に記憶されたプログラムとの共働によって実現される。

発音制御部３１１は、演奏者によりスティック部１０（演奏操作子）を用いて演奏操作がなされる毎に、所定の楽音の発生を指示する楽音発生指示手段である。発音制御部３１１は、演奏操作子であるスティック部１０の演奏操作時における操作位置が所定の演奏エリア５内である場合に、所定の楽音を発音する発音手段である発音部３６に対して発音指示を与える。
すなわち、発音制御部３１１は、検知手段であるモーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）及びカメラユニット部２０から送られるマーカー検出位置情報に対応して、発音手段である発音部３６に対して所定の楽音を発音するように発音指示の信号（ノートオンイベント）を与える。ここで、ノートオンイベント（発音指示信号）には、ショットタイミング（発音タイミング）、音量、音色（すなわち楽器の種類）等の情報が含まれる。

具体的には、まず、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）が各スティック部１０（演奏操作子）から送信されると、発音制御部３１１は、これに基づいて、演奏者が持っているスティック部１０の向きや角度等の状態（演奏者の演奏状態と換言することもできる）を検知する。また、発音制御部３１１は、加速度センサが出力する加速度（又はセンサ合成値）に基づいて、スティック部１０による仮想的な楽器の打撃タイミング（ショットタイミング）を検知する。

ここで、図６を参照しつつ、発音制御部３１１によるショットタイミングの検出について説明する。
前述のように、図６は、スティック部１０を用いて演奏操作を行った場合のモーションセンサ部１４の垂直方向の加速度の変化を表わした図である。
演奏者は、仮想的な楽器にスティック部１０を打ちつけた瞬間に楽音が発生することを想定しているため、楽音発生装置１においても、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の打面にスティック部を打ちつける瞬間又はそのわずかに手前で楽音を発音させることとしている。

すなわち、本実施形態においては、センターユニット部３０の発音制御部３１１は、演奏者が仮想的な楽器の打面にスティック部１０を打ちつける瞬間として、振り下ろし動作が行われた後、振り上げ動作が開始された瞬間を検出する。つまり、発音制御部３１１は、図６中ｄで示す区間において、静止状態から、言い換えれば加わる加速度が重力加速度のみとなる時点（図６中のｐ２参照）から、さらにマイナス方向に所定値だけ増加したＡ点を、ショットタイミング（発音タイミング）として検出する。
そして、発音制御部３１１は、このショットタイミングが検出されたときに発音を行うようにノートオンイベント（発音指示信号）を生成する。

また、発音制御部３１１は、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（モーションセンサデータ）に基づいて、演奏者によるスティック部１０の振り下ろし動作の速さや強さ、スティック部１０を振り下ろした位置や角度等を検知する。また、本実施形態では、発音制御部３１１は、発音部３６に対する発音制御を行うにあたって、モーションセンサ部１４によって検知されたスティック部１０（演奏操作子）の動きに関する検知結果（センサ値）のみでなく、カメラユニット部２０から受信したスティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）それぞれのマーカー検出位置情報も加味する。
そして、発音制御部３１１は、こうした演奏者の演奏操作に応じたノートオンイベントを生成する。すなわち、モーションセンサデータ及びマーカー検出位置情報に基づいて、どの楽器が、どの程度の速さ、強さで、どのタイミングで叩かれたか等を判断し、この判断結果に合致する楽器種類（音色）に対応する波形データをＲＯＭ３３から読み出すとともに、この所定の楽音を、叩かれた速さや強さに対応する音量で、所定のショットタイミングで発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。

ばらつき検出部３１２は、カメラユニット部２０の撮像部２４により検知されたスティック部１０（演奏操作子）の状態に基づいて、演奏操作のばらつき度合を検出するばらつき検出手段である。
本実施形態の楽音発生装置１は、通常の演奏モードの他に演奏者の習熟度を判定する習熟度判定モードを選択可能となっており、この習熟度判定モードが選択されたときには、ばらつき検出部３１２は、カメラユニット部２０から受信した第１マーカー及び第１マーカーのマーカー検出位置情報によって表されるスティック部１０（演奏操作子）の状態に基づいて、演奏操作のばらつき度合を検出する。
本実施形態において、ばらつき検出部３１２は、スティック部１０（演奏操作子）の演奏操作時における操作位置が、所定の演奏エリア５内に設定されている操作目標位置からどの程度ずれているかのずれ量のばらつきを、演奏操作のばらつき度合として検出するようになっている。
ここで、操作目標位置とは、例えば図７（Ａ）等に示すように所定の演奏エリア５の中心点ｃｐである。
また、スティック部１０（演奏操作子）の演奏操作時における操作位置とは、前述のように、例えばカメラユニット部２０から受信した第１マーカー及び第１マーカーのマーカー検出位置情報により特定されるショットタイミングにおけるスティック部１０（演奏操作子）の先端部の位置であり、図７（Ｂ）等において操作位置ｓｐとして示す。
操作位置が操作目標位置からどの程度ずれているかのずれ量は、例えば操作目標位置である演奏エリア５の中心点ｃｐから操作位置ｓｐまでの直線距離である。
ばらつき検出部３１２は、検知手段による検知結果から、各ショットについて、その操作位置ｓｐが操作目標位置である演奏エリア５の中心点ｃｐからどの程度ずれているかをそれぞれ検出し、ＲＡＭ３３等に記憶させる。ずれ量の検出は、例えば中心点ｃｐの位置座標と操作位置ｓｐの位置座標とを比較することによって行われる。

習熟度判定部３１３は、ばらつき検出手段であるばらつき検出部３１２による検出結果に基づいて、演奏者の演奏操作の習熟度を判定する習熟度判定手段である。
習熟度判定部３１３は、例えば１０回等、所定回数のショットについて、ばらつき検出部３１２により検出された各ショットの中心点ｃｐからのずれ量を合計し、この合計値が所定の閾値を超えるか否かを判断する。閾値は例えば４つ用意され、習熟度判定部３１３は、第１の閾値以下なら最も習熟度の高いレベル５、第１の閾値を超えて第２の閾値以下ならレベル４、第２の閾値を超えて第３の閾値以下ならレベル３、第３の閾値を超えて第４の閾値以下ならレベル２、第４の閾値を超えたら最も習熟度の低いレベル１と判断する。
なお、閾値の数や判定される習熟度のレベル数は、ここに例示したものに限定されない。例えば閾値を１つ設けて、ずれ量の合計値がこの閾値以下なら習熟度が高く、所定の閾値を超えたら習熟度が低いと判断してもよい。
また、習熟度判定部３１３による演奏操作の習熟度を判定する手法はこれに限定されない。例えば、ばらつき検出部３１２により検出された各ショットの中心点ｃｐからのずれ量の平均値を算出し、これが所定の閾値を超えるか否か等により習熟度の判定を行ってもよい。

また、本体制御部３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を行う。
本実施形態では、本体制御部３１は、データ通信部３７を介して、スティック部１０からモーションセンサデータを受信するとともに、カメラユニット部２０から第１マーカー及び第１マーカーのマーカー検出位置情報を受信する。
また、本体制御部３１は、マーカー特徴情報に基づいてマーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に対して、マーカー検出条件情報を送信する。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、表示装置３５１の表示の切り替えなどが含まれる。また、本実施形態では、前述のように、通常の演奏モードの他に習熟度判定モードを選択可能となっており、スイッチ３４１からは、モード切り替えの指示を入力することができる。スイッチ３４１を介してモード切り替えの入力情報が入力されると、スイッチ操作検出回路３４はこの入力情報を受け付けて、本体制御部３１において入力情報にしたがったモードの切り替えが行われる。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を行う。
表示装置３５１は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）等で構成された表示手段である。
本実施形態において、表示装置３５１には、習熟度判定部３１３による判定結果等が表示されるようになっており、表示装置３５１は、習熟度判定手段による判定結果を報知する報知手段として機能する。
例えば、演奏者により１０回の演奏操作（ショット）が行われ、演奏者の各ショットの操作位置ｓｐが仮想の演奏エリア５との位置関係上、図８（Ａ）に示すように位置する場合、習熟度判定部３１３がこれをレベル３と判定したときは、図８（Ｂ）のように表示装置３５１に５段階中３段階目までランプが点灯したインジケータ画面が表示される。なお、判定結果の表示のさせ方はこれに限定されない。例えば、「あなたは習熟度３です」等の文字を表示装置３５１に表示させてもよい。

また、習熟度判定モードが選択されたときは、演奏者による各演奏操作（各ショット）における操作位置ｓｐを随時表示装置３５１に表示させてもよい。
例えば、図９（Ａ）に示すように、演奏エリア５（打撃エリア）に操作目標位置である演奏エリア５の中心点ｃｐを中心とした同心円を描いた画像に、マーカー検出位置情報により特定される各演奏操作における操作位置ｓｐを重畳して平面座標として表示装置３５１に表示させてもよい。
また、図９（Ｂ）に示すように、演奏エリア５（打撃エリア）を、その中心点ｃｐを中心としたドーナツ状に立体的に表現した画像に、マーカー検出位置情報により特定される各演奏操作における操作位置ｓｐを重畳して表示装置３５１に表示させてもよい。
また、図９（Ｃ）に示すように、仮想のドラムセットＤを上方向から平面的に見た画像を表示装置３５１に表示させ、演奏者による演奏操作が行われると、当該演奏操作に対応する楽器（例えばフロアタム）の演奏エリア５（打撃エリア）の色が変化したり、当該仮想のドラムセットＤの画像に、マーカー検出位置情報により特定される各演奏操作における操作位置ｓｐを重畳させた画像等を表示装置３５１に表示させてもよい。

発音部３６は、所定の楽音を発音する発音手段であり、楽音データ生成部３６１と、音声出力部３６２とを含んでいる。
楽音データ生成部３６１は、発音制御部３１１からの発音指示にしたがって、ＲＯＭ３２から波形データを読み出し、楽音データを生成するとともに、生成した楽音データをアナログ信号に変換する機能部である。
音声出力部３６２は、例えばスピーカ等であり、楽音データ生成部３６１において生成された楽音データに基づく楽音を発音させるものである。なお、音声出力部３６２は、スピーカに限定されず、ヘッドホン等に音声を出力させる出力端子等であってもよい。

［楽音発生装置１の処理］
次に、図１０から図１２を参照して、楽音発生装置１の処理について説明する。
図１０は、スティック部１０の処理を示すフローチャートであり、図１１は、カメラユニット部２０の処理を示すフローチャートであり、図１２は、センターユニット部３０の処理を示すフローチャートである。

［スティック部１０の処理］
図１０に示すように、スティック部１０のスティック制御部１１は、ＲＯＭ１２に格納されているマーカー特徴情報を読み出す（ステップＳ１）。この処理では、スティック部１０Ａ，１０Ｂのスティック制御部１１は、それぞれ異なるマーカー特徴情報を読み出す。異なるマーカー特徴情報の読み出しは、任意の方法で行うことができ、例えば、スティック部１０Ａ、１０Ｂが直接又はセンターユニット部３０を介して通信することで行うこととしてもよく、また、個々のスティック部１０毎に予め１のマーカー特徴情報を対応付けておき、スティック部１０Ａ、１０Ｂのスティック制御部１１は、それぞれ対応付けられた独自のマーカー特徴情報を読み出すこととしてもよい。

スティック制御部１１は、マーカー特徴情報を読み出すと、当該マーカー特徴情報をＲＡＭ１３に格納するとともに、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ２）。このとき、スティック制御部１１は、スティック部１０Ａ、１０Ｂをそれぞれ区別可能な識別情報（スティック識別情報）と対応付けて、マーカー特徴情報をセンターユニット部３０に送信する。
また、スティック制御部１１は、マーカー特徴情報にしたがってマーカー部１５を点灯させる（ステップＳ３）。

続いて、スティック制御部１１は、モーションセンサ部１４からモーションセンサデータ、すなわち、各種センサが出力するセンサ値（検知結果）を読み出して、ＲＡＭ１３に格納する（ステップＳ４）。その後、スティック制御部１１は、読み出したモーションセンサデータをスティック識別情報と対応付けて、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ５）。
スティック制御部１１は、一連の演奏動作が終了したか否かを判断し（ステップＳ６）、演奏動作が終了したと判断する場合（ステップＳ６；ＹＥＳ）には、マーカー部１５を消灯させる（ステップＳ７）。なお、スティック制御部１１が演奏動作終了と判断するのは、例えばモーションセンサ部１４が出力するセンサ値に一定以上の変化があるか否かや、スティック部のスイッチ（図示せず）がＯＦＦとされた場合、センターユニット部３０から演奏終了の信号が送信された場合等である。他方、スティック制御部１１が、演奏動作が終了していないと判断する場合（ステップＳ６；ＮＯ）には、ステップＳ４に戻って処理を繰り返す。

［カメラユニット部２０の処理］
図１１に示すように、カメラユニット部２０のカメラ制御部２１は、センターユニット部３０から送信されるマーカー検出条件情報を取得して、ＲＡＭ２３に格納する。（ステップＳ１１）。なお、マーカー検出条件情報とは、スティック部１０Ａ，１０Ｂのマーカー部１５のそれぞれを検出するための条件であり、マーカー特徴情報から生成される（図１２のステップＳ２２，ステップＳ２３参照）。マーカー特徴情報としては、上述のように、例えば、マーカーの形状、大きさ、色相、彩度、あるいは輝度を用いることができる。
続いて、カメラ制御部２１は、マーカー検出条件情報に基づいて、撮像部２４の各種設定を行う（ステップＳ１２）。

続いて、カメラ制御部２１は、撮像部２４のカメラによってスティック部１０のマーカー部１５等を含む画像を撮像させて、第１マーカー位置検出処理（ステップＳ１３）及び第２マーカー位置検出処理（ステップＳ１４）を行う。これらの処理では、カメラ制御部２１は、撮像部２４によって撮像された画像から、スティック部１０Ａのマーカー部１５（第１マーカー）及びスティック部１０Ｂのマーカー部１５（第２マーカー）それぞれの位置座標、サイズ、角度等のマーカー検出位置情報（本実施形態における演奏操作子の演奏操作時における操作位置の情報）を取得し、ＲＡＭ２３に格納する。

続いて、カメラ制御部２１は、ステップＳ１３及びステップＳ１４で取得したマーカー検出位置情報を、データ通信部２５を介してセンターユニット部３０に送信する（ステップＳ１５）。
カメラ制御部２１は、一連の演奏動作が終了したか否かを判断し（ステップＳ１６）、演奏動作が終了したと判断する場合（ステップＳ１６；ＹＥＳ）には、処理を終了し、演奏動作が終了していないと判断する場合（ステップＳ１６；ＮＯ）には、ステップＳ１３に戻って処理を繰り返す。

［センターユニット部３０の処理］
図１２に示すように、まず、スイッチ３４１からの入力操作によって通常の演奏モード又は習熟度判定モードが設定される。なお、モード設定はスイッチ３４１からの入力で行われる場合に限定されない。また、モード設定について何も入力がない場合には通常の演奏モードとし、習熟度判定モードとする場合のみその旨の入力操作が行われるようにしてもよい。
センターユニット部３０の本体制御部３１は、マーカー特徴情報をスティック部１０から受信し、ＲＡＭ３３に格納する（ステップＳ２２）。続いて、本体制御部３１は、マーカー特徴情報及びスイッチ３４１を介して設定された検出条件から、マーカー検出条件情報を生成し、データ通信部３７を介して、カメラユニット部２０に送信する（ステップＳ２３）。

続いて、本体制御部３１は、カメラユニット部２０から、第１マーカー及び第２マーカーそれぞれのマーカー検出位置情報を受信し、ＲＡＭ３３に格納する（ステップＳ２４）。また、本体制御部３１は、スティック部１０Ａ、１０Ｂのそれぞれから、スティック識別情報と対応付けられた姿勢情報、ショット情報及びアクション情報等のモーションセンサデータを受信し、ＲＡＭ３３に格納する（ステップＳ２５）。

続いて、発音制御部３１１は、受信したモーションセンサデータに基づいて、ショットタイミングを検出する（ステップＳ２６）。すなわち、例えば図６に示すようなモーションセンサデータである場合、図６に示すＡ点、すなわち、演奏操作子であるスティック部１０を一旦振り上げた後に振り下ろす動作がある場合、当該振り下ろし動作が行われた後、振り上げ動作が開始された瞬間の時点をショットタイミング（発音タイミング）として検出する。そして、ショットタイミングが検出されると、発音制御部３１１は、モーションセンサデータやマーカー検出位置情報に基づいて、当該ショットの操作位置ｓｐ（すなわち、ショット時におけるマーカー部１５の位置）が所定の演奏エリア５（打撃エリア）内か否かを判断する（ステップＳ２７）。当該ショットの操作位置ｓｐが所定の演奏エリア５であると判断した場合（ステップＳ２７；ＹＥＳ）には、発音制御部３１１は、当該ショットタイミングで演奏エリア５に対応する楽器の楽音を発音させるように発音指示信号（ノートオンイベント）を発音部３６に出力する。これにより、スピーカ等の音声出力部３６２から所定の楽音が発音される（ステップＳ２８）。他方当該ショットの操作位置ｓｐが所定の演奏エリア５でないと判断した場合（ステップＳ２７；ＮＯ）には、発音指示を行わずに次の処理に進む。

本体制御部３１は、モード設定として習熟度判定モードが設定されているか否かを判断し（ステップＳ２９）、習熟度判定モードが設定されていると判断した場合（ステップＳ２９；ＹＥＳ）には、当該ショットにおけるマーカー検出位置情報（すなわち、スティック部１０の操作位置の座標）をＲＡＭ３３等に記憶させる（ステップＳ３０）。そして、本体制御部３１は、ＲＡＭ３３等に記憶されているマーカー検出位置情報が所定数（例えば１０回）あるか否か、すなわち、習熟度判定モードになってから所定数のショットが行われ所定数の操作位置ｓｐが記憶されたか否か、を判断する（ステップＳ３１）。所定数のマーカー検出位置情報（操作位置ｓｐ）が記憶されていない場合（ステップＳ３１；ＮＯ）には、本体制御部３１は、ステップＳ２４に戻って処理を繰り返す。

他方、所定数（例えば１０回）のマーカー検出位置情報（操作位置ｓｐ）が記憶されている場合（ステップＳ３１；ＹＥＳ）には、習熟度判定処理に移行する（ステップＳ３２）。
具体的には、まず、ばらつき検出手段であるばらつき検出部３１２によって各ショットにおける操作位置ｓｐの中心点ｃｐからのずれ量が検出される。そして、習熟度判定部３１３は、このばらつき検出部３１２により検出されたずれ量を合計し、この合計値が所定の閾値を超えるか否かを判断する。閾値は例えば４つ用意され、習熟度判定部３１３は、第１の閾値以下なら最も習熟度の高いレベル５、第１の閾値を超えて第２の閾値以下ならレベル４、第２の閾値を超えて第３の閾値以下ならレベル３、第３の閾値を超えて第４の閾値以下ならレベル２、第４の閾値を超えたら最も習熟度の低いレベル１と判断する。
習熟度判定部３１３により演奏者の習熟度が判定されると、この判定結果に基づく報知画面が表示装置３５１に表示され、判定結果が演奏者に報知される（ステップＳ３３）。
習熟度判定部３１３により所定回数分（例えば１０回分）のショットについて習熟度の判定が行われると、判定に用いられた操作位置ｓｐの位置座標のデータ（すなわちマーカー検出位置情報）がＲＡＭ３３から消去される（ステップＳ３４）。

習熟度判定モードでない場合（すなわち、通常の演奏モードである場合、ステップＳ２９；ＮＯ）及び習熟度判定モードにおいて習熟度判定処理が終了し、判定処理に用いられたマーカー検出位置情報の消去が完了した場合（ステップＳ３４）には、本体制御部３１は、常に演奏動作が終了したか否かを判断し（ステップＳ３５）、演奏動作が終了したと判断した場合（ステップＳ３５；ＹＥＳ）には、楽音発生処理を終了する。また、演奏動作が終了していないと判断した場合（ステップＳ３５；ＮＯ）には、ステップＳ２４に戻って処理を繰り返す。

以上のように、本実施形態の楽音発生装置１によれば、演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態を検知する検知手段である撮像部２４により検知されたスティック部１０（演奏操作子）の状態に基づいて、演奏操作のばらつき度合を検出し、検出された演奏操作のばらつき度合に基づいて、演奏者の演奏操作の習熟度を判定する。これにより、現実には何も存在しない空間を叩くことで演奏を行う仮想の楽器演奏を行う装置において、演奏に慣れていない初心者であっても自分の演奏操作がどの程度理想の演奏に近づいているか、その習熟度を客観的に知ることができ、適切な演奏操作の習得を補助することができる。
また、習熟度の判定結果は表示装置３５１への表示等により演奏者に報知されるため、演奏者は簡易に自らの習熟度を確認することができる。
また、本実施形態では、検知手段は、演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態としてスティック部１０の演奏操作時における操作位置ｓｐを検出するものであり、ばらつき検出部３１２は、この演奏操作時における操作位置ｓｐ所定の演奏エリア５内に設定されている操作目標位置（中心点ｃｐ）からどの程度ずれているかのずれ量のばらつきを、演奏操作のばらつき度合として検出する。このため、演奏者は判定結果をみれば自分が適切な位置を叩いているか否かを容易に知ることができ、操作位置ｓｐをどの程度修正すればよいか等、自らの習熟度を上げるためにどうすべきかを知ることができる。
また、本実施形態では、習熟度判定モードのみでなく、通常の演奏を行うモードも備え、スティック部１０（演奏操作子）の演奏操作時における操作位置ｓｐが所定の演奏エリア５内である場合には、発音部３６のスピーカ等から演奏操作に対応した所定の楽音が発音される。このため、通常の楽器としても楽しむことができる。

なお、本実施形態では、撮像部２４、カメラ制御部２１等で構成されるカメラユニット部２０が演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知手段として機能する場合を例としたが、検知手段はカメラユニット部２０に限定されない。
例えば、スティック部１０の各種センサ（モーションセンサ部１４）が、カメラユニット部２０に代わって、又はカメラユニット部２０とともに、演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知手段として機能してもよい。この場合には、例えば、磁気センサ等のモーションセンサ部１４は、スティック部１０の先端が向いている方向や角度等から、演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態としてスティック部１０の演奏操作時における操作位置を検知する。
撮像部２４に代わってスティック部１０の各種センサ（モーションセンサ部１４）が検知手段として機能する場合には、楽音発生装置１が撮像部２４を含むカメラユニット部２０を備えない構成とすることも可能である。

また、本実施形態では、操作目標位置を演奏エリア５の中心点ｃｐとしたが、操作目標位置は演奏エリア５の中心点ｃｐに限定されない。例えば、中心点ｃｐを含む一定の領域（実際の楽器であれば適切に音が発音される領域）を操作目標位置としてもよい。この場合には、例えばばらつき検出部３１２は、各操作位置が操作目標位置とされた領域内か否かを検出し、操作目標位置から外れたショットの数をＲＡＭ３３等に記憶させておく。そして、習熟度判定部３１３は、例えば、ばらつき検出部３１２によって検出された操作目標位置から外れたショット数が所定の閾値以上である場合に習熟度が低いと判定する等、に基づいて、ばらつき検出部３１２による検出結果に基づいて演奏の習熟度を判定する。

また、本実施形態では、操作目標位置を演奏エリア５の中心点ｃｐとしたが、例えば習熟度判定のレベルを複数段階設けて、初級レベルでの判定では中心点ｃｐを含む一定の領域（実際の楽器であれば適切に音が発音される領域）を操作目標位置とし、上級レベルの判定では中心点ｃｐのみを操作目標位置としてより厳しい基準で習熟度の判定を行う等してもよい。

また、本実施形態では、１つの演奏エリア５について１つの操作目標位置（例えば中心点ｃｐ）がある場合を例としたが、１つの演奏エリア５について２以上の操作目標位置を設定して、それぞれについて習熟度の判定を行うことができるようにしてもよい。
実際の楽器であれば、同じ打面でも中心部を叩くのと周縁部を叩くのとでは音が異なり、上級者では、この叩く位置による音の違いまで意識して演奏操作を行う。この点、１つの演奏エリア５に複数の操作目標位置を設定し、それぞれについて習熟度の判定を行うこととすれば、このような実際の楽器に近い演奏の習熟度を判定することも可能となる。

［第２の実施形態］
次に、本発明に係る楽音発生装置の第２の実施形態について説明する。なお、本実施形態は、習熟度判定処理の手法が第１の実施形態と異なるものであるため、以下においては、特に第１の実施形態と異なる点について説明する。

本実施形態における楽音発生装置は、第１の実施形態と同様に、スティック部１０、カメラユニット部２０、センターユニット部３０を備えている。
本実施形態において、演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段は、スティック部１０に設けられているモーションセンサ部１４であり、この検知手段としてのモーションセンサ部１４は、スティック部１０（演奏操作子）内に設けられ、かつ演奏者の演奏操作がなされる毎にスティック部１０（演奏操作子）本体に加えられる移動速度を検知する移動速度検知手段を有し、当該検知された演奏操作毎の移動速度夫々を、各演奏操作の状態として検知する。
スティック部１０の演奏操作毎の移動速度とは、例えばスティック部１０の振り下ろし動作毎のスティック部１０の移動速度であり、例えば加速度センサによって検知される加速度等から検出することができる。

また、本実施形態において、ばらつき検出手段としてのばらつき検出部は、モーションセンサ部１４（加速度センサ）等の検知手段によって検知されたスティック部１０の各演奏操作の状態のばらつき度合を検出するものである。
具体的には、ばらつき検出部は、加速度センサによって検知される加速度等、演奏操作時のスティック部１０の移動状態を示す計測データが所定の値の範囲内にあるか否かを判断し、所定の値の範囲内にある計測データがいくつあるかを演奏操作のばらつき度合いとして検出する。ここで所定の値の範囲とは、当該範囲内にあれば、ほぼ同じ演奏操作を行ったとみなすことができるような範囲であり、具体的な値は適宜設定される。
なお、ばらつき検出部におけるばらつき度合いの検出手法はこれに限定されない。例えば、予め所定の値を定めるのではなく、１０回等の所定の回数演奏操作を行った場合に、当該１０回の演奏操作における加速度等の計測データ同士を比較して、各計測データのずれ幅を検出してもよい。

習熟度判定手段としての習熟度判定部は、ばらつき検出部によって検出された検出結果（演奏操作時のスティック部１０の移動状態を示す計測データのばらつき度合い）に基づいて、演奏者の演奏操作の習熟度を判定するものである。
演奏者の演奏の習熟度が高い場合には、同じ楽器を演奏する際、演奏操作時のフォームや力加減等が一定であり、加速度センサによって検知される加速度等、演奏操作時のスティック部１０の移動状態を示す計測データは一定レベルの値に揃う傾向にある。このため、複数回演奏操作を行った場合に、その移動速度に対応する計測データ（例えば加速度センサの計測値）がどの程度揃っているかを見ることにより、当該演奏者の演奏操作の習熟度を判定することができる。
具体的には、習熟度判定部は、例えば、ばらつき検出部によって検出された所定の値の範囲内にある計測データの数が所定の閾値を超えるか否かによって演奏操作の習熟度を判定する。第１の実施形態で示したように、閾値は１つでもよいし、複数でもよい。複数の閾値が設けられている場合には、習熟度判定部は、例えば、所定の値の範囲内にある計測データの数が７回以上であれば上級レベル、４回以上７回未満であれば中級レベル、４回未満であれば初級レベルというように、習熟度のレベルを複数段階に分けて、演奏者の演奏操作がいずれに当たるかを判定する。

なお、その他の構成は、第１の実施形態と同様であることから、同一部材には同一の符号を付して、その説明を省略する。

次に、本実施形態における楽音発生装置１の作用について説明する。
なお、本実施形態では、習熟度判定に関する処理（図１２のステップＳ３０からステップＳ３４参照）以外の処理は第１の実施形態と同様であるため、その説明を省略する。
本実施形態において習熟度判定モードが設定されている場合には、本体制御部は各ショットにおけるスティック部１０の移動速度に関するデータ（例えば加速度センサによって取得される加速度の計測データ）をＲＡＭ等に記憶させる。
本体制御部は、記憶された計測データが所定数あるか否かを判断し、所定数（例えば１０回）分の演奏操作における計測データがあると判断されると、習熟度判定処理に移行する。

習熟度判定処理では、まずばらつき検出部において、各計測データが所定の値の範囲内にあるか否かが判断され、所定の値の範囲内にないデータ数が検出（カウント）される。次に習熟度判定部は、このばらつき検出部による検出結果に基づき、所定の値の範囲内にないデータ数が所定の閾値を超えているか否かを判断する。そして、閾値以下であれば習熟度が高く、閾値を超えていれば習熟度が低いと判定する。
習熟度が判定されると、判定結果が表示装置に表示される等により演奏者に報知される。
習熟度の判定処理及び判定結果の報知が完了すると、当該習熟度判定処理に用いられた計測データをＲＡＭ等から消去し、一連の演奏動作が終了していれば、そのまま処理を終了し、演奏動作が続行している場合には、カメラユニット部及びスティック部から新たなデータ（マーカー検出位置情報やモーションセンサデータ）を受信して処理を繰り返す。

以上のように、本実施形態の楽音発生装置１によれば、演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態を検知する検知手段であるモーションセンサ部１４により検知されたスティック部１０（演奏操作子）の状態に基づいて、演奏操作のばらつき度合を検出し、検出された演奏操作のばらつき度合に基づいて、演奏者の演奏操作の習熟度を判定する。これにより、第１の実施形態と同様に、現実には何も存在しない空間を叩くことで演奏を行う仮想の楽器演奏を行う装置において、演奏に慣れていない初心者であっても自分の演奏操作がどの程度理想の演奏に近づいているか、その習熟度を客観的に知ることができ、適切な演奏操作の習得を補助することができる。
また、スティック部１０のモーションセンサ部１４が演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段として機能するため、別途カメラユニット部２０等を設けなくても習熟度判定処理を行うことができる。

なお、本実施形態では、スティック部１０の各種センサ（モーションセンサ部１４）が演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態としてスティック部１０の演奏操作時における移動速度を検出する検知手段として機能する場合を例としたが、検知手段はモーションセンサ部１４に限定されない。
例えば、カメラユニット部２０の撮像部２４が、モーションセンサ部１４に代わって、又はモーションセンサ部１４とともに、演奏者の演奏操作に基づく演奏操作子の状態を検知する検知手段として機能してもよい。この場合には、例えば、連続的に撮影された画像からスティック部１０の移動速度を検知する。

なお、以上本発明の実施形態について説明したが、本発明は、上記各実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、上記実施形態でスティック部１０、カメラユニット部２０及びセンターユニット部３０で行うこととしている処理のうちの任意の処理は、他のユニット（スティック部１０、カメラユニット部２０及びセンターユニット部３０）で行うこととしてもよい。
すなわち、例えば、スティック部１０（演奏操作子）のスティック制御部１１が楽音発声指示手段、ばらつき検出手段、習熟度判定手段として機能し、スティック制御部１１において各種センサの検知結果の分析等が行われてもよい。この場合には、検知手段としてのモーションセンサ部１４の検知結果（各種センサの生データ等）ではなく、各種センサの検知結果に基づいたノートオンイベント（発音指示の信号）がセンターユニット部３０に送信される。
また、例えばセンターユニット部３０のＣＰＵ３１において、カメラユニット部２０の撮像部２４が検出したマーカー部１５の位置を示すデータ（すなわち、演奏者等を撮像した画像のデータ）及びマーカー特徴情報に基づいて、スティック部１０Ａ、１０Ｂのマーカー部１５（第１マーカー及び第２マーカー）のそれぞれの位置座標を算出する処理を行ってもよい。この場合には、カメラユニット部２０は、単に画像を撮像してセンターユニット部３０に送信すれば足りるため、カメラユニット部２０のＲＡＭ２３にスティック部１０Ａ、１０Ｂのそれぞれのマーカー部１５を識別するためのマーカー検出条件情報を格納しておく必要はない。

また、本実施形態では、表示装置３５１が習熟度判定手段による判定結果を報知する報知手段として機能する場合を例としたが、報知手段は表示装置３５１に限定されない。
例えば、ランプの点灯の数や色等により習熟度の判定結果を表示させるインジケータを表示装置３５１とは別に設けてもよい。
また、図１３に示すように、スティック部１０に習熟度の判定結果を表示させるインジケータ１７等を設けてもよい。
さらに、表示装置３５１に代わって、又は表示装置３５１とともに、判定結果を発音部３６の音声出力部３６２等から音声出力させるようにしてもよい。

また、本実施形態では、楽音発生装置１が習熟度判定モードの他に通常の演奏を行うモードも備えている場合を例としたが、楽音発生装置１は、習熟度判定モードのみを行う練習専用装置であってもよい。この場合には、発音部３６を備える必要はない。
また、本実施形態では、習熟度判定モードが選択された際にも、演奏操作に応じた発音処理を行うものとしたが、習熟度判定モードが選択された場合には、表示又は音声による習熟度の判定結果の報知のみを行い、発音処理を行わないようにしてもよい。

また、本実施形態では、検知手段としてのモーションセンサ部１４により取得されるモーションセンサデータとして、加速度センサにより計測された加速度のデータのみを例示したが、モーションセンサデータの内容はこれに限定されず、例えば、ジャイロにより角加速度を計測してその計測値を用いるようにしてもよい。
また、本実施形態では、スティック部１０に平行な軸の回りの回転はしないものとして説明したが、これらの回転等についても角加速度センサ等により計測して対応するようにしてもよい。

本実施形態では、楽音発生装置１が、演奏者の演奏操作に基づくスティック部１０（演奏操作子）の状態（例えば、振り下ろし位置、振り下ろし速度、振り下ろし角度等）を検知する検知手段として、スティック部１０のモーションセンサ部１４とカメラユニット部２０の撮像部２４とを備えている構成としたが、検知手段はここに例示したものに限定されず、例えばモーションセンサ部１４として、圧力センサ等を備えていてもよいし、マーカー部１５を検出する手段として、撮像部２４に設けられるような各種イメージセンサの他、レーザー、超音波、その他距離や角度を計測することができる各種センサを用いた検出手段を適用してもよい。

また、本実施形態では、仮想的な打楽器として仮想のドラムセットＤ（図１（Ｂ）参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。

また、本実施形態では、発音手段である発音部３６がセンターユニット部３０内に設けられている場合を例として説明したが、発音手段はセンターユニット部３０とは別体として構成されていてもよい。この場合には、発音手段とセンターユニット部３０とを有線又は無線で接続し、センターユニット部３０からの指示信号にしたがって発音手段が所定の発音を行うように構成する。

また、本実施形態では、演奏操作子が棒状のスティック部１０である場合を例としたが、演奏操作子はこれに限定されない。箱型等、スティック以外の形状のものでもよく、例えば携帯電話機等の携帯端末装置を演奏操作子として用いてもよい。
楽音発生装置１は、演奏操作子で空間を叩く演奏操作を行うことで所定の楽器の音を発音させるものであり、実際に演奏操作子を楽器の打面に打ち付けるものではないため、携帯端末装置等の精密な電子機器を演奏操作子として用いた場合でも、演奏操作子が破損するおそれがない。

また、本実施形態では、スティック部１０、カメラユニット部２０、センターユニット部３０が、いずれも内部に電源部を備えている構成としたが、スティック部１０、カメラユニット部２０、センターユニット部３０を外部の電源と接続し、外部電源から電源供給を行う構成としてもよい。

以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
演奏者が保持可能な演奏操作子と、
演奏者が前記演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示する楽音発生指示手段と、
前記演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段と、
この検知手段により検知された各演奏操作の状態のばらつき度合を検出するばらつき検出手段と、
このばらつき検出手段による検出結果に基づいて、前記演奏者の演奏操作の習熟度を判定する習熟度判定手段と、
この習熟度判定手段による判定結果を報知する報知手段と、
を備えていることを特徴とする楽音発生装置。
＜請求項２＞
前記検知手段は、前記演奏操作子を被写体とする撮像画像を撮像するとともに、前記演奏操作子が演奏操作がなされるタイミング毎に、当該撮像画像平面上における前記演奏操作子の位置座標を検知する位置検知手段を有し、当該検知された演奏操作毎の演奏操作子の位置座標夫々を、各演奏操作の状態として検知することを特徴とする請求項１記載の楽音発生装置。
＜請求項３＞
前記検知手段は、前記演奏操作子内に設けられ、かつ前記演奏者の演奏操作がなされる毎に前記演奏操作子本体に加えられる移動速度を検知する移動速度検知手段を有し、当該検知された演奏操作毎の移動速度夫々を、各演奏操作の状態として検知することを特徴とする請求項１記載の楽音発生装置。

１ 楽音発生装置
１０ スティック部
１４ モーションセンサ部
１５ マーカー部
２０ カメラユニット部
２４ 撮像部
３０ センターユニット部
３１ 本体制御部
３６ 発音部
３１１ 発音制御部
３１２ ばらつき検出部
３１３ 習熟度判定部
３５１ 表示装置
Ｄ ドラムセット

本発明は、習熟度判定装置、習熟度判定方法及びプログラムに関するものである。

本発明は以上のような事情に鑑みてなされたものであり、仮想の楽器演奏を行う場合に、演奏の習熟度を分かりやすく示すことのできる習熟度判定装置、習熟度判定方法及びプログラムを提供することを目的とするものである。

前記課題を解決するために、本発明の習熟度判定装置は、
演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示する楽音発生指示手段と、
前記演奏操作がなされる毎に、当該各演奏操作の状態を検知する状態センサと、
この状態センサにより検知された各演奏操作の状態のばらつき度合を検出するばらつきセンサと、
このばらつきセンサによる検出結果に基づいて、前記演奏操作の習熟度を判定する習熟度判定手段と、
この習熟度判定手段による判定結果を報知する報知手段と、
を備えたことを特徴とする。
また、本発明の習熟度判定方法は、
演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示し、
前記演奏操作がなされる毎に、状態センサにより当該各演奏操作の状態を検知し、
検知された各演奏操作の状態のばらつき度合をばらつきセンサにより検出し、
このばらつきセンサによる検出結果に基づいて、前記演奏操作の習熟度を判定し、
この習熟度の判定結果を報知する、ことを特徴とする。
さらに、本発明のプログラムは、
演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示するステップと、
前記演奏操作がなされる毎に、当該各演奏操作の状態を状態センサにより検知するステップと、
この状態センサにより検知された各演奏操作の状態のばらつき度合をばらつきセンサにより検出するステップと、
このばらつきセンサによる検出結果に基づいて、前記演奏操作の習熟度を判定するステップと、
この習熟度の判定結果を報知するステップと、
を、コンピュータに実行させることを特徴とする。

Claims (3)

1. 演奏者が保持可能な演奏操作子と、
   演奏者が前記演奏操作子を用いて演奏操作がなされる毎に、所定の楽音の発生を指示する楽音発生指示手段と、
   前記演奏操作がなされる毎に、当該各演奏操作の状態を検知する検知する検知手段と、
   この検知手段により検知された各演奏操作の状態のばらつき度合を検出するばらつき検出手段と、
   このばらつき検出手段による検出結果に基づいて、前記演奏者の演奏操作の習熟度を判定する習熟度判定手段と、
   この習熟度判定手段による判定結果を報知する報知手段と、
   を備えていることを特徴とする楽音発生装置。
2. 前記検知手段は、前記演奏操作子を被写体とする撮像画像を撮像するとともに、前記演奏操作子が演奏操作がなされるタイミング毎に、当該撮像画像平面上における前記演奏操作子の位置座標を検知する位置検知手段を有し、当該検知された演奏操作毎の演奏操作子の位置座標夫々を、各演奏操作の状態として検知することを特徴とする請求項１記載の楽音発生装置。
3. 前記検知手段は、前記演奏操作子内に設けられ、かつ前記演奏者の演奏操作がなされる毎に前記演奏操作子本体に加えられる移動速度を検知する移動速度検知手段を有し、当該検知された演奏操作毎の移動速度夫々を、各演奏操作の状態として検知することを特徴とする請求項１記載の楽音発生装置。

Images