JP2013195581A - 演奏装置、方法及びプログラム - Google Patents

Abstract

【課題】仮想的な楽器セットの配置などのレイアウト情報を、演奏者が打撃ミスをした場合のミス情報に応じて変更できる演奏装置を提供する。
【解決手段】ＣＰＵ３１は、楽曲データに基づいて、仮想パッドのうち、スティック部１０Ａ，１０Ｂによりショット操作がなされたタイミングにおいてスティック部１０Ａ，１０Ｂの位置座標が属するべき領域の仮想パッドを、当該楽曲データによって定められたタイミング毎に指定し、スティック部１０Ａ，１０Ｂによりショット操作がなされたタイミングにおいて、スティック部１０Ａ，１０Ｂの位置座標が、指定された仮想パッドの領域に属さなかった場合、当該位置座標を指定された仮想パッドに関連付ける関連付け、関連付けられた位置座標を含むように、指定された仮想パッドの領域を再配置する。
【選択図】図１

Description

本発明は、演奏装置及びプログラムに関する。

従来、演奏者の演奏動作を検知すると、演奏動作に応じた電子音を発音する演奏装置が提案されている。例えば、スティック上の部材のみで打楽器音を発音する演奏装置（エアドラム）が知られている。この演奏装置では、演奏者が、センサを内蔵するスティック状の部材を手で保持して振るといった、あたかもドラムを打撃するような演奏動作をすると、センサが当該演奏動作を検知し、打楽器音が発音される。
このような演奏装置によれば、現実の楽器を必要とせずに当該楽器の楽音を発音することができるため、演奏者は、演奏場所や演奏スペースに制約を受けずに演奏を楽しむことができる。

このような演奏装置として、例えば、特許文献１には、演奏者のスティック状の部材を用いた演奏動作を撮像すると共に、当該演奏動作の撮像画像と、楽器セットを示す仮想画像とを合成した合成画像をモニタに表示し、スティック状の部材と仮想的な楽器セットとの位置情報に応じて所定の楽音を発音するように構成された楽器ゲーム装置が提案されている。

特許第３５９９１１５号公報

しかしながら、特許文献１に記載の楽器ゲーム装置をそのまま適用した場合、仮想的な楽器セットの配置などのレイアウト情報は予め定められているため、演奏者が打撃ミスをした場合に打撃ミスに応じてレイアウト情報を変更することはできなかった。

本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置などのレイアウト情報を、演奏者が打撃ミスをした場合のミス情報に応じて変更できる演奏装置を提供することを目的とする。

上記目的を達成するため、本発明の一態様の演奏装置は、
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面に配置された領域に属するか否かを判別する判別手段と、
この判別手段により前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記判別手段により前記領域に属さないと判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記記憶手段に記憶されたレイアウト情報を変更する変更手段と、
を備えたことを特徴とする。

本発明によれば、仮想的な楽器セットの配置などのレイアウト情報を、演奏者が打撃ミスをした場合のミス情報に応じて変更できる。

本発明の演奏装置の一実施形態の概要を示す図である。 上記演奏装置を構成するスティック部のハードウェア構成を示すブロック図である。 上記スティック部の斜視図である。 上記演奏装置を構成するカメラユニット部のハードウェア構成を示すブロック図である。 上記演奏装置を構成するセンターユニット部のハードウェア構成を示すブロック図である。 本発明の演奏装置の一実施形態に係るセットレイアウト情報を示す図である。 上記セットレイアウト情報が示す概念を仮想平面上で可視化した図である。 上記スティック部の処理の流れを示すフローチャートである。 上記カメラユニット部の処理の流れを示すフローチャートである。 上記センターユニット部の処理の流れを示すフローチャートである。 上記センターユニット部の仮想パッド再配置処理の流れを示すフローチャートである。 仮想パッドの再配置の例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［演奏装置１の概要］
初めに、図１を参照して、本発明の一実施形態としての演奏装置１の概要について説明する。
図１（１）に示すように、本実施形態の演奏装置１は、スティック部１０Ｒ，１０Ｌと、カメラユニット部２０と、センターユニット部３０と、を含んで構成される。本実施形態の演奏装置１は、２本のスティックを用いた仮想的なドラム演奏を実現するため、２つのスティック部１０Ｒ，１０Ｌを備えることとしているが、スティック部の数は、これに限られず１つとしてもよく、３つ以上としてもよい。なお、以下では、スティック部１０Ｒ，１０Ｌを個々に区別する必要がない場合には、両者を総称して「スティック部１０」と呼ぶ。

スティック部１０は、長手方向に延びるスティック状の演奏部材である。演奏者は、スティック部１０の一端（根元側）を手に持ち、手首などを中心として振り上げたり振り下ろす動作を、演奏動作として行う。このような演奏者の演奏動作を検知するため、スティック部１０の他端（先端側）には、加速度センサ及び角速度センサなどの各種センサが設けられている（後述のモーションセンサ部１４）。スティック部１０は、これらの各種センサにより検知された演奏動作に基づいて、センターユニット部３０にノートオンイベントを送信する。
また、スティック部１０の先端側には、後述するマーカー部１５（図２参照）が設けられており、撮像時にカメラユニット部２０がスティック部１０の先端を判別可能に構成されている。

カメラユニット部２０は、光学式の撮像装置として構成され、スティック部１０を保持して演奏動作を行う演奏者を被写体として含む空間（以下、「撮像空間」と呼ぶ）を、所定のフレームレートで撮像し、動画像のデータとして出力する。カメラユニット部２０は、撮像空間内における発光中のマーカー部１５の位置座標を特定し、当該位置座標を示すデータ（以下、「位置座標データ」と呼ぶ）をセンターユニット部３０に送信する。

センターユニット部３０は、スティック部１０からノートオンイベントを受信すると、受信時のマーカー部１５の位置座標データに応じて、所定の楽音を発音する。具体的には、センターユニット部３０は、カメラユニット部２０の撮像空間に対応付けて、図１（２）に示す仮想ドラムセットＤの位置座標データを記憶しており、当該仮想ドラムセットＤの位置座標データと、ノートオンイベント受信時のマーカー部１５の位置座標データとに基づいて、スティック部１０が仮想的に打撃した楽器を特定し、当該楽器に対応する楽音を発音する。

次に、このような本実施形態の演奏装置１の構成について具体的に説明する。

［演奏装置１の構成］
初めに、図２〜図５を参照して、本実施形態の演奏装置１の各構成要素、具体的には、スティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明する。

［スティック部１０の構成］
図２は、スティック部１０のハードウェア構成を示すブロック図である。
図２に示すように、スティック部１０は、ＣＰＵ１１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、モーションセンサ部１４と、マーカー部１５と、データ通信部１６と、スイッチ操作検出回路１７と、を含んで構成される。

ＣＰＵ１１は、スティック部１０全体の制御を実行し、例えば、モーションセンサ部１４から出力されるセンサ値に基づいて、スティック部１０の姿勢の検知、ショット検出及びアクション検出に加え、マーカー部１５の発光・消灯などの制御を実行する。このとき、ＣＰＵ１１は、マーカー特徴情報をＲＯＭ１２から読み出し、当該マーカー特徴情報に従い、マーカー部１５の発光制御を実行する。また、ＣＰＵ１１は、データ通信部１６を介して、センターユニット部３０との間の通信制御を実行する。

ＲＯＭ１２は、ＣＰＵ１１により各種処理が実行されるための処理プログラムを格納する。また、ＲＯＭ１２は、マーカー部１５の発光制御に用いるマーカー特徴情報を格納する。ここで、カメラユニット部２０は、スティック部１０Ｒのマーカー部１５（以下、「第１マーカー」と適宜呼ぶ）と、スティック部１０Ｌのマーカー部１５（以下、「第２マーカー」と適宜呼ぶ）とを区別する必要がある。マーカー特徴情報とは、第１マーカーと第２マーカーとをカメラユニット部２０が区別するための情報であり、例えば、発光時の形状、大きさ、色相、彩度、あるいは輝度に加え、発光時の点滅スピードなどを用いることができる。
スティック部１０ＲのＣＰＵ１１及びスティック部１０ＬのＣＰＵ１１は、夫々異なるマーカー特徴情報を読み出し、夫々のマーカーの発光制御を実行する。

ＲＡＭ１３は、モーションセンサ部１４が出力した各種センサ値など、処理において取得され又は生成された値を格納する。

モーションセンサ部１４は、スティック部１０の状態を検知するための各種センサであり、所定のセンサ値を出力する。ここで、モーションセンサ部１４を構成するセンサとしては、例えば、加速度センサ、角速度センサ及び磁気センサなどを用いることができる。

図３は、スティック部１０の斜視図であり、外部にはスイッチ部１７１とマーカー部１５が配置されている。
演奏者は、スティック部１０の一端（根元側）を保持し、手首などを中心とした振り上げ振り下ろし動作を行うことで、スティック部１０に対して運動を生じさせる。その際にこの運動に応じたセンサ値がモーションセンサ部１４から出力されるようになっている。

モーションセンサ部１４からのセンサ値を受け付けたＣＰＵ１１は、演奏者が持っているスティック部１０の状態、を検知する。一例としては、ＣＰＵ１１は、スティック部１０による仮想的な楽器の打撃タイミング（以下、「ショットタイミング」とも呼ぶ）を検知する。ショットタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。

図２に戻り、マーカー部１５は、スティック部１０の先端側に設けられた発光体であり 、例えばＬＥＤなどで構成され、ＣＰＵ１１からの制御に応じて発光及び消灯する。具体的には、マーカー部１５は、ＣＰＵ１１によってＲＯＭ１２から読み出されたマーカー特徴情報に基づいて発光する。このとき、スティック部１０Ｒのマーカー特徴情報と、スティック部１０Ｌのマーカー特徴情報とは異なるため、カメラユニット部２０は、スティック部１０Ｒのマーカー部（第１マーカー）の位置座標と、スティック部１０Ｌのマーカー部（第２マーカー）の位置座標とを個々に区別し取得することができる。

データ通信部１６は、少なくともセンターユニット部３０との間で所定の無線通信を行う。所定の無線通信は、任意の方法で行うこととしてよく、本実施形態では、赤外線通信によりセンターユニット部３０との間での無線通信を行う。なお、データ通信部１６は、カメラユニット部２０との間で無線通信を行うこととしてもよく、また、スティック部１０Ｒ及びスティック部１０Ｌとの間で無線通信を行うこととしてもよい。

スイッチ操作検出回路１７は、スイッチ１７１と接続され、当該スイッチ１７１を介した入力情報を受け付ける。

［カメラユニット部２０の構成］
スティック部１０の構成についての説明は、以上である。続いて、図４を参照して、カメラユニット部２０の構成について説明する。
図４は、カメラユニット部２０のハードウェア構成を示すブロック図である。
カメラユニット部２０は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、イメージセンサ部２４と、データ通信部２５と、を含んで構成される。

ＣＰＵ２１は、カメラユニット部２０全体の制御を実行し、例えば、イメージセンサ部２４が検出したマーカー部１５の位置座標データ及びマーカー特徴情報に基づいて、スティック部１０Ｒ、１０Ｌのマーカー部１５（第１マーカー及び第２マーカー）の夫々の位置座標を算出し、夫々の算出結果を示す位置座標データを出力する制御を実行する。また、ＣＰＵ２１は、データ通信部２５を介して、算出した位置座標データなどをセンターユニット部３０に送信する通信制御を実行する。

ＲＯＭ２２は、ＣＰＵ２１により各種処理が実行されるための処理プログラムを格納する。ＲＡＭ２３は、イメージセンサ部２４が検出したマーカー部１５の位置座標データなど、処理において取得され又は生成された値を格納する。また、ＲＡＭ２３は、センターユニット部３０から受信したスティック部１０Ｒ、１０Ｌの夫々のマーカー特徴情報も併せて格納する。

イメージセンサ部２４は、例えば、光学式のカメラであり、スティック部１０を持って演奏動作を行う演奏者の動画を所定のフレームレートで撮像する。また、イメージセンサ部２４は、フレームごとの撮像データをＣＰＵ２１に出力する。なお、撮像画像内におけるスティック部１０のマーカー部１５の位置座標の特定については、イメージセンサ部２４が行うこととしてもよく、ＣＰＵ２１が行うこととしてもよい。同様に、撮像したマーカー部１５のマーカー特徴情報についても、イメージセンサ部２４が特定することとしてもよく、ＣＰＵ２１が特定することとしてもよい。

データ通信部２５は、少なくともセンターユニット部３０との間で所定の無線通信（例えば、赤外線通信）を行う。なお、データ通信部１６は、スティック部１０との間で無線通信を行うこととしてもよい。

［センターユニット部３０の構成］
カメラユニット部２０の構成についての説明は、以上である。続いて、図５を参照して、センターユニット部３０の構成について説明する。
図５は、センターユニット部３０のハードウェア構成を示すブロック図である。
センターユニット部３０は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、スイッチ操作検出回路３４と、表示回路３５と、音源装置３６と、データ通信部３７と、を含んで構成される。

ＣＰＵ３１は、センターユニット部３０全体の制御を実行し、例えば、スティック部１０から受信したショット検出及びカメラユニット部２０から受信したマーカー部１５の位置座標に基づいて、所定の楽音を発音する制御などを実行する。また、ＣＰＵ３１は、データ通信部３７を介して、スティック部１０及びカメラユニット部２０との間の通信制御を実行する。

ＲＯＭ３２は、ＣＰＵ３１の実行する各種処理の処理プログラムを格納する。また、ＲＯＭ３２は、種々の音色の波形データ、例えば、フルート、サックス、トランペットなどの管楽器、ピアノなどの鍵盤楽器、ギターなどの弦楽器、バスドラム、ハイハット、スネア、シンバル、タムなど打楽器の波形データ（音色データ）を、位置座標などと対応付けて格納する。

音色データ等の格納方法としては、例えば、図６にセットレイアウト情報として示すように、セットレイアウト情報は、第１パッド〜第ｎパッドまでのｎ個のパッド情報を有しており、さらに各パッド情報にパッドの有無（後述する仮想平面における仮想パッドの存在の有無）、位置（後述する仮想平面における位置座標）、サイズ（仮想パッドの形状及び径など）、及び音色（波形データ）などが対応づけられて格納されている。

ここで、図７を参照して、具体的なセットレイアウトについて説明する。図７は、センターユニット部３０のＲＯＭ３２に格納されたセットレイアウト情報（図６参照）が示す概念を仮想平面上で可視化した図である。
図７は、４個の仮想パッド８１，８２，８３，８４が仮想平面上に配置されている様子を示しており、仮想パッド８１，８２，８３，８４には、第１パッド〜第ｎパッドのうち、パッド有無データが「パッド有」となっているものが対応している。例えば、第２パッド、第３パッド、第５パッド、第６パッドの４つが対応している。さらに、位置データとサイズデータに基づいて仮想パッド８１，８２，８３，８４が配置されている。さらにまた、各仮想パッド８１に音色データが対応付けられている。したがって、ショット検出時におけるマーカー部１５の位置座標が仮想パッド８１，８２，８３，８４に対応する領域に属した場合、仮想パッド８１，８２，８３，８４に対応する音色が発音される。
なお、ＣＰＵ３１は、この仮想平面を仮想パッド８１配置と共に後述する表示装置３５１に表示してもよい。
また、本実施形態において、この仮想平面での位置座標は、カメラユニット部２０の撮像画像での位置座標と一致するものとする。

図５に戻って、ＲＡＭ３３は、スティック部１０から受信したスティック部１０の状態（ショット検出など）、カメラユニット部２０から受信したマーカー部１５の位置座標、及び、ＲＯＭ３２から読み出されたセットレイアウト情報など、処理において取得され又は生成された値を格納する。
ショット検出時（すなわち、ノートオンイベント受信時）にマーカー部１５の位置座標が属する領域の仮想パッド８１に対応する音色データ（波形データ）を、ＲＡＭ３３に格納されたセットレイアウト情報から、ＣＰＵ３１が読み出すことで、演奏者の演奏動作に応じた楽音が発音される。

スイッチ操作検出回路３４は、スイッチ３４１と接続され、当該スイッチ３４１を介した入力情報を受け付ける。入力情報としては、例えば、発音する楽音の音量や発音する楽音の音色の変更、セットレイアウト番号の設定及び変更、表示装置３５１の表示の切り替えなどが含まれる。
また、表示回路３５は、表示装置３５１と接続され、表示装置３５１の表示制御を実行する。

音源装置３６は、ＣＰＵ３１からの指示にしたがって、ＲＯＭ３２から波形データを読み出して、楽音データを生成すると共に、楽音データをアナログ信号に変換し、図示しないスピーカから楽音を発音する。
また、データ通信部３７は、スティック部１０及びカメラユニット部２０との間で所定の無線通信（例えば、赤外線通信）を行う。

［演奏装置１の処理］
以上、演奏装置１を構成するスティック部１０、カメラユニット部２０及びセンターユニット部３０の構成について説明した。続いて、図８〜図１１を参照して、演奏装置１の処理について説明する。

［スティック部１０の処理］
図８は、スティック部１０が実行する処理（以下、「スティック部処理」と呼ぶ）の流れを示すフローチャートである。
図８を参照して、スティック部１０のＣＰＵ１１は、モーションセンサ部１４からモーションセンサ情報、すなわち、各種センサが出力するセンサ値を読み出し、ＲＡＭ１３に格納する（ステップＳ１）。その後、ＣＰＵ１１は、読み出したモーションセンサ情報に基づいて、スティック部１０の姿勢検知処理を実行する（ステップＳ２）。姿勢検知処理では、ＣＰＵ１１は、モーションセンサ情報に基づいて、スティック部１０の姿勢、例えば、スティック部１０のロール角及びピッチ角などを算出する。

続いて、ＣＰＵ１１は、モーションセンサ情報に基づいて、ショット検出処理を実行する（ステップＳ３）。ここで、演奏者がスティック部１０を用いて演奏を行う場合、一般には、現実の楽器（例えば、ドラム）を打撃する動作と同様の演奏動作を行う。このような演奏動作では、演奏者は、まずスティック部１０を振り上げ、それから仮想的な楽器に向かって振り下ろす。そしてスティック部１０を仮想的な楽器に打撃する寸前に、スティック部１０の動作を止めようとする力を働かせる。このとき、演奏者は、仮想的な楽器にスティック部１０を打撃した瞬間に楽音が発生することを想定しているため、演奏者が想定するタイミングで楽音を発生できるのが望ましい。そこで、本実施形態では、演奏者が仮想的な楽器の面にスティック部１０を打撃する瞬間又はそのわずかに手前のタイミングで楽音を発音することとしている。

本実施形態においては、ショット検出のタイミングは、スティック部１０が振り下ろされてから停止される直前のタイミングであり、スティック部１０にかかる振り下ろし方向とは逆向きの加速度の大きさがある閾値を超えたタイミングである。
このショット検出のタイミングを発音タイミングとし、発音タイミングが到来したと判断されると、スティック部１０のＣＰＵ１１は、ノートオンイベントを生成し、センターユニット部３０に送信する。これにより、センターユニット部３０において、発音処理が実行されて、楽音が発音される。
ステップＳ３に示すショット検出処理では、モーションセンサ情報（例えば、加速度センサのセンサ合成値）に基づいて、ノートオンイベントを生成する。このとき、生成するノートオンイベントには、発音する楽音の音量を含めることとしてもよい。なお、楽音の音量は、例えば、センサ合成値の最大値から求めることができる。

続いて、ＣＰＵ１１は、ステップＳ１乃至ステップＳ３の処理で検出した情報、すなわち、モーションセンサ情報、姿勢情報及びショット情報を、データ通信部１６を介してセンターユニット部３０に送信する（ステップＳ４）。このとき、ＣＰＵ１１は、スティック識別情報と対応付けて、モーションセンサ情報、姿勢情報及びショット情報をセンターユニット部３０に送信する。
これにより、処理はステップＳ１に戻され、それ以降の処理が繰り返される。

［カメラユニット部２０の処理］
図９は、カメラユニット部２０が実行する処理（以下、「カメラユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図９を参照して、カメラユニット部２０のＣＰＵ２１は、イメージデータ取得処理を実行する（ステップＳ１１）。この処理では、ＣＰＵ２１は、イメージセンサ部２４からイメージデータを取得する。

続いて、ＣＰＵ２１は、第１マーカー検出処理（ステップＳ１２）及び第２マーカー検出処理（ステップＳ１３）を実行する。これらの処理では、ＣＰＵ２１は、イメージセンサ部２４が検出した、スティック部１０Ｒのマーカー部１５（第１マーカー）及びスティック部１０Ｌのマーカー部１５（第２マーカー）の位置座標、サイズ、角度などのマーカー検出情報を、取得しＲＡＭ２３に格納する。このとき、イメージセンサ部２４は、発光中のマーカー部１５について、マーカー検出情報を検出する。

続いて、ＣＰＵ２１は、ステップＳ１２及びステップＳ１３で取得したマーカー検出情報を、データ通信部２５を介してセンターユニット部３０に送信し（ステップＳ１４）、ステップＳ１１に処理を移行させる。

［センターユニット部３０の処理］
図１０は、センターユニット部３０が実行する処理（以下、「センターユニット部処理」と呼ぶ）の流れを示すフローチャートである。
図１０を参照して、センターユニット部３０のＣＰＵ３１は、楽曲の演奏を開始する（ステップＳ２１）。この処理では、ＣＰＵ３１は、楽曲を、ドラム音を発音させずに再生する。当該楽曲のデータは、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ
Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データであり、楽曲のテンポ、音符及び休符等に応じて定まるタイミング毎に、演奏者によりショットされるべき仮想パッド８１，８２，８３，８４が対応付けられている。この際、ＣＰＵ３１は、ドラムパートの楽譜を、表示回路３５を介して表示装置３５１に表示してもよい。なお、楽曲データは、複数種類存在し、夫々が、ＲＯＭ３２に格納されている。ＣＰＵ３１は、楽曲データをＲＯＭ３２から読み出し、ＲＡＭ３３に格納して再生処理を行う。ＣＰＵ３１が読み出す楽曲データは、ランダムに決定されてもよいし、演奏者によるスイッチ３４１の操作に基づいて決定されてもよい。

続いて、ＣＰＵ３１は、カメラユニット部２０から、第１マーカー及び第２マーカー夫々のマーカー検出情報を受信し、ＲＡＭ３３に格納する（ステップＳ２２）。また、ＣＰＵ３１は、スティック部１０Ｒ、１０Ｌの夫々から、スティック識別情報と対応付けられたモーションセンサ情報、姿勢情報及びショット情報を受信し、ＲＡＭ３３に格納する（ステップＳ２３）。さらに、ＣＰＵ３１は、スイッチ３４１の操作により入力された情報を取得する（ステップＳ２４）。

続いて、ＣＰＵ３１は、ショットありか否かを判断する（ステップＳ２５）。この処理では、ＣＰＵ３１は、スティック部１０からノートオンイベントを受信したか否かにより、ショットの有無を判断する。このとき、ショットありと判断した場合には、ＣＰＵ３１は、ショット情報処理を実行する（ステップＳ２６）。ショットなしと判断した場合には 、ＣＰＵ３１は、処理をステップＳ２２に移行させる。
ショット情報処理では、ＣＰＵ３１は、ＲＡＭ３３に読み出されたセットレイアウト情報から、マーカー検出情報に含まれる位置座標が属する領域の仮想パッド８１，８２，８３，８４のいずれかに対応する音色データ（波形データ）を読み出し、ノートオンイベントに含まれる音量データと共に音源装置３６に出力する。すると、音源装置３６は、受け取った波形データに基づいて該当する楽音を発音する。

続いて、ＣＰＵ３１は、ショットにミスがあったか否かを判断する（ステップＳ２７）。具体的には、ＣＰＵ３１は、ステップＳ２６でのマーカー検出情報に含まれる位置座標が、ショットされるべき仮想パッドの領域に属さなかった場合に、ミスがあったと判断する。

ステップＳ２７でミスがあったと判断された場合、ＣＰＵ３１は、ショットされるべき仮想パッドに関連付けてショット位置を記憶する（ステップＳ２８）。具体的には、ＣＰＵ３１は、ステップＳ２６でのマーカー検出情報に含まれる位置座標を、ショットされるべき仮想パッドに関連付けてＲＡＭ３３に記憶する。

ステップＳ２７でミスが無かったと判断された場合、又はステップＳ２８の処理が終了すると、ＣＰＵ３１は、楽曲の演奏が終了したか否かを判断する（ステップＳ２９）。具体的には、ＣＰＵ３１は、ステップＳ２１で再生した楽曲が最後まで演奏した否か、又は、スイッチ３４１が操作されたことにより、楽曲の再生が強制的に終了されたか否か、を判断する。楽曲の演奏が終了でないと判断されると、ＣＰＵ３１は、処理をステップＳ２２に移行させる。

楽曲の演奏が終了した判断されると、ＣＰＵ３１は、ミス情報を集計する（ステップＳ３０）。例えば、ＣＰＵ３１は、ステップＳ２８でＲＡＭ３３に記憶されたミスショットの位置の座標分布を、仮想パッド８１，８２，８３，８４毎に対応付けて作成する。このミスショットの位置の座標分布の様子を図１２の上段の図に示す。この図によれば、仮想パッド８１，８３の周囲にミスショットの位置座標が分布しており、仮想パッド８２，８４には、夫々特定の方向にミスショットの位置座標が分布している。

ステップＳ３０の処理が終了すると、ＣＰＵ３１は、図１１を参照して説明する仮想パッド再配置処理を実行し（ステップＳ３１）、センターユニット部処理を終了する。

［センターユニット部３０の仮想パッド再配置処理］
図１１は、図１０のセンターユニット部処理のうち、ステップＳ３１の仮想パッド再配置処理の詳細な流れを示すフローチャートである。
図１１を参照して、ＣＰＵ３１は、ミスショットの位置座標が仮想パッドの周囲に分布しているか否かを判断する（ステップＳ４１）。具体的には、図１０のステップＳ３０で作成したミスショットの位置の座標分布に基づいて当該判断をする。

ステップＳ４１で、ミスショットの位置座標が仮想パッドの周囲に分布していると判断された場合、ＣＰＵ３１は、仮想パッドを拡大し（ステップＳ４２）、ミスショットの位置座標が仮想パッドの周囲に分布していると判断されなかった場合、ＣＰＵ３１は、仮想パッドを特定方向へ移動させる（ステップＳ４３）。
仮想パッドを拡大する場合には、図１２に示すように、仮想パッド８１，８３には周囲にミスショットの位置座標が分布しているので、ＣＰＵ３１は、ミスショットの位置座標を含むように仮想パッド８１，８３を拡大させることで、仮想パッドを再配置する。
仮想パッドを特定方向へ移動させる場合には、図１２に示すように、仮想パッド８２，８４には、夫々特定の方向にミスショットの位置座標が分布しているので、ＣＰＵ３１は、ミスショットの位置座標を含むように仮想パッド８２，８４を夫々特定の方向に移動させることで、仮想パッドを再配置する。

ステップＳ４２又はステップＳ４３の処理が終了すると、ＣＰＵ３１は、全ての仮想パッド（仮想パッド８１，８２，８３，８４）について処理したか否かを判断する（ステップＳ４４）。全ての仮想パッドについて処理したと判断した場合には、ＣＰＵ３１は、仮想パッド再配置処理を終了し、全ての仮想パッドについて処理しなかったと判断した場合には、ステップＳ４１に処理を移行させる。

以上、本実施形態の演奏装置１の構成及び処理について説明した。
本実施形態においては、ＣＰＵ３１は、楽曲データに基づいて、仮想パッド８１，８２，８３，８４のうち、スティック部１０によりショット操作がなされたタイミングにおいてスティック部１０の位置座標が属するべき領域の仮想パッドを、当該楽曲データによって定められたタイミング毎に指定し、スティック部１０によりショット操作がなされたタイミングにおいて、スティック部１０の位置座標が、指定された仮想パッドの領域に属さなかった場合、当該位置座標を指定された仮想パッドに関連付ける関連付け、関連付けられた位置座標を含むように、指定された仮想パッドの領域を再配置する。
よって、レイアウト情報に基づいて配置された仮想パッド８１，８２，８３，８４の配置を、演奏者が打撃ミスをした場合のショットの位置座標を含むように再配置できる。
したがって、ドラム演奏の初心者等ショットミスをしがちな演奏者であっても演奏を楽しむことができる演奏装置を提供できる。

また、本実施形態においては、ＣＰＵ３１は、ショットするように指定された仮想パッドに関連付けられたミスショット時の位置座標の分布状況に応じて、当該指定された領域の再配置の方法を決定する。
よって、仮想パッドの領域を必要以上に拡大することを防止できる。また、仮想パッドの領域を必要な位置に再配置できる。

以上、本発明の実施形態について説明したが、実施形態は例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換など種々の変更を行うことができる。これら実施形態やその変形は、本明細書などに記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上記実施形態では、仮想的な打楽器として仮想ドラムセットＤ（図１参照）を例にとって説明したが、これに限られるものではなく、本発明は、スティック部１０の振り下ろし動作で楽音を発音する木琴など他の楽器に適用することができる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
演奏者が保持可能な演奏部材と、
前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面に配置された領域に属するか否かを判別する判別手段と、
この判別手段により前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記判別手段により前記領域に属さないと判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記記憶手段に記憶されたレイアウト情報を変更する変更手段と、
を備えたことを特徴とする演奏装置。
［付記２］
前記レイアウト情報は、前記領域の前記撮像画像平面上の位置及び当該領域のサイズを規定し、前記変更手段は、前記領域の位置及びサイズの少なくとも一方を変更するように前記レイアウト情報を変更することを特徴とする付記１に記載の演奏装置。
［付記３］
前記記憶手段は、前記撮像画像平面に配置された複数の領域夫々を規定するレイアウト情報を記憶するとともに、
前記複数の領域のうち、前記演奏部材により特定の演奏操作がなされたタイミング毎に前記演奏部材の位置座標が属するべき領域を、順次指定する領域指定手段と、をさらに有し、
前記判別手段は、前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別することを特徴とする付記１に記載の演奏装置。
［付記４］
演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、を有する演奏装置に用いられるコンピュータに、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面に配置された領域に属するか否かを判別する判別ステップと、
前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
前記領域に属さないと判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記記憶手段に記憶されたレイアウト情報を変更する変更ステップと、
を実行させるプログラム。

１・・・演奏装置、１０・・・スティック部、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・モーションセンサ部、１５・・・マーカー部、１６・・・データ通信部、１７・・・スイッチ操作検出回路、１７１・・・スイッチ、２０・・・カメラユニット部、２１・・・ＣＰＵ、２２・・・ＲＯＭ、２３・・・ＲＡＭ、２４・・・イメージセンサ部、２５・・・データ通信部、３０・・・センターユニット、３１・・・ＣＰＵ、３２・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・スイッチ操作検出回路、３４１・・・スイッチ、３５・・・表示回路、３５１・・・表示装置、３６・・・音源装置、３７・・・データ通信部、８１〜８４・・・仮想パッド

本発明は、演奏装置、方法及びプログラムに関する。

本発明は、このような状況に鑑みてなされたものであり、仮想的な楽器セットの配置などのレイアウト情報を、演奏者が打撃ミスをした場合のミス情報に応じて変更できる演奏装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の演奏装置は、
演奏者が保持可能な演奏部材の、仮想平面上における位置座標を検出する位置センサと、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、所定の仮想平面上に配置された領域を規定するレイアウト情報に基づいて前記仮想平面に配置された領域に属するか否かを判別する判別手段と、
この判別手段により前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
前記判別手段により前記領域に属すると判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記レイアウト情報を変更する変更手段と、
を備えたことを特徴とする。
また、本発明の一態様の方法は、
演奏者が保持可能な演奏部材の、仮想平面上における位置座標を検出する位置センサを有する演奏装置に用いられる方法であって、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、所定の仮想平面上に配置された領域を規定するレイアウト情報に基づいて前記仮想平面上に配置された領域に属するか否かを判別し、
前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示し、
前記領域に属すると判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記レイアウト情報を変更する、ことを特徴とする。
さらに本発明の一態様のプログラムは、
演奏者が保持可能な演奏部材の、仮想平面上における位置座標を検出する位置センサと、を有する演奏装置に用いられるコンピュータに、
前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、所定の仮想平面上に配置された領域を規定するレイアウト情報に基づいて前記仮想平面に配置された領域に属するか否かを判別する判別ステップと、
この判別ステップにより前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
前記判別ステップにより前記領域に属すると判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記レイアウト情報を変更する変更ステップと、
を実行させることを特徴とする。

Claims (4)

1. 演奏者が保持可能な演奏部材と、
   前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、
   前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、
   前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面に配置された領域に属するか否かを判別する判別手段と、
   この判別手段により前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示手段と、
   前記判別手段により前記領域に属さないと判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記記憶手段に記憶されたレイアウト情報を変更する変更手段と、
   を備えたことを特徴とする演奏装置。
2. 前記レイアウト情報は、前記領域の前記撮像画像平面上の位置及び当該領域のサイズを規定し、前記変更手段は、前記領域の位置及びサイズの少なくとも一方を変更するように前記レイアウト情報を変更することを特徴とする請求項１に記載の演奏装置。
3. 前記記憶手段は、前記撮像画像平面に配置された複数の領域夫々を規定するレイアウト情報を記憶するとともに、
   前記複数の領域のうち、前記演奏部材により特定の演奏操作がなされたタイミング毎に前記演奏部材の位置座標が属するべき領域を、順次指定する領域指定手段と、をさらに有し、
   前記判別手段は、前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて配置された複数の領域のいずれかに属するか否かを判別することを特徴とする請求項１に記載の演奏装置。
4. 演奏者が保持可能な演奏部材と、前記演奏部材を被写体とする撮像画像を撮像すると共に、前記撮像画像平面上の前記演奏部材の位置座標を検出する撮像装置と、前記撮像画像平面に配置された領域を規定するレイアウト情報を記憶する記憶手段と、を有する演奏装置に用いられるコンピュータに、
   前記演奏部材により特定の演奏操作がなされたタイミングにおいて、前記演奏部材の位置座標が、前記レイアウト情報に基づいて前記撮像画像平面に配置された領域に属するか否かを判別する判別ステップと、
   前記領域に属すると判別された場合に、当該領域に対応する楽音の発音を指示する発音指示ステップと、
   前記領域に属さないと判別された場合に、前記領域を、前記演奏部材の位置座標を含むように変更するために、前記記憶手段に記憶されたレイアウト情報を変更する変更ステップと、
   を実行させるプログラム。

Images