JP2017090941A - Musical performance system, musical performance method, and program - Google Patents
Musical performance system, musical performance method, and program Download PDFInfo
- Publication number
- JP2017090941A JP2017090941A JP2017036660A JP2017036660A JP2017090941A JP 2017090941 A JP2017090941 A JP 2017090941A JP 2017036660 A JP2017036660 A JP 2017036660A JP 2017036660 A JP2017036660 A JP 2017036660A JP 2017090941 A JP2017090941 A JP 2017090941A
- Authority
- JP
- Japan
- Prior art keywords
- swing angle
- angle
- performance
- music
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、演奏者がスティック状の操作子を振ることで楽音を発生する演奏システム、演奏方法及びプログラムに関する。 The present invention relates to a performance system, a performance method, and a program for generating a musical sound by a player swinging a stick-shaped operation element.
従来、スティック状の操作子に加速度センサを設け、この加速度センサによって操作子の動きを検知して楽音を発生する演奏システムがある（例えば、特許文献１）。この演奏システムに用いられる操作子は、例えばドラムのスティックや太鼓の撥のような形状を有する。演奏者であるユーザがこの操作子を振り下ろす動作を行うと、そのときの動作信号が音源に送られて、ドラムや太鼓などの楽音が発生する。 2. Description of the Related Art Conventionally, there is a performance system in which an acceleration sensor is provided on a stick-shaped operation element, and the movement of the operation element is detected by the acceleration sensor to generate a musical sound (for example, Patent Document 1). The operation element used in this performance system has a shape like a drum stick or a drum drum. When the user who is a performer performs an operation of swinging down the operation member, an operation signal at that time is sent to the sound source, and musical sounds such as drums and drums are generated.
上述した演奏システムでは、演奏者が目の前で操作子を振ることで、実存しない仮想的な楽器（これを「エア楽器」と称す）を演奏することができる。 In the performance system described above, the player can play a virtual instrument that does not exist (referred to as an “air instrument”) by waving an operator in front of him.
ここで、打楽器の演奏を想定した場合には、ショット動作時に操作子を振り上げたときの角度（振上げ角度）が重要となる。振上げ角度が小さすぎると音が弱くなり、逆に、振上げ角度が大きいと音が強くなる。また、テンポやリズムパターン（音長や強拍・弱拍など）によって、適正な振り上げ角度が変化したり、同じ強さでも適正な振り上げ角度が異なったものとなる場合もある。 Here, when it is assumed that a percussion instrument is played, the angle (swing-up angle) when the operating member is raised during the shot operation is important. If the swing angle is too small, the sound becomes weak, and conversely, if the swing angle is large, the sound becomes strong. In addition, the proper swing-up angle may vary depending on the tempo and rhythm pattern (sound length, strong beat, weak beat, etc.), or the proper swing-up angle may be different even at the same strength.
したがって、演奏する楽曲のリズムパターンに合わせて操作子を適正な角度で振り上げることが求められる。しかしながら、楽曲によってリズムパターンが違うため、常に適正な角度で振り上げながら演奏することは非常に難しい。 Therefore, it is required to swing the operation element at an appropriate angle in accordance with the rhythm pattern of the music to be played. However, since the rhythm pattern varies depending on the music, it is very difficult to perform while always swinging up at an appropriate angle.
本発明は上記のような点に鑑みなされたもので、楽曲のリズムパターンに合わせて操作子を適正な角度で振り上げて演奏することのできる演奏システム、演奏方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above points, and an object thereof is to provide a performance system, a performance method, and a program capable of performing by swinging up an operator at an appropriate angle in accordance with a rhythm pattern of a music piece. To do.
本発明に係る演奏システムは、表示部を有し、ショット動作を行うことにより楽音を発生させる操作子と、楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出する振り角度算出手段と、上記振り角度算出手段によって算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させる演奏指示手段とを具備したことを特徴とする。 The performance system according to the present invention includes a display unit, the operation corresponding to the rhythm pattern of the music, based on music data including an operator that generates a musical sound by performing a shot operation and the rhythm pattern of the music Swing angle calculating means for calculating the swing angle of the child, performance instruction means for displaying on the display section whether or not the operator is at an appropriate angle during a shot operation based on the swing angle calculated by the swing angle calculating means, It is characterized by comprising.
本発明によれば、演奏対象となる楽曲のリズムパターンに合わせて、操作子の適正角度が操作子の表示部を通じて指示される。したがって、演奏者はその指示に従って操作子を適正角度で振り上げてショット動作することで、楽曲のリズムパターンに合わせた演奏を簡単に行うことができる。 According to the present invention, the appropriate angle of the operator is instructed through the display of the operator in accordance with the rhythm pattern of the music to be played. Therefore, the performer can easily perform a performance in accordance with the rhythm pattern of the music piece by swinging the operation element at an appropriate angle and performing a shot operation according to the instruction.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は本発明の一実施形態に係る演奏システムの構成を示す図である。 FIG. 1 is a diagram showing a configuration of a performance system according to an embodiment of the present invention.
本実施形態における演奏システムは、演奏装置１０と制御装置２０とで構成される。演奏装置１０と制御装置２０は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により接続される。なお、接続形態は無線に限らず、有線であっても良い。
The performance system in the present embodiment includes a
演奏装置１０は、打楽器のショット動作を行うことで所定の楽音を発生させるスティック状の操作子１１を備える。この操作子１１には、３軸の加速度センサ、角速度センサ、地磁気センサが取り付けられており、自立姿勢制御技術を用いる事により逐次センサ情報から操作子１１の動きを検知可能な構成を有する。演奏者であるユーザは操作子１１を手で持ち、仮想的に楽器のパーツが目の前に存在するものと仮定して、そのパーツに向けて操作子１１を振り下ろすことで演奏を行う。
The
図中の１２は操作子１１のスイッチ部であり、電源スイッチや各種設定スイッチなどが設けられている。また、操作子１１の先端部には、多色発光可能なＬＣＤ（Liquid Crystal Display）からなる表示部１３が設けられている。
なお、図１では、操作子１１が１本しか図示されていないが、同様の機能を有する操作子１１を複数本（例えば２本）用いて演奏することも可能である。
Although only one
制御装置２０は、操作子１１から少し離れたところに置かれ、操作子１１との間で情報をやり取りし、操作子１１の動きに合わせて楽音を発生するなどの処理を行う。この制御装置２０としては、一般的なパソコン（パーソナルコンピュータ）が用いられる。図中の２１はキーボード等の入力部、２２はＬＣＤ等の表示部である。
The
図２は演奏装置１０の回路構成を示すブロック図である。
FIG. 2 is a block diagram showing a circuit configuration of the
演奏装置１０には、スイッチ部１２、表示部１３、制御部１４、記憶部１５、センサ部１６、通信部１７などが備えられている。図１に示したように、スイッチ部１２と表示部１３は、スティック状の操作子１１に設けられている。
The
スイッチ部１２は、電源のオン／オフなどの各種設定操作を行う場合に用いられる。表示部１３は、演奏中に操作子１１の適正角度を指示するための表示を行う。具体的には、例えば、ＬＥＤや電球で構成することができる。下記のように表示部１３は数色の表示を行うので、各色のＬＥＤや電球を内部に備え、適宜切り替えたり、複数色を同時に光らせたり時分割で光らせる等して用いることができるほか、単色の発光源に各色のカラーフィルタを切り替えることにより発光色を調整することができる。また、より詳細に、液晶モニタのような表示部を備えることも可能である。
The
制御部１４は、ＣＰＵからなり、記憶部１５に記憶されたプログラム１５ａを読み込むことにより、演奏装置１０に関わる各種処理を実行する。この制御部１４には、本発明を実現するための機能として、振上げ角度算出機能１４ａと演奏指示機能１４ｂが備えられている。
The
振上げ角度算出機能１４ａは、演奏対象となる楽曲のリズムパターンを含んだ音楽データに基づいて、上記楽曲のリズムパターンに対応した操作子１１の振上げ角度を算出する。演奏指示機能１４ｂは、振上げ角度算出機能１４ａによって算出された振上げ角度に基づきショット動作時における操作子が適正角度か否かを表示部１３に表示させる。
The swing
記憶部１５は、ＲＯＭ、ＲＡＭなどがからなる。記憶部１５は、プログラム１５ａの他、制御部１４の処理に必要な各種情報を記憶する。センサ部１６は、３軸の加速度センサ、角速度センサ、地磁気センサを有し、操作子１１の位置、移動方向、移動量などを検知するための振上げ状態検知手段として用いられる。通信部１７は、制御装置２０との間で所定の近距離無線通信を行う。
The
図３は制御装置２０の回路構成を示すブロック図である。
FIG. 3 is a block diagram showing a circuit configuration of the
制御装置２０には、入力部２１、表示部２２、制御部２３、記憶部２４、通信部２５などが備えられている。図１に示したように、入力部２１と表示部２２は、パソコンのキーボートと表示装置である。入力部２１は、演奏の開始指示など、各種入力・指示を行う場合に用いられる。表示部２２は、ユーザが選択した楽曲の電子譜面などを表示する楽譜表示部の機能を備えている。この電子譜面にはリズムパターンが記載されている。
The
制御部２３は、ＣＰＵからなり、記憶部２４に記憶されたプログラム２４ａを読み込むことにより、制御装置２０に関わる各種処理を実行する。記憶部２４は、ＲＯＭ、ＲＡＭなどがからなる。記憶部２４は、プログラム２４ａの他、制御部２３の処理に必要な各種情報を記憶する。通信部２５は、演奏装置１０との間で所定の近距離無線通信を行う。
The
また、本実施形態において、この制御装置２０は音源としても用いられ、操作子１１からの指示に従って所定の楽音を発生する機能を有する。なお、音源は制御装置２０とは別体のＭＩＤＩ音源等を使用することも可能である。
In the present embodiment, the
このような構成の演奏システムにおいて、演奏者であるユーザはこの操作子１１を手で持ち、目の前にある仮想的な楽器に対して操作子１１を振り下ろすことで演奏を行う。音源は制御装置２０側にあり、操作子１１のスイッチ部１２の操作により、任意の打楽器や楽曲を選択して演奏することができる。例えば、打楽器としてドラムを選択した場合には、ユーザが操作子１１を振り下ろしたタイミングで、制御装置２０からドラム音が発生することになる。
In the performance system configured as described above, a user who is a performer performs the performance by holding the
ここで、ユーザは演奏対象とする楽曲のリズムに合わせて、操作子１１を適正な角度で振り上げて叩くといった操作を行う必要がある。しかし、楽曲によってリズムや音の強弱が違うため、楽曲毎に操作子１１を適切な角度で振り上げながら演奏することは非常に難しい。
Here, the user needs to perform an operation of swinging up and hitting the
そこで、本実施形態では、操作子１１の先端部にＬＥＤ等の発光体からなる表示部１３を設け、この表示部１３を通じて操作子１１の適正角度をユーザに指示する構成としている。
Therefore, in the present embodiment, a
以下に具体的に説明する。
図４は本システムにおける操作子１１の振り上げ角度と表示色との関係を説明するための図である。なお、図面では実際の色を表現できないため、便宜的に色の名前を付記してある。図中のＲは赤色、Ｐは桃色、Ｗは白色、ＬＢは水色、Ｂは青色を表している。
This will be specifically described below.
FIG. 4 is a diagram for explaining the relationship between the swing angle of the
操作子１１の先端部に設けられた表示部１３は、操作子１１の振り上げ動作とともに移動する。このため、実際上はユーザには表示部１３の軌跡が残像として認識される。従って、ユーザが表示部１３の表示色を認識するためには、一定期間、表示色を保つことが望ましい。
The
このため、図４で「適正角度範囲」として示してある表示範囲（ここでは白で表示される角度の範囲）は、適正な振上げ角度を含み、振上げ角度に対して上下に一定の範囲を持たせてある。ハードウェア構成により、表示部１３の形状や想定される楽器、また想定される演奏操作方法等によって、適した角度の範囲は異なるが、本実施形態では、振上げ角度の範囲を５°としている。なお、この適正角度範囲は、想定される楽器や、曲や、リズムや、各音符の特性（音長や強弱等）に応じて、適宜変化させるようにしても良い。
For this reason, the display range (here, the range of angles displayed in white) shown as “appropriate angle range” in FIG. 4 includes an appropriate swing angle and is a certain range above and below the swing angle. Is given. Depending on the hardware configuration, the suitable angle range varies depending on the shape of the
ここで、操作子１１の振上げ角度が現在演奏中の楽曲のリズムパターンに合った適正角度範囲内であれば、表示部１３は白色（Ｗ）で表示される。これに対し、操作子１１の振上げ角度が適正角度範囲を超えていれば、表示部１３は赤色（Ｒ）で表示される。なお、表示部１３の軌跡が残像として認識されるので、表示部１３が適正角度範囲よりも上方向に移動中のときは赤色（Ｒ）よりも若干明るい桃色（Ｐ）として認識される。
Here, if the swing angle of the
また、操作子１１の振上げ角度が適正角度範囲未満であれば、表示部１３は青色（Ｂ）で表示される。なお、表示部１３の軌跡が残像として認識されるので、表示部１３が適正角度範囲よりも下方向に移動中のときは青色（Ｂ）よりも若干明るい水色（ＬＢ）として認識される。
If the swing angle of the
なお、操作子の移動動作に合わせて、表示部そのものの表示色をより細かく変化させることとしても良い。例えば、停止中は青色（Ｂ）、適正角度範囲未満で移動している際は水色（ＬＢ）、適正角度範囲で白色（Ｗ）、適正角度範囲を超えた場合に桃色（Ｐ）、また、極度に適正範囲を超えた場合は赤色（Ｒ）で、実際に表示部を発光させるということも可能である。 Note that the display color of the display unit itself may be changed more finely in accordance with the movement operation of the operation element. For example, blue (B) when stopped, light blue (LB) when moving below the proper angle range, white (W) at the proper angle range, pink (P) when the proper angle range is exceeded, It is also possible to actually cause the display unit to emit light in red (R) when the appropriate range is exceeded.
また、これらの色合いが、徐々に変化するようにすることとしても良い。この場合、各色のＬＥＤや電球を複数同時に光らる方法、各色の電球の発光強度を調整して中間的な色彩を表示させる方法、時分割で複数の電球を表示させて、その各電球の発光時間の比率を適宜調整する方法、表示部を液晶モニタ等のより複雑な表示の可能なデバイスにより構成する方法、などの諸方法により実現することが可能である。 Further, these hues may be changed gradually. In this case, a method of simultaneously illuminating a plurality of LEDs or light bulbs of each color, a method of adjusting the light emission intensity of each color light bulb to display an intermediate color, a plurality of light bulbs displayed in a time-sharing manner, and a light emission of each light bulb It can be realized by various methods such as a method of appropriately adjusting the time ratio and a method in which the display unit is configured by a device capable of more complicated display such as a liquid crystal monitor.
図５は操作子１１が適正角度範囲内までの振り上げが行われたときの表示状態を示している。この場合、一番下（振り始め前）から適正角度範囲に到達するまでは、表示部１３は青色で表示されていて、適正角度範囲内まで振り上げられたとき（軌跡の一番上）に、適正角度を示す白色が表示される。このように表示を行うことによって、演奏者には、図６のように、一番下（振り始め前）では青色が認識され、振り上げ途中では水色の残像が認識され、振り上げ最高点（一番上）で白が認識される。なお、操作子１１を振り上げたとき、青色から水色への変化が残像として認識される。
FIG. 5 shows a display state when the
図６は操作子１１の振上げ角度が適正角度より少しオーバーしたときの表示状態を示している。操作子１１の振上げ角度がオーバーすると、適正角度を超えた時点で表示部１３に赤色が表示される。
FIG. 6 shows a display state when the swing angle of the
図７は操作子１１の振上げ角度が適正角度より少し不足したときの表示状態を示している。操作子１１の振上げ角度が不足すると、表示部１３に白色が表示されず、青色の軌跡のみとなる。
FIG. 7 shows a display state when the swing angle of the
ユーザはこのような表示変化を参考にして、常に操作子１１の振り上げ最高点での表示が白色になるようにショット（打撃）を行うことで、安定した演奏を行うことができる。また、演奏者は、振り上げ最高点での色合いによって、今のショットが、振り上げすぎであったのか、振り幅が足りなかったのか、等といった情報が直ちに直感的に得られるので、これに合わせて自己の演奏の傾向等を知ることができるとともに、演奏中に適宜自己の振り幅を矯正することが可能となって、演奏の上達を図ることができる。
The user can perform a stable performance by making a shot (striking) so that the display at the highest point of the swing of the
次に、本実施形態の演奏システムにおける動作について詳しく説明する。 Next, the operation in the performance system of this embodiment will be described in detail.
いま、図１に示したように、演奏者であるユーザが操作子１１を手で持ち、この操作子１１を打楽器のスティックに見立てて、目の前で振りながらエア楽器の演奏を行う場合を想定する。
Now, as shown in FIG. 1, a user who is a performer holds the operating
演奏する楽曲は操作子１１に設けられたスイッチ部１２の操作などにより任意に選択でき、その楽曲の選択信号が無線通信により制御装置２０に送られる。制御装置２０では、スイッチ部１２の操作による演奏開始信号を受けて、ユーザが演奏対象として選択した楽曲を流す。または、演奏する楽曲や演奏の開始は、ユーザが制御装置２０側のキーボードやマウス等を用いて指示入力しても良い。ユーザは制御装置２０から楽曲が流れたときのタイミングで演奏を開始する。
The musical piece to be played can be arbitrarily selected by operating the
その際、ユーザが演奏対象として選択した楽曲の電子譜面が制御装置２０の表示部２２に表示される。この電子譜面にはリズムパターンが記載されており、演奏に同期して表示される。したがって、このリズムパターンの表示を目で追うことで、ショット動作のタイミングを計ることができる。
At that time, the electronic musical score of the music selected as the performance target by the user is displayed on the
このとき、演奏装置１０として用いられる操作子１１では、楽曲のリズムパターンに合わせて適正な振上げ角度で演奏されているか否かを指示表示する。具体的には図４乃至図７で説明したように、操作子１１の動きを監視し、操作子１１の先端部に設けられた表示部１３の表示色を変化させて適正な振上げ角度で演奏されているか否かを指示表示する。
At this time, the
この振上げ角度の演奏指示（表示部１３の表示色）は、リズムパターンに従って適宜更新される。詳しくは、操作子１１を振り上げるタイミングからショットを終える期間を一連の動作として演奏指示が行われる。なお、操作子１１を２本用意して、左右でショットする場合には、左右それぞれのショットのタイミングに合わせて、それぞれに独立して演奏指示が行われる。
The performance instruction for the swing angle (display color on the display unit 13) is appropriately updated according to the rhythm pattern. Specifically, a performance instruction is given as a series of operations in which a shot is finished from the timing when the operating
以下に、演奏装置１０（操作子１１）側で実行される処理について、（ａ）メイン処理、（ｂ）状態検知・演奏指示処理、（ｃ）発音処理、（ｄ）演奏指示処理、（ｅ）音楽データに対応する振上げ角度算出処理、（ｆ）振上げ角度表示処理に分けて説明する。 The processing executed on the performance device 10 (operator 11) side is as follows: (a) main processing, (b) state detection / performance instruction processing, (c) sound generation processing, (d) performance instruction processing, (e The explanation will be divided into a swing angle calculation process corresponding to music data and (f) a swing angle display process.
（ａ）メイン処理
図８は演奏装置１０（操作子１１）のメイン処理を示すフローチャートである。なお、このフローチャートで示される処理は、演奏装置１０に設けられた制御部（ＣＰＵ）１４が記憶部１５に記憶されたプログラム１５ａを読み込むことにより実行される。
(A) Main processing
FIG. 8 is a flowchart showing the main processing of the performance apparatus 10 (operation element 11). The processing shown in this flowchart is executed by reading a
まず、スイッチ部１２の操作により演奏装置１０の電源が投入されると、制御部１４は、記憶部１５のワークエリアをクリアするなどのイニシャライズ処理を実行する（ステップＡ１１）。
First, when the
なお、イニシャライズ処理として、打面の角度検出等のキャリブレーションも含まれる。このキャリブレーションは、例えば、以下のような３つの処理などのうち、必要に応じたものを適宜用いて実行することができる。 The initialization process includes calibration such as angle detection of the hitting surface. This calibration can be executed by appropriately using, for example, one of the following three processes.
・ＳＴＥＰ１：重力方向の検知
ユーザが操作子１１を静止させている間に加速度センサの重力方向を検知して、絶対座標を決定する。
STEP 1: Detection of Gravity Direction The user detects the gravity direction of the acceleration sensor while the
・ＳＴＥＰ２：打面を叩いた時のスティックの角度を検知
ユーザが打面を叩いた時に加速度センサの波形が急激に変化することを利用して、その瞬間の操作子１１の角度を角速度センサの情報を元に検知する。そして、打面に接触している時の操作子１１の角度を基準にして振上げ角度を定義する。なお、振上げ角度の算出方法については後述する。
STEP 2: Detecting the angle of the stick when hitting the striking surface Utilizing the fact that the waveform of the acceleration sensor changes suddenly when the user strikes the striking surface, the angle of the
・ＳＴＥＰ３：任意の振上げ角度で叩かれた時の音量（衝撃）を検知
ユーザが任意に打面を叩いた時に得られる加速度センサの衝撃と角速度センサの速度から音量を検知し、音量に応じた振上げ角度の相関関係を検知する。この検知結果と標準的な振上げ角度と音量の相関関係とを比較すれば、ユーザが手に力が入っているかを判別することができる。
・ STEP3: Detects volume (impact) when struck at any swing angle Detects volume from the acceleration sensor's impact and the speed of angular velocity sensor obtained when the user hits the striking surface arbitrarily, and according to the volume The correlation of the swing angle is detected. If this detection result is compared with the correlation between the standard swing-up angle and the sound volume, it can be determined whether the user has power in the hand.
実際の振上げ角度の上限に関しては、演奏方法により異なるが、本実施形態では９０°とする。なお、演奏方法に応じて効果的な値を設定すれば良い。例えば操作子１１を回転して叩くような演奏方法では振上げ角度の上限を３６０°として設定し、何回か回転させるような演奏方法では、３６０°を越えて設定することでも良い。
Although the actual upper limit of the swing angle differs depending on the performance method, it is 90 ° in this embodiment. An effective value may be set according to the performance method. For example, the upper limit of the swing angle may be set to 360 ° for a performance method in which the
このようなイニシャライズ処理の後、ユーザが演奏対象として選択した楽曲の電子譜面が制御装置２０の表示部２２に表示される。ユーザはこの電子譜面に記載されたリズムパターンに合わせて操作子１１を動かして演奏を行うことになる。
After such initialization processing, the electronic musical score of the music selected as the performance target by the user is displayed on the
ここで、制御部１４は、操作子１１の動きに対する状態検知・演奏指示を実行する（ステップＡ１２）。この状態検知・演奏指示処理では、制御部１４は、操作子１１に内蔵された３軸加速度センサ、角速度センサ、地磁気センサを用いて、操作子１１を振り下ろした位置や向きなどの動きを検知する。また、ユーザが操作子１１を振り上げたときに、表示部１３を通じて適正角度で演奏されているか否かを指示表示するなどの処理を行う。なお、この状態検知・演奏指示処理については、後に図９を参照して説明する。
Here, the
続いて、制御部１４は、発音処理を実行する（ステップＡ１３）。この発音処理では、制御部１４は、ユーザが操作子１１を振り下ろしたタイミングに合わせて、音源である制御装置２０に対して発音指示を行う。詳しくは、後に図１０を参照して説明する。
Subsequently, the
制御部１４は、その他の演奏に関わる処理を含め、上記ステップＡ１２からの処理を繰り返し実行する（ステップＡ１４，Ａ１５）。電源がオフされると（ステップＡ１５のＹｅｓ）、制御部１４はここでの一連の処理を終了する。
The
（ｂ）状態検知・演奏指示処理
図９は上記図８のステップＡ１２で実行される状態検知・演奏指示処理を示すフローチャートである。
(B) State detection / performance instruction processing
FIG. 9 is a flowchart showing the state detection / performance instruction process executed in step A12 of FIG.
制御部１４は、センサ部１６として設けられた３軸加速度センサ、角速度センサ、地磁気センサの各情報が入力されることにより（ステップＢ１１）、自律姿勢制御アルゴリズムを用いて、操作子１１の位置、向きなどの動き（姿勢）を検知する（ステップＢ１２）。
The
次に、制御部１４は、演奏中に制御装置２０から送られてくる音楽データに対応する演奏指示処理を実行する（ステップＢ１３）。この音楽データには、ユーザが選択した楽曲のリズムパターンが含まれている。制御部１４は、この音楽データに基づいて適正な振上げ角度で演奏されているか否か等の演奏指示の表示を行う。この演奏指示処理については、後に図１１を参照して説明する。
Next, the
（ｃ）発音処理
図１０は上記図８のステップＡ１３で実行される発音処理を示すフローチャートである。
(C) Pronunciation process
FIG. 10 is a flowchart showing the sound generation process executed in step A13 of FIG.
制御部１４は、センサ部１６として設けられた３軸加速度センサ、角速度センサ、地磁気センサの各情報に基づいて操作子１１の動きを検知している。ここで、操作子１１について、各センサ値の所定の状態遷移が検出されることにより、静止状態から振り上げ動作後振り下ろし動作が行われたと検知されると、制御部１４は、ユーザがエア楽器のパーツに対してショット動作を行ったものと判断し（ステップＣ１１のＹｅｓ）、音源である制御装置２０に対して発音指示を行う（ステップＣ１２）。センサ値の所定の状態遷移としては、例えば、加速度センサが、静止時の値（キャリブレーション値）である状態から上方への加速度を所定時間以上観測し、その後に急激な下方への加速度を検出して振り下ろされたと検知された場合などである。
The
なお、空間上におけるエア楽器のパーツの位置は、予め初期設定時などに選ばれたドラムセットに応じて設定されているものとする。制御部１４では、操作子１１が振り下ろされた位置がどのパーツに相当する位置かを判断し、当該位置におけるパーツの楽音を発生するように制御装置２０に対して指示する。
It is assumed that the position of the parts of the air musical instrument in the space is set in advance according to the drum set selected at the time of initial setting or the like. The
これにより、制御装置２０から操作子１１の動きに合わせて所定の楽音が発生される。例えばエアドラムの演奏の場合、操作子１１が振り下されたときに、その移動先がスネアドラムのエリアであれば、スネアドラムの楽音が発生される。同様に、操作子１１の移動先がシンバルのエリアであれば、シンバルの楽音が発生されることになる。このときの音量は操作子１１の振り上げ角度や、振り下ろし速度などで決まる。振り下ろし速度については、楽曲のテンポやリズムパターンの刻みの細かさ等によって制約を受けるので、結果的に、楽曲のテンポやリズムパターンに応じて、適正な振り上げ角度というものが算出できる。そして、この適正な振り上げ角度よりも操作子１１を大きく振れば音量が大きくなり、操作子１１を小さく振れば音量が小さくなる。
Thereby, a predetermined musical sound is generated from the
（ｄ）演奏指示処理
図１１は上記図９のステップＢ１３で実行される音楽データに対応する演奏指示処理を示すフローチャートである。
(D) Performance instruction processing
FIG. 11 is a flowchart showing a performance instruction process corresponding to the music data executed in step B13 of FIG.
制御部１４は、制御装置２０から送られて来た音楽データを読み込むと（ステップＤ１１）、その音楽データに対応する振上げ角度を算出する（ステップＤ１２）。ここで算出された振上げ角度が適正角度として演奏者への指示表示の際の基準として用いられる。詳しくは、後に図１２を参照して説明する。
When the
制御部１４は、上記適正角度と演奏中の操作子１１の振上げ角度とを比較して、操作子１１の振上げ角度が適正角度範囲内にあるか否かを判断する。制御部１４は、その判断結果に応じて表示部１３の表示色を制御することで、ユーザに演奏指示（指示表示）を行う（ステップＤ１３）。詳しくは、後に図１３を参照して説明する。
The
（ｅ）音楽データに対応する振上げ角度算出処理
図１２は上記図１１のステップＤ１２で実行される音楽データに対応する振上げ角度算出処理を示すフローチャートである。
(E) Swing-up angle calculation process corresponding to music data
FIG. 12 is a flowchart showing the swing angle calculation process corresponding to the music data executed in step D12 of FIG.
制御部１４は、音楽データに含まれる楽曲のリズムパターンから次のショットの音量Ｖとショット間隔(ショットまでに残された時間）Ｔを取り出す（ステップＥ１１）。そして、制御部１４は、音量Ｖに応じた標準的な（自由落下に近似）の振上げ角度α0を算出すると共にショット間隔Ｔに応じた振上げ角度の差分αdを算出する（ステップＥ１２，Ｅ１３）。
The
制御部１４は、標準的な振上げ角度α0とショット間隔Ｔに応じた振上げ角度の差分αdを用いて、下記（１）式に従って演奏指示の振上げ角度（つまり、音楽データに対応した適正角度）αfを求める（ステップＥ１４）。
The
αf＝α0−αd …（１）
ここで、ショット間隔Ｔが十分な場合は、自由落下に近い条件で音量Ｖに応じた振上げ角度α0を算出する。一方、ショット間隔Ｔが短くなってきた場合には、自由落下では間に合わなくなり、ユーザが手首に適切な力を入れて、スティックとして用いられる操作子１１を高速にスウィングすることになる。したがって、角速度(厳密に言うと操作子１１の先端部であるが、角速度で代用可能)が増した分、振上げ角度α0を減算する必要がある。
αf = α0−αd (1)
Here, when the shot interval T is sufficient, the swing angle α 0 corresponding to the volume V is calculated under conditions close to free fall. On the other hand, when the shot interval T becomes short, it is not in time for free fall, and the user puts an appropriate force on the wrist and swings the operating
実際には、操作子１１の重量や打面のリバウンドの影響等を受けるため、標準的（代表的）な振上げ角度を計測して標本化（つまり、データテーブル化）しておくことが有効である。この場合、本実施形態における操作子１１には角速度センサや加速度センサが取り付けられているので、実際に演奏中に得られた振上げ角度のデータをサンプリングして標本化できる。
Actually, since it is affected by the weight of the
具体的に説明すると、被験者が特定の音量を叩いた時の振上げ角度とショット時の音量、ショット間隔を計測し、それぞれの相関関係を関連付けして標本化しておく。リアルタイムに処理可能なシステムにおいては、実際にショットしたデータをフィードバックして標本データを補正することも可能である。演奏する楽曲のリズムパターンやニュアンスなどに応じて適宜学習させることで、より表現力の高い演奏指示（振上げ角度の指示）を行うことができる。 More specifically, the swing angle when the subject hits a specific volume, the volume at the time of shot, and the shot interval are measured, and each correlation is correlated and sampled. In a system capable of processing in real time, it is possible to correct sample data by feeding back actually shot data. By appropriately learning according to the rhythm pattern or nuance of the music to be played, it is possible to give a performance instruction (indication of the swing angle) with higher expressive power.
（ｆ）振上げ角度表示処理
図１３は上記図１１のステップＤ１３で実行される振上げ角度表示処理を示すフローチャートである。
(F) Swing angle display processing
FIG. 13 is a flowchart showing the swing angle display process executed in step D13 of FIG.
ユーザは演奏対象として選択した楽曲のリズムパターンに合わせて操作子１１をショット動作しながら演奏を行っている。ここで、ユーザが楽曲のリズムパターンに合わせて操作子１１を振り上げたとき、制御部１４は、そのときの振上げ角度を算出する（ステップＦ１１）。
The user performs the performance while performing the shot operation of the
なお、演奏中の操作子１１の振上げ角度は、操作子１１に姿勢検知センサとして内蔵された加速度センサ、角速度センサ、地磁気センサによって検知される。これらのセンサを用いて姿勢検知を行う方法については公知であるため、ここでは詳しい説明を省略するものとする。
Note that the swing angle of the operating
ここで、制御部１４は、上記ステップＤ１２で求めた演奏指示の振上げ角度（適正角度）と現在の操作子１１の振上げ角度とを比較し、現在の操作子１１が適正角度範囲内にあるか否かを判断する（ステップＦ１２，Ｆ１３）。現在の操作子１１が適正角度範囲内にあれば（ステップＦ１３のＮｏ）、制御部１４は、操作子１１の表示部１３を白色で表示する（ステップＦ１５）。
Here, the
この状態が図５において操作子１１が最高点にある場合である。操作子１１の表示部１３が白色表示されていることで、ユーザは適正角度で操作子１１を振り上げていることを認識できる。この状態で操作子１１を振り下ろせば、適正なリズムと音量で楽音を鳴らすことができる。
This state is a case where the
一方、現在の操作子１１が適正角度範囲を超えている場合つまり操作子１１が適正角度範囲よりも上にある場合には（ステップＦ１３のＹｅｓ）、制御部１４は、操作子１１の表示部１３を赤色で表示する（ステップＦ１４）。
On the other hand, when the
この状態が図６において操作子１１の振り上げが適正角度をオーバーしてしまった場合である。操作子１１の表示部１３が赤色表示されていることで、ユーザは操作子１１の振り上げ方がオーバー気味であることを認識できる。これにより、次に同じリズムパターンで演奏するときには、操作子１１を少し下げた位置でショットすることを心がけることができる。
This state is a case where the swing of the operating
また、現在の操作子１１が適正角度範囲未満の場合つまり操作子１１が適正角度範囲よりも下にある場合には（ステップＦ１２のＹｅｓ）、制御部１４は、操作子１１の表示部１３を青色で表示する（ステップＦ１４）。
Further, when the
この状態が図７において操作子１１の振り上げが適正角度に不足してしまった場合である。操作子１１の表示部１３が青色表示されていることで、ユーザは操作子１１の振り上げ方が不足気味であることを認識できる。これにより、次に同じリズムパターンで演奏するときには、操作子１１を少し上げた位置でショットすることを心がけることができる。
This state is a case where the swing of the operating
ここで、演奏指示として適正な振上げ角度を指示する理由について、シングルストロークロールを例にして説明する。 Here, the reason for instructing an appropriate swing angle as a performance instruction will be described using a single stroke roll as an example.
図１４はシングルストロークロールの打楽器（ドラム）の譜面の一例を示す図である。「シングルストロークロール」とは、左右のスティックで交互に連打を行う最も基本的な演奏方法である。 FIG. 14 is a diagram showing an example of a musical score of a percussion instrument (drum) of a single stroke roll. “Single stroke roll” is the most basic performance method in which the left and right sticks are alternately repeated.
図１４の例のようなリズムパターンで、シングルストロークロールを一定の音量でテンポよく綺麗に演奏するためには、下記の２点が重要となる。 The following two points are important in order to perform a single stroke roll with a constant volume and a good tempo with the rhythm pattern as in the example of FIG.
・一定の安定したタイミング(等間隔)で叩く
・毎回均一なスティックのストローク(軌跡)を維持する
そのためには、スティック（操作子１１）の振上げ角度を一定に保つ必要がある。振上げ角度さえ決まれば、後は腕を脱力し、重力に任せて打面にスティックを落とすことで発音することが可能になる。
-Strike at a constant and stable timing (equal intervals)-Maintain a uniform stick stroke (trajectory) every time For that purpose, it is necessary to keep the stick (operator 11) swinging angle constant. Once the swing angle is determined, the arm can be weakened and it can be pronounced by dropping the stick on the striking surface, leaving it to gravity.
一般的に高速なシングルストロークロールを演奏するためには、手の力を抜く必要がある。力んでしまうと早く動かない上、打音も鈍い音となり、綺麗な音が出せなくなってしまう。音量を変える時、例えばアクセントを付ける時（大きな音を出す時）も、その音量に応じた適正な振上げ角度を適切なタイミングで叩く前に準備しておく。これにより、無駄な力を入れずに演奏でき、結果的に高速なリズムパターンであってもスムーズかつ綺麗な音色で演奏できる。 Generally, in order to play a high-speed single stroke roll, it is necessary to remove the power of the hand. If you force it, it will not move quickly, and the sound will be dull and you will not be able to produce a beautiful sound. When changing the volume, for example, when adding an accent (when producing a loud sound), prepare an appropriate swing angle according to the volume before hitting it at an appropriate timing. As a result, it is possible to perform without wasting power, and as a result, even a high-speed rhythm pattern can be played with a smooth and beautiful tone.
次に、リズムパターン（フレーズ）に応じた演奏指示の例について説明する。 Next, an example of a performance instruction according to a rhythm pattern (phrase) will be described.
図１５に４分音符を片方のスティックで叩いた時の適正な振上げ角度とそのタイミングの一例を示す。この例では、適正角度４５°としている。なお、適正角度は楽曲によって異なり、上記（ｅ）で説明した方法で算出される。 FIG. 15 shows an example of an appropriate swing angle and timing when a quarter note is hit with one stick. In this example, the appropriate angle is 45 °. The appropriate angle differs depending on the music and is calculated by the method described in (e) above.
これに対し、図１６に同じ４分音符で振上げ角度が不適切な例を示す。符幹（音符の「ぼう」）の部分が点線の４分音符は正しいタイミングを表している。この例からも分かるように、振上げ角度がバラバラになると、タイミングまでずれやすくなる。 In contrast, FIG. 16 shows an example in which the swing angle is inappropriate for the same quarter note. A quarter note whose dotted stem is the dotted stem (“bow”) represents the correct timing. As can be seen from this example, when the swing-up angle varies, the timing is easily shifted.
図１７に８分音符を左右のスティックで叩いた時の適正な振上げ角度とそのタイミングの一例を示す。なお、この演奏は、上記図１５の４分音符を左右で振り分けて叩くことで実現できる。左右共に適正角度４５°である。 FIG. 17 shows an example of an appropriate swing angle and timing when an eighth note is hit with the left and right sticks. This performance can be realized by hitting the quarter note in FIG. The right and left are both at an appropriate angle of 45 °.
図１８に４分音符と８分音符を組み合わせたリズムパターン（タンタタ）を左右のスティックで叩いた時の適正な振上げ角度とそのタイミングの一例を示す。左右共に適正角度４５°である。ただし、左側は右側に比べて連打の間隔が長いので、待機している時間がある。この待機の間にタイミングを計り、左側のスティックの振上げ開始ポイントを掴むことがリズムを安定させることになる。 FIG. 18 shows an example of an appropriate swing angle and timing when a rhythm pattern (tanta tata) combining quarter notes and eighth notes is hit with the left and right sticks. The right and left are both at an appropriate angle of 45 °. However, the left side has a longer interval than the right side, so there is a waiting time. Measuring the timing during this waiting time, and grasping the swing start point of the left stick stabilizes the rhythm.
図１９に１６分音符を左右のスティックで叩いた時の適正な振上げ角度とそのタイミングの一例を示す。図１５と比較して分かるように、速い連打を含む場合はスティックの速度が速くなる。したがって、同じ音量を維持しようとした場合には、スティックの振幅は小さくする。つまり、振上げ角度を小さくする必要がある。 FIG. 19 shows an example of an appropriate swing angle and its timing when a 16th note is hit with the left and right sticks. As can be seen from comparison with FIG. 15, the speed of the stick is increased in the case of including quick repeated hits. Therefore, when trying to maintain the same volume, the amplitude of the stick is reduced. That is, it is necessary to reduce the swing angle.
図２０には更にアクセントを付けて叩いた時の１６分音符を左右のスティックで叩いた時の適正な振上げ角度とそのタイミングの一例を示す。この場合、左右で適正角度が４５°とは限らない。一例としたのはテンポやアクセントの位置等によって異なるからである。例えば、遅いテンポは待機している期間が多くなり、速いテンポでは振幅が小さくなるなど、幾つかの要素を組み合わせることによって振上げ角度の演奏指示を実現できる。 FIG. 20 shows an example of an appropriate swing angle and timing when a sixteenth note is tapped with the left and right sticks when further tapped with an accent. In this case, the appropriate angle on the left and right is not always 45 °. One example is that it varies depending on the tempo, the position of the accent, and the like. For example, a performance instruction for a swing-up angle can be realized by combining several factors, such as a slower tempo with a longer waiting period and a smaller amplitude with a faster tempo.
このように、打楽器ではスティックの振上げ角度やタイミングの組み合わせを変えることで、様々なリズムパターンを演奏することができる。そして、これらの演奏で適正角度を指示するにあたり、それぞれに適した幾つかのスティックの表示方法が考えられる。 Thus, percussion instruments can play various rhythm patterns by changing the combination of the swing angle and timing of the stick. In order to indicate an appropriate angle in these performances, several stick display methods suitable for each can be considered.
すなわち、上記実施形態では、スティックとして用いられる操作子１１が適正角度範囲内にあるとき、適正角度範囲を超えたとき、適正角度範囲に見ないときの３通りで表示部１３に表示する色を変えていた。
That is, in the above-described embodiment, when the operating
ここで、シングルストロークロールのように連続して叩く場合には振上げタイミングをそれ程意識しなくても良い。しかし、ゆっくりしたテンポや、図１８のように左右で異なるリズムパターンのように、ショット動作を行わない待機期間が重要となるリズムパターンの場合には振上げタイミングや待機期間中の振上げ角度を演奏指示に加えた方が良いことがある。 Here, when hitting continuously like a single stroke roll, it is not necessary to pay much attention to the swing timing. However, in the case of a rhythm pattern in which a standby period in which a shot operation is not performed is important, such as a slow tempo or a different rhythm pattern on the left and right as shown in FIG. 18, the swing timing and the swing angle during the standby period are set. It may be better to add to the performance instructions.
また、アクセント付の場合には振り上げる速度も重要になる。更には、任意の音量で演奏したい場合は、白色表示されるよりも必要な角度が分かった方が良いことがある。 In the case of accents, the speed of swinging is also important. Furthermore, if you want to play at an arbitrary volume, it may be better to know the required angle than to display white.
以下では、それらを解決する方法について説明する。
制御部１４は、下記の手法１〜４のいずれかを用いて待機時間中も含めて振上げ角度に関する演奏指示を行う。
Below, the method of solving them is demonstrated.
The
（手法１）
操作子１１のショット動作を行わない待機期間の間、操作子１１の表示部１３を色表示せずに消灯する。これにより、ユーザは表示部１３に青色が表示された時に操作子１１を振上げ、赤色が表示された時に操作子１１を振下げることになる。つまり、色表示による演奏指示に従って、リズムパターンに合わせて演奏を行うことができる。この場合、必ずしも適正な振上げ角度を白表示する必要はないが、白表示も行えば、適正な振上げ角度をユーザに認識させることができる。
(Method 1)
During the standby period when the
（手法２）
操作子１１の待機期間を含めて、操作子１１が次のショットに対して適正角度範囲にあるときは白表示、適正角度範囲を下回った場合は青表示、適正角度範囲を上回った場合は赤表示とする。この場合、ユーザは常に操作子１１の表示色が白表示となるように振上げ／振下げ動作を行えば良いことになる。
(Method 2)
Including the standby period of the
これにより、上手く叩けている時は常に白表示される。ショット時に振幅が不足した場合は青く表示され、超過した場合は赤く表示される。ある程度演奏パターンを習得したユーザにとっては、ミスをした部分のみ色が変わるため、表示色がシンプルで目障りではなく、分かりやすい。 As a result, white is always displayed when hitting well. When the amplitude is insufficient at the time of a shot, it is displayed in blue, and when it exceeds it, it is displayed in red. For a user who has mastered a performance pattern to some extent, the color changes only in the part where he / she made a mistake, so the display color is simple, not obtrusive, and easy to understand.
この手法によると、待機期間中の操作子１１の位置も指示することができるので、演奏中の間、常に正確な位置を指示することができる。なお、待機期間中に適正角度範囲を特定する必要がなければ、単に白表示を行うか、もしくは、適正範囲を広げることなどで対応可能である。
According to this method, since the position of the
（手法３）
上記手法２と同様に、操作子１１の待機期間を含めて、操作子１１が次のショットに対して適正角度範囲にあるときは白表示、適正角度範囲を下回った場合は青表示、適正角度範囲を上回った場合は赤表示とする。その際、操作子１１の振上げ角度が適性角度に近づいたときに徐々に表示色を切り替える。図２１、図２２、図２３に具体例を示す。図中のＲは赤色、Ｐは桃色、Ｗは白色、ＬＢは水色、Ｂは青色を表している。
(Method 3)
Similar to the above method 2, including the standby period of the
図２１の例では、操作子１１の振上げ角度が適性角度に近付いたときに徐々に表示色を切り替えた状態を示している。すなわち、操作子１１が適性角度よりも上の位置にある状態では表示部１３は赤色に表示されている。この状態で操作子１１を下に向けて移動させると、適性角度に近付いたときに表示部１３が赤色から桃色に変化し、適性角度の範囲に入った時点で表示部１３が白色になる。
The example of FIG. 21 shows a state in which the display color is gradually switched when the swing angle of the
一方、操作子１１が適性角度よりも下の位置にある状態では表示部１３は青色に表示されている。この状態で操作子１１を上に向けて移動させると、適性角度に近付いたときに表示部１３が青色から水色に変化し、適性角度の範囲に入った時点で表示部１３が白色になる。
On the other hand, the
また、図２２の例では、アクセント等の音量大きめの場合の演奏指示を示している。この場合、操作子１１の適性角度が比較上方の位置にあり、その位置に合わせて表示部１３の色が変化する。図２３の例では、非アクセント等の音量小さめの場合の演奏指示を示している。この場合、操作子１１の適性角度が比較下方の位置にあり、その位置に合わせて表示部１３の色が変化する。
Further, the example of FIG. 22 shows a performance instruction when the volume of an accent or the like is high. In this case, the appropriate angle of the
この手法によれば、操作子１１の振上げ角度が適性角度に近付いることを色変化から認識することができる。したがって、待機期間から操作子１１を動かすときに、どこまで振り上げておけば良いかを把握しやすい。
According to this method, it can be recognized from the color change that the swing angle of the
（手法４）
操作子１１の振上げ角度毎に表示色を固定する。電子譜面上に表示されている各音符は適正な振上げ角度に応じた色で表示する。これにより、ユーザは音量に応じた振上げ角度を、電子譜面上に表示されている各音符の色別に判断して、操作子１１の表示部１３がこの各音符の色と同じ色になるように操作子１１を動かすことができる。図２４、図２５、図２６、図２７に具体例を示す。図中のＲは赤色、Ｗは白色、Ｂは青色を表している。
(Method 4)
The display color is fixed for each swing angle of the
図２４の例では、青色のグラデーションを用いて音量に対応した振上げ角度の演奏指示を実現している。この例では、音量が小さいほど青色が濃くなり、音量が大きいほど青色が淡くなる。この場合、輝度を変えるだけで、単色で実現することができる。図２５の例では、適正角度範囲で別の色を表示している。適正角度範囲で別の色を表示することで、ユーザに適正角度の位置を分かりやすく指示することができる。 In the example of FIG. 24, the performance instruction of the swing angle corresponding to the volume is realized using a blue gradation. In this example, the blue is darker as the volume is lower, and the blue is lighter as the volume is higher. In this case, it can be realized in a single color simply by changing the luminance. In the example of FIG. 25, another color is displayed in an appropriate angle range. By displaying another color in the appropriate angle range, it is possible to instruct the user of the position of the appropriate angle in an easy-to-understand manner.
図２６は、単色ではなく２色で振上げ角度の演奏指示を行った例である。この例では、赤色と青色の２色を使い、上の位置から下の位置に向かって赤色から青色に変化させている。図２７は、色数を増やし、振上げ角度に応じた区別を付けやすくした例である。音量と振上げ角度に相関した色表示を行っている。この例では、操作子１１の振上げ角度を０°〜９０°の範囲で１５分割し、それぞれに異なる色を表示している。図２８に各色のＲＧＢデータの例を示す。
FIG. 26 shows an example in which a performance instruction for the swing angle is given in two colors instead of a single color. In this example, two colors of red and blue are used, and the color is changed from red to blue from the upper position toward the lower position. FIG. 27 is an example in which the number of colors is increased to make it easy to distinguish according to the swing angle. Color display correlated with volume and swing angle. In this example, the swing angle of the
この手法によれば、操作子１１の振上げ角度毎に表示色を固定しておくことで、ユーザは電子譜面の各音符に付された色と同じ色になるように操作子１１を振り上げて演奏することができる。
According to this method, by fixing the display color for each swing angle of the
以上のような手法１−４を組み合わせることにより、演奏する楽曲に応じて、ユーザにとって分かりやすい演奏指示を実現することが可能となる。 By combining the above methods 1-4, it is possible to realize performance instructions that are easy for the user to understand according to the music to be played.
このように本実施形態の演奏システムによれば、演奏対象となる楽曲のリズムパターンに合わせて、操作子１１の適正角度が表示部１３を通じて指示される。したがって、演奏者はその指示に従って操作子１１を適正角度で振り上げてショット動作することで、楽曲のリズムパターンに合わせた演奏を簡単に行うことができる。
As described above, according to the performance system of the present embodiment, the appropriate angle of the
また、ユーザが任意の楽曲を演奏対象として選択すると、その楽曲のリズムパターンに適した操作子１１の振上げ角度が算出され、当該楽曲の演奏に同期させて指示される。したがって、楽曲を変えて演奏する場合でも、その指示に従って操作子１１を動かすことができ、誰でも簡単に演奏することができる。
Further, when the user selects an arbitrary piece of music as a performance target, the swing angle of the
なお、上記実施形態では、制御装置２０を音源として用い、操作子１１からの指令に従って楽音を発生する構成としたが、操作子１１に音源の機能に持たせても良い。このような構成とすれば、制御装置２０は不要であり、操作子１１だけを用いて演奏を楽しむことも可能である。
In the above embodiment, the
また、上記実施形態では、演奏装置１０として用いられる操作子１１側で音楽データに対応した振上げ角度を算出する構成としたが（図１１のステップＤ１２参照）、制御装置２０側にこの振上げ角度の算出機能を持たせておき、この算出機能で得られた適正角度を当該楽曲の演奏に同期させて操作子１１に送るようにしても良い。このような構成とすれば、操作子１１側に振上げ角度の算出機能が不要となるので、処理負担を軽減することができる。
Further, in the above embodiment, the configuration is such that the swing angle corresponding to the music data is calculated on the
また、上記実施形態では、仮想的なエア楽器を演奏する場面での実施例を説明したが、これに限られず、実際のドラムセット等を演奏する場合にも適用することが可能である。この場合においても、ドラムスティック等の操作子に上記実施形態と同様に各種のセンサ等が備えられていれば、実物のドラムセットを演奏する場合であってもエア楽器の場合と同様に本発明を適用することが可能である。 In the above-described embodiment, an example in which a virtual air musical instrument is played has been described. However, the present invention is not limited to this, and the present invention can be applied to playing an actual drum set or the like. Even in this case, the present invention is the same as in the case of an air musical instrument even when playing an actual drum set, as long as various sensors and the like are provided in the operation element such as a drum stick. It is possible to apply.
また、本願の説明では一般的に「振上げ」あるいは「振り上げ」との用語を用いて説明を行ったが、より広く「振り上げ」「振り下げ」なども含む概念として「振り角度」と考えて本発明を実施することも可能である。すなわち、スティックを水平にした場合、あるいはショット時の打面位置にスティック先端がある場合（キャリブレーション位置）を基準とする以外にも、振り上げ最高点を基準として、そこから下向きの角度を用いて本発明を実施することとしても良い。さらにまた、例えば、銅鑼や横向きに叩く大太鼓のような楽器の場合は、横方向の振り角度を用いて、同様に本発明を実施することとしても良い。 In the description of the present application, the term “swing up” or “swing up” is generally used for explanation. However, the concept of “swing up” and “swing down” is more widely considered as “swing angle”. It is also possible to implement the present invention. That is, when the stick is leveled, or when the tip of the stick is in the shot surface position (calibration position), the downward angle from the highest point is used as a reference. The present invention may be implemented. Furthermore, for example, in the case of a musical instrument such as a copper casket or a large drum that strikes sideways, the present invention may be similarly implemented using a horizontal swing angle.
要するに、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 In short, several embodiments of the present invention have been described, but these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
さらに、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレシキブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、通信媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。 Furthermore, the method described in the above-described embodiment is applied to a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), and a semiconductor memory as a program that can be executed by a computer. It can be written and applied to various devices, or transmitted by a communication medium and applied to various devices. A computer that implements this apparatus reads the program recorded on the recording medium, and executes the above-described processing by controlling the operation by this program.
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
表示部を有し、ショット動作を行うことにより楽音を発生させる操作子と、
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出する振り角度算出手段と、
上記振り角度算出手段によって算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させる演奏指示手段と
を具備したことを特徴とする演奏システム。
Hereinafter, the invention described in the scope of claims of the present application will be appended.
[1]
An operator having a display and generating a musical sound by performing a shot operation;
Based on music data including a rhythm pattern of music, a swing angle calculation means for calculating a swing angle of the operator corresponding to the rhythm pattern of the music;
A performance system comprising: performance instruction means for displaying on the display section whether or not the operator is at an appropriate angle during a shot operation based on the swing angle calculated by the swing angle calculation means.
［２］
上記操作子の振り状態に基づいて振り角度を検知する振り角度検知手段をさらに具備し、
上記演奏指示手段は、上記振り角度検知手段によって検知された振り角度と、上記振り角度算出手段によって算出された振り角度とを比較し、当該比較結果に応じて上記表示部の表示を変化させることを特徴とする［１］記載の演奏システム。
[2]
A swing angle detecting means for detecting a swing angle based on the swing state of the operation element;
The performance instruction means compares the swing angle detected by the swing angle detection means with the swing angle calculated by the swing angle calculation means, and changes the display of the display unit according to the comparison result. The performance system according to [1].
［３］
上記振り角度算出手段は、上記楽曲のリズムパターンからショットの音量とショット間隔の情報を取得し、当該ショットの音量とショット間隔の情報に基づいて上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出することを特徴とする［１］または［２］記載の演奏システム。
[3]
The swing angle calculation unit obtains information on the volume and shot interval of the shot from the rhythm pattern of the music, and swings the operator corresponding to the rhythm pattern of the music based on the information on the volume and shot interval of the shot. The performance system according to [1] or [2], wherein an angle is calculated.
［４］
上記演奏指示手段は、
上記操作子の振り角度がショット動作時に上記適正角度の範囲内にある場合に第１の表示色、上記適正角度の範囲を超えている場合に第２の表示色、上記適正角度の範囲未満の場合に第３の表示色を用いて上記表示部に表示させることを特徴とする［１］から［３］のいずれかに記載の演奏システム。
[4]
The performance instruction means is
The first display color when the swing angle of the operation element is within the range of the appropriate angle during a shot operation, the second display color when the swing angle exceeds the range of the appropriate angle, and less than the range of the appropriate angle The performance system according to any one of [1] to [3], wherein a third display color is used for display on the display unit.
［５］
上記演奏指示手段は、
上記操作子の振り角度に応じて順次表示部の表示色を変化させることを特徴とする［１］から［４］のいずれかに記載の演奏システム。
[5]
The performance instruction means is
The performance system according to any one of [1] to [4], wherein the display color of the display unit is sequentially changed according to the swing angle of the operation element.
［６］
上記演奏指示手段は、
上記操作子でのショット動作を行っていない待機期間の間、上記表示部を非表示とすることを特徴とする［１］から［５］のいずれかに記載の演奏システム。
[6]
The performance instruction means is
The performance system according to any one of [1] to [5], wherein the display unit is not displayed during a standby period in which no shot operation is performed with the operation element.
［７］
上記演奏指示手段は、
上記操作子でのショット動作を行っていない待機期間を含めて、上記操作子の振り角度がショット動作時に上記適正角度の範囲にある場合に上記第１の表示色、上記適正角度の範囲を超えている場合に上記第２の表示色、上記適正角度の範囲未満の場合に上記第３の表示色を用いて上記表示部に表示させることを特徴とする［４］記載の演奏システム。
[7]
The performance instruction means is
When the swing angle of the operating element is within the range of the appropriate angle during the shot operation, including the standby period in which the shot operation is not performed with the operating element, the first display color exceeds the range of the appropriate angle. The performance system according to [4], wherein the second display color is displayed on the display unit and the third display color is displayed on the display unit when it is less than the appropriate angle range.
［８］
上記楽曲のリズムパターンを表示する楽譜表示部をさらに具備し、
上記楽譜表示部は、上記リズムパターンを構成する音符毎に上記算出された振り角度に応じた表示色で、上記各音符を表示することを特徴とする［５］記載の演奏システム。
[8]
A musical score display section for displaying the rhythm pattern of the music;
[5] The performance system according to [5], wherein the musical score display unit displays each note in a display color corresponding to the calculated swing angle for each note constituting the rhythm pattern.
［９］
表示部を有し、ショット動作を行うことにより楽音を発生させる操作子を用いて演奏を行う演奏方法において、
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出するステップと、
上記算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させるステップと
を備えたことを特徴とする演奏方法。
[9]
In a performance method of performing a performance using an operator that has a display unit and generates a musical sound by performing a shot operation,
Calculating a swing angle of the operator corresponding to the rhythm pattern of the music based on music data including the rhythm pattern of the music;
And a step of displaying, on the display section, whether or not the operation element at the time of a shot operation is an appropriate angle based on the calculated swing angle.
［１０］
表示部を有し、ショット動作を行うことにより楽音を発生させる操作子を用いて演奏を行うコンピュータによって実行されるプログラムであって、
上記コンピュータに、
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出する機能と、
上記算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させる機能と
を実現させることを特徴とするプログラム。
[10]
A program executed by a computer having a display unit and performing using a controller that generates a musical sound by performing a shot operation,
In the above computer,
A function for calculating a swing angle of the operator corresponding to the rhythm pattern of the music based on music data including the rhythm pattern of the music;
A program for realizing on the display section whether or not the operation element at the time of a shot operation is an appropriate angle based on the calculated swing angle.
１０…演奏装置、１１…操作子、１２…スイッチ部、１３…表示部、１４…制御部、１４ａ…振上げ角度算出機能、１４ｂ…演奏指示機能、１５…記憶部、１５ａ…プログラム、１６…センサ部、１７…通信部、２０…制御装置、２１…入力部、２２…表示部、２３…制御部、２４…記憶部、２４ａ…プログラム、２５…通信部。
DESCRIPTION OF
本発明は、ユーザーが保持する操作子を振る動作であるショット動作に応じて第１の処理を実行し、センサからの情報に基づいて、前記ショット動作を行なう前記操作子の振り角度である第２角度を特定し、前記ショット動作を行う際に必要な前記操作子の振り角度である第１角度と前記第２角度とを比較し、この比較結果に応じて第２の処理を実行することを特徴とする。 The present invention executes a first process in response to a shot operation that is an operation of shaking an operator held by a user, and is a swing angle of the operator that performs the shot operation based on information from a sensor. Identify two angles, compare the first angle, which is the swing angle of the operating element required when performing the shot operation, and the second angle, and execute the second process according to the comparison result It is characterized by.
Claims (10)
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出する振り角度算出手段と、
上記振り角度算出手段によって算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させる演奏指示手段と
を具備したことを特徴とする演奏システム。 An operator having a display and generating a musical sound by performing a shot operation;
Based on music data including a rhythm pattern of music, a swing angle calculation means for calculating a swing angle of the operator corresponding to the rhythm pattern of the music;
A performance system comprising: performance instruction means for displaying on the display section whether or not the operator is at an appropriate angle during a shot operation based on the swing angle calculated by the swing angle calculation means.
上記演奏指示手段は、上記振り角度検知手段によって検知された振り角度と、上記振り角度算出手段によって算出された振り角度とを比較し、当該比較結果に応じて上記表示部の表示を変化させることを特徴とする請求項１記載の演奏システム。 A swing angle detecting means for detecting a swing angle based on the swing state of the operation element;
The performance instruction means compares the swing angle detected by the swing angle detection means with the swing angle calculated by the swing angle calculation means, and changes the display of the display unit according to the comparison result. The performance system according to claim 1.
上記操作子の振り角度がショット動作時に上記適正角度の範囲内にある場合に第１の表示色、上記適正角度の範囲を超えている場合に第２の表示色、上記適正角度の範囲未満の場合に第３の表示色を用いて上記表示部に表示させることを特徴とする請求項１から３のいずれかに記載の演奏システム。 The performance instruction means is
The first display color when the swing angle of the operation element is within the range of the appropriate angle during a shot operation, the second display color when the swing angle exceeds the range of the appropriate angle, and less than the range of the appropriate angle The performance system according to any one of claims 1 to 3, wherein a display color is displayed on the display unit using a third display color.
上記操作子の振り角度に応じて順次表示部の表示色を変化させることを特徴とする請求項１から４のいずれかに記載の演奏システム。 The performance instruction means is
5. The performance system according to claim 1, wherein the display color of the display unit is sequentially changed according to the swing angle of the operation element.
上記操作子でのショット動作を行っていない待機期間の間、上記表示部を非表示とすることを特徴とする請求項１から５のいずれかに記載の演奏システム。 The performance instruction means is
The performance system according to any one of claims 1 to 5, wherein the display unit is not displayed during a standby period in which no shot operation is performed with the operation element.
上記操作子でのショット動作を行っていない待機期間を含めて、上記操作子の振り角度がショット動作時に上記適正角度の範囲にある場合に上記第１の表示色、上記適正角度の範囲を超えている場合に上記第２の表示色、上記適正角度の範囲未満の場合に上記第３の表示色を用いて上記表示部に表示させることを特徴とする請求項４記載の演奏システム。 The performance instruction means is
When the swing angle of the operating element is within the range of the appropriate angle during the shot operation, including the standby period in which the shot operation is not performed with the operating element, the first display color exceeds the range of the appropriate angle. 5. The performance system according to claim 4, wherein the second display color is displayed on the display unit and the third display color is displayed on the display unit when the second display color is less than the appropriate angle range.
上記楽譜表示部は、上記リズムパターンを構成する音符毎に上記算出された振り角度に応じた表示色で、上記各音符を表示することを特徴とする請求項５記載の演奏システム。 A musical score display section for displaying the rhythm pattern of the music;
6. The performance system according to claim 5, wherein the musical score display unit displays each note in a display color corresponding to the calculated swing angle for each note constituting the rhythm pattern.
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出するステップと、
上記算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させるステップと
を備えたことを特徴とする演奏方法。 In a performance method of performing a performance using an operator that has a display unit and generates a musical sound by performing a shot operation,
Calculating a swing angle of the operator corresponding to the rhythm pattern of the music based on music data including the rhythm pattern of the music;
And a step of displaying, on the display section, whether or not the operation element at the time of a shot operation is an appropriate angle based on the calculated swing angle.
上記コンピュータに、
楽曲のリズムパターンを含む音楽データに基づいて、上記楽曲のリズムパターンに対応する上記操作子の振り角度を算出する機能と、
上記算出された振り角度に基づきショット動作時における上記操作子が適正角度か否かを上記表示部に表示させる機能と
を実現させることを特徴とするプログラム。 A program executed by a computer having a display unit and performing using a controller that generates a musical sound by performing a shot operation,
In the above computer,
A function for calculating a swing angle of the operator corresponding to the rhythm pattern of the music based on music data including the rhythm pattern of the music;
A program for realizing on the display section whether or not the operation element at the time of a shot operation is an appropriate angle based on the calculated swing angle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017036660A JP6500924B2 (en) | 2017-02-28 | 2017-02-28 | Shot motion control method, shot motion control device, performance system and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017036660A JP6500924B2 (en) | 2017-02-28 | 2017-02-28 | Shot motion control method, shot motion control device, performance system and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013052299A Division JP6102372B2 (en) | 2013-03-14 | 2013-03-14 | Performance system, performance method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017090941A true JP2017090941A (en) | 2017-05-25 |
| JP6500924B2 JP6500924B2 (en) | 2019-04-17 |
Family
ID=58768177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017036660A Active JP6500924B2 (en) | 2017-02-28 | 2017-02-28 | Shot motion control method, shot motion control device, performance system and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6500924B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63192096A (en) * | 1987-02-04 | 1988-08-09 | ヤマハ株式会社 | Musical sound generation controller |
| JP2009122706A (en) * | 2009-03-09 | 2009-06-04 | Yamaha Corp | Automatic music playing apparatus and program |
| JP2011128427A (en) * | 2009-12-18 | 2011-06-30 | Yamaha Corp | Performance device, performance control device, and program |
-
2017
- 2017-02-28 JP JP2017036660A patent/JP6500924B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63192096A (en) * | 1987-02-04 | 1988-08-09 | ヤマハ株式会社 | Musical sound generation controller |
| JP2009122706A (en) * | 2009-03-09 | 2009-06-04 | Yamaha Corp | Automatic music playing apparatus and program |
| JP2011128427A (en) * | 2009-12-18 | 2011-06-30 | Yamaha Corp | Performance device, performance control device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6500924B2 (en) | 2019-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8723013B2 (en) | Musical performance device, method for controlling musical performance device and program storage medium | |
| JP5966465B2 (en) | Performance device, program, and performance method | |
| US20130239780A1 (en) | Musical performance device, method for controlling musical performance device and program storage medium | |
| US8759659B2 (en) | Musical performance device, method for controlling musical performance device and program storage medium | |
| JP5573899B2 (en) | Performance equipment | |
| JP5533915B2 (en) | Proficiency determination device, proficiency determination method and program | |
| US8586853B2 (en) | Performance apparatus and electronic musical instrument | |
| US8710345B2 (en) | Performance apparatus, a method of controlling the performance apparatus and a program recording medium | |
| JP5598490B2 (en) | Performance device, method and program | |
| US8445771B2 (en) | Performance apparatus and electronic musical instrument | |
| US6426741B1 (en) | User input for a computer | |
| US9123268B2 (en) | Controller, operation method, and storage medium | |
| US8656307B2 (en) | Information storage medium, computer terminal, and change method | |
| JP5549698B2 (en) | Performance device, method and program | |
| JP6102372B2 (en) | Performance system, performance method and program | |
| JP3799190B2 (en) | Music conductor game device | |
| JP6500924B2 (en) | Shot motion control method, shot motion control device, performance system and program | |
| KR20200106860A (en) | Jump rope with lyrics and notes of a song displayed | |
| JP5861517B2 (en) | Performance device and program | |
| JP2001070649A (en) | Game device, and inputting means and storing medium therefor | |
| JP6241047B2 (en) | Performance device, operation control device, operation control method, and program | |
| JP6098081B2 (en) | Performance device, performance method and program | |
| JP5974567B2 (en) | Music generator | |
| JP5935399B2 (en) | Music generator | |
| JP2004271566A (en) | Player |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6500924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |