JP2006162904A - Sound generation control method based on performance operation prediction, and electronic musical instrument - Google Patents
Sound generation control method based on performance operation prediction, and electronic musical instrument Download PDFInfo
- Publication number
- JP2006162904A JP2006162904A JP2004353404A JP2004353404A JP2006162904A JP 2006162904 A JP2006162904 A JP 2006162904A JP 2004353404 A JP2004353404 A JP 2004353404A JP 2004353404 A JP2004353404 A JP 2004353404A JP 2006162904 A JP2006162904 A JP 2006162904A
- Authority
- JP
- Japan
- Prior art keywords
- performance information
- musical instrument
- detection unit
- speed
- electronic musical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
Description
本発明は、電子楽器の演奏者の演奏動作を予測し、予測結果に基づいて楽音発生を制御する技術に関する。 The present invention relates to a technique for predicting a performance action of a player of an electronic musical instrument and controlling generation of musical sounds based on a prediction result.
近年の通信ネットワークの発達により、地理的に離れた地点にあり通信ネットワークを介して接続された複数の電子楽器端末により合奏(セッション)を行うことができる合奏システムに対するニーズが高まっている。このような合奏システムにおいて、合奏に参加する複数の者が1つの楽曲の各演奏パートを各々担当するものとすると、各参加者が合奏音を聞くためには、各参加者の電子楽器端末において生成される演奏情報(音高、音量、音色等)が逐次他の全ての参加者の電子楽器端末に送信されなければならない。このようにすることで初めて、各参加者の電子楽器端末では、楽曲を構成する全てのパートの演奏情報が得られ、その演奏情報に従って合奏を行うことが可能となる。 With the recent development of communication networks, there is an increasing need for ensemble systems that can perform ensembles (sessions) with a plurality of electronic musical instrument terminals that are located at geographically distant points and are connected via a communication network. In such an ensemble system, if a plurality of persons participating in the ensemble are in charge of each performance part of one piece of music, each participant can listen to the ensemble sound at the electronic musical instrument terminal of each participant. The generated performance information (pitch, volume, timbre, etc.) must be sequentially transmitted to the electronic musical instrument terminals of all other participants. For the first time in this way, each participant's electronic musical instrument terminal can obtain performance information of all the parts making up the music, and can perform an ensemble according to the performance information.
しかしながら、このように各パートの演奏情報を各電子楽器端末に行き渡らせるだけでは、各電子楽器端末において正常な合奏を行うことはできない。合奏というのは、他の合奏者の音を聞きつつ自分の楽器を演奏するものであるから、演奏情報に従って各パートの演奏が行われる際に、各パートの発音タイミングの同期が取れている必要がある。ここで、同一の場所で行なわれる通常の合奏では合奏参加者が演奏した音は直ちに合奏参加者全員の耳に届くので、通常各パートの発音タイミングに問題は生じることは考えられない。ところが、例えば通信ネットワークを介して楽器Aと楽器Bとを接続して合奏を行う場合、楽器Aにおいて演奏情報を送信してから電子楽器Bに届くまでには必ずある有限の時間がかかるため、楽器Bの演奏者にはその演奏音が遅れて聞こえることになる。楽器Bの演奏者はこの遅れて届いた音に合わせて演奏を行うことになるが、楽器Bの演奏情報が楽器Aに届くまでには再び遅れが生じる。この結果、楽器AおよびBにおいて同時に発音されなければならない各パートの音の発音タイミングにずれが生じる。インターネット等の汎用通信網を利用した場合、このずれは数10ミリ秒〜1秒になることがあり、これでは正常な合奏を成立させることは困難である。このように、通信ネットワークを介して合奏を行う場合は、不可避的に発生するネットワーク遅延を考慮する必要がある。 However, a normal ensemble cannot be performed in each electronic musical instrument terminal simply by spreading the performance information of each part to each electronic musical instrument terminal. An ensemble is to play your instrument while listening to the sound of other ensemblers. Therefore, when each part is played according to the performance information, the sound generation timing of each part must be synchronized. There is. Here, in a normal ensemble performed at the same place, since the sound played by the ensemble participant immediately reaches the ears of all the ensemble participants, it is unlikely that a problem will normally occur in the sound generation timing of each part. However, for example, when performing an ensemble by connecting the musical instrument A and the musical instrument B via a communication network, it takes a certain finite time to reach the electronic musical instrument B after transmitting performance information in the musical instrument A. The performer of instrument B will hear the performance sound with a delay. The performer of the musical instrument B performs in accordance with the delayed sound, but a delay occurs again until the performance information of the musical instrument B reaches the musical instrument A. As a result, the sound generation timings of the sounds of the parts that must be simultaneously generated in the musical instruments A and B are shifted. When a general-purpose communication network such as the Internet is used, this difference may be several tens of milliseconds to 1 second, and it is difficult to establish a normal ensemble. Thus, when performing an ensemble through a communication network, it is necessary to consider the network delay which inevitably occurs.
このような背景の下、ネットワークに接続された2地点における電子楽器端末を用いて、通信遅延を補償して演奏を記録および再生する技術がある(例えば特許文献1を参照)。具体的には、A地点で伴奏信号に時刻情報を付加してB地点に送信し、B地点において当該伴奏信号に合わせて演奏された演奏信号に時刻情報を付加してA地点に送り返し、A地点でこれを受信すると付加された時刻情報に基づいて両地点における演奏の発音タイミングを修正して記録するというものである。しかし、特許文献1の技術では、単に、演奏相手から遅れて届いた演奏情報に合わせて自楽器端末の演奏音の発音タイミングを遅らせているにすぎず、これではリアルタイムで演奏を同期させることはできない。
Under such a background, there is a technique for recording and reproducing a performance while compensating for a communication delay using electronic musical instrument terminals at two points connected to a network (see, for example, Patent Document 1). Specifically, time information is added to the accompaniment signal at point A and transmitted to point B, time information is added to the performance signal played along with the accompaniment signal at point B, and sent back to point A. A When this is received at a point, the sound generation timing of the performance at both points is corrected and recorded based on the added time information. However, the technique of
本発明は、上述した背景に鑑みてなされたものであり、通信遅延の発生する環境において合奏を実現するための方法及び電子楽器を提供することを目的とする。 The present invention has been made in view of the above-described background, and an object thereof is to provide a method and an electronic musical instrument for realizing an ensemble in an environment where communication delay occurs.
上記課題を解決するため、本発明は、ユーザによって操作される操作子との接触を検知する打撃検出部を有する電子楽器であって、前記操作子が前記打撃検出部に到達する以前における前記操作子の運動状態を検出する検出手段と、前記取得手段によって検出された運動状態に基づき、前記打撃検出部に到達時の前記操作子の運動状態を予測する予測手段と、前記予測手段において予測された運動状態に従って演奏情報を生成する生成手段とを有する電子楽器を提供する。本発明の電子楽器によれば、予測した運動状態を用いて前記操作子が前記打撃検出部に到達する前に演奏情報を生成される。これを外部の電子楽器等に提供することができる。すなわち、演奏動作の完了に先立って演奏情報を生成するので、当該演奏情報の提供タイミングを通信遅延を補償するように制御することが可能である。 In order to solve the above-described problem, the present invention provides an electronic musical instrument having a hit detection unit that detects contact with an operator operated by a user, and the operation before the operator reaches the hit detection unit. Based on the motion state detected by the acquisition means, the detection means for detecting the motion state of the child, the prediction means for predicting the motion state of the manipulator when reaching the hit detection unit, and predicted by the prediction means There is provided an electronic musical instrument having generating means for generating performance information in accordance with the exercise state. According to the electronic musical instrument of the present invention, performance information is generated using the predicted motion state before the operation element reaches the hit detection unit. This can be provided to an external electronic musical instrument or the like. That is, since performance information is generated prior to completion of the performance operation, it is possible to control the provision timing of the performance information so as to compensate for communication delay.
好ましい態様において、本発明は、ユーザによって操作される操作子との接触を検知する打撃検出部を有する電子楽器であって、前記操作子が前記打撃検出部に到達する以前のある時刻において、前記操作子の位置および速度を検出する検出手段と、前記検出手段によって検出された位置及び速度に基づき、前記操作子が前記打撃検出部に到達する時刻および到達時の速度を予測する予測手段と、前記予測手段において予測された時刻および速度に従って演奏情報を生成する生成手段とを有する電子楽器を提供する。 In a preferred aspect, the present invention is an electronic musical instrument having a hit detection unit that detects contact with an operator operated by a user, and at a certain time before the operator reaches the hit detection unit, Detecting means for detecting the position and speed of the operating element; and predicting means for predicting the time at which the operating element reaches the hit detection unit and the speed at the time of arrival based on the position and speed detected by the detecting means; There is provided an electronic musical instrument having generation means for generating performance information according to the time and speed predicted by the prediction means.
他の好ましい態様において、本発明は、前記操作子の位置を検出する検出手段と、前記検出手段によって検出された複数の位置と当該位置の検出時刻とに基づいて前記操作子の速度を算出する算出手段と、前記検出手段にて検出された前記操作子の位置に基づき、前記操作子が所定の領域内に進入したか否かを判定する判定手段と、前記判定手段にて前記操作子が前記所定の領域内に進入したと判定された場合のみ、前記算出手段によって算出された速度に基づいて前記操作子が前記打撃検出部に到達する時刻を予測する予測手段と、前記予測手段において予測された時刻および前記算出手段によって算出された速度から、それぞれ発音タイミングおよびベロシティを決定することにより演奏情報を生成する生成手段とを有する電子楽器を提供する。 In another preferred aspect, the present invention calculates the speed of the manipulator based on detection means for detecting the position of the manipulator, a plurality of positions detected by the detection means, and detection times of the positions. Based on the calculation means, the position of the operation element detected by the detection means, determination means for determining whether or not the operation element has entered a predetermined area, and Only when it is determined that the vehicle has entered the predetermined area, a prediction unit that predicts a time at which the operating element reaches the hit detection unit based on a speed calculated by the calculation unit, and a prediction in the prediction unit The electronic musical instrument has a generating means for generating performance information by determining the sound generation timing and velocity from the calculated time and the speed calculated by the calculating means, respectively. To.
本発明は、他の観点において、ユーザによって操作される操作子との接触を検知する打撃検出部を有する電子楽器において演奏情報を生成する方法であって、前記操作子が前記打撃検出部に到達する以前における前記操作子の運動状態を検出する運動状態検出ステップと、前記運動状態検出ステップにおいて検出された運動状態に基づき、前記打撃検出部に到達時の前記操作子の運動状態を予測する運動状態予測ステップと、前記運動状態予測ステップにおいて予測された運動状態に従って演奏情報を生成する生成ステップとを有する演奏情報生成方法を提供する。 In another aspect, the present invention provides a method for generating performance information in an electronic musical instrument having a hit detection unit that detects contact with an operator operated by a user, and the operator reaches the hit detection unit. A motion state detecting step for detecting a motion state of the operating element before performing the motion, and a motion for predicting the motion state of the manipulator when reaching the hit detection unit based on the motion state detected in the motion state detecting step There is provided a performance information generation method including a state prediction step and a generation step of generating performance information according to the motion state predicted in the motion state prediction step.
以下、図面を参照して本発明の実施例を説明する。図1は、本発明の一実施例に係る電子打楽器1の機能構成を示すものであって、まずこの図を用いて電子打楽器1の構成および動作の概略を説明する。この電子打楽器1は、ユーザに把持されるドラムスティック(以下、単にスティックという)と、打撃面を含む打楽器本体から構成される。なお、以下では、電子打楽器1と電子楽器Xとを用いて合奏を行うことを考える。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows the functional configuration of an
図1に示すように、電子打楽器1は、制御部10、位置検出部11、打撃検出部12、発音部13、記憶部14、通信部15、タイマ16、および各部を接続するバス17から構成される本体部と、ユーザに把持されるスティック18とから構成される。制御部10は、CPUその他の各種演算プロセッサからなり、電子打楽器1の各部を制御するとともに、電子打楽器1の各部から得た情報に基づき、発生させる楽音の演奏情報(発音タイミングおよびベロシティ)を決定する。位置検出部11は、センサ装置を備え、スティック18の位置を検出し制御部10へ供給する。打撃検出部12は、打撃面に備え付けられた圧力センサ等のセンサデバイスおよびセンサ信号の解析回路から構成され、スティックが打撃面に接触したタイミングや接触した際に打撃面に加えられた圧力等などの情報を検出して制御部10に供給する。発音部13は、DSP(Digital signal processor)等の音声信号処理回路およびスピーカ等の楽音発生装置を有し、制御部10からの指示に従って楽音を発生させる。一般的な電子打楽器は、打撃検出部12、制御部10、および発音部13で構成される。
As shown in FIG. 1, the
記憶部14は、RAM、ROM、EEPROM、あるいはHDD等の記憶装置であって、演奏情報を決定するために必要なデータを格納する。通信部15は、通信インタフェース等を有し、制御部10の指示の下、電子打楽器1で生成した演奏情報を通信回線を介して他の電子楽器に送信する一方、他の電子楽器が生成した演奏情報を受信する。これにより、ネットワークを介して複数の電子楽器を互いに接続し演奏情報を授受することにより、自身の電子楽器の演奏に基づく音を他の電子楽器上で発音させたり、逆に他の楽器の演奏音を自身の電子楽器で発音させるすことが可能となる。タイマ16は、発音タイミング等を決定する上で基準となる時刻を生成するための計時機構である。
The
次に、図2(a)〜(c)を用いて、位置検出部11がスティック18の位置を検出する方法について説明する。図2(a)は、ユーザが電子打楽器1を用いて演奏を行っている様子を示したものである。同図に示すように、スティック18の先端部(チップ)には磁石20が埋め込まれている。図2(b)および(c)は、それぞれ位置検出部11の俯瞰図および側面図である。位置検出部11は、打撃面22の四隅にそれぞれ備え付けられた磁気センサ21と、それぞれのセンサからの電気信号を解析するための解析回路(図示せず)を有する。今、ユーザに把持されたスティックが打撃面22の上方に位置しているものとすると、それぞれの磁気センサ21はスティックに埋め込まれた磁石20の位置に応じた強さの電気信号を出力する。電気信号の強さは磁気センサ21と磁石20までの距離を表す指標となるので、磁気センサ21によって磁石20から磁気センサ21までの計4つの距離が算出されることになる。解析回路は全ての磁気センサ21の設置位置を予め把握しており、これらの位置と算出された距離とから、磁石20(すなわちスティック18の先端部)の三次元空間内の一点を決定する。以下では、説明の便宜上、このように決定した3次元空間内の一点を「スティック18の位置」と称することとする。
Next, a method in which the
次に、図3を用いて、検出したスティック18の位置に基づいて演奏情報を生成する方法について説明する。まず、ある時刻において、上述したようにスティック18の位置を検出すると、その情報を記憶部10のRAM等に記憶する(ステップS100)。続いて、ステップS101において、記憶された位置情報が所定の数だけ蓄積されているか否かを判定する。所定数蓄積されていない場合は(ステップS101、NO)、ステップS100に戻り再び位置情報を取得して記憶する。このように、所定数の位置情報が蓄積(バッファリング)されると(ステップS101、YES)、ステップS102へ進み、演奏情報の生成処理に入るべきか否かを決定する。具体的には、以下の判定を行う。
Next, a method for generating performance information based on the detected position of the
まず、得られた位置情報から、スティック18と打撃面22との距離が所定値以下になっているか否かを判定する。以下、説明の便宜上、打撃面22の上部に位置し打撃面22までの距離が当該所定値であると定義される仮想的な面を考え、これを「判定面」と称する。すなわち、スティック18がこの判定面に対して打撃面側に位置するか否かを確かめる。この判定面を用いる理由は、例えば演奏者の頭上にスティック18がある場合であって当該位置に基づいてスティック18の打撃面22までの到達時間や到達時の速度等を予測するとすれば、誤差が大きくなり精度の高い予測が困難だからである。加えて、例えば、演奏者がスティック18が胸元付近に到達したときに打撃動作を中止する可能性もあり、このような場合に演奏情報の生成が誤って行われないようにすべきだからである。このように、誤動作を防止して高精度にスティック18の挙動を予測するために、スティック18が判定面の下部に位置したときのみ、演奏情報生成処理を開始することとしたのである。更に、得られた位置情報からスティック18のZ座標(垂直位置)が時間とともに減少傾向にあるか否かを判定し、減少傾向にある場合のみ演奏情報生成処理を開始する。すなわち、スティック18が上方から下方へ移動しているのか、逆に下方から上方へ移動したのかを判定する。上方から下方へ移動していると判定した場合は、演奏者が打撃面22に向けてスティック18を振り下ろしている最中であるので演奏情報生成処理を開始する。下方から上方へ移動している場合は、打撃後の動作の最中であると考えられ次の打撃が行われるか否かは判断できないので、演奏情報生成処理は行わない。次に、得られた位置情報からスティック18の速度を算出し、速度がある閾値を越えているか否かを判定し、閾値以上の場合のみ演奏情報生成処理を開始する。通常、打撃面22からの所定距離における演奏動作中のスティック18の速度は一定以上の値をとっていると考えられ、これよりもゆっくりとスティック18が動いている場合には、演奏者には打撃を行う意思がないかまたは演奏者が打撃の体勢に入っていないと推定されるので、演奏情報生成処理を行なわないこととしたのである。
First, it is determined from the obtained position information whether or not the distance between the
このようにしてユーザが演奏動作に入っていることが認められ、演奏情報生成処理を開始することが決定されると、(ステップS102、YES)、得られた位置情報から、現在のスティック18の位置から打撃面22に到達すると予測される時間(以下、予測到達時間という)および打撃面到達時におけるスティック18の速度(以下、予測速度という)を決定する(ステップS103)。例えば、最も単純には、スティック18の加速度はゼロであると近似することができる。この場合、スティック18の速度は常に一定であり、当該位置で検知した速度は予測速度に等しい。予測到達時刻については、一例としては、スティック18先端部の進行方向が打撃面22に対してほぼ垂直とみなし、当該位置から打撃面22までの距離をこの速度で除することにより算出することができる。例えば、判定面上に打撃面22から判定面までの距離が「15cm」で、判定面上で演奏情報生成処理を開始し、この位置で検出したスティック18の速度が「3m/s」であったならば、予測される到達時間は50ms後と算出される。従って、電子楽器1から実際に発音されるタイミングは「50ms後」と決定される。
In this way, when it is recognized that the user has entered the performance operation and it is determined to start the performance information generation process (YES in step S102), the current position of the
記憶部14は、一例として図4に示す、スティック18の速度の値とこれに対応するベロシティ値を対応付けて記憶したテーブルを有している。例えば予測速度が「2.5m/s」ならば、制御部10はこのテーブルを参照してベロシティ値を「100」と決定する。このようにして、予測到達時刻から当該演奏に対応して発音すべき楽音の発音タイミングが、予測速度から当該発音すべき楽音のベロシティ値がそれぞれ決定されると、電子楽器Xに送信すべき演奏情報が生成される(ステップS104)。
The
続いてステップS105に進み、当該演奏情報を送信すべきタイミングを決定する(ステップS105)。具体的には、制御部10は、記憶部14に格納されているネットワークの遅延量を参照し、この遅延量にしたがった送信時刻を決定する。制御部10は、決定した時刻が到来すると当該演奏情報を送信する(ステップS106)。
Then, it progresses to step S105 and the timing which should transmit the said performance information is determined (step S105). Specifically, the
上述した送信時刻の決定について、図5を用いて詳細に説明する。いま時刻t=0において、予測到達時刻および予測速度が算出され(ステップS201)、このときの予測到達時刻をt2とする。また、記憶部14から読み出したネットワークの遅延量がΔTであるとする。この遅延量ΔTは、送信した演奏情報が合奏相手である電子楽器に受信され、再び電子打楽器1に戻ってくるまでの時間のことである。いま送信時刻をt1とすると、合奏を成立させるためには、予測演奏動作に基づいて生成した演奏情報がネットワークを介して合奏相手から戻ってくる時刻が、実際の演奏が行なわれると予想される時刻に等しくなっていなければならないことから、t2=t1+ΔTの関係が成り立つ。よって、送信時刻t1は、t1=t2−ΔTにより求めることができる。なお、t2<ΔT、すなわちネットワークの遅延量がスティックの予測到達時刻時間よりも大きい場合は、t1=0とする。すなわち、即座に演奏情報の送信を行い、ネットワーク遅延による演奏情報の提供の遅れが最小限となるようにする。
The determination of the transmission time described above will be described in detail with reference to FIG. At time t = 0, the predicted arrival time and the predicted speed are calculated (step S201), and the predicted arrival time at this time is t2. It is also assumed that the network delay amount read from the
このようにして決定した時刻t1において送信された演奏情報は(ステップS202)、ネットワークの遅延ΔT/2を考慮すれば、時刻t1+ΔT/2に電子楽器Xにおいて受信される(ステップS203)。電子楽器Xにおいては、演奏情報を受信すると当該演奏情報に従って楽音生成処理が行なわれ、電子打楽器1の音が発音される。電子楽器Xの演奏者はこの演奏音にあわせて電子楽器Xで演奏を行うとともに、自身の楽器による演奏を表す演奏情報を生成して電子打楽器1へ送信する(ステップS203)。ネットワークの遅延ΔT/2を再び考慮すると、時刻t1+ΔT/2+ΔT/2=t2において、電子打楽器1は電子楽器Xからの演奏情報を受信し、その演奏情報に従って発音処理を行う(ステップS204)。このとき、スティック18は打撃面22に到達し、その結果、打撃検出部12、制御部10、発音部13においてそれぞれ処理が行われ、本来の電子打楽器1内の演奏情報処理およびそれに基づく楽音生成処理が行なわれる。このようにして、電子打楽器1にて演奏した楽音(例えば伴奏音)と電子楽器Xにて演奏された楽音(例えばエレキギターによるメロディ音)とが、電子打楽器1において同時刻に発音されることになる。図5から明らかのなように、電子打楽器1の演奏者および電子楽器Xの演奏者の両者ともに、通信遅延差を意識することなく演奏を行なっている。このように本実施例によれば、通信遅延の存在する環境においても合奏が成立する。
The performance information transmitted at time t1 determined in this way (step S202) is received by the electronic musical instrument X at time t1 + ΔT / 2 considering the network delay ΔT / 2 (step S203). In the electronic musical instrument X, when performance information is received, musical tone generation processing is performed according to the performance information, and the sound of the
以上説明したように、本実施例によれば、スティック18の到達時刻および予測速度を予測し、この予測に基づいて、演奏動作の完了前に、演奏情報を生成し、通信ネットワークの遅延量に合わせたタイミングで合奏相手に提供することができるので、通信ネットワークで接続され地理的に離れた複数の電子機器であっても、不可避的に発生する通信遅延に関係なく、正常に合奏を行うことが可能となる。
As described above, according to the present embodiment, the arrival time and predicted speed of the
<変形例>
本発明は、上述した実施形態に限定されるものではなく、変形や修正を行うことが可能である。以下にその一例を示す。
<Modification>
The present invention is not limited to the above-described embodiments, and can be modified or modified. An example is shown below.
電子打楽器1において発音される楽音については、実際の演奏に基づいて演奏情報生成処理がなされていた。すなわち、演奏情報生成処理時刻(発音タイミング)はスティック18が打撃面22に到達した時点であって、ベロシティ値は打撃面22に取り付けられたセンサ機能により検知された情報に基づき決定される。しかしながら、電子楽器Xに送信する演奏情報(すなわち予測到達時刻および予測速度)に基づいて楽音生成処理を行ってもよい。すなわち、電子打楽器1の演奏者は、実際に演奏した音ではなく、予測演奏動作に基づいて生成された音を聞くことになるが、予測誤差が大きくならない限り、これら予測値に基づいて演奏情報生成処理を行なっても発音タイミングに違和感を覚えることはない。
Musical sounds generated by the
演奏情報の生成処理を開始する判定条件については、上記実施例に限定されることなく自由に設定することができる。例えば、判定面の設定方法については、ネットワーク遅延量が大きい場合は判定面の高さを大きくすることにより演奏情報を先送りする時間を確保し、遅延量が小さい場合には判定面の高さを低くして予測精度を向上させるのが好ましい。 The determination condition for starting the performance information generation process is not limited to the above embodiment, and can be freely set. For example, regarding the setting method of the judgment surface, when the network delay amount is large, the time for delaying performance information is secured by increasing the height of the judgment surface, and when the delay amount is small, the height of the judgment surface is set. It is preferable to lower it to improve the prediction accuracy.
また、上述したセンサの種類や数は任意である。例えば、位置を測定するセンサと速度を検出するセンサを別途に設けても良い。例えば、電子打楽器1の本体部に設けられた磁気センサ21に加えて、重力センサや加速度センサをスティック18に設ける。そして、スティック18において取得した速度等の情報を無線通信によって電子打楽器1の本体部に送信し、電子打楽器1においてこれらの情報を用いて予測時間および予測速度を計算する。例えば、予測精度を優先するならセンサの数やバッファリング数を多くし、演算量および演算時間を優先するなら、センサの数、バッファリング数、およびテーブルのデータ量を少なくしてもよい。また、センサの取り付け位置もスティック18の先端部(チップ)に限定されるものではない。例えば、スティック18の他の部位にもセンサを設ければ、スティック18の角度や角速度といった情報を得ることができるので、これらの情報を用いて予測到達時刻等をより高精度に算出することができる。さらに、例えば、判定面を2つ設定し、打撃検出面からの距離が大きい判定面を通過したら演奏情報生成処理を開始し、もう一方の判定面に到達するまでスティック18の位置、速度、加速度等を検出し続ける。すなわち、一定期間、スティック18の挙動を検出するのである。このように、スティック18の運動状態に関する情報の収集量を多くすれば、予測精度をさらに向上させることが可能となる。また、上述した実施例においては、スティック18が判定面に対して打撃面側に位置するときのみ演奏情報生成処理を開始することとしたが、これに限らず、スティック18が判定面上または判定面から所定の距離に位置する場合のみ演奏情報生成処理を開始するように構成してもよい。また、演奏情報生成処理の開始を判定するための判定面と、その位置でのスティック18の速度等を検出するための判定面を別途に設けてもよい。また、上記実施例において、判定面を打撃面から所定の距離にある面として定義したが、これに限らず、例えば、打撃面の中心から等距離にある面(すなわち半球面)として判定面を定義し、スティックがこの半球面内に進入したことを検知したら楽音生成処理を開始してもよい。
Moreover, the kind and number of sensors mentioned above are arbitrary. For example, a sensor for measuring the position and a sensor for detecting the speed may be provided separately. For example, in addition to the
また、予測到達時刻や予測速度の算出アルゴリズムも、上記実施例で示したものに限らない。上記実施例においては、スティック18の加速度はゼロであって、検出位置におけるスティック18先端部の進行方向は打撃面22に対し垂直であると近似したが、検出位置での速度に加えて加速度を算出し、この加速度を用いて予測速度を計算してもよい。あるいは、加速度を直接算出しなくても、位置および速度に対応づけて予測到達時刻及び予測速度を記憶したテーブルを記憶部13に格納し、このテーブルを参照して予測到達時刻及び予測速度を決定してもよい。
Also, the predicted arrival time and predicted speed calculation algorithms are not limited to those shown in the above embodiment. In the above embodiment, the acceleration of the
さらに、かかるテーブルに格納されるデータ内容は、ユーザが自由に設定することも可能である。例えば、ユーザが使用可能なスティック18の種類(先端部の形状、全体の重量等)に合わせて、それぞれベロシティの値が異なるテーブルを複数個備えていてもよい。スティック18が異なれば到達時刻や到達時の速度は微妙に変化し得るからである。この場合、ユーザがスティック18の種類を指定すると、制御部10はそのスティックに応じたテーブルを読み出して使用する。
Further, the contents of data stored in such a table can be freely set by the user. For example, a plurality of tables having different velocity values may be provided in accordance with the types of
また、上述した実施例においては、磁石20をスティック18に設ける一方、磁気センサ21および磁気センサからの出力信号を解析する解析回路を電子打機器1の本体部に設けた構成としたが、これに限らず、例えば、磁石20を打撃面22の四隅に設置し、スティック18に磁気センサおよび解析回路を含む位置検出部11に設けてもよい。この場合、スティック18にて距離や速度が算出され、この距離や速度の情報をスティック18に埋め込まれた無線送信回路を用いて、電子打楽器1の発音部13あるいは外部のスピーカシステム等の楽音生成装置に無線送信してもよい。
In the embodiment described above, the
上述した演奏情報の送信時刻決定にあっては、演奏情報の生成タイミングと楽音の発生タイミングは同時であるとみなしたが、厳密にいえば予測到達時刻や予測速度の計算は有限の時間を要するので、さらに高精度の遅延補正が要求される場合等においては、演奏情報生成処理を開始してから楽音生成処理に移るまでのタイムラグを考慮して楽音情報の送信時刻を決定してもよい。 In the performance information transmission time determination described above, the performance information generation timing and the musical sound generation timing are considered to be the same, but strictly speaking, the calculation of the predicted arrival time and the predicted speed requires a finite time. Therefore, when higher-accuracy delay correction is required, the transmission time of the musical sound information may be determined in consideration of the time lag from the start of the performance information generation process to the transition to the musical sound generation process.
遅延量の取得方法としては、例えば、合奏を開始する直前に、TCP/IPネットワークにおいて用いられるネットワーク診断プログラムであるping(Packet INternet Groper)を用いて測定することとしてもよい。さらに、このようにして測定した遅延量を用いて実際に演奏を行い、スティック18が実際に打撃面22に到達して生成される楽音の発生タイミングと、演奏相手から受信した自己の演奏情報に基づいて発音された楽音の発音タイミングを比較し、適切な値であるかチェックしてもよい。取得した遅延量が実際のネットワーク遅延状態を正しく反映した物であれば両者は同時に発音され、そうでないならば発音タイミングがずれることになる。なお、相手から受信した演奏情報と比較するのは、予測した演奏情報に基づいて発音された楽音であってもよい。
As a method for acquiring the delay amount, for example, measurement may be performed using ping (Packet Internet Groper), which is a network diagnostic program used in the TCP / IP network, immediately before starting the ensemble. Further, the performance is actually performed using the delay amount measured in this way, and the generation timing of the musical sound generated when the
また、タイミングのずれの検出は、演奏者が実際に聴いた音を用いて行い、手動で遅延量を補正してもよい。この場合、発音タイミングのずれが認識できなくなるまでこの作業を繰り返す。あるいは、この修正作業を電子打楽器1に行わせてもよい。例えば、相手の電子楽器から演奏情報を受信した時刻とスティック18が打撃面22に到達した時刻とを比較し、時刻にずれがある場合、遅延量を所定値だけ変更して演奏情報を送信して比較作業を行う。これを繰り返し、ずれがなくなったら遅延量の修正を終了する。
Further, the detection of the timing shift may be performed using the sound actually heard by the performer, and the delay amount may be manually corrected. In this case, this operation is repeated until the difference in pronunciation timing cannot be recognized. Alternatively, this correction work may be performed by the
更に、上述の遅延量の修正作業を演奏前だけでなく、例えば演奏中に逐次行ってもよい。例えば、所定の時間間隔で、演奏を行なっている演奏情報を用いて電子打楽器1に上述した比較作業を実行させる。そして、時刻のずれがある閾値を越えたら遅延量を補正し、以後の演奏情報の送信タイミングの決定にあたっては補正後の遅延量を用いることとしてもよい。遅延量の補正方法の一例としては、予測到達時刻の算出時点からスティック18が打撃面22に達するまでの時間をα、演奏情報がネットワークを介して合奏相手から戻ってくるまでの時間をβ、時刻nに記憶部14に記憶されている遅延量をΔTn、誤差許容量をCとすると、|α−β|>Cとなったとき、新たな遅延量ΔTn+1をΔTn+1=(ΔTn+β)/2に再設定する。このように遅延量ΔTを変動可能な構成とすれば、ネットワーク状態が時間的に変動する環境であっても、合奏を成立させることができる。
Furthermore, the above-described delay amount correction work may be performed not only before the performance but also during the performance, for example. For example, at a predetermined time interval, the
また、上記実施例においては、電子打楽器1を利用してネットワークを介して合奏を行うことを考えたが、電子打楽器1を単独で使用することも可能である。例えば、スティック18が実際に打撃面22に到達したときに演奏情報生成処理を行うのではなく、算出した予測到達時間および予測速度から所望の値だけ補正して演奏情報を作成し、これに基づき発音を行う。このとき、打撃面22への実際の到達に基づいて演奏情報を生成することは行わない。こうすれば、ユーザの好みに応じて発音タイミングやベロシティ等を自由に調整することができる。
勿論、予測到達時間よりも早いタイミングで楽音生成処理を行うだけでなく、予測到達時間よりも遅いタイミングで楽音生成処理を行うことも可能である。あるいは、判定面におけるスティック18の情報に基づいて予測した到達時刻及び速度と、打撃検出部12が検出した打撃面22への到達時刻および到達時の速度との両者に基づいて楽音を発生させてもよい。このように予測値を用いて演奏情報を生成することで、従来のアコースティック打楽器や電子打楽器になかった発音特性を自由に作り出すことが可能である。
Moreover, in the said Example, although performing the ensemble via a network using the
Of course, it is possible not only to perform the tone generation process at a timing earlier than the predicted arrival time, but also to perform the tone generation process at a timing later than the predicted arrival time. Alternatively, a musical sound is generated based on both the arrival time and speed predicted based on the information on the
また、次のような使用方法も考えられる。一般に、打楽器で一定のリズムおよび一定の強さで正確にリズムを刻むためには、常に一定のスティック動作(ストローク動作)を行うことが必要とされる。換言すれば、一定の演奏フォームを保ち続けるのが理想である。ところが、演奏者本人には、自身のフォームの乱れに気が付くことはなかなか難しい。そこで、演奏フォームを矯正するために電子打楽器1を使用するのである。つまり、演奏フォームが一定ならばスティック18は常に同じ挙動を繰り返すはずであるから、当然、判定面におけるスティック18の速度も常に一定となっているはずであり、結果的に予測到達時刻および予測速度に基づいて発生される楽音も常に一定となるはずである。ところが、演奏フォームが乱れると、たとえ実際に打撃面に生成されるタイミングや速度が一定であったとしても、判定面におけるスティック18の速度等にバラツキが出る結果、生成される楽音にもバラツキが出ることになる。よって、演奏者は楽音を聞けば自身のフォームの乱れに気が付く。判定面を様々に変えてこのような練習を繰り返すことで、規則正しい演奏フォームが身に付くものと期待される。
Further, the following usage method is also conceivable. In general, in order to accurately record a rhythm with a constant rhythm and a constant strength with a percussion instrument, it is always necessary to perform a constant stick operation (stroke operation). In other words, it is ideal to keep a certain performance form. However, it is difficult for the performer to notice the disorder of his form. Therefore, the
また、本発明は太鼓やドラム等の電子打楽器に好適であるが、これらに限られるものではない。例えば、フットペダルを操作することにより演奏を行うドラムやシンバル等の打楽器は勿論のこと、電子ピアノ等の打鍵機構を有する電子楽器にも本発明は適用可能である。この場合、例えば演奏動作を予測すべき各鍵のハンマの先端部に磁石20を取り付け、ハンマの打撃面に磁気センサ21を取り付けておけばよい。あるいは、判定面に光学シャッタを取り付け、判定面を通過するハンマのタイミングおよび速度を検出してもよい。要は、実際に演奏が行われ(すなわち、スティックやハンマが打撃面へ到達して)演奏情報生成処理および発音処理が行われる前に、ハンマ等の操作子の位置や速度といった情報が取得できればよい。
The present invention is suitable for electronic percussion instruments such as drums and drums, but is not limited thereto. For example, the present invention is applicable not only to percussion instruments such as drums and cymbals that perform by operating a foot pedal, but also to electronic musical instruments having a keying mechanism such as an electronic piano. In this case, for example, the
1・・・電子打楽器、10・・・制御部、11・・・位置検出部、12・・・打撃検出部、13・・・発音部、14・・・記憶部、15・・・通信部、16・・・タイマ、17・・・バス、18・・・スティック、20・・・磁石、21・・・磁気センサ、22・・・打撃面。
DESCRIPTION OF
Claims (8)
前記操作子が前記打撃検出部に到達する以前における前記操作子の運動状態を検出する検出手段と、
前記検出手段によって検出された運動状態に基づき、前記打撃検出部への到達時の前記操作子の運動状態を予測する予測手段と、
前記予測手段において予測された運動状態に従って演奏情報を生成する生成手段と
を有する電子楽器。 An electronic musical instrument having an impact detection unit that detects contact with an operator operated by a user,
Detecting means for detecting a motion state of the operation element before the operation element reaches the hit detection unit;
Predicting means for predicting the motion state of the manipulator when reaching the hit detection unit based on the motion state detected by the detection means;
An electronic musical instrument comprising: generating means for generating performance information in accordance with the motion state predicted by the prediction means.
前記操作子が前記打撃検出部に到達する以前のある時刻において、前記操作子の位置および速度を検出する検出手段と、
前記検出手段によって検出された位置及び速度に基づき、前記操作子が前記打撃検出部に到達する時刻および到達時の速度を予測する予測手段と、
前記予測手段において予測された時刻および速度に従って演奏情報を生成する生成手段と
を有する電子楽器。 An electronic musical instrument having an impact detection unit that detects contact with an operator operated by a user,
Detecting means for detecting the position and speed of the operating element at a certain time before the operating element reaches the hit detection unit;
Prediction means for predicting the time when the operation element reaches the hit detection unit and the speed at the time of arrival based on the position and speed detected by the detection means;
An electronic musical instrument comprising: generation means for generating performance information according to the time and speed predicted by the prediction means.
前記操作子の位置を検出する検出手段と、
前記検出手段によって検出された複数の位置と当該位置の検出時刻とに基づいて前記操作子の速度を算出する算出手段と、
前記検出手段にて検出された前記操作子の位置に基づき、前記操作子が所定の領域内に進入したか否かを判定する判定手段と、
前記判定手段にて前記操作子が前記所定の領域内に進入したと判定された場合のみ、前記算出手段によって算出された速度に基づいて前記操作子が前記打撃検出部に到達する時刻を予測する予測手段と、
前記予測手段において予測された時刻および前記算出手段によって算出された速度から、それぞれ発音タイミングおよびベロシティを決定することにより演奏情報を生成する生成手段と
を有する電子楽器。 An electronic musical instrument having an impact detection unit that detects contact with an operator operated by a user,
Detecting means for detecting the position of the manipulator;
Calculation means for calculating the speed of the operating element based on a plurality of positions detected by the detection means and detection times of the positions;
Determining means for determining whether or not the operating element has entered a predetermined region based on the position of the operating element detected by the detecting means;
Only when it is determined by the determination means that the operation element has entered the predetermined area, the time at which the operation element reaches the hit detection unit is predicted based on the speed calculated by the calculation means. Prediction means,
An electronic musical instrument comprising: generating means for generating performance information by determining sound generation timing and velocity from the time predicted by the predicting means and the speed calculated by the calculating means, respectively.
前記生成手段によって生成された演奏情報の送信タイミングを前記遅延量に基づいて決定する決定手段と、
前記決定手段により決定された送信タイミングに従って、前記演奏情報を前記通信ネットワークを介して送信する送信手段と
を更に有する請求項1ないし3のいずれかに記載の電子楽器。 Means for obtaining a delay amount of the communication network;
Determining means for determining the transmission timing of the performance information generated by the generating means based on the delay amount;
The electronic musical instrument according to any one of claims 1 to 3, further comprising: transmission means for transmitting the performance information via the communication network according to the transmission timing determined by the determination means.
ことを特徴とする請求項1ないし3のいずれかに記載の電子楽器。 The detection unit includes a sensor provided in the hit detection unit, and the sensor detects a position of the operation element by sensing a detected member included in the operation element. The electronic musical instrument in any one of thru | or 3.
ことを特徴とする請求項5に記載の電子楽器。 The said operation element is a drumstick with which the said to-be-detected member was embedded in the front-end | tip part, and the said hit | damage detection part contains the striking surface for a user to strike the said drumstick. Electronic musical instrument.
ことを特徴とする請求項6に記載の電子楽器。 The electronic musical instrument according to claim 6, wherein the sensor includes at least two magnetic sensors provided in the hit detection unit, and the non-detection member is a magnet.
前記操作子が前記打撃検出部に到達する以前における前記操作子の運動状態を検出する運動状態検出ステップと、
前記運送状態検出ステップにおいて検出された運動状態に基づき、前記打撃検出部に到達時の前記操作子の運動状態を予測する運動状態予測ステップと、
前記運動状態予測ステップにおいて予測された運動状態に従って演奏情報を生成する生成ステップと
を有する演奏情報生成方法。 A method for generating performance information in an electronic musical instrument having an impact detection unit that detects contact with an operator operated by a user,
A motion state detection step of detecting a motion state of the manipulator before the manipulator reaches the hit detection unit;
Based on the motion state detected in the transport state detection step, a motion state prediction step for predicting the motion state of the manipulator when reaching the hit detection unit;
A performance information generation method comprising: a generation step of generating performance information according to the motion state predicted in the motion state prediction step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353404A JP4244916B2 (en) | 2004-12-06 | 2004-12-06 | Pronunciation control method based on performance prediction and electronic musical instrument |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004353404A JP4244916B2 (en) | 2004-12-06 | 2004-12-06 | Pronunciation control method based on performance prediction and electronic musical instrument |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006162904A true JP2006162904A (en) | 2006-06-22 |
JP4244916B2 JP4244916B2 (en) | 2009-03-25 |
Family
ID=36665013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004353404A Expired - Fee Related JP4244916B2 (en) | 2004-12-06 | 2004-12-06 | Pronunciation control method based on performance prediction and electronic musical instrument |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4244916B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009098683A (en) * | 2007-09-28 | 2009-05-07 | Yamaha Corp | Performance system |
JP2009116325A (en) * | 2007-10-19 | 2009-05-28 | Yamaha Corp | Music performance system |
JP2012098637A (en) * | 2010-11-05 | 2012-05-24 | Casio Comput Co Ltd | Electronic percussion and program |
JP2012118299A (en) * | 2010-12-01 | 2012-06-21 | Casio Comput Co Ltd | Performance device and electronic musical instrument |
JP2013213945A (en) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | Musical performance device, method, and program |
JP2013213946A (en) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | Performance device, method, and program |
CN106340229A (en) * | 2016-08-23 | 2017-01-18 | 滨州学院 | Velocity-sound skinless drum demonstration instrument based on ultrasonic |
CN107945778A (en) * | 2017-12-29 | 2018-04-20 | 瞿妤冰 | Electronic musical instrument |
FR3061797A1 (en) * | 2017-01-11 | 2018-07-13 | Redison | EMULATION OF AT LEAST ONE BATTERY TYPE PERCUSSION INSTRUMENT SON |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9236039B2 (en) | 2013-03-04 | 2016-01-12 | Empire Technology Development Llc | Virtual instrument playing scheme |
-
2004
- 2004-12-06 JP JP2004353404A patent/JP4244916B2/en not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009098683A (en) * | 2007-09-28 | 2009-05-07 | Yamaha Corp | Performance system |
JP2009116325A (en) * | 2007-10-19 | 2009-05-28 | Yamaha Corp | Music performance system |
JP2012098637A (en) * | 2010-11-05 | 2012-05-24 | Casio Comput Co Ltd | Electronic percussion and program |
JP2012118299A (en) * | 2010-12-01 | 2012-06-21 | Casio Comput Co Ltd | Performance device and electronic musical instrument |
US8586853B2 (en) | 2010-12-01 | 2013-11-19 | Casio Computer Co., Ltd. | Performance apparatus and electronic musical instrument |
JP2013213945A (en) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | Musical performance device, method, and program |
JP2013213946A (en) * | 2012-04-02 | 2013-10-17 | Casio Comput Co Ltd | Performance device, method, and program |
CN106340229A (en) * | 2016-08-23 | 2017-01-18 | 滨州学院 | Velocity-sound skinless drum demonstration instrument based on ultrasonic |
FR3061797A1 (en) * | 2017-01-11 | 2018-07-13 | Redison | EMULATION OF AT LEAST ONE BATTERY TYPE PERCUSSION INSTRUMENT SON |
WO2018130768A1 (en) * | 2017-01-11 | 2018-07-19 | Drumistic | Emulation of at least one sound of a drum-type percussion instrument |
US11120780B2 (en) | 2017-01-11 | 2021-09-14 | Redison | Emulation of at least one sound of a drum-type percussion instrument |
CN107945778A (en) * | 2017-12-29 | 2018-04-20 | 瞿妤冰 | Electronic musical instrument |
Also Published As
Publication number | Publication date |
---|---|
JP4244916B2 (en) | 2009-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9773480B2 (en) | Electronic music controller using inertial navigation-2 | |
JP5664581B2 (en) | Musical sound generating apparatus, musical sound generating method and program | |
JP3307152B2 (en) | Automatic performance control device | |
US8586853B2 (en) | Performance apparatus and electronic musical instrument | |
US8710347B2 (en) | Performance apparatus and electronic musical instrument | |
US8653350B2 (en) | Performance apparatus and electronic musical instrument | |
JP4206332B2 (en) | Input device, game system, program, and information storage medium | |
JP5257966B2 (en) | Music reproduction control system, music performance program, and performance data synchronous reproduction method | |
US8723011B2 (en) | Musical sound generation instrument and computer readable medium | |
JP4244916B2 (en) | Pronunciation control method based on performance prediction and electronic musical instrument | |
WO2006070044A1 (en) | A method and a device for localizing a sound source and performing a related action | |
JP2012098637A (en) | Electronic percussion and program | |
JP4259329B2 (en) | Performance device and ensemble system | |
JP4333588B2 (en) | Session terminal | |
JP2010175754A (en) | Attitude evaluating device, attitude evaluating system and program | |
JP6402502B2 (en) | Performance information output control device, keyboard instrument and control method | |
JP6111526B2 (en) | Music generator | |
JP2014048504A (en) | Session device, method, and program | |
JP6507519B2 (en) | Touch detection device, method, and program, electronic musical instrument | |
Jin et al. | Mallo: A distributed, synchronized instrument for internet music performance | |
JP4155572B2 (en) | Input device, game system, program, and information storage medium | |
JP6710432B2 (en) | Musical tone control device, electronic musical instrument, musical tone control method and program | |
JP3849133B2 (en) | Sound source control method and sound source control apparatus for electronic musical instrument | |
JP2023154288A (en) | Control device | |
KR100887980B1 (en) | Rooters tool and control method for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071023 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081216 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4244916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |