JP2006251023A - 姿勢角度検出装置を用いた電子楽器およびその制御方法 - Google Patents

姿勢角度検出装置を用いた電子楽器およびその制御方法 Download PDF

Info

Publication number
JP2006251023A
JP2006251023A JP2005063863A JP2005063863A JP2006251023A JP 2006251023 A JP2006251023 A JP 2006251023A JP 2005063863 A JP2005063863 A JP 2005063863A JP 2005063863 A JP2005063863 A JP 2005063863A JP 2006251023 A JP2006251023 A JP 2006251023A
Authority
JP
Japan
Prior art keywords
detection device
angle detection
output
musical instrument
posture angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005063863A
Other languages
English (en)
Other versions
JP4266370B2 (ja
Inventor
Kazutake Mutou
和健 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokin Corp
Original Assignee
NEC Tokin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Tokin Corp filed Critical NEC Tokin Corp
Priority to JP2005063863A priority Critical patent/JP4266370B2/ja
Publication of JP2006251023A publication Critical patent/JP2006251023A/ja
Application granted granted Critical
Publication of JP4266370B2 publication Critical patent/JP4266370B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract


【課題】 一定の人間の習熟度を必要とせず、未経験者が気軽に演奏でき、様々な音パラメータを制御でき、演奏者の身振りの位置や動作が演奏するために制限されず、自由に体を動かして演奏できる姿勢角度検出装置を用いた電子楽器およびその制御方法を提供する。
【解決手段】 姿勢角度検出装置12a,12b,12c,12dを用いて演奏者11の体の部位における相対位置を演算し音や音楽を制御すること、および姿勢角度検出装置12a,12b,12c,12dを用いて演奏者11の体の部位における相対位置を演算し、音や音楽を制御する電子楽器およびその制御方法に、出力がある一定の基準加速度を越えたときに、音を発生させる姿勢角度検出装置を追加すること。また、加速度があらかじめ決められた一定値よりも大きいかどうかを判断し、大きければスピーカ15に出力し音を鳴らし、1つ1つ音を発生させて音楽に仕上げることを可能とする機能を追加すること。
【選択図】 図1

Description

本発明は、肘や手首の角度(身振り)によって楽音を制御する電子楽器およびその制御方法に関し、特に仮想楽器を用いたデジタル演奏に好適な姿勢角度検出装置を用いた電子楽器およびその電子楽器の制御方法に関する。
演奏者の身振りによって楽音を制御する電子楽器は、特許文献1に開示されている。ここでは、演奏者の各関節に角度検出器を取り付けて、その角度に基づいて音階の高低を変化させて、演奏できる電子楽器が記述されている。この電子楽器は、いわゆる身振り電子楽器であり、関節の曲げ角度に基づいて発音する楽音の音高を設定する。発音時は、角度を複数の区間に分割し、分割された段階毎に一つの音高を割り当てるようにし、複数の曲げ角度を検出する場合には、それぞれの曲げ角度でマトリックスを作るようにする。
この方法により、大雑把な曲げ角度で正確な楽音を発音でき、発音中は、発音時の曲げ角度から微小な角度変化((記憶手段)−(検出手段))を周波数変化(周波数調整手段)として反映させ、発音後の周波数変化を連続的につけることが可能になった。
特開平6−83336号公報
上述した特許文献1の大雑把な曲げ角度で正確な楽音を発音でき、発音中は、発音時の曲げ角度から微小な角度変化((記憶手段)−(検出手段))を周波数変化(周波数調整手段)として反映させ、発音後の周波数変化を連続的につける電子楽器の制御方法では、一定の人間の習熟度を必要とし、未経験者が聴衆に演奏して聞かせるのは困難であるという問題があった。また、音階の高低しか変化させることができず、演奏者の身振りの位置や動作が演奏するために制限され、演奏の自由度が少ないという問題があった。
本発明は、上述した問題を解決すべくなされたもので、その技術課題は、一定の人間の習熟度を必要とせず、未経験者が気軽に演奏でき、様々な音パラメータ(音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数)を制御でき、演奏者の身振りの位置や動作が演奏するために制限されず、自由に体を動かして演奏できる姿勢角度検出装置を用いた電子楽器およびその制御方法を提供することである。
上記目的を達成するための第1の発明は、演奏者の体のうち、少なくとも1つ以上の関節を介して接続している部位に取り付けられるか、または演奏者が保持し、前記部位の姿勢角度を検出する複数の姿勢角度検出装置と、該姿勢角度検出装置の出力から1つの基準部位に対する他の部位の相対位置を演算する相対位置演算手段と、音源と、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて前記音源から発生する音出力を変化させる制御部とから構成された前記姿勢角度検出装置を用いた電子楽器において、前記制御部は、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて、前記音出力の音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数、のうち少なくとも1つを変化させる手段を有する姿勢角度検出装置を用いた電子楽器である。
上記目的を達成するための第2の発明は、請求項1記載の姿勢角度検出装置を用いた電子楽器において、さらに加速度検出装置を備え、該加速度検出装置の出力がある一定の基準加速度を越えたときに、音を発生させる手段を有する姿勢角度検出装置を用いた電子楽器である。
上記目的を達成するための第3の発明は、演奏者の体のうち、少なくとも1つ以上の関節を介して接続している部位に取り付けられるか、または演奏者が保持し、前記部位の姿勢角度を検出する複数の姿勢角度検出装置と、該姿勢角度検出装置の出力から1つの基準部位に対する他の部位の相対位置を演算する相対位置演算手段と、音源と、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて前記音源から発生する音出力を変化させる制御部とから構成された前記姿勢角度検出装置を用いた電子楽器の制御方法において、前記制御部は、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて、前記音出力の音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数、のうち少なくとも1つを変化させた姿勢角度検出装置を用いた電子楽器の制御方法である。
上記目的を達成するための第4の発明は、請求項3記載の姿勢角度検出装置を用いた電子楽器の制御方法において、さらに加速度検出装置を備え、該加速度検出装置の出力がある一定の基準加速度を越えたときに、音を発生させた姿勢角度検出装置を用いた電子楽器の制御方法である。
本発明によれば、姿勢角度検出装置を用いて演奏者の体の部位における相対位置を演算し、音や音楽(すでに収録されている音楽をアレンジする動き)を制御することで、体の動きに自由度が大きく演奏できるので、一定の人間の習熟度を必要とせず、未経験者が気軽に演奏できるようになる。また、姿勢角度検出装置を用いて演奏者の体の部位における相対位置を演算し、音や音楽(すでに収録されている音楽をアレンジする動き)を制御する電子楽器およびその制御方法に、出力がある一定の基準加速度を越えたときに、音を発生させる姿勢角度検出装置を追加することで、加速度があらかじめ決められた一定値よりも大きいかどうかを判断し、大きければスピーカに出力し音を鳴らし、1つ1つ音を発生させて音楽に仕上げることを可能とする機能を追加することで、更に、様々な音パラメータ(音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数)を制御できる。
その結果、一定の人間の習熟度を必要とせず、未経験者が気軽に演奏でき、様々な音パラメータ(音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数)を制御でき、演奏者の身振りの位置や動作が演奏するために制限されず、自由に体を動かして演奏できる姿勢角度検出装置を用いた電子楽器およびその制御方法の提供が可能となる。
本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法は、以下に図面および実施例に基づいて詳細に説明するが、本発明は、この実施例に限定されるものではない。
図1は、本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例1)の全体概略図である。図2は、本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例1)の全体ブロック図である。図3は、本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例2)の全体概略図である。図4は、本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例2)の全体ブロック図である。
本発明に係る姿勢角度検出装置を用いた電子楽器およびその制御方法の実施例1について図面を参照して説明する。図1に示すように、演奏者11の両腕に姿勢角度検出装置12a,12b,12c,12dが取り付けられている。姿勢角度検出装置はNECトーキン株式会社製の3Dモーションセンサを用いた。これらは演奏者11の腰に取り付けられたUSBハブ13に接続され、1本にまとめられた後に、パソコン14に接続されている。パソコン14にはスピーカ15が接続されている。
図2に示すように、姿勢角度検出装置21a,21b,21c,21dから相対位置演算手段22に姿勢角度が出力される。相対位置演算手段22では右手首と左手首の相対位置が演算され、姿勢角度出力とともに制御部23に出力される。制御部23は音源である音ファイル24から出力された音データを相対位置出力と姿勢角度出力によって変更し、スピーカに出力する。
始めに相対位置演算手段について説明する。演奏者の右前腕部、右上腕部、左上腕部、左前腕部に取り付けられた姿勢角度検出装置からは、それぞれの部位における3軸の姿勢角度が出力される。ここで、座標の原点を右手首と仮定する。あらかじめ演奏者の各部位の長さが解っているものと仮定すると、右前腕部の長さのベクトルが求められる。右前腕部に取り付けた第1の姿勢角度検出装置における3軸の出力で回転させることで、右肘の座標が求められる。同様に右上腕部の長さのベクトルが求められる。右上腕部に取り付けた第2の姿勢角度検出装置における3軸の出力で回転させることで、右肘に対する右肩の座標が求められる。
このようにして次々に関節の座標を求めていき、最後に全てを足し合わせると原点である右手首に対する左手首の相対座標を求めることができる。厳密には右肩と左肩の間、すなわち胸の部分にも姿勢角度検出装置が必要であるが、上腕部の長さを肩幅の半分だけ長めに設定することで誤差を低減できる。ここでは、装着の煩わしさや束縛感を低減させ、低コスト化するために、胸部の装置を省略している。
次に、制御部について説明する。制御部には相対位置演算手段から右手首に対する左手首の相対位置とそれぞれの姿勢角度検出装置の出力が入力される。ここでは、相対位置(X,Y,Z)によって制御を行う。X軸は体の前後を表し、音量の強弱を割り当てる。右手を左手よりも前に出すと音量が増加し、逆に左手を右手より前に出すと音量が減少する。Y軸は体の左右を表し、和音の数を割り当てる。音ファイルには基本となる音楽に関するそれぞれの楽器のパートが収録されており、両手を左右に広げていくと楽器の数が増加し、逆に左右の手を交差させると楽器の数が減少する。Z軸は体の上下を表し、音階の高低を割り当てる。右手を左手よりも上に上げると音階が高くなり、逆に左手を右手よりも上に上げると音階が低くなる。さらに制御するパラメータを増やすこともできるが、増やしていくと演奏者が混乱し演奏が難しくなるので、3つ程度が妥当な数である。
本発明に係る姿勢角度検出装置を用いた電子楽器およびその制御方法の実施例2について図面を参照して説明する。図3に示すように、演奏者31の左腕に姿勢角度検出装置32a,32bが取り付けられており、右腕に加速度検出装置33が取り付けられている。姿勢角度検出装置および加速度検出装置はNECトーキン株式会社製の3Dモーションセンサを用いた。これらは演奏者31の腰に取り付けられたUSBハブ34に接続され、1本にまとめられた後に、パソコン35に接続されている。パソコン35にはスピーカ36が接続されている。
図4に示すように、姿勢角度検出装置41a,41bから相対位置演算手段43に姿勢角度が出力される。相対位置演算手段43では左手首と左肩の相対位置が演算され、姿勢角度出力とともに制御部44に出力される。一方、加速度検出装置42からも制御部44に加速度が出力される。制御部44は音源である音ファイル45から出力された音データを相対位置出力と姿勢角度出力によって変更し、加速度出力により出力するかどうかの判断をして、スピーカ46に出力する。相対位置演算手段については実施例1の内容と同様である。演奏者の左前腕部および左上腕部に取り付けられた姿勢角度検出装置から、左手首と左肩の相対位置を演算する。
次に、制御部について説明する。制御部には相対位置演算手段から左手首に対する左肩の相対位置とそれぞれの姿勢角度検出装置の出力が入力される。ここでは、相対位置(X,Y,Z)と左前腕部のロール角Rによって制御を行う。X軸は体の前後を表し、音量の強弱を割り当てる。左手を左肩よりも前に出すと音量が増加し、逆に左手を左肩より後ろにすると音量が減少する。Y軸は体の左右を表し、テンポの高低を割り当てる。左手を左肩よりも左に出すとテンポが増加し、逆に左手を左肩より右に出すとテンポが減少する。Z軸は体の上下を表し、音階の高低を割り当てる。右手を左手よりも上に上げると音階が高くなり、逆に左手を右手よりも上に上げると音階が低くなる。R軸は腕をねじる方向の角度であり、楽器の種類を割り当てる。音ファイルにはそれぞれの楽器の単音が収録されており、左手をねじる位置により3段階に楽器を選ぶようにする。ここでは4つのパラメータを変化させているが、さらに制御するパラメータを増やすこともできる。このようにして、左腕の姿勢によって鳴らすべき音が決まり、右腕を振ることにより加速度が発生するが、加速度があらかじめ決められた一定値よりも大きいかどうかを判断し、大きければスピーカに出力し音を鳴らすようにしている。
以上に示したとおり、本発明は、一定の人間の習熟度を必要とせず、未経験者が気軽に演奏でき、様々な音パラメータ(音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数)を制御でき、演奏者の身振りの位置や動作が演奏するために制限されず、自由に体を動かして演奏できる姿勢角度検出装置を用いた電子楽器およびその制御方法の提供が可能となることがわかる。
本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例1)の全体概略図。 本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例1)の全体ブロック図。 本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例2)の全体概略図。 本発明を実施するための最良の形態に係る姿勢角度検出装置を用いた電子楽器およびその制御方法(実施例2)の全体ブロック図。
符号の説明
11 演奏者
12a,12b,12c,12d 姿勢角度検出装置
13 USBハブ
14 パソコン
15 スピーカ
21a,21b,21c,21d 姿勢角度検出装置
22 相対位置演算手段
23 制御部
24 音ファイル
25 スピーカ
31 演奏者
32a,32b 姿勢角度検出装置
33 加速度検出装置
34 USBハブ
35 パソコン
36 スピーカ
41a,41b 姿勢角度検出装置
42 加速度検出装置
43 相対位置演算手段
44 制御部
45 音ファイル
46 スピーカ

Claims (4)

  1. 演奏者の体のうち、少なくとも1つ以上の関節を介して接続している部位に取り付けられるか、または演奏者が保持し、前記部位の姿勢角度を検出する複数の姿勢角度検出装置と、該姿勢角度検出装置の出力から1つの基準部位に対する他の部位の相対位置を演算する相対位置演算手段と、音源と、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて前記音源から発生する音出力を変化させる制御部とから構成された前記姿勢角度検出装置を用いた電子楽器において、前記制御部は、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて、前記音出力の音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数、のうち少なくとも1つを変化させる手段を有することを特徴とする姿勢角度検出装置を用いた電子楽器。
  2. 請求項1記載の姿勢角度検出装置を用いた電子楽器において、さらに加速度検出装置を備え、該加速度検出装置の出力がある一定の基準加速度を越えたときに、音を発生させる手段を有することを特徴とする姿勢角度検出装置を用いた電子楽器。
  3. 演奏者の体のうち、少なくとも1つ以上の関節を介して接続している部位に取り付けられるか、または演奏者が保持し、前記部位の姿勢角度を検出する複数の姿勢角度検出装置と、該姿勢角度検出装置の出力から1つの基準部位に対する他の部位の相対位置を演算する相対位置演算手段と、音源と、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて前記音源から発生する音出力を変化させる制御部とから構成された前記姿勢角度検出装置を用いた電子楽器の制御方法において、前記制御部は、前記姿勢角度検出装置の出力および前記相対位置演算手段の出力に基づいて、前記音出力の音量の強弱、音階の高低、テンポの高低、音色の種類、和音の数、のうち少なくとも1つを変化させたことを特徴とする姿勢角度検出装置を用いた電子楽器の制御方法。
  4. 請求項3記載の姿勢角度検出装置を用いた電子楽器の制御方法において、さらに加速度検出装置を備え、該加速度検出装置の出力がある一定の基準加速度を越えたときに、音を発生させたことを特徴とする姿勢角度検出装置を用いた電子楽器の制御方法。
JP2005063863A 2005-03-08 2005-03-08 姿勢角度検出装置を用いた電子楽器およびその制御方法 Expired - Fee Related JP4266370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005063863A JP4266370B2 (ja) 2005-03-08 2005-03-08 姿勢角度検出装置を用いた電子楽器およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005063863A JP4266370B2 (ja) 2005-03-08 2005-03-08 姿勢角度検出装置を用いた電子楽器およびその制御方法

Publications (2)

Publication Number Publication Date
JP2006251023A true JP2006251023A (ja) 2006-09-21
JP4266370B2 JP4266370B2 (ja) 2009-05-20

Family

ID=37091651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005063863A Expired - Fee Related JP4266370B2 (ja) 2005-03-08 2005-03-08 姿勢角度検出装置を用いた電子楽器およびその制御方法

Country Status (1)

Country Link
JP (1) JP4266370B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008000039A1 (en) * 2006-06-29 2008-01-03 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
JP2016018107A (ja) * 2014-07-09 2016-02-01 カシオ計算機株式会社 楽音発生指示装置、楽音発生指示方法、プログラムおよび電子楽器
CN105744434A (zh) * 2016-02-25 2016-07-06 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统
US9595932B2 (en) 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008000039A1 (en) * 2006-06-29 2008-01-03 Commonwealth Scientific And Industrial Research Organisation A system and method that generates outputs
JP2009541801A (ja) * 2006-06-29 2009-11-26 コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガニゼイション 出力を生成するシステムおよび方法
US8830162B2 (en) 2006-06-29 2014-09-09 Commonwealth Scientific And Industrial Research Organisation System and method that generates outputs
US9595932B2 (en) 2013-03-05 2017-03-14 Nike, Inc. Adaptive music playback system
US10229661B2 (en) 2013-03-05 2019-03-12 Nike, Inc. Adaptive music playback system
US11145284B2 (en) 2013-03-05 2021-10-12 Nike, Inc. Adaptive music playback system
US11854520B2 (en) 2013-03-05 2023-12-26 Nike, Inc. Adaptive music playback system
JP2016018107A (ja) * 2014-07-09 2016-02-01 カシオ計算機株式会社 楽音発生指示装置、楽音発生指示方法、プログラムおよび電子楽器
CN105744434A (zh) * 2016-02-25 2016-07-06 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统
CN105744434B (zh) * 2016-02-25 2019-01-11 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统

Also Published As

Publication number Publication date
JP4266370B2 (ja) 2009-05-20

Similar Documents

Publication Publication Date Title
JP7162099B2 (ja) オーディオファイルの頭部姿勢ミキシング
US10895914B2 (en) Methods, devices, and methods for creating control signals
US7842875B2 (en) Scheme for providing audio effects for a musical instrument and for controlling images with same
US8609972B2 (en) Performance apparatus and electronic musical instrument operable in plural operation modes determined based on movement operation of performance apparatus
US20150103019A1 (en) Methods and Devices and Systems for Positioning Input Devices and Creating Control
JP5377878B2 (ja) プログラム、情報記憶媒体、及びゲームシステム
WO2006070044A1 (en) A method and a device for localizing a sound source and performing a related action
JP2006201438A (ja) 再生装置および再生方法
WO2009007512A1 (en) A gesture-controlled music synthesis system
Marshall et al. Gesture control of sound spatialization for live musical performance
JP4266370B2 (ja) 姿勢角度検出装置を用いた電子楽器およびその制御方法
JP4586525B2 (ja) バーチャルドラム装置
Zlatintsi et al. A web-based real-time kinect application for gestural interaction with virtual musical instruments
Overholt Violin-related HCI: A taxonomy elicited by the musical interface technology design space
Yonezawa et al. Handysinger: Expressive singing voice morphing using personified hand-puppet interface
Young et al. HyperPuja: A Tibetan Singing Bowl Controller.
Kim et al. Developing humanoids for musical interaction
Overholt Advancements in violin-related human-computer interaction
Kim et al. Enabling humanoid musical interaction and performance
JP7458127B2 (ja) 処理システム、音響システム及びプログラム
Jo et al. Sound improvement of violin playing robot applying auditory feedback
Batula et al. Using audio and haptic feedback to detect errors in humanoid musical performances
JP2013044889A (ja) 演奏装置
WO2023157186A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP3047539B2 (ja) 楽音制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090212

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090216

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees