JP2001117715A - 触覚力覚呈示装置及び情報入出力装置 - Google Patents

触覚力覚呈示装置及び情報入出力装置

Info

Publication number
JP2001117715A
JP2001117715A JP29334899A JP29334899A JP2001117715A JP 2001117715 A JP2001117715 A JP 2001117715A JP 29334899 A JP29334899 A JP 29334899A JP 29334899 A JP29334899 A JP 29334899A JP 2001117715 A JP2001117715 A JP 2001117715A
Authority
JP
Japan
Prior art keywords
sphere
information
sense
force sense
force
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29334899A
Other languages
English (en)
Other versions
JP3855561B2 (ja
Inventor
Koichiro Okamura
浩一郎 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP29334899A priority Critical patent/JP3855561B2/ja
Publication of JP2001117715A publication Critical patent/JP2001117715A/ja
Application granted granted Critical
Publication of JP3855561B2 publication Critical patent/JP3855561B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 対象物の触覚力覚情報をよりリアルに表現す
ることができ、情報入出力装置としても使用できる触覚
力覚呈示装置を提供する。 【解決手段】 内部に運動子28を備え振動及び回転可
能に保持された球体12を備え、情報処理装置18が検
出手段16から入力された球体12の回転情報に応じて
ポインタを移動させ、モニター20に表示された画像上
にポインタ30が接触したときから触覚力覚信号を出力
し、球体12が回転されている状態で、駆動装置14A
及び14Bが情報処理装置18から送信された触覚力覚
信号に応じて運動子28を運動させることにより球体1
2を振動させて触覚力覚が呈示されるように構成され
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は触覚力覚呈示装置及
び情報入出力装置に関し、詳しくは、グラフィカル・ユ
ーザー・インターフェース(GUI)を利用した情報処
理装置の表示部に表示されたボタンやウィンドウの操作
感や、人が手指で物に触れたりその表面をなぞったとき
に感じとる触覚や力覚を、実際に物に触れずに模擬的に
指先に与えるための触覚力覚呈示装置及び情報入出力装
置に関する.
【0002】
【従来の技術】目、耳、鼻、手、指などの受容器官を用
いて知覚する体感情報の中で、触覚力覚情報は対象物を
認知、判断する場合の最終的な決め手となる場合が多
い。即ち、目の前に対象物が存在する場合、人は対象物
に手や指で触れることによって対象物の表面の粗滑感や
凹凸感などの感触を理解、納得し、さまざまな決定を下
していると考えられている。
【0003】これに対し、直接手指で触れることのでき
ないテレビやパーソナルコンピュータの画面上に表示さ
れる商品や展示物などの情報、または雑誌、パンフレッ
ト、カタログ等の文書で紹介される商品等の情報を受け
取った場合には、言語的・視覚的に対象を認識できて
も、その雰囲気を感じ取ったり体感を得ることは困難で
ある。そのため、人は脳の中で自らの経験に基づいてこ
れらの情報の欠落部分を推測して補完し対象物を理解し
ているが、補完された情報は個人の経験に基づくもので
あり、実際に対象物から得られる触覚力覚とは相違する
場合もある。
【0004】また、パーソナルコンピュータにおいて
は、その操作を容易にするために、画面上に表示されて
いるボタンやウィンドウを操作することによりコンピュ
ータを操作するGUI(グラフィカル・ユーザー・イン
ターフェース)が利用されている。このGUIでは、正
しくボタンが押されているか等の操作感は画面上の色表
示等の変化や音の出力により表現されているのが現状で
あり、実際に手指に触れているマウスやトラックボール
等の入力装置から操作感を感じとることはできない。こ
の通りGUIでの操作感の認知は、視覚情報あるいは簡
単な聴覚情報によるものにとどまっており、認知の深さ
は触覚を伴う場合よりも浅薄になりがちである。その結
果、操作時に記憶が曖昧になったり、判断の過ち、遅れ
を生じたりする。
【0005】近年のインターネットなどの主に視覚によ
る情報通信機器の発達、普及に伴い、情報機器上で画像
として表示される物の表面に触れたり、なぞったりした
ときの触感を得ることへの要求が大きくなるものと予想
される。また、より使い易いユーザー・インターフェー
スへの要求も大きくなるであろう。
【0006】従来、実際に触れることができない物の触
覚力覚情報を呈示する装置が幾つか提案されている。例
えば、特開平6−19385号公報に記載された模擬触
覚呈示装置は、操作者が把持しボールの回転により支持
面に沿って滑べらせる保持体を備えており、この保持体
を把持する指に接触する部位にピンを設置し、ピンを上
下させることにより指に対して触覚呈示を行っている。
また、特開平7−191798号公報に記載された入力
装置は、可動な球体とこの球体の回転を制御する回転制
御部とを備えており、球体と回転制御部とを一緒に上下
動させることにより球体に接触している指に対して触覚
呈示を行っている。
【0007】
【発明が解決しようとする課題】しかしながら、特開平
6−19385号公報に記載された模擬触覚呈示装置
は、ピンの先端に指を接触させてピンの動作を感じ取る
ものであるため、指全体で触感を感じとることができな
い。また指の位置が固定されてしまうので、実際に人が
指により物の表面を触れたり、なぞったりしたときに感
じとる触感を違和感なく呈示することが困難である。
【0008】また、特開平7−191798号公報に示
された入力装置は、可動な球体とその回転制御部とを一
緒に上下動させる構造であるため、装置が大きくなると
同時に、製作コストが高くなるという問題があり、汎用
装置として普及させることは難しい。
【0009】本発明は上記のような事情に鑑みてなされ
たものであり、本発明の目的は、対象物の触覚力覚情報
をよりリアルに表現することができる触覚力覚呈示装置
を提供することにある。本発明の他の目的は、簡単な構
造で、触覚力覚を呈示すると共に情報を情報処理装置に
入出力することができ、対象物の触覚力覚情報をよりリ
アルに表現することができる情報入出力装置を提供する
ことにある。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、本発明の触覚力覚呈示装置は、仮想対象の触覚力覚
を表現する触覚力覚呈示装置であって、内部に運動子を
備え振動及び回転可能に保持された球体と、触覚力覚信
号に応じて前記運動子を運動させることにより前記球体
を振動させる駆動手段と、を備えたことを特徴とする。
【0011】本発明の触覚力覚呈示装置は、内部に運動
子を備え振動及び回転可能に保持された球体を備えてお
り、指で球体を回転させている状態で、駆動手段が触覚
力覚信号に応じて球体内の運動子を運動させることによ
り球体を振動させて仮想対象の触覚力覚を表現するの
で、球体を介して微細で複雑な触覚力覚を使用者の手指
に伝達することができ、対象物の触覚力覚情報をよりリ
アルに表現することができる。
【0012】本発明の情報入出力装置は、内部に運動子
を備え振動及び回転可能に保持された球体と、球体が回
転されている状態で情報処理装置から入力された触覚力
覚信号に応じて前記運動子を運動させることにより前記
球体を振動させる駆動手段と、前記球体の回転方向及び
回転量を検出して回転情報を情報処理装置に出力するす
る検出手段と、を備えたことを特徴とする。
【0013】本発明の情報入出力装置は、内部に運動子
を備え振動及び回転可能に保持された球体を備えてお
り、情報処理装置が検出手段から入力された球体の回転
情報に応じてポインタを移動させ、画面に表示された画
像上にポインタが接触したときから触覚力覚信号を出力
する。球体が回転されている状態で、駆動手段が情報処
理装置から送信された触覚力覚信号に応じて前記運動子
を運動させることにより前記球体を振動させて触覚力覚
が呈示される。
【0014】このように、情報入出力装置の構造の一部
である球体を利用して触覚力覚を呈示することにより、
簡単な構造で、触覚力覚の呈示と情報の入出力とを行う
ことができる。また、球体内部に封入された運動子を運
動させることにより球体を振動させて仮想対象の触覚力
覚を表現するので、球体を介して微細で複雑な触覚力覚
を使用者の手指に伝達することができ、対象物の触覚力
覚情報をよりリアルに表現することができる。
【0015】
【発明の実施の形態】以下、図面を参照して本発明の触
覚力覚呈示機能を備えた情報入出力装置の実施の形態を
詳細に説明する。本実施の形態は、本発明の情報入出力
装置を情報処理装置のトラックボールに適用した例であ
る。
【0016】図1に示すように、トラックボール10
は、箱体11と、箱体11の上面に振動及び回転可能に
保持された球体12と、触覚力覚信号に応じて前記球体
を磁力により振動させる駆動装置14A及び14Bと、
球体の回転方向及び回転量を検出する検出手段16とを
備えており、駆動装置14A及び14Bと検出手段16
とは入出力装置17を介して情報処理装置18に接続さ
れている。また、情報処理装置18には、処理結果を表
示するモニター20が接続されている。
【0017】球体12は、箱体11の上面に設けられた
穴部13に振動及び回転可能に保持されている。球体1
2の内部は空洞であり、図2に示すように、球殻24内
部の空洞部26には、任意に運動することができる運動
子28が封入されている。この運動子28が空洞部26
中で任意に運動することにより得られる作用・反作用に
より球体12が振動する。運動子28は鉄等の磁性体で
構成され、球体12の外部に配置された駆動装置14A
及び14Bから作用する磁力によって吸引されることに
より運動する。このため球殻24は外部から運動子28
への磁力の伝達を妨げない透磁性材料により構成され
る。
【0018】駆動装置14A及び14Bは、図1に示す
ように、球体12を挟むように球体12の左右に配置さ
れている。駆動装置14Aは電磁石15Aと制御回路
(図示せず)とから構成され、情報処理装置18から入
出力装置17を介して入力された触覚力覚信号に応じ
て、制御回路が電磁石15Aへ通電する電流、電圧の大
きさと方向を制御し、電磁石15Aの磁界の大きさと方
向が制御される。このように制御された磁界が球体12
の空洞部26に封入された運動子28に作用して運動子
28の運動が制御される。なお、駆動装置14Bも駆動
装置14Aと同じ構造である。
【0019】次に、本実施の形態に係るトラックボール
10の作用について説明する。
【0020】使用者がその手指(図示せず)で球体12
を回転操作すると、球体12の回転方向と回転量とが検
出手段16により検出され、入出力装置17を介して情
報処理装置18へ入力される。情報処理装置18へ入力
された球体12の回転情報は、ポインタ30の運動とし
てモニター20に表示される。
【0021】図3に示すように、ポインタ30によりモ
ニター20に球体12の回転情報が表示される。モニタ
ー20にはポインタ30の他にコンピューターファイル
を示すアイコン32が表示されており、ポインタ30が
モニター20上でアイコン32と重なるとき、またはポ
インタ30がアイコン32から離れるときに、情報処理
装置18は、入出力装置17を介して駆動装置14A及
び14Bに触覚力覚信号を出力する。
【0022】駆動装置14A及び14Bの各制御回路
は、入力された触覚力覚信号に応じて電磁石へ通電する
電流、電圧の大きさと方向を制御し、これにより電磁石
15A及び15Bの磁界の大きさと方向が制御され、制
御された磁界が球体12の空洞部26に封入された運動
子28に作用して運動子28の運動が制御される。この
運動子28の運動から得られる作用・反作用により球体
12が振動し、その振動が球体12を回転操作する使用
者の手指に伝達することにより、ポインタ30の代わり
に使用者の手指がアイコン32に接触したかのような操
作感が使用者に呈示される。
【0023】また、図4に示すように、モニター20に
ポインタ30の他に表面に微細な凹凸を有する対象物3
4が表示されている場合、ポインタ30がモニター20
上で対象物34の上を移動するに伴い、情報処理装置1
8は、ポインタ30で対象物34に触れたときの触覚力
覚に応じた触覚力覚信号を、入出力装置17を介して駆
動装置14A及び14Bに出力する。
【0024】駆動装置14A及び14Bの各駆動回路
は、入力された触覚力覚信号に応じて電磁石へ通電する
電流、電圧の大きさと方向を制御し、これにより電磁石
15A及び15Bの磁界の大きさと方向が制御され、制
御された磁界が球体12の空洞部26に封入された運動
子28に作用して運動子28の運動が制御される。この
運動子28の運動から得られる作用・反作用により球体
12が微細に振動し、その振動が球体12を回転操作す
る使用者の手指に伝達することにより、ポインタ30の
代わりに使用者の手指で対象物34を実際になぞったと
きに感じとられるような「ざらつき」等のリアルな触覚
力覚が使用者に呈示される。
【0025】上記実施の形態では、球殻24内部の空洞
部26に任意に運動することができる単一の運動子28
が封入されている球体を用いた例を示したが、図5に示
すように、球殻24内部の空洞部26に任意に運動する
ことができる複数の運動子群28m(図5では3つの運
動子)が封入されている球体を用いてもよい。運動子を
複数使用することにより、これら運動子群28mのそれ
ぞれが空洞部26内で任意に運動する作用・反作用によ
り球体12が振動し、より微細複雑な力覚触覚を使用者
の手指に呈示することができる。
【0026】なお、本実施の形態では運動子28は球状
としたが、これに限られず、たる形状や無数の突起の有
する形状でもよく、表面も滑らかである必要はない。ま
た、空洞部26の内表面も滑らかである必要はなく、粗
面であってもよい。
【0027】上記実施の形態では、図6に示すように、
電磁石15A及び15Bを使用者から見て球体12の左
右に配置したが、使用者から見て球体12の前後に配置
してもよい。また、図7に示すように、電磁石15A、
15B、15C、及び15Dを使用者から見て球体12
の前後左右に配置し、15A〜Dの4つの電磁石により
運動子28に作用する磁界を制御してもよい。
【0028】なお、電磁石の個数は2個または4個に限
定されるものではなく、1個、3個、あるいは5個以上
とすることができる。電磁石の個数が増加することによ
り、球体の空洞部に封入された運動子の運動をより精密
に制御することができ、球体を介して使用者の手指(図
示せず)に力覚触覚をより精度よく呈示することが可能
となるので、電磁石の個数は多い方が好ましい。
【0029】また、上記実施の形態では、図1に示すよ
うに、電磁石15A及び15Bを側方から見て球体12
の中心よりやや下方に同じ高さで配置したが、球体12
の中心と同じ高さに配置してもよく、複数の電磁石を異
なる高さで配置してもよい。電磁石の個数及び配置を多
様化することにより、使用者の手指に力覚触覚をより精
度よく呈示することが可能である。
【0030】また、上記実施の形態では、球体の回転方
向及び回転量を検出する検出手段16を設けて球体の回
転情報の入出力を行っているが、情報入出力機能が有し
ない触覚力覚呈示装置として使用する場合は、このよう
な検出手段を設ける必要はない。
【0031】
【発明の効果】以上説明したように、本発明の触覚力覚
呈示装置は、球体内部に封入された運動子を運動させる
ことにより球体を振動させて仮想対象の触覚力覚を表現
するので、球体を介して微細で複雑な触覚力覚を使用者
の手指に伝達することができ、対象物の触覚力覚情報を
よりリアルに表現することができる。
【0032】また、本発明の情報入出力装置は、情報入
出力装置の構造の一部である球体を利用して触覚力覚を
呈示することにより、簡単な構造で、触覚力覚の呈示と
情報の入出力とを行うことができ、球体内部に封入され
た運動子を運動させることにより球体を振動させて仮想
対象の触覚力覚を表現するので、球体を介して微細で複
雑な触覚力覚を使用者の手指に伝達することができ、対
象物の触覚力覚情報をよりリアルに表現することができ
る。
【図面の簡単な説明】
【図1】本実施の形態の情報入出力装置の構造を示す概
略断面図である。
【図2】本実施の形態の情報入出力装置の球体部分の構
造の一例を示す概略図である。
【図3】本実施の形態の情報入出力装置の動作例を説明
する図である。
【図4】本実施の形態の情報入出力装置の他の動作例を
説明する図である。
【図5】情報入出力装置の球体部分の構造の他の例を示
す概略図である。
【図6】本実施の形態の情報入出力装置の電磁石の配置
を示す上面図である。
【図7】情報入出力装置の電磁石の他の配置例を示す上
面図である。
【符号の説明】
10 トラックボール 12 球体 14A〜D 駆動装置 16 検出手段 18 情報処理装置 20 モニター 28 運動子 30 ポインタ 32 アイコン 34 対象物

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 仮想対象の触覚力覚を表現する触覚力覚
    呈示装置であって、 内部に運動子を備え振動及び回転可能に保持された球体
    と、 触覚力覚信号に応じて前記運動子を運動させることによ
    り前記球体を振動させる駆動手段と、 を備えた触覚力覚呈示装置。
  2. 【請求項2】 内部に運動子を備え振動及び回転可能に
    保持された球体と、 回転されている状態で情報処理装置から入力された触覚
    力覚信号に応じて前記運動子を運動させることにより前
    記球体を振動させる駆動手段と、 前記球体の回転方向及び回転量を検出して回転情報を情
    報処理装置に出力するする検出手段と、を備えた情報入
    出力装置。
JP29334899A 1999-10-15 1999-10-15 触覚力覚呈示装置及び情報入出力装置 Expired - Fee Related JP3855561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29334899A JP3855561B2 (ja) 1999-10-15 1999-10-15 触覚力覚呈示装置及び情報入出力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29334899A JP3855561B2 (ja) 1999-10-15 1999-10-15 触覚力覚呈示装置及び情報入出力装置

Publications (2)

Publication Number Publication Date
JP2001117715A true JP2001117715A (ja) 2001-04-27
JP3855561B2 JP3855561B2 (ja) 2006-12-13

Family

ID=17793645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29334899A Expired - Fee Related JP3855561B2 (ja) 1999-10-15 1999-10-15 触覚力覚呈示装置及び情報入出力装置

Country Status (1)

Country Link
JP (1) JP3855561B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324094B2 (en) 2001-11-12 2008-01-29 Myorigo, S.A.R.L. Method and device for generating multi-functional feedback
JP2009284075A (ja) * 2008-05-20 2009-12-03 Nec Electronics Corp 撮影装置および撮影方法
US8976045B2 (en) 2009-02-17 2015-03-10 Nec Corporation Tactile force sense presenting device, electronic device terminal applied with tactile force sense presenting device, and tactile force sense presenting method
JP2015230602A (ja) * 2014-06-05 2015-12-21 日本電産サンキョー株式会社 力覚提示装置
GB2551150A (en) * 2016-06-06 2017-12-13 Cursor Controls Ltd Trackballs
JP2022537484A (ja) * 2019-05-03 2022-08-26 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. 触覚フィードバックをユーザに付与するデバイス及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324094B2 (en) 2001-11-12 2008-01-29 Myorigo, S.A.R.L. Method and device for generating multi-functional feedback
JP2009284075A (ja) * 2008-05-20 2009-12-03 Nec Electronics Corp 撮影装置および撮影方法
US8976045B2 (en) 2009-02-17 2015-03-10 Nec Corporation Tactile force sense presenting device, electronic device terminal applied with tactile force sense presenting device, and tactile force sense presenting method
JP2015230602A (ja) * 2014-06-05 2015-12-21 日本電産サンキョー株式会社 力覚提示装置
GB2551150A (en) * 2016-06-06 2017-12-13 Cursor Controls Ltd Trackballs
WO2017212252A1 (en) * 2016-06-06 2017-12-14 Cursor Controls Limited Trackballs
JP2019517697A (ja) * 2016-06-06 2019-06-24 カーソル コントロールズ リミテッド トラックボール
GB2551150B (en) * 2016-06-06 2020-07-01 Cursor Controls Ltd Trackballs
JP2022537484A (ja) * 2019-05-03 2022-08-26 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. 触覚フィードバックをユーザに付与するデバイス及び方法

Also Published As

Publication number Publication date
JP3855561B2 (ja) 2006-12-13

Similar Documents

Publication Publication Date Title
JP6703044B2 (ja) 視線に応じた触覚効果を提供するシステム、方法及び電子装置
US10338681B2 (en) Systems and methods for multi-output electrostatic haptic effects
US9134797B2 (en) Systems and methods for providing haptic feedback to touch-sensitive input devices
JP6591805B2 (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
JP3753744B2 (ja) アイソトニック及びアイソメトリックの機能を有する力フィードバックインタフェース
JP4860625B2 (ja) タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
US6078308A (en) Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
KR200258353Y1 (ko) 터치패드용 햅틱 피드백 및 기타 터치 제어장치
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
KR101422214B1 (ko) 자력 유체를 이용하여 입력 지점을 감지할 수 있는 화면표시 장치 및 방법
US20110148607A1 (en) System,device and method for providing haptic technology
KR20130050251A (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
JP2008257295A (ja) 触覚刺激提示方法
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
JP2006163206A (ja) 触覚提示装置
CN105892919A (zh) 在触控屏的键盘上识别键位和反馈输入值的方法
EP3931668B1 (en) Virtual reality controller
JP2001117715A (ja) 触覚力覚呈示装置及び情報入出力装置
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
WO2021075143A1 (ja) 制御装置、プログラム、及びシステム
JPS61240317A (ja) 簡易入力装置
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
JP3084433U (ja) 触感マウス装置
JPH10187025A (ja) マウス型触覚ディスプレイ装置
JP2003263271A (ja) 情報受感装置、情報伝達システム、情報受感装置の制御を行なうプログラムが記憶された記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060904

R150 Certificate of patent or registration of utility model

Ref document number: 3855561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees