JP2005063101A - 障害者用パソコン入力装置 - Google Patents

障害者用パソコン入力装置 Download PDF

Info

Publication number
JP2005063101A
JP2005063101A JP2003291453A JP2003291453A JP2005063101A JP 2005063101 A JP2005063101 A JP 2005063101A JP 2003291453 A JP2003291453 A JP 2003291453A JP 2003291453 A JP2003291453 A JP 2003291453A JP 2005063101 A JP2005063101 A JP 2005063101A
Authority
JP
Japan
Prior art keywords
display
personal computer
laser spot
input device
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003291453A
Other languages
English (en)
Other versions
JP3810012B2 (ja
Inventor
Kazuo Yushimo
和雄 湯下
Kazuyuki Ito
和幸 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi KE Systems Ltd
Original Assignee
Hitachi KE Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi KE Systems Ltd filed Critical Hitachi KE Systems Ltd
Priority to JP2003291453A priority Critical patent/JP3810012B2/ja
Publication of JP2005063101A publication Critical patent/JP2005063101A/ja
Application granted granted Critical
Publication of JP3810012B2 publication Critical patent/JP3810012B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

【課題】安価にして操作性が良好な障害者用パソコン入力装置を提供する。
【解決手段】障害者用パソコン入力装置を、パソコン本体1と、パソコン本体1に接続されたディスプレイ2と、レーザビームLを出射するレーザポインタ3と、レーザポインタ3をユーザの頭部に固定する固定具4と、ディスプレイ2の画像及びディスプレイ2に照射されたレーザスポットSとを撮影するカメラ5と、一端がユーザの口元にセットされたチューブ7と、当該チューブ7の他端に接続され、ユーザの呼気及び/又は吸気によって作動される空気作動式スイッチ装置8とから構成する。ディスプレイ2上に照射されたレーザスポットSの座標をカメラ5からの映像信号に基づいてパソコン本体1が算出し、算出された座標位置にマウスカーソルCを移動する。
【選択図】 図1

Description

本発明は、身体に障害を持つ人々が残存する機能を使って入力操作を行えるようにした障害者用パソコン入力装置に係り、特に、ポインティングデバイスの構成に関する。
従来より、身体障害者によるパソコンの使用を可能にするため、障害の部位や程度に応じてポインティングデバイスの構成に工夫を加えた様々な障害者用パソコン入力装置が提案されている。
中でも障害の程度が特に高く、頭部のみが僅かに動かせる程度の重度の障害を持ったユーザのための障害者用パソコン入力装置としては、図11及び図12に示すように、パソコン本体100と、パソコン本体100に接続されたディスプレイ101と、ユーザの頭部に固定具103を介して取り付けられたポインタ104と、ディスプレイ101上に設置されたコントローラ105と、一端がユーザの口元にセットされたスイッチ操作用のチューブ106とを備えたものが従来より提案されている。ポインタ104には、チューブ106に加えられた呼気圧及び/又は吸気圧によって作動される空気圧作動式スイッチ104aと、CPU104bと、コントローラ105より発光された赤外光線の受光部104cと、信号処理部104dと、発振部104eと、変調部104fと、コントローラ105に向けて赤外光線を発光する発光部104gと、装置各部に電源を供給する電源部104hとが備えられ、コントローラ105には、CPU105aと、ポインタ104より発光された赤外光線の受光部105bと、信号処理部105cと、発振部105dと、変調部105eと、ポインタ104に向けて赤外光線を発光する発光部105fとが備えられている。
この障害者用パソコン入力装置は、以下の手順で、ディスプレイ101上に表示されたマウスカーソル101aの制御を行う。即ち、コントローラ105の発光部105fから赤外光線を発光し、この赤外光線をポインタ104の受光部104cにて受光する。ポインタ104のCPU104bは、受光部104cの受光量よりコントローラ105に対するポインタ104の水平方向及び垂直方向の傾き角度を演算し、その演算データを空気圧作動式スイッチ104aのオンオフ状態のデータと共に発光部104gから発光される赤外光線によりコントローラ105の受光部105bに送信する。コントローラ105のCPU105aは、ポインタ104からの送信データに基づいてディスプレイ101上のポインタ104の座標値を求め、この座標値データをシリアルインタフェースを介してパソコン本体100に送信する。パソコン本体100は、コントローラ105から送信された座標値に基づいてディスプレイ101上に表示されたマウスカーソルの表示位置を制御する。
一方、ポインタ104に備えられた空気圧作動式スイッチ104aは、ユーザがチューブ106に息を吹き込むことでマウスカーソルを動作状態にし、呼気又は吸気を加えることでクリック、ダブルクリック、キャンセル、ドラッグ及びロックの各動作を行う。
したがって、ポインタ104の移動とチューブ106に加える呼気又は吸気とを組み合わせることによって、マウスやトラックボールなどを用いた場合と同様のポインティング動作を行うことができる(例えば、非特許文献1参照。)。
この公知例に係る障害者用パソコン入力装置は、ポインタ104を限定された角度範囲内で動作させつつチューブ106に呼気又は吸気を加えるだけでパソコンの使用が可能になるので、固定具103にて頭部にポインタ104を取り付け、口元にチューブ106の一端をセットすることにより、頭部のみが僅かに動かせる程度の重度の障害を持ったユーザによるパソコンの使用を可能とすることができる。また、ポインタ104とコントローラ105との間でデータを無線送受信するので、有線方式に比べてユーザの行動を制約しにくく、ユーザの日常生活に支障を生じにくい。
畠山卓朗・小泉義樹・梅田裕一・内尾正俊・春日正男「重度身体障害者用赤外光線方式ヘッド・ポインティング・デバイスの開発」。
然るに、前記公知例に係る障害者用パソコン入力装置は、ポインタ104とコントローラ105の双方に赤外光線の発光部104g,105fと、赤外光線の受光部104c,105bと、これらの各部を制御するCPU104b,105aとを備えるので、装置が高価格となりユーザ側の経済的負担が大きいという不都合があり、コスト面で改善の余地がある。また、ポインタ104が大型かつ大重量になるため、装着時におけるユーザの肉体的負担が大きいという不都合があり、操作性の観点からも改善の余地がある。
本発明は、かかる従来技術の不備を解消するためになされたものであり、その目的は、安価にして操作性が良好な身体障害者用のパソコン入力装置を提供することにある。
本発明は、前記の課題を解決するため、第1に、パソコン本体と、当該パソコン本体に接続されたディスプレイと、ユーザの身体に取り付けられ前記ディスプレイ上にレーザスポットを照射するレーザポインタと、前記ディスプレイの像及び前記ディスプレイに照射されたレーザスポットの像を撮影するカメラと、前記ディスプレイ上における前記レーザスポットの照射位置を確定するクリック手段とを備えた障害者用パソコン入力装置において、前記パソコン本体は、前記カメラから出力される映像信号に基づいて前記ディスプレイ上に照射された前記レーザスポットの座標を演算し、この演算された座標に前記ディスプレイの表示画面に表示されるマウスカーソルを位置付けると共に、前記クリック手段から出力されるクリック信号により前記ディスプレイ上における前記マウスカーソルの表示位置を確定し、当該確定されたマウスカーソルの表示位置と前記クリック信号の種別に応じたアプリケーションを起動するという構成にした。
このように、障害者用パソコン入力装置を市販品であるパソコン本体とディスプレイとレーザポインタとカメラとクリック手段とから構成すると、専用のポインタやコントローラを備える場合に比べて障害者用パソコン入力装置を低価格に製造でき、ユーザの経済的負担を軽減することができる。また、ユーザの身体に装着するのはレーザポインタだけであり、レーザポインタは内蔵電池を含めても重量が30g〜50g程度のものであるので、その操作性を良好なものにでき、ユーザの肉体的負担を小さくすることができる。さらに、ディスプレイ上にレーザポインタより出射されたレーザスポットを直接照射すると、ディスプレイ上に表示されたマウスカーソルをレーザポインタにて直接操作でき、レーザスポットの照射位置とマウスカーソルの表示位置とに視覚的なズレが生じないので、マウスカーソルの操作性を良好なものにすることができる。
また、本発明は、前記の課題を解決するため、第2に、パソコン本体と、当該パソコン本体に接続されたディスプレイと、当該ディスプレイの隣接位置に配置された光反射性の板材からなるサブパネルと、ユーザの身体に取り付けられ前記サブパネル上にレーザスポットを照射するレーザポインタと、前記サブパネルの像及び前記サブパネルに照射されたレーザスポットの像を撮影するカメラと、前記サブパネル上における前記レーザスポットの照射位置を確定するクリック手段とを備えた障害者用パソコン入力装置において、前記パソコン本体は、前記カメラから出力される映像信号に基づいて前記サブパネル上に照射された前記レーザスポットの座標を演算し、この演算された座標に対応する前記ディスプレイ上の座標に前記ディスプレイの表示画面に表示されるマウスカーソルを位置付けると共に、前記クリック手段から出力されるクリック信号により前記ディスプレイ上における前記マウスカーソルの表示位置を確定し、当該確定されたマウスカーソルの表示位置と前記クリック信号の種別に応じたアプリケーションを起動するという構成にした。
このように、ディスプレイの隣接位置に光反射性の板材からなるサブパネルを配置し、このサブパネルにレーザポインタより出射されたレーザビームを照射する構成にすると、ディスプレイの表示画面にレーザスポットを照射する場合のように表示画面からの出射光と表示画面にて反射されたレーザビームとが干渉するということがないので、サブパネルに対するレーザスポットの照射位置を確実にカメラでとらえることができ、マウスカーソルの操作を容易かつ確実に行うことができる。その他、障害者用パソコン入力装置を低価格に製造できる点及びユーザの肉体的負担を小さくできる点については、前記第1の構成の障害者用パソコン入力装置と同じである。
また、本発明は、前記第1の構成の障害者用パソコン入力装置において、前記ディスプレイとして前面に偏光板を備えたディスプレイを用いると共に、前記カメラの対物レンズの前方に偏光フィルタを備え、前記ディスプレイの前面に備えられた偏光板の偏光方向と前記カメラの前方に備えられた偏光フィルタの偏光方向とを互いに90度ずらすという構成にした。
このように、ディスプレイとして前面に偏光板を備えたディスプレイを用いると共にカメラの対物レンズの前方に偏光フィルタを備え、偏光板及び偏光フィルタの偏光方向を互いに90度ずらすと、ディスプレイの表示画面に表示された画像がカメラによって撮影されず、表示画面上に照射されたレーザスポットのみがカメラによって撮影されるので、ディスプレイの表示画面上に直接レーザポインタから出射されたレーザビームを照射した場合にも、常に表示画面上のレーザスポットの照射位置をカメラで明瞭に撮影することができ、マウスカーソルの操作を容易かつ確実に行うことができる。
また、本発明は、前記第1及び第2の構成の障害者用パソコン入力装置において、前記クリック手段として、ユーザの呼気及び/又は吸気によって作動し、クリック信号を出力する空気作動式スイッチ装置を備えるという構成にした。
このように、クリック手段として空気作動式スイッチ装置を備えると、ユーザは自らの意志によって所要のタイミングでクリック用のスイッチ信号を出力することができるので、入力操作を迅速化することができ、障害者用パソコン入力装置の操作性をより良好なものにすることができる。
また、本発明は、前記第1及び第2の構成の障害者用パソコン入力装置において、前記クリック手段として、前記パソコン本体内に備えられ、前記ディスプレイ上又は前記サブパネル上における前記レーザスポットの停止時間を計測し、前記停止時間が予め定められた設定時間に達したときにクリック信号を出力するタイマーを備えるという構成にした。
このように、クリック手段としてパソコン本体内に備えられたタイマーを用いると、ユーザはクリック信号を出力するための操作を何ら行う必要がないので、入力操作をより容易なものにすることができ、障害者用パソコン入力装置の操作性をより良好なものにすることができる。また、チューブに呼気圧又は吸気圧を付与する必要がないので、衛生面でも有利である。
また、本発明は、前記第1の構成の障害者用パソコン入力装置において、前記ディスプレイの表示画面上に前記レーザスポットを照射し、前記表示画面に表示されたアイコン、ボタン又はオンスクリーンキーボードのキーの設定位置に前記レーザスポットを位置付けることにより、所望のアイコン、ボタン又はオンスクリーンキーボードのキーを選択するという構成にした。
このように、ディスプレイ上に表示されたアイコン、ボタン又はオンスクリーンキーボードのキーをレーザポインタより照射されるレーザスポットにて選択すると、マウスやトラックボード等の機械式のポインティングデバイスを用いた場合と共通の操作感を得ることができるので、後天的に身体に障害を負った人々も違和感を感じることなくパソコンの操作を行うことができる。
また、本発明は、前記第1の構成の障害者用パソコン入力装置において、前記ディスプレイの表示画面に表示されたアイコン、ボタン又はオンスクリーンキーボードのキーに、前記マウスカーソルの吸着機能を付与するという構成にした。
このように、ディスプレイの表示画面上に表示されたアイコン等にマウスカーソルの吸着機能を付与すると、マウスカーソルをアイコン等の中心部に正確に位置付けなくても、マウスカーソルを所望のアイコン等の近傍まで接近させるだけで自動的にマウスカーソルを当該所望のアイコン等の設定部に引き込むことができるので、所望のアイコン等の選択を容易化することができ、パソコンの使用をより容易なものにすることができる。
また、本発明は、前記第1の構成の障害者用パソコン入力装置において、前記ディスプレイのフレーム上に前記レーザスポットを照射し、前記フレーム上に割り振られた小エリアに前記レーザスポットを位置付けることにより、各小エリアごとに設定された機能を選択するという構成にした。
このように、ディスプレイのフレームに割り振られた小エリアにレーザポインタより照射されるレーザスポットを位置付けて所要の機能を選択すると、ディスプレイ上に表示するアイコンやボタンそれにキーの数を減少できるので、ディスプレイの表示画面を見やすいものにすることができ、パソコンの使用をより容易なものにすることができる。
本発明の障害者用パソコン入力装置は、市販品であるパソコン本体とディスプレイとレーザポインタとカメラと空気作動式スイッチ装置などのクリック手段とから構成したので、専用のポインタやコントローラを備える場合に比べて低価格に製造でき、ユーザの経済的負担を軽減することができる。また、ユーザの身体に装着するのはレーザポインタだけであり、レーザポインタ3は内蔵電池を含めても重量が30g〜50g程度のものであるので、その操作性を良好なものにでき、ユーザの肉体的負担を小さくすることができる。
以下、本発明に係る障害者用パソコン入力装置の第1実施形態例を図1乃至図4に基づいて説明する。図1は第1実施形態例に係る障害者用パソコン入力装置の構成図、図2は第1実施形態例に係る障害者用パソコン入力装置に備えられた偏光フィルタの効果を示す説明図、図3は第1実施形態例に係る障害者用パソコン入力装置におけるマウスカーソルのポインティング方法を示す説明図、図4は第1実施形態例に係る障害者用パソコン入力装置のディスプレイに表示されるオンスクリーンキーボードを例示する説明図である。
本例の障害者用パソコン入力装置は、図1に示すように、パソコン本体1と、当該パソコン本体1に接続されたディスプレイ2と、レーザビームLを出射するレーザポインタ3と、当該レーザポインタ3をユーザの身体の一部(図1の例では頭部)に固定する固定具4と、前記ディスプレイ2の表示画面2aに表示された画像及び前記ディスプレイ2に照射されたレーザスポットSを撮影するカメラ5と、カメラ5の対物レンズの前方に取り付けられた偏光フィルタ6と、一端がユーザの口元にセットされたチューブ7と、当該チューブ7の他端に接続され、ユーザの呼気及び/又は吸気によって作動される空気作動式スイッチ装置8とから構成されている。これらの各装置1〜8は、いずれも市販品が用いられる。
パソコン本体1には、カメラ5より出力される映像信号に基づいて表示画面2aに表示されたマウスカーソルCの表示位置をレーザスポットSの照射位置に応じた位置に制御するプログラムと、空気作動式スイッチ装置8より出力されるスイッチ信号に基づいて表示画面2aに表示されたアイコンやボタンそれにオンスクリーンキーボードのキーをクリックし、クリックされたアイコン等に対応するアプリケーションを立ち上げるプログラムと、マウスカーソルCを直近のアイコン、ボタン又はキーの設定位置に引き込んで吸着するプログラムとが格納されている。なお、パソコン本体1及びディスプレイ2としては、図1に示すノート型パソコンのほか、デスクトップ型パソコンやモバイル型パソコンなどの公知に属する任意のものを用いることができる。また、ディスプレイ2に関しては、偏光フィルタ6と組み合わせることにより、表示画面2a上におけるレーザスポットSの照射位置をカメラ5で鮮明に撮影できるようにするため、前面に偏光板を付設したディスプレイ或いは内部に偏光板が備えられたディスプレイ(例えば、TFT型の液晶ディスプレイ)が用いられる。これらのパソコン本体1及びディスプレイ2は、例えばベッドのサイドテーブルや車椅子のフロントテーブルなどに設置される。
レーザポインタ3は、レーザ発振器と電池とを内蔵してなり、一端より赤色のレーザビームLを出射するものであって、万年筆の軸サイズ又はキャップサイズに形成されている。
固定具4は、レーザポインタ3をユーザの動作可能な身体の一部に固定するものであって、取り付ける部位に応じて、例えば頭部用或いは指先用など各種のものが用いられる。また、この固定具4は、レーザポインタ3をユーザの身体の一部に確実に固定可能なものであれば、その形状や材質に特に制約はなく、頭部用としては帽子、サンバイザー又はヘッドバンド等を利用することもでき、指先用としては輪ゴム等を利用することもできる。
カメラ5は、その映像信号出力端子がパソコン本体1の映像信号入力端子とケーブル9を介して電気的に接続されており、少なくともディスプレイ2の表示画面2aを含む映像信号をパソコン本体1に送信する。このカメラ5は、例えばベッドのフレームや車椅子の背もたれなどに設置され、ディスプレイ2の表示画面2aと対向に配置される。
偏光フィルタ6は、ディスプレイ2の前面に設けられた図示しない偏光板との組み合わせにより、ディスプレイ2の表示画面2a上に照射されたレーザスポットSの照射位置をカメラ5で鮮明に撮影するためのものであって、その偏光方向がディスプレイ2の前面に備えられた偏光板の偏光方向と互いに90度ずらして配置されている。
この偏光フィルタ6を有しない場合、図2(a)に示すように、ディスプレイ2の表示画面2aに映し出されたアイコンI、ボタンB、オンスクリーンキーボードKB及び背景BGを含む画像と、表示画面2aに照射されたレーザスポットSとがカメラ5によって撮影される。前記したようにレーザポインタ3からは赤色のレーザビームLが出射され、表示画面2a上に照射されたレーザスポットSは、赤色の光点として視認されるので、レーザスポットSが表示画面2aに映し出された画像の赤色部分に重なると、カメラ5で撮影されたレーザスポットSの像が不明瞭になったり、最悪の場合には映像信号からレーザスポットSが消失してしまい、パソコン本体1によるレーザスポットの座標算出に支障を来し、マウスカーソルCの位置制御が正確に行われなくなるといった不都合が生じる。
これに対して、偏光フィルタ6の偏光方向をディスプレイ2の前面に備えられた偏光板の偏光方向と互いに90度ずらして配置すると、図2(b)に示すように、ディスプレイ2の表示画面2aに映し出された画像がカメラ5によって撮影されず、表示画面2a上に照射されたレーザスポットSのみがカメラ5によって撮影されるので、表示画面2aに映し出された画像の色彩に関係なく常にレーザスポットSを明瞭に撮影することができ、パソコン本体1によるレーザスポットSの座標算出を正確に行うことができて、マウスカーソルCの位置制御を迅速かつ正確に行うことができる。なお、ユーザは、ディスプレイ2の表示画面2aに映し出された画像とレーザスポットSとを目視することができるので、表示画面2aを目視しながらマウスカーソルの操作を行うことができ、何らの不都合も生じない。
チューブ7は、ゴムチューブやビニルチューブなどをもって形成され、その一端には必要に応じてマウスピースを取り付けることもできる。
空気作動式スイッチ装置8は、パソコン本体1に付設されており、空気圧の導入部にチューブ7の一端が接続されている。この空気作動式スイッチ装置8は、チューブ7に加えられた呼気圧又は吸気圧若しくはこれらの組合せによって作動され、左クリック、右クリック、ダブルクリック、ドラッグ等の各スイッチ信号(クリック信号)をパソコン本体1に出力する。
以下、第1実施形態例に係る障害者用パソコン入力装置の使用方法及び動作を、ユーザの頭部にレーザポインタ3を取り付けた場合を例にとって説明する。
まず、ユーザ又はその介護者がパソコン本体1、ディスプレイ2、レーザポインタ3及びカメラ5を起動した後、ユーザがレーザポインタ3より出射されたレーザビームLを表示画面2a上に照射する。このとき、ユーザは表示画面2aに映し出された画像と表示画面2aに照射されたレーザスポットSとを目視することができるが、カメラ5には偏光フィルタ6とディスプレイ2の前面に備えられた偏光板の作用によって表示画面2aに映し出された画像が撮影されず、レーザスポットSのみが撮影される。パソコン本体1は、カメラ5より出力される映像信号に基づいてレーザスポットSの座標を繰り返し算出し、算出された座標に表示画面2a上のマウスカーソルCを移動する。これによりレーザスポットSの照射位置とマウスカーソルCの表示位置とが表示画面2a上で一致する。
この状態からユーザが表示画面2aに映し出された画像及び表示画面2aに照射されたレーザスポットSを目視しつつ、頭部を動かして表示画面2a上におけるレーザスポットSの照射位置を所望の方向に移動すると、マウスカーソルCがパソコン本体1にて算出された新たな座標に順次移動される。したがって、図3に示すように、レーザスポットSを表示画面2a上で1→2→3→4→5の経路に沿って移動した場合、マウスカーソルCもこれに追従して1→2→3→4→5の経路で移動する。
また、マウスカーソルC(レーザスポットS)が表示画面2aに表示されたアイコンI、ボタンB又はオンスクリーンキーボードのキーKの設定位置に接近すると、予め定められた距離まで接近した段階でパソコン本体1に格納された吸着プログラムが起動され、図3に示すように、マウスカーソルCが直近のアイコンI又はボタンBに吸着される。
この状態で、ユーザがチューブ7に呼気圧及び/又は吸気圧を付与すると、それに応じて空気作動式スイッチ装置8が操作され、空気作動式スイッチ装置8より左クリック、右クリック、ダブルクリック、ドラッグ等のスイッチ信号が出力される。パソコン本体1は、このスイッチ信号を取り込み、アイコンI、ボタンB又はオンスクリーンキーボードのキーKの種類とクリック操作の種類に応じた所要のアプリケーションを立ち上げる。これによって、ユーザは、所望のアプリケーションの選択や文字入力等を行うことができる。
本例の障害者用パソコン入力装置は、市販品であるパソコン本体1とディスプレイ2とレーザポインタ3とカメラ6と空気作動式スイッチ装置8とから構成したので、専用のポインタやコントローラを備える場合に比べて低価格に製造でき、ユーザの経済的負担を軽減することができる。また、ユーザの身体に装着するのはレーザポインタ3だけであり、レーザポインタ3は内蔵電池を含めても重量が30g〜50g程度のものであるので、その操作性を良好なものにでき、ユーザの肉体的負担を小さくすることができる。さらに、ディスプレイ2上にレーザポインタ3より出射されたレーザスポットSを直接照射するので、ディスプレイ2上に表示されたマウスカーソルCをレーザポインタ3にて直接操作でき、レーザスポットSの照射位置とマウスカーソルCの表示位置とに視覚的なズレが生じないので、マウスカーソルCの操作性を良好なものにすることができる。
また、本例の障害者用パソコン入力装置は、ディスプレイ2として前面に偏光板を備えたものを用いると共に、カメラ5の対物レンズの前方に偏光フィルタ6を備え、偏光板及び偏光フィルタ6の偏光方向を互いに90度ずらしたので、ディスプレイ2の表示画面2aに表示された画像がカメラ5によって撮影されず、表示画面上に照射されたレーザスポットSのみがカメラ5によって撮影されるので、ディスプレイ2の表示画面2a上に直接レーザポインタ3から出射されたレーザビームLを照射した場合にも、常に表示画面2a上のレーザスポットSの照射位置をカメラ5で明瞭に撮影することができ、マウスカーソルCの操作を容易かつ確実に行うことができる。
また、本例の障害者用パソコン入力装置は、クリック手段として空気作動式スイッチ装置8を備えたので、ユーザは自らの意志によって所要のタイミングでクリック用のスイッチ信号を出力することができ、入力操作を迅速化することができて、その操作性をより良好なものにすることができる。
また、本例の障害者用パソコン入力装置は、ディスプレイ2上に表示されたアイコンI、ボタンB又はオンスクリーンキーボードKBのキーKをレーザポインタ3より照射されるレーザスポットSにて選択するので、マウスやトラックボード等の機械式のポインティングデバイスを用いた場合と共通の操作感を得ることができ、後天的に身体に障害を負った人々も違和感を感じることなくパソコンの入力操作を行うことができる。
また、本例の障害者用パソコン入力装置は、ディスプレイ2の表示画面2a上に表示されたアイコンI等にマウスカーソルCの吸着機能を付与したので、マウスカーソルCをアイコンI等の設定部に正確に位置付けなくても、マウスカーソルCを所望のアイコンI等の近傍まで接近させるだけで自動的にマウスカーソルCを当該所望のアイコンI等の設定部に引き込むことができ、パソコンの入力操作をより容易なものにすることができる。
次に、本発明に係る障害者用パソコン入力装置の第2例を図5に基づいて説明する。図5は第2実施形態例に係る障害者用パソコン入力装置の構成図である。本例の障害者用パソコン入力装置は、クリック手段としてパソコン本体内に備えられたタイマーを利用することを特徴とする。
本例の障害者用パソコン入力装置は、図5に示すように、パソコン本体1と、当該パソコン本体1に接続されたディスプレイ2と、レーザビームLを出射するレーザポインタ3と、当該レーザポインタ3をユーザの身体の一部に固定する固定具4と、前記ディスプレイ2の表示画面2aに表示された画像及び前記ディスプレイ2に照射されたレーザスポットSを撮影するカメラ5と、カメラ5の対物レンズの前方に取り付けられた偏光フィルタ6と、前記パソコン本体1内に備えられたタイマー10とから構成されている。
タイマー10は、ディスプレイ2上に照射されたレーザスポットSの停止時間を計測し、レーザスポットSの停止時間が予め定められた時間に達したときにタイマー信号を出力し、ディスプレイ2の表示画面2aに表示されたマウスカーソルCをレーザスポットSの停止位置にクリックする。その他については、第1実施形態例に係る障害者用パソコン入力装置と同じであるので、説明を省略する。
本例の障害者用パソコン入力装置は、マウスカーソルCのクリック手段としてパソコン本体1内に備えられたタイマー10を用いるので、ユーザはクリック信号を出力するための操作を何ら行う必要がなく、入力操作をより容易なものにすることができる。また、クリック手段である空気作動式スイッチ装置8を要しないので、システム構成を簡略化でき、ユーザの経済的負担を軽減することができる。さらに、チューブ7に呼気圧又は吸気圧を付与する必要がないので、衛生面でも有利である。
次に、本発明に係る障害者用パソコン入力装置の第3例を図6及び図7に基づいて説明する。図6は第3実施形態例に係る障害者用パソコン入力装置の構成図であり、図7は第3実施形態例に係る障害者用パソコン入力装置のディスプレイに表示されるオンスクリーンキーボードの構成図である。本例の障害者用パソコン入力装置は、ディスプレイ2の表示画面2aにオンスクリーンキーボードKBを表示し、当該オンスクリーンキーボードKBに備えられたキーKを選択的に操作することによって、表示画面2a上に表示されたマウスカーソルCの移動操作とクリック操作とを行うことを特徴とする。
即ち、本例の障害者用パソコン入力装置は、図6に示すように、パソコン本体1と、当該パソコン本体1に接続されたディスプレイ2と、レーザビームLを出射するレーザポインタ3と、当該レーザポインタ3をユーザの身体の一部に固定する固定具4と、前記ディスプレイ2の表示画面2aに表示された画像及び前記ディスプレイ2に照射されたレーザスポットSを撮影するカメラ5と、カメラ5の対物レンズの前方に取り付けられた偏光フィルタ6とから構成されており、ディスプレイ2の表示画面2aには、図7に示すように、マウスカーソルCの移動方向を指示するための8個のカーソル移動キーK1〜K8と、アイコン等のドラッグを指示するドラッグキーK9と、左クリックを指示する左クリックキーK10と、右クリックを指示する右クリックキーK11と、ダブルクリックを指示するダブルクリックキーK12とからなるオンスクリーンキーボードKBが表示される。その他については、第1実施形態例に係る障害者用パソコン入力装置と同じであるので、説明を省略する。
本例の障害者用パソコン入力装置は、ユーザがレーザスポットSを8個のカーソル移動キーK1〜K8のいずれかに位置付けると、パソコン本体1が表示画面2a上におけるレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するカーソル移動方向を認識して、ディスプレイ2の表示画面2aに表示されたマウスカーソルCを認識された所定の方向に移動する。また、マウスカーソルCを表示画面2aに表示された所望のアイコンI等に位置付けた後に、ユーザがドラッグキーK9、左クリックキーK10、右クリックキーK11又はダブルクリックキーK12のいずれかにレーザスポットSを位置付けると、パソコン本体1が表示画面2a上におけるレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するクリック操作を認識して、認識された所定のクリック動作を実行する。
このように、本例の障害者用パソコン入力装置は、カーソル移動キーK1〜K8のいずれかにレーザスポットSを位置付けるだけでマウスカーソルCの移動制御を行うことができるので、マウスカーソルCをレーザスポットSに追従させる場合に比べてレーザポインタ3の操作が容易になり、ユーザの負担を軽減することができる。また、クリック手段である空気作動式スイッチ装置8を要しないので、システム構成を簡略化でき、ユーザの経済的負担を軽減することができる。さらに、チューブ7に呼気圧又は吸気圧を付与する必要がないので、衛生面でも有利である。
次に、本発明に係る障害者用パソコン入力装置の第4例を図8に基づいて説明する。図8は第4実施形態例に係る障害者用パソコン入力装置のフレームに割り振られる小エリアの配列を示す説明図である。本例の障害者用パソコン入力装置は、ディスプレイ2のフレーム2bにマウスカーソルCの移動制御を行うための小エリアとクリック操作を行うための小エリアとを割り振り、所望の小エリアにレーザスポットSを位置付けることによって、表示画面2a上に表示されたマウスカーソルCの移動操作とクリック操作とを行うことを特徴とする。
即ち、本例の障害者用パソコン入力装置は、図8に示すように、ディスプレイ2のフレーム2bに、マウスカーソルCの移動方向を指示するための8個のカーソル移動エリアA1〜A8と、アイコン等のドラッグを指示するドラッグエリアA9と、左クリックを指示する左クリックエリアA10と、右クリックを指示する右クリックエリアA11と、ダブルクリックを指示するダブルクリックエリアA12とが割り振られている。これらの各エリアA1〜A12は、フレーム2bに表示することもできるし、無表示とすることもできる。その他については、第3実施形態例に係る障害者用パソコン入力装置と同じであるので、説明を省略する。
本例の障害者用パソコン入力装置は、ユーザがレーザスポットSを8個のカーソル移動エリアA1〜A8のいずれかに位置付けると、パソコン本体1がフレーム2b上におけるレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するカーソル移動方向を認識して、ディスプレイ2の表示画面2aに表示されたマウスカーソルCを所定の方向に移動する。また、マウスカーソルCを表示画面2aに表示された所望のアイコンI等に位置付けた後に、ユーザがドラッグエリアA9、左クリックエリアA10、右クリックエリアA11又はダブルクリックエリアA12のいずれかにレーザスポットSを位置付けると、パソコン本体1がフレーム2b上におけるレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するクリック操作を認識して、認識された所定のクリック動作を実行する。
本例の障害者用パソコン入力装置は、第3実施形態例に係る障害者用パソコン入力装置と同様の効果を有するほか、ディスプレイ2のフレーム2bにマウスカーソルCの移動操作とクリック操作を行うための小エリアA1〜A12を設定したので、ディスプレイ2の表示画面2aにオンスクリーンキーボードKBを表示する場合に比べてディスプレイ2の表示画面2aを見やすいものにでき、パソコンの使用をより容易なものにすることができる。
次に、本発明に係る障害者用パソコン入力装置の第5例を図9及び図10に基づいて説明する。図9は第5実施形態例に係る障害者用パソコン入力装置の構成図であり、図10は第5実施形態例に係る障害者用パソコン入力装置のサブパネルに割り振られる小エリアの配列を示す説明図である。本例の障害者用パソコン入力装置は、ディスプレイ2の表示画面2aにレーザスポットSを照射するのではなく、ディスプレイ2に付設されたサブパネルにレーザスポットSを照射することを特徴とする。
本例の障害者用パソコン入力装置は、図9に示すように、パソコン本体1と、当該パソコン本体1に接続されたディスプレイ2と、レーザビームLを出射するレーザポインタ3と、当該レーザポインタ3をユーザの身体の一部に固定する固定具4と、前記ディスプレイ2の表示画面2aに表示された画像及び前記ディスプレイ2に照射されたレーザスポットSを撮影するカメラ5と、一端がユーザの口元にセットされたチューブ7と、当該チューブ7の他端に接続され、ユーザの呼気及び/又は吸気によって作動される空気作動式スイッチ装置8と、ディスプレイ2の隣接位置に配置されたサブパネル11とから構成されている。サブパネル11は、例えば白色の樹脂板などの光反射性の板材をもって構成されており、カメラ5は、サブパネル11の像を撮影するように位置調整される。
サブパネル11には、ディスプレイ2の表示画面2aとの関係において、図10に示すように、表示画面2aに表示されたマウスカーソルCの移動方向を指示するための8個のカーソル移動エリアA1〜A8と、アイコン等のドラッグを指示するドラッグエリアA9と、左クリックを指示する左クリックエリアA10と、右クリックを指示する右クリックエリアA11と、ダブルクリックを指示するダブルクリックエリアA12とが割り振られている。これらの各エリアA1〜A12は、サブパネル11に表示することもできるし、無表示とすることもできる。その他については、第1実施形態例に係る障害者用パソコン入力装置と同じであるので、説明を省略する。
本例の障害者用パソコン入力装置は、ユーザがレーザスポットSをサブパネル11上に割り振られた8個のカーソル移動エリアA1〜A8のいずれかに位置付けると、パソコン本体1がサブパネル11上のレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するカーソル移動方向を認識して、ディスプレイ2の表示画面2aに表示されたマウスカーソルCを認識された所定の方向に移動する。また、マウスカーソルCを表示画面2aに表示された所望のアイコンI等に位置付けた後に、ユーザがドラッグエリアA9、左クリックエリアA10、右クリックエリアA11又はダブルクリックエリアA12のいずれかにレーザスポットSを位置付けると、パソコン本体1がサブパネル11上のレーザスポットSの座標を算出し、算出されたレーザスポットSの座標に対応するクリック操作を認識して、認識された所定のクリック動作を実行する。
本例の障害者用パソコン入力装置は、第1実施形態例に係る障害者用パソコン入力装置と同様の効果を有するほか、ディスプレイ2の隣接位置に光反射性の板材からなるサブパネル11を配置し、このサブパネル11にレーザポインタ3より出射されたレーザビームLを照射するようにしたので、ディスプレイ2の表示画面2aにレーザスポットSを照射する場合のように表示画面2aからの出射光と表示画面2aにて反射されたレーザビームLとが干渉するということがないので、サブパネル11に対するレーザスポットSの照射位置を確実にカメラでとらえることができ、マウスカーソルCの操作を容易かつ確実に行うことができる。また、偏光フィルタ6を省略できるので、障害者用パソコン入力装置の低コスト化を図ることができる。
なお、前記第5実施形態例においては、クリック手段として空気作動式スイッチ装置8を用いたが、これに代えて、前記第2実施形態例の障害者用パソコン入力装置に備えたタイマー10をクリック手段として用いることもできる。
第1実施形態例に係る障害者用パソコン入力装置の構成図である。 第1実施形態例に係る障害者用パソコン入力装置に備えられた偏光フィルタの効果を示す説明図である。 第1実施形態例に係る障害者用パソコン入力装置におけるマウスカーソルのポインティング方法を示す説明図である。 第1実施形態例に係る障害者用パソコン入力装置のディスプレイに表示されるオンスクリーンキーボードを例示する説明図である。 第2実施形態例に係る障害者用パソコン入力装置の構成図である。 第3実施形態例に係る障害者用パソコン入力装置の構成図である。 第3実施形態例に係る障害者用パソコン入力装置のディスプレイに表示されるオンスクリーンキーボードの構成図である。 第4実施形態例に係る障害者用パソコン入力装置のフレームに割り振られる小エリアの配列を示す説明図である。 第5実施形態例に係る障害者用パソコン入力装置の構成図である。 第5実施形態例に係る障害者用パソコン入力装置のサブパネルに割り振られる小エリアの配列を示す説明図である。 従来例に係る障害者用パソコン入力装置の構成図である。 従来例に係る障害者用パソコン入力装置に備えられるポインタ及びコントローラの構成図である。
符号の説明
1 パソコン本体
2 ディスプレイ
3 レーザポインタ
4 固定具
5 カメラ
6 チューブ
7 スイッチ装置
8 空気作動式スイッチ装置
9 ケーブル
10 タイマー
11 サブパネル

Claims (8)

  1. パソコン本体と、当該パソコン本体に接続されたディスプレイと、ユーザの身体に取り付けられ前記ディスプレイ上にレーザスポットを照射するレーザポインタと、前記ディスプレイの像及び前記ディスプレイに照射されたレーザスポットの像を撮影するカメラと、前記ディスプレイ上における前記レーザスポットの照射位置を確定するクリック手段とを備え、
    前記パソコン本体は、前記カメラから出力される映像信号に基づいて前記ディスプレイ上に照射された前記レーザスポットの座標を演算し、この演算された座標に前記ディスプレイの表示画面に表示されるマウスカーソルを位置付けると共に、前記クリック手段から出力されるクリック信号により前記ディスプレイ上における前記マウスカーソルの表示位置を確定し、当該確定されたマウスカーソルの表示位置と前記クリック信号の種別に応じたアプリケーションを起動することを特徴とする障害者用パソコン入力装置。
  2. パソコン本体と、当該パソコン本体に接続されたディスプレイと、当該ディスプレイの隣接位置に配置された光反射性の板材からなるサブパネルと、ユーザの身体に取り付けられ前記サブパネル上にレーザスポットを照射するレーザポインタと、前記サブパネルの像及び前記サブパネルに照射されたレーザスポットの像を撮影するカメラと、前記サブパネル上における前記レーザスポットの照射位置を確定するクリック手段とを備え、
    前記パソコン本体は、前記カメラから出力される映像信号に基づいて前記サブパネル上に照射された前記レーザスポットの座標を演算し、この演算された座標に対応する前記ディスプレイ上の座標に前記ディスプレイの表示画面に表示されるマウスカーソルを位置付けると共に、前記クリック手段から出力されるクリック信号により前記ディスプレイ上における前記マウスカーソルの表示位置を確定し、当該確定されたマウスカーソルの表示位置と前記クリック信号の種別に応じたアプリケーションを起動することを特徴とする障害者用パソコン入力装置。
  3. 前記ディスプレイとして前面に偏光板を備えたディスプレイを用いると共に、前記カメラの対物レンズの前方に偏光フィルタを備え、前記ディスプレイの前面に備えられた偏光板の偏光方向と前記カメラの前方に備えられた偏光フィルタの偏光方向とを互いに90度ずらしたことを特徴とする請求項1に記載の障害者用パソコン入力装置。
  4. 前記クリック手段として、ユーザの呼気及び/又は吸気によって作動し、クリック信号を出力する空気作動式スイッチ装置を備えたことを特徴とする請求項1乃至請求項3のいずれか1項に記載の障害者用パソコン入力装置。
  5. 前記クリック手段として、前記パソコン本体内に備えられ、前記ディスプレイ上又は前記サブパネル上における前記レーザスポットの停止時間を計測し、前記停止時間が予め定められた設定時間に達したときにクリック信号を出力するタイマーを備えたことを特徴とする請求項1乃至請求項3のいずれか1項に記載の障害者用パソコン入力装置。
  6. 前記ディスプレイの表示画面上に前記レーザスポットを照射し、前記表示画面に表示されたアイコン、ボタン又はオンスクリーンキーボードのキーの設定位置に前記レーザスポットを位置付けることにより、所望のアイコン、ボタン又はオンスクリーンキーボードのキーを選択することを特徴とする請求項1、請求項3、請求項4又は請求項5のいずれか1項に記載の障害者用パソコン入力装置。
  7. 前記ディスプレイの表示画面に表示されたアイコン、ボタン又はオンスクリーンキーボードのキーに、前記マウスカーソルの吸着機能を付与したことを特徴とする請求項6に記載の障害者用パソコン入力装置。
  8. 前記ディスプレイのフレーム上に前記レーザスポットを照射し、前記フレーム上に割り振られた小エリアに前記レーザスポットを位置付けることにより、各小エリアごとに設定された機能を選択することを特徴とする請求項1、請求項3、請求項4又は請求項5のいずれか1項に記載の障害者用パソコン入力装置。
JP2003291453A 2003-08-11 2003-08-11 障害者用パソコン入力装置 Expired - Fee Related JP3810012B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003291453A JP3810012B2 (ja) 2003-08-11 2003-08-11 障害者用パソコン入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003291453A JP3810012B2 (ja) 2003-08-11 2003-08-11 障害者用パソコン入力装置

Publications (2)

Publication Number Publication Date
JP2005063101A true JP2005063101A (ja) 2005-03-10
JP3810012B2 JP3810012B2 (ja) 2006-08-16

Family

ID=34369131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003291453A Expired - Fee Related JP3810012B2 (ja) 2003-08-11 2003-08-11 障害者用パソコン入力装置

Country Status (1)

Country Link
JP (1) JP3810012B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
ITMC20090207A1 (it) * 2009-10-07 2011-04-08 Giacomo Cerretani Sistema di comunicazione per disabili.
JP2011523030A (ja) * 2008-03-26 2011-08-04 ピエール・ボナ 人間の呼気を使用してデバイスの制御を可能にするmems検出器のための方法及びシステム
JP2012515986A (ja) * 2009-01-22 2012-07-12 アルカテル−ルーセント ユーエスエー インコーポレーテッド 電子データ入力システム
JP2013137686A (ja) * 2011-12-28 2013-07-11 Fujitsu Ltd ポインティング検出装置
JP2014235729A (ja) * 2013-06-03 2014-12-15 ユーテックゾーン カンパニー リミテッド スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム製品
KR20170063061A (ko) * 2015-11-30 2017-06-08 주식회사 민토시스 장애인용 입력 보조 장치

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011523030A (ja) * 2008-03-26 2011-08-04 ピエール・ボナ 人間の呼気を使用してデバイスの制御を可能にするmems検出器のための方法及びシステム
US8976046B2 (en) 2008-03-26 2015-03-10 Pierre Bonnat Method and system for a MEMS detector that enables control of a device using human breath
US10191573B2 (en) 2008-03-31 2019-01-29 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US8711104B2 (en) 2008-03-31 2014-04-29 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US8913030B2 (en) 2008-03-31 2014-12-16 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
US11029775B2 (en) 2008-03-31 2021-06-08 Sony Corporation Pointer display device, pointer display detection method, pointer display detection program and information apparatus
US9710085B2 (en) 2008-03-31 2017-07-18 Sony Corporation Pointer display device, pointer display/detection method, pointer display/detection program and information apparatus
JP2012515986A (ja) * 2009-01-22 2012-07-12 アルカテル−ルーセント ユーエスエー インコーポレーテッド 電子データ入力システム
ITMC20090207A1 (it) * 2009-10-07 2011-04-08 Giacomo Cerretani Sistema di comunicazione per disabili.
JP2013137686A (ja) * 2011-12-28 2013-07-11 Fujitsu Ltd ポインティング検出装置
JP2014235729A (ja) * 2013-06-03 2014-12-15 ユーテックゾーン カンパニー リミテッド スクリーン内のカーソルをクリック可能なオブジェクトに移動させる方法及び該方法を実現するために用いるコンピュータシステムとコンピュータプログラム製品
KR20170063061A (ko) * 2015-11-30 2017-06-08 주식회사 민토시스 장애인용 입력 보조 장치

Also Published As

Publication number Publication date
JP3810012B2 (ja) 2006-08-16

Similar Documents

Publication Publication Date Title
US20180067548A1 (en) Hands-free pointer system
EP2524289B1 (en) Controlling and/or operating a medical device by means of a light pointer
JP5293154B2 (ja) ヘッドマウントディスプレイ
Jalaliniya et al. Touch-less interaction with medical images using hand & foot gestures
IL303037A (en) A system and method of communication through visual feedback
JP2004258714A (ja) 画像表示装置
WO2005094667A3 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
WO2007137093A2 (en) Systems and methods for a hands free mouse
EP3684292B1 (en) Control method for control of a dental measurement system
CN104800068B (zh) 用于远程确定穴位的装置和系统
CN102930170A (zh) 一种新型交互式医学超声的显示和输入系统
JP3810012B2 (ja) 障害者用パソコン入力装置
US20180373291A1 (en) Remote support system
US20110169605A1 (en) System and method for providing remote indication
JPH10161801A (ja) 入力装置
CN205750115U (zh) 可穿戴计算装置和具有它的可穿戴设备
US6803907B2 (en) Wireless beam-pen pointing device
JP2001243011A (ja) 口腔内で操作する電子機器入力用端末デバイス
US20120280910A1 (en) Control system and method for controlling a plurality of computer devices
WO2005059736A1 (ja) 瞳孔検出によるポインタ制御装置及び方法
Shi et al. Helping people with ICT device control by eye gaze
JP7504839B2 (ja) ユーザインターフェースシステム
JPH03256112A (ja) 制御処理装置
JP2005352580A (ja) ポインタ制御信号発生方法及び装置
JP2004246445A (ja) ポインティング・デバイス

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090602

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120602

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130602

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140602

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees