JP2001285679A - 盲人用画像認識装具 - Google Patents
盲人用画像認識装具Info
- Publication number
- JP2001285679A JP2001285679A JP2000095451A JP2000095451A JP2001285679A JP 2001285679 A JP2001285679 A JP 2001285679A JP 2000095451 A JP2000095451 A JP 2000095451A JP 2000095451 A JP2000095451 A JP 2000095451A JP 2001285679 A JP2001285679 A JP 2001285679A
- Authority
- JP
- Japan
- Prior art keywords
- image
- wearer
- unit
- electric
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
間の額の皮膚触覚を刺激して画像を認識させる。 【解決手段】 画像撮影部11が被写体を撮影する。そ
して、この画像情報Giを画像処理部21が適正な処理
を行い編集画像情報EGiを生成する。描画信号制御部
23が編集画像情報EGiを得て、電気的な信号である
描画信号を生成する。この描画信号を人間の額に装着さ
れた電気刺激部7が受け取り電気刺激素子47がフィー
ルド走査方式で通電され人間の額の皮膚触覚を電気的に
刺激して画像を認識させる。
Description
方法及びその装具に関し、さらに詳細には、画像を人体
の皮膚触覚が感知可能な電気信号に変換する盲人用画像
認識方法及びその装具に関する。
として触覚を利用することは既に考えられ、点字や点図
に代表されるように触覚の中の圧覚を利用する技術があ
り利用されている。そして、これらは物理的に平面上に
突起を生成させるため、静的または固定的には厚紙や金
属等に裏から圧力をかけて突起部分を膨らます方法や、
また動的には複数の突起素子を並べ磁力や空力等により
突起素子を突出する方法が実用化されている。
の視覚を補完する方法では、例えば以下のような問題が
あった。すなわち、前述の如く物理的に突起素子を動作
させる方法で動的に画像を表示するには装置が大きくな
るという問題があった。また、突起素子を動作させるさ
せるための電力が大きくなるという問題があった。この
ため、盲人が歩行移動する際に携帯する補助装具として
利用するのは困難であるという問題があった。さらに、
物理的に平面上に突起物を生成させるため、例えばこの
突起物の生成速度等の理由により自然な動きの表現がで
きないという問題があった。
覚を利用して形状や特性を把握させる点にある。また、
歩行等の移動時にも携帯できる小型で軽量な且つ省電力
設計により長時間使用可能な盲人用画像認識装具を提供
する点にある。
問題に鑑みてなされたもので、被写体を撮影して電子画
像を得る画像撮影部と、この画像撮影部で得られた前記
電子画像に基づいて画像情報を生成する画像処理部と、
前記画像処理部で生成された前記画像情報から装着者に
認識させるべき画像を電気的に描画するための描画信号
を生成する描画信号制御部と、前記装着者の皮膚に接す
るべく装着され、前記描画信号に基づいて前記装着者の
皮膚触覚に電気的刺激を与えることにより、その電気的
刺激の集約で前記装着者に画像を認識させる電気刺激部
とを備えることを特徴とする盲人用画像認識装具であ
る。これにより、装着者は、被写体を電気的な刺激とし
て認識できるようになる。
制御部は携帯可能なコントロール部本体に備えられ、前
記画像撮影部は前記装着者の頭部顔面に装着されるとと
もに前記コントロール部本体に接続され、前記電気刺激
部は前記装着者の額に装着されるとともに前記コントロ
ール部本体に接続されていてもよい。これにより、盲人
用画像認識装具としての携帯性が向上し、また、装着者
の視点の位置から被写体を撮影することができる。
撮影された画像の輪郭を強調する補正を行う輪郭強調抽
出回路を備えていてもよい。これにより、装着者は、適
正な画像を認識することができる。
により撮影された画像情報を解析して被写体中の、所定
の色を前記装着者に識別可能に認識させるため、前記所
定の色を抽出する特定色抽出回路を備えていてもよい。
これにより、装着者は、例えば交差点の信号を認識する
ことができる。なお、前記所定の色とは、例えば、赤、
青、黄色等である。
するための十分な光量が得られない場合に赤外線を照射
して反射する光線を前記画像撮影部で撮影させるため、
前記赤外線を照射する赤外線照射部を備えていてもよ
い。これにより、装着者は、暗い場所でも被写体を認識
できる。
触覚が画像の特徴を認識できるように前記電気的刺激の
電気的な強弱を制御する刺激強度制御回路を備えていて
もよい。さらに、前記装着者の皮膚の湿感の多少により
前記刺激強度制御回路に電気刺激の強弱を制御させるた
め、前記装着者の湿感を検出する湿感センサ部を備えて
いてもよい。これにより、装着者は、例えば汗をかいて
も適正な電気的な刺激を認識できる。
生成された描画信号に基づいて、前記装着者の皮膚触覚
を感電特性により刺激するための電気刺激素子群がマト
リックス上に配置され、前記電気刺激素子群をX軸フィ
ールド単位に走査して通電するフィールド走査回路を備
えていてもよい。これにより、複数素子間の誤通電発生
を回避して適正な描画刺激を確保することができる。
及び前記湿感センサ部とは、前記装着者の頭部顔面に装
着されるべき一体型ゴーグルに組み込まれていてもよ
い。これにより、装着者の目の位置と同じような視点を
得ることができる。
照して説明する。図1は本実施に係る盲人用画像認識装
具1の外観の概略を示す概略図である。図2は、盲人用
画像認識装具1の内部の概略の構成を示す概略図であ
る。図3は、電気刺激部7を説明する説明図である。図
4は、電気刺激部7を説明する説明図である。図5は、
電気刺激部7を説明する説明図である。なお、以下の説
明において、電気刺激部7、画像撮影部11、赤外線照
射部13、画像処理部21、描画信号制御部23、電源
供給部25、シャッタ速度調節回路27、画像ブレ補正
回路29、輪郭強調抽出回路31、特定色抽出回路3
3、描画信号生成回路35、刺激強度制御回路37、音
声合成出力部39、湿感センサ部41、フィールド走査
回路43は、装置、回路、ソフトウェア等のいずれによ
っても実現されるものである。また、触覚には装着者の
皮膚触覚(痛覚、温覚、冷覚、圧覚を含む)から本例で
は以下痛覚を例として説明する。画像とは動画、静止
画、文字、数字等を含むものである。
認識装具1の外観を説明する。この盲人用画像認識装具
1の外観はコントロール部本体3に接続ケーブル5を介
して電気刺激部7が接続されている。そして、この電気
刺激部7は一体型ゴーグル9に取り付けられて、例えば
装着者の額に固定されるものである。この一体型ゴーグ
ル9には、画像撮影部11と、被写体の光量が十分得ら
れない時に、赤外線を照射して反射する光線を画像撮影
部11で撮影させるための赤外線照射部13とが組込ま
れている。前記画像撮影部11は、例えばCCD(Ch
arge Coupled Device:電化結合素
子)部品またはCMOS(Complementary
MOS:相補型金属酸化膜半導体)部品等で構成され
る小型電子カメラからなるものである。また、前記画像
撮影部11は装着者の目の位置に近い場所に設置される
ため装着者の目の位置と同じような視点を得ることが容
易にできるようになる。前記コントロール部本体3の外
観には、さらに、電源のオン、オフや電気刺激の強弱を
調整する電源スイッチ付強度調節ダイヤル15と、例え
ばトレーニング用の画像を入力させるための外部入力端
子17と、どういう画像が描画されているかを出力させ
るための外部出力端子19とが備えられている。これら
外部入力端子17を備えることにより、例えば丸、四
角、三角等の形状を画像として入力して画像を痛覚刺激
の集約により認識させるためのトレーニング等を盲人に
対して行うことができる。
本体3の内部の概略の構成を説明する。このコントロー
ル部本体3の内部は、画像処理部21と、描画信号制御
部23と、小型で軽量な電源供給部25とを備えてい
る。
ブレを補正する画像ブレ補正回路29と、撮影された被
写体の輪郭を強調するために輪郭を抽出する輪郭強調抽
出回路31と、例えば赤色、青色、黄色等の特定の色を
抽出する特定色抽出回路33とを備えている。また、こ
の画像処理部21には、前記赤外線照射部13と、前記
外部入力端子17とがケーブル等により接続されてい
る。
電気的信号に変換する描画信号生成回路35と、電気的
な強弱を制御する刺激強度制御回路37とを備えてい
る。また、この描画信号制御部23には、どういう画像
を描画しているかを出力してモニター等を行うための外
部出力端子19と、音声合成出力部39と、電気的強弱
を調整するため装着者の皮膚の湿量を検出する湿感セン
サ部41とがケーブル等により接続されている。なお、
前記湿感センサ部41は一体型ゴーグル9に組み込まれ
ている。
影するシャッタ時間を制御するシャッタ速度調節回路2
7を備えている。
査を制御するフィールド走査回路43を備えている。こ
こで、フィールド走査回路43に制御される電気刺激部
7の概略の構成を図3、図4、及び図5を参照して説明
する。なお、本例においてフィールド走査とは、例えば
電気刺激素子をマトリックス状に並べてX軸フィールド
単位に走査して通電させる方法である。また、本例では
以下で説明するように、ある走査線を構成する電気刺激
素子47を一方向から他方向に連続に1時点で1素子し
か通電させないものである。これにより、複数素子間の
誤通電発生を回避して適正な描画刺激を確保することが
できる。なお、本実施形態においては、一般に知られた
インターレース走査、プログレッシブ走査、あるいは、
その他の走査方法を適用することができる。
着者の額に電気的刺激を効果的に与えるため、ゴムや布
またはプラスチック等の材質に粘着性と絶縁性とを備え
た物質を施す粘着絶縁処理を行い皮膚表面に密着させる
ことができる電気素子保持板45を備えている。これに
より、装着者の例えば頭部に密着させるように固定する
ことができる。この電気素子保持板45には皮膚触覚を
感電特性により電気的に刺激する正負一対の導子電極か
らなる電気刺激素子47がマトリックス状に配列されて
いる。
0個、横240個並べてあり合計19200個の前記電
気刺激素子47が並べられ電気表示板の如く構成されて
いる(電気刺激素子群という)。個々の電気刺激素子4
7は図示しない正負の導子電極を例えば0.2mm乃至
0.4mm間隔で並べ、その間に低電圧(例えば7V)
の微弱電流(例えば20mA)を極短時間断続信号(パ
ルス信号)として流すことによって、導子電極に触れる
皮膚触覚(例えば装着者の触覚のうち痛覚)に電気的刺
激を与える構成になっている。そして、この電気刺激素
子47は上述の如くマトリックス状に配列して描画信号
に合わせ通電するが、同時に複数の電気刺激素子47が
通電すると密着した皮膚表面51の導電性により電気刺
激素子47間の誤通電状況が発生するため、各電気刺激
素子47への通電はフィールド走査方式を採用して1時
点で1電気刺激素子しか通電させない構成になってい
る。
トリックス状内を矢印の方向にX軸フィールド走査して
順次電気的刺激の線画を上下に並べられるようになって
いる。そして、図5に示すように例えば装着者の額の皮
膚51の触覚に電気的な刺激を与えて画像を認識させる
ようになっている。
具1の動作を説明する。この盲人用画像認識装具1は、
例えば装着者が装着して歩行等を行う。本例では電気刺
激部7を装着者額の皮膚表面51に固定する。この電気
刺激部7は接続ケーブル5によりコントロール部本体3
に接続されて制御されるものである。すなわち、装着者
が電源スイッチ付強度調節ダイヤル15により電源をい
れて歩行を開始する。これにより、装着者頭部顔面のゴ
ーグルに組込まれた画像撮影部11が装着者の目の方向
の被写体を撮影する。この撮影はシャッタ速度調節回路
27がシャッタ速度を調節して最適画像を得ることがで
きるようになっている。
た電子画像の画像情報Giが画像処理部21に送られ
て、この画像処理部21が画像情報Giに適正な処理を
行う。すなわち、この画像処理部21に備えられた画像
ブレ補正回路29が例えばブレにより画像の輪郭の曖昧
な箇所等を補正する処理を行う。これにより、被写体を
撮影する際に画像がブレてもこの画像のブレを修正する
ことができる。この補正された画像情報Giを画像処理
部21に備えられた輪郭強調抽出回路31が画像情報G
iの輪郭をディジタル処理して抽出をする。また、この
輪郭強調抽出回路31は抽出した輪郭を装着者が認識し
易いように強調するようになっている。
処理部21に備えられた特定色抽出回路33により画像
情報Giを解析して特定色(赤、青、黄等)の画像情報
Giを抽出する。なお、この画像処理部21には、赤外
線照射部13が接続されている。この赤外線照射部13
は、上述のように被写体の光量が十分に得られないとき
に、赤外線を照射して反射する光線を例えば小型電子カ
メラ等で撮影させるようになっている。これにより、装
着者は、例えば暗い状態でも画像を認識することができ
るようになる。
され編集された編集画像情報EGiを描画信号制御部2
3が受け取る。その後、この描画信号制御部23に備え
られた描画信号生成回路35がこの編集画像情報EGi
から電気刺激部7で装着者の皮膚の触覚を刺激するため
の基になる信号を生成する。さらに、この描画信号制御
部23に備えられた刺激強度制御回路37により電気的
刺激の強度を制御することができるようになっている。
これにより、上述の例えば特定色を識別できる信号に変
換できるようになる。
合成出力部39より特定の描画信号を音声信号に変換し
て出力するようになっている。これにより、特定色に対
しては音声で装着者に知らせることができる。例えば交
通信号機の色を音声で装着者に伝えることができるため
安全性を担保できる。
れた湿感センサ部41が皮膚の湿気を検出してこの湿気
の量に応じた電気的信号の強度を制御することができる
ようになっている。これにより、例えば装着者が汗をか
いたときは電気的な刺激を弱めるため適正な電気的刺激
を得ることができる。
刺激部7が受け取る。そして、この電気刺激部7は、皮
膚触覚を感電特性により電気的に刺激する正負一対の導
子電極からなる電気刺激素子47を構成要素とし、複数
の電気刺激素子47をマトリックス状に配列してX軸フ
ィールド単位に走査した線画を並べて1枚の画像にする
フィールド走査回路43により、例えば1/20秒乃至
1/30秒で1枚(1コマまたは1画面)の画像を電気
的刺激として電気刺激部7が装着者の皮膚触覚を刺激す
る。これにより、例えば、装着者の額(頭部)等の皮膚
触覚に対して微弱電流による複数の電気的刺激発生素子
を使って刺激を与え、その刺激位置の集約から動画像を
認識することができるようになる。
的な信号で皮膚の触覚が認識することができるようにな
り歩行等を適正に行うことができるようになる。なお、
この発明は、上述の実施の形態に限定されることなく、
適宜な変更を行うことにより、その他の態様で実施し得
るものである。本例では電気刺激を装着者の額の皮膚触
覚で感知する構成になっているが、例えば顔部、手の平
や甲、指先等の箇所の皮膚触覚でも良いことは勿論であ
る。
気刺激を装着者の皮膚触覚に与えることにより、凹凸表
示する機械的構造が不要となり、画像表示板を小型で軽
量な省電力型にすることができ、盲人用の画像認識用の
補助装具としての携帯性を格段に向上させることができ
るという効果がある。また、描画速度が物理的な動きに
比べて早いため自然な動きの動画像を認識させるための
電気的刺激として表現できるという効果がある。
である。
概略図である。
Claims (8)
- 【請求項1】 被写体を撮影して電子画像を得る画像撮
影部と、この画像撮影部で得られた前記電子画像に基づ
いて画像情報を生成する画像処理部と、前記画像処理部
で生成された前記画像情報から装着者に認識させるべき
画像を電気的に描画するための描画信号を生成する描画
信号制御部と、前記装着者の皮膚に接するべく装着さ
れ、前記描画信号に基づいて前記装着者の皮膚触覚に電
気的刺激を与えることにより、その電気的刺激の集約で
前記装着者に画像を認識させる電気刺激部とを備えるこ
とを特徴とする盲人用画像認識装具。 - 【請求項2】 前記画像処理部および前記描画信号制御
部は携帯可能なコントロール部本体に備えられ、前記画
像撮影部は前記装着者の頭部顔面に装着されるとともに
前記コントロール部本体に接続され、前記電気刺激部は
前記装着者の額に装着されるとともに前記コントロール
部本体に接続されることを特徴とする請求項1に記載の
盲人用画像認識装具。 - 【請求項3】 前記画像処理部は、前記画像撮影部によ
り撮影された画像の輪郭を強調する補正を行う輪郭強調
抽出回路を備えることを特徴とする請求項1又は請求項
2記載の盲人用画像認識装具。 - 【請求項4】 前記画像処理部は、前記画像撮影部によ
り撮影された画像情報を解析して被写体中の、所定の色
を前記装着者に識別可能に認識させるため、前記所定の
色を抽出する特定色抽出回路を備えることを特徴とする
請求項1乃至請求項3のいずれか1項記載の盲人用画像
認識装具。 - 【請求項5】 上記盲人用画像認識装具は、被写体を撮
影するための十分な光量が得られない場合に赤外線を照
射して反射する光線を前記画像撮影部で撮影させるた
め、前記赤外線を照射する赤外線照射部を備えているこ
とを特徴とする請求項1乃至請求項4のいずれか1項記
載の盲人用画像認識装具。 - 【請求項6】 前記描画信号制御部は、前記装着者の皮
膚触覚が画像の特徴を認識できるように前記電気的刺激
の電気的な強弱を制御する刺激強度制御回路を備え、さ
らに前記装着者の皮膚の湿感の多少により前記刺激強度
制御回路に電気刺激の強弱を制御させるため、前記装着
者の湿感を検出する湿感センサ部を備えることを特徴と
する請求項1乃至請求項5のいずれか1項記載の盲人用
画像認識装具。 - 【請求項7】 前記電気刺激部は、前記描画信号制御部
で生成された描画信号に基づいて、前記装着者の皮膚触
覚を感電特性により刺激するための電気刺激素子群がマ
トリックス上に配置され、前記電気刺激素子群をX軸フ
ィールド単位に走査して通電するフィールド走査回路を
備えることを特徴とする請求項1乃至請求項6のいずれ
か1項記載の盲人用画像認識装具。 - 【請求項8】 前記画像撮影部と、前記赤外線照射部
と、及び前記湿感センサ部とは、前記装着者の頭部顔面
に装着されるべき一体型ゴーグルに組み込まれているこ
とを特徴とする請求項6又は請求項7に記載の盲人用画
像認識装具。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000095451A JP3487804B2 (ja) | 2000-03-30 | 2000-03-30 | 盲人用画像認識装具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000095451A JP3487804B2 (ja) | 2000-03-30 | 2000-03-30 | 盲人用画像認識装具 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001285679A true JP2001285679A (ja) | 2001-10-12 |
JP3487804B2 JP3487804B2 (ja) | 2004-01-19 |
Family
ID=18610351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000095451A Expired - Lifetime JP3487804B2 (ja) | 2000-03-30 | 2000-03-30 | 盲人用画像認識装具 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3487804B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007066717A1 (ja) | 2005-12-08 | 2007-06-14 | The University Of Tokyo | 電気触覚ディスプレイ |
US9075439B2 (en) | 2012-11-27 | 2015-07-07 | Samsung Display Co., Ltd. | Display apparatus for sensing touch and providing an electro-tactile feeling and a method of driving the same |
CN111428583A (zh) * | 2020-03-05 | 2020-07-17 | 同济大学 | 一种基于神经网络和触觉点阵的视觉补偿方法 |
WO2022067112A1 (en) * | 2020-09-24 | 2022-03-31 | University Of Southern California | System and method for restoring color perception to the blind |
-
2000
- 2000-03-30 JP JP2000095451A patent/JP3487804B2/ja not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007066717A1 (ja) | 2005-12-08 | 2007-06-14 | The University Of Tokyo | 電気触覚ディスプレイ |
EP1970877A1 (en) * | 2005-12-08 | 2008-09-17 | The University of Tokyo | Electric tactile display |
JP5057068B2 (ja) * | 2005-12-08 | 2012-10-24 | 国立大学法人 東京大学 | 電気触覚ディスプレイ |
EP1970877A4 (en) * | 2005-12-08 | 2014-05-21 | Univ Tokyo | ELECTRIC TOUCH DISPLAY |
US8920174B2 (en) | 2005-12-08 | 2014-12-30 | The University Of Tokyo | Electric tactile display |
US9075439B2 (en) | 2012-11-27 | 2015-07-07 | Samsung Display Co., Ltd. | Display apparatus for sensing touch and providing an electro-tactile feeling and a method of driving the same |
CN111428583A (zh) * | 2020-03-05 | 2020-07-17 | 同济大学 | 一种基于神经网络和触觉点阵的视觉补偿方法 |
CN111428583B (zh) * | 2020-03-05 | 2023-05-12 | 同济大学 | 一种基于神经网络和触觉点阵的视觉补偿方法 |
WO2022067112A1 (en) * | 2020-09-24 | 2022-03-31 | University Of Southern California | System and method for restoring color perception to the blind |
Also Published As
Publication number | Publication date |
---|---|
JP3487804B2 (ja) | 2004-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3643033B2 (ja) | 舌に配置される触覚出力装置 | |
JP5057068B2 (ja) | 電気触覚ディスプレイ | |
US8712537B2 (en) | Field of view matching in a visual prosthesis | |
US20130201308A1 (en) | Visual blind-guiding method and intelligent blind-guiding device thereof | |
US20060074461A1 (en) | Visual restoration aiding device | |
DE60042155D1 (de) | Retinale farbprothese zur wiederherstellung des farbsehens | |
AU4366501A (en) | Multi-phasic microphotodetector retinal implant with variable voltage and current capability and apparatus for insertion | |
US20060287688A1 (en) | Vision regeneration assisting apparatus | |
MXPA03004320A (es) | Implante electronico corporal y sistema de vision artificial del mismo. | |
CN104751156A (zh) | 一种可调光的手指静脉图像采集系统 | |
US7113828B2 (en) | Visual restoration aiding device | |
JP3487804B2 (ja) | 盲人用画像認識装具 | |
KR20110111563A (ko) | 시각장애인용 사물인식장치 | |
CN117653907A (zh) | 一种基于眼动追踪的电刺激抑颤方法及装置 | |
KR100961319B1 (ko) | 시각장애인용 영상인식장치 | |
KR20200132620A (ko) | 안면 조직의 상태 정보에 기초한 최적 출력 제어 기능을 구비하는 고주파 치료기 | |
CN207605236U (zh) | 电脉冲刺激装置及治疗设备 | |
CN110300562A (zh) | 使用异步触觉刺激的感官替代系统 | |
KR200352882Y1 (ko) | 얼굴 마사지용 전기자극장치 | |
Barnes et al. | The role of vision processing in prosthetic vision | |
CN116440409B (zh) | 基于红外光激励的人类视网膜细胞刺激设备及方法 | |
CN218352743U (zh) | 视觉假体外部件及其系统、视觉假体系统 | |
CN113509640A (zh) | 基于眼动控制的功能性电刺激系统及其使用方法 | |
JP2006149912A (ja) | 視覚再生補助装置 | |
WO2021212232A1 (en) | Precision phosphene control through cutaneous facial electrical stimulation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
R150 | Certificate of patent or registration of utility model |
Ref document number: 3487804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081031 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091031 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101031 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |