JP2012133678A - 触感呈示装置 - Google Patents

触感呈示装置 Download PDF

Info

Publication number
JP2012133678A
JP2012133678A JP2010286691A JP2010286691A JP2012133678A JP 2012133678 A JP2012133678 A JP 2012133678A JP 2010286691 A JP2010286691 A JP 2010286691A JP 2010286691 A JP2010286691 A JP 2010286691A JP 2012133678 A JP2012133678 A JP 2012133678A
Authority
JP
Japan
Prior art keywords
tactile sensation
unit
contact
detection unit
sensation providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010286691A
Other languages
English (en)
Other versions
JP5755874B2 (ja
Inventor
Hiroya Hirose
裕哉 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2010286691A priority Critical patent/JP5755874B2/ja
Publication of JP2012133678A publication Critical patent/JP2012133678A/ja
Application granted granted Critical
Publication of JP5755874B2 publication Critical patent/JP5755874B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】操作者の周囲の状況、特に進行方向の先の状況を把握するための情報を、利便性の高い形態で伝達することができる触感呈示装置を提供する。
【解決手段】触感呈示装置1は、画像を撮像する撮像部20と、接触を検出する接触検出部40と、接触検出部40に接触する対象に触感を呈示する触感呈示部50と、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの位置と接触検出部40における位置とを対応させる制御部10と、を備え、制御部10は、接触検出部40が視覚障害者誘導用ブロックに対応する位置で接触を検出した場合と、視覚障害者誘導用ブロックに対応しない位置で接触を検出した場合とで、異なる触感を呈示するように触感呈示部50を制御することを特徴とする。
【選択図】図1

Description

本発明は、接触に応じて触感を呈示する装置に関するものであり、特に、タッチセンサなどに対する接触に応じて、視覚障害者などを誘導するための触感を呈示する装置に関するものである。
視覚障害者が道を歩く際、安全面を考慮して、盲導犬や同行者と共に行動することがある。しかしながら、視覚障害者が盲導犬や同行者を伴わずに自力で道を歩く際は、白杖を携えて行動することがよくある。白杖とは、視覚障害者が歩行の際に前方の路面を触擦して使用する白い杖である。視覚障害者が白杖を携えて自ら歩行する際、通り道を判別する補助となるものとして、視覚障害者誘導用ブロックがある。視覚障害者誘導用ブロック(以下、適宜「誘導用ブロック」と略記する)とは、視覚障害者を安全に誘導するために地面や床面に敷設されているブロック(プレート)である。
この誘導用ブロックの表面には、凹凸などの加工が施されている。視覚障害者は、この凹凸を、自らの足の裏による感触や、白杖を用いて路面を触擦した際の感触から識別することにより、進むべき道をある程度把握することができる。
しかしながら、誘導用ブロックに沿って歩行する際、例えば誘導用ブロックの上に自転車が駐輪されている場合もある。このような場合でも、視覚障害者は、白杖の届く範囲の状況しか把握することができない場合が多い。また、視覚障害者は、白杖を使用することにより、自分のごく周辺の障害や段差などの存在を把握することはできるが、白杖による捜索範囲には限界があるため、直前までその存在を知ることができない。したがって、視覚障害者は、白杖を携えて行動していたとしても、その安全性が確保されているとは言い難い。
このような問題に対処し得るものとして、誘導用ブロックにRFIDチップを埋め込む発明が提案されている(例えば特許文献1参照)。この特許文献1に記載の発明は、誘導用ブロックに埋め込まれたRFIDチップから位置情報データを受信し、当該受信した位置情報データを音声データにして視覚障害者に伝えることができる。
特開2004−078603号公報
上記特許文献1に記載の発明によれば、視覚障害者は、誘導用ブロック位置などを、音声により把握することができる。
しかしながら、特許文献1に記載の発明においては、誘導用ブロックに予めRFIDチップが埋設されていない状況に対処することはできない。また、音声による案内では、例えば騒音下で聴き取ることが困難な状況も想定される。さらに、音声による案内は、聴覚障害者にとって意味を成さないこともある。
以上のように、視覚障害者にとっては、周囲の状況、特に進行方向の先の状況を把握するための情報が、より利便性の高い形態で伝達されるようにすることが求められている。
したがって、かかる事情に鑑みてなされた本発明の目的は、操作者の周囲の状況、特に進行方向の先の状況を把握するための情報を、利便性の高い形態で伝達することができる触感呈示装置を提供することにある。
上記目的を達成する第1の観点に係る触感呈示装置の発明は、
画像を撮像する撮像部と、
接触を検出する接触検出部と、
前記接触検出部に接触する対象に触感を呈示する触感呈示部と、
前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの位置と前記接触検出部における位置とを対応させる制御部と、
を備え、
前記制御部は、当該接触検出部が前記視覚障害者誘導用ブロックに対応する位置で接触を検出した場合と、前記視覚障害者誘導用ブロックに対応しない位置で接触を検出した場合とで、異なる触感を呈示するように前記触感呈示部を制御することを特徴とするものである。
第2の観点に係る発明は、第1の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの位置に所定の障害物が存在すると判定した場合、前記接触検出部が当該所定の障害物が存在する位置に対応する位置における接触を検出したら呈示する触感と、前記接触検出部が当該所定の障害物が存在する位置以外の位置における接触を検出したら呈示する触感とを異ならせるように、前記触感呈示部を制御するものである。
第3の観点に係る発明は、第1の観点に係る触感呈示装置において、
前記制御部は、前記接触検出部が視覚障害者誘導用ブロックの位置のうち前記撮像部が画像を撮像している位置に対応する所定位置における接触を検出したら呈示する触感と、前記接触検出部が当該所定位置以外の位置における接触を検出したら呈示する触感とを異ならせるように、前記触感呈示部を制御するものである。
第4の観点に係る発明は、第3の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像に含まれる障害物に対応する位置が前記所定位置に所定の距離まで接近した場合、前記接触検出部が前記所定位置における接触を検出したら、所定の触感を前記接触検出部に接触する対象に呈示するように前記触感呈示部を制御するものである。
第5の観点に係る発明は、第4の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像に含まれる障害物に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように前記触感呈示部を制御するものである。
第6の観点に係る発明は、第3の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に所定の距離まで接近した場合、前記接触検出部が前記所定位置における接触を検出したら、所定の触感を前記接触検出部に接触する対象に呈示するように前記触感呈示部を制御するものである。
第7の観点に係る発明は、第6の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように前記触感呈示部を制御するものである。
第8の観点に係る発明は、第3乃至第7の観点に係る触感呈示装置において、
前記所定位置は前記接触検出部の中央下部の位置とするものである。
第9の観点に係る発明は、第1乃至第8の観点に係る触感呈示装置において、
前記制御部は、前記撮像部が撮像した画像を2次元化する処理を施すことにより、当該画像に含まれる視覚障害者誘導用ブロックの位置を前記接触検出部における位置に対応させるように制御するものである。
本発明によれば、操作者の周囲の状況、特に進行方向の先の状況を把握するための情報を、利便性の高い形態で伝達することができる。
本発明の実施の形態に係る触感呈示装置の外観の例を示す図である。 本発明の実施の形態に係る触感呈示装置の概略構成を示す機能ブロック図である。 本発明の実施の形態に係る触感呈示装置の触感設定動作を説明するフローチャートである。 視覚障害者誘導用ブロックを説明する図である。 本発明の実施の形態に係る触感呈示装置による画像の撮像から2次元化処理までの具体例を説明する図である。 本発明の実施の形態に係る触感呈示装置の触感呈示動作を説明するフローチャートである。 本発明の実施の形態に係る触感呈示装置の食感設定動作の具体例を説明する図である。 本発明の実施の形態に係る触感呈示装置による画像の撮像から2次元化処理までの他の具体例を説明する図である。 本発明の実施の形態に係る触感呈示装置の動作のさらに他の具体例を説明する図である。 本発明の変形例に係る触感呈示装置の動作の具体例を説明する図である。
以下、本発明の実施の形態について、図面を参照して説明する。まず、本発明の実施の形態に係る触感呈示装置の機器構成について説明する。
図1は、本発明の実施の形態に係る触感呈示装置の外観の例を示す図である。
図1に示すように、本発明の実施の形態に係る触感呈示装置1は、例えば携帯電話などの携帯端末とすることができる。また、図1に示すように、本実施の形態に係る触感呈示装置1は、外観上、少なくとも、CCDカメラなどにより構成される撮像部20と、操作者の指などによる接触を検出するタッチセンサ等で構成される接触検出部40と、を備えている。
図1(A)および(B)は、触感呈示装置1の一例を表面から見た外観斜視図と、裏面から見た外観斜視図とを表している。図1(A)および(B)に示す触感呈示装置1においては、接触検出部40を有する面が操作者側を向く面とし、撮像部20を有する面が操作者側とは逆を向く面であって操作者の進行方向を向く面とする。
図1(C)は、図1(A)および(B)に示した例とは異なる構成の触感呈示装置1の例を示す図である。図1(C)に示す触感呈示装置1は、接触検出部40と、撮像部20とを別の要素として構成している。この触感呈示装置1においては、操作者が手元で操作する端末本体部が接触検出部40を備えるようにし、これとは別個の要素である杖やステッキなどが撮像部20を備えるようにしてある。これら双方の機能部は、有線または無線の通信により、互いに接続することきができるようにする。
なお、図1(C)に示す例においては、撮像部20は杖やステッキなどに備えられるようにしたが、本発明はこのような構成に限定されるものではなく、例えば操作者の帽子や衣服などにクリップ機構などにより撮像部20が装着できるようにしてもよい。要するに、本発明による触感呈示装置1は、操作者が手元で操作する端末が接触検出部40を備えるとともに、撮像部20が操作者の移動による進行方向前方の画像を撮像することができるような構成であれば、任意の構成とすることができる。
図2は、触感呈示装置1の概略構成を示す機能ブロック図である。
図2に示すように、本実施の形態に係る触感呈示装置1は、制御部10、撮像部20、接触検出部40、触感呈示部50、記憶部80、および無線通信部90を備えている。制御部10は、触感呈示装置1の各機能部を制御することにより、触感呈示装置1全体を制御および管理する。
撮像部20は、上述したように、少なくとも1つのCCDカメラなどにより構成され、触感呈示装置1を操作する操作者の前方の画像を撮像する。なお、撮像部20により撮像した画像は、後述するように、2次元化処理が施されるため、当該撮像された画像に含まれる物体についての立体的な(3次元的な)情報を含めた態様で取得するのが好適である。撮像した画像に含まれる物体について3次元的な情報を把握することにより、当該物体までの距離に基づいて、画像に正確な2次元化処理を施すことができるためである。
具体的には、撮像部20は、例えば赤外線を利用したAF(オートフォーカス)機能を備えることにより、撮像部20が撮像する物体までの距離の情報とともに、当該物体の画像を撮像するようにすることができる。あるいは、例えば撮像部20が複数のカメラを有するようにして、同一対象物を複数視点から撮像することにより、撮像する物体までの距離の情報が取得できるようにしてもよい。
接触検出部40は、操作者の指やスタイラス等(接触する対象)による接触を、当該接触検出部40の接触面において検出する。すなわち、接触検出部40は、接触する対象による接触を検出する。また、接触検出部40は、検出した接触の位置を、制御部10に通知する。この接触検出部40は、例えば抵抗膜方式、静電容量方式、光学式等の公知の方式のタッチセンサなどで構成する。
なお、接触検出部40が接触物による接触を検出する上で、接触物が接触検出部40に物理的に触れることは必須ではない。例えば、接触検出部40が光学式である場合は、接触検出部40は接触検出部40上の赤外線が接触物で遮られた位置を検出するため、接触物が接触検出部40に触れることは不要である。
また、触感呈示装置1がタッチパネルを備えた端末である場合、接触検出部40の裏面に、図示しない表示部を有するようにもできる。この場合、触感呈示装置1は、当該表示部に表示したオブジェクトに対する接触を、当該オブジェクトの領域に対応する位置において、接触検出部40が接触する対象による接触を検出することができる。しかしながら、本発明においては、視覚障害者などを想定した操作者に、触感の呈示によって情報を伝達するため、表示部は必須の構成要素ではない。
触感呈示部50は、例えば圧電振動子等を用いて構成し、接触検出部40を振動させる。この触感呈示部50は、所定の振動パターンによる振動を発生させることにより、接触検出部40の接触面に接触する対象に触感を呈示する。
記憶部80は、公知技術によるメモリなどで構成することができ、各種アプリケーションおよび入力された各種情報などを記憶するとともに、ワークメモリなどとしても機能する。本実施の形態において、記憶部80は、触感呈示装置1において実行する各種のアプリケーションを記憶(インストール)しておくことができる。
無線通信部90は、外部の基地局などの通信装置と無線通信を行うことにより、例えばネットワークを介するなどして、触感呈示装置1の外部と種々の情報を送受信することができる。無線通信部90は、従来の携帯電話などに用いられている通信技術を用いて構成することができる。
次に、本実施の形態に係る触感呈示装置1の動作の流れについて説明する。
本実施の形態に係る触感呈示装置1は、まず、撮像部20が撮像した画像に含まれる誘導用ブロックの位置を認識し、その位置を2次元的に接触検出部40に対応させた上で、各位置に応じて触感を設定する。以下、ここまでの動作にかかる処理の流れについて説明する。
図3は、触感呈示装置1の上述した動作を説明するフローチャートである。図3に示す動作が開始すると、制御部10は、撮像部20が触感呈示装置1を操作する操作者の移動による進行方向前方の画像を撮像するように制御する(ステップS11)。図5(A)は、このようにして撮像部20が撮像した、触感呈示装置1を操作する操作者の移動による進行方向前方の画像の具体例を示す図である。図5(A)においては、触感呈示装置1を操作する操作者の移動による進行方向の前方の画像の床面に、誘導用ブロックが含まれている。
ステップS11において操作者の進行方向前方の画像が撮像されたら、制御部10は、当該画像に含まれる誘導用ブロックの位置を認識するように制御する(ステップS12)。ここで、制御部10は、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの位置を、画像解析により認識するように制御する。
一般的に、視覚障害者誘導用ブロックは、図4(A)および(B)に示すように、当該ブロックの大きさ、または凹凸の形状および大きさともに、規格により定められている。したがって、例えばテンプレートマッチングなど種々の画像解析技術を用いることにより、視覚障害者誘導用ブロックを認識することができる。なお、図4(A)に示す誘導用ブロックは「線状ブロック(誘導ブロック)」と呼ばれ、移動の方向を示す線状の突起が設けられている。また、図4(B)に示す誘導用ブロックは「警告ブロック(点状ブロック)」と呼ばれ、注意喚起または警告を促す点状の突起が設けられている。図5(B)は、このようにして制御部10が画像に含まれる誘導用ブロックの位置を認識する様子を概念的に示す図である。図5(B)においては、撮像された画像のうち、位置が認識された誘導用ブロックを太線で囲むことにより示してある。
さらに、ステップS12において画像に含まれる誘導用ブロックの位置を認識する際に、当該誘導用ブロックをふさぐように所定の障害物が画像に写り込んでいた場合、制御部10は、当該所定の障害物の位置も認識する。ここで、所定の障害物とは、例えば誘導用ブロックの上を歩いている人間、誘導用ブロックの上に駐輪してある自転車やオートバイなどを意味し、上述したテンプレートマッチングなど種々の画像解析技術を用いることにより認識できるものとする。
ステップS12において画像に含まれる誘導用ブロックの位置が認識されたら、制御部10は、当該画像を2次元化する処理を施すように制御する(ステップS13)。ステップS13においては、上述したように、当該画像に含まれる物体についての立体的な(3次元的な)情報を含めた態様で取得されている場合、当該情報に基づいて画像を2次元化する処理を施すのが好適である。上述したように、撮像した画像に含まれる物体について3次元的な情報に基づいて画像を2次元化する処理を施せば、当該物体までの距離に基づいて、画像に正確な2次元化処理を施すことができる。
ステップS13において画像を2次元化する処理を施したら、制御部10は、当該2次元化した画像に含まれる誘導用ブロックの位置を、接触検出部40における位置に対応させるように制御する(ステップS14)。具体的には、例えば、制御部10は、ステップS13において2次元化処理を施した画像の大きさを、接触検出部40の接触面の大きさとほぼ同じになるように拡大または縮小するように制御する。そして、制御部10は、当該画像において誘導用ブロックの位置に対応する接触検出部40の位置を、記憶部80に記憶させるように制御する。
したがって、制御部10は、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの位置と、接触検出部40における位置とを対応させる。また、この際、制御部10は、撮像部20が撮像した画像を2次元化する処理を施すことにより、当該画像に含まれる視覚障害者誘導用ブロックの位置を接触検出部40における位置に対応させるように制御する。
図5(C)は、このようにして制御部10が画像に含まれる誘導用ブロックの位置を接触検出部40における位置に対応させた様子を概念的に示す図である。図5(C)においては、撮像した画像を2次元化する処理を施した後、当該画像における誘導用ブロックの位置を、当該処理した画像よりも少し小さな位置検出部40に対応させている。なお、図5(C)においては、2次元化処理を施した誘導用ブロックの位置を示す画像を画面上に表示しているように記載しているが、上述したように、本発明においては、表示部は必須の構成要素ではない。図5(C)は、制御部10が、2次元化処理を施した誘導用ブロックの位置を、接触検出部40において仮想的に対応させた様子を表すものである。
ステップS14において誘導用ブロックの位置を接触検出部40における位置に対応させたら、制御部10は、接触検出部40における各位置に応じて、触感呈示部50が呈示する異なる触覚を設定する(ステップS15)。例えば、制御部10は、接触検出部40が視覚障害者誘導用ブロックの位置に対応する位置における接触を検出したら触感呈示部50が呈示する触感を設定する。また、制御部10は、接触検出部40が視覚障害者誘導用ブロックの位置に対応しない位置における接触を検出したら触感呈示部50が呈示する触感を設定する。なお、これら2つの触感は、呈示された操作者が区別することができるように、異なる触感を設定する。
さらに、制御部10は、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの位置に所定の障害物が存在すると判定した場合、当該所定の障害物の有無についても、触感呈示部50が呈示する触感を設定する。すなわち、この場合、制御部10は、接触検出部40が当該所定の障害物が存在する位置に対応する位置における接触を検出したら触感呈示部50が呈示する触感を設定する。また、制御部10は、接触検出部40が当該所定の障害物が存在する位置以外の位置における接触を検出したら触感呈示部50が呈示する触感を設定する。なお、これら2つの触感も、呈示された操作者が区別することができるように、異なる触感を設定する。
なお、触感呈示装置1を所持している操作者が移動することにより、撮像される画像は時々刻々と変化するため、それに伴って設定される触感も更新する必要がある。ここで、撮像部20が画像を撮像する頻度、および制御部10が接触検出部40に対する位置に応じて異なる触感を設定する頻度は、画像を撮像する態様機器構成、操作者が移動する速度など、種々のパラメータに応じて適切に設定するのが好適である。
例えば、リアルタイムで撮像される画像に応じて触感の設定もリアルタイムで行うと、触感呈示装置1の操作者が移動することにより撮像部20が撮像する画像に発生するブレが、設定される触感に対してリアルタイムに影響を与えてしまう。このように、画像を撮像する頻度および触感を設定する頻度については、極端に高くせずに、例えば1秒から数秒の間隔で更新するのが好適である。しかしながら、撮像された画像に基づいてすぐに触感を設定するのではなく、バッファ処理を設けることにより経時的な変化をある程度加味してから触感の設定に反映する場合には、画像を撮像する頻度および触感を設定する頻度をある程度高くすることもできる。
次に、本実施の形態に係る触感呈示装置1においては、接触検出部40が接触を検出すると、当該接触の位置に応じて、触感呈示部50により異なる触感を呈示する。以下、これらの動作にかかる処理の流れについて例を挙げて説明する。
図6は、触感呈示装置1の上述した動作を説明するフローチャートである。なお、図6に示す動作は、図3において説明した動作とは別個に進行させる処理とする。図6に示す動作が開始すると、制御部10は、接触検出部40が操作者の指などによる接触を検出したか否かを判定する(ステップS21)。ステップS21において接触が検出されたら、制御部10は、当該接触の位置が誘導用ブロックの位置に対応するか否かを判定する(ステップS22)。
ステップS22において接触の位置が誘導用ブロックの位置に対応しない場合、制御部10は、所定の触感を呈示するように触感呈示部50を制御する(ステップS23)。ここで、「所定の触感」とは、接触検出部40において接触が検出された位置に誘導用ブロックは存在しないことを表す触感であり、以下、触感γと記す。この触感γは、例えば何も振動が発生しない触感としたり、あるいは接触検出部40上で操作者が指などをなぞった際に(スライド操作)、滑らかな触感として呈示することなどが想定できる。
このように制御することで、触感呈示装置1の操作者は、接触検出部40の様々な位置を接触することにより、誘導用ブロックが存在しない位置を容易かつ確実に把握することができる。
一方、ステップS22において接触の位置が誘導用ブロックの位置に対応する場合、制御部10は、当該位置が所定位置に対応するか否かを判定する(ステップS24)。ここで、「所定位置」とは、接触検出部40において触感呈示装置1を操作する操作者の位置に対応する位置を表し、すなわち、視覚障害者誘導用ブロックの位置のうち撮像部20が画像を撮像している位置を表す。この所定位置は、例えば、接触検出部40の中央下部の位置とすることができ、以下、「ホームポジション」と記す。なお、このホームホジションは、常に接触検出部40の中央下部の位置として不動の位置であるようにし、接触検出部40において触感が設定される位置が変化することにより、触感呈示装置1を操作する操作者の移動を表現する。
ステップS24において接触位置がホームポジションである場合、制御部10は、所定の触感を呈示するように触感呈示部50を制御する(ステップS25)。ここで、「所定の触感」とは、接触検出部40において接触が検出された位置がホームポジションすなわち触感呈示装置1を操作する操作者の位置に対応する位置であることを表す触感であり、以下、触感αと記す。触感αは、操作者が接触検出部40において相対的な位置を把握することができるように、制御部10は、周期的に触感αを呈示するように触感呈示部50を制御するのが好適である。すなわち、ステップS25においては、制御部10は、周期的に触感αを呈示すべきタイミングである場合に、触感αを呈示するように触感呈示部50を制御するのが好適である。
ステップS25の後、制御部10は、所定の障害物の位置または誘導用ブロックの進行方向が変更される位置がホームポジションに近付いたか否かを判定する(ステップS26)。ここで、それぞれの位置がホームポジションに近付いたか否かは、接触検出部40において、それぞれの位置とホームポジションとの間隔が所定の距離まで接近したか否かに基づいて判定することができる。
ステップS26において前記それぞれの位置がホームポジションに近付いたと判定された場合、制御部10は、前記所定の距離に応じて触感αを変化させて呈示するように触感呈示部50を制御する(ステップS27)。すなわち、制御部10は、撮像部20が撮像した画像に含まれる所定の障害物に対応する位置が前記所定位置に所定の距離まで接近した場合、接触検出部40が前記所定位置における接触を検出したら、所定の触感を接触検出部40に接触する対象に呈示するように触感呈示部50を制御する。この場合、制御部10は、撮像部20が撮像した画像に含まれる所定の障害物に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように触感呈示部50を制御する。
また、ここで、制御部10は、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に所定の距離まで接近した場合、接触検出部40が前記所定位置における接触を検出したら、所定の触感を接触検出部40に接触する対象に呈示するように触感呈示部50を制御する。この場合、制御部10は、撮像部20が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように触感呈示部50を制御する。
このように制御することで、触感呈示装置1の操作者は、誘導用ブロック上を移動している際に、障害物が接近してきた場合、その旨を、ホームポジションの触感が変化することにより把握することができる。また、触感呈示装置1の操作者は、誘導用ブロック上を移動している際に、当該誘導用ブロックの方向が変化する位置が近付いた場合も、その旨を、ホームポジションの触感が変化することにより把握することができる。この場合に呈示される触感としては、触感αが呈示される周期が早くなったり、または触感αが呈示される強さが強くなったりする、といった態様が想定できる。また、これらの位置がホームポジションに近付くについて、だんだんと触感αが呈示される周期が早くなったり、または触感αが呈示される強さが強くなったりする、といった触感の態様が想定できる。
一方、ステップS24において接触位置がホームポジションではない場合、制御部10は、当該接触の位置が障害物などの位置に対応するか否かを判定する(ステップS28)。ステップS28において接触の位置が障害物などの位置に対応する場合、制御部10は、所定の触感を呈示するように触感呈示部50を制御する(ステップS29)。ここで、「所定の触感」とは、接触検出部40において接触が検出された位置に障害物などが存在することを表す触感であり、以下、触感δと記す。この触感δは、例えば強い振動による触感としたり、振動の時間が比較的長めの触感として呈示することなどが想定できる。
このように制御することで、触感呈示装置1の操作者は、接触検出部40の様々な位置を接触することにより、障害物などが存在する位置を容易かつ確実に把握することができる。
一方、ステップS28において接触の位置が障害物などの位置に対応しない場合、制御部10は、所定の触感を呈示するように触感呈示部50を制御する(ステップS30)。ここで、「所定の触感」とは、接触検出部40において接触が検出された位置に誘導用ブロックが存在することを表す触感であり、以下、触感βと記す。この触感βは、例えば弱い振動が発生する触感としたり、あるいは接触検出部40上で操作者が指などをなぞった際に(スライド操作)、ザラザラした触感として呈示することなどが想定できる。
このように制御することで、触感呈示装置1の操作者は、接触検出部40の様々な位置を接触することにより、誘導用ブロックが存在する位置を容易かつ確実に把握することができる。なお、操作者による接触に応じて絶えず触感を呈示するためには、触感呈示装置1は、図6に示すフローチャートにおいて説明した動作が終了したら、再び当該動作を開始するようにする。
このように、制御部10は、接触検出部40が視覚障害者誘導用ブロックの位置のうち撮像部20が画像を撮像している位置に対応するホームポジションにおける接触を検出したら、所定の触感を呈示するように触感呈示部50を制御する。また、制御部10は、接触検出部40がホームポジション以外の位置における接触を検出したら、所定の触感を呈示するように触感呈示部50を制御する。なお、これら2つの所定の触感は、呈示された操作者が区別することができるように、異なる触感とする。
以上のように、本実施の形態に係る触感呈示装置1において、制御部10は、接触検出部40が接触を検出する位置に応じて、接触検出部40に接触する対象に異なる触感を呈示するように触感呈示部50を制御する。すなわち、制御部10は、接触検出部40が視覚障害者誘導用ブロックに対応する位置で接触を検出した場合と、視覚障害者誘導用ブロックに対応しない位置で接触を検出した場合とで、異なる触感を呈示するように触感呈示部50を制御する。
次に、本実施の形態に係る触感呈示装置1による動作の例を具体的に説明する。
図7は、触感呈示装置1によって、撮像部20が撮像した画像に含まれる誘導用ブロックの位置を認識し、その位置を2次元的に接触検出部40に対応させた上で、各位置に応じて触感を設定した例を示す図である。図7に示す誘導用ブロックの位置は、図5(C)において説明した2次元化処理を施した誘導用ブロックの位置を、接触検出部40において仮想的に対応させた様子を表したものと同じである。
図7に示すように、接触選出部40において、誘導用ブロックの存在しない位置に操作者が指などで接触すると、触感γが呈示される。すなわち、何も振動が発生しない触感が呈示されたり、あるいは接触検出部40上で操作者が指などをなぞった際に(スライド操作)滑らかな触感が呈示されたりすることにより、操作者は、当該位置には誘導用ブロックが存在しないことを把握できる。
また、図7に示すように、接触選出部40において、誘導用ブロックの存在する位置に操作者が指などで接触すると、触感βが呈示される。すなわち、弱い振動による触感が呈示されたり、あるいは接触検出部40上で操作者が指などをなぞった際に(スライド操作)ザラザラした触感が呈されたりすることにより、操作者は、当該位置に誘導用ブロックが存在することを把握できる。
さらに、図7に示すように、接触選出部40において、ホームポジションに操作者が指などで接触すると、触感αが呈示される。触感αは、ホームポジションに操作者が指などで接触している間、周期的に触感が呈示される。このように、誘導用ブロックの存在する位置のうちホームポジションにおける触感が呈示されるため、操作者は、誘導用ブロックの存在する位置おいて自らの位置を相対的に把握することができる。
また、この触感αは、ホームポジションに障害物や誘導用ブロックの進行方向の変更点が近付くと変化するため、操作者は、ホームポジションの位置を確認したまま、注意すべき対象が接近したことを把握することができる。さらに、この触感αは、ホームポジションに障害物や誘導用ブロックの進行方向の変更点が近付くにつれて徐々に変化するため、操作者は、ホームポジションの位置を確認したまま、注意すべき対象が操作者に徐々に接近する様子も把握することができる。図7においては、誘導用ブロックの進行方向が変更になる点がホームポジションの位置に近いため、触感αは徐々に変化する。
図8は、触感呈示装置1によって、撮像部20が撮像した画像に含まれる誘導用ブロックの位置を認識し、その位置を2次元的に接触検出部40に対応させた上で、各位置に応じて触感を設定した他の例を示す図である。
図8(A)に示すように、本例においては、触感呈示装置1を操作する操作者の移動による進行方向の前方の画像の床面に誘導用ブロックが含まれているが、その途中に、誘導用ブロックを遮るようにオートバイが駐車してある。このような場合、図8(B)に示すように、制御部10が画像に含まれる誘導用ブロックの位置を認識する際に、誘導用ブロックの位置とともに、障害物であるオートバイの位置も認識する。図8(B)においては、撮像された画像のうち、位置が認識された誘導用ブロックを太線で囲むことにより示し、位置が認識された障害物を塗りつぶすことにより示してある。
図8(C)は、以上のような状況において、制御部10が画像に含まれる誘導用ブロックおよび障害物の位置を接触検出部40における位置に対応させた様子を概念的に示す図である。このような対応関係に基づいて、触感呈示装置1は、接触検出部40における各位置に応じて、触感呈示部50が呈示する異なる触覚を設定する。
図8(C)に示すように、接触選出部40において、誘導用ブロックの存在しない位置に操作者が指などで接触すると、振動が発生しない触感な滑らかなスライド触感等とすることができる触感γが呈示される。また、図8(C)に示すように、接触選出部40において、誘導用ブロックの存在する位置に操作者が指などで接触すると、弱い振動による触感やザラザラしたスライド触感等とすることができる触感βが呈示される。さらに、図8(C)に示すように、接触選出部40において、ホームポジションに操作者が指などで接触すると、図7において説明したのと同様の触感αが呈示される。
さらに、図8(C)に示す例においては、接触選出部40において、障害物の存在する位置に操作者が指などで接触すると、上記の触感とは異なる触感δが呈示される。したがって、操作者は、障害物が接近する前段階で、当該障害物の存在を把握することができる。また、操作者がホームポジションにおいて自らの位置を確認している最中であっても、障害物たるオートバイの位置がオームポジションに近付くと、触感αが変化して呈示されることにより、当該障害物が接近してきた旨を把握することができる。
なお、図8に示す例においては、床面に設置されたマンホールが誘導用ブロックを少し遮っている。このような場合、例えば触感呈示装置1の警戒レベルを高く設定する場合には、当該マンホールの位置も障害物が存在するものと判定して、触感δを呈示したり、当該位置がホームポジションに近付くと、触感αを変化させて呈示するのが好適である。
図9は、触感呈示装置1によって、撮像部20が撮像した画像に含まれる誘導用ブロックの位置を認識し、その位置を2次元的に接触検出部40に対応させた上で、各位置に応じて触感を設定した、さらに他の例を示す図である。
図9(A)に示すように、本例においては、触感呈示装置1を操作する操作者の移動による進行方向の前方の画像の床面に誘導用ブロックが含まれているが、その前方に階段が存在する。このような場合、図9(A)に示すように、制御部10が画像に含まれる誘導用ブロックの位置を認識する際に、誘導用ブロックの位置とともに、障害物である階段の位置も認識する。図9(A)においては、撮像された画像のうち、位置が認識された誘導用ブロックを太線で囲むことにより示し、位置が認識された障害物を塗りつぶすことにより示してある。
図9(B)は、以上のような状況において、制御部10が画像に含まれる誘導用ブロックおよび障害物の位置を接触検出部40における位置に対応させた様子を概念的に示す図である。このような対応関係に基づいて、触感呈示装置1は、接触検出部40における各位置に応じて、触感呈示部50が呈示する異なる触覚を設定する。
図9(B)において、触感α、β、およびγは、図7および8において説明したものと同様の触感とすることができる。また、図9(B)において、触感δも、図8において説明したものと同様の触感とすることができる。
さらに、図9に示す例においては、無線通信部90により例えばネットワーク等を介して、障害物である階段についての詳細な情報を取得できる場合について説明する。このような実施の形態は、例えば市街地における道路などのインフラストラクチャーに関する情報がネットワークを介して取得できる場合に有利である。また、例えば障害物付近に設置された通信機と無線通信することにより、当該障害物の情報を取得できる場合にも、このような実施の形態は有利である。
このような条件が整う場合、触感呈示装置1は、接触検出部40において当該障害物が存在する位置に接触を検出すると、触感δとして、当該障害物に関する情報を触感により呈示することができる。すなわち、例えば、視覚障害者の間で用いられることの多いモールス信号を触感により再現して、障害物についての詳細情報を伝達することができる。図9に示すように障害物が階段である例においては、例えば、まず障害物が階段である旨や、階段の段数、さらに昇りの階段であるか降りの階段であるか、などの情報をモールス信号として再現した触感を呈示することができる。
このようにすれば、操作者の周囲の状況、特に進行方向の先の状況を把握するための情報を、より利便性の高い形態で伝達することができる。
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施の形態では、触感呈示装置1が無線通信部90を有する構成について説明したが、本発明は、当該構成に限定されるものではなく、種々の機能部を追加することにより、さらに利便性を高めることができる。例えば、触感呈示装置1がGPS受信部(図示せず)を備えるようにした構成とすることにより、自端末の位置を取得することかできるため、触感の呈示によるナビゲーションシステムとして、触感呈示装置1を利用することができる。
図10は、触感呈示装置1によって、撮像部20が撮像した画像に含まれる誘導用ブロックの位置を認識し、その位置を2次元的に接触検出部40に対応させた上で、各位置に応じて触感を設定した、さらに他の例を示す図である。
図10(A)に示すように、本例においては、触感呈示装置1を操作する操作者の移動による進行方向の前方の画像の床面に誘導用ブロックが含まれているが、その前方で誘導用ブロックが分岐している。このような場合、上述した実施の形態においては、操作者は、誘導用ブロックの存在する位置(触感β)、誘導用ブロックの存在しない位置(触感γ)、およびホームポジション(触感α)を、区別して把握することができた。しかしながら、図10(A)に示すように、誘導用ブロックが分岐している場合、双方の誘導用ブロックにおいて触感βを呈示するため、操作者はどちらの進路を取るべきなのか予め知っておかなければならない。
しかしながら、GPS受信部を備える触感呈示装置1であれば、操作者はどちらの進路を取るべきなのか予め知らない場合であっても、目的地を入力することにより、現在位置を基準として、取るべき進路の情報を取得することができる。
図10(B)に示す例においては、操作者が入力した目的地に向かうためには、現在位置を基準として、左側に分岐した誘導用ブロックに従って移動すべきことを、触感により示す例について説明する。図10(B)に示す例においては、左側に分岐した誘導用ブロックの位置に接触を検出すると、触感呈示装置1は、通常の誘導用ブロックの位置に対する接触に応じた触感βを呈示する。しかしながら、右側に分岐した誘導用ブロックの位置に接触を検出すると、触感呈示装置1は、警戒すべき旨を知らせるための触感δを呈示する。したがって、操作者は、触感のみを頼りにして、通常の誘導用ブロックの位置に対する接触に応じた触感βを呈示する進路を取ることができる。
このようにすれば、操作者の周囲の状況、特に進行方向の先の状況を把握するための情報を、より利便性の高い形態で伝達することができる。
また、上記実施の形態では、タッチセンサ40を用いて、当該タッチセンサのタッチ面に対する接触を検出したが、荷重センサ(荷重検出部)を用いて、所定の押圧荷重の基準を満たした場合に、接触がなされたものと判定することもできる。このような荷重検出部は、上述した実施の形態の荷重検出部と同様に、任意の個数の歪みゲージセンサ等を用いて構成することができる。
このような場合、触感呈示装置1が荷重検出部を備える構成として、接触検出部40を操作者が接触する際に印加する押圧荷重を検出するようにもできる。このように、触感呈示装置1が荷重検出部を備える構成として、接触検出部40に接触が検出された時点では触感を呈示せずに、荷重検出部が所定の基準を満たす押圧荷重を検出した際に初めて触感を呈示するようにもできる。
このような構成によれば、触感呈示装置1は、接触検出部40に加わる荷重が、触感を呈示する基準(例えば1N)を満たすまでは、圧覚を刺激するようにし、荷重が当該基準を満たすと、触感呈示部50を駆動して接触面を振動させて触覚を刺激するようにできる。したがって、この場合、触感呈示装置1は、操作者の圧覚を刺激した状態で触覚を刺激するため、操作者に対してリアルなクリック触感をはじめとして、種々の多彩な触感を呈示することができる。
また、このような構成において、荷重検出部および触感呈示部50は、圧電素子を用いて構成する場合、圧電素子を共用して荷重検出部兼触感呈示部を構成することもできる。圧電素子は、圧力が加わると電力を発生し、電力が加えられると変形するためである。
また、本発明は、荷重検出部を備える場合、荷重検出部により検出される押圧荷重が、入力として認識されるための所定の基準を満たした際に触感呈示部を駆動させる。この場合において、上記荷重検出部により検出される押圧荷重が入力として認識されるための所定の基準を満たした際とは、荷重検出部により検出される押圧荷重が入力として認識される所定値に達した際であってもよいし、荷重検出部により検出される押圧荷重が入力として認識される所定値を超えた際でもよいし、荷重検出部により入力として認識される所定値が検出された際でもよい。
また、触感呈示部50は、振動モータ(偏心モータ)などに基づいて触感呈示装置1を振動させることにより、接触検出部40を間接的に振動させるように構成してもよいし、接触検出部40に圧電素子を配設することにより、接触検出部40を直接的に振動させるように構成してもよい。
なお、上述したように、触感呈示部50は、触感α、β、γ、およびδを呈示するが、これらの触感α、β、γ、およびδは、それぞれ異なる触感であれば、任意の触感とすることができる。したがって、例えば、触感α、β、γ、およびδのうちいずれかの触感は、触感呈示部50が振動を発生しないことにより呈示される触感としてもよい。
また、触感呈示装置1が表示部を備えるようにする場合、当該表示部と、接触検出部40とは、これら両機能を共通の基板に持たせる等により、一体化した装置によって構成されるようにしてもよい。このように表示部と接触検出部40との両機能を一体化した装置の構成の一例としては、液晶パネルが有するマトリクス状配列の画素電極群に、フォトダイオード等の複数の光電変換素子を規則的に混在させたものを挙げることができる。この装置は、液晶パネル構造によって画像を表示する一方で、パネル表面の所望位置を接触するペンの先端で液晶表示用のバックライトの光を反射し、この反射光を周辺の光電変換素子が受光することによって、接触位置を検出することができる。
1 触感呈示装置
10 制御部
20 撮像部
40 接触検出部
50 触感呈示部
80 記憶部
90 無線通信部

Claims (9)

  1. 画像を撮像する撮像部と、
    接触を検出する接触検出部と、
    前記接触検出部に接触する対象に触感を呈示する触感呈示部と、
    前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの位置と前記接触検出部における位置とを対応させる制御部と、
    を備え、
    前記制御部は、当該接触検出部が前記視覚障害者誘導用ブロックに対応する位置で接触を検出した場合と、前記視覚障害者誘導用ブロックに対応しない位置で接触を検出した場合とで、異なる触感を呈示するように前記触感呈示部を制御することを特徴とする、触感呈示装置。
  2. 前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの位置に所定の障害物が存在すると判定した場合、前記接触検出部が当該所定の障害物が存在する位置に対応する位置における接触を検出したら呈示する触感と、前記接触検出部が当該所定の障害物が存在する位置以外の位置における接触を検出したら呈示する触感とを異ならせるように、前記触感呈示部を制御する、請求項1に記載の触感呈示装置。
  3. 前記制御部は、前記接触検出部が視覚障害者誘導用ブロックの位置のうち前記撮像部が画像を撮像している位置に対応する所定位置における接触を検出したら呈示する触感と、前記接触検出部が当該所定位置以外の位置における接触を検出したら呈示する触感とを異ならせるように、前記触感呈示部を制御する、請求項1に記載の触感呈示装置。
  4. 前記制御部は、前記撮像部が撮像した画像に含まれる障害物に対応する位置が前記所定位置に所定の距離まで接近した場合、前記接触検出部が前記所定位置における接触を検出したら、所定の触感を前記接触検出部に接触する対象に呈示するように前記触感呈示部を制御する、請求項3に記載の触感呈示装置。
  5. 前記制御部は、前記撮像部が撮像した画像に含まれる障害物に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように前記触感呈示部を制御する、請求項4に記載の触感呈示装置。
  6. 前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に所定の距離まで接近した場合、前記接触検出部が前記所定位置における接触を検出したら、所定の触感を前記接触検出部に接触する対象に呈示するように前記触感呈示部を制御する、請求項3に記載の触感呈示装置。
  7. 前記制御部は、前記撮像部が撮像した画像に含まれる視覚障害者誘導用ブロックの進行方向が変更される位置に対応する位置が前記所定位置に接近する距離に応じて、前記所定の触感を変化させて呈示するように前記触感呈示部を制御する、請求項6に記載の触感呈示装置。
  8. 前記所定位置は前記接触検出部の中央下部の位置である、請求項3乃至7に記載の触感呈示装置。
  9. 前記制御部は、前記撮像部が撮像した画像を2次元化する処理を施すことにより、当該画像に含まれる視覚障害者誘導用ブロックの位置を前記接触検出部における位置に対応させるように制御する、請求項1乃至8に記載の触感呈示装置。
JP2010286691A 2010-12-22 2010-12-22 触感呈示装置 Active JP5755874B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010286691A JP5755874B2 (ja) 2010-12-22 2010-12-22 触感呈示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010286691A JP5755874B2 (ja) 2010-12-22 2010-12-22 触感呈示装置

Publications (2)

Publication Number Publication Date
JP2012133678A true JP2012133678A (ja) 2012-07-12
JP5755874B2 JP5755874B2 (ja) 2015-07-29

Family

ID=46649184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010286691A Active JP5755874B2 (ja) 2010-12-22 2010-12-22 触感呈示装置

Country Status (1)

Country Link
JP (1) JP5755874B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188052A (ja) * 2016-03-31 2017-10-12 株式会社エヌ・ティ・ティ・データ ナビゲーション装置、及びナビゲーション方法
US10726740B2 (en) 2015-01-15 2020-07-28 Sony Corporation Image processing device and image processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155142A (ja) * 1999-12-01 2001-06-08 Masaaki Takahashi 触覚認識装置
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2004094389A (ja) * 2002-08-29 2004-03-25 Sony Corp 入出力装置および入出力装置を有する電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001155142A (ja) * 1999-12-01 2001-06-08 Masaaki Takahashi 触覚認識装置
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2004094389A (ja) * 2002-08-29 2004-03-25 Sony Corp 入出力装置および入出力装置を有する電子機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726740B2 (en) 2015-01-15 2020-07-28 Sony Corporation Image processing device and image processing method
JP2017188052A (ja) * 2016-03-31 2017-10-12 株式会社エヌ・ティ・ティ・データ ナビゲーション装置、及びナビゲーション方法

Also Published As

Publication number Publication date
JP5755874B2 (ja) 2015-07-29

Similar Documents

Publication Publication Date Title
Lin et al. Deep learning based wearable assistive system for visually impaired people
EP3088996A1 (en) Systems and methods for tactile guidance
CN105278670B (zh) 眼佩戴型终端及控制眼佩戴型终端的方法
CN102262476B (zh) 传输触觉信息的系统和方法
EP2629737B1 (en) White cane with integrated electronic travel aid using 3d tof sensor
CN101566875B (zh) 图像处理装置和图像处理方法
JP5779641B2 (ja) 情報処理装置、方法およびプログラム
KR102055677B1 (ko) 이동 로봇 및 그 제어방법
CN105306084A (zh) 眼镜型终端及其控制方法
CN102508546A (zh) 一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
CN102880304A (zh) 用于便携设备的字符输入方法及装置
CN104463145A (zh) 一种电子设备及障碍提醒方法
EP3157233A1 (en) Handheld device, method for operating the handheld device and computer program
WO2012119371A1 (zh) 一种用户交互系统和方法
EP3336660A2 (en) Automatic haptic generation based on visual odometry
KR20150069615A (ko) 사용자 동작 인식 기반의 햅틱 피드백 제공 장치 및 그 동작 방법
KR20150097043A (ko) 스마트 안경 및 지팡이를 이용한 시각 장애인 보조 시스템 및 방법
US20140240221A1 (en) Electronic Apparatus And Method
JP2011250928A (ja) 視覚障害者用空間認識装置、方法およびプログラム
Mattoccia et al. 3D glasses as mobility aid for visually impaired people
WO2010142689A2 (en) An object detection device
KR20160028891A (ko) 깊이 카메라와 방향 센서를 이용한 시각 장애인을 위한 장애물 인식 장치
JP5755874B2 (ja) 触感呈示装置
US8876291B2 (en) Control apparatus, ophthalmologic apparatus, system, control method, and program
Bala et al. Design, development and performance analysis of cognitive assisting aid with multi sensor fused navigation for visually impaired people

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150528

R150 Certificate of patent or registration of utility model

Ref document number: 5755874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150