JP2018202054A - 人工視覚装置 - Google Patents

人工視覚装置 Download PDF

Info

Publication number
JP2018202054A
JP2018202054A JP2017113867A JP2017113867A JP2018202054A JP 2018202054 A JP2018202054 A JP 2018202054A JP 2017113867 A JP2017113867 A JP 2017113867A JP 2017113867 A JP2017113867 A JP 2017113867A JP 2018202054 A JP2018202054 A JP 2018202054A
Authority
JP
Japan
Prior art keywords
user
intensity
stimulus
vital data
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017113867A
Other languages
English (en)
Inventor
周平 川地
Shuhei Kawachi
周平 川地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017113867A priority Critical patent/JP2018202054A/ja
Publication of JP2018202054A publication Critical patent/JP2018202054A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Prostheses (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】利用者の体調に応じて適切な強度の視覚刺激を発生する人工視覚装置を提供すること。【解決手段】映像を撮影する撮像手段を有し、前記撮像手段が撮影した映像を使用者に視覚刺激として伝達する人工視覚装置において、使用者のバイタルデータを取得するバイタルデータ取得手段と、使用者に伝達する視覚刺激の強度を調整する視覚刺激強度調節部と、を備え、前記視覚刺激強度調節部は、前記バイタルデータの値に応じて、使用者に伝達する視覚刺激の強度を変えることを特徴とする。【選択図】図6

Description

本発明は、撮像部が取得した映像データを視覚障害者に刺激として入力し、人工的に視覚を再生する人工視覚装置に関する。
近年、目が見えない人に人工的に視覚を再生する人工視覚装置が開発されてきている。例えば中途失明の3大原因の一つとされている「網膜色素変性症」は、網膜の細胞に異常が発生する難病であり、数千人に1人の頻度で発症するとされている。
こうした視覚を失った人に対して人工的に視覚を回復する装置の開発が行われており、こうした装置は人工視覚装置と呼ばれている。人工視覚装置として、例えば網膜の光受容体の代わりを撮像素子で担い、視神経などに映像を電気刺激として伝達するものが知られている。人工視覚装置は刺激を伝達する場所によって網膜刺激型、視神経刺激型、脳刺激型などの種類が存在する。
さて、人工視覚装置の利用にあたり、装置の利用者にとって適切な刺激強度にすることが必要である。一般に電流刺激の強度と利用者が認知する輝度との関係は単純な比例関係で表すことができず、また個人差が見られる。そのため、各強度の刺激とそれに対する利用者の認知応答の程度を調べ、刺激と認知応答をマッピングすることで、適切な認知応答を得られる刺激を生成するように調整することが行われている。
特許文献1には、利用者が認知する輝度に応じて刺激強度を自動で調整するような、神経刺激と認知応答とのマッピング方法について開示されている。このような方法によって、人工視覚装置で扱う数千にも及ぶ数の電極について個別に調整作業をすることなく、適切な強度の刺激を生成することが可能となる。
特表2008−529684号公報
しかし、心地よい刺激の強さは体調、例えば疲労の程度によって変化する。したがって体調の変化に応じた刺激強度とすることが望ましいが、特許文献1の方法では利用者が体調の変化に応じてその都度調整作業を実施することになり、利用者の負担が大きい。
本発明の目的は、利用者の体調に応じて適切な強度の視覚刺激を発生する人工視覚装置を提供することにある。
上記の目的を達成するため、本発明に係る人工視覚装置は、
映像を撮影する撮像手段を有し、前記撮像手段が撮影した映像を使用者に視覚刺激として伝達する人工視覚装置において、使用者のバイタルデータを取得するバイタルデータ取得手段と、使用者に伝達する視覚刺激の強度を調整する視覚刺激強度調節部と、を備え、前記視覚刺激強度調節部は、前記バイタルデータの値に応じて、使用者に伝達する視覚刺激の強度を変えることを特徴とする。
本発明によれば、利用者の体調に応じて適切な強度の視覚刺激を発生する人工視覚装置を提供することができる。
本発明の第1の実施形態における構成図である。 第1の実施形態における眼鏡型装置100の外観イメージを示す図である。 第1の実施形態における埋め込み装置200の装着イメージを示す図である。 第1の実施形態において利用者300に与える刺激強度と利用者が認知する輝度レベルの関係を示すマップの一例を示す図である。 第1の実施形態において刺激補正部106が算出する電気刺激の補正量とバイタルデータ(脈拍数)の関係の一例を示す図である。 第1の実施形態において眼鏡型装置が被写体像を処理する流れを説明する図である。 第1の実施形態において埋め込み装置が被写体像に応じた電気刺激を生成する処理の流れを説明する図である。 第1の実施形態において刺激強度算出部103の処理の流れを説明する図である。 第1の実施形態において刺激補正部106の処理の流れを説明する図である。
以下に、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。
《第1の実施形態》
図1は、本発明の実施形態における人工視覚装置100、200および利用者300の構成図である。
人工視覚装置は、利用者300が装着する眼鏡型装置100および眼球内に埋め込まれる埋め込み装置200からなる。眼鏡型装置の例を図2に、埋め込み装置の例を図3に示す。
眼鏡型装置100は撮像部を備え、装着した利用者300の前方視界にある被写体像を撮影することができ、取得した映像に応じて利用者300に与える電気刺激の強度を算出し、その情報を無線で埋め込み装置200に送信する。これを受信した埋め込み装置200は実際に電気刺激を発生し、利用者200の網膜に刺激を与えることで利用者に人工的な視覚を再生させる。
眼鏡型装置100は撮像部101、画像処理部102、刺激強度算出部103、送信部104、刺激・認知応答マップ記憶部105、刺激補正部106、バイタルデータ取得部107および制御部108からなる。
撮像部101は、光学系・撮像素子を備え、光学系を通して入射した被写体像を撮影し光電変換する。画像処理部102は撮像部101が取得した映像データに対して適切な画像処理を施す。また、画像の画素数は電極の数よりも多いため、電極数に合わせて画素数を変換する処理も行う。刺激強度算出部103は画像処理部102から受け取った映像信号から利用者300に与える電気刺激の強度を算出する。送信部104は、刺激強度算出部103が算出した電気刺激の強度を無線で埋め込み装置200に送信する。
刺激・認知応答マップ記憶部105は利用者300が感じる視覚刺激の強度(認知応答)と実際の刺激強度との対応関係をマップ情報として記憶する。刺激補正部106は後述するバイタルデータ取得部107からの入力に応じて刺激生成部103が生成する刺激強度に対する補正値を生成する。バイタルデータ取得部107は利用者300のバイタルデータを取得するものであり、バイタルデータの種類に応じて利用者300の各部に接続される。制御部108は撮像部101〜バイタルデータ取得部に接続されており、各部の動作を制御する。
埋め込み装置200は受信部201、刺激発生部202、網膜刺激電極203および制御部204からなる。受信部201は眼鏡型装置100から電気刺激の強度の情報を無線で受信する。刺激発生部202は受信部201が受信した刺激強度情報をもとに電気刺激を生成する。網膜刺激電極203は利用者の網膜に対して装着される複数の電極の配列であり、個々の電極が網膜に対する刺激単位すなわち視覚における画素単位に相当する。
利用者300はこの電極数に応じた解像度の視覚を得ることができるが、数百万ある光受容体全てに対して外科的に電極を装着することは不可能であり、現時点で人工視覚によって得られる映像の解像度は人間本来の眼のそれには及ばない。制御部204は受信部201及び刺激発生部202を制御するものである。
(撮像から網膜刺激までの流れ)
人工視覚装置利用時の全体の処理の流れについて、説明する。
まず、眼鏡型装置100の処理について図6を用いて説明する。
各部の処理は、制御部108によって制御される。撮像部101によって被写体像をデジタルデータとして取得し(図6S601)、画像処理部102によって画像処理が行われ、電極毎の画素値に変換される(図6S602)。さらに、刺激強度算出部103によって画素値から電気刺激強度の算出が行われ(図6S603)、送信部104によって電気刺激強度の情報が無線で埋め込み装置200に送信される(図6S604)。以上の処理を一定時間毎に繰り返すことで被写体像を処理し続ける。
一方、埋め込み装置200では図7のような処理が行われる。なお各部の処理は制御部204によって制御される。まず受信部201は眼鏡型装置100からの電刺激強度情報を無線で受信し(図7S701)、この情報に基づいて刺激発生部202が網膜刺激電極の電極ごとの電気刺激を生成して網膜に刺激として与える(図7S702)。
以上の処理を一定時間毎に繰り返すことで被写体像を電気刺激として利用者300に与え続け、人工的な視覚を生じさせる。
(刺激強度算出部の処理の詳細)
刺激強度算出部103の処理の流れについて、図8を用いて説明する。
まず、画像処理部102から電極ごとの輝度の情報たる画素値を受信し(図8S801)、画素値から電気刺激の強度を算出する(図8S802)。刺激強度算出部103が受け取る画素値は、画素値0(最も暗い)から最大値(最も明るい)までの画素値を取る。利用者は電気刺激を通じてこの画素値に応じた輝度を認知することが期待されるが、一般に電気刺激の強度と利用者が認知する輝度の程度との関係は単純な比例関係で表すことができない。したがって、画素値に比例した電気刺激を与えるだけでは期待した輝度の視覚を認知させることができない。
そこで、刺激強度算出部103は刺激・認知応答マップ記憶部105の情報を参照して、画素値から適切な電気刺激強度を算出する。刺激・認知応答マップ記憶部105は利用者200が感じる視覚刺激の強度(認知応答)と実際の刺激強度との対応関係をマップ情報として記憶している。マップの例を図4に示す。横軸は電気刺激の強度を、縦軸は利用者が感じる明るさを主観的に等級付けした値を表している。このマップ情報は個人差があるため、特表2008−529684号公報に開示されている方法などによって事前に取得される。
さらに、刺激強度算出部103は電気刺激の強度の算出において、利用者300の体調を考慮に入れた補正を行う(図8S803)。この補正値は、刺激補正部106によって算出される。処理の流れを、図9に示す。まず、バイタルデータ取得部107によって利用者300の体調を示すバイタルデータを取得する(図9S901)。バイタルデータ取得部107は利用者300の身体に接続されている。次に、刺激補正部106によって、バイタルデータから電気刺激の補正値を生成する(図9S902)。
バイタルデータ取得部107の例を、図2に示す。この例では、先端に電極を備えていて、利用者300の脈拍を取得することができる。その他、血圧・体温・脳波などを取得してもよい。
図5に、バイタルデータとしての脈拍数と電気刺激強度の補正値(ゲイン)の関係の例を示す。この例では、脈拍数が多いほど利用者300の活動度が高く、刺激強度を強くするのが望ましいとして電気刺激の強度を上げている。上記のようにすることで、体調に応じた適切な刺激強度を与えるような人工視覚装置を提供することが可能となる。
また、別の例として、以下のような構成も可能である。バイタルデータ取得部107は利用者300の脳波を取得し、刺激補正部106は脳波から睡眠状態を判定する。睡眠中であると判定された場合は、電子刺激の補正ゲインを0に指定する。これによって、利用者300の視覚として真っ暗の映像が入力される。上記のようにすることで、睡眠中に電気刺激によって周りが見えてしまって睡眠を妨げることを防ぐことができる。
上述したように、本実施形態によれば、体調の変化に応じてその都度調整することなく、適切な刺激強度を発生する人工視覚装置を提供することができる。
100 人工視覚装置(眼鏡型装置)、101 撮像部、102 画像処理部、
103 刺激強度算出部、104 送信部、105 刺激・認知応答マップ記憶部、
106 刺激補正部、107 バイタルデータ取得部、108 制御部、
200 人工視覚装置(埋め込み装置)、201 受信部、202 刺激発生部、
203 網膜刺激電極、204 制御部、300 利用者、301 網膜、
302 視神経〜脳、303 身体各部

Claims (4)

  1. 映像を撮影する撮像手段を有し、前記撮像手段が撮影した映像を使用者に視覚刺激として伝達する人工視覚装置において、
    使用者のバイタルデータを取得するバイタルデータ取得手段と、
    使用者に伝達する視覚刺激の強度を調整する視覚刺激強度調節部と、
    を備え、
    前記視覚刺激強度調節部は、前記バイタルデータの値に応じて、使用者に伝達する視覚刺激の強度を変えることを特徴とする人工視覚装置。
  2. 前記バイタルデータは、少なくとも使用者の脈拍数、血圧、体温、脳波のいずれかを含むことを特徴とする請求項1に記載の人工視覚装置。
  3. 前記視覚刺激強度調節部は、前記バイタルデータから使用者の活動度または覚醒度を判定し、それらの数値が高いほど視覚刺激の強度を上げることを特徴とする請求項1又は請求項2に記載の人工視覚装置。
  4. 前記バイタルデータは脳波であり、
    前記視覚刺激強度調節部は、前記バイタルデータたる脳波から睡眠中か否かを判定し、
    睡眠中と判定した場合は使用者に入力する視覚刺激強度をゼロにすることを特徴とする請求項2に記載の人工視覚装置。
JP2017113867A 2017-06-09 2017-06-09 人工視覚装置 Pending JP2018202054A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017113867A JP2018202054A (ja) 2017-06-09 2017-06-09 人工視覚装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017113867A JP2018202054A (ja) 2017-06-09 2017-06-09 人工視覚装置

Publications (1)

Publication Number Publication Date
JP2018202054A true JP2018202054A (ja) 2018-12-27

Family

ID=64955917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017113867A Pending JP2018202054A (ja) 2017-06-09 2017-06-09 人工視覚装置

Country Status (1)

Country Link
JP (1) JP2018202054A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056223A (ko) * 2019-11-08 2021-05-18 한국전자통신연구원 감각 대체 조정 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056223A (ko) * 2019-11-08 2021-05-18 한국전자통신연구원 감각 대체 조정 장치 및 방법
KR102584431B1 (ko) 2019-11-08 2023-10-05 한국전자통신연구원 감각 대체 조정 장치

Similar Documents

Publication Publication Date Title
CN111202663B (zh) 一种基于vr技术的视觉训练学习系统
JP4204066B2 (ja) 人工視覚システム
US20140228954A1 (en) Vestibular Implant Parameter Fitting
US11844729B2 (en) Comprehensive intraocular vision advancement
CN116367768A (zh) 听筒或与听筒相关的改进
Palanker et al. Restoring sight with retinal prostheses
CN207654139U (zh) 检测、抑制单眼弃用的终端
US11684517B2 (en) Medical device for improving environmental perception for blind or visually-impaired users
JP2018202054A (ja) 人工視覚装置
US11298266B2 (en) Depth filter for visual prostheses
CN114948336B (zh) 基于增强现实的人造视网膜系统
CN110913810B (zh) 一种人工假眼图像采集和处理的方法
KR20190104153A (ko) 비동기식 촉각 자극을 이용한 감각 대체 시스템
EP3409319B1 (en) System for neural hearing stimulation integrated with a pair of glasses
CN111182863B (zh) 一种用于人工假眼图像采集与处理的系统
US20220168571A1 (en) Systems and Methods for Artificial Sight Prosthetics
Tadeusiewicz et al. From cochlear implants to brain-computer interfaces
US20190269915A1 (en) Artificial eye and visual aid device
WO2021052725A1 (de) Monitorsystem für ein menschliches oder tierisches auge und betriebsverfahren dafür
WO2023126756A1 (en) User-preferred adaptive noise reduction
JP2018068866A (ja) 人工眼、及び視覚補助装置
KR20020084924A (ko) 실명자용 인공시각시스템
Sauvan Early integration of retinal and extra-retinal information: recent results and hypotheses
JP2018029857A (ja) 視線検出装置、および、視覚再生補助装置
JP2008086434A (ja) 視覚再生補助装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191125