JP2021502130A - デジタル治療用矯正眼鏡 - Google Patents

デジタル治療用矯正眼鏡 Download PDF

Info

Publication number
JP2021502130A
JP2021502130A JP2020513863A JP2020513863A JP2021502130A JP 2021502130 A JP2021502130 A JP 2021502130A JP 2020513863 A JP2020513863 A JP 2020513863A JP 2020513863 A JP2020513863 A JP 2020513863A JP 2021502130 A JP2021502130 A JP 2021502130A
Authority
JP
Japan
Prior art keywords
image
visual
subject
field
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020513863A
Other languages
English (en)
Inventor
ショウシュ, ムハンマド アブー
ショウシュ, ムハンマド アブー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Miami
Original Assignee
University of Miami
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Miami filed Critical University of Miami
Publication of JP2021502130A publication Critical patent/JP2021502130A/ja
Priority to JP2023005907A priority Critical patent/JP2023071644A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032Devices for presenting test symbols or characters, e.g. test chart projectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091Fixation targets for viewing direction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Image Analysis (AREA)
  • Eyeglasses (AREA)

Abstract

患者の視覚に影響を及ぼす眼疾患を検査、特定および補償するための装置を、個々人に合わせてカスタマイズした視野補正/増強を実現するデジタル治療用矯正眼鏡として提供する。当該装置は、1または複数のデジタルモニタを備えるウェアラブル眼鏡を含む。デジタルモニタは、デジタル化された修正画像として視野全体を再生成するために用いられるか、または、被験者の視野を補正または増強するべく、生成された画像を見えているシーンに重ねるために用いられ得るカスタム現実眼鏡を含む。

Description

関連出願への相互参照
本出願は、2017年9月27日に出願された米国特許仮出願第62/563,770号(発明の名称:Digital Therapeutic Corrective Spectacles(デジタル治療用矯正眼鏡))の優先権を主張し、この米国特許仮出願の全内容が引用により本明細書に組み入れられる。
本開示は、ユーザの視野に関する視力障害、視覚収差および視覚アライメント異常を補償するための技術に関し、特に、これらの視力障害を矯正するウェアラブルデバイスおよびユーザに対して矯正方法を提供することに関する。
本明細書に記載の背景技術の説明は、本開示が成された背景の概略を提示することを目的とするものである。本願で名前が挙げられている発明者による研究は、この背景技術のセクションで説明されている限りにおいて、出願時に先行技術として認められないであろうここでの説明のさまざまな態様と同様に、明示的にも黙示的にも本開示に対する先行技術として認められるものではない。
視神経疾患および/または網膜疾患等の眼疾患患者(例えば、緑内障患者)は、程度はさまざまであるが視野の視覚感度が局所的に低下している。つまり、視野のある領域においては、他の領域よりも像がぼやけて見える。このように視野内でぼやけてしまうのは、病変領域では非病変領域に比べて目を刺激するために必要な光の強度が高いためであり、眼疾患によるものである。このようにぼやけていることを患者は、視野の一部分に雲がかかっていると言ったり、かすんでいると説明する。疾患が進行すると、視野のうち病変領域は、視力が失われる一方であり、最終的には完全に失明してしまうこともある。
患者の視野感度を検査するべく視野診断装置が用いられている。最初は弱い光を当てて、患者が見えると示唆しない場合には、光が見えると患者が示唆するまで、強度を徐々に上げていく。このときの照射領域の感度を記録する。最大照射強度でも光が見えない患者の場合は、視野の対象領域が失明していると特定する。
屈折異常は視力に悪影響を及ぼす。屈折異常は、目の屈折要素における異常が原因である。屈折異常の場合も見え方がぼやけるが、眼鏡およびコンタクトレンズである程度は矯正可能である。このため、視力が良い人もいれば悪い人もおり、Quality of Vision(QOV、視覚の質)が良い人もいればそうでない人もいる。ガラス製の眼鏡およびコンタクトレンズは、入手できるのは一定の増加幅でのみとなり、矯正するのは、例えば、正乱視など通常の屈折異常のみである。このような通常の屈折異常は、低次収差と呼ばれる。高次収差は、眼鏡またはコンタクトレンズでは矯正できない屈折異常である。また、高次収差は動的であり一定ではない。瞳孔の大きさ、目の遠近調節状態および注視方向に応じて変化する。
現在の老眼治療方法には、単焦点、二焦点および多焦点の読書用メガネ、ならびに、多焦点のコンタクトレンズがある。多焦点または二焦点の眼鏡の場合、患者は眼鏡のうち特定の領域を通して見ることで必要な矯正を得る。多焦点コンタクトレンズの場合、光を回折させて複数の焦点に到達させることで、焦点深度を改善するが、QOVの低下という犠牲を払わなければならない。これらの技術はいずれも、利便性がそれほど高くなく、近見視が制限されてしまう。
複視は、患者の視線がずれることが原因である。複視は、動的であって静的ではない。つまり、1または複数の方向で増減する。このため、患者の右目の外向きの移動に制限があるとすると、右を見ると複視は増加し、左を見ると減少する。
不同視(被験者の両目の屈折度が異なる)は珍しい疾患ではなく、眼の手術または外傷の後では特にそうである。不同視は、Medicareによれば、白内障手術の指標の1つである。矯正用眼鏡では不同視を矯正することができない。これは、矯正用眼鏡は、各目につき1つ、大きさが均一でない2つの画像(不等像視)を形成し、脳がこれら2つの画像を両眼単視のために融合させることができないためである。この問題の原因は単純で、眼鏡のレンズは、凸型で画像を拡大するか、凹型で画像を縮小するか、どちらかであるためである。拡大または縮小の程度は、矯正量に応じて変わる。
眼鏡のレンズは、凸型で画像を拡大するか、凹型で画像を縮小するか、どちらかである。これは、被験者の視野に影響を与える。眼鏡は、患者の屈折異常を矯正するが、同時に見ている画像を歪ませてしまう。
瞳孔不同の被験者は瞳孔の大きさが不均一であるが、これは先天性、眼疾患に由来するもの、または、手術もしくは外傷の後で発生する場合がある。瞳孔不同の患者は、片目が光に過敏であり、こちらの目は、問題ない方の目が許容できる光の明るさを許容できない。
上述した視覚障害を補償することができる光学装置が必要とされている。
実施形態例によると、本発明に係る技術は、患者の視力に影響を与える1または複数の眼疾患を検査、特定および/または補償する装置を提供する。このような眼疾患には、例えば、緑内障、視神経炎および視神経症等の視神経の疾患、黄斑変性、網膜色素変性等の網膜の疾患、毛細血管の障害および腫瘍等の視経路の疾患、ならびに、老視、斜視、高次収差および低次収差、単眼視、不同視および不等像視、光過敏、瞳孔不同、屈折異常および乱視等のその他の症状が含まれる。一部の実施形態例によると、本発明に係る技術は、被験者に対して視野を改善する、例えば、水平画角、垂直画角および/もしくは対角画角、1または複数の領域に与えられる光、1または複数の領域における物体の大きさ、ならびに/または、1または複数の領域における物体の位置について変更を行う装置を提供する。
実施形態例によると、本明細書に説明するシステムおよび装置は、視覚障害を検査、特定、補償し、および/または、被験者の視力または視野を改善するよう構成されているウェアラブル眼鏡装置を含むとしてよい。一部のこのような実施形態は、利用者である被験者に対して視覚矯正を個々人に合わせてカスタマイズするよう構成されているとしてよい。一例を挙げると、眼鏡装置は、デジタル治療用矯正眼鏡(本明細書では「DTS」とも呼ぶ)を含む。眼鏡装置は、一例として、メガネ、サングラスおよびアイウェアも含むとしてよい。
一態様において、視覚システムは、ウェアラブル眼鏡装置を備えるとしてよい。当該システムはさらに、プロセッサおよびメモリを有する画像処理装置を備えるとしてよい。画像処理装置は、メモリに命令が格納されているとしてよく、当該命令は、実行されると、プロセッサに検査モードおよび/または視覚モードを実行させる。
一例を挙げると、当該システムはさらに、被験者の瞳孔の物理的状態および/または視線を追跡するよう構成されている瞳孔追跡センサを備えるとしてよい。別の例を挙げると、瞳孔追跡センサは1または複数の内向き画像センサを含む。上記または別の例において、当該システムは、視覚モードにおいて視野を取得するよう構成されている視野センサを備えるとしてよい。
上記または別の例のいずれにおいても、上記の命令は、プロセッサにおいて実行されると、プロセッサに以下の動作を実行させるとしてよい。検査モードにおいて、(i)検査視野における1または複数の検査位置において複数の検査刺激をウェアラブル眼鏡装置によって被験者に対して表示するよう指示し、(ii)1または複数の検査位置における複数の検査刺激の表示中に瞳孔の物理的状態および/または視線の位置指標を取得するよう内向き画像センサに指示し、(iii)検査視野における1または複数の病変領域を決定し、被験者の1または複数の視覚疾患を決定する。複数の刺激は、互いにコントラストレベルが異なり、そして、基準コントラストレベルとも異なる。
上記または別の例のいずれにおいても、命令は、プロセッサにおいて実行されると、プロセッサに以下の動作を実行させるとしてよい。視覚モードにおいて、視野の画像を修正して視野を改善するか、および/または、1または複数の病変領域を補償する。そして、ウェアラブル眼鏡装置を用いて被験者に対して修正後の画像をウェアラブル眼鏡装置によって表示するよう指示する。
上記または別の例のいずれにおいても、画像処理装置は命令を格納しており、命令は、実行されると、プロセッサに以下の動作を実行させる。視覚モードにおいて、視野の画像を撮像するよう視野カメラに命令し、検査視野における決定された1または複数の病変領域に応じて画像を処理し、画像を修正して1または複数の病変領域を補償し、修正した画像を被験者に対してデジタル画像としてウェアラブル眼鏡装置によって表示するよう指示する。
上記または別の例のいずれにおいても、デジタル眼鏡はさらに、検査モードにおいて、被験者のそれぞれの目に対して複数の刺激のうち1つを表示するようそれぞれが構成されている第1のデジタルモニタおよび第2のデジタルモニタを備えるとしてよい。上記または別の例のいずれにおいても、視野カメラは、第1の視野カメラおよび第2の視野カメラを有しており、第1の視野カメラは第1のデジタルモニタに対応し、第2の視野カメラは第2のデジタルモニタに対応する。上記または別の例のいずれにおいても、瞳孔の物理的状態は、(i)1または複数の瞳孔の瞳孔の動き、(ii)角膜輪部、(iii)視線および/または(iv)被験者の視軸のうち1または複数から選択される。上記または別の例のいずれにおいても、視野カメラは、ウェアラブル眼鏡の外面から内向きに延在する少なくとも1つの視野カメラを有する。上記または別の例のいずれにおいても、視野カメラは、ウェアラブル眼鏡の外面から外向きに延在する少なくとも1つの視野カメラを有する。上記または別の例のいずれにおいても、視覚モードにおいて、視野カメラは視野の複数の連続画像を撮像する。
上記または別の例のいずれにおいても、複数の検査刺激は、文字列(text)または物体の少なくとも1つの検査画像を含む。上記または別の例のいずれにおいても、1または複数の病変領域は、視覚感度が低下している領域、または、高次光学収差もしくは低次光学収差の領域を含む。上記または別の例のいずれにおいても、1または複数の病変領域は、明るさが低下している領域を含む。上記または別の例のいずれにおいても、複数の刺激は、互いに対して、さらに、基準コントラストレベルに対して、コントラストレベルが少なくとも20dB異なる。上記または別の例のいずれにおいても、複数の刺激は、互いに対して、さらに、基準コントラストレベルに対して、コントラストレベルが少なくとも30dB異なる。上記または別の例のいずれにおいても、画像処理装置は命令を格納しており、命令は、実行されると、プロセッサに以下の動作を実行させる。検査モードにおいて、コントラストを下げつつ、または、上げつつ、複数の検査刺激を被験者に対してウェアラブル眼鏡装置によって表示するよう指示する。
別の態様によると、視覚システムは、ウェアラブル眼鏡装置と、少なくとも1つのデジタルモニタと、少なくとも1つの視野カメラと、画像処理装置とを備える。
一部の例を挙げると、少なくとも1つのデジタルモニタは、被験者の目に対して画像を表示するよう構成されている。一例によると、少なくとも1つの視野カメラは、一のシーンについて複数の単眼画像を撮像するよう構成されているとしてよい。単眼画像はそれぞれ、他の単眼画像とはずれている。一例によると、画像処理装置は、プロセッサおよびメモリを有するとしてよく、少なくとも1つのデジタルモニタに結合されているとしてよい。画像処理装置はメモリに命令を格納しているとしてよく、命令は、実行されると、プロセッサに以下の処理を実行させる。複数の単眼画像を組み合わせて、複数の単眼画像のうちいずれの単眼画像の視野よりも大きい視野を持つ一の合成画像を作成する。上記または別の実施形態のいずれにおいても、命令によってプロセッサは、一のシーンについて広くなった視野を被験者に提示するべく、合成画像を少なくとも1つのデジタルモニタに表示するとしてよい。
上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。複数の単眼画像のうち少なくとも1つの単眼画像に対して、他の複数の単眼画像と相対的に、選択的視野シフトを実行することで、複数の単眼画像を組み合わせて合成画像を作成し、合成画像についてより幅広の周辺領域を生成する。上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。複数の単眼画像のうち少なくとも1つの単眼画像に対して、他の複数の単眼画像と相対的に、周辺選択的視野操作を実行することで、複数の単眼画像を組み合わせて合成画像を作成する。
上記または別の例のいずれにおいても、周辺選択的視野操作は、複数の単眼画像の周辺領域または中央黄斑領域に対して縮小または拡大を実行することを含む。上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。複数の単眼画像のうち少なくとも1つにおいて欠損視野領域を特定し、欠損視野領域を撮像し、撮像した欠損視野領域を非欠損視野領域に移動させ、被験者に対して表示するべく、撮像し移動させた欠損視野領域を含むよう合成画像を形成することによって、複数の単眼画像を組み合わせて一の合成画像を作成する。
上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。複数の単眼画像のそれぞれについて共通中央領域を特定し、複数の単眼画像の異なる周辺領域を特定することで、複数の単眼画像を組み合わせて一の合成画像を作成し、共通中央領域に対応する第1の領域、および、異なる周辺領域を組み合わせて、第1の領域の周囲を取り囲む一のより幅広の周辺領域を形成することで形成された第2の領域を含むよう合成画像を形成する。上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。第2の領域が被験者の目の視野欠損および収差を補正するよう合成画像を形成する。上記または別の例のいずれにおいても、少なくとも1つのデジタルモニタは、それぞれ被験者の対応する目に合成画像を表示するよう構成されている第1のデジタルモニタおよび第2のデジタルモニタを含む。
上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。以下の式にしたがって、複数の単眼画像の第1の領域に対して魚眼変換を実行して、複数の単眼画像の径方向成分を修正する。
new=r+αr3
αは定数である。
上記または別の例のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させる。以下の式にしたがって、複数の単眼画像に対して等角写像変換を実行して、径方向成分を変更する。
new=rβ
βは、径方向成分に対する定数の指数であり、β>1である。
上記または別の実施形態のいずれにおいても、画像処理装置はメモリに命令を格納しており、命令は、実行されると、プロセッサに以下の処理を実行させるとしてよい。多項式変換を実行して、複数の単眼画像の中心の周囲を取り囲む幅広の環状部から、狭小な環状部へと点をマッピングして、合成画像を形成する。
さらに別の態様によると、装置は、ハウジングを有するウェアラブル眼鏡を備えるとしてよい。ウェアラブル眼鏡は、パターニングされた画像を被験者の網膜に投影するよう構成されている制御可能なプロジェクタを有するとしてよい。当該装置はさらに、プロセッサ、メモリおよび入力装置を有する画像処理装置を備えるとしてよい。画像処理装置は、制御可能なプロジェクタに結合されているとしてよい。
一部の例において、画像処理装置は以下の処理を行うよう構成されている。(A)被験者の網膜で感知するパターニング画像を示す視覚スコア信号を入力装置で受信し、
(B)視覚スコア信号を分析し、視覚スコア信号に基づいて網膜で感じている歪みの有無を判定し、歪みが存在している場合、視覚スコア信号に基づいてパターニング画像に対するパターン調整を決定し、
(C)パターン調整に基づいてパターニング画像を調整して、修正パターニング画像を形成して、修正パターニング画像を網膜に投影し、(A)を再度行う。
上記または別の例のいずれにおいても、修正用結像要素は、見えているシーンの中央画像領域と相対的な周辺要素の調整後の強度であるか、または、見えているシーンの周辺画像領域と相対的な中央要素の調整後の強度である。上記または別の例のいずれにおいても、画像処理装置は、被験者の目の動きの検知結果に応じて、修正用結像要素の位置および/または構成を調整するよう構成されている。上記または別の例のいずれにおいても、画像処理装置は、被験者の片目または両目の1または複数の病変領域を特定し、その1または複数の病変領域を補償する修正用結像要素を決定するよう構成されている。
さらに別の態様によると、装置はウェアラブル眼鏡装置を備えるとしてよく、当該ウェアラブル眼鏡装置は、見えているシーンの画像を被験者にまで透過させる少なくとも1つの光学素子を有するとしてよい。ウェアラブル眼鏡装置はさらに、少なくとも1つの光学素子に対応する少なくとも1つのデジタルモニタを有するとしてよい。少なくとも1つのデジタルモニタは、少なくとも1つの光学素子の見えているシーンの画像に修正用結像要素を重ねるよう構成されている。当該装置はさらに、プロセッサおよびメモリを有する画像処理装置を備えるとしてよい。画像処理装置は、少なくとも1つのデジタルモニタに結合されているとしてよい。
一例において、画像処理装置は、周辺視野欠損を補正するべく見えているシーンの画像の周辺要素として修正用結像要素を生成するよう、または、中央視野欠損を補正するべく見えているシーンの画像の中央要素として修正用結像要素を生成するよう構成されている。
上記または別の例のいずれにおいても、画像処理装置は、被験者に対して、見えているシーンに重ねて修正用結像要素を表示するよう構成されているとしてよい。
上記または別の例のいずれにおいても、修正用結像要素は、見えているシーンの中央画像領域と相対的な周辺要素の調整後の強度であるか、または、見えているシーンの周辺画像領域と相対的な中央要素の調整後の強度である。上記または別の例のいずれにおいても、画像処理装置は、被験者の目の動きの検知結果に応じて、修正用結像要素の位置および/または構成を調整するよう構成されている。上記または別の例のいずれにおいても、画像処理装置は、被験者の片目または両目の1または複数の病変領域を特定し、1または複数の病変領域を補償する修正用結像要素を決定するよう構成されている。
上記または別の例のいずれにおいても、画像処理装置は、検査モードにおいて、(i)検査視野における1または複数の検査位置において複数の検査刺激を被験者に対して表示するよう少なくとも1つのデジタルモニタに指示し、(ii)1または複数の検査位置において複数の検査刺激を表示している間に瞳孔の物理的状態および/または視線の位置指標を取得するよう装置の画像センサに指示し、(iii)検査視野における1または複数の病変領域を決定し、被験者の1または複数の視覚疾患を決定するよう構成されている。上記または別の例のいずれにおいても、複数の刺激は、互いにコントラストレベルが異なり、基準コントラストレベルと異なる。
上記または別の例のいずれにおいても、少なくとも1つのデジタルモニタは、少なくとも1つの光学素子の層に収容されている。上記または別の例のいずれにおいても、当該層は、少なくとも1つの光学素子の内側層または外側層である。
以下で説明する各図は、本明細書で開示されるシステムおよび方法のさまざまな態様を示している。各図は本システムおよび方法の態様の一例を図示していると理解されたい。
本明細書で説明するさまざまな実施形態に係る眼鏡装置の例を示す図である。 本明細書で説明するさまざまな実施形態に係る眼鏡装置の例を示す図である。 本明細書で説明するさまざまな実施形態に係る眼鏡装置の例を示す図である。
本明細書で説明するさまざまな実施形態に係る視覚システムの例を概略的に示す図である。
本明細書で説明するさまざまな実施形態に係るウェアラブル眼鏡装置および画像処理装置で実装される視力矯正フレームワークの装置を概略的に示す図である。
本明細書で説明するさまざまな実施形態に係る検査モードおよび視覚モードを含むプロセスの例を示す図である。
本明細書で説明するさまざまな実施形態に係る検査モードおよび視覚モードを含むプロセスの例を示す図である。
本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。 本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。 本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。 本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。 本明細書で説明するさまざまな実施形態に係る、瞳孔追跡を含む検査モードプロセスについての評価プロトコルの例を示す図である。
本明細書で説明するさまざまな実施形態に係るウェアラブル眼鏡装置によってユーザに複数の視覚刺激を生成して提示する検査モジュールを含むワークフローを概略的に示す図である。
本明細書で説明するさまざまな実施形態に係る検査モードプロセスを示す図である。
本明細書で説明するさまざまな実施形態に係る検査モードの一部として実装され得る人工知能補正アルゴリズムモードのプロセスを示す図である。
本明細書で説明するさまざまな実施形態に係る検査画像を示す図である。
本明細書で説明するさまざまな実施形態に係る、被験者に提示する検査画像に欠損視野を重ねることを含む、シミュレーション視力画像を生成する様子を示す図である。
本明細書で説明するさまざまな実施形態に係る、被験者に提示され、画像に適用されるさまざまな修正変換の例を示す図である。
本明細書で説明するさまざまな実施形態に係る平行移動(translation)方法の例を示す図である。
本明細書で説明するさまざまな実施形態に係る機械学習フレームワークの例を概略的に示す図である。
本明細書で説明するさまざまな実施形態に係る機械学習フレームワークのAIシステムのプロセスを示す図である。
本明細書で説明するさまざまな実施形態に係る検査画像の変換例を示す図である。
本明細書で説明するさまざまな実施形態に係る検査画像の平行移動例を示す図である。
本明細書で説明するさまざまな実施形態に係るAIシステムのさまざまな実装態様を示すグラフィカルユーザインターフェースである。
本明細書で説明するさまざまな実施形態に係るフィードフォワードニューラルネットワークを含むAIシステムのフレームワークを概略的に示す図である。
本明細書で説明するさまざまな実施形態に係る、AIニューラルネットワークを含むAIシステムの検査モードプロセスの例を示す図である。 本明細書で説明するさまざまな実施形態に係る、AIアルゴリズム最適化プロセスを含むAIシステムの検査モードプロセスの例を示す図である。
本明細書で説明するさまざまな実施形態に係る検査モードおよび視覚モードを実装するプロセスの例を示す図である。
本明細書で説明するさまざまな実施形態に係る、一部を介して外環境からの画像を通過させる、具体的には、観視者の周辺視野は通過させ中央領域はブロックするカスタム現実ウェアラブル眼鏡を備えるウェアラブル眼鏡装置を示す図である。
本明細書で説明するさまざまな実施形態に係る、一部を介して外環境からの画像を通過させる、具体的には、観視者の中央領域は通過させ周辺視野領域はブロックするカスタム現実ウェアラブル眼鏡を備えるウェアラブル眼鏡装置を示す図である。
被験者の正常な両眼視を示す図であって、左目の単眼画像および右目の単眼画像を組み合わせて、黄斑中央領域および当該中央領域の周囲を取り囲む周辺視野領域を含む一の感知画像を生成する様子を示す図である。
周辺領域が被験者には見えない状態である視野狭窄を示す図である。
本明細書で説明するさまざまな実施形態に係る、視野狭窄を矯正するための、または、視力を改善するための画像シフト技術を示す図である。
本明細書で説明するさまざまな実施形態に係る、視野を拡大しつつ、視力を改善するか、または、中央視力を維持するための画像サイズ変更変換技術を説明するための図である。
本明細書で説明するさまざまな実施形態に係る、両眼視野拡大技術を示す図である。
本明細書で説明するさまざまな実施形態に係る、パターンを角膜表面に投影して、当該パターンを反射する角膜表面を撮像することを含む、ドライアイおよび角膜異常を評価するための技術を説明するための図である。
本明細書で説明するさまざまな実施形態に係るウェアラブル眼鏡によって、被験者に対して表示されている、または、被験者の角膜または網膜に対して投影されている格子パターンを含む基準画像の提示を概略的に示す図である。
本明細書で説明するさまざまな実施形態に係る、被験者が操作する格子パターンの例を示す図である。
本明細書で説明するさまざまな実施形態に係る、図31Cに示した格子パターンの操作の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、被験者が感知すべきシーンを示す図である。
本明細書で説明するさまざまな実施形態に係る、格子パターン技術によって決定される視覚歪みを持つ被験者に提供される場合に図31Eに図示した視野を被験者が感知することになる、修正後の視野の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、視野内での歪みを被験者が伝えるための操作可能な格子パターンを含むディスプレイを示す図である。
本明細書で説明するさまざまな実施形態に係る、角膜表面に投影されるパターンを反射する角膜表面の画像を示す図である。
本明細書で説明するさまざまな実施形態に係る、正常パターン反射の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、異常パターン反射の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、所定位置における52個の刺激シーケンスを用いて中央の40度半径をカバーし、4段階のコントラストである刺激を含む検査モード用の高速しきい値化技術を示す図である。
本明細書で説明するさまざまな実施形態に係る、1つの刺激位置における検査シーケンスの5つの段階(a‐e)を示すタイミング図である。
本明細書で説明するさまざまな実施形態に係る、最大明視野の境界を定める画素の幅および高さの算出を説明するための図である。
本明細書で説明するさまざまな実施形態に係る、幅マップおよび高さマップを示す図である。
本明細書で説明するさまざまな実施形態に係る、視野の4つの主な象限を検査するために用いられる検査画像を示す図である。
本明細書で説明するさまざまな実施形態に係る、再マッピングの前の視野の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、再マッピングの後の視野の例を示す図である。
本明細書で説明するさまざまな実施形態に係る、カスタム現実眼鏡装置の例を示す図である。 本明細書で説明するさまざまな実施形態に係る、カスタム現実眼鏡装置の例を示す図である。 本明細書で説明するさまざまな実施形態に係る、カスタム現実眼鏡装置の例を示す図である。
本願は、患者の視野に影響を及ぼす眼疾患を検査、特定および補償するための技術および装置を提供する。このような眼疾患には、例えば、緑内障、視神経炎および視神経症等の視神経の疾患、黄斑変性、網膜色素変性等の網膜の疾患、毛細血管の障害および腫瘍等の視経路の疾患、ならびに、老視、斜視、高次収差および低次収差、単眼視、不同視および不等像視、光過敏、瞳孔不同、屈折異常および乱視等のその他の症状が含まれる。
本明細書に記載する技術は、視野の知覚または視力を検査、改善および/または矯正する視覚システム、眼鏡装置、ならびに、関連するシステムおよび装置を提供する。
視覚システムの1または複数の装置は、本明細書で説明するシステムのうち1または複数の内部において使用されるように構成されているとしてもよいし、または、別個に利用するように構成されているとしてもよい。例えば、さまざまな実施形態において、視覚システムは眼鏡装置を備える。本明細書で説明する装置は、1または複数の装置を有する1または複数のシステムを備えると考えられたい。このように、装置は1または複数の関連するシステムまたは装置を含むとしてよい。
視覚システムは、本明細書で説明する当該視覚システムの画像処理を実行するよう構成されている画像処理装置(画像プロセッサ、コンピューティングデバイス等とも呼ばれることがある)を備えるとしてよい。本明細書で説明するように、画像処理装置は、全体的または部分的に眼鏡装置と一体化されているとしてもよいし、または、完全または部分的に眼鏡装置の外部、例えば、離れた位置にあるとしてもよい。このような外部画像処理装置は、眼鏡装置と有線方式または無線方式で通信するよう構成されているとしてよい。
眼鏡装置の実施形態例には、ウェアラブル眼鏡装置が含まれる。眼鏡装置の一部の実施形態では、撮像、画像処理、通信、表示または本明細書で説明する他の機能のうち1または複数についてデジタル方式を採用するとしてよい。眼鏡装置のさまざまな実施形態は、それ単体で、または、他のシステムもしくは装置と組み合わせることで、個々人に合わせてカスタマイズした、視覚的に修正された視野を被験者に対して提供するよう構成されているとしてよい。例を幾つか挙げると、眼鏡装置は、デジタル治療用矯正眼鏡(本明細書では「DTS」とも呼ぶ)を有するとしてよい。眼鏡装置の例を1つ挙げると、治療のための矯正以外の目的で、個人が利用するウェアラブルデジタル眼鏡を備えるとしてよい。例えば、眼鏡装置は、例えば、視野の拡大縮小、水平画角、垂直画角および/もしくは対角画角の変更、1または複数の領域に与えられる光の変更、視野の1または複数の領域内の物体または領域のサイズの変更、ならびに/または、物体または領域の視野の別の領域への再配置によって、被験者の正常な視力、視野または視野の知覚を改善するよう構成されているとしてよい。本明細書で説明する眼鏡装置は、例をいくつか挙げると、音声起動、遠隔制御(例えば、携帯電話)または体の動き(例えば、まばたき、または、2回のはっきりしたまばたき)、によって起動するとしてよい。
視覚システムまたは眼鏡装置の実施形態は、1または複数のデジタルモニタを備えるとしてよい。視覚システムまたは眼鏡装置はさらに、1または複数の画像センサを備えるとしてよい。一部の実施形態において、画像センサは、被験者(ユーザ、着用者または患者とも呼ぶことがある)の観視環境を撮像するための1または複数の外向き画像センサを含むとしてよい。被験者の観視環境は、通常は被験者の両眼で得られる視野に対応するとしてよいが、一部の構成では他の起点から得られる視野であってよい。外向き画像センサは、例えば、1または複数の視野を全体的または部分的に撮像するよう配置されている1または複数のカメラを含むとしてよい。このような視野には、人間に対する一の視野の大部分を含むとしてよい。上記またはその他の実施形態において、1または複数の画像センサは、被験者についてさまざまな角度から撮像するための、例えば、被験者の瞳孔の物理的状態等を撮像するための、1または複数の内向き画像センサを含むとしてよい。例えば、眼鏡装置は、被験者の視線、角膜縁および瞳孔データ、被験者の角膜データ、網膜画像、角膜または網膜で反射されたパターンの画像を、撮像および追跡するカメラ(可視光カメラ、赤外線カメラ等)等の内向き画像センサを含むとしてよい。視線は、視軸としても知られているが、瞳孔、角膜縁(角膜と強膜との間の縁部)を追跡することによって、または、目の表面または目の内部の血管を追跡することによっても、得られるとしてよい。このため、画像センサは、角膜縁、血管および瞳孔を撮像するために用いられるとしてよい。
一部の視覚システムまたは眼鏡装置は、1または複数のディスプレイを備えるとしてよい。このようなディスプレイはデジタルモニタと呼ぶこともある。デジタルモニタは、スクリーン上に表示を生成するモニタを含むとしてよい。これには、ヘッドアップディスプレイを含むスクリーンへの投影が含まれるとしてよい。または、デジタルモニタは、被験者の片目または両目に表示を投影させるためのモニタを含むとしてよい。例えば、眼鏡装置は、被験者に対して画像を表示する1または複数のデジタルモニタを含むとしてよい。これらまたは他の視覚システムまたは眼鏡装置は、例えば、眼鏡等のスクリーンであるモニタに、または、網膜投影等で被験者の目に、画像を投影することで被験者に対して画像を表示するよう構成されているプロジェクタを含むとしてよい。一部の例において、当該装置は、小型外部ビューファインダーカメラを2つ有するヘッドセットを含む。ヘッドセットは、例えば、本明細書で説明するようなウェアラブル眼鏡装置を含むとしてよい。一部の例において、眼鏡装置は、視野を最適化してレンディションするべく、デジタル修正済み画像として、視野全体を再生成するよう構成されている眼鏡装置を含むとしてよい。一部の例において、視覚システムまたは眼鏡装置は、代替現実(AR)ヘッドセットまたは仮想現実(VR)ヘッドセットを含む眼鏡装置を含むとしてよい。これらまたは他の例において、上記のシステムおよび装置は、視野はユーザが見ているものであるが、この視野は修正後の画像を導入することで修正されている眼鏡装置を含むとしてよい。
一部の例において、視覚システムまたは眼鏡装置は、低次収差および/もしくは高次収差、ならびに/または、屈折異常を矯正するべく画像を処理および/または表示するよう構成されていることにより、被験者に対して個々人に合わせてカスタマイズした視覚を改善するとしてよい。一部の例において、眼鏡装置を含むシステムまたは装置は、多数の眼球異常を治療するよう構成されているとしてよい。眼球異常には、例えば、視野欠損、視力低下、視野のゆがみ、副次的影響および複視のうち1または複数に関連するさまざまな種類の診断可能な症状が含まれる。本明細書で説明するシステムまたは装置の処理によって矯正可能な眼球異常には、これらに限定されないが、老眼、斜視に起因する複視、緑内障、加齢に伴う黄斑変性、単眼視、不同視および不等像視、光過敏性、瞳孔不同、緑内障、視神経炎および視神経症等の視神経の疾患、黄斑変性、網膜色素変性等の網膜の疾患、毛細血管の障害および腫瘍等の視経路の疾患、ならびに、老視、斜視、高次収差および低次収差、屈折異常および乱視等の症状のうち1または複数が含まれるとしてよい。
実施形態例において、視覚システムまたは眼鏡装置は、デジタル再生成または視野の増強のいずれかによって、被験者に表示すべき画像の改善および/または修正を行うよう構成されているとしてよい。実施形態例において、眼鏡装置は、網膜投影によって網膜に投影することで、被験者の目にデジタル再生成画像または増強画像を投影するよう構成されている1または複数のプロジェクタを含むとしてよい。
実施形態例において、視覚システムまたは眼鏡装置は、被験者の視野を修正または改善するよう構成されているとしてよい。例えば、被験者の視角を補正するか、または、大きくするとしてよい。一部の例において、中央視領域および周辺視領域は、(例えば、被験者の目に投影または表示された画像のズームインまたはズームアウトによって)被験者の視角を改善する上で、または、被験者が知覚する細部を増やす上で、影響の受け方が異なる。
実施形態例において、視覚システムまたは眼鏡装置は、例えば、眼鏡装置によって、または、眼鏡装置とは別で実施される視野検査の結果から判断される患者の視野の局所的な明るさの変化を補償するよう構成されているとしてよい。眼鏡装置は、視野のうち正常感度領域に比べて低感度領域における明るさを高めることによって、補償するよう構成されているとしてよい。一部の例において、眼鏡装置または関連システムは、瞳孔軸および視軸を利用してこのような低感度領域を位置合わせおよび追跡するよう構成されている。本明細書に記載する眼鏡装置または関連システムは、被験者が均質画像を感知するよう、これらの低感度領域に補償技術を採用する。この補償技術は、低感度領域に関して被験者が持つ局所的な曇りを除去して、視覚を改善し、被験者の機能視野を大きくする。
実施形態例において、視覚システムまたは眼鏡装置は、例えば、被験者の視力または機能視野を特定および検査する検査モードを持つとしてよい。この実施形態または他の実施形態において、眼鏡装置は、例えば、視力または視野を、リアルタイムおよび/または被験者個人に合わせて、改善または修正する視覚モードを持つとしてよい。一部の実施形態において、眼鏡装置または関連システムは、検査モードおよび視覚モードの両方を持つ。この場合、被験者の視力の変化に応じた視覚モード処理の再プログラミングを合理化するために、フォローアップ用またはメンテナンス用の検査手順を利用するよう構成されているとしてよい。一部の実施形態において、眼鏡装置は、検査モード処理および/または視覚モード処理に関する更新を受信するよう構成されているプログラミングインターフェースを含むとしてよい。例えば、プログラミングインターフェースは、受信機または送受信機を含む有線または無線方式の通信ポートを含むとしてよい。一部の実施形態において、眼鏡装置は、視覚モード処理に組み込むべく、当該システムまたは別のシステムまたは装置の検査モードによって実行する検査結果を含む更新を受信するよう構成されているとしてよい。一部の実施形態において、更新は、例えば、通信ポートを介してプログラミングインターフェースと信号通信を行うユーザインターフェースを介して、被験者が提供するデータまたは命令を含むとしてよい。このようなデータまたは命令は、本明細書で説明するように、フィードバックモードを含む検査モードにおいて、または、同様にフィードバックモードを含む視覚モードの動作中に、タブレット、スマートフォン、コンピュータまたは周辺機器を含むユーザインターフェースとのやり取りによってユーザが提供するとしてよい。一部の実施形態は、眼鏡装置に取り付けられているユーザインターフェースを含むとしてよい。例としては、スイッチ、タッチセンサ、容量センサ、または、視覚モードが画像を処理して被験者に画像を提示する際に利用する視力または修正プロフィールに関するパラメータをユーザが提供または調整し得るその他のインターフェースが挙げられる。
実施形態例において、視覚システムまたは眼鏡装置は、1または複数の外向き画像センサ、例えば、カメラを備えるとしてよい。外向き画像センサは、被験者の視野を撮像して、画像処理後に、画像をモニタ、例えば、表示スクリーンまたは眼鏡に表示するよう、または、眼鏡装置を着用している被験者の目に画像を投影するよう配置されている。画像処理は、上述した症状を治療および/もしくは矯正するよう、または、視力もしくは機能視野を改善するよう、画像をカスタマイズすることを含むとしてよい。上述したように、眼鏡装置は、1または複数の内向き画像センサを備えるか、または、対応付けられているとしてよい。内向き画像センサは、例えば、カメラであり、上述した矯正または改善を位置合わせおよび/または調整することを目的として、被験者の目、視線、瞳孔の大きさ、および/または、角膜縁の位置を観察する。
実施形態例において、視覚システムまたは眼鏡装置は、低次視覚収差および/または高次視覚収差を動的に矯正するよう構成されているとしてよい。この技術では、瞳孔の大きさ、調節状態および視線の変化を検出して、その結果に応じて視覚収差矯正プロフィールを変更するとしてよい。高次収差および/または低次収差は、瞳孔の大きさ、調節状態および注視方向に関連して収差計を用いて得られるとしてよく、これによって眼鏡装置は上記のような動的な矯正プロフィールを生成することが可能となる。本明細書で説明する技術を利用して被験者に投影される画像は、被験者の実際の収差に応じて逆にゆがめられる可能性があるので、被験者自身の収差が再度反転して最良の視力が得られる。一部の実施形態では、瞳孔近見反射の兆候、つまり、縮瞳(瞳孔が小さくなる)および調節性輻輳(瞳孔が内向きに寄ること)を検出することによって調節状態を検出するための技術を実行するとしてよい。例えば、眼鏡装置は、瞳孔の大きさを検出するための瞳、および/または、注視方向を検出するための視線追跡装置を備えるとしてよい。これらの入力部によって、上記技術によって、表示すべき矯正プロフィールを検出することができるようになる。
実施形態例において、本発明に係る技術を実装することで、1または複数のモニタを介して表示される画像を自動的にオートフォーカスさせて近視視力を付与する、視力矯正を行うとしてよい。近視視力をさらに増強および改善するべく、内向き画像センサ、例えば、カメラが、瞳孔近見反射、縮瞳(瞳孔が小さくなる)および調節性輻輳(目が内側に移動)の兆候を検出することによって、被験者が近くの対象物を見ようとしているか否かを検出し、近視視力を改善するべく自動的にオートフォーカスするとしてよい。新聞を読むための近見矯正は、例えば、コンピュータモニタを見る場合とは異なる。本明細書で説明する眼鏡装置および/または関連システムの例は、被験者の瞳孔近見反射を定量化することによって物体がどの程度離れているか決定し、これによって対応する合焦矯正を行うよう構成されているとしてよい。
実施形態例において、視覚システムまたは眼鏡装置は、斜視に伴って生じる複視を動的に矯正するよう構成されているとしてよい。例えば、瞳孔および視線の追跡は、内向き画像センサと協働して、瞳孔、角膜縁または、験者の血管等の眼組織および視線を追跡するとしてよい。この追跡は、斜視を補償するべく、そして、全ての視線における複視を抑制するべく、被験者に対して表示された画像、例えば、1もしくは複数のモニタに投影または表示された画像、または、被験者の目に投影された画像のずれを動的に通知するために用いられるとしてよい。
実施形態例において、視覚システムまたは眼鏡装置は、視野欠損を抱える患者、例えば、緑内障患者の安全および視力を改善するように構成されているとしてよい。このような被験者は、視野の一部が欠損している場合がある。例えば、車両または人がこの被験者の視界の盲点部分にいると、この車両または人がこの被験者には見えない。本明細書で説明する視覚システムおよび眼鏡装置は、このような盲点を矯正するよう実現されるとしてよい。例えば、視野欠損は、視覚システムまたは眼鏡装置の視野検査モードを用いて検出するとしてよい。一部の例において、本明細書で例示するシステムおよび装置が実行するソフトウェアは、外向き画像センサ、例えば、カメラが撮像した画像を、被験者の実際の機能視野に再分配するよう構成されているとしてよい。実際の視野は、瞳孔または視線を参照して、例えば、瞳孔および視線の追跡機能で得られたデータを利用して動的に投影されるとしてよい。言い換えると、本発明に係る技術は、被験者の盲点内の車両または人の画像を、被験者の盲点外の位置に移動させることによって、被験者の安全および機能を改善するとしてよい。
加齢に伴う黄斑変性または眼の黄斑に影響を及ぼすその他の症状を持つ患者のうち、中央に盲点がある患者の場合、視覚システムまたは眼鏡装置は、画像またはその一部を、患者の機能視界フィールドの周辺部分または中心傍の部分に分配するよう構成されているとしてよい。本発明に係る技術は、対象の画像の一部を、例えば、網膜の正常部分に投影させ、網膜の異常部分を回避するとしてよい。 一部の例において、視覚システムまたは眼鏡装置は、画像の分配を指示するべく画像の変更時に利用される、視野のうち見える部分および見えない部分を区画する検査モードがあるとしてよい。
単眼視の患者または片眼の視力が低い患者について、視覚システムまたは眼鏡装置は、正常の両眼視の視野を撮像して、正常な両眼視の視野を両目の実際の機能視野に分配して、患者が可能な限り広い視野を得られるようにするとしてよい。実際には、これらの眼鏡装置は、被験者の視野を増強させるべく、軍事目的およびその他の用途で、正常な被験者の視野を増強するために実現されるとしてよい。例えば、眼鏡装置は、運動選手、内科医、運転手などの被験者の視野を増強するべく実現されるとしてよい。
不同視は、被験者のそれぞれの目の屈折力が均一でないことに起因して生じる。さまざまな実施形態において、視覚システムまたは眼鏡装置は、画像サイズを変更して均一サイズの複数の画像を生成してこれらの画像を両目に表示または投影することによって、視覚障害を回避することで、不同視を矯正するよう構成されているとしてよい。
対象の画像の縮小または拡大といった歪みを視野に発生させる眼鏡のレンズとは異なり、本発明に係る技術は、矯正レンズとは無関係に利用され得るので、被験者の視野に影響を及ぼさない。
一部の例において、視覚システムまたは眼鏡装置は、周囲環境の明るさとは無関係に光を表示または投影するよう構成されているとしてよい。一例を挙げると、表示または投影された光は、システムおよび/または装置によって検出される瞳孔の大きさに応じて自動的に調整されるとしてもよいし、または、例えば眼鏡装置と結合されている、例えば信号通信を行うユーザインターフェースによって患者の求めに応じて手動で調整されるとしてもよい。瞳孔は、明るい環境下ではより収縮し、それほど明るくない環境下では拡大する傾向がある。上述したように、本明細書で説明するシステムおよび装置は、収縮/拡大の程度を検出して、この結果にしたがって明るさを調整するよう構成されているとしてよい。これは、個々人に合わせてカスタマイズして行うとしてよい。瞳孔不同の被験者は、例えば、本発明に係る技術を利用して、それぞれの目について別個に明るさの調整を行うことを可能にするとしてよい。一部の例によると、これはシステムまたは装置によって、瞳孔の大きさを検出すると、自動的に実行される。
図1Aは、被験者用のウェアラブル装置を形成する眼鏡装置100の一例を示す図である。一部の実施形態において、眼鏡装置100は、本明細書で説明している視覚システムの一部であってよい。眼鏡装置100は、左対眼レンズ102と右対眼レンズ104とを備える。対眼レンズ102および104はそれぞれ、再生成された画像を被験者の対応する目に対して表示(または投影)するよう構成されているデジタルモニタを備えるとしてもよいし、および/または、そのようなデジタルモニタに対応付けられているとしてもよい。さまざまな実施形態において、デジタルモニタは、表示スクリーン、プロジェクタおよび/または表示スクリーンに画像の表示を行うためのハードウェアを含むとしてよい。プロジェクタを含むデジタルモニタが他の位置に配置されて画像を、被験者の目に、または、スクリーン、眼鏡またはその他の画像投影面を含む対眼レンズに、投影し得ることに想到されたい。一実施形態において、左対眼レンズ102および右対眼レンズ104は、データを収集して画像データを表示/投影することが可能になるように、被験者の環状領域に適合するべく筐体106に対して位置決めされるとしてよい。これは、別の例において、画像データを異なる方の目に表示/投影することを含む。
対眼レンズ102、104はそれぞれ、1または複数の内向きセンサ108、110をさらに有するとしてよい。当該センサは、内向き画像センサであってよい。一例において、内向きセンサ108、110は、瞳孔の動きを追跡し、被験者の視軸を決定して追跡するよう構成されている赤外線カメラ、受光器またはその他の赤外線センサを含むとしてよい。内向きセンサ108、110は、例えば、赤外線カメラを含み、対眼レンズ102、104に比べて低い部分に配置されているとしてよい。これによって、被験者の視野を、実際の視野であっても、被験者に対して表示または投影されている視野のいずれであっても、遮らない。内向きセンサ108、110は、瞳孔および/または視線の追跡をより良好に行うべく、想定瞳孔領域に向かうように方向がそろえられているとしてよい。一部の例において、内向きセンサ108、110は、内側面を一続きにするよう対眼レンズ102、104に埋設されているとしてよい。
図1Bは、眼鏡装置100の正面図であり、対眼レンズ102、104を正面から見た様子を示す。対眼レンズ102、104には、視野カメラを構成する対応する外向き画像センサ112、114が配置されている。他の実施形態においては、設けられている外向き画像センサ112、114の数を増減させるとしてもよい。外向き画像センサ112、114は、複数の連続画像を撮像するよう構成されているとしてよい。眼鏡装置100または対応する視覚システムはさらに、続いて画像を修正および/または増進するよう構成されているとしてよい。これは、被験者の視覚障害に基づいて個々人に合わせて行うとしてよい。眼鏡装置100はさらに、視覚モードにおいて、修正後および/または増進後の画像をモニタを利用して被験者に対して表示するよう構成されているとしてよい。例えば、眼鏡装置は、補正後および/または増進後の画像を、対眼レンズまたは隣接領域に対応付けられている表示スクリーンに生成するか、画像を対眼レンズまたは隣接領域に対応付けられている表示スクリーンに投影するか、または、画像を被験者の片目または両目に投影するとしてよい。
図1Cは、合焦レンズ116、118と共に、2つのデジタルモニタを含む対眼レンズ102、104を備える眼鏡装置100の構築後の例を示す図である。この例において、瞳孔および視線の追跡のために設けられている内向き光センサ110は1つのみであるが、他の例では、複数の内向き光センサ110が設けられるとしてもよい。
実施形態例において、眼鏡装置100には検査モードがあるとしてよい。検査モードの一例では、内向きセンサ108、110は、検査プロトコルに応じて瞳孔の動きを追跡して視軸(例えば、視線)の追跡を実行する。本例または別の例では、内向きセンサ108、110は、角膜または眼の光学系のゆがみおよび異常を検出すべく、角膜および/または網膜で反射されるパターンの反射を撮像するよう構成されているとしてよい。
検査モードは、眼疾患、例えば、高次収差および/もしくは低次収差、緑内障、視神経炎および視神経症等の視神経の疾患、黄斑変性、網膜色素変性等の網膜の疾患、毛細血管の障害および腫瘍等の視経路の疾患、ならびに、老視、斜視、高次収差および低次収差、単眼視、不同視および不等像視、光過敏、瞳孔不同、屈折異常および乱視等のその他の症状を特定するべく、視覚評価を実行するために用いられるとしてよい。検査モードでは、特定の被験者についてデータを取集して、当該データを利用して、撮像した画像を表示する前に修正する。画像の表示は、本明細書で説明しているように、モニタによって被験者に対して投影することを含むとしてよい。
一部の例において、外部センサを用いて被験者の視野を評価するためのさらなるデータを提供するとしてもよい。例えば、撮像した画像を修正するために用いられるデータは、視野検査装置、収差計、眼電図または視覚誘発電位装置等の外部検査装置から取得されるとしてもよい。これらの装置で取得したデータは、観視者に投影または表示されている画像を修正するために用いられる修正プロフィールを生成するべく視軸を決定するために、瞳孔または視線の追跡と組み合わせるとしてよい。
眼鏡装置100には、検査モードに加えて、または、検査モードに代えて、視覚モードがあるとしてよい。視覚モードでは、1または複数の外向き画像センサ112、114が、リアルタイムで画像処理を実行するべく画像プロセッサに伝送される画像を撮像する。画像プロセッサは、例えば、眼鏡装置10内に埋設されているとしてよい。例えば、一体化されているとしてもよいし、または、取りつけられているとしてもよい。これに代えて、眼鏡装置100の外部に設けられるとしてもよく、例えば、外部画像処理装置に対応付けられているとしてもよい。画像プロセッサは、視覚モジュールの構成要素であってもよいし、および/または、本明細書で説明しているように、シーン処理モジュールを含むとしてもよい。
眼鏡装置100は、有線通信または無線通信方式で、例えば、眼鏡装置100に埋設されている無線送受信機を介して、1または複数の画像プロセッサと通信可能に結合されているとしてよい。外部画像プロセッサは、ラップトップコンピュータ、タブレット、携帯電話、ネットワークサーバまたはその他の、中央集中型または分散型のコンピュータ処理装置等のコンピュータを含むとしてよく、1または複数のプロセッサおよび1または複数のメモリによって特徴付けられているとしてよい。説明した例によると、撮像した画像はこの外部画像処理装置で処理される。しかし、他の例では、撮像した画像はデジタル眼鏡に埋設されている画像プロセッサで処理されるとしてよい。処理済みの画像、例えば、機能視野またはその他の点で視力を改善するべく増進させたもの、および/または、被験者の視野疾患を矯正するべく増進させたものは、続いて眼鏡装置100に送信され、被験者が見るようモニタによって表示される。
眼鏡装置を含む視覚システムの動作の一例において、撮像画像のリアルタイム画像処理は、眼鏡装置に埋設されている小型コンピュータで実行される、例えば、カスタマイズされたMATLAB(Mathworks社、米国マサチューセッツ州ネイティック)コードを用いて画像プロセッサによって実行されるとしてよい。他の例において、当該コードは、外部画像処理装置によって、または、眼鏡装置と通信するべく無線ネットワーク接続されている他のコンピュータによって実行されるとしてもよい。一実施形態において、視覚システムは、眼鏡装置、画像プロセッサ、および、視覚モードおよび/または検査モードを実行するための対応する命令を含み、このような命令は眼鏡装置において単独で具現化されるとしてもよいし、または、ラップトップコンピュータ等の1または複数の外部装置と組み合わせて具現化されるとしてもよい。このような視覚システムは、視覚モードおよび、もう一つの検査モードの2つのモードで動作するとしてよい。
図2は、サーバ206、携帯電話208またはパーソナルコンピュータ210と通信するべくネットワーク204に通信可能に結合されている眼鏡装置202を備える視覚システム200の一例を示す図である。サーバ206、携帯電話208またはパーソナルコンピュータ210はいずれも、画像処理技術等の本明細書で説明する処理技術を実装する視覚補正フレームワーク212を含むとしてよい。これには、検査モードおよび/または視覚モードに関する技術を含むとしてよい。図示した例では、視覚補正フレームワーク212は、プロセッサと、本明細書で説明する技術を実装するためのオペレーティングシステムおよびアプリケーションを格納するメモリとを有し、さらに、ネットワーク204を介して眼鏡装置202と通信するための送受信機を有する。フレームワーク212は、本例において機械学習フレームワークを含む検査モジュール214を含む。機械学習フレームワークは、教師あり方式または教師なし方式のいずれかで、検査モジュールが実行する検査プロトコルと共に利用されるとしてよく、検査モードを適応的に調整してより正確に眼疾患を評価するとしてよい。検査モジュールによる処理の結果は、被験者218に対してカスタマイズされた視覚補正モデル216の生成を含むとしてよい。視覚モジュール220は、一部の実施形態において、アクセスされカスタマイズされた視覚補正モデルを持つ機械学習フレームワークも含み得るが、眼鏡装置202によって表示する補正済み視覚画像を生成する。視覚補正フレームワーク212はさらに、検査モードおよび/または視覚モードの処理において利用する画像を処理すると共に本明細書で処理モジュールに関連して説明した処理を含むシーン処理モジュールを含むとしてよい。本明細書で説明するように、一部の実施形態において、眼鏡装置202は、視覚補正フレームワーク212の一部またはすべてを含むとしてよい。
検査モードにおいて、眼鏡装置100または202、特に、眼鏡装置100または202の内面に沿って配置されている追跡カメラを含む1または複数の内向き画像センサは、処理済みの画像を被験者の瞳孔および視軸に正確に位置合わせするために用いられる瞳孔および視軸追跡データを取得するために用いられるとしてよい。
図3は、視覚補正フレームワーク302を含む視覚システム300を示す図である。視覚補正フレームワーク302は、画像処理装置304、および、被験者に載置する眼鏡装置306に実装されるとしてよい。画像処理装置304は、全体が外部画像処理装置または他のコンピュータに含まれているとしてよく、他の例では、画像処理装置304の一部またはすべてが眼鏡装置306内で実現されているとしてよい。
画像処理装置304は、本明細書で説明する検査モードおよび/または視覚モードを実行するための命令310を格納しているメモリ308を有するとしてよい。このような命令は、眼鏡装置306から被験者の高解像度画像を収集するための命令を含むとしてよい。視覚モードにおいて、眼鏡装置306は、未処理データ、処理済みデータまたは前処理済みデータとして、リアルタイム視野画像データを取得するとしてよい。検査モードにおいて、眼鏡装置は、被験者の視野をさまざまな点で検査するべく検査画像(「text」の文字または車両またはその他の物体の画像等)を投影するとしてよい。
眼鏡装置306は、有線リンクまたは無線リンクを介して画像処理装置304に通信可能に接続されているとしてよい。このリンクは、ユニバーサルシリアルバス(USB)、IEEE1394(ファイヤワイヤ)、Ethernetまたはその他の有線通信プロトコル装置を介しているとしてよい。無線接続は、WiFi、NFC、iBeacon、Bluetooth、Bluetooth Low Energyなどの任意の適切な無線通信プロトコルを介して行うことができる。
さまざまな実施形態において、画像処理装置304は、入出力(I/O)回路に接続されているリンクを介してデータベースに動作可能に接続されているコントローラを有してもよい。このコントローラには追加のデータベースが公知の方法で接続されているとしてよい。このコントローラは、プログラムメモリ、プロセッサ(マイクロコントローラまたはマイクロプロセッサとも呼ばれる)、ランダムアクセスメモリ(RAM)および入出力(I/O)回路を含み、これらは全てアドレス/データバスを介して相互接続されているとしてよい。説明しているマイクロプロセッサは1つのみであるが、コントローラが含むマイクロプロセッサは複数であってもよいことに想到されたい。同様に、コントローラのメモリは、複数のRAMおよび複数のプログラムメモリを含むとしてよい。RAM(1または複数)およびプログラムメモリは、例えば、半導体メモリ、磁気的に読み取り可能なメモリおよび/または光学的に読み取り可能なメモリとして実現されるとしてもよい。リンクは、I/O回路を介して、コントローラをキャプチャデバイスに動作可能に接続するとしてよい。
プログラムメモリおよび/またはRAMは、マイクロプロセッサが実行するさまざまなアプリケーション(すなわち、機械可読命令)を格納するとしてもよい。例えば、オペレーティングシステムは、視覚システム300の動作、例えば、眼鏡装置306および/または画像処理装置304の動作を全体的に制御するとしてよく、一部の実施形態では、本明細書で説明する処理を実現するべく当該装置に対するユーザインターフェースを提供するとしてもよい。プログラムメモリおよび/またはRAMはさらに、本明細書で説明する画像処理装置の特定の機能にアクセスするためのさまざまなサブルーチンを格納するとしてもよい。一例として、これらに限定されるものではないが、サブルーチンには、特に、眼鏡装置から視野の高解像度画像を取得すること、画像を増進および/または修正すること、および、増進済みおよび/または修正済みの画像を眼鏡装置306によって被験者に対して表示するべく提供することが含まれるとしてよい。
上記に加えて、画像処理装置304は、他のハードウェアリソースを含むとしてもよい。当該装置はさらに、視覚ディスプレイおよび入力装置(1または複数)(例えば、キーパッド、キーボードなど)などのさまざまな種類の入/出力ハードウェアを含むとしてよい。一実施形態において、ディスプレイは接触感知式であり、ソフトウェアルーチンの1つとしてのソフトウェアキーボードルーチンと協働してユーザ入力を受け付けてもよい。画像処理装置において、多くの公知のネットワークデバイスおよびネットワーク技術のいずれかを用いて(例えば、イントラネット、インターネットなどのコンピュータネットワークを介して)、より広範なネットワーク(不図示)と通信することが有益な場合がある。例えば、当該装置は収差データのデータベースに接続されているとしてよい。
<例>「Text」検査モード
視覚システムの実装例において、検査は4人の被験者に対して実施された。検査プロトコルは、眼鏡装置の1または複数の表示モニタにおいて複数の異なる位置に文字列を表示することを含むとした。被験者の視野のうち欠損領域を評価するべく、「text」という単語をそれぞれの目の眼鏡モニタに表示し、被験者に「text」を特定出来るか聞いた。まず、「text」という単語のうち「xt」の部分を、操作側が被験者の盲点に意図的に配置した。4人の被験者は全員、単語のうち「te」の部分のみが見えると答えた。この後、表示を制御するためのソフトウェアを用いて文字を移動させた。具体的には、「text」という文字列を被験者の盲点から離して、被験者に再度単語を読むように頼んだ。被験者は「text」を読むことが可能となり、この時点において単語のうち「xt」の部分が見えるようになったと述べた。
検査モードのこの評価プロトコルの一例を図6Aから図6Cに示している。図6Aおよび図6Bに図示しているように、コードはハンフリー視野におiいて盲点を自動的に検出する。単語「text」600は、単語のうち「xt」部分が盲点602に位置するように投影される(図6A)。被験者にはこの単語を読むように依頼した。単語「text」600をこの後、盲点602から離して(図6B)、被験者に再度読むように依頼した。単語「text」600は、被験者の視野の複数の異なる座標に表示することが可能であり、図示した例では視野は4つの座標に分割されている。このプロトコルによって、周辺盲点604を含む複数の盲点を特定することが可能になる。文字列を被験者の視野全体で移動させ、文字列の一部または全体が見えない場合、または、部分的に見えるか、もしくは、強度は下がるが見える場合に特定するよう被験者に依頼するとしてよい。
本明細書で説明する瞳孔追跡機能には、瞳孔の物理的状態(例えば、視軸、瞳孔の大きさおよび/または角膜縁)、整合、拡大および/または視線が含まれるとしてよい。視線は、視軸としても知られているが、瞳孔、角膜縁(角膜と強膜との間の縁部)の追跡のうち1または複数によって、または、目の表面または目の内部の血管を追跡することによって、得られるとしてよい。このように、瞳孔追跡は、角膜縁または血管の追跡も同様に含むとしてよい。瞳孔追跡は、本明細書で説明するように、1または複数の内向き画像センサを利用して実行されるとしてよい。
さまざまな実施形態において、瞳孔追跡機能は、投影画像を被験者の視野に位置合わせするためのパラメータを決定するために用いられるとしてよい(図6C)。
GUI606の表示は操作者に対して表示されるとしてもよい。GUI606は検査に関する情報を提供するとしてよい。例えば、GUI606は、測定された視野欠損を示し、欠損に対する画像の相対的な位置を示す。GUI606は、視野の機能部分に対して画像を自動的に分配できるよう構成されているとしてよいが、自動モードを操作者がオーバーライドできるようにするためのボタンを含むとしてよい。外部画像処理装置は、この評価用文字列を表示すべき場所を決定するよう構成されているとしてよく、検査モードにおいてさまざまな位置に文字列を表示するようデジタル眼鏡に命令を無線通信するとしてよい。
<例>「画像」検査モード
図7Aから図7Cは、検査モードの処理の別の例を示す図である。本例では、「text」を利用する代わりに、被験者には、瞳孔を追跡し病変領域を決定するべく、視野の複数の異なる部分に配置される車両700が見えるかどうかを決定するという検査を実施した。瞳孔追跡機能によって、視覚システムは、投影画像を被験者の視野に位置合わせすることが可能になる。
図4は、検査モードおよび後続の視覚モードの両方の実装例を説明するためのプロセス400を示す図である。ブロック402において、検査モードでは、眼鏡装置およびその他のユーザ入力装置、例えば、携帯電話またはタブレットPCの内部に埋設されている画像センサ等の診断装置からデータを取得する。ブロック404において、検査モード診断を実行して、受け取ったデータから眼球異常を検出および測定するとしてよい。例えば、視野欠損、眼球の位置ずれ、瞳孔の動きおよび大きさ、角膜または網膜の表面で反射されるパターンの画像を検出および測定するとしてよい。一例において、制御プログラムおよびアルゴリズムをMATLAB R2017b(MathWorks,Inc.社、米国マサチューセッツ州ネイティック)を用いて実装した。さまざまな実施形態において、被験者または検査者には、片目毎に個別に検査を行うか、または、1回で両目を順に検査するかの選択肢が与えられるとしてよい。一部の実施形態において、検査モードは、所定の位置において刺激シーケンスを利用して、中央の20度以上の半径をカバーするコントラスト階段状刺激を含む応用高速しきい値化方式を含むとしてよい。例えば、検査モードは、所定の位置において52個の刺激シーケンスを利用して中央の40度半径をカバーし、4段階のコントラストである刺激を含む応用高速しきい値化方式を含むとしてよい。これについては、図35Aおよび図35Bを参照して以下でさらに説明する。
ブロック406において、決定された診断データを、特定可能な眼疾患を補償するための矯正プロフィールを格納しているデータベースまたはデータセットと比較するとしてよい(例えば、図16および関連する説明を参照のこと)。
特定された矯正プロフィールは続いて、例えば、視軸の差異、視野欠損、光過敏性、複視、両目間での画像の大きさの変化、画像のゆがみ、視力低下を補償するように、個人に合わせて調整するとしてよい。
個人に合わせて調整したプロフィールは、例えば、画像プロセッサ、シーン処理モジュールおよび/または視覚モジュールを利用して画像を処理するために、リアルタイムデータと共にブロック408によって利用されるとしてよい。リアルタイムデータは、瞳孔追跡データを提供する1または複数の内向き画像センサ410が検出したデータ、および/または、視野スクリーンを撮像するよう配置されている1または複数の視野カメラ412を含む1または複数の外向き画像センサからのデータを含むとしてよい。ブロック414において、リアルタイム画像補正が実施されるとしてよく、画像は眼鏡装置に、再生成されたデジタル画像として、または、補正された部分が重ねられ眼鏡装置を通過する拡張現実画像として、または、被験者の網膜に投影される画像として、表示される(ブロック416)としてよい。一部の例において、ブロック414の処理は、キャリブレーションモード418と組み合わせて実行される。キャリブレーションモード418では、ユーザはユーザインターフェースを利用して画像補正を調整し得る。ユーザインターフェースは、ユーザに画像および補正プロフィールを制御させる入力装置等である。例えば、ユーザは、片方の目の画像を、複視を緩和するべく、横方向、上方向および下方向にずらすとしてよく、または、回転させる(cycloterted)としてよい。上記または他の例において、ユーザは、視覚機能に悪影響を及ぼすことなく、または、許容できない歪みを発生させることなく視野を拡大するべく、視野の変換(例えば、魚眼変換、多項式変換または等角写像変換)または平行移動の程度を微調整するとしてよく、明るさおよびコントラストを微調整するとしてよく、または、色を反転するとしてよい。
図5は、別のプロセス500の例を示す図である。プロセス500は、プロセス400の例と同様に、検査モードおよび視覚モードを実現する。ブロック502において、瞳孔の大きさ、調節の程度および注視に応じた高次収差および低次収差のデータを収集する。一部の実施形態において、このデータの全てまたは一部は、収差計から収集されるとしてもよいし、または、角膜および/または網膜に投影されたパターンまたは格子パターンの画像を撮像して、例えば、角膜または眼球光学系全体の収差を検出するべく基準画像と比較することによって収集されるとしてよい。収集したデータは視覚補正フレームワークに送信するとしてよい。視覚補正フレームワークは、ブロック504において、上述したブロック406と同様に、個々人に合わせた補正プロフィールを決定するとしてよい。ブロック508から518は、プロセス400の対応するブロック408から418と同様の機能を実行する。
図8は、眼鏡装置を用いてユーザ806に複数の視覚刺激804を生成して提示する検査モジュール802を示すワークフロー800を示す図である。ユーザ804は、検査刺激に対する入力応答を提供するべくユーザがやり取りを行うために用いられるユーザ装置808を持つ。一部の例において、ユーザ装置808は、検査刺激に対する入力応答を提供するためのやり取りのためにユーザが用いるジョイスティック、電子集計器、キーボード、マウス、ジェスチャ検出器/モーションセンサ、コンピュータ、スマートフォン等の電話、専用装置および/またはタブレットPCを含むとしてよい。ユーザ装置808はさらに、プロセッサと、命令を格納しているメモリとを含むとしてよい。命令は、プロセッサによって実行されると、ユーザがやり取りするためのGUIの表示を生成させる。ユーザ装置808は、メモリ、信号を送受信する送受信機(XVR)、および、視覚補正フレームワーク810と有線接続または無線接続するための入出力インターフェースを含むとしてよい。視覚補正フレームワーク810は、画像処理装置に格納されているとしてよい。視覚補正フレームワーク810は、眼鏡装置、ユーザ装置等に格納されているとしてよいが、図示した例では、フレームワーク810は外部画像処理装置に格納されている。フレームワーク810は、検査モジュール802からの検査モード情報、および、ユーザ装置808からのユーザ入力データを受信する。
図9は、ワークフロー800が実行する、検査モードプロセス900を示す図である。ブロック902において、検査モードプロトコルに従って複数の検査刺激が被験者に与えられる。これらの刺激は、文字列の画像、物体の画像、点滅光、格子パターン等のパターンを含むとしてよい。刺激は、被験者に対して表示されるとしてもよいし、被験者の網膜および/または角膜に投影されるとしてもよい。ブロック904において、視覚補正フレームワークは、1または複数の内向き画像センサから検出データ、例えば、瞳孔の物理的状態(例えば、視軸、瞳孔の大きさおよび/または角膜縁)に対応するデータを受信するとしてよい。ブロック904はさらに、刺激に応じてユーザから収集したユーザ応答データを受信することを含むとしてよい。ブロック906において、瞳孔位置状態を複数の異なる刺激において決定するとしてよい。例えば、ある刺激と別の異なる刺激との間の、位置の相違および位置ずれの差異を測定することによって決定するとしてよい。
ブロック908において、視野全体において乱視の判断を行うとしてよい。これには、瞳孔ずれデータおよび/または目の収差の解析(例えば、基準画像を網膜および角膜に投影し、網膜表面または角膜表面からの反射画像を基準画像と比較)が含まれるとしてよい。
ブロック910において、目の総収差を、例えば、基準画像を網膜および/または角膜に投影した後で、網膜表面または角膜表面からの反射画像を基準画像と比較することによって(例えば、図31A、図32から図34および関連説明を参照されたい)決定するとしてよい。
ブロック912において、コマ収差、非点収差もしくは球面収差等の光学歪み等の視覚歪み、または、網膜の疾患に起因する視覚歪みを、視野全体にわたって測定するとしてよい。
ブロック914において、視野感度を視野全体にわたって測定するとしてよい。
図9のプロセスのさまざまな実施形態において、ブロック904から914のうち1または複数は実施が任意であってよい。
一部の例において、本明細書で説明する視覚システムは、検査モードで得られたデータを評価して、眼球異常の種類および必要な補正の種類を決定することができる。例えば、図10は、検査モードの一部として実現され得る人口知能補正アルゴリズムモードを含むプロセス1000を説明するための図である。機械学習フレームワークはブロック1002でロードされる。フレームワークの例には、例えば、次元縮退、集合学習、メタ学習、強化学習、教師あり学習、ベイズ式、決定木アルゴリズム、線形分類器、教師なし学習、人工ニューラルネットワーク、アソシエーションルール学習、階層的クラスタ分析、クラスタ分析、ディープラーニング、半教師あり学習が含まれるとしてよい。
ブロック1004において、視野欠損の種類を決定する。視野欠陥の例を3つ図示している。未補償の盲点フィールド1006、低感度の部分的盲点1008、正常な視野1010である。ブロック1004は、視野欠損を決定した後、視覚モードのために適切な補正プロトコルを適用する。例えば、未補償の盲点フィールド1006について、ブロック1012において、視覚補正フレームワークは、内向き画像センサを用いた瞳孔追跡等を利用して視覚を追跡し、例えば、外部カメラ等の外向き画像センサ等を利用して視野における動体のビデオトラッキングを実行する。図示した例では、ブロック1014において、盲点領域における安全上の問題、または、盲点領域に移動してくる安全上の問題が、例えば、検査モードで測定された欠陥を含むマッピング済み視力フィールドと安全上の問題の位置とを比較することによって検出される。ブロック1016において、対象の物体は、中央位置および周辺位置を含むさまざまな位置において監視するとしてよい。
部分的盲点1008の例では、ブロック1018において増進視力視覚モードが開始されるとしてよい。このブロックから、視野内の物体は、視野の中央部分を追跡することによって監視される。ブロック1020において、画像分割アルゴリズムを採用して物体を視野から分離するとしてよい。さらに増進させた輪郭を物体に適用してユーザに表示するとしてよい。尚、輪郭は分割した物体について特定された外縁と一致する。
正常な視野1010に関しては、ブロック1022において、カスタマイズされた補正アルゴリズムを適用して収差、視野欠損、内斜視および/または視覚歪みを補正するとしてよい。
実施形態例において、人工知能(AI)を検査モードおよび/または視覚モードに利用するとしてよい。例えば、このような技術は、視野を改善するための画像ワーピング(変換、平行移動およびサイズ変更)の方法は何百もの異なる補正プロフィールを生成可能であるという認識に基づいて、構築されているとしてよい。指紋と略同様に、患者毎に視野欠損は異なる。一部の視野欠損においては、ある画像ワーピングが許容される患者とそうでない患者がいることが分かっている。ある画像ワーピングは、視野を改善するが、中央視力を低下させる(例えば、中央で縮小)。このため、多岐にわたる症状に対処するべくAIアルゴリズムが開発されている。
一例において、AIアルゴリズムを含む機械学習フレームワークを持つ視覚補正フレームワークを用いて、視野を残りの機能視野により良く適合させるために視野の変換、平行移動およびサイズ変更を適用することで、自動個人向け補正プロフィールを作成するとしてよい。機械学習フレームワークは、データ収集、視野分類および/または回帰モデルのうち1または複数を含むとしてよい。参加者の応答、定量的スコアおよびフィードバックを記録し易くするべく、グラフィカルユーザインターフェース(GUI)およびデータ収集プログラムを利用するとしてよい。
視覚モードにおいて画像に適用される変換に関して、機械学習フレームワークの変換の例としては、1)等角写像変換、2)魚眼変換、3)カスタマイズされた四次多項式変換、4)極多項式変換(極座標を利用)、または、5)直角多項式変換(直角座標を利用)(例えば、図13を参照されたい)のうち1または複数が含まれるとしてよい。
視覚モードにおいて画像に適用される平行移動に関しては、例として以下に記載するもののうち1または複数を含むとしてよい。中心検出について、最良の中心および中心に対する最近接点の重み付け平均を利用するとしてよい。例えば、最近接点は中心位置に最も近い点を発見することによって決定するとしてよい。最良の中心は、以下のうち1または複数によって決定するとしてよい。1)最大成分の重心、2)最大内接円、最大内接正方形、最大内接ひし形および/または最大内接矩形の中心、または、3)局所的に最大の内接円、内接正方形、内接ひし形および/または内接矩形の中心(例えば、図14を参照されたい)例えば、フレームワークは最大形状を検索するが、これに代えて、黄斑視覚領域から離れてしまわないように、フレームワークは複数の方法による最近接点の重みづけ平均を採用してよい。
さまざまな実施形態において、AIアルゴリズムは最初に、シミュレーションされた視野欠損を利用してトレーニングされるとしてよい。例えば、AIアルゴリズムをトレーニングするために、視野欠損のデータセットを収集するとしてよい。例えば、一の実験プロトコルにおいて、400個の視野欠損から成るデータセットを、緑内障患者から取得した。このデータセットを用いて、格付けのために、正常な被験者に提示するべく仮想現実眼鏡上で視野欠損のシミュレーションを行うとしてよい。この格付けから得られるフィードバックを続いて用いてアルゴリズムをトレーニングするとしてよい。
例えば、患者毎に個別に正常な視野パターンに対応する領域に自動的に入力画像をはめ込むAIアルゴリズムを利用するとしてよい。さまざまな実施形態において、このアルゴリズムは、画像を再マッピングする上で少なくとも3段階の自由度を持つとしてよいが、利用する自由度の段階は増減させてよい。一例において、自由度は、変換、シフトおよびサイズ変更を含む。追加される画像変換は、視力が最も高い部分である中央視力に対応する画像の中央領域の品質を維持する一方、周辺にある画質が中程度である周辺領域を濃縮化するとしてよい。これは、生成された画像は内容を全て患者が感知できるように適用されるとしてよい。
AIアルゴリズムに含まれる画像変換は、等角写像変換、多項式変換または魚眼変換のうち1または複数を含むとしてよい。一部の実施形態では、他の変換を利用するとしてよい。機械学習技術は、実際にタスクを実行する前に、標識データセットに基づいてトレーニングされるとしてよい。一例において、AIアルゴリズムは、さまざまな種類の周辺欠損を含む視野データセットに基づいてトレーニングされるとしてよい。例えば、一の実験において、データセットは400個の視野欠損パターンを含むものを用いた。トレーニングフェーズではこの後、AIアルゴリズムが作成した再マッピング画像に、正常な参加者たちが定量スコアを付与した。
図11は、一例に係る検査画像(刺激)の画像1100を示す。検査画像1100は、視力、中心傍視力および/または周辺視力を測定するよう設計されているとしてよい。図示している検査画像は、図11に図示しているように、中央領域に5文字、中心傍領域に4つの内側ダイヤモンド1102、周辺領域に8個の外側ダイヤモンド1104を表示している。
AIシステムをトレーニングできるようにするためには、上述したように、多量のデータが必要である。最初のステップとして、図12に示すように、欠損を含む両眼視野を用いて患者の両眼視をシミュレーションするとしてよい。続いて、シミュレーションした視力を、眼鏡装置を利用して被験者に提示するとしてよい。このようにすることで、さまざまな画像操作を利用して入力画像を操作した後、変更後の見え方を格付けさせるべく被験者に再度提示できる。修正プロセスを継続して行い、最適な修正後画像を決定するまで、修正後の画像をさらに修正して被験者に提示するとしてよい。図13は、ユーザに提示されるべく画像に適用される複数の異なる修正変換の例を示す。図14は、複数の異なる平行移動方法の例を示す(画像をシフトさせて正常な視野にはめ込む)。正常な視野は白で、盲点である視野は黒である。
AIシステムは、人工ニューラルネットワークおよびサポートベクトルマシン(SVM)等の機械学習モデルを用いて設計されているとしてよい。一部の例において、AIシステムは、最適化AIシステムによって最良の画像操作方法(つまり、幾何学的な変換および平行移動)の推定結果を含む出力を生成するよう設計されている。視覚システムは、視覚モードにおいて、出力された画像操作方法に従って操作された画像をヘッドセットを利用して患者に提示するがその際に、欠損を含む自身の視野に基いて、可能な限り最良の視覚を患者が得られるように提示するとしてよい。視覚補正フレームワークの機械学習フレームワーク(本明細書では「AIシステム」とも呼ぶ)は、例えば、本明細書で説明しているように、収集されたデータを利用してトレーニングされるとしてよい。AIシステム1500の例を示すブロック図を図15に示す。
AIシステム1500のプロセス1600を図16に示す。システム150への入力は、検査画像および視野画像を含む。AIシステム1500は、視野にわたってより詳細な内容を提示できるようにするためにはどの幾何学的変換を実行するのが検査画像にとって最良かを推定する。AIシステム1500は続いて、表示される画像が視野の大部分をカバーするためにはどの平行移動が検査画像にとって最良かを推定する。この後、それぞれ図17および図18に示すように、検査画像を変換し平行移動させる。最後に、シミュレーションのみを目的としたトレーニングの場合はこの画像を再度視野と組み合わせるが、検査フェーズでは患者にそのまま表示される。画像に適用すべき画像変換および平行移動のパラメータを含む視野AIシステムの最終実装例を含む、視野解析の要約を提示するグラフィカルユーザインターフェースのスクリーンショットを、図19に示す。
実装例において、人工ニューラルネットワークモデルを利用して機械学習フレームワーク(「AIシステム」)を視覚補正フレームワークで実装した。AIシステムは、ベクトルに変換された視野画像として取得する。AIシステムは、出力として、シーン画像に適用すべき画像変換および平行移動のパラメータの予測結果を供給する。こうして、これらのパラメータを利用してシーン画像を操作する。AIシステムには2つの隠れ層があり。それぞれの隠れ層には3つのニューロン(つまり、ユニット)および1つの出力層がある。このようなAIシステムモデルの一例を図20に示す。このAIシステムは、他の例では、さらにより正確な結果を得るべく畳み込みニューラルネットワークモデルに拡張されるとしてもよい。図21および図22はそれぞれ、一例として、AIニューラルネットワークを検査モードに適用した結果であるプロセス2100およびAIニューラルネットワークを利用したAIアルゴリズム最適化プロセスであるプロセス2200を示す。
さまざまな実施形態において、視覚システムは眼鏡装置および/または画像処理装置を含む。視覚システムの実施形態は、画像処理装置のみを含むとしてよい。画像処理装置および画像処理装置の機能、例えば、本明細書で説明している視覚補正フレームワークに対応付けられている機能等は、本明細書で説明している眼鏡装置と共に、もしくは、他の装置と共に利用されるように構成されているとしてもよいし、または、リアルタイムで増強して表示するための処理および/もしくは症状の診断に用いられるとしてよい。前者は、処理済み画像データの表示に対応付けられているとしてもよいし、対応付けられていないとしてもよい。例えば、一実施形態において、画像処理装置は、パイロットの視野を増強するために画像データを処理するよう構成されているとしてよい。増強された視野は、本明細書で説明している眼鏡装置を利用してパイロットに提供されるとしてよい。そのような眼鏡装置は、例えば、パイロットに対する増強された視野の1または複数の表示を含むヘルメットのひさし部分に組み込まれるとしてよい。一部の例において、眼鏡装置はゴーグルである。また、増強された視野は飛行機のフロントガラスまたは円蓋全体に表示スクリーンまたはモニタとして表示されるとしてよい。このような表示スクリーンまたはモニタは、ガラス、フィルムおよび/またはレイヤを含むとしてよい。これらの透明度は本明細書で説明するように制御可能である。
上記または別の例のいずれかにおいて、画像処理装置は本明細書で説明しているように検査モードおよび/または視覚モードに関して画像を処理するよう構成されているとしてよい(例えば、図4、図5、図9、図10、図15、図16、図20から図23を参照されたい)。一部の例において、画像処理装置は、検査モードおよび/または視覚モードに関して1または複数の処理を実行するよう構成されている視覚補正フレームワークを含むとしてよい(例えば、図2、図3、図8を参照されたい)。上記または別の例のいずれかにおいて、視覚補正フレームワークは、AI補正アルゴリズムを含む機械学習フレームワークを含む(例えば、図2、図10から図23を参照のこと)。視覚システムは、本明細書で説明する任意のハードウェア、ソフトウェアおよび/またはネットワーク構成(例えば、図1Aから図3、図8、図21、図22、図24、図25を参照のこと)を備えるとしてよい。
上記または別の例のいずれかにおいて、画像処理装置は眼鏡装置と一体化されているとしてよい。一体化は、全体的でも、または、部分的であってもよい。画像処理装置はさらに、眼鏡装置に対して外部に設けられてもよい。この構成も、全体的でも、または、部分的であってもよい。一例において、画像処理装置および/または視覚補正フレームワークは、例えば、ネットワークまたは通信プロトコルを介して分散させて設けてもよい。例えば、画像処理装置および/または視覚補正フレームワークおよびその機能は、スマートフォン、ラップトップ、タブレットまたは専用デバイス等のユーザデバイス、内蔵処理システム等の眼鏡装置、および、コンピュータ、PC、ラップトップまたはサーバ等の外部処理システムのうち2以上に分散させているとしてもよい。
上述したように、視覚システムは眼鏡装置および画像処理装置を含むとしてよい。実施形態には、眼鏡装置のみ、または、画像処理装置のみを含むものもあるとしてよいが、それぞれ他のシステムおよび装置が関連付けられているとしてもよい。
上記の例または他の例のいずれかにおいて、眼鏡装置は、スクリーン、ガラス、フィルムおよび/または多層媒体等のモニタのうち表示領域の透明度を選択的に制御するよう構成されているとしてもよい。例えば、本明細書で説明する技術は、拡張現実(本明細書では、「カスタム現実」とも呼ぶ)眼鏡装置で実現されるとしてもよい。図23は、検査モードおよび視覚モードを実現するプロセス2300の例を示す図である。一例において、カスタム現実眼鏡装置の仕組みは、黄斑(中央)部分と周辺部分との間で相対的に視覚を操作することに基づいているとしてよい。
カスタム現実眼鏡装置のいくつかの例では(例えば、図40Aから図40Cを参照のこと)、修正後の画像を見えているシーンに重ねる透明眼鏡を含む。眼鏡は、スクリーンを含むモニタを構成するとしてよい。当該スクリーンは、透明度が制御可能であって、表示する画像を投影するためのものである。一例を挙げると、このようなディスプレイはヘッドアップディスプレイを含む。さまざまな実施形態において、カスタム現実眼鏡装置は、複数の制御可能な層を持つ眼鏡を備える。これらの層は、眼鏡を通して見えているシーンに修正後の画像を重ねる。層は、ガラス、セラミック、ポリマー、フィルムおよび/またはその他の透明材料で形成されるとしてよく、多層構成を持つとしてよい。制御可能な層は、例えば、画素をアドレス指定しつつ視野のうち1または複数の部分において透明度を調整可能である1または複数の電気的に制御可能な層を含むとしてよい。一実施形態において、例えば、電流、電界または光を利用して、個別にアドレス指定可能である画素またはセルを含むとしてよい。制御可能な層は、視野のうち1または複数の部分のコントラスト、各部分の色フィルタ、各部分のズームイン/ズームアウト、各部分の焦点、外環境から入射する光を視野のうち特定の位置において遮蔽または通過させるべく、画像を表示する眼鏡装置表面の透明度を調整するよう制御される層であってよい。被験者の視覚を増強するべく操作する部分が視野にある場合(例えば、周辺視覚部分または黄斑視覚部分または一部が黄斑部分で一部が周辺部分である部分)、眼鏡のうちその部分の透明度を下げて、眼鏡のうちその部分を通して外環境が見えないように遮蔽し、眼鏡のうちその部分で表示される操作済みの画像を患者がより明確に見えるようにするとしてよい。さまざまな実施形態において、視覚システムまたはカスタム現実眼鏡装置は、頭部の動きだけでなく目の動きによって目の方向が変化する場合、被験者が外環境について自然な視覚が得られるように領域ごとの透明度を動的に制御するとしてよい。例えば、瞳孔追跡データ、例えば、瞳孔および/または視線追跡を利用して、透明度が下がった領域が被験者の目と相対的に平行移動するように、眼鏡のうち透明度が下がった部分を変更するとしてよい。
例えば、カスタム現実眼鏡を構成する眼鏡装置に含まれる眼鏡の透明度は調整され得るが、視野のうち画像修正が実行される箇所に対応する部分、例えば、中央領域または周辺領域からの光を遮蔽するように、調整は制御可能であるとしてよい。そのような調整がなければ、被験者は操作された画像を見るとともに、当該画像に重ねてこの領域における実際の視野を感知してしまう。このように光を遮蔽するために、眼鏡装置にフォトクロミックガラス層を設けるとしてよい。さらに、眼鏡装置は、内向き画像センサを利用して目(瞳孔)の動きを測定することによって、そして、視覚補正フレームで処理を実行することでこの動きに基づいて補償を行うことで、眼鏡の透明度を下げる領域の位置を変化させるとしてよい。一例を挙げると、モニタの表示スクリーンは、電気インク技術を含む画素またはセルを含む。これらの画素またはセルは、個別にアドレス指定が可能であり、セル内でのインクの構成を変更するための電界を発生させて、透明度の変更および/またはディスプレイの画素の生成を行うとしてよい。実装例において、図40Aは、フレーム4002および2つの透明眼鏡アセンブリ4004で構成されるカスタム現実眼鏡4000を示す図である。図40Bおよび図40Cに示すように、透明眼鏡アセンブリ4004は、電子的に制御が可能な補正層4006が埋設されている。補正層4006は、完全に透明な状態から完全に不透明な状態まで制御可能であるとしてよく、眼鏡4004の視野の一部分に重ねるための、または、置換するための補正画像を生成可能なデジタル層であってよい。補正層4006は、電気接続4008を介して、フレーム4002上の画像処理装置4010に接続されているとしてよい。
図23のプロセス2300を具体的に参照すると、ブロック2302において、検査モードデータを視覚補正フレームワークで受信するとしてよく、ブロック2304において、視野のゆがみ、欠損、収差および/または他の眼球異常をその位置と共に決定するとしてよい。
診断された中央視野の異常2306について、ブロック2308において、カスタム現実眼鏡装置は、例えば、図24に示すように、外環境からの画像について眼鏡を通過させて観視者の周辺視野に到達させるとしてよい。図示されているように、カスタム現実眼鏡装置2400は多層眼鏡ビューファインダー2402を備えるとしてよい。周辺領域2404は、光が通過できるように透明に設定されているとしてよく、被験者は実際の修正されていない外環境を見ることができる。ブロック2312において、外環境の中央領域2406は眼鏡装置2400で遮蔽されているとしてよく、中央領域については、例えば、図13、図14、図17および図18のような修正を利用して、修正されたレンディションがディスプレイによってユーザに提示されるとしてよい。
診断された周辺視野の異常2308について、ブロック2314において、外環境の中央領域2406’(図25を参照のこと) は、眼鏡装置2400の透明部分を通過することができる。そして、例えば、本明細書で説明している修正用の変換を利用することで修正後の周辺領域画像を周辺領域2404’内に表示させるように、周辺領域2404’の透明度を変更して光を遮蔽する。
他の例では、本明細書で説明している技術は、両眼視野を取得して増進するために用いられるとしてよい。このような両眼視野を両目に与えて、修正後の(または、一部の例では、増進した)視野を被験者が得られるようにするとしてもよい。図26から図30は、両眼視野拡張技術の例を示す図である。
図26は、被験者の正常な両眼視を示す図である。この場合、左目2602からの単眼視画像と、右目2604からの単眼視画像を組み合わせて、黄斑中央領域2608と、中央領域2608の周囲を取り囲む周辺視野領域2610を含む1つの感知画像2606を形成する。しかし、場合によっては、被験者は視野狭窄の症状がある場合があり、この場合は、図27に示すように、周辺領域2610は被験者には見えない。図示しているように、このような場合、1または複数の物体は視野には現れず、領域2610において周辺欠損2612が見られ、領域2610内の物体は患者には見えない。
いくつかの例において、図27に示す欠損はシフト画像修正技術を利用して矯正するとしてよい。図28に示すように、各視野カメラは単眼視画像2702および2704をそれぞれ撮像し、各単眼視画像は、わずかに異なる(ずれた)位置から見えているシーンを撮像しているので、それぞれ異なる。そして、撮像された2枚の単眼視画像2702、2704を視覚補正フレームワークによって互いに近くなるようにシフトして、画像2702’および2704’を得る。そして、これらの2枚のシフト画像を組み合わせて、見えているシーンの周辺部全体を捉える両眼視画像2706を生成する。モニターディスプレイを有する眼鏡装置については、各ディスプレイが被験者に対して修正後の両眼視画像2706を表示するとしてよい。一例において、説明したように、このシフト変換によって被験者の視野が、患者に複視を生じさせることなく、5%、10%、15%または20%増加し得る。
図29は、別の両眼視野矯正プロセスを示す図である。この例では、撮像された単眼視画像2902および2904を、例えば、周辺領域でのみサイズ変更する一方黄斑中央領域(中央の20度)をそのままにして、修正画像2902’、2904’を生成する。このようなサイズ変更変換によって、視野を拡大しつつ中央で視力を維持する。組み合わせた両眼視画像2906は、図から分かるように、それまで見えなかった周辺部の物体を捉えていると同時に中央黄斑領域の詳細度を維持している。周辺にある物体は、サイズ変更した後であっても被験者から明瞭に感知されている。これは、周辺視力が中央視力ほどは高感度でないためである。一例において、最大で20%の画像サイズの縮小が、患者に複視を発生させることなく、実行可能であると証明されている。さまざまな実施形態において、当該システムは周辺領域のサイズ変更を、中央領域のサイズ変更に加えて、または、代えて実行するとしてよい。例えば、周辺領域はサイズを縮小させる一方、例えば、緑内障患者については、黄斑中央領域のサイズは維持するとしてよい。
黄斑変性の場合はこの逆とすることができる。周辺視力を変更せず、中央を拡大する。
図30は、別の両眼視野矯正プロセスを示す図である。片目において周辺欠損がかなり外側である患者については、欠損が発生している方の目の視野3004において見えない物体3002をデジタル方式で視野3004の中間周辺領域3006に移動させることができる一方、他方の正常な方の目の視野3008はこの領域をカバーしている。つまり、見えなかった物体3002を、組み合わせた両眼視画像3010では正常視野内に表示する。被験者は、この領域で視覚が混乱していることに気付くであろうが、適応力に基づき、物体の移動または環境の変化に応じて視野のうちこの領域の情報を分離することが可能である。
検査モードのさまざまな例において、投影型ウェアラブル眼鏡を利用してパターンを網膜に投影するとしてよい。このパターンを用いて、直接網膜で欠損を決定することができるとともに、角膜に影響を与える欠損を決定することができる。一例において、投影パターンを用いて、加齢に伴う黄斑変性およびその他の網膜疾患における視覚歪み(dysmorphopsia)を評価して矯正することができる。図31Aに示すように、パターン3100のデジタル投影を被験者の目3102に投影するとしてよい。パターンは、眼鏡装置の内部に配置するプロジェクタでデジタルに生成されるとしてよい。内向き画像センサ等のデジタルカメラ3104も、目3102が反射するパターン3100の画像を撮像するべく眼鏡装置の内部に配置されるとしてよい。この画像の撮像は、例えば、図32に示すように、目の角膜表面から撮像されるとしてよい。パターン3100’の画像を撮影して、視覚補正フレームワークは、例えば、図33に示すようにパターンが通常に見えるかどうか、または、例えば、図34(3101)に示すように異常があるかを判断するとしてよい。異常については、評価して本明細書で説明している技術のうち1つを用いて矯正するとしてよい。
一部の例において、パターン3100は、アムスラーグリッド等の格子図、または、1または複数の眼球異常を治療するために必要な変換を検出できるよう設計されている任意の公知の基準形状であってよい。そして、この変換を用いてリアルタイムで画像を逆に歪ませて、視覚を改善するとしてよい。例えば、この技術を、仮想現実モデルまたは拡張現実モデルを用いて利用するとしてよい。図8の実装例において、視覚システム800は検査モジュール802を含むとしてよい。検査モジュール802は、ウェアラブル眼鏡に関連付けられているとしてよく、または、本明細書で説明しているように外部装置と組み合わせて実行されるとしてよい。検査モジュール802は、アムスラーグリッドを含む検査刺激を被験者806に対して提示するとしてよい。被験者は、ユーザ装置808または他の入力装置を介して、格子図の画像を操作して歪みを改善するとしてよい。視覚補正フレームワーク810は、被験者によるさらなる修正のためにアムスラーグリッドを提示するとしてもよい。被験者が手動での修正を完了すると、視覚補正フレームワーク810は、眼鏡装置を利用している場合に見えているシーンに適用すべき被験者の補正プロフィールを生成するとしてよい。視覚システム800について説明したワークフローは、本明細書で説明している他の検査モードの処理にも同様に適用可能であってよい。
図31Bは、ウェアラブル眼鏡(例えば、VRヘッドセットまたはARヘッドセット)に画像として表示されるアムスラーグリッド3100(つまり、基準画像の例)が提示されている様子を説明するための概略図である。アムスラーグリッド3100は、被験者の角膜および/または網膜に表示または投影されるとしてよい。標準的な格子図3100の例を図31Cに示す。同じ格子パターンをユーザ装置に表示するとしてよい。被験者は、格子パターンの線、特に、曲線状に見える線を、キーボード、マウス、タッチスクリーン、または、ユーザインターフェースを含むユーザ装置の他の入力部を用いて、操作するとしてよい。被験者は、画像操作を開始する基準点3110を特定することができる。被験者は、基準点を特定した後、特定した線をユーザ装置(例えば、矢印のキー)を利用することで調整し、異常が発生している黄斑が原因で感知している歪みを修正するとしてよい。この手順は、それぞれの目について別個に実行するので、修正入りの格子図が2つ得られるとしてよい。
被験者が、直線に見えるように線の変更を完了すると、視覚補正フレームワークは新しい格子図を用いて、くわえられた歪みに対応する頂点からなるメッシュを生成する。このような検査モードで生成されるメッシュを任意の画像に適用して、患者の異常を補償する。例えば、検査モードの確認の一環として、適切なメッシュに対応する変更後の画像をそれぞれの目に見せるとしてよい。そして、被験者はユーザ装置で、修正後の画像で異常が見当たらないかどうかを指摘することができ、異常が見当たらない場合には、補正が成功したといえる。例えば、図31Eは、ユーザが感知すべき、実際のシーンを図示している図である。図31Fは補正された視野を示す図であり、アムスラーグリッド方法によって決定される視覚歪みを持つ被験者に提供される場合、図31Fの視野を見ている被験者は、図31Eの実際の視野を感知することになる。
このような補正は、ライブ画像に対してリアルタイムで実行され、見えているシーンを連続的に補正して被験者に提示するとしてよい。眼鏡装置が撮像視野を生成するディスプレイを含むとしてもそうでないとしても、または、眼鏡装置がカスタム現実型で歪みを調整するための補正層を利用するとしてもそうでないとしても、どちらの場合も決定される補正用メッシュを利用し得るので、リアルタイムで補正を行い得る。
一部の例において、アムスラーパターン等の基準画像は、図31Gに図示している3150(例えば、タブレットPC)等の、タッチスクリーンまたはタブレットPCに直接表示されるとしてよい。アムスラーパターンは装置3150のディスプレイに提示され、被験者は、曲線状に見える線をスタイラス3152を用いて操作して、直線に見えるように線に対して適用されるべき補正を描くとしてよい。検査モード中は、変更が行われた後は毎回、格子図を再描画して最新の編集を反映させるとしてよい。この手順は、それぞれの目について別個に実行するので、変更後の格子図が2つ得られるとしてよい。被験者が検査モードでの変更を完了した後、タブレットPCはアプリケーションを実行して、メッシュデータの作成および眼鏡装置上の添付アプリケーションへの送信を行い、決定したメッシュを適用する画像を処理する。
眼鏡装置は、検査モードでの変更結果を受け取ると、任意の画像に適用して被験者の異常を補償するとしてよい。そして、この補正によって得られた画像を表示するとしてよい。表示は、VRヘッドセット、ARヘッドセットを介して行うとしてよい。一例を挙げると、ディスプレイは、ヘッドセットを利用してユーザに画像をホログラフィック方式で提示する。表示された画像はそれぞれ、それぞれの目について生成されるメッシュに対応するとしてよい。患者に修正後の画像は異常が無いように見えたのであれば、補正は成功とみなしてよく、今後の画像処理のために保持されるとしてよい。検査モードの一部の実施形態において、変更後の格子図にしたがって変更された一枚の画像を提示することに代えて、または、加えて、変更を組み込んだ動画を提示するとしてもよい。一例において、動画は、修正を経たカメラからのライブ動画ストリームを含み、被験者に表示される。
本開示に係る技術は、任意の数の用途で利用されるとしてよく、例えば、視覚に関連する疾患が瞬間的に発症してしまうことが頻繁だがそれ以外は健康な被験者、軍人および退役軍人等の被験者によって利用されるとしてよい。視野の欠損は、軍人、退役軍人、その他の患者に必要不可欠な能力を、日常生活を送る能力と同様に下げてしまう。このような視覚障害は、自立度、安全性、生産性および生活の質を下げてしまい、自尊心の低下および鬱状態を招いてしまう。近年の科学の進歩にもかかわらず、網膜、視神経または視覚野に対して損傷が発生してしまうと損傷を元に戻すための治療の選択肢は限られている。このため、治療は、機能を最大限にするための視覚支援を患者に提供することがほとんどである。現在の視覚支援は、上記の目標を達成するうえで十分ではない。このため、視機能、生活の質および安全性を改善するべくより良い視覚支援の必要性が高まっている。本明細書で説明している技術は、眼鏡装置に組み込まれるが、一般的な環境だけでなく厳しい環境または孤立した環境において視野欠損を生じさせる、発症が瞬間的な一般的な目の外傷、例えば、軍事関連の目の外傷および疾患を診断および軽減することが可能である。本明細書で説明している技術は、視野欠損を診断および定量化することが可能である。本装置は、このデータを利用して、リアルタイムで患者の視野を処理して、修正した画像を残りの機能している視野に適合させて投影する。このため、視野の盲点(または視力低下部分)が患者の視機能に対して与える悪影響が最小限に抑えられる。さらに、眼鏡装置は、視野欠損を診断するために別の医療装置を利用しないということから、厳しい環境または孤立した環境において特に有用性が高まる。同様に、本明細書で説明している技術は、正常な被験者の視野を増強させて、正常よりも良好な視野または視力を実現するために利用されるとしてよい。
本明細書で説明している技術は、低次視覚収差および/または高次視覚収差を動的に矯正するとしてよい。本明細書で説明している技術は、瞳孔の大きさ、調節状態および視線の変化を検出して、ユーザの目に表示または投影された視覚画像を、対応する視覚収差矯正プロフィールを利用して、処理するとしてよい。高次収差および/または低次収差は、瞳孔の大きさ、調節状態および注視方向に関連して収差計を用いて得られるとしてよく、これによって眼鏡は上記のような動的な矯正プロフィールを生成することが可能となる。本明細書で説明する技術を利用して被験者に投影される画像は、被験者の実際の収差に応じて逆にゆがめられる得るので、被験者自身の収差が再度反転して視力を最良にする(例えば、図31Bから図31Fを参照のこと)。本明細書で説明している技術は、瞳孔近見反射、つまり、縮瞳(瞳孔が小さくなる)、および、調節性輻輳(目が内側に移動)の様子を検出することによって、調節状態を検出するとしてよい。瞳孔追跡部は、瞳孔および視線を追跡して注視方向を検出するための瞳孔追跡部を含むとしてよい。本明細書で説明する他の入力部と同様に、このような入力部によって、本明細書で説明する技術は、表示すべき矯正プロフィールを検出することができるようになるとしてよい。
本明細書で説明する技術は、近見視力を実現するべく表示すべき画像を自動的にオートフォーカスするとしてよい。近視視力をさらに増強および改善するべく、本明細書で説明する技術は内向き画像センサ、例えば、カメラを利用して、瞳孔近見反射、つまり、縮瞳(瞳孔が小さくなる)および調節性輻輳(目が内側に移動)の兆候を検出することによって被験者が近くの対象物を見ようとしているか否かを検出し、自動的に近視視力を改善するとしてよい。本明細書で説明する技術はさらに、被験者の瞳孔近見反射の量を定量化することによって物体がどの程度離れているのかを決定することにより、瞳孔近見反射に対する適切な補正を得るとしてよい。
本明細書で説明する技術は、目のずれ、二次的に複視を動的に矯正するとしてよい。つまり、本明細書で説明する技術は被験者の瞳孔、および、視線または視軸を追跡するので、リアルタイムで画像をずらして目のずれを連続的に補償することにより、全ての注視において複視を抑制するとしてよい。
本明細書で説明する技術は、DTS視野カメラによって撮像された画像を被験者の実際の機能視野に分配し直すソフトウェアを含むとしてよい。実際の視野は、瞳孔、視線または視軸に関して、動的に投影されるとしてよい。
加齢に伴う黄斑変性または人間の黄斑におけるその他の疾患を持つ患者のうち、中央に盲点がある患者の場合、本明細書で説明する技術を用いて、被験者の機能視野の周辺部分または中心傍部分に画像を分配するとしてよい。本発明に係る技術は、対象の画像の一部を網膜の正常部分に投影させ、網膜の異常部分を回避するとしてよい。
本明細書で説明する技術は、正常な両眼視視野を捉えて、両目の実際の機能視野に分配して、被験者に可能な限り広い視野を与えるとしてよい。
被験者の目の屈折度が不均一であることに起因する不同視は、本明細書で説明する技術によって、例えば、均一なサイズの画像を生成して両目に表示または投影することで、矯正されて、視覚の乱れを抑制するとしてよい。
対象の画像の縮小または拡大といった歪みを視野に発生させる眼鏡のレンズとは異なり、本発明に係る技術は、表示または投影する視野が矯正用のレンズとは無関係であるので、被験者の視野に影響を及ぼさないように利用され得る。
本明細書で説明する技術は、周囲環境の明るさとは無関係の光を表示または投影するとしてよく、本明細書で説明する技術で検出するか、または、手動で患者が要求する瞳孔の大きさに従って自動で調整することができる。本明細書で説明する技術は、瞳孔の大きさを検出して、個々人に合わせてカスタマイズした方法で明るさを調整するとしてよい。瞳孔不同の被験者は本発明に係る技術を利用して、それぞれの目について別個に明るさの調整を行うことを可能にするとしてよい。これも、瞳孔の大きさを検出すると、本明細書で説明する技術によって、自動的に実行される。
<実施例>
本明細書で説明する技術を視野検査プロトコルに適用する例を説明する。検査モードは、高速しきい値化方式を適用して、所定の位置における52個の刺激シーケンスを利用した中央の40度の半径をカバーする4段階のコントラストである刺激を利用した。これについては、図35Aに図示している。他の例では、コントラストである刺激、カバー範囲および刺激の位置の数が異なるとしてよい。本例では、刺激は図35Aに図示する各セルの中心に配置した。12個の隅部のセルは、ディスプレイのレンズが円形であるために刺激が見えない位置であり、検査の対象ではないとした。刺激位置同士の間の間隔は、約10度とした。刺激シーケンスはそれぞれ、背景に対して、コントラストレベルが異なる連続する刺激を4つ含むとした。刺激となるコントラストは、コントラストレベル同士は、33dBと24dBとの間で3dB単位で降順に変動するとした。しきい値は、最後に見せた刺激で記録された。患者が特定の位置においていずれの刺激となるコントラストも見なかった場合、この位置を見えないものとして、0dBの値を与えた。
背景は照度が明るい(100ルクス)である一方、刺激は暗い点でそれぞれコントラストレベルが異なるとした。このため、検査は薄明視検査ではなく明所視検査とした。一部の実施形態において、背景が暗く、刺激は明るい照度の点であるとしてもよい。それぞれの刺激は、約250ミリ秒という期間にわたって提示された後、応答待機時間が約300ミリ秒とした。これらの期間は、被験者の応答速度にしたがって制御プログラムによって調整可能ともした。例えば、検査前の確認に基づいて検査前に、または、検査中に動的に調整するとしてよい。概して、0.44度の刺激サイズを中央の24度の半径で利用した。これは、標準的なゴールドマン刺激サイズIIIに対応する。周辺部における刺激サイズ(24度から40度の半径)は倍増させて0.88度とした。周辺視力における刺激サイズを倍増させるのは、周辺部では表示レンズの性能が劣化するのを補うことが目的であった。正常な人間の視力も周辺領域で悪化するので、このようなレンズの劣化の影響は大きかった。検査プログラムではさらに、さまざまな患者の事例に合わせて刺激サイズを変更できるようにした。
図35Aの固定ターゲット(パターン)は、検査したそれぞれの目のためのスクリーンの中央に配置した。このターゲットは、従来のハンフリー検査で通常利用される単色の固定点ではなく、多色点として構成した。このように色を変化させることで、被験者の注意をひきやすくして、ターゲットに焦点を合わせやすいようにした。色を変更する頻度は刺激が見える頻度とは同期させなかったので、被験者は両者を関連付けず、誤って応答しない。この検査プロトコルもまた、患者の症状に合わせて固定ターゲットサイズを変更できるとした。さらに、眼球/瞳孔追跡システムを用いて、被験者が目を固定する様子をさまざまな時間間隔で確認するとしてよい。眼球追跡システムは検査プログラムに注視ベクトル方向を送信して、被験者が適切に中心に焦点を合わせているか否かをプログラムに通知する。
固定しているか否かの確認は、それぞれの目について個別に瞳孔/注視データを利用して行った。瞳孔/注視データは、さまざまなタイミングで取得して、注視方向ベクトルが約0度である場合、被験者は中心にあるターゲットに焦点を合わせており、そうでない場合、プログラムは再度固定されるまで一時停止して待機した。患者が固定から外れている場合、刺激は表示されず、参加者が再度固定するまで検査は停止した。固定ターゲットにおける細かい目の動きのために、ずれには許容誤差が認められた。固定しているか否かの確認は、刺激の位置毎に主に2通りのタイミング、つまり、刺激シーケンスに含まれるそれぞれの刺激を表示する前(つまり、前述した4つのレベルのうちそれぞれの刺激コントラストレベルの前)、そして、応答を記録する前に、応答が肯定的(患者は刺激を見ている場合)または否定的(患者は刺激を見ていない)のいずれであろうと、行った。否定的な応答は、許容された応答時間に加えて刺激シーケンス期間の終了時に記録された。刺激シーケンスを示す前に固定しているか否かを確認するのは、患者が固定ターゲットに焦点を合わせていることを確認するためであった。被験者が固定から外れている場合、刺激は表示されず、参加者が再度固定するまで検査は停止した。
図35Bは、1つの刺激位置における検査シーケンスの5つの段階(a‐e)を示すタイミング図である。
一例において、瞳孔追跡装置は、視覚システムまたは視覚システムの装置とは別個であってもよいし、一構成要素であってもよいが、内向き画像センサを備え、画像表示装置、例えば、モニタに指示するデータを提供するよう構成されているとしてよい。画像表示装置は、視線の動きにしたがって投影されている刺激の位置を変化させるべく、プロジェクタを含むとしてよい。このようにすることで、被験者が見回していて固定していない場合であっても、刺激は被験者の目と共に移動するとしてよく、視野における所望の位置の検査を継続する。このため、被験者が固定ターゲット以外に焦点を合わせていると判断される場合に刺激シーケンスを停止させるのではなく、刺激シーケンスは刺激を継続して変更し、被験者の現在の固定点を決定することに基づいて再配置されるように、シーケンスにおいて、被験者の視野内で意図した位置に対応させるとしてよい。
被験者毎に、視野検査は、どのように検査を進めるかを被験者に説明することから開始された。眼鏡装置を患者に嵌めて被験者が固定ターゲットをはっきりと見えるようにして、必要であれば、ターゲットサイズをこれにしたがって調整した。眼球追跡のキャリブレーションを、ある一点、固定ターゲットにおいて、実行した。この後、デモンストレーションモードを被験者に提示した。このモードは、本検査と同じ順序で行われるが、位置の数を減らして本例では7個の位置で行い、どの応答も記録しない。このモードの目的は、検査に関して被験者にトレーニングを提供することであった。また、このトレーニングモードによってプログラム運営者は眼球追跡システムの精度、患者の応答速度、および、装着したヘッドセットに対する患者の目の位置を確認することができ、本検査においてエラーやずれが生じないようにする。
そして、15度の近接する範囲内で1度の間隔を空けて4つの異なる位置に配置された閾上刺激を示すことにより、正常な盲点を走査で検索した。これは、ヘッドセットと被験者の目との間の回転方向の不整合を回避するうえで有益なステップであった。
続いて、52個の刺激シーケンスを、予め指定した位置で順不同に患者に提示した。被験者は、刺激に応答して、電子クリッカーを起動させるか、または、ジェスチャをすることで、応答を示した。全ての位置での被験者の応答を記録した後、「見えなかった」点の位置を一時的に格納した。この後、検索アルゴリズムを利用して、「見えなかった」点の位置から成る境界上の全ての「見えた」点の位置を発見した。そして、これら2種類の点の集合を再度検査して参加者のランダムな応答エラーを除外し、視野領域が連続したものになるようにした。誤った肯定的な応答、誤った否定的な応答、および、固定損失(存在する場合)を、検査が終了するまでに、算出して報告した。この結果、52個の応答の全てをキュービック法を利用して補間して、検査対象の参加者の連続的視野プロットを生成した。
眼鏡装置の内側表示レンズの一部を被覆することでシミュレーションした視野欠損を利用して、20人のボランティア被験者に対して視野検査を試しに行った。ディスプレイの内被覆された領域を示す画像を利用しつつ、結果を点毎に比較して評価した。検査精度の基準として、52個の応答を、被覆されたヘッドセットのディスプレイ画像における略対応する位置で比較した。算出されたエラーを表1にまとめている。
一方、23人の臨床患者の視野検査を、被験者が診察で通常受けるハンフリーフィールドアナライザ(HFA)検査の最近の結果と比較した。これら2種類の視野検査装置同士で、共通する24度の中心領域を一致させて比較した。この検査でも比較および相対的なエラー算出は共通する24度の中心領域で点毎に行われ、この領域外の領域については、中心領域と連続していること、および、孤立した応答点が無いことから判断した。算出されたエラーを表2にまとめている。
この後、画像再マッピング処理を行った。これは、患者に示す表示画像について新たな寸法および中心を特定することを含むとした。出力画像は、元の入力画像をサイズ変更してシフトすることによって被験者の目の明視野にはめ込まれる。
視野は全ての「見えた」という患者の応答を1に設定し、「見えなかった」応答をゼロのままとすることによって、二値化された。この結果、8×8のサイズの小さい二値画像が得られた。他の実施形態では、利用する二値画像のサイズは増減するとしてよい。最大で4個の接続された画素を含む小領域は二値視野画像から削除した。4つの接続された画素は小領域を決定する上での所定のしきい値を表していたが、一部の実施形態ではしきい値をこれより増減させるとしてもよい。このような小領域は画像はめ込みプロセスでは考慮しなかった。無視した小領域は、正常な盲点、重要でない欠損、または、被験者の視野検査中に発生し得る任意のランダムなエラー応答のいずれかを表す。
このように補間された二値視野画像に基づいて、明視野の領域の特性を算出した。明領域について算出された特性は以下を含むとした。
1)画素を単位とした明領域
2)領域の境界となるボックス
3)重み付けされた領域の重心
4)視野のうち明領域を構成する全ての画素のリスト
境界となるボックスは、明領域を構成する全ての画素を取り囲む最小矩形とした。領域の重心は、水平座標および垂直座標に関して算出された当該領域の質量中心とした。この特性の値は、出力画像の新たな中心に対応し、マッピングに必要となる画像シフトの量に対応する。
最大の明視野を構成する画素のリストを利用することで、図36に示すように、明視野の境界を定める全ての画素の幅および高さを算出した。明視野の行毎に、境界となる画素を2つ特定し、それらの垂直座標に減算を行って、その行における明視野の幅BFwidthを取得した。このような幅の算出は、BFwidthsを算出するために明視野を構成する全ての行について繰り返された。同じような繰り返しは、BFheightsを算出するための列毎のプロセスにも適用されるとしてよい。この後、2つのスケーリング方程式のうちいずれか1つを利用して、マッピングされた出力画像のサイズ、WidthmapおよびHeightmapを図37に示すように新たに決定するとしてよい。
Widthmapは以下のサイズ変更方程式を利用して算出するとしてよい。
Widthmap1=中央値(BFwidths
Heightmap1=中央値(BFheights
BFwidthsおよびBFheightsはそれぞれ、算出された明視野の境界を定める画素の幅および高さである。このスケーリング方法では、上記で特定したように、新たな出力画像サイズとして、各方向における明視野サイズの中央値を算出し、新しい画像の中心とする。このように中央値を特定する方法は、平均値に代えて利用され、大き過ぎるか、または、小さ過ぎる明視野の寸法に関連するサイズ変更歪みを回避するためであった。この方法のマッピング挙動は、可能な限りで最大の明るい領域内に画像をはめ込むためであるが、この方法ではアスペクト比を維持しないので画像の拡大または縮小が発生し得る。
Heightmapは以下のサイズ変更方程式を利用して算出するとしてよい。
sizeは補間された画像のサイズ(出力画像サイズ)であり、BXwidths、BXheightsは、境界となるボックスの幅および高さである。この方程式の分子での和はそれぞれ、水平方向および垂直方向に関して算出される明視野の面積と略等しい。このため、これらの和を出力画像のサイズの二乗で除算した結果は、各方向においてマッピングすべき画像面積比例数の推定値となった。これらの比例数に、すでに算出した境界となるボックスの対応する寸法を乗算する。この方法のマッピング挙動は、出力画像のアスペクト比を維持しつつ最大明視野に画像をはめ込もうとすることである。境界となるボックスの寸法を計算に組み込んだことで、この効果が得られた。しかし、欠損が見られる視野パターン全てでアスペクト比を維持したとはいえない。
一実施形態において、AIシステムは、これら2つの方程式および、数百でなくとも数十の差分方程式を最適化プロセスで利用して、見えている視野のうち画像にはめ込む部分を多くできるのはどちらかを決定するとしてよい。操作者のフィードバックに基づいて、システムは、補正すべき特定の視野に基づき他の方程式に比べてある方程式を好むように学習するとしてよい。
これらの再マッピング技術は、有害物体特定検査において利用された。再マッピング方法は、安全上問題のあるもの、今回の検査では車両を含む検査画像を利用して、23人の被験者において検査した。検査画像は、図38に示すように、視野の4つの主な象限を検査するように選択された。視野の一例を利用して、被験者に表示する検査画像を再マッピングした。被験者は、向かってくる車両の画像を見せることで、検査した。被験者は、再マッピングされた画像を見せられるまで車両が見えなかった。図39Aには、再マッピングを行っていない場合に被験者が見ている画像を示し、図39Bには、 再マッピング後に見える画像を示す。本発明者たちの事前研究によると、78%の被験者(23人のうち18人)が、この支援技術無しでは無理だった安全上の問題を特定できた。一部の被験者は、両方の目について別個に検査を行ったので、33個の目についての検査が行われた。33個の目のうち23個において、視覚支援技術が、被験者がシミュレーションした向かってくる有害物を特定する上で有効であったことがわかった(P=0.023)。
本明細書で、単数として説明された構成要素、動作、または構造は複数で実施してもよい。1または複数の方法の個々の動作は別個の動作として図示および説明されているが、個々の動作のうち1または複数を同時に行ってもよく、これらの動作は図示されている順序で行う必要はない。構成例で別々の構成要素として提示された構造および機能は、組み合わされて一の構造または構成要素として実現してもよい。同様に、単一の構成要素として提示された構造および機能は、複数の別個の構成要素として実現してもよい。これらおよび他の変形例、変更例、追加例、および改善例は、本明細書の主題の範囲内に含まれる。
更に、特定の実施形態は、本明細書においては、ロジックまたはいくつかのルーチン、サブルーチン、アプリケーション、または命令を含むものとして説明されている。これらは、ソフトウェア(例えば、機械可読媒体または伝送信号で具現化されるコード)またはハードウェアの何れかを構成するとしてよい。ハードウェアにおいて、ルーチンなどは特定の動作を実行可能な有形の構成要素であり、特定の方法で構成または配置され得る。実施形態例において、1もしくは複数のコンピュータシステム(例えば、スタンドアロン型、クライアントまたはサーバコンピュータシステム)またはコンピュータシステムの1もしくは複数のハードウェアモジュール(例えば、プロセッサまたは一群のプロセッサ)は、ソフトウェア(例えば、アプリケーションまたはアプリケーション部分)によって本明細書で説明されている特定の動作を行うように動作するハードウェアモジュールとして構成されてもよい。
さまざまな実施形態において、ハードウェアモジュールは、機械的または電子的に実装され得る。例えば、ハードウェアモジュールは、特定の動作を行うために(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などの特定用途向けプロセッサとして)恒久的に構成された専用の回路構成またはロジックを備えてもよい。ハードウェアモジュールはまた、ソフトウェアによって特定の動作を行うよう一時的に構成されるプログラム可能なロジックまたは回路構成(例えば、汎用プロセッサまたは他のプログラム可能なプロセッサ内に含まれる)を備えてもよい。ハードウェアモジュールを、専用の恒久的に構成された回路構成で機械的に実装するか、または、一時的に構成された(例えば、ソフトウェアによって構成された)回路構成において機械的に実装するかは、費用や時間を考慮して決定し得るものと理解されたい。
したがって、「ハードウェアモジュール」という用語は、特定の方法で動作するように、または、本明細書で説明されている特定の動作を行うように、物理的に構築されるか、恒久的に構成されているか(例えば、ハードワイヤ型の)、または、一時的に構成されている(例えば、プログラムされている)エンティティである有形のエンティティを含むと理解されるべきである。ハードウェアモジュールが一時的に構成されている(例えば、プログラムされている)実施形態を考慮すると、ハードウェアモジュールのそれぞれを、一度に構成またはインスタンス化する必要はない。例えば、ハードウェアモジュールがソフトウェアを用いて構成されている汎用プロセッサを含む場合、当該汎用プロセッサはそれぞれ異なるタイミングで異なるハードウェアモジュールとして構成されてもよい。したがって、ソフトウェアは、例えば、あるタイミングではあるハードウェアモジュールを構成し、別のタイミングでは別のハードウェアモジュールを構成するように、プロセッサを構成してもよい。
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明したハードウェアモジュールは通信可能に結合されていると見なされ得る。そのようなハードウェアモジュールが複数同時に存在する場合、通信は、ハードウェアモジュール同士を接続する信号送信(例えば、適切な回路およびバスを介した信号送信)によって実現するとしてよい。複数のハードウェアモジュールがそれぞれ異なるタイミングで構成またはインスタンス化される実施形態において、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造に情報を格納して取り出すことによって実行するとしてよい。例えば、あるハードウェアモジュールは、処理を行い、その処理の出力を通信可能に結合されたメモリデバイスに格納してもよい。そして、別のハードウェアモジュールが後に当該メモリデバイスにアクセスして、格納されている出力を取得して処理してもよい。ハードウェアモジュールはまた、入力デバイスまたは出力デバイスとの通信を開始してもよく、リソース(例えば、情報の集合)に対して演算を行うことができる。
本明細書で説明している方法の例のさまざまな処理は、少なくとも部分的に、関連する動作を行うように(例えば、ソフトウェアによって)一時的に構成されている、または、恒久的に構成されている1または複数のプロセッサによって実行されてもよい。そのようなプロセッサは、一時的に構成されているか、恒久的に構成されているかに関わらず、1または複数の処理または機能を行うように動作するプロセッサ実装モジュールを構成してもよい。本明細書でモジュールと言う場合、一部の実施形態例において、プロセッサ実装モジュールを含み得る。
同様に、本明細書で説明している方法またはルーチンは、少なくとも部分的に、プロセッサで実装されてもよい。例えば、ある方法の処理のうち少なくともいくつかは、1または複数のプロセッサまたはプロセッサ実装ハードウェアモジュールによって行われてもよい。処理のうち特定のものの実行は、1または複数のプロセッサに分散されるとしてよく、単一のマシンだけでなく、複数のマシンに設けられてもよい。一部の実施形態例において、1または複数のプロセッサは単一の場所に配置されるとしてもよい(例えば、家庭環境内、オフィス環境内、またはサーバファームとして)が、他の実施形態においては、プロセッサは複数の場所にわたって分散させてもよい。
処理のうち特定のものの実行は、1または複数のプロセッサに分散されるとしてよく、単一のマシンだけでなく、複数のマシンに設けられてもよい。一部の実施形態例において、1または複数のプロセッサまたはプロセッサ実装モジュールは、単一の地理的場所(例えば、家庭環境内、オフィス環境内、またはサーバファーム内)に配置されてもよい。他の例示的な各実施形態において、1または複数のプロセッサまたはプロセッサ実装モジュールは、複数の地理的場所にわたって分散させてもよい。
特に明記しない限り、「処理する」、「算出する」、「計算する」、「求める(判定する、判断する)」、「提示する」、「表示する」などの用語を用いた本明細書における説明は、1または複数「のメモリ(例えば、揮発性メモリ、不揮発性メモリまたはこれらの組み合わせ)内の物理的(例えば、電子的、磁気的、または光学的)な量として表されるデータを操作または変換するマシン(例えば、コンピュータ)、レジスタ、または情報を受信、保存、送信、または表示する他のマシン構成要素の動作またはプロセスを指してもよい。一部の実施形態において、メモリまたはメモリのコンピュータ可読格納媒体は、プロセッサに本明細書で開示しているさまざまなシステムおよび方法を制御および実行させるべく、プログラム、モジュールおよびデータ構造、または、その一部を格納している。一実施形態において、非一時的コンピュータ可読格納媒体はコンピュータで実行可能な命令を格納しており、当該命令は、プロセッサによって実行されると、本明細書で開示している方法のうち1または複数を実行する。
本明細書で「一実施形態」または「実施形態」という場合、当該実施形態に関連して説明されている特定の要素、特徴、構造または特性が少なくとも1つの実施形態に含まれることを意味する。本明細書では「一実施形態において」という語句が何度も見られるが、必ずしも全てが同じ実施形態を指しているわけではない。
一部の実施形態は「結合」および「接続」という用語を用いて説明している場合がある。例えば、一部の実施形態では、2以上の要素が物理的または電気的に直接接触していることを示す場合に「結合」という用語を用いて説明しているとしてよい。ただし、「結合」という用語は、2以上の要素が互いに直接接触していないが互いに協働または相互作用することを意味する場合もある。各実施形態はこの意味に限定されない。
本明細書で用いられる、「備える(comprises)」、「備えている(comprising)」、「含む(includes)」、「含んでいる(including)」、「有する(has)」、「有している(having)」という用語またはそれらの活用形は、非排他的な包含を意図している。例えば、列挙された各要素を備えるプロセス、方法、物品、または装置は、必ずしもそれらの要素だけに限定されず、明示的に列挙されていない他の要素またはそのようなプロセス、方法、物品、または装置が本来持っている他の要素を含み得る。また、別途明言されない限り、「または(もしくは)」は、排他的な「または(もしくは)」ではなく、包括的な「または(もしくは)」を指す。例えば、「AまたはB」という条件は、次の何れかによって満たされる。Aは真(true)(すなわち存在する)およびBは偽(false)(すなわち存在しない)、Aは偽(false)(すなわち存在しない)およびBは真(true)(すなわち存在する)であれば、AもBも共に真(true)(すなわち存在する)である。
更に、「a」または「an」を用いて本明細書に記載の実施形態の要素および構成要素を説明している。これは単に便宜上、そして、本明細書が全般的に意味を成すように行われている。この説明および以下の特許請求の範囲では、1つまたは少なくとも1つを含むように解釈すべきであり、そうでないことを意味することが明らかでない限り、単数形は複数形も含む。
この詳細な説明は、例としてのみ解釈されるべきであり、全ての可能な実施形態を説明することは不可能ではないにしても非現実的であるため、全ての可能な実施形態を説明するものではない。現時点の技術または本願の出願日以降に得られた技術を用いて、多数の実施形態を代替的に実施することができるであろう。

Claims (30)

  1. システムであって、
    視覚モードにおいて被験者の少なくとも一方の目に対して画像を表示するよう構成されているディスプレイ、および、ハウジングを有するウェアラブル眼鏡装置と、
    前記ウェアラブル眼鏡装置に結合されており、前記被験者の視線および/または瞳孔の物理的状態を追跡するよう構成されている内向き画像センサと、
    前記視覚モードにおいて前記被験者の視野を撮像するよう構成されている外向き視野カメラと、
    プロセッサおよびメモリを有し、前記メモリに命令を格納する画像処理装置と
    を備え、前記命令は、実行されると、前記プロセッサに、
    検査モードにおいて、(i)検査視野における1もしくは複数の検査位置で複数の検査刺激を前記被験者に向けて表示するよう前記ディスプレイに対して指示すること、(ii)前記複数の検査刺激を表示している間に前記視線および/もしくは前記瞳孔の物理的状態の位置指標を取得するよう前記内向き画像センサに指示すること、(iii)前記検査視野において1もしくは複数の病変領域を決定すること、および、前記被験者の1もしくは複数の視覚疾患を決定すること、を実行させ、ならびに/または、
    前記視覚モードにおいて、前記視野を改善するべく、および/もしくは、前記1もしくは複数の病変領域を補償するべく前記画像を修正すること、および、修正された前記画像を前記ウェアラブル眼鏡装置を着用している前記被験者に向けて表示するよう前記ディスプレイに指示すること、を実行させ、
    前記複数の刺激は、コントラストレベルが、互いに、そして、基準コントラストレベルとは異なる、システム。
  2. 前記画像処理装置は命令を格納し、前記命令は、実行されると、前記プロセッサに、
    前記視覚モードにおいて、前記視野の前記画像を撮像するよう前記視野カメラに指示すること、前記検査視野において決定された前記1または複数の病変領域に応じて前記画像を処理すること、前記1または複数の病変領域を補償するよう前記画像を修正すること、および、修正された前記画像をデジタル画像として前記被験者に対して前記ウェアラブル眼鏡装置において表示するよう指示することを実行させる、請求項1に記載のシステム。
  3. 前記ウェアラブル眼鏡装置はさらに、第1のデジタルモニタおよび第2のデジタルモニタを有し、前記第1のデジタルモニタおよび前記第2のデジタルモニタのそれぞれは、前記複数の刺激のうち1つを前記検査モードにおいて前記被験者の対応する方の目に対して表示するよう構成されている、請求項1に記載のシステム。
  4. 前記視野カメラは、第1の視野カメラおよび第2の視野カメラを有し、前記第1の視野カメラは前記第1のデジタルモニタに対応し、前記第2の視野カメラは前記第2のデジタルモニタに対応する、請求項3に記載のシステム。
  5. 前記瞳孔の物理的状態は、前記被験者の(i)1または複数の瞳孔の瞳孔動き、(ii)角膜縁、(iii)視線および/または(iv)視軸である、請求項1に記載のシステム。
  6. 前記視野カメラは、前記ウェアラブル眼鏡装置の内面から内向きに延在する少なくとも1つの視野カメラを含む、請求項1に記載のシステム。
  7. 前記視野カメラは、前記ウェアラブル眼鏡装置の外面から外向きに延在する少なくとも1つの視野カメラを含む、請求項1に記載のシステム。
  8. 前記視覚モードにおいて、前記視野カメラは前記視野の複数の連続画像を撮像する、請求項1に記載のシステム。
  9. 前記複数の検査刺激は、物体または文字列を示す検査画像を少なくとも1つ含む、請求項1に記載のシステム。
  10. 前記1または複数の病変領域は、視覚感度が低減した領域、または、高次光学収差もしくは低次光学収差の領域を含む、請求項1に記載のシステム。
  11. 前記1または複数の病変領域は、明るさが低下した領域を含む、請求項1に記載のシステム。
  12. 前記複数の刺激は、互いに、そして、基準コントラストレベルに対して、コントラストレベルが少なくとも20dB異なる、請求項1に記載のシステム。
  13. 前記複数の刺激は、互いに、そして、基準コントラストレベルに対して、コントラストレベルが少なくとも30dB異なる、請求項1に記載のシステム。
  14. 前記画像処理装置は命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記検査モードにおいて、コントラストが高い順または低い順に、前記複数の検査刺激を前記被験者に対して前記ウェアラブル眼鏡装置によって表示するよう指示すること、を実行させる、請求項1に記載のシステム。
  15. システムであって、
    被験者の目に対して画像を表示するよう構成されている少なくとも1つのデジタルモニタを有するウェアラブル眼鏡装置と、
    一のシーンについて複数の単眼視画像を撮像するよう構成されている少なくとも1つの視野カメラであって、前記単眼視画像はそれぞれ、他の前記単眼視画像とずれている、少なくとも1つの視野カメラと、
    プロセッサおよびメモリを有し、前記少なくとも1つのデジタルモニタに結合されている画像処理装置であって、前記メモリに命令を格納している画像処理装置と
    を備え、前記命令は、実行されると、前記プロセッサに、
    前記複数の単眼視画像を組み合わせて、前記複数の単眼視画像のうちいずれの視野よりも大きい視野を持つ合成画像を作成することと、
    前記シーンについて視野を広げて前記被験者に提示するべく前記少なくとも1つのデジタルモニタに対して前記合成画像を表示することとを実行させる、システム。
  16. 前記画像処理装置は前記メモリに命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記複数の単眼視画像のうち少なくとも1つに対して前記複数の単眼視画像のうち他のものと相対的に選択的視野シフトを実行して、前記合成画像について周辺領域を広げることで、前記複数の単眼視画像を組み合わせて前記合成画像を作成することを実行させる、請求項15に記載のシステム。
  17. 前記画像処理装置は前記メモリに命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記複数の単眼視画像のうち少なくとも1つに対して前記複数の単眼視画像のうち他のものと相対的に周辺選択的視野操作を実行することで、前記複数の単眼視画像を組み合わせて前記合成画像を作成することを実行させる、請求項15に記載のシステム。
  18. 前記周辺選択的視野操作は、前記複数の単眼視画像の中央黄斑領域または周辺領域に対して縮小または拡大を実行することを含む、請求項17に記載のシステム。
  19. 前記画像処理装置は前記メモリに命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記複数の単眼視画像のうち少なくとも1つにおいて欠損視野領域を特定して、前記欠損視野領域を撮像して、撮像された前記欠損視野領域を無欠損視野領域に移動させて、前記被験者に対して表示するべく、移動させた前記撮像された欠損視野領域を含むよう前記合成画像を作成することで、前記複数の単眼視画像を組み合わせて前記合成画像を作成することを実行させる、請求項15に記載のシステム。
  20. 前記画像処理装置は前記メモリに命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記複数の単眼視画像のそれぞれの共通中央領域を特定して、前記複数の単眼視画像において異なる周辺領域を特定することで、前記複数の単眼視画像を組み合わせて前記合成画像を作成することと、
    前記共通中央領域に対応する第1の領域、および、前記異なる周辺領域を組み合わせて前記第1の領域の周囲を取り囲む拡大周辺領域を形成することで得られる第2の領域を含むよう前記合成画像を形成することとを実行させる、請求項15に記載のシステム。
  21. 前記画像処理装置は前記メモリに命令を格納しており、前記命令は、実行されると、前記プロセッサに、
    前記第2の領域が前記被験者の目の収差および視野欠損を補正するように前記合成画像を形成することを実行させる、請求項20に記載のシステム。
  22. 前記少なくとも1つのデジタルモニタは、前記被験者の対応する目に前記合成画像を表示するようそれぞれ構成されている第1のデジタルモニタおよび第2のデジタルモニタを含む、請求項20に記載のシステム。
  23. 装置であって、
    見えているシーンの画像を被験者に透過させる少なくとも1つの光学素子を有するウェアラブル眼鏡装置を備え、
    前記ウェアラブル眼鏡装置はさらに、前記少なくとも1つの光学素子に対応する少なくとも1つのデジタルモニタを含み、前記少なくとも1つのデジタルモニタは、補正用結像要素を、前記少なくとも1つの光学素子の前記見えているシーンの画像に重ねるよう構成されており、
    前記装置はさらに、
    プロセッサおよびメモリを有する画像処理装置であって、前記少なくとも1つのデジタルモニタに結合されている画像処理装置を備え、前記画像処理装置は、
    周辺視野欠損を補正するべく前記見えているシーンの前記画像の周辺要素として前記補正用結像要素を生成するか、または、中央視覚欠陥を補正するべく前記見えているシーンの前記画像の中央要素として前記補正用結像要素を生成するよう構成されており、
    前記被験者に対して見えているシーンに重ねて前記補正用結像要素を表示するよう構成されている、装置。
  24. 前記補正用結像要素は、前記見えているシーンの中央画像領域と相対的な前記周辺要素の調整した強度、または、前記見えているシーンの周辺画像領域と相対的な前記中央要素の調整した強度である、請求項23に記載の装置。
  25. 前記画像処理装置は、
    前記被験者の目の動きを検出した結果に応じて前記補正用結像要素の位置および/または構成を調整するよう構成されている、請求項23に記載の装置。
  26. 前記画像処理装置は、
    前記被験者の片目または両目の1または複数の病変領域を特定するよう、および、前記1または複数の病変領域を補償する前記補正用結像要素を決定するよう構成されている、請求項23に記載の装置。
  27. 前記画像処理装置は、
    検査モードにおいて、(i)検査視野における1または複数の検査位置で複数の検査刺激を前記被験者に向けて表示するよう前記少なくとも1つのデジタルモニタに対して指示すること、(ii)前記1または複数の検査位置において前記複数の検査刺激を表示している間に前記視線および/または前記瞳孔の物理的状態の位置指標を取得するよう前記装置の画像センサに指示すること、および、(iii)前記検査視野において前記1または複数の病変領域を決定すること、および、前記被験者の1または複数の視覚疾患を決定することを実行するよう構成されている、請求項23に記載の装置。
  28. 前記複数の刺激は、互いに、そして、基準コントラストレベルに対して、コントラストレベルが異なる、請求項27に記載の装置。
  29. 前記少なくとも1つのデジタルモニタは、前記少なくとも1つの光学素子の層で封止されている、請求項23に記載の装置。
  30. 前記層は、前記少なくとも1つの光学素子の内側層または外側層である、請求項23に記載の装置。
JP2020513863A 2017-09-27 2018-09-27 デジタル治療用矯正眼鏡 Pending JP2021502130A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023005907A JP2023071644A (ja) 2017-09-27 2023-01-18 デジタル治療用矯正眼鏡

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762563770P 2017-09-27 2017-09-27
US62/563,770 2017-09-27
PCT/US2018/053213 WO2019067779A1 (en) 2017-09-27 2018-09-27 DIGITAL THERAPEUTIC GUARANTEES

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023005907A Division JP2023071644A (ja) 2017-09-27 2023-01-18 デジタル治療用矯正眼鏡

Publications (1)

Publication Number Publication Date
JP2021502130A true JP2021502130A (ja) 2021-01-28

Family

ID=65807407

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020513863A Pending JP2021502130A (ja) 2017-09-27 2018-09-27 デジタル治療用矯正眼鏡
JP2023005907A Pending JP2023071644A (ja) 2017-09-27 2023-01-18 デジタル治療用矯正眼鏡

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023005907A Pending JP2023071644A (ja) 2017-09-27 2023-01-18 デジタル治療用矯正眼鏡

Country Status (8)

Country Link
US (4) US10386645B2 (ja)
EP (1) EP3687465B1 (ja)
JP (2) JP2021502130A (ja)
KR (1) KR20200063173A (ja)
CN (1) CN111511318B (ja)
BR (1) BR112020006142A2 (ja)
CA (1) CA3075934A1 (ja)
WO (1) WO2019067779A1 (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11546527B2 (en) * 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CA2901477C (en) 2015-08-25 2023-07-18 Evolution Optiks Limited Vision correction system, method and graphical user interface for implementation on electronic devices having a graphical display
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
US11179093B2 (en) * 2017-09-27 2021-11-23 Apexk Inc. Apparatus and method for evaluating cognitive function
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US10742944B1 (en) 2017-09-27 2020-08-11 University Of Miami Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
BR112020006142A2 (pt) 2017-09-27 2020-11-24 University Of Miami óculos corretivos terapêuticos digitais
CA3091176A1 (en) 2018-02-13 2019-08-22 Frank Werblin Methods and apparatus for contrast sensitivity compensation
EP3764964A4 (en) * 2018-03-16 2021-12-22 Rebiscan, Inc. OPHTHALMIC NEURONAL SCANNER APPARATUS AND METHOD
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11966507B2 (en) 2018-10-22 2024-04-23 Evolution Optiks Limited Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
FR3089785B1 (fr) * 2018-12-17 2020-11-20 Pierre Briand Dispositif médical d’aide à la perception d’environnement pour des utilisateurs aveugles ou malvoyants
US11789531B2 (en) 2019-01-28 2023-10-17 Evolution Optiks Limited Light field vision-based testing device, system and method
US11500461B2 (en) 2019-11-01 2022-11-15 Evolution Optiks Limited Light field vision-based testing device, system and method
US11178389B2 (en) * 2019-03-25 2021-11-16 Microsoft Technology Licensing, Llc Self-calibrating display device
JP7276823B2 (ja) * 2019-03-28 2023-05-18 学校法人早稲田大学 視覚認知機能評価システム
US11112609B1 (en) 2019-05-07 2021-09-07 Snap Inc. Digital glasses having display vision enhancement
JP7172870B2 (ja) * 2019-06-19 2022-11-16 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11902498B2 (en) 2019-08-26 2024-02-13 Evolution Optiks Limited Binocular light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
CN110728630A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的互联网图像处理方法及增强现实眼镜
CN110597386A (zh) * 2019-09-03 2019-12-20 北京爱博同心医学科技有限公司 基于增强现实的图像亮度提升方法及增强现实眼镜
CN110706164A (zh) * 2019-09-03 2020-01-17 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形显示方法及眼镜
CN110728631A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的图像动态对比度增强方法及增强现实眼镜
CN110728651A (zh) * 2019-09-03 2020-01-24 北京爱博同心医学科技有限公司 基于增强现实的管状视野图像变形检测方法及眼镜
KR102250775B1 (ko) * 2019-10-18 2021-05-11 주식회사 에스알파테라퓨틱스 근시 치료를 위한 디지털 장치 및 애플리케이션
US11487361B1 (en) 2019-11-01 2022-11-01 Evolution Optiks Limited Light field device and vision testing system using same
US11823598B2 (en) 2019-11-01 2023-11-21 Evolution Optiks Limited Light field device, variable perception pixel rendering method therefor, and variable perception system and method using same
US11768594B2 (en) * 2019-11-29 2023-09-26 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
JP2021089351A (ja) * 2019-12-03 2021-06-10 キヤノン株式会社 頭部装着システム及び情報処理装置
WO2021112836A1 (en) * 2019-12-04 2021-06-10 Hewlett-Packard Development Company, L.P. Interfaces and processes for biological characteristics handling in head-mountable devices
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11435503B2 (en) 2020-01-31 2022-09-06 Microsoft Technology Licensing, Llc Head mounted display device with double faceted optics
US11243399B2 (en) * 2020-01-31 2022-02-08 Microsoft Technology Licensing, Llc Head mounted display device with double faceted optics
JP7272985B2 (ja) * 2020-03-23 2023-05-12 ホヤ レンズ タイランド リミテッド 仮想画像生成装置及び仮想画像生成方法
US20210298593A1 (en) * 2020-03-30 2021-09-30 Research Foundation For The State University Of New York Systems, methods, and program products for performing on-off perimetry visual field tests
GB2584546B (en) * 2020-04-06 2021-09-01 Novasight Ltd Method and device for treating vision impairment
CN112022642B (zh) * 2020-09-16 2023-01-10 杭州集视智能科技有限公司 一种基于视野中心损伤的边缘视野训练设备及训练方法
JP2023550699A (ja) * 2020-10-28 2023-12-05 ユニバーシティー オブ マイアミ ヘッドマウントディスプレイにおける視野検査のためのシステムおよび方法
KR102467429B1 (ko) * 2020-11-13 2022-11-16 (주)에이트원 항만 장비 유지 보수를 위한 가상 훈련 시스템 및 그 방법
US20240000308A1 (en) * 2020-11-20 2024-01-04 Diagnosys LLC Methods and apparatus for performing enhanced full-field stimulus threshold (fst) tests
DE102020214707A1 (de) 2020-11-24 2022-05-25 Hochschule Bremen Verfahren und Vorrichtung zur rechnergestützten Simulation einer Sehhilfe für einen Benutzer mit Sehfehler mittels einer auf seinem Kopf getragenen Vorrichtung
CN112426333A (zh) * 2020-11-24 2021-03-02 杭州集视智能科技有限公司 一种偏盲患者立体视觉辅助电子设备及其控制方法
WO2022115860A1 (en) * 2020-11-25 2022-06-02 Irisvision, Inc. Methods and systems for evaluating vision acuity and/or conducting visual field tests in a head-mounted vision device
KR20220078298A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
GB202019278D0 (en) * 2020-12-08 2021-01-20 Give Vision Ltd Vision aid device
CN112807200B (zh) * 2021-01-08 2022-07-19 上海青研科技有限公司 斜视训练设备
CA3209939A1 (en) * 2021-03-05 2022-09-09 Raul Mihali Light field device and vision-based testing system using same
US11681146B2 (en) 2021-03-18 2023-06-20 Snap Inc. Augmented reality display for macular degeneration
CN113413265A (zh) * 2021-06-24 2021-09-21 上海理湃光晶技术有限公司 视功能障碍者视觉辅助方法、系统及智能ar眼镜
CN113520709B (zh) * 2021-06-25 2024-01-02 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN113687513A (zh) * 2021-08-26 2021-11-23 北京邮电大学 一种面向视野缺失人群的区域视野转移系统
KR102383793B1 (ko) * 2021-12-08 2022-04-11 주식회사 세븐포인트원 등록된 확장현실 기기 사용자의 집중도를 관리 및 제어하는 방법, 장치 및 시스템
JP7480335B2 (ja) 2021-12-08 2024-05-09 セブンポイントワン インコーポレイテッド 登録されたエクステンデッドリアリティ機器ユーザの集中度を管理及び制御する方法、装置並びにシステム
EP4197425A1 (en) 2021-12-17 2023-06-21 Carl Zeiss Vision International GmbH Determining a visual performance of an eye of a person
US11918287B2 (en) * 2021-12-27 2024-03-05 Novasight Ltd. Method and device for treating / preventing refractive errors as well as for image processing and display
US11633097B1 (en) 2022-03-18 2023-04-25 Mongoose Enterprises, LLC Automated method for testing peripheral and expanded visual fields on limited field of view head-mounted device
US20230350203A1 (en) * 2022-04-29 2023-11-02 Snap Inc. Ar/vr enabled contact lens
US20240036641A1 (en) * 2022-08-01 2024-02-01 Heru Inc. Ocular anomaly detection via concurrent presentation of stimuli to both eyes
EP4339681A1 (en) * 2022-09-16 2024-03-20 Leica Instruments (Singapore) Pte Ltd Device for an imaging system, ocular, display apparatus, imaging system, method and computer program
WO2024101781A1 (ko) * 2022-11-08 2024-05-16 삼성전자 주식회사 탄젠트 스크린을 표시하는 헤드 마운티드 디스플레이 장치 및 헤드 마운티드 디스플레이 장치의 동작 방법
CN115862300B (zh) * 2023-02-15 2023-11-14 暨南大学附属第一医院(广州华侨医院) 监控脑卒中风险预警方法和脑卒中风险预警的智能眼镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
JP2010162346A (ja) * 2009-01-15 2010-07-29 Internatl Business Mach Corp <Ibm> 視覚障害者の視野を改善する装置および方法
US20160270648A1 (en) * 2015-03-17 2016-09-22 Ocutrx Vision Technologies, LLC System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US20170092007A1 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and Devices for Providing Enhanced Visual Acuity

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208872A (en) * 1990-03-30 1993-05-04 The United States Of America As Represented By The United States National Aeronautics And Space Administration Programmable remapper with single flow architecture
US5359675A (en) 1990-07-26 1994-10-25 Ronald Siwoff Video spectacles
US5841511A (en) 1992-06-02 1998-11-24 Eyesys Technologies, Inc. Method of corneal analysis using a checkered placido apparatus
US5589897A (en) * 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
US5737060A (en) 1996-08-16 1998-04-07 Kasha, Jr.; John R. Visual field perimetry using virtual reality glasses
US5831667A (en) 1996-09-27 1998-11-03 Enhanced Vision Systems X-Y viewing table and adapter for low vision enhancement systems
GB9722949D0 (en) 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6152565A (en) 1997-12-31 2000-11-28 Premier Laser Systems, Inc. Handheld corneal topography system
CA2333678A1 (en) 1999-03-31 2000-10-05 Virtual-Eye.Com, Inc. Kinetic visual field apparatus and method
US6755529B2 (en) * 2002-03-12 2004-06-29 Visionrx, Inc. Method and apparatus for measuring contrast sensitivity
CA2535905A1 (en) 2003-08-15 2005-02-24 E-Vision, Llc Enhanced electro-active lens system
JP2005069757A (ja) * 2003-08-21 2005-03-17 National Institute Of Advanced Industrial & Technology 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム
JP4537192B2 (ja) 2004-12-21 2010-09-01 キヤノン株式会社 眼科装置
ATE534356T1 (de) 2005-02-01 2011-12-15 Kurt Heiberger Vorrichtung zum messen und zur chirurgischen korrektur von abbildungsfehlern im menschlichen auge
WO2007026368A2 (en) 2005-09-02 2007-03-08 El-Vision Ltd. Multi-functional optometric - ophthalmic system for testing, diagnosing, or treating, vision or eyes of a subject, and methodologies thereof
US8100530B2 (en) 2006-01-20 2012-01-24 Clarity Medical Systems, Inc. Optimizing vision correction procedures
JP4721941B2 (ja) * 2006-03-30 2011-07-13 北海道公立大学法人 札幌医科大学 検査システム、訓練システムおよび視覚情報呈示システム
WO2008070683A1 (en) 2006-12-04 2008-06-12 Sina Fateh System, method, and apparatus for amblyopia and ocular deviation correction
JP4663669B2 (ja) * 2007-03-29 2011-04-06 大塚電子株式会社 動画像処理装置及び方法
CA2916780C (en) 2007-04-02 2020-12-22 Esight Corp. An apparatus and method for augmenting sight
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
CN101601577B (zh) * 2009-02-26 2011-01-19 复旦大学附属眼耳鼻喉科医院 一种具有眼球跟踪和屈光补偿功能的电子视野计
EP2502410B1 (en) 2009-11-19 2019-05-01 eSight Corporation A method for augmenting sight
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
DE102012001835B4 (de) * 2012-01-31 2023-03-02 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
US20130215147A1 (en) 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
US9351639B2 (en) * 2012-03-17 2016-05-31 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
US8864310B2 (en) 2012-05-01 2014-10-21 RightEye, LLC Systems and methods for evaluating human eye tracking
CN115494654A (zh) 2012-06-11 2022-12-20 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
EP2674805B1 (en) 2012-06-13 2020-03-11 ESight Corp. An apparatus and method for enhancing human visual performance in a head worn video system
AU2013307201B2 (en) 2012-08-24 2017-02-23 Ic Inside Ltd Visual aid projector
US9823745B1 (en) * 2012-08-30 2017-11-21 Atheer, Inc. Method and apparatus for selectively presenting content
JP2013056206A (ja) * 2012-11-08 2013-03-28 Tomohiro Tsuta 視野視覚機能マッピング装置
US9448404B2 (en) 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US9677869B2 (en) * 2012-12-05 2017-06-13 Perimeter Medical Imaging, Inc. System and method for generating a wide-field OCT image of a portion of a sample
AU2013370897B2 (en) 2012-12-31 2017-03-30 Gentex Corporation Apparatus and method for fitting head mounted vision augmentation systems
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9180053B2 (en) * 2013-01-29 2015-11-10 Xerox Corporation Central vision impairment compensation
EP3108444A4 (en) * 2014-02-19 2017-09-13 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
US9971153B2 (en) 2014-03-29 2018-05-15 Frimory Technologies Ltd. Method and apparatus for displaying video data
US9028067B1 (en) * 2014-05-28 2015-05-12 Sightex LLC Relocated virtual retinal image method and system
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
ES2851300T3 (es) * 2014-07-07 2021-09-06 Neurolens Inc Sistema para medir la disparidad de fijación visual
US9443488B2 (en) * 2014-10-14 2016-09-13 Digital Vision Enhancement Inc Image transforming vision enhancement device
DE112016000728T5 (de) * 2015-02-12 2017-10-26 Google Inc. Kombinieren eines Displays mit engem Blickfeld und hoher Auflösung und eines Weitwinkeldisplays mit mittlerer Auflösung
US9943223B2 (en) * 2015-02-13 2018-04-17 University Of Miami Retinal nerve fiber layer volume analysis for detection and progression analysis of glaucoma
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US20160274365A1 (en) * 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
US9952434B2 (en) 2015-04-22 2018-04-24 The Florida International University Board Of Trustees Device for assisting visually impaired patients
WO2016196200A1 (en) * 2015-05-29 2016-12-08 University Of Rochester Optical device for off-axis viewing
WO2017120660A1 (en) 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
US10568502B2 (en) 2016-03-23 2020-02-25 The Chinese University Of Hong Kong Visual disability detection system using virtual reality
US20170296421A1 (en) 2016-04-15 2017-10-19 Dean TRAVERS Head-mounted apparatus and methods for treatment and enhancement of visual function
US20180088323A1 (en) 2016-09-23 2018-03-29 Sheng Bao Selectably opaque displays
US11160688B2 (en) 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20180144554A1 (en) * 2016-11-18 2018-05-24 Eyedaptic, LLC Systems for augmented reality visual aids and tools
WO2018169330A1 (en) 2017-03-15 2018-09-20 Samsung Electronics Co., Ltd. Systems and methods for determining defects in visual field of a user
IL269861B2 (en) 2017-04-14 2023-11-01 Magic Leap Inc Multimodal eye tracking
US20180314066A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Generating dimming masks to enhance contrast between computer-generated images and a real-world view
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
BR112020006142A2 (pt) * 2017-09-27 2020-11-24 University Of Miami óculos corretivos terapêuticos digitais
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005072667A1 (ja) * 2004-01-29 2005-08-11 Konica Minolta Photo Imaging, Inc. 視覚補助表示装置
JP2010162346A (ja) * 2009-01-15 2010-07-29 Internatl Business Mach Corp <Ibm> 視覚障害者の視野を改善する装置および方法
US20160270648A1 (en) * 2015-03-17 2016-09-22 Ocutrx Vision Technologies, LLC System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US20170092007A1 (en) * 2015-09-24 2017-03-30 Supereye, Inc. Methods and Devices for Providing Enhanced Visual Acuity

Also Published As

Publication number Publication date
EP3687465A1 (en) 2020-08-05
KR20200063173A (ko) 2020-06-04
US10955678B2 (en) 2021-03-23
CA3075934A1 (en) 2019-04-04
US10444514B2 (en) 2019-10-15
US10386645B2 (en) 2019-08-20
EP3687465A4 (en) 2021-06-16
US20190094552A1 (en) 2019-03-28
BR112020006142A2 (pt) 2020-11-24
CN111511318A (zh) 2020-08-07
JP2023071644A (ja) 2023-05-23
US10481402B1 (en) 2019-11-19
US20190227327A1 (en) 2019-07-25
CN111511318B (zh) 2023-09-15
EP3687465B1 (en) 2024-05-29
WO2019067779A1 (en) 2019-04-04
US20190391398A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US10386645B2 (en) Digital therapeutic corrective spectacles
US11039745B2 (en) Vision defect determination and enhancement using a prediction model
US10802288B1 (en) Visual enhancement for dynamic vision defects
US11102462B2 (en) Vision defect determination via a dynamic eye characteristic-based fixation point
US10531795B1 (en) Vision defect determination via a dynamic eye-characteristic-based fixation point
US10742944B1 (en) Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
US11659987B2 (en) Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations
JP2022525304A (ja) 視覚の欠陥判定と強化
US20220125299A1 (en) Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations
JPH08266465A (ja) 眼光学系のシミュレーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230523