JP2022550253A - 即時視線校正システム及び方法 - Google Patents
即時視線校正システム及び方法 Download PDFInfo
- Publication number
- JP2022550253A JP2022550253A JP2022510148A JP2022510148A JP2022550253A JP 2022550253 A JP2022550253 A JP 2022550253A JP 2022510148 A JP2022510148 A JP 2022510148A JP 2022510148 A JP2022510148 A JP 2022510148A JP 2022550253 A JP2022550253 A JP 2022550253A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- fixation
- image
- images
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims description 92
- 230000002207 retinal effect Effects 0.000 claims description 71
- 230000004256 retinal image Effects 0.000 claims description 42
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000002405 diagnostic procedure Methods 0.000 claims description 19
- 238000012014 optical coherence tomography Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 description 38
- 238000005259 measurement Methods 0.000 description 27
- 238000005286 illumination Methods 0.000 description 20
- 210000001747 pupil Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 14
- 238000010191 image analysis Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 210000004087 cornea Anatomy 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 10
- 210000001525 retina Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000012876 topography Methods 0.000 description 3
- 208000002177 Cataract Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
アイトラッキングシステムを初期化及び校正するシステム及び方法は、第1の位置からの眼の第1の画像及び第2の位置からの眼の第2の画像をキャプチャするように構成される、アイトラッカと、制御プロセッサであって、第1の画像から第1の複数の眼の特性を検出し、眼の特性が第1の対応画像座標を有し、第2の画像から第2の複数の眼の特性を検出し、眼の特性が第2の対応画像座標を有し、校正オフセット及び校正利得を判断するように構成される制御プロセッサと、を含む。制御プロセッサは、第1の対応画像座標及び/又は第2の対応画像座標に少なくとも一部基づいて、アイトラッカの光軸に対する眼球固視位置及び向きを判断するようにさらに構成され得る。
Description
本開示は、概して、アイトラッキングシステム及び方法に関し、より詳細には、例えば撮像、トラッキング、診断及び/又は外科システムにおいて眼の位置及び/又は向きをトラッキングするためのシステム及び方法に関する。
患者の眼を撮像し、測定し、診断し、トラッキングし、外科的に矯正し、且つ/又は外科的に修復するために、多岐にわたる眼科用デバイスが使用される。トポグラフィデバイス、角膜曲率測定デバイス、波面解析器又は眼の様相を(例えば、光学的、幾何学的など)測定する別のデバイスなどの眼科用デバイスの動作は、診断デバイスに対して定義された位置及び向きに眼が維持されているという仮定に基づくことが多い。患者は、眼科用デバイスの人間の操作者によって位置決めされ、例えばデバイス内を覗き込んで目標対象(例えば、固視灯)を見て、患者の視線(例えば、人がそれに沿って物を見る軸)を眼科用デバイスの光軸に整列させるように指示され得る。患者が適切に固視されていない場合、示度が不正確である場合があり、且つ/又はシステムが適切に機能できないことがある。
正確なデータ取得を保証するために、眼科用デバイスの人間の操作者には、患者が眼を整列させるように目標対象を適切に固視しているかどうかを判断するために、患者をモニタリングすること、患者に初期化手続を説明すること及び/又はデータ取得中のデバイスからのフィードバックをモニタリングすることが課されることが多い。既知の技術の1つは、デバイス操作者によって指示されるように目標対象を固視する患者の協力に依存することを含む。しかしながら、既存の手法は、固視を試みる患者の人為的過誤(例えば、高齢患者は、眼の位置を維持できないことがあり、患者は、眼を固定するための十分な集中力を欠いていることがあり、患者は、目標対象を直接見ることができないことがあるなど)及び手順中に患者をモニタリングする操作者による人為的過誤を含む多くの欠点を有する。別の手法では、網膜スキャン及び撮像分析が患者の眼の位置及び向きをトラッキングするために使用され得るが、網膜撮像システムの動作が診断手順の妨げとなることがある。その結果、網膜スキャン及び撮像システムは、眼科用デバイスを使用して実行される診断手順中、シャットダウンされるか、又はアイトラッキングにおける使用に対して動作不能にされることが多い。
前述の点に鑑みて、眼科的手順中、患者の眼の位置及び向きを判断及び/又はトラッキングするための改善された技術が当技術分野において継続的に必要とされている。
本開示は、概して、アイトラッキング撮像システムを初期化する自動化された方法に関する。本開示の種々の実施形態は、眼科用デバイスにおけるカメラベースの視線トラッキングシステム(又は他の撮像ベースアイトラッキングデバイス)を初期化する完全自動且つ即時方法に関する。
本開示の一態様において、システムは、第1の位置からの眼の第1の画像及び第2の位置からの眼の第2の画像をキャプチャするように構成される、アイトラッカと、制御プロセッサであって、第1の画像から第1の複数の眼の特性を検出し、眼の特性が第1の対応画像座標を有し、第2の画像から第2の複数の眼の特性を検出し、眼の特性が第2の対応画像座標を有し、第1の対応画像座標、第2の対応画像座標、第1の位置、及び第2の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断するように構成される、制御プロセッサと、を含む。
制御プロセッサは、第1の対応画像座標及び/又は第2の対応画像座標に少なくとも一部基づいて、アイトラッカの光軸に対する眼球固視位置及び向きを判断し、判断された眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定し、アイトラッカから複数の画像を受信し、第1の複数の画像からの少なくとも1つの画像を分析して眼球固視パラメータに対する現在の眼の位置及び向きを判断することによって、現在の眼の位置及び向きをトラッキングするようにさらに構成され得る。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得る。
制御プロセッサは、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、アイトラッカの光軸に対する固視位置を判断するようにさらに構成され得る。ヒストグラムを分析することは、相対最大値の座標が固視位置及び向きを含むかどうかを判断することとをさらに含み得、相対最大値の座標が固視位置及び向きをさらに含み得るかどうかを判断することは、相対最大値を閾値及び/又はヒストグラムの平均座標値と比較することをさらに含む。
本開示のいくつかの態様において、システムは、網膜スキャンを実行するように構成される光干渉断層撮影(OCT)スキャナを含む、網膜撮像システムを含み、アイトラッカは、網膜スキャンの間に眼の画像のストリームをキャプチャするようにさらに構成される。網膜撮像システムは、眼の複数の網膜画像をキャプチャし、中心窩が眼の複数の網膜画像のうちの1つ又は複数に存在するかどうかを検出し、検出された中心窩を有する眼の複数の網膜画像から第1の網膜画像を識別するように構成され得る。制御プロセッサは、第1の網膜画像に時間的近接性を有する画像のストリームから対応する画像を判断し、対応する画像を分析して眼球固視パラメータを判断するようにさらに構成され得る。
本開示のいくつかの態様において、制御プロセッサは、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断するようにも構成される。オフセットが閾値未満である場合、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
制御プロセッサは、眼球診断手続を実行し、眼球診断手続の間、アイトラッカを用いて眼の位置をトラッキングするようにさらに構成され得る。システムは、アイトラッカを用いて眼の位置及び向きをトラッキングしつつ、眼球診断手続を実行するように構成される、診断デバイスを含み得る。診断デバイスは、眼球固視パラメータ及びトラッキングされる眼の位置を表すデータに少なくとも一部基づいて、眼球診断手続を修正するように構成され得る。
本開示の種々の態様において、方法は、第1の位置から眼の第1の画像をキャプチャすることと、第1の位置とは異なる第2の位置から眼の第2の画像をキャプチャすることと、第1の画像から第1の複数の眼の特性を検出することであって、眼の特性が第1の対応画像座標を有する、第1の複数の眼の特性を検出することと、第2の画像から第2の複数の眼の特性を検出することであって、眼の特性が第2の対応画像座標を有する、第2の複数の眼の特性を検出することと、第1の対応画像座標、第2の対応画像座標、第1の位置、及び第2の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断することと、を含む。
方法は、眼の画像のストリームをキャプチャすることと、検出された眼の特性の座標、校正オフセット、及び校正利得に少なくとも一部基づいて画像のストリームにおける眼の位置及び向きを検出することと、光軸に対する眼球固視位置及び向きを判断することと、をさらに含み得る。方法は、判断された眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定することと、画像のストリームからの1つ又は複数の画像を分析して眼球固視パラメータに対する眼の位置及び向きを判断することによって、眼の位置及び向きをトラッキングすることと、をさらに含み得る。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得る。いくつかの実施形態では、方法は、画像のストリームを受信し、眼の位置の判断を出力するようにニューラルネットワークを訓練することを含む。
本開示のいくつかの態様において、方法は、検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、光軸に対する固視位置を検出することをさらに含み、ヒストグラムを分析することは、相対最大値を判断することを含み得る。
方法は、光干渉断層撮影(OCT)スキャナを用いて眼の網膜撮像スキャンを実行することと、網膜撮像スキャンから眼の複数の網膜画像をキャプチャすることと、眼の表面を撮像するように構成される撮像デバイスを用いて画像のストリームをキャプチャすることと、複数の網膜画像のうちの1つ又は複数において中心窩が存在するかどうかを検出することと、検出された中心窩を有する複数の網膜画像から第1の網膜画像を識別することと、第1の網膜画像に時間的近接性を有する画像のストリームから対応する画像を判断することと、対応する画像を分析して眼球固視パラメータを判断することと、をさらに含み得る。
本開示のいくつかの態様では、方法は、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断することをさらに含み得、オフセットが閾値未満である場合、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
方法は、眼球診断手順を実行し、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、且つ眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも部分的に基づいて眼球診断手順を修正することをさらに含み得る。
本開示の範囲は、特許請求の範囲によって定義され、特許請求の範囲は、参照によりこの項目に組み込まれる。1つ又は複数の実施形態の以下の詳細な説明を考慮することにより、その追加の利点の認識と共により詳細な理解が当業者に与えられる。最初に簡潔に説明される添付図面に対して参照が行われる。
本開示の態様及びそれらの利点は、以下の図面及び以下の詳細な説明を参照してよりよく理解され得る。類似の参照番号は、図面の1つ又は複数において示される類似の要素を識別するために使用され、図面において示されるのは、本開示の実施形態を例示するためであり、本開示の実施形態を限定するためではないと理解されたい。図面内の構成要素は、必ずしも縮尺通りではなく、代わりに本開示の原理を明確に説明することに重点が置かれている。
本開示は、概して、眼科用デバイスの動作中に使用するための、アイトラッキングシステムを初期化及び校正する自動化システム及び方法に関する。種々の実施形態は、単独で又は眼科用デバイスを動作する他のコンポーネント及び方法と共に使用され得るカメラベースの視線トラッキングシステムを初期化及び校正する完全自動化され且つ即時の方法を提供する。
本明細書で開示されるシステム及び方法は、従来システムを超える多くの利点を提供する。眼の動きを管理すること及び患者の固視を確実にすることは、角膜曲率計、角膜トポグラファ、及び収差計などの多くの眼科用診断デバイスの動作における因子である。これらのデバイスは、正確な示度を提供するために患者が機器の内部の特定の固視目標を固視することを必要とすることが多い。測定中、患者が適切に固視しておらず、且つこのことが考慮されない場合、示度の精度が著しく損なわれ得る。多くの実施態様の場合、人が固視し得る(静止目標上に視線を能動的に制御し得る)精度は、1度のオーダであり得るが、眼の状態(例えば、強白内障)に依存してそれよりも著しく悪くなることがある。患者が能動的に固視している場合でも、眼の正確な視線プロファイルが測定の間既知である場合、これが視線の動き及び着実に固視できないことによってもたらされる示度の測定ノイズを除去するために直接使用され得ると、いくつかの眼科用デバイスの動作はより正確になる。
本明細書で開示される改善された初期化及び校正技術は、患者の眼のより正確な測定を可能にし、患者の視線(本明細書において患者の視軸とも呼ばれる)が診断システムの光軸と整列しているかどうかを判断する診断システムにおいて用いられ得る。患者の視線/視軸は、患者の眼がそれに沿って対象を見るように方向付けられる軸であり得る。本明細書で開示されるシステム及び方法は、より簡易でより短く、且つより正確なシステム初期化及び校正を可能にする。本明細書で開示されるシステム及び方法に従って取得される診断データは、従来手法を通して取得されるデータよりも有意義且つ正確である。
図1A及び図1Bを参照すると、眼科用デバイスで使用する例としてのアイトラッキングシステムが、1つ又は複数の実施形態に従ってここで説明される。視線をトラッキングするための1つの方法は、カメラ画像を分析して、画像内の瞳孔の位置を、観察用カメラに対して空間内で固定される照明光源から生成される角膜反射の位置と比較することによる。図1A及び図1Bに示されるシステムは、患者が観察された眼の詳細をシステムが校正することを可能にする既知の固視点を固視するように指示される、校正手続を含む。示されるように、アイトラッキングシステム100は、画像キャプチャコンポーネント(例えば、可視光カメラ)及び画像キャプチャコンポーネントに対して既知の固定位置にある照明光源112A(例えば、1つ又は複数の発光ダイオード(LED))を含む。アイトラッキングシステム100は、例としてのカメラ画像120Aなどの、眼102Aの画像のストリームをキャプチャ及び分析することによって、眼102Aを撮像及びトラッキングするように構成される。
カメラ画像120Aは、角膜122A、瞳孔124A、及び照明光源112Aの反射126Aの画像などの、眼102Aの1つ又は複数の特性を識別するために分析される。カメラ画像120Aにおいて1つ又は複数の眼の特性を識別することによって、視線方位角GA及び視線仰角GEなどの眼102Aの位置及び向きについての情報が、判断され得る。カメラ画像120Aは、手続の間の眼の整列及び/又はオフセット位置の座標を判断するために分析され得る。例えば、カメラ画像120Aは、照明の角膜反射126A(CR)の画像座標[CRx,CRy]及び/又は瞳孔124A(例えば、瞳孔の中心PC)の画像座標[PCx,PCy]を判断するために分析され得る。
角膜反射CRと瞳孔中心PCとの間の画像座標差が、以下のように計算され得る。
Dx=CRx-PCx
Dy=CRy-PCy
これらの画像座標差は、視線の方位角(GA)及び仰角(GE)に比例する。
Dx~GA
Dy~GE
Dx=CRx-PCx
Dy=CRy-PCy
これらの画像座標差は、視線の方位角(GA)及び仰角(GE)に比例する。
Dx~GA
Dy~GE
Dx及びDyから視線方位角GA及び視線仰角GEをより正確に導出するために、オフセット(ax,ay)及び利得(bx,by)が、各画像座標x及びyにそれぞれ適用され得る。
GA=ax+bx*Dx
GE=ay+by*Dy
GA=ax+bx*Dx
GE=ay+by*Dy
変数a及びbは、例えば、撮像されている特定の眼の生体構造、カメラの設定、並びにカメラの照明光源及び光学系を含む、多様な因子に依存し得る。いくつかの実施形態では、a及びbの判断は、トラッキング対象の患者が、眼において定義された視線を刺激する目標のセット(例えば、固視点のグリッド)をその間固視するように求められる初期化手続を含み得る。例えば、図1Aは、患者が、アイトラッキングシステム100の光軸に近接した点又は光軸と整列された点などの第1の既知の固視点に焦点を合わせるように求められるシナリオを示している。図1Bは、眼がカメラの隣の点などの第2の既知の固視点を観察しているシナリオを示している。カメラの位置及び向き、眼の位置及び向き、並びに固視点の位置が、固視の間既知であるため、視線方位角GA及び視線仰角GEは、固視点毎に既知であるか又は推定され得る。2つのカメラ画像120A及び120Bはそれぞれ、各画像内の1つ又は複数の眼の特性(例えば、画像内の瞳孔の中心、画像内の反射の位置)の座標x及びyを判断するために分析される。次いで、アイトラッキングのためのシステムを初期化及び校正するために、連立方程式がa及びbについて解かれ得る。
図1A及び1Bを参照して説明される初期化手続は、実施に手間がかかり、且つ/又は何人かの患者についてエラーが発生し易い場合がある。患者は、統計的分析又は他の数学的分析(例えば、最小二乗解析)によってa及びbの値を計算するために、例えば、5以上の固視点のグリッドを別々に固視するように指示され得る。患者にいくつかの目標を固視するように求めることは、重大な患者の協力を必要とし、任意の1点に向けられる患者の視線は、エラーに左右される。
本開示のさらなる実施形態は、図2を参照してここで説明される。図2は、角膜曲率測定、角膜トポグラフィ、収差測定、及び他の使用のための診断システムにおける正確な視線トラッキングを可能にする、自動化された初期化及び校正コンポーネント及び手続を含むアイトラッキングシステム200を示す。図2に示されるシステム及び方法は、完全自動化されてもよく、且つ患者が手間のかかる初期化手続を通して実行する必要性を低下させ/除去し得るが、種々の態様は、操作者が一連の既知の固視点を固視するように患者を導くことを含む手続を含む、手動及び/又は他の自動アイトラッキング初期化及び校正手続を用いて使用され得る。
アイトラッキングシステム200は、眼の正確な固視を用いる任意のデバイスにおいて実施され得る。例えば、角膜曲率計、トポグラファ、及び収差計などの多くの眼科用デバイスは、診断手続中の正確な眼球固視に依存する。診断データの取得中の実際の視線についての正確な情報を有することは、不十分な固視を用いた示度をフィルタリング除去すること、実際の視線方向を考慮することにより不十分な固視を用いた示度を補償すること、及び/又は異なる時点において取られた、且つ示度を比較するときの視線の差を考慮する診断示度(例えば、角膜トポグラフィマップ)のより正確な比較を可能にし得る。
アイトラッキングシステム200は、第1の照明光源202を有する第1の画像キャプチャデバイス201と、第2の照明光源212を有する第2の画像キャプチャデバイス210と、を含む。第1の画像キャプチャデバイス201及び第1の照明光源202は、例えば、患者の眼220の画像をキャプチャするように適合された単一のカメラアイトラッカとして構成され得る。第1の画像キャプチャデバイス201は、眼科用デバイスの光軸に沿って患者の眼220の表面の画像をキャプチャするように構成される可視スペクトル画像キャプチャコンポーネントを含み得る。第2の画像キャプチャデバイス210は、既知の角度αから患者の眼220の表面の画像をキャプチャするように構成される可視スペクトル画像キャプチャコンポーネントを含み得る。いくつかの実施形態では、第2の画像キャプチャデバイス210は、第1の画像キャプチャデバイス210と同じ種類の撮像デバイス(例えば、類似コンポーネントの同じもの、同一のデバイスモデル番号などで構成される)であり、第1のカメラ画像204と類似の画像特性を有する第2のカメラ画像214を生成するために眼220から同一の距離に配置される。
処理システム230は、アイトラッキングシステム200の動作を制御し、制御コンポーネント232、撮像処理コンポーネント234、アイトラッキングコンポーネント236、及びシステム初期化コンポーネント238を含み得る。処理システム230は、ハードウェア、ファームウェア、及び/又はソフトウェアの組み合わせを通して実施される1つ又は複数のシステム又はデバイスを含み得る。いくつかの実施形態では、制御コンポーネント232は、画像キャプチャデバイス201及び210の画像キャプチャ動作を同期するための命令を提供することを含む、第1の画像キャプチャデバイス201及び第2の画像キャプチャデバイス210の動作を管理するように構成される。システム構成に依存して、第1の画像キャプチャデバイス201及び第2の画像キャプチャデバイス210は、同時に、及び/又は画像間の短い間隔で順次(例えば、同じ位置で眼220の2つの画像をキャプチャするようにタイミング調整されて)画像をキャプチャするように命令され得る。画像処理コンポーネント234は、キャプチャされた画像を分析して画像内の瞳孔の中心、角膜の位置、及び/又は反射の位置などの1つ又は複数の眼の特性を判断するように構成される。アイトラッキングコンポーネント236は、1つ又は複数の画像において識別される眼の特性の校正された測定値に基づいて、眼の位置をトラッキングするように構成される。
システム初期化コンポーネント238は、計測方程式を初期化して、キャプチャされた画像データから視線方位角GA及び視線仰角GEを正確に計算するように構成される。種々の実施形態では、患者は、診断デバイスの光軸を近似する既知の固視点を固視するように指示される。操作者は、アイトラッキング手続を開始し、初期化処理を通してユーザを導くように、ユーザインタフェースを用いてアイトラッキングシステム200と対話し得る。いくつかの実施形態では、患者が既知の点を固視しているときに、画像キャプチャデバイス201及び210のそれぞれから画像がキャプチャされる。第1の画像キャプチャデバイス201によってキャプチャされる第1のカメラ画像204及び第2の画像キャプチャデバイス210によってキャプチャされる第2のカメラ画像214は、システム初期化ルーチンにおいて使用される。眼球固視は、例えば、操作者の判断に基づいて、中心窩を検出する網膜撮像システムを用いて、瞳孔の中心に対する反射の位置の画像分析を通して、経時的にキャプチャされる複数の画像の統計的分析を通して、且つ/又は他の技術を通して、判断され得る。
2つの画像204及び214は、画像処理コンポーネント234を通して処理されて、画像毎に眼の特性が判断される。眼の特性の2つのセットは、眼220が既知の固視点を固視していたときに取られた2つの異なる測定値を表す。方程式の2つのセットは、次いで、校正オフセットa及び利得bについて解くために用いられてもよく、校正オフセットa及び利得bは、画像データから視線方位角GA及び視線仰角GEを判断するために用いられる。第2のカメラを用いて第2の角度から眼を撮像することによって、単一の固視点に対して眼の2つの画像及び測定値が取られてもよく、それによって、手間のかかる多重固視点初期化手続なしにオフセット及び利得が判断可能となる。他の実施形態では、1つ若しくは複数の追加カメラが他の角度において設けられてもよく、且つ/又は1つより多くの固視点が、誤差を更に最小化するために必要に応じて用いられてもよい。
本開示の種々の例としての実施形態が、図3~図10を参照してここでさらに詳細に説明される。図3を参照すると、1つ又は複数の実施形態によるシステム300は、アイトラッキングモジュール310(本明細書では「アイトラッカ」とも呼ばれる)及び任意選択の網膜撮像システム330を含み、それらは、通信可能に連結されている。アイトラッキングモジュール310は、眼302の向きをトラッキングするように構成され、第1の撮像デバイス312、第2の撮像デバイス313、及び1つ又は複数の照明コンポーネント314を含み得る。いくつかの実施形態では、第1の撮像デバイス312及び第2の撮像デバイス313は、瞳孔及び角膜輪部(角膜と白目、即ち強膜との間の境界)などの眼のある特徴、並びに照明コンポーネント314の1つ又は複数からの反射を撮像するように構成される、デジタルカメラ又は他のデジタル撮像デバイスである。いくつかの実施形態では、例えば、照明コンポーネント314は、リングの中心が角膜曲率の中心のように見えるような、カメラ光学系の周囲に位置するLEDリング(例えば、撮像デバイスの周囲の同軸照明光)を含み得る。
システム300は、制御ロジック318を含み、制御ロジック318は、本明細書で開示される機能を実行するように構成される記憶済みプログラム命令を実行するプロセッサを含み得る。いくつかの実施形態では、制御ロジック318は、第1の撮像デバイス312によってキャプチャされた複数の画像を使用して測定シーケンスを実行する。測定シーケンスは、瞳孔、輪部及び虹彩特徴など、画像データ(アイトラッキングデータ316など)内の眼302の検出可能な特徴の位置を使用することにより、眼302の位置及び向きを判断する。測定シーケンスは、角膜における照明システムの反射(照明された要素の円形パターンを含む反射317など)の位置も判断し得る。いくつかの実施形態では、測定シーケンス中、眼302の位置及び向きは、キャプチャされた画像を使用して連続的に判断される。制御ロジック318は、また、撮像デバイス312及び313からそれぞれキャプチャされた画像のペアから校正オフセット及び利得を計算して、キャプチャされた画像データから眼の位置及び向きを正確に計算することを含む、初期化及び校正シーケンス(例えば、図1A、図1B及び/又は図2を参照して説明されるシーケンス)を実行し得る。
制御ロジック318は、アイトラッキングモジュール310、網膜撮像システム330及び/又は他のシステムコンポーネントにおいて具現化され得る。制御ロジック318は、アイトラッキングモジュール310の動作中の相対眼球運動を検出するように構成され、それは、キャプチャされた画像及び照明光源位置の知識から眼の特徴を検出及びトラッキングする(例えば、瞳孔を検出する)ことを含み得る。例えば、瞳孔の中心のオフセット及び角膜曲率のオフセットを検出及び計算することは、眼の相対視線についての情報を提供し得る。
任意の網膜撮像システム330は、眼302の網膜を撮像するための任意のデバイス又はシステムを含み得る。網膜撮像システム330は、網膜光干渉断層撮影(OCT)システム、網膜光学システム又は網膜を撮像するための類似のシステムとして実施され得る。いくつかの実施形態では、網膜撮像システム330及び/又は制御ロジック318は、全測定シーケンス中に少なくとも1度、患者の中心窩を検出するように構成される。その結果、網膜撮像システム330は、(例えば、技術的理由又は安全上の理由で)全診断シーケンス中にアクティブである必要はなく、必要に応じてシャットダウン又は一時停止され得る。
中心窩は、ある網膜撮像システムにおいて検出され得る網膜内の窪みとして見えることが多い。種々の実施形態では、網膜撮像システム330は、網膜OCT画像334及び/又は眼底画像336などの網膜撮像データ332を生成する。網膜撮像システム330は、網膜OCTスキャンシステム、眼底撮像システム又は他の類似のデバイスを含み得る。患者が、システム300に関連付けられた目標対象を固視している場合、中心窩は、網膜撮像デバイスの光軸の中心に存在することになる。網膜撮像デバイスは、デバイスの光軸を中心とする中心部分をスキャンするのみでよい場合がある。患者が固視している場合、中心窩は、網膜撮像データ内に存在することになる。いくつかの実施形態では、網膜撮像デバイスは、中心窩検出のために眼の裏側を撮像するように構成される。システムが眼の異なる部分を撮像する必要がある場合(例えば、角膜の高分解能スキャン)、中心窩が画像内において視認できず、アイトラッキングモジュール310は、眼の位置及び回転をトラッキングするために使用される。
システム300は、アイトラッキングモジュール310の撮像デバイス312及び313からの眼の向きに関する情報(各画像キャプチャコンポーネントからキャプチャされた、検出された照明光源反射317を含む、アイトラッキングデータ316など)の処理を協調させる。システム300は、任意選択の網膜撮像システム330(網膜撮像データ332)からの情報を用いてアイトラッキングデータ316をさらに強調させ得る。動作中、システム300が、(例えば、網膜撮像システム330及び/又は制御ロジック318を介して)網膜撮像データ332のある領域において中心窩を検出する場合、眼の対応する向きがシステム300に知られる。この情報を用いると、システム300は、網膜撮像が利用可能でない測定段階においてさえ、患者が正しく固視しているかどうかをさらに判断し得る。固視情報は、初期化及び校正プロセスにおいて使用するための画像(例えば、固視時の眼の画像)を識別するために、アイトラッキングモジュール310によって使用され得る。校正されたアイトラッキングモジュール310は、次いで、キャプチャされた画像から眼の位置及び向きを正確に計算するために使用され得る。
アイトラッキングモジュール310は、網膜撮像と同時に眼の位置及び眼の回転を撮像及びトラッキングするように構成され得る。いくつかの実施形態では、キャプチャされた画像は、タイムスタンプ、フレーム基準(例えば、10フレーム前)、又は網膜画像と第1の撮像デバイス312及び第2の撮像デバイス313からキャプチャされた画像との同期を可能にする他の情報などの、関連する時間特性を含む。中心窩が検出された後、中心窩検出情報は、対応する時間特性及び中心窩が検出されたかどうかの標識を含み得、制御ロジック318、アイトラッキングモジュール310及び/又は他のシステムコンポーネントに提供され得る。
いくつかの実施形態では、眼302の位置及び向きの分析は、中心窩が網膜撮像システムで視認できた時間における眼の向き/位置を現在のアイトラッキングデータと比較する方法を含む。システム300は、例えば、測定シーケンスを含む診断手順において使用され得る。アイトラッキングモジュール310を使用する手順中、眼の位置及び向きをトラッキングすることにより、測定データは、対応するアイトラッキングデータと共に収集され、分析され得る。一実施形態では、眼302が固視していたとき(例えば、目の位置が固視位置から許容可能オフセット内にあるとき)に取得された測定データは、有効であると考えられ、さらなる診断/分析に使用され、眼302が固視していなかったとき(例えば、目の位置が固視位置から許容可能オフセット外にあるとき)に取得された測定データは、無視及び/又は破棄され得る。
種々の実施形態では、システム300は、中心窩検出情報を使用して基準固視情報を確立し、基準固視情報は、角膜に対する瞳孔のある向きを含み得る。アイトラッキングモジュール310は、中心窩検出情報(例えば、特定の時間又は他の時間基準において判断される固視)を受信し、同じ時間フレームから1つ又は複数の対応する画像を検索し、キャプチャされた画像を分析して、固視中の瞳孔と角膜中心との間の特定の関係を判断し得る。システムは、より正確な測定結果のための校正オフセット及び利得を判断するために、キャプチャ画像を用いて初期化及び校正され得る。眼の位置は、その際、新たにキャプチャされた画像における眼の位置及び向きを基準画像からの眼の位置及び向きと比較することによってトラッキングされ得る。これにより、眼が固視していることをアイトラッキングモジュール310が確認しつつ、網膜撮像システム330が眼302の別の部分を撮像すること(又は必要に応じて他の眼科用機器の動作)が可能となる。アイトラッキングモジュール310は、眼が(基準データに対するエラーの範囲内で)固視していた間に現在のスキャンが行われたかどうか、又は現在の眼の位置と基準の眼の位置との間のオフセットが閾値を超えるときなど、眼が固視していなかった間に現在のスキャンが行われたかどうかを示す固視情報を網膜撮像システム330に提供し得る。
システム300の動作中、網膜撮像データ332がもはや生成されないように、網膜撮像システム330は、診断又は他の手順中にシャットダウンされ得る。中心窩が網膜撮像システム330によって少なくとも1度以前に検出されている場合、システム300は、網膜撮像が利用可能でない手順の段階中でさえ、患者の眼球固視についての情報をデバイス操作者に提供し続け得る。例えば、システム300は、アイトラッキングモジュール310を使用してキャプチャされた現在の眼の位置及び向きを、網膜撮像システム330が中心窩を検出したときに判断された眼の位置及び向きと比較し得る。アイトラッキングモジュール310は、1つ又は複数の可視キュー(例えば、インジケータ光、表示スクリーン上の状態情報)又は可聴キュー(例えば、ビープ音)を通してデバイス操作者に標識を提供し得る。アイトラッキングモジュール310は、システム300の他のコンポーネントに固視情報をさらに提供して、例えば眼球固視を必要とする動作を制御し、且つ/又は取得されたデータを有効化/無効化し得る。図3において説明されるシステム及び方法は、種々の実施形態の例としての実装形態であることと、本開示の教示は、プルキンエ反射を生成する照明システム及び眼のデジタル画像をキャプチャするためのカメラを使用するシステム又はデバイスなど、他のアイトラッキングシステムにおいて使用され得ることとを理解されたい。
眼が固視しているかどうかを判断することを支援するために、制御ロジック318は、眼の現在の位置及び向きを判断し、眼が所望の対象を十分固視しているかどうかを判断するためのオフセットを計算するように構成され得る。一実施形態では、1つ又は複数の閾値が判断され得、対応閾値より低い任意のオフセットは、眼が固視しているとの判断をもたらす。いくつかの実施形態では、固視判断及び閾値は、アプリケーション依存であり、異なるオフセットは、異なる実装形態に対して許容可能であり得る。
いくつかの実施形態では、網膜撮像システム330は、中心窩が検出された時間フレーム(例えば、期間、1つ又は複数の画像、シーケンシャルインデックス値など)を識別して、アイトラッカが、同時又はほぼ同時に取られた、対応するアイトラッキング像を識別することを可能にする。アイトラッキングモジュール310及び/又は制御ロジック318は、次いで、初期化及び校正手続を実行して、キャプチャされた画像から眼の位置及び向きを正確に計算するために使用され得る校正オフセット及び利得を判断し得る。アイトラッキングモジュール310は、次いで、瞳孔及び角膜の相対位置を含む、固視位置に関連付けられた眼の基準位置を判断し得る。眼球固視情報は、眼の位置及び向きをトラッキングするためにシステム300によって即時使用され得、且つ/又は後にシステム100によって使用するために記憶及び検索され得る。例えば、眼球固視情報は、患者のために判断及び記憶され得、患者のための後続の手順又はキャプチャされた画像のオフライン分析のためシステム300(又は類似のシステム)によって使用するために検索され得る。
網膜撮像システム330が他のスキャンを実行している間及び/又は他の眼科用コンポーネントが動作中である間、アイトラッキングモジュール310は、画像ストリームをキャプチャし、基準画像から判断される位置及び向きに対する眼の位置及び整列状態を分析する。この分析は、(例えば、以前にキャプチャされたデータを分析するときに)手順及び/又はオフライン中にリアルタイムで実行され得る。現在の画像は、基準画像と比較され、オフセットが計算される。オフセットが閾値未満である場合、眼が固視しており、対応する網膜画像は、正確である。オフセットが閾値より大きい場合、眼が固視しておらず、対応する網膜画像は、フラグが立てられるか、破棄されるか、又は他のアクションが取られ得る。
いくつかの実施形態では、アイトラッキングモジュール310は、手順全体を通して眼を連続的に撮像する。フレーム毎に、画像ストリームにおいて反射が検出される場所に少なくとも部分的に基づいて、瞳孔位置が画像内で検出され得る。種々の実施形態では、トラッキング及び記録された情報は、画像、画像から抽出された画像特徴、画像プロパティ、画像内の瞳孔位置及び/又は反射位置の1つ又は複数を含み得る。アイトラッキングシステム及び網膜撮像システムは、網膜スキャン画像毎に1つ又は複数の対応するアイトラッカ画像が識別され得るように同期される。一実施形態では、一対一対応関係が存在する。他の実施形態では、画像は、キャプチャされた画像に関連付けられたタイムスタンプ又は他の同期データを通して同期される。
アイトラッキングモジュール310及び任意の網膜撮像システム330は、別個のコンポーネントとして説明されているが、システム300は、アイトラッキングモジュール310、網膜撮像システム330及び他のサブコンポーネントを含む種々のサブコンポーネントを有する診断デバイスを含み得ると理解されたい。いくつかの実施形態では、中央プロセッサは、システム300の動作を制御するため、2つのシステム間の通信を同期し、制御するため及び他のシステム機能を実行するために提供され得る。眼の位置及び向きの分析は、システム300によってリアルタイムで又は手順が完了した後に実行され得る。オフラインで、システム300は、患者及び操作者にフィードバックを提供し得る。オフラインで、システム300及び/又は他のシステムは、複雑な分析を実行するほど、より正確なスキャン及び結果を達成し得る。
いくつかの実施形態では、システム300は、2つ又は複数のカメラ(例えば、眼の表面を撮像するための)及び網膜を測定するための第2のコンポーネントを含むより大きい診断デバイスを含み得る。システム300は、3D眼球モデルを生成するために眼を撮像するように構成される複数のセンサを含み得る。第1のセンサシステムは、角膜形状を回復するため及びアイトラッキングを行うための2つ又は複数のカメラを含み得る。第2のセンサシステムは、眼の波面(眼の光学パラメータ)を測定する波面センサを含み得る。第3のセンサは、眼の異なる屈折面間の距離を測定し得るOCTシステムを含み得る。OCTは、全眼モード、半眼モード(眼の前面)及び角膜モード(より高い分解能を有する)を含む複数のモード及び分解能を含み得る。
センサデータは、メモリにデータを収集及び記憶するプロセッサ(例えば、図5に示されるような)に提供され得る。プロセッサは、融合アルゴリズムを使用して種々のセンサデータを組み込むパラメータ化モデルを含む眼の3Dモデルを導出し得る。3Dモデルは、例えば、白内障及び角膜屈折矯正手術計画のために使用され得る。データは、眼において眼内レンズ(IOL)インプラント配置を支援するなどのためにレイトレーシングに使用され得る。本明細書で説明される中心窩検出及びアイトラッキングのイノベーションは、網膜を通してスキャンするデバイスを含む任意の診断デバイス又は機器と共に使用され得る。アイトラッキングは、角膜曲率計、バイオメータ、波面測定デバイス並びにデジタルカメラ及び照明を含む他のデバイスにおいて実施され得る。
種々の実施形態では、絶対的な眼の向きは、OCTデバイスなど、網膜を通してスキャンするデバイスを利用し、それは、バイオメータ、並びに(i)網膜スキャン及び他の診断モードを提供する他のデバイス、及び(ii)他の入力機能を実行する他のセンサを含み得る。本明細書に開示されるシステムは、種々の実施形態においてより多くのコンポーネント、異なるコンポーネント及びより少ないコンポーネントと共に使用され得る。
本出願の利点は、当業者によって理解されるであろう。本明細書で開示されるシステム及び方法は、アイトラッキング情報の自動化された初期化及び校正を提供する。アイトラッキングは、患者から独立して(例えば、患者の協力に依存せずに)、患者が固視しているとき及び固視していないときに実行され得る。アイトラッキング情報は、収集され、プロセッサに提供され、それによってさらなる分析が可能となる。他のセンサデータは、アイトラッキングデータに基づく既知の又は投影された向きに対して調整するために、データを通してバックトラッキングすることによって、取得され、有効にされ得る。例えば、眼の位置は、スキャンデータを分析することに使用するために判断され、網膜撮像システムに提供されてもよい。患者が固視しているか、又は固視していないかのフラグを立てる能力は、多くのシステム動作に対して有益であり、本開示の初期化及び校正によってもたらされる精度は、システムが固視時間/間隔をより正確に判断し、且つ/又は計算されたオフセットに対して調整することを可能にする。患者が固視しているか又は固視していないかのフラグを立てる能力は、多くのシステム動作に有益である。固視の度合を判断する能力により、システムが多様な実装形態での使用に適合することが可能となる。後の検索及び分析のためにキャプチャされたデータを記憶することにより、複雑なニューラルネットワーク又は他の分析プロセスの使用などを通して、オフラインでのさらなる計算並びにより複雑な分析及びオプションが可能となる。
一実施形態では、制御ロジックは、信頼できないセンサデータをフィルタリング除去するために使用される基準点及び閾値で構成される。例えば、システムは、小さい視線の変更(例えば、オフセットの0.03度)が問題なくてもよいが、より大きい視線の変更が、フィルタリング除去すべき信頼できないデータを示すように構成され得る。いくつかの実施形態では、固視中に取得されるセンサデータは、共に平均され得るか又は結合され得る。他の実施形態では、取得されたデータは、計算されたオフセット並びに基準点における既知の眼の位置及び向きを使用して取得中の眼の位置を計算することにより、眼の位置及び向きの情報と共に分析され得る。いくつかの実施形態では、種々のセンサ及びデータの入力及び計算は、所望の出力データを生成するために、融合エンジンを使用して処理され得る。
種々の実施形態では、1つ又は複数のニューラルネットワークは、眼が目標対象を固視しているかどうかを判断するなどのための画像及びデータ分析に使用され得る。図4は、いくつかの実施形態による、例としての多層ニューラルネットワーク400の図である。ニューラルネットワーク400は、ロジックの少なくともいくつか、本明細書で説明される画像分析及び/又は眼球固視判断ロジックを実施するために使用されるニューラルネットワークを表し得る。ニューラルネットワーク400は、入力層420を使用して入力データ410を処理する。いくつかの実施例では、入力データ410は、本明細書で前述した画像キャプチャデータ及びキャプチャされた網膜画像データに対応し得る。いくつかの実施形態では、入力データは、固視、方向付け及び/又は他の判断を行うようにニューラルネットワーク400を訓練するために使用される入力訓練データに対応する。
入力層420は、スケーリング及び/又は範囲制限などによって入力データ410を調整するために使用される複数のニューロンを含む。入力層420の各ニューロンは、隠れ層431の入力に供給される出力を生成する。隠れ層431は、入力層420からの出力を処理する複数のニューロンを含む。いくつかの実施例では、隠れ層431のニューロンのそれぞれが出力を生成し、次いで、その出力は、図示されるように、隠れ層439で終わる1つ又は複数の追加の隠れ層を通して集合的に伝播される。隠れ層439は、前の隠れ層からの出力を処理する複数のニューロンを含む。隠れ層439の出力は、出力層440に供給される。出力層440は、スケーリング及び/又は範囲制限などによって隠れ層439からの出力を調整するために使用される1つ又は複数のニューロンを含む。ニューラルネットワーク400のアーキテクチャは、代表的なものに過ぎず、1つの隠れ層のみを有するニューラルネットワーク、入力層及び/又は出力層なしのニューラルネットワーク及び/又はリカレント層を有するニューラルネットワークなどを含む他のアーキテクチャが可能であることを理解されたい。
いくつかの実施例では、入力層420、隠れ層431~439及び/又は出力層440のそれぞれは、1つ又は複数のニューロンを含む。いくつかの実施例では、入力層420、隠れ層431~439及び/又は出力層440のそれぞれは、同じ数又は異なる数のニューロンを含み得る。いくつかの実施例では、ニューロンのそれぞれは、式a=f(Wx+b)に示されるように、その入力xの組み合わせ(例えば、訓練可能な重み行列Wを使用した加重和)を取り、任意選択の訓練可能なバイアスbを加え、活性化関数fを適用して、出力aを生成する。いくつかの実施例では、活性化関数fは、線形活性化関数、上限及び/又は下限を有する活性化関数、対数シグモイド関数、双曲線タンジェント関数及び/又は整流線形単位関数などであり得る。いくつかの実施例では、ニューロンのそれぞれは、同じ又は異なる活性化関数を有し得る。
いくつかの実施例では、ニューラルネットワーク400は、入力データとグラウンドトゥルース(例えば、予期された)出力データとの組み合わせを含む訓練データの組み合わせである、教師あり学習を使用して訓練され得る。生成された出力データ450とグラウンドトゥルース出力データとの間の差は、ニューラルネットワーク400にフィードバックされて、種々の訓練可能な重み及びバイアスを補正し得る。いくつかの実施例では、確率的勾配降下アルゴリズムなどを使用する逆伝播技術を使用して、その差をフィードバックし得る。いくつかの実施例では、訓練データの組み合わせの多数のセットは、全体的な損失関数(例えば、各訓練の組み合わせの差に基づく平均二乗誤差)が許容レベルに収束するまで、ニューラルネットワーク300に複数回提示され得る。訓練済みニューラルネットワークは、キャプチャされた画像の(例えば、固視若しくは固視ではないという)リアルタイム分類のために眼科用デバイス(例えば、図3のシステム300)において記憶及び実施され、且つ/又はキャプチャされたデータの分析のためにオフラインシステムにおいて記憶及び実施され得る。
図5は、アイトラッキングモジュール310及び任意の網膜撮像システム330の実装形態を含む、システム100、200及び300の1つ又は複数のコンポーネント及び/又はデバイスを含み得る、例としてのコンピューティングシステムを示す。コンピューティングシステム500は、プロセッサ512、メモリ514、通信コンポーネント522及びユーザインタフェースデバイス534を含むコンピューティングデバイス510を含む、互いに電気的通信関係にある1つ又は複数のデバイスを含み得る。
プロセッサ512は、バス又は他のハードウェア構成(例えば、1つ又は複数のチップセット)を介して種々のシステムコンポーネントに連結され得る。メモリ514は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)並びに/又は他の種類のメモリ(例えば、PROM、EPROM、FLASH-EPROM及び/若しくは任意の他のメモリチップ若しくはカートリッジ)を含み得る。メモリ514は、プロセッサ512に直接接続されるか、近接しているか、又はプロセッサ512の一部として統合されている高速メモリのキャッシュをさらに含み得る。コンピューティングデバイス510は、プロセッサ512による高速アクセスのために、キャッシュを通してROM、RAM及び/又は1つ若しくは複数のストレージデバイス524に記憶されたデータにアクセスし得る。
いくつかの実施例では、メモリ514及び/又はストレージデバイス524は、1つ又は複数のソフトウェアモジュール(例えば、ソフトウェアモジュール516、518及び/又は520)を記憶し得、ソフトウェアモジュールは、種々のアクションを実行するようにプロセッサ512を制御し、且つ/又は制御するように構成され得る。コンピューティングデバイス510は、1つのプロセッサ512のみで示されているが、プロセッサ512は、1つ又は複数の中央処理装置(CPU)、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、グラフィックス処理ユニット(GPU)及び/又はテンソル処理ユニット(TPU)などを表し得ると理解されたい。いくつかの実施例では、コンピューティングデバイス510は、スタンドアロンサブシステムとして、且つ/又はコンピューティングデバイスに追加されたボードとして若しくは仮想マシンとして実施され得る。
ユーザがシステム500と対話することを可能にするために、コンピューティングデバイス510は、1つ若しくは複数の通信コンポーネント522及び/又はユーザ入力/出力(I/O)を容易にする1つ若しくは複数のユーザインタフェースデバイス534を含む。いくつかの実施例では、1つ又は複数の通信コンポーネント522は、1つ又は複数のネットワーク及び/又は通信バス規格に従って通信を提供するために、1つ又は複数のネットワークインタフェース及び/又はネットワークインタフェースカードなどを含み得る。いくつかの実施例では、1つ又は複数の通信コンポーネント522は、ローカルエリアネットワーク、無線ネットワーク、インターネット又は他のネットワークなどのネットワーク580を介してコンピューティングデバイス510と通信するためのインタフェースを含み得る。いくつかの実施例では、1つ又は複数のユーザインタフェースデバイス534は、キーボード、ポインティング/選択デバイス(例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン)、オーディオデバイス(例えば、マイクロフォン及び/若しくはスピーカ)、センサ、アクチュエータ、ディスプレイデバイス並びに/又は他の入力/出力デバイスなどの1つ又は複数のユーザインタフェースデバイスを含み得る。
いくつかの実施形態によれば、ユーザインタフェースデバイス534は、本明細書で開示されるプロセスの実行時にユーザ(例えば、外科医及び/又は他の医療関係者)を支援するのに適したグラフィカルユーザインタフェース(GUI)を提供し得る。GUIは、実行される次のアクションに関する命令、眼の術前及び/又は術後の画像などの注釈付き及び/又は注釈なしの解剖学的構造の図及び/又は入力要求などを含み得る。いくつかの実施例では、GUIは、解剖学的構造などのトゥルーカラー画像及び/又はフォルスカラー画像を表示し得る。
ストレージデバイス524は、ハードディスク、光学媒体及び/又はソリッドステートドライブなどによって提供されるものなどの非一時的及び不揮発性ストレージを含み得る。いくつかの実施例では、ストレージデバイス524は、コンピューティングデバイス510と同じ場所に配置され(例えば、ローカルストレージデバイス)、且つ/又はシステム500から離れて配置され得る(例えば、クラウドストレージデバイス)。
コンピューティングデバイス510は、医療関係者によって使用するための1つ又は複数の診断、撮像、外科及び/又は他のデバイスに連結され得る。例示される実施形態では、システム500は、眼科用デバイス550と、アイトラッカ560と、任意の網膜イメージャ570とを含み、それらは、コンピューティングデバイス510を含む1つ又は複数のコンピューティングシステムにおいて具現化され得る。眼科用デバイス550は、患者の眼552に対して手順を行う操作者に対するフィードバックを制御及び/又は提供するためのユーザインタフェース554を含む。眼科用デバイス550は、患者の眼552を撮像し、測定し、診断し、トラッキングし、且つ/又は外科的に矯正及び/若しくは修復するためのデバイスを含み得る。
眼科用デバイス550は、アイトラッカ560(図3のアイトラッキングモジュール310など)に通信可能に連結され、アイトラッカ560は、眼科用デバイスから眼球撮像データを受信し、手続の間、眼552の位置及び整列の状態情報を提供する。アイトラッカ560は、眼科用デバイス550の光軸に対して既知の位置に位置する2つ以上のイメージャ(例えば、イメージャA及びイメージャB)を含む。アイトラッカ560は、完全に又は部分的に自動化され得る初期化及び校正手続を実行するように構成される。校正手続は、眼が固視している間に眼552の1つ又は複数の画像をキャプチャするようにイメージャA及びイメージャBのそれぞれに命令すること、並びに校正オフセット及び利得を計算することを含む。アイトラッカ560は、次いで、眼552の画像をキャプチャし、1つ又は複数の眼の特性についてキャプチャされた画像を分析し、校正オフセット及び利得を用いて視線方位角GA及び視線仰角GEを計算し得る。任意の網膜イメージャ570は、眼科用デバイス550及びアイトラッカ560の両方に通信可能に連結され、眼科的手順において使用するため及び固視トラッキングに使用するための中心窩検出のために、眼552の網膜画像をキャプチャするように構成される。
種々の実施形態では、メモリ514は、任意の網膜撮像分析モジュール516、アイトラッカモジュール518及び眼科的手順モジュール520を含む。網膜撮像分析モジュール516は、網膜イメージャ570を使用して網膜画像をキャプチャし、且つ/又はキャプチャされた網膜画像を分析するようにプロセッサ512に命令するためのプログラム命令を含む。網膜画像分析モジュール516は、1つ又は複数のキャプチャされた網膜画像(例えば、キャプチャされた画像、網膜画像のリアルタイムストリーム、記憶された網膜画像など)を受信し、関連画像特徴を抽出し、中心窩の存在又は不在を検出する(例えば、中心窩検出を示す分類を出力する、適切な眼の位置及び/又は整列の可能性を出力するなど)ように訓練されたニューラルネットワークを含み得る。
アイトラッカモジュール518は、アイトラッカ560を使用して眼552の画像をキャプチャし、且つ/又はキャプチャされた画像を分析するようにプロセッサ512に命令するためのプログラム命令を含む。アイトラッカモジュール518は、1つ又は複数のキャプチャされた画像(例えば、キャプチャされた画像、アイトラッカ560からの眼球画像のリアルタイムストリーム、画像Aと画像Bとの画像ペア、記憶された眼球画像など)を受信し、関連画像特徴を抽出し、アイトラッキング情報を出力する(例えば、眼の整列標識を出力する、適切な眼の位置及び/又は整列の可能性を出力する、適切な位置及び整列状態からの眼のオフセットを出力するなど)ように訓練された1つ又は複数のニューラルネットワークを含み得る。
種々の実施形態では、アイトラッカモジュール518は、眼552が既知の固視点を固視している間に受信される整列データに基づいて、基準の眼の位置を判断するように構成される。例えば、アイトラッカモジュール518は、網膜画像分析モジュール516から中心窩検出情報を受信してもよく、中心窩検出情報は、適切な整列状態にある眼552を示すアイトラッカ560からの対応する画像を識別するために使用される。アイトラッカモジュール518は、操作者フィードバック、統計的分析、画像分析、及びシステム500に利用可能な他のソースを含む、他のソースから固視情報を受信し得る。アイトラッカモジュール518は、固視の間イメージャAからの画像及びイメージャBからの画像をキャプチャすることと、各画像内の少なくとも1つの特性を判断することと、2つの画像内の眼の特性の画像座標を比較することと、将来の眼の位置計算において使用するための校正オフセット及び利得を計算することと、を含むプロセスによって眼の位置計算を自動的に校正するようにさらに構成される。アイトラッカモジュール518は、アイトラッカ560によってキャプチャされた画像を分析し、基準画像及び/又は計算された位置に関連するアイトラッキング情報を出力するようにさらに構成される。
眼科的手順モジュール520は、眼科的手順を行うようにプロセッサ512に命令するためのプログラム命令を含み、ユーザインタフェース554を通した手順中のユーザ入力及び出力並びにキャプチャされたデータの分析を含み得る。いくつかの実施形態では、眼科的手順モジュール520は、手順中にキャプチャされたデータを分析するための訓練済みニューラルネットワークを含む。眼科的手順モジュール520は、アイトラッカモジュール518からアイトラッキング情報を受信し、アイトラッカモジュール518は、許容可能なオフセット閾値、オフセットデータ及び/又は他の情報の中に整列状態を含み得る。いくつかの実施形態では、眼科的手順モジュール520は、患者の眼552が許容可能な整列位置にあるときに動作し、患者の眼が整列状態にないときに眼科用デバイス550の操作者にユーザインタフェース554を通して標識(例えば、ビープ音などの音、閃光などの視覚的標識など)を提供するように構成される。
システム500は、オンライン処理(例えば、後続の手順中の)及びオフライン処理を含む後の処理のために、キャプチャされた網膜のアイトラッキングデータ及び眼科的手順データを記憶し得る。ストレージデバイス524は、患者についてキャプチャされた網膜画像データ526を記憶し得る。網膜画像データ526は、患者識別子、キャプチャ画像のストリーム、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)及び/又は中心窩が画像内で検出されたかどうかについての情報を含み得る。ストレージデバイス524は、アイトラッカデータ528も記憶し得る。アイトラッカデータ428は、患者識別子、キャプチャ画像のストリーム、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)、固視が検出された期間とキャプチャ画像が対応しているかどうか、及び/又は固視中の眼の基準位置を提供する情報、及び/又は校正オフセット及び利得情報を含み得る。ストレージデバイス524は、手順中に患者についてキャプチャされた手順データ530も記憶し得る。手順データ530は、患者識別子、手順中にキャプチャされたデータのストリーム(例えば、画像、データ示度、データ計算など)、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)、手順におけるある時点の眼の位置について計算されたオフセット情報及び/又は手順中のある時点に目が固視していたかどうかを含む。
コンピューティングデバイス510は、1つ又は複数のアプリケーションサービスをコンピューティングデバイスに提供する1つ又は複数のネットワークサーバ582と通信し得る。いくつかの実施形態では、ネットワークサーバ582は、訓練データセット586を使用してニューラルネットワークの1つ又は複数を訓練するためのニューラルネットワーク訓練モジュール584を含み、訓練データセット586は、ラベル付き画像を含み得る。例えば、網膜画像分析モジュール516は、中心窩の存在及び/又は不在を識別するためにラベル付けされた網膜画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール518は、基準データに対する画像のオフセットを識別するためにラベル付けされた、キャプチャされた眼の画像のセット及び基準データを使用して訓練されたニューラルネットワークをさらに含み得る。眼科的手順モジュール520は、アイトラッカモジュール518からの整列データ及び/又はオフセットデータを含む、手順中にキャプチャされたデータを表すデータのセットを使用して訓練されたニューラルネットワークを含み得る。
図6を参照すると、眼科用デバイスを初期化及び校正するためのプロセス600の例としての実施形態について、ここで説明される。ステップ610において、患者は、眼科用システムにおいて位置決めされ、患者の視線を眼科用デバイスの整列軸と整列させるように目標対象に焦点を合わせる方向に向けられる。一実施形態では、患者の網膜が分析されて、患者が適切に固視していることを確認する。例えば、システムは、網膜をスキャンし、スキャンされた網膜データを取得し、取得されたデータを分析して中心窩を検出するように構成される網膜撮像システムを含み得る。いくつかの実施形態では、システム操作者は、患者が固視しているかどうかについての操作者の判断に基づいて、システムへのフィードバックを提供し得る。他の手法では、画像データは、固視手続中に取得され、(例えば、ヒストグラム又は他の画像データの分析を通して)固視を判断するために分析されてもよい。
ステップ620において、眼の表面の複数の画像が、少なくとも2つの既知の位置から画像をキャプチャするために配置された対応する撮像デバイスからキャプチャされる。例えば、図2及び図3のシステムにおいて、それぞれ異なる既知の位置からの眼の画像のペアをキャプチャするために、2つのカメラが使用される。種々の実施形態では、画像は、眼の現在の位置及び向きをキャプチャするために、同時に又は短い時間間隔にわたって順次、キャプチャされる。
ステップ630において、キャプチャされた画像が、1つ又は複数の眼の特性の画像座標を判断するために分析される。眼の特性は、画像内で検出された瞳孔の中心、画像内で検出された角膜の中心、画像内で検出された照明光源からの反射の位置、又は他の眼の特性を含み得る。いくつかの実施形態では、画像座標は、各画像内の画素位置の(x,y)座標を表し、それが、眼の位置及び向きを判断するために現実世界の位置にマッピングされ得る。
ステップ640において、校正オフセット及び利得が、撮像デバイスの既知の位置及び眼の特性の画像座標から計算される。例えば、2つの眼の特性間の画像座標差(例えば、瞳孔中心PC及び角膜反射CRの位置)は、視線の方位角(Dx=CRx-PCx)及び仰角(Dy=CRy-PCy)に対応し得る。座標差(例えば、Dx及びDy)から視線方位角GA及び視線仰角GEをより正確に導出するために、校正オフセット値及び利得値が用いられ得る
GA=ax+bx*Dx
GE=ay+by*Dy
2つの撮像デバイスからの連立方程式は、校正オフセットa及び校正利得bの値について解くために用いられる。
GA=ax+bx*Dx
GE=ay+by*Dy
2つの撮像デバイスからの連立方程式は、校正オフセットa及び校正利得bの値について解くために用いられる。
ステップ650において、システムは、眼科的手続の間にアイトラッキングを実行する。アイトラッキングは、撮像デバイスのうちの1つ又は複数から画像のストリームをキャプチャすることと、画像を分析して検出された眼の特性の画像座標を判断することと、計算された画像座標並びに校正オフセット及び利得値を用いて眼の位置及び回転を計算することと、を含む。
いくつかの実施形態では、アイトラッキングは、診断中に眼が適切に位置され且つ整列されているかどうかを判断するために実行されてもよい。アイトラッキングシステムは、診断中に眼のキャプチャ画像を分析し、キャプチャ画像に基づいて現在の位置及び回転を判断し得る。現在の位置及び回転が固視位置及び回転と比較されて、オフセットが判断される。オフセットがエラー閾値未満である場合、眼が測定のための適切な位置及び整列状態にあると判断される。オフセットがエラー閾値を超える場合、診断プロセス及び/又はシステム操作者には、眼が整列状態にないことが通知され得、それにより操作者が診断手順を休止し、眼を再配置するように患者に指示することが可能となるか、関連測定データが有効/無効を判断されることが可能となるか、又は他のアクションが取られることが可能となる。いくつかの実施形態では、眼の診断手順中に取得されるデータは、ストレージデバイスに記憶され、アイトラッキング手順中に取得されるデータは、後続の処理及び分析のためにストレージデバイスに記憶される。一実施形態では、患者のデータは、中心窩情報に加えてトラッキングされ、利用可能な場合に中心窩情報を使用して検証され得る。このようにして、値の範囲及び平均固視位置が判断され得る。
種々の実施形態では、眼科用システムは、眼の絶対固視位置を判断するように構成される。いくつかのシステムでは、網膜撮像情報及び/又は中心窩検出情報が、利用可能な場合に使用され得る。他のシステムでは、絶対固視位置は、操作者フィードバック、詳細な初期化手続、画像分析、統計的分析、及び/又は他の方法のうちの1つ又は複数を通して判断され得る。
種々の実施形態では、固視分析は、カメラからキャプチャされた画像のストリームにおいて眼の位置を検出し、且つ絶対固視位置を推定するために結果を分析することによって実行される。分析は、キャプチャされた画像から判断される眼の位置のヒストグラムを使用した統計分析を含み得る。ヒストグラムが分析に従って明確な最高点を示す場合、方法は、絶対固視位置を推定し得る。ヒストグラムが明確な最高点を示さない場合、方法は、固視が検出されなかったことを示し得る。いくつかの実施形態では、キャプチャ画像の分析は、患者の眼と既知の位置における他の眼との比較(例えば、ラベル付けされた訓練画像のセットを使用して訓練されたニューラルネットワークの使用)、患者についての履歴上の固視情報、画像分析(交差/閾値を含む)及び/又は利用可能な情報の他の分析を含み得る。いくつかの実施形態では、方法は、操作者及び患者が患者の眼を適切に固定させることに依存し得る。いくつかの実施形態では、方法は、操作者及び/又は患者のエラーにより、画像が固視を反映しないシナリオ(例えば、患者が誤った場所を意図的に固視する場合又は操作者が適切に患者に指示せず、且つ/若しくは患者をモニタリングしない場合)に対処し得る。
網膜OCTスキャンが利用可能でなく、且つ/又は手順の前に中心窩が確実に検出されていない、アイトラッキングのためのシステム及び方法の実施形態が図7~図10を参照してここで説明される。前述の通り、眼科用デバイスを使用した眼の正確な測定は、患者の視線(患者の視軸)と眼科用デバイスのある光軸との整列で開始し得る。これに関連して、視線は、患者がそれに沿って物を見る軸であり得る。結果として生じる診断データ及び/又は眼科的手順の他の結果は、患者が適切に固視していなかった期間中、信頼できない場合がある。
絶対眼球固視位置は、患者が手順(例えば、測定手順)中、診断デバイスのある光軸に沿って固視しているか(又は適切に固視していないか)に関するフィードバックをデバイス操作者に提供するために眼科用デバイスによって使用され得る。眼科用デバイスは、手順中、絶対眼球固視位置を使用して、患者が適切に固視している期間を識別し得る。システムは、絶対眼球固視位置を使用して、手順中に取得されたデータが信頼できるデータであるか、及び/又は信頼できないデータであるかを、患者がデータ取得中に固視していると判断されたかどうかに少なくとも部分的に基づいて判断することもできる。
図7を参照すると、絶対眼球固視を推定するための方法700の実施形態がここで説明される。方法700は、コンピューティングデバイスと、患者の眼の表面を撮像するためのカメラ及び照明システム(例えば、図3の撮像デバイス312及び313並びに照明コンポーネント314)を含み得る撮像システムとを使用して実行される。方法は、画像内の眼の検出可能な特徴(例えば、瞳孔、輪部、虹彩特徴など)の位置及び角膜における照明システムの反射の位置を使用することにより、眼の位置及び向きを判断する。眼の位置は、手順又は患者が眼科用デバイスの光軸に対して適切に位置決めされ、固視していることが予期される他の時間中に判断される。操作者は、フィードバックを提供することによって(例えば、1つ又は複数のボタンを押すことによって)プロセスを開始し得、及び/又は操作者は、患者がその後従うシーケンスを開始し得る。任意選択で、操作者は、患者の手順遵守の確認を提供し得る。
方法700は、網膜OCT撮像デバイスを含み得る眼科用デバイスのコンピューティングデバイスによる実装形態のための実施形態を示す。絶対固視位置を判断するために、コンピューティングシステムは、中心窩検出情報が利用可能であるかどうかを判断する(ステップ702)。例えば、眼科用デバイスが、患者が適切に固視している間に患者の眼をスキャンした網膜撮像デバイスを含む場合、中心窩検出情報が利用可能であり得る。中心窩検出情報が利用可能である場合、方法は、ステップ704に進む。ステップ704では、コンピューティングシステムは、(例えば、図3を参照して上述したような)検出された中心窩データに対応するアイトラッキング画像を識別する。ステップ706において、システムは、オフセット及び利得を校正し、対応する画像を用いて絶対固視パラメータを計算する。患者の眼は、その際、アイトラッキング画像、固視パラメータ、及び校正済み方程式を用いて手続中にトラッキングされ得る。
ステップ702に戻って参照すると、中心窩検出が利用可能でない場合、方法は、眼のキャプチャ画像(例えば、眼の表面の画像)を用いて、絶対固視パラメータを推定する。ステップ720において、コンピューティングデバイスは、キャプチャ画像のストリームをカメラから受信し、既知の位置に配置された異なるカメラからキャプチャされた画像の少なくとも1つのペアを用いてオフセット及び利得値を校正し、複数の画像のそれぞれにおける眼の位置及び向きを判断する。コンピューティングデバイスは、(例えば、処理制約に従って)それぞれの受信した画像又は受信した画像のサブセットを処理し得る。画像は、キャプチャデータを分析するとき、手順前/手順中及び/又は手順後に受信され得る。
眼の位置及び向きが一連のキャプチャ画像に対して判断された後、ステップ730において、判断された位置及び向きからヒストグラムが生成される。いくつかの実施形態では、位置及び向き情報は、画像のそれぞれにおける瞳孔の中心の画素位置を含み、それは、(x,y)座標の2次元ヒストグラムを構築するために使用される。位置及び向き情報は、画像のそれぞれから判断される眼の絶対位置及び向きを含み得、それは、2次元ヒストグラムを構築するために使用される。位置及び向きデータの他の表現も本方法において使用され得る(例えば、ヒートマップ)。いくつかの実施形態では、操作者フィードバックは、患者が固視するように指示されている画像を示すため、且つ/又は患者が固視していないかどうかを示すために使用され得、対応する画像は、分析に追加されるか又は分析から破棄され得る。システムの操作者が測定シーケンス中に対象を固視するように患者に指示する手順が行われ得る。
図8を参照すると、患者が見ている固視点の例としての分布を示すヒートマップ800が示される。マップは、色分けされるか、3次元的であるか、又は患者がある場所を固視している頻度をトラッキングするための印を含み得る。他の標識(例えば、背景色に近い色)が、その場所における短時間の固視を示すために使用され得る。例示される実施形態では、ヒートマップの領域810は、最も多い座標を示し、目標対象を適切に固視している間の患者の眼の位置及び向きを示し得る。破線の円820は、手順又は分析に必要な精度のレベルに依存した、固視判断のために選択されるべき閾値オフセットの範囲内にある位置及び向きを示す。
図9は、キャプチャ画像から検出される眼の座標をプロットする例としてのヒストグラム900を示す。この分布910の最高点は、(例えば、患者が最もよく固視していた位置及び向きを識別することによって)固視している眼の位置及び向きを推定するために使用され得る。この推定された位置及び向きは、さらなる眼の固視判断のための基準位置として使用され得る。例えば、測定シーケンスにおいて取られた医療データの分析は、眼が基準位置(例えば、ヒストグラムの最高点に少なくとも部分的に基づく)から許容可能なオフセット(例えば、円920によって示される)範囲内の向き及び位置を有するときに取得されたデータ点のみを使用し得る。
前述の通り、ヒストグラム900は、キャプチャ画像から判断される固視点をプロットすることによって構築され得る。例えば、ヒストグラムは、検出された瞳孔又は識別された眼の中心(例えば、反射又は他の測定値から判断される)の一連の画素位置として眼の位置をトラッキングし得る。画像のシーケンスが受信され、分析されると、患者が最もよく固視している位置を示すパターンが出現し得る。いくつかの実施形態では、ヒストグラムにおける値は、隣接画素の平均を含み得、且つ/又は他の平滑化を組み込み得る。
図7の方法700に戻って参照すると、ステップ740において、ヒストグラムが分析されて固視位置が検出される。前述の通り、固視位置は、ある分析基準に合致するヒストグラムの最大値に関連し得る。例えば、最高点は、平均値を超える最高点の度合、所与の数の画像についての閾値を超える度合などを含む多様な因子に基づいて選択され得る。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点/固視位置がリアルタイムで更新され得る。
ステップ750を参照すると、許容可能な最高点が見つからない(又は他の固視点基準に合致する)場合、眼球固視情報は、このプロセスを通して利用できない。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点/固視位置がリアルタイムで識別及び/又は更新され得る。
ステップ760において、校正オフセット及び利得及び推定される固視パラメータ(例えば、手順について許容可能な固視位置及びオフセット半径)は、検出された固視情報に基づいて判断される。患者の眼は、その際、アイトラッキング画像及び推定された固視パラメータを使用してステップ708において手順中にトラッキングされ得る。
図10を参照すると、図7~図9の方法を実施するための例としてのシステム1000が、ここで説明される。コンピューティングデバイス1002(図5のコンピューティングデバイス510など)は、眼科用機器1060に通信可能に連結され、アイトラッカ1030に関連付けられたプロセス及び眼科的手続1040を実行するように構成される。コンピューティングデバイス1002は、眼科用機器1060の網膜撮像デバイス(利用可能な場合)を用いて(網膜画像分析モジュール1010を通して)網膜画像分析を実行し、網膜画像データ1012を記憶するように構成され得る。コンピューティングデバイス1002は、図7に示される方法の実施態様又は絶対固視パラメータを推定するための他の方法を実行するための、固視分析モジュール1020をさらに含む。一実施形態では、固視分析モジュール1020は、アイトラッカ1030の複数のカメラ(例えば、イメージャA及びイメージャB)によってキャプチャされた眼球画像のストリームを受信及び分析し、固視位置のヒストグラムを構築及び分析し、基準位置及び関連する半径を判断する。ヒストグラムデータを含む固視データが、ストレージ1022(例えば、メモリ又はストレージデバイス)に保存され得る。
いくつかの実施形態では、コンピューティングデバイス1002は、メモリに記憶されたプログラム命令を実行するように構成されるプロセッサを含み、メモリは、固視分析モジュール1020と、任意選択の網膜画像分析モジュール1010と、アイトラッカ1030と、眼科的手順1040に関連付けられたプロセスとを含み得る。
固視分析モジュール1020は、アイトラッカ1030によってキャプチャされた画像を用いて患者の眼の相対視線を分析するように構成され得る。固視分析モジュール1020は、異なるカメラからキャプチャされた画像のペアを用いて測定値を校正して校正オフセット及び利得を導出してもよく、それによって、眼の特性の画素座標からの眼の位置及び向きの正確な判断が可能となる。固視分析モジュール1020は、視線の向き(例えば、眼のピッチ及びヨー、相対的な上/下及び左/右オフセット、曲率/回転など)をトラッキングするヒストグラムを構築し、絶対基準の推定を得るためにヒストグラムのピーク値(例えば、各場所におけるデータ値の数)を分析し得る。いくつかの実施形態では、固視分析モジュール1020は、眼の光軸及びアイトラッカカメラとの交点を推定して、視線方向をトラッキングする。
アイトラッカ1030は、患者の眼の画像をキャプチャ、記憶及び処理するように構成され得る。アイトラッカ1030は、固視分析モジュール1020によるさらなる分析のために、1つ又は複数のキャプチャ画像から患者の眼の位置及び向きを判断するように構成され得る。いくつかの実施形態では、それぞれの分析された画像は、眼の位置及び向き(例えば、x軸及びy軸を中心とする回転)を表すx、y位置を含み得る。アイトラッカは、(例えば、網膜画像分析1010を通して判断される)絶対固視位置又は(例えば、固視分析モジュール1020を通して判断される)推定された絶対固視位置に関連して1つの画像から別の画像への相対的な向きの変化に関する情報を使用し得る。いくつかの実施形態では、固視分析モジュール1020は、患者がほとんどの時間固視しようとしていたという仮定及び推定された絶対固視位置が、x及びy回転のヒストグラムを構築し、且つ最も顕著な視線方向を判断することによって判断され得るという仮定の上で動作する。種々の実施形態では、ヒストグラムは、画素座標、x及び/若しくはyを中心とする回転、オフセット値又は他のデータから構築され得る。各画像は、ヒストグラムに追加される計算された眼の視線の向きを表す座標対を提供し得る。
いくつかの実施形態では、固視分析モジュール1020は、1つの明瞭なピーク(例えば、より小さいピークによって囲まれる顕著なピーク)を検出し、且つ固視位置が検出されたという信頼性のレベルを判断することによってヒストグラムを分析するように構成される。明確なピークが検出されない場合、信頼性レベルは、低くなり得る。検出されたピークの周囲の半径が使用され得る(例えば、人間は、+/-0.5度固定し得る)。平均へのピークの閾値及び/又は半径のサイズは、システム及び手順要件に依存して変化し得る。
コンピューティングデバイス1002は、ヒストグラムデータを分析して、眼球固視位置が判断され得るかどうかを判断することを含む、本明細書で開示された1つ又は複数の判断を行うように訓練された1つ又は複数のニューラルネットワークを含み得る。いくつかの実施形態では、固視分析は、患者及び/又は他の患者のための既知のアイトラッキング画像及び/又は眼球固視パラメータの比較をさらに含み得る。例えば、1つ又は複数の画像は、画像内の眼が固視しているかどうかを判断するために履歴データを使用して訓練されたニューラルネットワーク内に入力され得る。
種々の実施形態では、網膜撮像データが利用可能でない(例えば、システムの一部ではなく、且つ/又は中心窩検出が手順前に利用可能でない)ときでさえ、患者がデータ取得中にこの軸に沿って固視しているか又は固視していないかについてのフィードバックが操作者に提供され得る。本明細書で開示されるシステム及び方法は、本明細書で説明される画像キャプチャデバイス及び照明システムを使用する眼科診断デバイスで使用するのに適当である、コスト効率のよい解決策を提供する。
当業者に理解されるように、例示された実施形態の方法は、動作中に患者の眼が目標対象を適切に固視しているかどうかを独立して検証するための改善された技術を提供する。特定の時点における中心窩を検出することにより、システムは、視線/視軸が患者に対して位置する場所を判断し得る。この情報により、システムは、測定シーケンス又は他の診断若しくは矯正手順中に患者が現在固視しているかどうかを判断することが可能となる。この方法は、網膜を撮像するシステムと、表面情報を使用して眼をトラッキングするシステムとを結合する。網膜画像における中心窩の位置から、システムは、アイトラッキング位置を判断し、眼が左又は右/上又は下に動いているかどうかを判断し得る。システムは、ユーザの視線をトラッキングし、オフセットを計算し、現在の眼の位置及び向きを判断し、眼球固視に関する判断を行い、データの有効性を判断し、本開示による他の特徴を提供し得る。
上述の実施形態による方法は、非一時的で有形の機械可読媒体に記憶される実行可能命令として実施され得る。実行可能命令は、1つ又は複数のプロセッサ(例えば、プロセッサ512)による実行時、1つ又は複数のプロセッサに、本明細書で開示されたプロセスの1つ又は複数を実行させ得る。これらの開示による方法を実施するデバイスは、ハードウェア、ファームウェア及び/又はソフトウェアを含み得、様々なフォームファクタのいずれかを取り得る。そのようなフォームファクタの典型的な例としては、ラップトップ、スマートフォン、スモールフォームファクタのパーソナルコンピュータ及び/又は携帯情報端末などを含む。本明細書で説明される機能性の一部は、周辺機器及び/又はアドインカードでも具現化され得る。そのような機能性は、さらなる実施例として、単一のデバイスにおいて実行される異なるチップ又は異なるプロセスの中から回路基板上でも実施され得る。
例示的な実施形態が示され、説明されてきたが、前述の開示では広範囲の修正形態、変更形態及び置換形態が想定されており、場合により、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに利用され得る。当業者であれば、多くの変形形態、代替形態及び修正形態を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈されることが適切である。
Claims (20)
- システムであって、
第1の位置からの眼の第1の画像及び第2の位置からの前記眼の第2の画像をキャプチャするように構成される、アイトラッカと、
制御プロセッサであって、
前記第1の画像から第1の複数の眼の特性を検出し、前記眼の特性が第1の対応画像座標を有し、
前記第2の画像から第2の複数の眼の特性を検出し、前記眼の特性が第2の対応画像座標を有し、
前記第1の対応画像座標、前記第2の対応画像座標、前記第1の位置、及び前記第2の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断するように構成される、前記制御プロセッサと、
を備える、システム。 - 前記制御プロセッサが、
前記第1の対応画像座標及び/又は前記第2の対応画像座標に少なくとも一部基づいて、前記アイトラッカの光軸に対する眼球固視位置及び向きを判断するようにさらに構成される、請求項1に記載のシステム。 - 前記制御プロセッサが、
判断された前記眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定し、
前記アイトラッカから複数の画像を受信し、
前記第1の複数の画像からの少なくとも1つの画像を分析して前記眼球固視パラメータに対する現在の眼の位置及び向きを判断することによって、前記現在の眼の位置及び向きをトラッキングするようにさらに構成され、
前記眼球固視パラメータが、固視時の前記眼の基準位置及び向きを含む、請求項2に記載のシステム。 - 前記制御プロセッサが、検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、前記アイトラッカの前記光軸に対する前記固視位置を判断するようにさらに構成される、請求項2に記載のシステム。
- 前記ヒストグラムを分析することが、相対最大値の座標が固視位置及び向きを含むかどうかを判断することをさらに含み、
前記相対最大値の座標が固視位置及び向きを含むかどうかを判断することが、前記相対最大値を閾値及び/又は前記ヒストグラムの平均座標値と比較することをさらに含む、請求項4に記載のシステム。 - 網膜スキャンを実行するように構成される光干渉断層撮影(OCT)スキャナを含む、網膜撮像システムをさらに備える、請求項1に記載のシステム。
- 前記アイトラッカが、前記網膜スキャンの間に前記眼の画像のストリームをキャプチャするようにさらに構成され、
前記網膜撮像システムが、
前記眼の複数の網膜画像をキャプチャし、
中心窩が前記眼の前記複数の網膜画像のうちの1つ又は複数に存在するかどうかを検出し、
検出された前記中心窩を有する前記眼の前記複数の網膜画像から第1の網膜画像を識別するようにさらに構成され、
前記制御プロセッサが、
前記第1の網膜画像に時間的近接性を有する前記画像のストリームから対応する画像を判断し、
前記対応する画像を分析して眼球固視パラメータを判断するようにさらに構成される、請求項6に記載のシステム。 - 前記制御プロセッサが、前記眼の位置及び向きをトラッキングし、前記眼球固視パラメータからのオフセットを計算し、前記オフセットが閾値未満かどうかを判断するように構成され、
前記オフセットが前記閾値未満であるときに、前記眼が固視していると判断され、前記制御プロセッサが、固視の標識を生成し、
前記オフセットが前記閾値より大きいときに、前記眼が整列状態にないと判断され、前記制御プロセッサが、固視でないとの標識を生成する、請求項1に記載のシステム。 - 前記制御プロセッサが、眼球診断手続を実行し、前記眼球診断手続の間に前記アイトラッカを用いて眼の位置をトラッキングするようにさらに構成される、請求項1に記載のシステム。
- 前記アイトラッカを用いて前記眼の位置及び向きをトラッキングしつつ眼球診断手続を実行するように構成される診断デバイスをさらに備え、前記診断デバイスが、眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも一部基づいて、前記眼球診断手続を修正するように構成される、請求項1に記載のシステム。
- 方法であって、
第1の位置から眼の第1の画像をキャプチャすることと、
前記第1の位置とは異なる第2の位置から前記眼の第2の画像をキャプチャすることと、
前記第1の画像から第1の複数の眼の特性を検出することであって、前記眼の特性が第1の対応画像座標を有する、前記第1の複数の眼の特性を検出することと、
前記第2の画像から第2の複数の眼の特性を検出することであって、前記眼の特性が第2の対応画像座標を有する、前記第2の複数の眼の特性を検出することと、
前記第1の対応画像座標、前記第2の対応画像座標、前記第1の位置、及び前記第2の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断することと、
を含む、方法。 - 前記眼の画像のストリームをキャプチャすることと、
検出された前記眼の特性の座標、前記校正オフセット、及び前記校正利得に少なくとも一部基づいて前記画像のストリームにおける眼の位置及び向きを検出することと、
光軸に対する眼球固視位置及び向きを判断することと、
をさらに含む、請求項11に記載の方法。 - 判断された前記眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定することと、
前記画像のストリームからの1つ又は複数の画像を分析して前記眼球固視パラメータに対する前記眼の位置及び向きを判断することによって、前記眼の位置及び向きをトラッキングすることと、
をさらに含む、請求項12に記載の方法。 - 前記眼球固視パラメータが、固視時の前記眼の基準位置及び向きを含む、請求項13に記載の方法。
- 前記画像のストリームを受信し、眼の位置の判断を出力するようにニューラルネットワークを訓練することをさらに含む、請求項12に記載の方法。
- 検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、前記光軸に対する前記固視位置を検出することをさらに含み、
前記ヒストグラムを分析することが、相対最大値を判断することをさらに含む、請求項12に記載の方法。 - 光干渉断層撮影(OCT)スキャナを用いて前記眼の網膜撮像スキャンを実行することをさらに含む、請求項12に記載の方法。
- 前記網膜撮像スキャンから眼の複数の網膜画像をキャプチャすることと、
前記眼の表面を撮像するように構成される撮像デバイスを用いて画像のストリームをキャプチャすることと、
中心窩が前記複数の網膜画像の1つ又は複数に存在するかどうかを検出することと、
検出された前記中心窩を有する前記複数の網膜画像から第1の網膜画像を識別することと、
前記第1の網膜画像に時間的近接性を有する前記画像のストリームから対応する画像を判断することと、
前記対応する画像を分析して眼球固視パラメータを判断することと、
をさらに含む、請求項17に記載の方法。 - 眼の位置及び向きをトラッキングすることと、前記眼球固視パラメータからのオフセットを計算することと、前記オフセットが閾値未満かどうかを判断することと、をさらに含み、
前記オフセットが前記閾値未満であるときに、前記眼が固視していると判断され、前記制御プロセッサが、固視の標識を生成し、
前記オフセットが前記閾値より大きいときに、前記眼が整列状態にないと判断され、前記制御プロセッサが、固視でないとの標識を生成する、
請求項13に記載の方法。 - 画像キャプチャデバイスを用いて前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手続を実行することと、
眼球固視パラメータ及びトラッキングされる眼の位置を表すデータに少なくとも一部基づいて、前記眼球診断手続を修正することと、
をさらに含む、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962906756P | 2019-09-27 | 2019-09-27 | |
US62/906,756 | 2019-09-27 | ||
PCT/IB2020/058733 WO2021059103A1 (en) | 2019-09-27 | 2020-09-18 | Instant eye gaze calibration systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022550253A true JP2022550253A (ja) | 2022-12-01 |
Family
ID=72613963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022510148A Pending JP2022550253A (ja) | 2019-09-27 | 2020-09-18 | 即時視線校正システム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11786119B2 (ja) |
EP (1) | EP4033962A1 (ja) |
JP (1) | JP2022550253A (ja) |
CN (1) | CN114222521A (ja) |
AU (1) | AU2020351719A1 (ja) |
CA (1) | CA3146512A1 (ja) |
WO (1) | WO2021059103A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7034228B1 (ja) * | 2020-09-30 | 2022-03-11 | 株式会社ドワンゴ | アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム |
CN113128417B (zh) * | 2021-04-23 | 2023-04-07 | 南开大学 | 一种基于头部姿态的双区域眼动跟踪方法 |
CN116831516B (zh) * | 2023-07-20 | 2024-02-06 | 广州视景医疗软件有限公司 | 一种角膜曲率的生成方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002064031A2 (en) * | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
EP1516156B1 (en) * | 2002-05-30 | 2019-10-23 | AMO Manufacturing USA, LLC | Tracking torsional eye orientation and position |
US7736000B2 (en) * | 2008-08-27 | 2010-06-15 | Locarna Systems, Inc. | Method and apparatus for tracking eye movement |
WO2010071928A1 (en) | 2008-12-22 | 2010-07-01 | Seeing Machines Limited | Automatic calibration of a gaze direction algorithm from user behaviour |
WO2012077713A1 (ja) * | 2010-12-08 | 2012-06-14 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
US9033510B2 (en) * | 2011-03-30 | 2015-05-19 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
JP6324119B2 (ja) * | 2014-03-04 | 2018-05-16 | 国立大学法人静岡大学 | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム |
WO2016145367A1 (en) * | 2015-03-12 | 2016-09-15 | Nidek Co., Ltd. | Systems and methods for combined structure and function evaluation of retina |
CN108364265A (zh) * | 2018-02-09 | 2018-08-03 | 京东方科技集团股份有限公司 | 一种影像校正方法及装置 |
-
2020
- 2020-09-18 CA CA3146512A patent/CA3146512A1/en active Pending
- 2020-09-18 WO PCT/IB2020/058733 patent/WO2021059103A1/en active Application Filing
- 2020-09-18 CN CN202080057577.XA patent/CN114222521A/zh active Pending
- 2020-09-18 AU AU2020351719A patent/AU2020351719A1/en active Pending
- 2020-09-18 US US17/025,335 patent/US11786119B2/en active Active
- 2020-09-18 JP JP2022510148A patent/JP2022550253A/ja active Pending
- 2020-09-18 EP EP20775955.6A patent/EP4033962A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210093192A1 (en) | 2021-04-01 |
WO2021059103A1 (en) | 2021-04-01 |
US11786119B2 (en) | 2023-10-17 |
CA3146512A1 (en) | 2021-04-01 |
CN114222521A (zh) | 2022-03-22 |
AU2020351719A1 (en) | 2022-02-03 |
EP4033962A1 (en) | 2022-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11786119B2 (en) | Instant eye gaze calibration systems and methods | |
CA2487411C (en) | Tracking torsional eye orientation and position | |
US20230329548A1 (en) | Eye tracking fixation monitoring systems and methods | |
JP2011507572A (ja) | 眼の3次元解析用デュアルシャインプルーフシステム | |
JP6461117B2 (ja) | システムを位置合わせするための方法、及び眼の前方領域の少なくとも1つの要素の位置データを検出するためのシステム | |
KR20210122271A (ko) | 눈 추적 장치 및 방법 | |
KR101776842B1 (ko) | 눈의 변화들에 응답하는 레이저 처치의 조정 | |
US20210093193A1 (en) | Patient-induced trigger of a measurement for ophthalmic diagnostic devices | |
US11766171B2 (en) | Method for the continuous control of the fixation of a patient's eye during the detection of biometric measurement data of the patient's eye | |
WO2021106967A1 (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
CN113940812A (zh) | 用于准分子激光角膜屈光手术的角膜中心定位方法 | |
US11712161B2 (en) | Eye tracking fixation monitoring systems and methods | |
US20230108005A1 (en) | Fundus image processing apparatus and non-transitory computer-readable storage medium | |
WO2022024104A1 (en) | Eye tracking systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230908 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |