JP2022545615A - アイトラッキング固視モニタリングシステム及び方法 - Google Patents
アイトラッキング固視モニタリングシステム及び方法 Download PDFInfo
- Publication number
- JP2022545615A JP2022545615A JP2022505285A JP2022505285A JP2022545615A JP 2022545615 A JP2022545615 A JP 2022545615A JP 2022505285 A JP2022505285 A JP 2022505285A JP 2022505285 A JP2022505285 A JP 2022505285A JP 2022545615 A JP2022545615 A JP 2022545615A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- fixation
- orientation
- images
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000012544 monitoring process Methods 0.000 title description 5
- 238000002405 diagnostic procedure Methods 0.000 claims abstract description 42
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 230000002207 retinal effect Effects 0.000 claims description 94
- 238000003384 imaging method Methods 0.000 claims description 93
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000012014 optical coherence tomography Methods 0.000 claims description 31
- 230000002123 temporal effect Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000004424 eye movement Effects 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 description 41
- 238000005259 measurement Methods 0.000 description 27
- 230000004256 retinal image Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 15
- 210000001525 retina Anatomy 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 12
- 210000001747 pupil Anatomy 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000004087 cornea Anatomy 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/18—Arrangement of plural eye-testing or -examining apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
診断手順中に眼球運動をトラッキングするためのシステム及び方法は、眼の画像をキャプチャするアイトラッカと、制御プロセッサであって、画像のそれぞれにおいて眼の位置及び向きを検出することと、アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、画像を分析して、眼球固視パラメータに対する眼の位置及び向きを判断することにより、眼の位置及び向きをトラッキングすることとを行うように構成される制御プロセッサとを含む。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得る。ヒストグラムは、検出された眼の位置及び向きから構築され、且つ眼球固視位置及び向きを判断するために分析される。
Description
本開示は、概して、アイトラッキングシステム及び方法に関し、より詳細には、例えば撮像、トラッキング、診断及び/又は外科システムにおいて眼の位置及び/又は向きをトラッキングするためのシステム及び方法に関する。
患者の眼を撮像し、測定し、診断し、トラッキングし、外科的に矯正し、且つ/又は外科的に修復するために、多岐にわたる眼科用デバイスが使用される。トポグラフィデバイス、角膜曲率測定デバイス、波面解析器又は眼の様相を(例えば、光学的、幾何学的など)測定する別のデバイスなどの眼科用デバイスの動作は、診断デバイスに対して定義された位置及び向きに眼が維持されているという仮定に基づくことが多い。患者は、眼科用デバイスの人間の操作者によって位置決めされ、例えばデバイス内を覗き込んで目標対象(例えば、固視灯)を見て、患者の視線(例えば、人がそれに沿って物を見る軸)を眼科用デバイスの光軸に整列させるように指示され得る。患者が適切に固視していない場合、示度が不正確である場合があり、且つ/又はシステムが適切に機能できないことがある。
正確なデータ取得を保証するために、眼科用デバイスの人間の操作者には、患者が眼を整列させるように目標対象を適切に固視しているかどうかを判断するために、患者をモニタリングすること及び/又はデータ取得中のデバイスからのフィードバックをモニタリングすることが課されることが多い。既知の技術の1つは、デバイス操作者によって指示されるように目標対象を固視する患者の協力に依存することを含む。しかしながら、既存の手法は、固視を試みる患者の人為的過誤(例えば、高齢患者は、眼の位置を維持できないことがあり、患者は、眼を固定するための十分な集中力を欠いていることがあり、患者は、目標対象を直接見ることができないことがあるなど)及び手順中に患者をモニタリングする操作者による人為的過誤を含む多くの欠点を有する。別の手法では、網膜スキャン及び撮像分析が患者の眼の位置及び向きをトラッキングするために使用され得るが、網膜撮像システムの動作が診断手順の妨げとなることがある。その結果、網膜スキャン及び撮像システムは、眼科用デバイスを使用して実行される診断手順中、シャットダウンされるか、又はアイトラッキングにおける使用に対して動作不能にされることが多い。
前述の点に鑑みて、眼科的手順中、患者の眼の位置及び向きを判断するため及び/又はトラッキングするための改善された技術が当技術分野において継続的に必要とされている。
種々の実施形態によれば、眼球固視を評価するため及び/又は容易にするためのシステム及び方法が開示される。本明細書で開示される改善は、種々の眼球撮像、トラッキング、診断及び/又は外科システムにおいて、測定シーケンス、外科的手順及び/又は他の手順中、患者が適切に固視しているかどうかを検出するために使用され得る。いくつかの実施形態では、システムは、患者が診断デバイスのある光軸に沿って固視しているかどうかを評価する。システムは、網膜撮像システムと組み合わせたアイトラッキング技術及び統計的評価を使用して、網膜撮像が利用できない診断手順の段階でも絶対的な固視モニタリングを可能にし得る。
種々の実施形態では、システムは、眼の第1の複数の画像をキャプチャするように構成されるアイトラッカと、制御プロセッサであって、第1の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、第1の複数の画像からの1つ又は複数の画像を分析して、眼球固視パラメータに対する眼の位置及び向きを判断することにより、眼の位置及び向きをトラッキングすることとを行うように構成される制御プロセッサとを含む。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得る。
いくつかの実施形態では、制御プロセッサは、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、アイトラッカの光軸に対する固視位置を検出するようにさらに構成される。ヒストグラムを分析することは、相対最大値を判断し、且つ相対最大値の座標が固視位置及び向きを含むかどうかを判断することをさらに含み得、及び相対最大値の座標が固視位置及び向きを含み得るかどうかを判断することは、相対最大値を閾値及び/又はヒストグラムの平均座標値と比較することをさらに含む。
システムは、眼の第2の複数の画像をキャプチャすることと、中心窩が第2の複数の画像の1つ又は複数に存在するかどうかを検出することと、検出された中心窩を有する第1の画像を第2の複数の画像から識別することと、第1の画像に対する時間的近接性を有する第2の画像を第1の複数の画像から判断することと、第2の画像を分析して、眼球固視パラメータを判断することとを行うように構成される網膜スキャンを実行するように構成される光干渉断層撮影(OCT)スキャナを含む網膜撮像システムをさらに含み得る。
制御プロセッサは、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断するようにも構成され得る。オフセットが閾値未満であるとき、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成する。オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
いくつかの実施形態では、制御プロセッサは、眼球診断手順を実行し、且つ眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングするようにさらに構成される。システムは、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み得、診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信するようにさらに構成される。
種々の実施形態では、方法は、眼の第1の複数の画像をキャプチャすることと、第1の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、第1の複数の画像からの1つ又は複数の画像を分析して、眼球固視パラメータに対する眼の位置及び向きを判断することにより、眼の位置及び向きをトラッキングすることとを含む。方法は、第1の複数の画像を受信し、且つ眼の位置の判断を出力するようにニューラルネットワークを訓練することをさらに含み得る。眼球固視パラメータは、固視時の眼の基準位置及び向きを含む。
方法は、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、アイトラッカの光軸に対する固視位置を検出することをさらに含み得、及びヒストグラムを分析することは、相対最大値を判断することをさらに含む。
いくつかの実施形態では、方法は、光干渉断層撮影(OCT)スキャナを使用して眼の網膜撮像スキャンを実行することと、網膜撮像スキャンから眼の第2の複数の画像をキャプチャすることと、中心窩が第2の複数の画像の1つ又は複数に存在するかどうかを検出することと、検出された中心窩を有する第1の画像を第2の複数の画像から識別することと、第1の画像に対する時間的近接性を有する第2の画像を第1の複数の画像から判断することと、第2の画像を分析して、眼球固視パラメータを判断することとを含む。
いくつかの実施形態では、方法は、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断することをさらに含み、オフセットが閾値未満であるとき、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
方法は、眼球診断手順を実行し、且つ眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングすることをさらに含み得る。方法は、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ眼の診断手順を実行し、且つ眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも部分的に基づいて眼球診断手順を修正し得る。
種々の実施形態において、システムは、眼の第1の複数の画像をキャプチャするように構成される網膜撮像システムと、眼の第2の複数の画像をキャプチャし、且つキャプチャされた画像を分析して、眼の位置及び向きをトラッキングするように構成されるアイトラッカと、制御プロセッサであって、第1の複数の画像において中心窩を検出することと、検出された中心窩を有する第1の画像を第1の複数の画像から識別することと、第1の画像に対する時間的近接性を有する第2の画像を第2の複数の画像から判断することと、第2の画像を分析して、眼球固視パラメータを判断することとを行うように構成される制御プロセッサとを含む。
眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得、及び制御プロセッサは、第2の複数の画像を分析して、固視時の眼の基準位置及び向きに対する現在の眼の位置及び向きを判断するようにさらに構成され得る。制御プロセッサは、眼の位置及び向きをトラッキングし、且つ基準位置及び向きからのオフセットを計算するようにさらに構成され得る。いくつかの実施形態では、オフセットが閾値未満であるとき、眼は、固視していると判断され得、及び制御プロセッサは、固視の標識を生成する。オフセットが閾値より大きい場合、眼は、整列状態にないと判断され、及び制御プロセッサは、眼が適切に整列されていないという標識を生成する。
いくつかの実施形態では、網膜撮像システムは、網膜スキャンを実行するように構成される光干渉断層撮影(OCT)スキャナを含み、及び眼科用デバイスは、診断手順を実行するために提供される。網膜撮像システムは、眼球診断手順の一部中、眼の画像をキャプチャし、且つ中心窩を検出するように動作することができなくてもよく、及び制御プロセッサは、眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングするように構成される。眼科用デバイスは、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成され得る。いくつかの実施形態では、画像キャプチャデバイスは、診断手順の妨げとなることなく、眼の表面の画像をキャプチャするように構成される。眼科用デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信するようにさらに構成され得る。アイトラッキングは、診断手順中に分析及び更新され得る。
システムは、アイトラッカからのアイトラッキングデータ、網膜撮像システムからの網膜撮像データ及び/又は診断手順からのデータを分析するように訓練された1つ又は複数のニューラルネットワークをさらに含み得る。ニューラルネットワークは、画像並びに眼球固視情報及び/又はオフセット情報を含む、ラベル付きデータのデータセットを使用して訓練され得る。いくつかの実施形態では、患者の網膜撮像データ及び/又はアイトラッキングデータは、1つ又は複数のセッションにおいてキャプチャ、分析及び/又は記憶され得、診断手順中に使用するためにシステムによって検索され得る。
種々の実施形態では、方法は、網膜撮像システムを使用して眼の第1の複数の画像をキャプチャすることと、アイトラッカを使用して眼の第2の複数の画像をキャプチャすることとを含む。方法は、第1の複数の画像において中心窩を検出することと、第2の複数の画像の分析に基づいて眼の位置及び向きをトラッキングすることとをさらに含み得る。方法は、検出された中心窩を有する第1の画像を第1の複数の画像から識別することと、第1の画像に対する時間的近接性を有する第2の画像を第2の複数の画像から判断することと、第2の画像を分析して、眼球固視パラメータを判断することとをさらに含み得る。いくつかの実施形態では、第1の複数の画像は、網膜の光干渉断層撮影スキャンを通してキャプチャされ得る。
いくつかの実施形態では、方法は、網膜撮像システム及びアイトラッカを含む眼科診断デバイスによって実行される。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得、及び方法は、第2の複数の画像を分析して、固視時の眼の基準位置及び向きに対する現在の眼の位置及び向きを判断することをさらに含み得る。方法は、アイトラッカを使用して現在の眼の位置及び向きをトラッキングし、且つ基準位置及び向きからのオフセットを計算し、且つオフセットが閾値未満であるとき、眼球固視の標識を生成することをさらに含み得る。
方法は、眼球診断手順を実行することであって、網膜撮像システムは、眼球診断手順の少なくとも一部中、眼の画像をキャプチャし、且つ中心窩を検出するように動作することができない、実行することと、眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングすることとをさらに含み得る。眼球診断手順は、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ実行され得、及び方法は、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信することを含み得る。アイトラッキングは、診断手順中に分析及び更新され得る。
本開示の範囲は、特許請求の範囲によって定義され、特許請求の範囲は、参照によりこの項目に組み込まれる。1つ又は複数の実施形態の以下の詳細な説明を考慮することにより、その追加の利点の認識と共により詳細な理解が当業者に与えられる。最初に簡潔に説明される添付図面に対して参照が行われる。
本開示の態様及びそれらの利点は、以下の図面及び以下の詳細な説明を参照してよりよく理解され得る。類似の参照番号は、図面の1つ又は複数において示される類似の要素を識別するために使用され、図面において示されるのは、本開示の実施形態を例示するためであり、本開示の実施形態を限定するためではないと理解されたい。図面内の構成要素は、必ずしも縮尺通りではなく、代わりに本開示の原理を明確に説明することに重点が置かれている。
眼球撮像、トラッキング、診断及び/又は外科システムにおいて眼球固視を評価及び/又は容易にするためのシステム及び方法が本明細書で開示される。例えば、本明細書で開示される改善は、眼科用デバイスを作動させて測定シーケンス又は他の診断手順を実行する前に、患者の視線を眼科用デバイスの光軸に整列させることにおいてデバイス操作者を支援するために使用され得る。
種々の実施形態によれば、患者の眼の正確な測定は、患者の視線(本明細書において患者の視軸とも呼ばれる)が診断システムの光軸と整列しているかどうかを判断する診断システムを使用して容易にされる。患者の視線/視軸は、患者の眼がそれに沿って対象を見るように方向付けられる軸であり得る。本明細書で開示されるシステム及び方法に従って取得される診断データは、従来の手法を通して取得されるデータよりも有意義且つ正確である。システム及び方法は、患者がデータ取得中、適切な軸に沿って固視しているかどうかについて、診断デバイスの人間の操作者にフィードバックを提供するようにも構成され得る。
本明細書で開示されるシステム及び方法は、従来の手法を上回る多数の利点を提供する。例えば、患者の眼からのデータ取得は、眼を適切に整列させるために目標対象を固視するように患者に指示することを含み得る。しかしながら、この技術は、診断デバイスの人間の操作者が、目標対象を適切に固視していない場合がある患者の協力に依存していることが多いため、エラーを起こしやすい。別の手法では、網膜光干渉断層撮影(OCT)が患者の網膜を撮像するために使用され、患者が適切に固視しているかどうかの標識を操作者に提供し得る。しかしながら、OCTスキャンの分析は、OCTが網膜をスキャンしている間にのみ有効である。診断システムが、OCTスキャンを眼の異なる区画に切り替えること又はOCTスキャンをオフに切り替えること(例えば、眼の安全性の理由から)を必要とする手順中に異なる種類のセンサを使用する場合、分析は、これらの測定期間中、信頼性が低いものとなる。他の光学的網膜撮像技術は、網膜OCTスキャンと同一の欠点を負う。異なるセンサを利用する測定シーケンスにおいて、網膜撮像が動作可能である期間のみ固視情報が有効である。網膜撮像をオフに切り替える必要がある期間中、固視情報は、利用できない。
本明細書で開示されるシステム及び方法は、従来のシステムでの前述の制限及び他の制限を克服し、多数の利点をもたらす。本開示は、カメラ及び照明システムを使用する従来の眼科診断デバイスを含む多様なシステムにおいて実施され得る、コスト効率のよい改善された解決策をもたらす。眼科診断デバイスと網膜OCTシステムとの組み合わせは、網膜OCTがオフに切り替えられるときでも絶対的な固視制御を可能にする。いくつかの実施形態では、システム及び方法は、網膜OCTが測定シーケンス中に少なくとも1度中心窩を検出した後、正確な固視情報を提供する。他の実施形態では、システム及び方法は、網膜OCTスキャンが利用可能でなく、且つ/又は中心窩が検出されていない実装形態において、正確な固視情報を提供する。
本開示の実施形態は、図面を参照してここでさらに詳細に説明される。図1を参照すると、1つ又は複数の実施形態によるシステム100は、アイトラッキングモジュール110(本明細書では「アイトラッカ」とも呼ばれる)及び網膜撮像システム130を含み、それらは、通信可能に連結されている。アイトラッキングモジュール110は、眼102の向きをトラッキングするように構成され、撮像デバイス112及び1つ又は複数の照明コンポーネント114を含み得る。いくつかの実施形態では、撮像デバイス112は、瞳孔及び角膜輪部(角膜と、白目、即ち強膜との間の境界)などの眼のある特徴並びに照明コンポーネント114からの反射を撮像するように構成されるデジタルカメラ又は他のデジタル撮像デバイスである。いくつかの実施形態では、例えば、照明コンポーネント114は、リングの中心が角膜曲率の中心のように見えるような、カメラ光学系の周囲に位置するLEDリング(例えば、撮像デバイスの周囲の同軸照明光)を含み得る。
システム100は、制御ロジック118を含み、制御ロジック118は、本明細書で開示される機能を実行するように構成される記憶済みプログラム命令を実行するプロセッサを含み得る。いくつかの実施形態では、制御ロジック118は、撮像デバイス112によってキャプチャされた複数の画像を使用して測定シーケンスを実行する。測定シーケンスは、瞳孔、輪部及び虹彩特徴など、画像データ(アイトラッキングデータ116など)内の眼102の検出可能な特徴の位置を使用することにより、眼102の位置及び向きを判断する。測定シーケンスは、角膜における照明システムの反射(照明された要素の円形パターンを含む反射117など)の位置も判断し得る。いくつかの実施形態では、測定シーケンス中、眼102の位置及び向きは、キャプチャされた画像を使用して連続的に判断される。
制御ロジック118は、アイトラッカ110、網膜撮像システム130及び/又は他のシステムコンポーネントにおいて具現化され得る。制御ロジック118は、システム110の動作中の相対眼球運動を検出するように構成され、それは、キャプチャされた画像及び照明光源位置の知識から眼の特徴を検出及びトラッキングする(例えば、瞳孔を検出する)ことを含み得る。例えば、瞳孔の中心のオフセット及び角膜曲率のオフセットを検出及び計算することは、眼の相対視線についての情報を提供し得る。
網膜撮像システム130は、眼102の網膜を撮像するための任意のデバイス又はシステムを含み得る。網膜撮像システム130は、網膜光干渉断層撮影(OCT)システム、網膜光学システム又は網膜を撮像するための類似のシステムとして実施され得る。いくつかの実施形態では、網膜撮像システム130及び/又は制御ロジック118は、全測定シーケンス中に少なくとも1度、患者の中心窩を検出するように構成される。その結果、網膜撮像システム130は、(例えば、技術的理由又は安全上の理由で)全診断シーケンス中にアクティブである必要はなく、必要に応じてシャットダウン又は一時停止され得る。
中心窩は、ある網膜撮像システムにおいて検出され得る網膜内の窪みとして見えることが多い。種々の実施形態では、網膜撮像システム130は、網膜OCT画像134及び/又は眼底画像136などの網膜撮像データ132を生成する。網膜撮像システム130は、網膜OCTスキャンシステム、眼底撮像システム又は他の類似のデバイスを含み得る。患者が、システム100に関連付けられた目標対象を固視している場合、中心窩は、網膜撮像デバイスの光軸の中心に存在することになる。網膜撮像デバイスは、デバイスの光軸を中心とする中心部分をスキャンするのみでよい場合がある。患者が固視している場合、中心窩は、網膜撮像データ内に存在することになる。いくつかの実施形態では、網膜撮像デバイスは、中心窩検出のために眼の裏側を撮像するように構成される。システムが眼の異なる部分を撮像する必要がある場合(例えば、角膜の高分解能スキャン)、中心窩が画像内において視認できず、アイトラッカ110は、眼の位置及び回転をトラッキングするために使用される。
システム100は、網膜撮像システム130からの情報(網膜撮像データ132など)を使用して、アイトラッキングモジュール110からの眼の向きに関連する情報(検出された照明光源反射117を含むアイトラッキングデータ116など)の処理を調整する。動作中、システム100が、(例えば、網膜撮像システム130及び/又は制御ロジック118を介して)網膜撮像データ132のある領域において中心窩を検出する場合、眼の対応する向きがシステム100に知られる。この情報を使用して、システム100は、網膜撮像が利用可能でない測定段階においてさえ、患者が正しく固視しているかどうかをさらに判断し得る。
いくつかの実施形態では、患者が固視している場合、中心窩が画像の中心に現れる。アイトラッキングモジュール110は、網膜撮像と同時に眼の位置及び眼の回転を撮像及びトラッキングするように構成される。いくつかの実施形態では、キャプチャされた画像は、タイムスタンプ、フレーム基準(例えば、10フレーム前)又は網膜画像及びアイトラッカ情報の同期を可能にする他の情報など、関連する時間特性を含む。中心窩が検出された後、中心窩検出情報は、対応する時間特性及び中心窩が検出されたかどうかの標識を含み得、制御ロジック118、アイトラッキングモジュール110及び/又は他のシステムコンポーネントに提供され得る。
いくつかの実施形態では、眼102の位置及び向きの分析は、中心窩が網膜撮像システムで視認できた時間における眼の向き/位置を現在のアイトラッキングデータと比較する方法を含む。システム100は、例えば、測定シーケンスを含む診断手順において使用され得る。アイトラッカ110を使用する手順中、眼の位置及び向きをトラッキングすることにより、測定データは、対応するアイトラッキングデータと共に収集され、分析され得る。一実施形態では、眼102が固視していたとき(例えば、目の位置が固視位置から許容可能オフセット内にあるとき)に取得された測定データは、有効であると考えられ、さらなる診断/分析に使用され、眼102が固視していなかったとき(例えば、目の位置が固視位置から許容可能オフセット外にあるとき)に取得された測定データは、無視及び/又は破棄され得る。
種々の実施形態では、システム100は、中心窩検出情報を使用して基準固視情報を確立し、基準固視情報は、角膜に対する瞳孔のある向きを含み得る。アイトラッカ110は、中心窩検出情報(例えば、特定の時間又は他の時間基準において判断される固視)を受信し、同じ時間フレームから1つ又は複数の対応する画像を検索し、キャプチャされた画像を分析して固視中の瞳孔と角膜中心との間の特定の関係を判断し得る。眼の位置は、その際、新たにキャプチャされた画像における眼の位置及び向きを基準画像からの眼の位置及び向きと比較することによってトラッキングされ得る。これにより、眼が固視していることをアイトラッカ110が確認しつつ、網膜撮像システム130が眼102の別の部分を撮像すること(又は必要に応じて他の眼科用機器の動作)が可能となる。アイトラッキングモジュール110は、眼が(基準データに対するエラーの範囲内で)固視していた間に現在のスキャンが行われたかどうか、又は現在の眼の位置と基準の眼の位置との間のオフセットが閾値を超えるときなど、眼が固視していなかった間に現在のスキャンが行われたかどうかを示す固視情報を網膜撮像システム130に提供し得る。
図2を参照すると、システム100の動作中、網膜撮像データ132がもはや生成されないように、網膜撮像システム130は、診断又は他の手順中にシャットダウンされ得る。図1を参照して説明されたように、中心窩が網膜撮像システム130によって少なくとも1度以前に検出されている場合、システム100は、網膜撮像が利用可能でない手順の段階中でさえ、患者の眼球固視についての情報をデバイス操作者に提供し続け得る。例えば、システム100は、アイトラッカ110を使用してキャプチャされた現在の眼の位置及び向きを、網膜撮像システム130が中心窩を検出したときに判断された眼の位置及び向きと比較し得る。アイトラッカ110は、1つ又は複数の可視キュー(例えば、インジケータ光、表示スクリーン上の状態情報)又は可聴キュー(例えば、ビープ音)を通してデバイス操作者に標識を提供し得る。アイトラッカ110は、システム100の他のコンポーネントに固視情報をさらに提供して、例えば眼球固視を必要とする動作を制御し、且つ/又は取得されたデータを有効化/無効化し得る。
図1及び図2において説明されるシステム及び方法は、種々の実施形態の例としての実装形態であることと、本開示の教示は、プルキンエ反射を生成する照明システム及び眼のデジタル画像をキャプチャするためのカメラを使用するシステム又はデバイスなどの他のアイトラッキングシステムにおいて使用され得ることとを理解されたい。
眼が固視しているかどうかを判断することを支援するために、制御ロジック118は、眼の現在の位置及び向きを判断し、眼が所望の対象を十分固視しているかどうかを判断するためのオフセットを計算するように構成され得る。一実施形態では、閾値が判断され得、閾値より低い任意のオフセットは、眼が固視しているという判断をもたらす。いくつかの実施形態では、固視判断及び閾値は、アプリケーション依存であり、異なるオフセットは、異なる実装形態に対して許容可能であり得る。
例としての動作において、網膜撮像システム130は、複数のスキャン及び網膜撮像分析を実行するように構成され得、それは、眼102の種々の部分に着目し得る。一構成において、網膜撮像システム130は、眼の裏側を撮像し、中心窩を識別するように構成される。中心窩は、画像の中央に現れる可能性が高く、患者の視線がシステム100の光軸と整列されることを示している。網膜撮像システム130は、中心窩検出が利用可能でない、眼の異なる部分の他のスキャンを次に実行するように構成され得る。これらのスキャン中、患者が目標対象を固視することが望ましいが、網膜撮像システムは、適切な眼の位置及び整列状態を確認するための中心窩を検出することができない場合がある。
いくつかの実施形態では、網膜撮像システム130は、中心窩が検出された時間フレーム(例えば、期間、1つ又は複数の画像、シーケンシャルインデックス値など)を識別して、アイトラッカが、同時又はほぼ同時に撮られた対応するアイトラッキング像を識別することを可能にする。アイトラッキングモジュール110は、次いで、瞳孔及び角膜の相対位置を含む、固視位置に関連付けられた眼の基準位置を判断し得る。眼球固視情報は、眼の位置及び向きをトラッキングするためにシステム100によって即時使用され得、且つ/又は後にシステム100によって使用するために記憶及び検索され得る。例えば、眼球固視情報は、患者のために判断及び記憶され得、患者のための後続の手順又はキャプチャされた画像のオフライン分析のためシステム100(又は類似のシステム)によって使用するために検索され得る。
網膜撮像デバイス130が他のスキャンを実行している間及び/又は他の眼科用コンポーネントが動作中である間、アイトラッカ110は、画像ストリームをキャプチャし、基準画像から判断される位置及び向きに対する眼の位置及び整列状態を分析する。この分析は、(例えば、以前にキャプチャされたデータを分析するときに)手順及び/又はオフライン中にリアルタイムで実行され得る。現在の画像は、基準画像と比較され、オフセットが計算される。オフセットが閾値未満である場合、眼が固視しており、対応する網膜画像は、正確である。オフセットが閾値より大きい場合、眼が固視しておらず、対応する網膜画像は、フラグが立てられるか、破棄されるか、又は他のアクションが取られ得る。
いくつかの実施形態では、アイトラッカ110は、手順全体を通して眼を連続的に撮像する。フレーム毎に、画像ストリームにおいて反射が検出される場所に少なくとも部分的に基づいて、瞳孔位置が画像内で検出され得る。種々の実施形態では、トラッキング及び記録された情報は、画像、画像から抽出された画像特徴、画像プロパティ、画像内の瞳孔位置及び/又は反射位置の1つ又は複数を含み得る。アイトラッキングシステム及び網膜撮像システムは、網膜スキャン画像毎に1つ又は複数の対応するアイトラッカ画像が識別され得るように同期される。一実施形態では、一対一対応関係が存在する。他の実施形態では、画像が、キャプチャされた画像に関連付けられたタイムスタンプ又は他の同期データを通して同期される。
アイトラッキングモジュール110及び網膜撮像システム130は、別個のコンポーネントとして説明されているが、システム100は、アイトラッキングモジュール110、網膜撮像システム130及び他のサブコンポーネントを含む種々のサブコンポーネントを有する診断デバイスを含み得ると理解されたい。いくつかの実施形態では、中央プロセッサは、システムの動作を制御するため、2つのシステム間の通信を同期し制御するため及び他のシステム機能を実行するために提供され得る。眼の位置及び向きの分析は、システム100によってリアルタイムで又は手順が完了した後に実行され得る。オフラインで、システム100は、患者及び操作者にフィードバックを提供し得る。オフラインで、システム100及び/又は他のシステムは、複雑な分析を実行するほど、より正確なスキャン及び結果を達成し得る。
いくつかの実施形態では、システム100は、カメラ(例えば、眼の表面を撮像するための)及び網膜を測定するための第2のコンポーネントを含むより大きい診断デバイスを含み得る。システム100は、3D眼球モデルを生成するために眼を撮像するように構成される複数のセンサを含み得る。第1のセンサは、角膜形状を回復するため及びアイトラッキングを行うためのカメラを含み得る。第2のセンサは、眼の波面(眼の光学パラメータ)を測定する波面センサを含み得る。第3のセンサは、眼の異なる屈折面間の距離を測定し得るOCTシステムを含み得る。OCTは、全眼モード、半眼モード(眼の前面)及び角膜モード(より高い分解能を有する)を含む複数のモード及び分解能を含み得る。
センサデータは、メモリにデータを収集及び記憶するプロセッサ(例えば、図4に示されるような)に提供され得る。プロセッサは、融合アルゴリズムを使用して種々のセンサデータを組み込むパラメータ化モデルを含む眼の3Dモデルを導出し得る。3Dモデルは、例えば、白内障及び角膜屈折矯正手術計画のために使用され得る。データは、眼において眼内レンズ(IOL)インプラント配置を支援するなどのためにレイトレーシングに使用され得る。本明細書で説明される中心窩検出及びアイトラッキングのイノベーションは、網膜を通してスキャンするデバイスを含む任意の診断デバイス又は機器と共に使用され得る。アイトラッキングは、角膜曲率計、バイオメータ、波面測定デバイス並びにデジタルカメラ及び照明を含む他のデバイスにおいて実施され得る。
種々の実施形態では、絶対的な眼の向きは、OCTデバイスなど、網膜を通してスキャンするデバイスを利用し、それは、バイオメータ、並びに(i)網膜スキャン及び他の診断モードを提供する他のデバイス、及び(ii)他の入力機能を実行する他のセンサを含み得る。本明細書に開示されるシステムは、種々の実施形態においてより多くのコンポーネント、異なるコンポーネント及びより少ない診断デバイスと共に使用され得る。
本出願の利点は、当業者によって理解されるであろう。本明細書で開示されるシステム及び方法は、患者から独立して(例えば、患者の協力に依存せずに)、患者が固視しているとき及び固視していないときに関する情報を提供する。アイトラッキング情報は、収集され、プロセッサに提供され、それによってさらなる分析が可能となる。他のセンサデータは、アイトラッキングデータに基づく既知の又は投影された向きに対して調整するために、データを通してバックトラッキングすることによって取得され、有効にされ得る。例えば、眼の位置は、スキャンデータを分析することに使用するために判断され、網膜撮像システムに提供され得る。患者が固視しているか又は固視していないかのフラグを立てる能力は、多くのシステム動作に有益である。固視の度合を判断する能力により、システムが多様な実装形態での使用に適合することが可能となる。後の検索及び分析のためにキャプチャされたデータを記憶することにより、複雑なニューラルネットワーク又は他の分析プロセスの使用などを通して、オフラインでのさらなる計算並びにより複雑な分析及びオプションが可能となる。
一実施形態では、プロセッサは、信頼できないセンサデータをフィルタリング除去するために使用される基準点及び閾値で構成される。例えば、システムは、小さい視線の変更(例えば、オフセットの0.03度)が問題なくてもよいが、より大きい視線の変更が、フィルタリング除去すべき信頼できないデータを示すように構成され得る。いくつかの実施形態では、固視中に取得されるセンサデータは、共に平均され得るか又は結合され得る。他の実施形態では、取得されたデータは、計算されたオフセット並びに基準点における既知の眼の位置及び向きを使用して取得中の眼の位置を計算することにより、眼の位置及び向きの情報と共に分析され得る。いくつかの実施形態では、種々のセンサ及びデータの入力及び計算は、所望の出力データを生成するために、融合エンジンを使用して処理され得る。
種々の実施形態では、1つ又は複数のニューラルネットワークは、眼が目標対象を固視しているかどうかを判断するなどのための画像及びデータ分析に使用され得る。図3は、いくつかの実施形態による、例としての多層ニューラルネットワーク300の図である。ニューラルネットワーク300は、ロジックの少なくともいくつか、本明細書で説明される画像分析及び/又は眼球固視判断ロジックを実施するために使用されるニューラルネットワークを表し得る。ニューラルネットワーク300は、入力層320を使用して入力データ310を処理する。いくつかの実施例では、入力データ310は、本明細書で前述した画像キャプチャデータ及びキャプチャされた網膜画像データに対応し得る。いくつかの実施形態では、入力データは、固視、方向付け及び/又は他の判断を行うようにニューラルネットワーク300を訓練するために使用される入力訓練データに対応する。
入力層320は、スケーリング及び/又は範囲制限などによって入力データ310を調整するために使用される複数のニューロンを含む。入力層320の各ニューロンは、隠れ層331の入力に供給される出力を生成する。隠れ層331は、入力層320からの出力を処理する複数のニューロンを含む。いくつかの実施例では、隠れ層331のニューロンのそれぞれが出力を生成し、次いで、その出力は、図示されるように、隠れ層339で終わる1つ又は複数の追加の隠れ層を通して集合的に伝播される。隠れ層339は、前の隠れ層からの出力を処理する複数のニューロンを含む。隠れ層339の出力は、出力層340に供給される。出力層340は、スケーリング及び/又は範囲制限などによって隠れ層339からの出力を調整するために使用される1つ又は複数のニューロンを含む。ニューラルネットワーク300のアーキテクチャは、代表的なものに過ぎず、1つの隠れ層のみを有するニューラルネットワーク、入力層及び/又は出力層なしのニューラルネットワーク及び/又はリカレント層を有するニューラルネットワークなどを含む他のアーキテクチャが可能であることを理解されたい。
いくつかの実施例では、入力層320、隠れ層331~339及び/又は出力層340のそれぞれは、1つ又は複数のニューロンを含む。いくつかの実施例では、入力層320、隠れ層331~339及び/又は出力層340のそれぞれは、同じ数又は異なる数のニューロンを含み得る。いくつかの実施例では、ニューロンのそれぞれは、式a=f(Wx+b)に示されるように、その入力xの組み合わせ(例えば、訓練可能な重み行列Wを使用した加重和)を取り、任意選択の訓練可能なバイアスbを加え、活性化関数fを適用して、出力aを生成する。いくつかの実施例では、活性化関数fは、線形活性化関数、上限及び/又は下限を有する活性化関数、対数シグモイド関数、双曲線タンジェント関数及び/又は整流線形単位関数などであり得る。いくつかの実施例では、ニューロンのそれぞれは、同じ又は異なる活性化関数を有し得る。
いくつかの実施例では、ニューラルネットワーク300は、入力データとグラウンドトゥルース(例えば、予期された)出力データとの組み合わせを含む訓練データの組み合わせである、教師あり学習を使用して訓練され得る。生成された出力データ350とグラウンドトゥルース出力データとの間の差は、ニューラルネットワーク300にフィードバックされて、種々の訓練可能な重み及びバイアスを補正し得る。いくつかの実施例では、確率的勾配降下アルゴリズムなどを使用する逆伝播技術を使用して、その差をフィードバックし得る。いくつかの実施例では、訓練データの組み合わせの多数のセットは、全体的な損失関数(例えば、各訓練の組み合わせの差に基づく平均二乗誤差)が許容レベルに収束するまで、ニューラルネットワーク300に複数回提示され得る。訓練済みニューラルネットワークは、キャプチャされた画像の(例えば、固視若しくは固視ではないという)リアルタイム分類のために眼科用デバイス(例えば、図1のシステム100)において記憶及び実施され、且つ/又はキャプチャされたデータの分析のためにオフラインシステムにおいて記憶及び実施され得る。
図4は、アイトラッキングモジュール110及び網膜撮像システム130の実装形態を含む、システム100の1つ又は複数のコンポーネント及び/又はデバイスを含み得る、例としてのコンピューティングシステムを示す。コンピューティングシステム400は、プロセッサ412、メモリ414、通信コンポーネント422、及びユーザインタフェース434を含むコンピューティングデバイス410を含む、互いに電気的通信関係にある1つ又は複数のデバイスを含み得る。
プロセッサ412は、バス又は他のハードウェア構成(例えば、1つ又は複数のチップセット)を介して種々のシステムコンポーネントに連結され得る。メモリ414は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)並びに/又は他の種類のメモリ(例えば、PROM、EPROM、FLASH-EPROM及び/若しくは任意の他のメモリチップ若しくはカートリッジ)を含み得る。メモリ414は、プロセッサ412に直接接続されるか、近接しているか、又はプロセッサ412の一部として統合されている高速メモリのキャッシュをさらに含み得る。コンピューティングデバイス410は、プロセッサ412による高速アクセスのために、キャッシュを通してROM、RAM及び/又は1つ若しくは複数のストレージデバイス424に記憶されたデータにアクセスし得る。
いくつかの実施例では、メモリ414及び/又はストレージデバイス424は、1つ又は複数のソフトウェアモジュール(例えば、ソフトウェアモジュール416、418及び/又は420)を記憶し得、ソフトウェアモジュールは、種々のアクションを実行するようにプロセッサ412を制御し、且つ/又は制御するように構成され得る。コンピューティングデバイス410は、1つのプロセッサ412のみで示されているが、プロセッサ412は、1つ又は複数の中央処理装置(CPU)、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、グラフィックス処理ユニット(GPU)及び/又はテンソル処理ユニット(TPU)などを表し得ると理解されたい。いくつかの実施例では、コンピューティングデバイス410は、スタンドアロンサブシステムとして、且つ/又はコンピューティングデバイスに追加されたボードとして若しくは仮想マシンとして実施され得る。
ユーザがシステム400と対話することを可能にするために、コンピューティングデバイス410は、1つ若しくは複数の通信コンポーネント422及び/又はユーザ入力/出力(I/O)を容易にする1つ若しくは複数のユーザインタフェースデバイス434を含む。いくつかの実施例では、1つ又は複数の通信コンポーネント422は、1つ又は複数のネットワーク及び/又は通信バス規格に従って通信を提供するために、1つ又は複数のネットワークインタフェース及び/又はネットワークインタフェースカードなどを含み得る。いくつかの実施例では、1つ又は複数の通信コンポーネント422は、ローカルエリアネットワーク、無線ネットワーク、インターネット又は他のネットワークなどのネットワーク480を介してコンピューティングデバイス410と通信するためのインタフェースを含み得る。いくつかの実施例では、1つ又は複数のユーザインタフェースデバイス434は、キーボード、ポインティング/選択デバイス(例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン)、オーディオデバイス(例えば、マイクロフォン及び/若しくはスピーカ)、センサ、アクチュエータ、ディスプレイデバイス並びに/又は他の入力/出力デバイスなどの1つ又は複数のユーザインタフェースデバイスを含み得る。
いくつかの実施形態によれば、ユーザインタフェースデバイス434は、本明細書で開示されるプロセスの実行時にユーザ(例えば、外科医及び/又は他の医療関係者)を支援するのに適したグラフィカルユーザインタフェース(GUI)を提供し得る。GUIは、実行される次のアクションに関する命令、眼の術前及び/又は術後の画像などの注釈付き及び/又は注釈なしの解剖学的構造の図及び/又は入力要求などを含み得る。いくつかの実施例では、GUIは、解剖学的構造などのトゥルーカラー画像及び/又はフォルスカラー画像を表示し得る。
ストレージデバイス424は、ハードディスク、光学媒体及び/又はソリッドステートドライブなどによって提供されるものなどの非一時的及び不揮発性ストレージを含み得る。いくつかの実施例では、ストレージデバイス424は、コンピューティングデバイス410と同じ場所に配置され(例えば、ローカルストレージデバイス)、且つ/又はシステム400から離れて配置され得る(例えば、クラウドストレージデバイス)。
コンピューティングデバイス410は、医療関係者によって使用するための1つ又は複数の診断、撮像、外科及び/又は他のデバイスに連結され得る。例示される実施形態では、システム400は、眼科用デバイス450と、アイトラッカ460と、網膜イメージャ470とを含み、それらは、コンピューティングデバイス410を含む1つ又は複数のコンピューティングシステムにおいて具現化され得る。眼科用デバイス450は、患者の眼452に対して手順を行う操作者に対するフィードバックを制御及び/又は提供するためのユーザインタフェース454を含む。眼科用デバイス450は、患者の眼424を撮像し、測定し、診断し、トラッキングし、且つ/又は外科的に矯正及び/若しくは修復するためのデバイスを含み得る。
眼科用デバイス450は、アイトラッカ460(図1のアイトラッカ110など)に通信可能に連結され、アイトラッカ460は、眼科用デバイスから眼球撮像データを受信し、手順中、眼452の位置及び整列の状態情報を提供する。網膜イメージャ470は、眼科用デバイス450及びアイトラッカ460の両方に通信可能に連結され、眼科的手順において使用するため及び固視トラッキングに使用するための中心窩検出のために、眼452の網膜画像をキャプチャするように構成される。
種々の実施形態では、メモリ414は、網膜撮像分析モジュール416、アイトラッカモジュール418及び眼科的手順モジュール420を含む。網膜撮像分析モジュール416は、網膜イメージャ470を使用して網膜画像をキャプチャし、且つ/又はキャプチャされた網膜画像を分析するようにプロセッサ412に命令するためのプログラム命令を含む。網膜画像分析モジュール416は、1つ又は複数のキャプチャされた網膜画像(例えば、キャプチャされた画像、網膜画像のリアルタイムストリーム、記憶された網膜画像など)を受信し、関連画像特徴を抽出し、中心窩の存在又は不在を検出する(例えば、中心窩検出を示す分類を出力する、適切な眼の位置及び/又は整列の可能性を出力するなど)ように訓練されたニューラルネットワークを含み得る。
アイトラッカモジュール418は、アイトラッカ460を使用して眼452の画像をキャプチャし、且つ/又はキャプチャされた画像を分析するようにプロセッサ412に命令するためのプログラム命令を含む。アイトラッカモジュール418は、1つ又は複数のキャプチャされた画像(例えば、キャプチャされた画像、アイトラッカ460からの眼球画像のリアルタイムストリーム、記憶された眼球画像など)を受信し、関連画像特徴を抽出し、アイトラッキング情報を出力する(例えば、眼の整列標識を出力する、適切な眼の位置及び/又は整列の可能性を出力する、適切な位置及び整列状態からの眼のオフセットを出力するなど)ように訓練されたニューラルネットワークを含み得る。
種々の実施形態では、アイトラッカ418は、網膜画像分析モジュール416から受信される整列データに基づいて基準の眼の位置を判断するように構成される。例えば、アイトラッカ418は、網膜画像分析モジュール416から中心窩検出情報を受信し得、中心窩検出情報は、適切な整列状態にある眼452を示すアイトラッカ460からの対応する画像を識別するために使用される。アイトラッカモジュール418は、アイトラッカ460によってキャプチャされた画像を分析し、基準画像に関連するアイトラッキング情報を出力するようにさらに構成される。
眼科的手順420は、眼科的手順を行うようにプロセッサ412に命令するためのプログラム命令を含み、ユーザインタフェース454を通した手順中のユーザ入力及び出力並びにキャプチャされたデータの分析を含み得る。いくつかの実施形態では、眼科的手順420は、手順中にキャプチャされたデータを分析するための訓練済みニューラルネットワークを含む。眼科的手順420は、アイトラッカモジュール418からアイトラッキング情報を受信し、アイトラッカモジュール418は、許容可能なオフセット閾値、オフセットデータ及び/又は他の情報の中に整列状態を含み得る。いくつかの実施形態では、眼科的手順420は、患者の眼452が許容可能な整列位置にあるときに動作し、患者の眼が整列状態にないときに眼科用デバイス450の操作者にユーザインタフェース454を通して標識(例えば、ビープ音などの音、閃光などの視覚的標識など)を提供するように構成される。
システム400は、オンライン処理(例えば、後続の手順中の)及びオフライン処理を含む後の処理のために、キャプチャされた網膜のアイトラッキングデータ及び眼科的手順データを記憶し得る。ストレージ424は、患者についてキャプチャされた網膜画像データ426を記憶し得る。網膜画像データ426は、患者識別子、キャプチャ画像のストリーム、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)及び/又は中心窩が画像内で検出されたかどうかについての情報を含み得る。ストレージ424は、アイトラッカデータ428も記憶し得る。アイトラッカデータ428は、患者識別子、キャプチャ画像のストリーム、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)、中心窩が検出された期間とキャプチャ画像が対応しているかどうか、及び/又は固視中の眼の基準位置を提供する固視情報を含み得る。ストレージ424は、手順中に患者についてキャプチャされた手順データ430も記憶し得る。手順データ430は、患者識別子、手順中にキャプチャされたデータのストリーム(例えば、画像、データ示度、データ計算など)、時間情報(例えば、タイムスタンプ、シーケンシャルインデックスなど)、手順におけるある時点の眼の位置について計算されたオフセット情報及び/又は手順中のある時点に目が固視していたかどうかを含む。
コンピューティングデバイス410は、1つ又は複数のアプリケーションサービスをコンピューティングデバイスに提供する1つ又は複数のネットワークサーバ482と通信し得る。いくつかの実施形態では、ネットワークサーバ482は、訓練データセット486を使用してニューラルネットワークの1つ又は複数を訓練するためのニューラルネットワーク訓練モジュール484を含み、訓練データセット486は、ラベル付き画像を含み得る。例えば、網膜画像分析モジュール416は、中心窩の存在及び/又は不在を識別するためにラベル付けされた網膜画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール418は、中心窩の存在及び/又は不在を識別するためにラベル付けされた、キャプチャされた眼の画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール418は、基準データに対する画像のオフセットを識別するためにラベル付けされた、キャプチャされた眼の画像のセット及び基準データを使用して訓練されたニューラルネットワークをさらに含み得る。眼科的手順420は、アイトラッカモジュール418からの整列データ及び/又はオフセットデータを含む、手順中にキャプチャされたデータを表すデータのセットを使用して訓練されたニューラルネットワークを含み得る。
図5を参照すると、図1のシステム100を動作させるための方法500の実施形態がここで説明される。ステップ510において、患者は、眼科用システムにおいて位置決めされ、患者の視線を眼科用デバイスの整列軸と整列させるように目標対象に焦点を合わせる方向に向けられる。ステップ512において、中心窩を検出するために網膜が分析される。一実施形態では、眼科用システムは、網膜をスキャンし、スキャンされた網膜データを取得し、取得されたデータを分析して中心窩を検出するように構成される網膜撮像システム(図1の網膜撮像システム130)を含む。いくつかの実施形態では、中心窩は、眼が固視している場合にOCT画像の中心において視認できる。ステップ514において、検出された中心窩に関連付けられる網膜画像データの時間特性が判断される。種々の実施形態では、時間特性は、タイムスタンプ、シーケンシャル画像インデックス又は網膜撮像データとシステムの他のコンポーネントとの同期を可能にする他の基準を含み得る。
同時に、アイトラッキングシステムは、ステップ520において眼の画像のストリームをキャプチャし、ステップ522においてキャプチャされた画像データを使用して眼球運動をトラッキングする。いくつかの実施形態では、ステップ512及び514において網膜を検出しながら、アイトラッキングシステムは、眼の動きをトラッキングし、固視位置を判断し、所与の手順のための許容可能なオフセットを適用する。ステップ530において、時間特性に合致するキャプチャ画像が識別及び分析されて、目標対象を固視しているときの眼の位置及び向きが判断される。ステップ540において、眼の測定及び他の取得されたデータを含み得るシステム診断が実行される。いくつかの実施形態では、網膜の分析(ステップ512)及び検出された中心窩に関連付けられた時間特性の判断(ステップ514)は、網膜撮像システムによって実行され、網膜撮像システムは、ステップ540の眼の診断中、無効化される。したがって、網膜撮像システムは、診断手順中、眼の位置をトラッキングするために利用できない。
ステップ540における測定中、アイトラッキングシステムは、眼が測定中適切に位置決めされ、整列されているかどうかを判断するために、ステップ550において眼の位置及び向きをトラッキングする。いくつかの実施形態では、アイトラッキングシステムは、角膜の前側又は眼房の内側に焦点を合わせる。アイトラッキングシステムは、診断中に眼のキャプチャ画像を分析し(ステップ540)、キャプチャ画像に基づいて現在の位置及び回転を判断し得る。現在の位置及び回転が固視位置及び回転と比較されて、オフセットが判断される。オフセットがエラー閾値未満である場合、眼が測定のための適切な位置及び整列状態にあると判断される。オフセットがエラー閾値を超える場合、診断プロセス及び/又はシステム操作者には、眼が整列状態にないことが通知され得、それにより操作者が診断手順を休止し、眼を再配置するように患者に指示することが可能となるか、関連測定データが有効/無効を判断されることが可能となるか、又は他のアクションが取られることが可能となる。いくつかの実施形態では、眼の診断手順(ステップ540)中に取得されるデータは、ストレージデバイス560に記憶され、アイトラッキング手順(ステップ550)中に取得されるデータは、後続の処理及び分析のためにストレージデバイス570に記憶される。一実施形態では、患者のデータは、中心窩情報に加えてトラッキングされ、利用可能な場合に中心窩情報を使用して検証され得る。このようにして、値の範囲及び平均固視位置が判断され得る。
網膜撮像情報及び/又は中心窩検出情報は、アイトラッキングにおいて使用するために常に利用可能とは限らない場合がある。いくつかの眼科用デバイスは、例えば、OCT網膜スキャナを含まない。いくつかの手順において、中心窩は、手順の開始前に確実に検出されていない場合がある(例えば、患者が適切に固視していなかった、中心窩が満足な度合の確実性で画像内に検出されなかった、操作者又はシステムエラーなど)。これらの実施形態では、絶対固視位置は、アイトラッカからキャプチャされた画像(例えば、眼の表面の画像)の分析に少なくとも部分的に基づいて判断され得る。
種々の実施形態では、固視分析は、カメラからキャプチャされた画像のストリームにおいて眼の位置を検出し、且つ絶対固視位置を推定するために結果を分析することによって実行される。分析は、キャプチャされた画像から判断される眼の位置のヒストグラムを使用した統計分析を含み得る。ヒストグラムが分析に従って明確な最高点を示す場合、方法は、絶対固視位置を推定し得る。ヒストグラムが明確な最高点を示さない場合、方法は、固視が検出されなかったことを示し得る。いくつかの実施形態では、キャプチャ画像の分析は、患者の眼と既知の位置における他の眼との比較(例えば、ラベル付けされた訓練画像のセットを使用して訓練されたニューラルネットワークの使用)、患者についての履歴上の固視情報、画像分析(交差/閾値を含む)及び/又は利用可能な情報の他の分析を含み得る。いくつかの実施形態では、方法は、操作者及び患者が患者の眼を適切に固定させることに依存し得る。いくつかの実施形態では、方法は、操作者及び/又は患者のエラーにより、画像が固視を反映しないシナリオ(例えば、患者が誤った場所を意図的に固視する場合又は操作者が適切に患者に指示せず、且つ/若しくは患者をモニタリングしない場合)に対処し得る。
網膜OCTスキャンが利用可能でなく、且つ/又は手順の前に中心窩が確実に検出されていない、アイトラッキングのためのシステム及び方法の実施形態が図6~図9を参照してここで説明される。前述の通り、眼科用デバイスを使用した眼の正確な測定は、通常、患者の視線(患者の視軸)と眼科用デバイスのある光軸との整列で開始する。これに関連して、視線は、患者がそれに沿って物を見る軸であり得る。結果として生じる診断データ及び/又は眼科的手順の他の結果は、患者が適切に固視していなかった期間中、信頼できない場合がある。アイトラッカモジュール(例えば、図1のアイトラッカ110及び/又は他の別の画像キャプチャデバイス)によってキャプチャされた画像の分析から、眼科用デバイスが絶対固視位置を推定することを可能にするシステム及び方法が本明細書で開示される。
推定された眼球固視情報は、患者が手順(例えば、測定手順)中に診断デバイスのある光軸に沿って固視しているか(又は適切に固視していないか)に関するフィードバックをデバイス操作者に提供するために、眼科用デバイスによって使用され得る。眼科用デバイスは、手順中、推定された眼球固視情報を使用して、患者が適切に固視している期間を識別し得る。システムは、推定された眼球固視情報を使用して、手順中に取得されたデータが信頼できるデータであるか、及び/又は信頼できないデータであるかを、患者がデータ取得中に固視していると判断されたかどうかに少なくとも部分的に基づいて判断することもできる。
図6を参照すると、絶対眼球固視を推定するための方法600の実施形態がここで説明される。方法600は、コンピューティングデバイスと、患者の眼の表面を撮像するためのカメラ及び照明システム(例えば、図1のカメラ112及び照明コンポーネント114)を含み得る撮像システムとを使用して実行される。方法は、画像内の眼の検出可能な特徴(例えば、瞳孔、輪部、虹彩特徴など)の位置及び角膜における照明システムの反射の位置を使用することにより、眼の位置及び向きを判断する。眼の位置は、手順又は患者が眼科用デバイスの光軸に対して適切に位置決めされ、固視していることが予期される他の時間中に判断される。操作者は、フィードバックを提供することによって(例えば、1つ又は複数のボタンを押すことによって)プロセスを開始し得、及び/又は操作者は、患者がその後従うシーケンスを開始し得る。任意選択で、操作者は、患者の手順遵守の確認を提供し得る。
方法600は、網膜OCT撮像デバイスを含み得る眼科用デバイスのコンピューティングデバイスによる実装形態のための実施形態を示す。絶対固視位置を判断するために、コンピューティングシステムは、中心窩検出情報が利用可能であるかどうかを判断する(ステップ602)。例えば、眼科用デバイスが、患者が適切に固視している間に患者の眼をスキャンした網膜撮像デバイスを含む場合、中心窩検出情報が利用可能であり得る。中心窩検出情報が利用可能である場合、方法は、ステップ604に進む。ステップ604では、コンピューティングシステムが、(例えば、図1~図5を参照して上述したような)検出された中心窩データに対応するアイトラッキング画像を識別する。ステップ606において、絶対固視パラメータは、対応する画像を使用して計算される。患者の眼は、その際、アイトラッキング画像及び固視パラメータを使用して手順中にトラッキングされ得る。
ステップ602に戻って参照すると、中心窩検出が利用可能でない場合、方法は、眼のキャプチャ画像(例えば、眼の表面の画像)を使用して絶対固視パラメータを推定する。ステップ620において、コンピューティングデバイスは、キャプチャ画像のストリームをカメラから受信し、複数の画像のそれぞれにおいて眼の位置及び向きを判断する。コンピューティングデバイスは、(例えば、処理制約に従って)それぞれの受信した画像又は受信した画像のサブセットを処理し得る。画像は、キャプチャデータを分析するとき、手順前/手順中及び/又は手順後に受信され得る。
眼の位置及び向きが一連のキャプチャ画像に対して判断された後、ステップ630において、判断された位置及び向きからヒストグラムが生成される。いくつかの実施形態では、位置及び向き情報は、画像のそれぞれにおける瞳孔の中心の画素位置を含み、それは、(x,y)座標の2次元ヒストグラムを構築するために使用される。位置及び向き情報は、画像のそれぞれから判断される眼の絶対位置及び向きを含み得、それは、2次元ヒストグラムを構築するために使用される。位置及び向きデータの他の表現も本方法において使用され得る(例えば、ヒートマップ)。いくつかの実施形態では、操作者フィードバックは、患者が固視するように指示されている画像を示すため及び/又は患者が固視していないかどうかを示すために使用され得、対応する画像は、分析に追加されるか又は分析から破棄され得る。システムの操作者が測定シーケンス中に対象を固視するように患者に指示する手順が行われ得る。
図7を参照すると、患者が見ている固視点の例としての分布を示すヒートマップ700が示される。マップは、色分けされるか、3次元的であるか、又は患者がある場所を固視している頻度をトラッキングするための印を含み得る。他の標識(例えば、背景色に近い色)は、その場所における短時間の固視を示すために使用され得る。例示される実施形態では、ヒートマップの領域710は、最も多い座標を示し、目標対象を適切に固視している間の患者の眼の位置及び向きを示し得る。破線の円720は、手順又は分析に必要な精度のレベルに依存した、固視判断のために選択されるべき閾値オフセットの範囲内にある位置及び向きを示す。
図8は、キャプチャ画像から検出される眼の座標をプロットする例としてのヒストグラム800を示す。この分布810の最高点は、(例えば、患者が最もよく固視していた位置及び向きを識別することによって)固視している眼の位置及び向きを推定するために使用され得る。この推定された位置及び向きは、さらなる眼の固視判断のための基準位置として使用され得る。例えば、測定シーケンスにおいて取られた医療データの分析は、眼が基準位置(例えば、ヒストグラムの最高点に少なくとも部分的に基づく)から許容可能なオフセット(例えば、円820によって示される)範囲内の向き及び位置を有するときに取得されたデータ点のみを使用し得る。
前述の通り、ヒストグラム800は、キャプチャ画像から判断される固視点をプロットすることによって構築され得る。例えば、ヒストグラムは、検出された瞳孔又は識別された眼の中心(例えば、反射又は他の測定値から判断される)の一連の画素位置として眼の位置をトラッキングし得る。画像のシーケンスが受信され、分析されると、患者が最もよく固視している位置を示すパターンが出現し得る。いくつかの実施形態では、ヒストグラムにおける値は、隣接画素の平均を含み得、且つ/又は他の平滑化を組み込み得る。
図6の方法600に戻って参照すると、ステップ640において、ヒストグラムが分析されて固視位置が検出される。前述の通り、固視位置は、ある分析基準に合致するヒストグラムの最大値に関連し得る。例えば、最高点は、平均値を超える最高点の度合、所与の数の画像についての閾値を超える度合などを含む多様な因子に基づいて選択され得る。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点/固視位置がリアルタイムで更新され得る。
ステップ650を参照すると、許容可能な最高点が見つからない(又は他の固視点基準に合致する)場合、眼球固視情報は、このプロセスを通して利用できない。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点/固視位置がリアルタイムで識別及び/又は更新され得る。
ステップ660において、推定される固視パラメータ(例えば、手順について許容可能な固視位置及びオフセット半径)は、検出された固視情報に基づいて判断される。患者の眼は、その際、アイトラッキング画像及び推定された固視パラメータを使用してステップ608において手順中にトラッキングされ得る。
図9を参照すると、図6~図8の方法を実施するための例としてのシステム900がここで説明される。コンピューティングデバイス902(図4のコンピューティングデバイス410など)は、眼科用機器960に通信可能に連結され、アイトラッカ930に関連付けられたプロセス及び眼科的手順940を実行するように構成される。コンピューティングデバイス902は、眼科用機器960の網膜撮像デバイス(利用可能な場合)を使用して網膜画像分析910を実行し、網膜画像データ912を記憶するように構成され得る。コンピューティングデバイス902は、図6に示される方法の実装形態を実行するための固視分析モジュール920をさらに含む。一実施形態では、固視分析モジュール920は、アイトラッカ930によってキャプチャされ、(例えば、ストレージ932に)記憶された眼球画像のストリームを受信及び分析し、固視位置のヒストグラムを構築及び分析し、基準位置及び関連する半径を判断する。ヒストグラムデータを含む固視データがストレージ922(例えば、メモリ又はストレージデバイス)に保存され得る。
いくつかの実施形態では、コンピューティングデバイス902は、メモリに記憶されたプログラム命令を実行するように構成されるプロセッサを含み、メモリは、固視分析モジュール920と、任意選択の網膜画像分析モジュール910と、アイトラッカ930と、眼科的手順940に関連付けられたプロセスとを含み得る。
固視分析モジュール920は、アイトラッカ930によってキャプチャされた画像を使用して患者の眼の相対視線を分析するように構成され得る。固視分析モジュール920は、視線の向き(例えば、眼のピッチ及びヨー、相対的な上/下及び左/右オフセット、曲率/回転など)をトラッキングするヒストグラムを構築し、絶対基準の推定を得るためにヒストグラムのピーク値(例えば、各場所におけるデータ値の数)を分析し得る。いくつかの実施形態では、固視分析モジュール920は、眼の光軸及びアイトラッカカメラとの交点を推定して、視線方向をトラッキングする。
アイトラッカモジュール930は、患者の眼の画像をキャプチャ、記憶及び処理するように構成され得る。アイトラッカモジュール930は、固視分析モジュール920によるさらなる分析のために、キャプチャ画像から患者の眼の位置及び向きを判断するように構成され得る。いくつかの実施形態では、それぞれの分析された画像は、眼の位置及び向き(例えば、x軸及びy軸を中心とする回転)を表すx、y位置を含み得る。アイトラッカは、(例えば、網膜画像分析910を通して判断される)絶対固視位置又は(例えば、固視分析モジュール920を通して判断される)推定された絶対固視位置に関連して1つの画像から別の画像への相対的な向きの変化に関する情報を使用し得る。いくつかの実施形態では、固視分析モジュール920は、患者がほとんどの時間固視しようとしていたという仮定並びに推定された絶対固視位置が、x及びy回転のヒストグラムを構築し、且つ最も顕著な視線方向を判断することによって判断され得るという仮定の上で動作する。種々の実施形態では、ヒストグラムは、画素座標、x及び/若しくはyを中心とする回転、オフセット値又は他のデータから構築され得る。各画像は、ヒストグラムに追加される計算された眼の視線の向きを表す座標対を提供し得る。
いくつかの実施形態では、固視分析モジュール920は、1つの明瞭なピーク(例えば、より小さいピークによって囲まれる顕著なピーク)を検出し、且つ固視位置が検出されたという信頼性のレベルを判断することによってヒストグラムを分析するように構成される。明確なピークが検出されない場合、信頼性レベルは、低くなり得る。検出されたピークの周囲の半径が使用され得る(例えば、人間は、+/-0.5度固定し得る)。平均へのピークの閾値及び/又は半径のサイズは、システム及び手順要件に依存して変化し得る。
コンピューティングデバイス902は、ヒストグラムデータを分析して、眼球固視位置が判断され得るかどうかを判断することを含む、本明細書で開示された1つ又は複数の判断を行うように訓練された1つ又は複数のニューラルネットワークを含み得る。いくつかの実施形態では、固視分析は、患者及び/又は他の患者のための既知のアイトラッキング画像及び/又は眼球固視パラメータの比較をさらに含み得る。例えば、1つ又は複数の画像は、画像内の眼が固視しているかどうかを判断するために履歴データを使用して訓練されたニューラルネットワーク内に入力され得る。
種々の実施形態では、網膜撮像データが利用可能でない(例えば、システムの一部ではなく、且つ/又は中心窩検出が手順前に利用可能でない)ときでさえ、患者がデータ取得中にこの軸に沿って固視しているか又は固視していないかについてのフィードバックが操作者に提供され得る。本明細書で開示されるシステム及び方法は、本明細書で説明される画像キャプチャデバイス及び照明システムを使用する眼科診断デバイスで使用するのに適当である、コスト効率のよい解決策を提供する。
当業者に理解されるように、例示された実施形態の方法は、動作中に患者の眼が目標対象を適切に固視しているかどうかを独立して検証するための改善された技術を提供する。特定の時点における中心窩を検出することにより、システムは、視線/視軸が患者に対して位置する場所を判断し得る。この情報により、システムは、測定シーケンス又は他の診断若しくは矯正手順中に患者が現在固視しているかどうかを判断することが可能となる。この方法は、網膜を撮像するシステムと、表面情報を使用して眼をトラッキングするシステムとを結合する。網膜画像における中心窩の位置から、システムは、アイトラッキング位置を判断し、眼が左又は右/上又は下に動いているかどうかを判断し得る。システムは、ユーザの視線をトラッキングし、オフセットを計算し、現在の眼の位置及び向きを判断し、眼球固視に関する判断を行い、データの有効性を判断し、本開示による他の特徴を提供し得る。
上述の実施形態による方法は、非一時的で有形の機械可読媒体に記憶される実行可能命令として実施され得る。実行可能命令は、1つ又は複数のプロセッサ(例えば、プロセッサ412)による実行時、1つ又は複数のプロセッサに、方法500、600のプロセス又は本明細書で開示された他のプロセスの1つ又は複数を実行させ得る。これらの開示による方法を実施するデバイスは、ハードウェア、ファームウェア及び/又はソフトウェアを含み得、様々なフォームファクタのいずれかを取り得る。そのようなフォームファクタの典型的な例としては、ラップトップ、スマートフォン、スモールフォームファクタのパーソナルコンピュータ及び/又は携帯情報端末などを含む。本明細書で説明される機能性の一部は、周辺機器及び/又はアドインカードでも具現化され得る。そのような機能性は、さらなる実施例として、単一のデバイスにおいて実行される異なるチップ又は異なるプロセスの中から回路基板上でも実施され得る。
例示的な実施形態が示され、説明されてきたが、前述の開示では広範囲の修正形態、変更形態及び置換形態が想定されており、場合により、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに利用され得る。当業者であれば、多くの変形形態、代替形態及び修正形態を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈されることが適切である。
Claims (20)
- システムであって、
眼の第1の複数の画像をキャプチャするように構成されるアイトラッカと、
制御プロセッサであって、
前記第1の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、
前記アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、
前記判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、
前記第1の複数の画像からの1つ又は複数の画像を分析して、前記眼球固視パラメータに対する前記眼の位置及び向きを判断することにより、前記眼の位置及び向きをトラッキングすることと
を行うように構成される制御プロセッサと
を含むシステム。 - 前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む、請求項1に記載のシステム。
- 前記制御プロセッサは、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、前記アイトラッカの前記光軸に対する前記固視位置を検出するようにさらに構成される、請求項1に記載のシステム。
- 前記ヒストグラムを分析することは、相対最大値を判断し、且つ前記相対最大値の座標が固視位置及び向きを含むかどうかを判断することをさらに含む、請求項3に記載のシステム。
- 前記相対最大値の座標が固視位置及び向きを含むかどうかを判断することは、前記相対最大値を閾値及び/又は前記ヒストグラムの平均座標値と比較することをさらに含む、請求項4に記載のシステム。
- 網膜スキャンを実行するように構成される光干渉断層撮影(OCT)スキャナ及び/又は眼底カメラを含む網膜撮像システムをさらに含む、請求項1に記載のシステム。
- 前記網膜撮像システムは、眼の第2の複数の画像をキャプチャすることと、
中心窩が前記第2の複数の画像の1つ又は複数に存在するかどうかを検出することと、
前記検出された中心窩を有する第1の画像を前記第2の複数の画像から識別することと、
前記第1の画像に対する時間的近接性を有する第2の画像を前記第1の複数の画像から判断することと、
前記第2の画像を分析して、眼球固視パラメータを判断することと
を行うように構成される、請求項6に記載のシステム。 - 前記制御プロセッサは、前記眼の位置及び向きをトラッキングし、且つ前記眼球固視パラメータからのオフセットを計算し、且つ前記オフセットが閾値未満であるかどうかを判断するように構成され、
前記オフセットが前記閾値未満であるとき、前記眼は、固視していると判断され、及び前記制御プロセッサは、固視の標識を生成し、
前記オフセットが前記閾値より大きいとき、前記眼は、整列状態にないと判断され、及び前記制御プロセッサは、固視でないという標識を生成する、請求項1に記載のシステム。 - 前記制御プロセッサは、眼球診断手順を実行し、且つ前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングするようにさらに構成される、請求項1に記載のシステム。
- 画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み、
前記診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信するようにさらに構成される、請求項1に記載のシステム。 - 方法であって、
眼の第1の複数の画像をキャプチャすることと、
前記第1の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、
アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、
前記判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、
前記第1の複数の画像からの1つ又は複数の画像を分析して、前記眼球固視パラメータに対する前記眼の位置及び向きを判断することにより、前記眼の位置及び向きをトラッキングすることと
を含む方法。 - 前記第1の複数の画像を受信し、且つ眼の位置の判断を出力するようにニューラルネットワークを訓練することをさらに含む、請求項11に記載の方法。
- 前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む、請求項11に記載の方法。
- 検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、前記アイトラッカの前記光軸に対する前記固視位置を検出することをさらに含む、請求項11に記載の方法。
- 前記ヒストグラムを分析することは、相対最大値を判断することをさらに含む、請求項14に記載の方法。
- 光干渉断層撮影(OCT)スキャナを使用して前記眼の網膜撮像スキャンを実行することをさらに含む、請求項11に記載の方法。
- 前記網膜撮像スキャンから眼の第2の複数の画像をキャプチャすることと、
中心窩が前記第2の複数の画像の1つ又は複数に存在するかどうかを検出することと、
前記検出された中心窩を有する第1の画像を前記第2の複数の画像から識別することと、
前記第1の画像に対する時間的近接性を有する第2の画像を前記第1の複数の画像から判断することと、
前記第2の画像を分析して、眼球固視パラメータを判断することと
をさらに含む、請求項16に記載の方法。 - 前記眼の位置及び向きをトラッキングし、且つ前記眼球固視パラメータからのオフセットを計算し、且つ前記オフセットが閾値未満であるかどうかを判断することをさらに含み、
前記オフセットが前記閾値未満であるとき、前記眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、
前記オフセットが前記閾値より大きいとき、前記眼は、整列状態にないと判断され、及び前記制御プロセッサは、固視でないという標識を生成する、請求項11に記載の方法。 - 眼球診断手順を実行し、且つ前記眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングすることをさらに含む、請求項11に記載の方法。
- 画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行することと、
眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも部分的に基づいて前記眼球診断手順を修正することと
をさらに含む、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962886517P | 2019-08-14 | 2019-08-14 | |
US62/886,517 | 2019-08-14 | ||
PCT/IB2020/057607 WO2021028858A1 (en) | 2019-08-14 | 2020-08-12 | Eye tracking fixation monitoring systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022545615A true JP2022545615A (ja) | 2022-10-28 |
Family
ID=72145439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022505285A Pending JP2022545615A (ja) | 2019-08-14 | 2020-08-12 | アイトラッキング固視モニタリングシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11717156B2 (ja) |
EP (1) | EP4013289A1 (ja) |
JP (1) | JP2022545615A (ja) |
CN (1) | CN114206201A (ja) |
AU (1) | AU2020328265A1 (ja) |
CA (1) | CA3145664A1 (ja) |
WO (1) | WO2021028858A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102469720B1 (ko) * | 2017-10-31 | 2022-11-23 | 삼성전자주식회사 | 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법 |
CN115984952B (zh) * | 2023-03-20 | 2023-11-24 | 杭州叶蓁科技有限公司 | 基于球结膜血管图像识别的眼动跟踪系统及其方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002064031A2 (en) * | 2001-02-09 | 2002-08-22 | Sensomotoric Instruments Gmbh | Multidimensional eye tracking and position measurement system |
US6813008B2 (en) * | 2002-06-10 | 2004-11-02 | Palantyr Research, Llc | Microdissection optical system |
US8393734B2 (en) * | 2007-09-14 | 2013-03-12 | Neuroptics, Inc. | Pupilary screening method and system |
US9801540B2 (en) * | 2009-05-06 | 2017-10-31 | University Of Virginia Patent Foundation | Self-illuminated handheld lens for retinal examination and photography and related method thereof |
US10660519B2 (en) | 2014-01-30 | 2020-05-26 | Duke University | Systems and methods for eye tracking for motion corrected ophthalmic optical coherence tomography |
US10258232B2 (en) * | 2014-09-14 | 2019-04-16 | Retivue Llc | Wide field fundus camera |
WO2016161110A1 (en) * | 2015-03-31 | 2016-10-06 | Visunex Medical Systems Co. Ltd. | An eye imaging apparatus with sequential illumination and a syntactic image analyzing method |
US10761602B1 (en) * | 2017-03-14 | 2020-09-01 | Facebook Technologies, Llc | Full field retinal imaging system for characterization of eye trackers |
DE102018200829A1 (de) | 2018-01-19 | 2019-07-25 | Carl Zeiss Meditec Ag | Verfahren zur durchgehenden Kontrolle der Fixation eines Patientenauges während der Erfassung dessen biometrischer Messdaten |
-
2020
- 2020-08-12 WO PCT/IB2020/057607 patent/WO2021028858A1/en unknown
- 2020-08-12 AU AU2020328265A patent/AU2020328265A1/en active Pending
- 2020-08-12 CA CA3145664A patent/CA3145664A1/en active Pending
- 2020-08-12 JP JP2022505285A patent/JP2022545615A/ja active Pending
- 2020-08-12 EP EP20757970.7A patent/EP4013289A1/en active Pending
- 2020-08-12 CN CN202080054702.1A patent/CN114206201A/zh active Pending
- 2020-08-12 US US16/991,937 patent/US11717156B2/en active Active
-
2023
- 2023-06-16 US US18/336,747 patent/US20230329548A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230329548A1 (en) | 2023-10-19 |
EP4013289A1 (en) | 2022-06-22 |
WO2021028858A1 (en) | 2021-02-18 |
AU2020328265A1 (en) | 2022-01-27 |
CN114206201A (zh) | 2022-03-18 |
US11717156B2 (en) | 2023-08-08 |
US20210045631A1 (en) | 2021-02-18 |
CA3145664A1 (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11786117B2 (en) | Mobile device application for ocular misalignment measurement | |
US11786119B2 (en) | Instant eye gaze calibration systems and methods | |
US20230329548A1 (en) | Eye tracking fixation monitoring systems and methods | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
JP2019519859A (ja) | 視線追跡を実行するシステム及び方法 | |
US20140240675A1 (en) | Systems and methods for improved ease and accuracy of gaze tracking | |
US20210093193A1 (en) | Patient-induced trigger of a measurement for ophthalmic diagnostic devices | |
JP7332463B2 (ja) | 制御装置、光干渉断層撮影装置、光干渉断層撮影装置の制御方法、及びプログラム | |
US11766171B2 (en) | Method for the continuous control of the fixation of a patient's eye during the detection of biometric measurement data of the patient's eye | |
JP2022544363A (ja) | アイトラッキング固視モニタリングシステム及び方法 | |
KR20160035005A (ko) | 눈의 변화들에 응답하는 레이저 처치의 조정 | |
CN114980802A (zh) | 视网膜成像系统 | |
JPH04156818A (ja) | 眼球運動測定装置 | |
TW202207865A (zh) | 眼動追蹤系統及方法 | |
JP2023058161A (ja) | データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240507 |