JP2022549561A - 眼科診断デバイスのための測定の患者誘導トリガ - Google Patents

Abstract

眼科的手続の間、眼の位置及び状態をトラッキングするためのシステム及び方法が、眼の特性を測定するように構成される眼科用デバイスと、眼の画像のストリームをキャプチャするように構成されるアイトラッカと、論理デバイスであって、画像のストリームを分析して眼が目標対象を固視しているかどうかを判断し、第１の画像のストリームにおいて所定の瞬きシーケンスを検出し、所定の涙安定化期間の間遅延させ、安定涙膜間隔を開始し、安定涙膜間隔の間、眼が固視しているときに眼科用デバイスを用いて眼の少なくとも１つの測定結果をキャプチャするように構成される、論理デバイスと、を含む。瞬きシーケンスは、連続した複数の瞬きを含んでもよく、瞬きシーケンスの検出は、開いた眼及び／又は閉じた眼を検出するように訓練されたニューラルネットワークを通して画像を処理することを含み得る。

Description

本開示は、概して、眼球診断システム及び方法に関し、より詳細には、例えば撮像、診断及び／又は外科システムにおいて眼の位置、向き及び／又は状態をトラッキングするためのシステム及び方法に関する。

患者の眼を撮像し、測定し、診断し、トラッキングし、外科的に矯正し、且つ／又は外科的に修復するために、多岐にわたる眼科用デバイスが使用される。トポグラフィデバイス、角膜曲率測定デバイス、波面解析器又は眼の様相を（例えば、光学的、幾何学的など）測定する別のデバイスなどの眼科用デバイスの動作は、診断デバイスに対して定義された位置及び向きに眼が維持されているという仮定に基づくことが多い。患者は、眼科用デバイスの人間の操作者によって位置決めされ、例えばデバイス内を覗き込んで目標対象（例えば、固視灯）を見て、患者の視線（例えば、人がそれに沿って物を見る軸）を眼科用デバイスの光軸に整列させるように指示され得る。患者が適切に固視されていない場合、示度が不正確である場合があり、且つ／又はシステムが適切に機能できないことがある。

正確なデータ取得を保証するために、眼科用デバイスの人間の操作者には、患者が眼を整列させるように目標対象を適切に固視しているかどうかを判断するために、患者をモニタリングすること、患者に初期化手続を説明すること及び／又はデータ取得中のデバイスからのフィードバックをモニタリングすることが課されることが多い。既知の技術の１つは、デバイス操作者によって指示されるように目標対象を固視する患者の協力に依存することを含む。しかしながら、既存の手法は、固視を試みる患者の人為的過誤（例えば、高齢患者は、眼の位置を維持できないことがあり、患者は、眼を固定するための十分な集中力を欠いていることがあり、患者は、目標対象を直接見ることができないことがあるなど）及び手順中に患者をモニタリングする操作者による人為的過誤及び可変性を含む多くの欠点を有する。別の手法では、網膜スキャン及び撮像分析が患者の眼の位置及び向きをトラッキングするために使用され得るが、網膜撮像システムの動作が診断手順の妨げとなることがある。その結果、網膜スキャン及び撮像システムは、眼科用デバイスを使用して実行される診断手順中、シャットダウンされるか、又はアイトラッキングにおける使用に対して動作不能にされることが多い。

従来のシステムの他の欠点は、患者が、測定がいつ開始したかを知らない場合があり、固視を失ったり、瞬きしたり、又は測定の信頼性に影響を及ぼす他の方法で動くことがあるということを含む。患者は、長期間固視するように求められる場合があり、それは、患者にとって不快であり、眼が最適以下の状態であることにつながることがある。操作者には、また、測定を行うための眼の最適な状態を判断することが課されることがある。例えば、眼は、測定手続の経過を経て乾燥する場合があり、患者が瞬きする度に水分は元に戻り得る。それが眼の反射率の一定の変化につながり得る。

前述の点に鑑みて、眼科的手順中、患者の眼の位置、向き及び状態を判断及び／又はトラッキングするための改善された技術が当技術分野において継続的に必要とされている。

本開示は、概して、眼球診断データ取得の患者制御を含むシステム及び方法に関する。本明細書で与えられるシステム及び方法は、眼の測定準備の最適時間を判断するために使用され得る。

１つ又は複数の実施形態では、システムは、眼の特性を測定するように構成される眼科用デバイスと、眼の第１の画像のストリームをキャプチャするように構成されるアイトラッカと、論理デバイスであって、第１の画像のストリームを分析して眼が目標対象を固視しているかどうかを判断し、第１の画像のストリームにおいて所定の瞬きシーケンスを検出し、所定の涙安定化期間の後、安定涙膜間隔を開始し、安定涙膜間隔の間、眼が目標対象を固視しているときに眼科用デバイスを用いて眼の少なくとも１つの測定結果をキャプチャするように構成される、論理デバイスと、を含む。瞬きシーケンスは、連続した複数の瞬きを含んでもよく、瞬きシーケンスの検出は、開いた眼及び／又は閉じた眼を検出するように訓練されたニューラルネットワークを通して画像を処理することを含み得る。

いくつかの実施形態では、アイトラッカは、第１の位置からの眼の第１の画像及び第２の位置からの眼の第２の画像をキャプチャするように構成され、論理デバイスは、第１の画像から第１の複数の眼の特性を検出し、眼の特性が第１の対応画像座標を有し、第２の画像から第２の複数の眼の特性を検出し、眼の特性が第２の対応画像座標を有し、第１の対応画像座標、第２の対応画像座標、第１の位置、及び第２の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断するようにさらに構成される。論理デバイスは、第１の対応画像座標及び／又は第２の対応画像座標に少なくとも一部基づいて、アイトラッカの光軸に対する眼球固視位置及び向きを判断するようにさらに構成され得る。

いくつかの実施形態では、論理デバイスは、判断された眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定し、アイトラッカから第１の画像のストリームを受信し、第１の画像のストリームからの少なくとも１つの画像を分析して眼球固視パラメータに対する現在の眼の位置及び向きを判断することによって、現在の眼の位置及び向きをトラッキングするように構成され、眼球固視パラメータは、固視時の眼の基準位置及び向きを含む。

論理デバイスは、検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、アイトラッカの光軸に対する固視位置を判断するようにさらに構成されてもよく、ヒストグラムを分析することが、相対最大値の座標が固視位置及び向きを含むかどうかを判断することをさらに含み、相対最大値の座標が固視位置及び向きを含むかどうかを判断することが、相対最大値を閾値及び／又はヒストグラムの平均座標値と比較することをさらに含む。

いくつかの実施形態では、システムは、網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナを含む、網膜撮像システムをさらに備え、アイトラッカが、網膜スキャンの間に眼の画像のストリームをキャプチャするようにさらに構成され、網膜撮像システムは、眼の複数の網膜画像をキャプチャし、中心窩が眼の複数の網膜画像のうちの１つ又は複数に存在するかどうかを検出し、検出された中心窩を有する眼の複数の網膜画像から第１の網膜画像を識別するようにさらに構成され、論理デバイスは、第１の網膜画像に時間的近接性を有する画像のストリームから対応する画像を判断し、対応する画像を分析して眼球固視パラメータを判断するようにさらに構成される。

いくつかの実施形態では、論理デバイスは、眼の位置及び向きをトラッキングし、眼球固視パラメータからのオフセットを計算し、オフセットが閾値未満であるかどうかを判断するように構成され、オフセットが閾値未満であるときに、眼が固視していると判断され、且つ制御プロセッサは固視の標識を生成し、オフセットが閾値より大きいときに、眼が整列状態にないと判断され、且つ制御プロセッサは固視ではないとの標識を生成する。

論理デバイスは、眼球診断手続を実行し、眼球診断手続の間、アイトラッカを用いて眼の位置をトラッキングするようにさらに構成され得る。システムは、アイトラッカを用いて眼の位置及び向きをトラッキングしつつ眼球診断手続を実行するように構成される診断デバイスをさらに含んでもよく、診断デバイスは、眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも一部基づいて、眼球診断手続を修正するように構成される。

種々の実施形態では、方法は、アイトラッカを用いて、眼の第１の画像のストリームをキャプチャすることと、第１の画像のストリームを分析して眼が目標対象を固視しているかどうかを判断することと、第１の画像のストリームにおいて所定の瞬きシーケンスを検出することと、所定の涙安定化期間の後、安定涙膜間隔をトラッキングすることと、安定涙膜間隔の間、眼が目標対象を固視しているときに眼科用デバイスを用いて眼の少なくとも１つの測定結果をキャプチャすることと、を含む。瞬きシーケンスは、連続した複数の瞬きを含んでもよく、第１の画像のストリームにおいて所定の瞬きシーケンスを検出することは、開いた眼及び／又は閉じた目を検出するように訓練されたニューラルネットワークを通して画像を処理することを含み得る。

方法は、第１の位置から眼の第１の画像をキャプチャすることと、第１の位置とは異なる第２の位置から眼の第２の画像をキャプチャすることと、第１の画像から第１の複数の眼の特性を検出することであって、眼の特性が第１の対応画像座標を有する、第１の複数の眼の特性を検出することと、第２の画像から第２の複数の眼の特性を検出することであって、眼の特性が第２の対応画像座標を有する、第２の複数の眼の特性を検出することと、第１の対応画像座標、第２の対応画像座標、第１の位置、及び第２の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断することと、をさらに含み得る。

方法は、眼の画像のストリームをキャプチャすることと、検出された眼の特性の座標、校正オフセット、及び校正利得に少なくとも一部基づいて画像のストリームにおける眼の位置及び向きを検出することと、光軸に対する眼球固視位置及び向きを判断することと、をさらに含み得る。方法は、判断された眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定することと、画像のストリームからの１つ又は複数の画像を分析して眼球固視パラメータに対する眼の位置及び向きを判断することによって、眼の位置及び向きをトラッキングすることと、をさらに含んでもよく、眼球固視パラメータは、固視時の眼の基準位置及び向きを含む。方法は、画像のストリームを受信し、眼の位置及び／又は涙膜状態の判断を出力するように、ニューラルネットワークを訓練することをさらに含み得る。

いくつかの実施形態では、方法は、検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、光軸に対する固視位置を検出することをさらに含み、ヒストグラムを分析することは、相対最大値を判断することをさらに含む。

方法は、光干渉断層撮影（ＯＣＴ）スキャナを用いて眼の網膜撮像スキャンを実行することと、網膜撮像スキャンから眼の複数の網膜画像をキャプチャすることと、眼の表面を撮像するように構成される撮像デバイスを用いて画像のストリームをキャプチャすることと、複数の網膜画像のうちの１つ又は複数において中心窩が存在するかどうかを検出することと、検出された中心窩を有する複数の網膜画像から第１の網膜画像を識別することと、第１の網膜画像に時間的近接性を有する画像のストリームから対応する画像を判断することと、対応する画像を分析して眼球固視パラメータを判断することと、をさらに含み得る。

いくつかの実施形態では、方法は、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断することをさらに含み得、オフセットが閾値未満であるとき、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。

方法は、眼球診断手順を実行し、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、且つ眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも部分的に基づいて眼球診断手順を修正することをさらに含み得る。

本開示の範囲は、特許請求の範囲によって定義され、特許請求の範囲は、参照によりこの項目に組み込まれる。１つ又は複数の実施形態の以下の詳細な説明を考慮することにより、その追加の利点の認識と共により詳細な理解が当業者に与えられる。最初に簡潔に説明される添付図面に対して参照が行われる。

本開示の態様及びそれらの利点は、以下の図面及び以下の詳細な説明を参照してよりよく理解され得る。類似の参照番号は、図面の１つ又は複数において示される類似の要素を識別するために使用され、図面において示されるのは、本開示の実施形態を例示するためであり、本開示の実施形態を限定するためではないと理解されたい。図面内の構成要素は、必ずしも縮尺通りではなく、代わりに本開示の原理を明確に説明することに重点が置かれている。

図１Ａ－１Ｂは、本開示の１つ又は複数の実施形態による、例としてのアイトラッキング及び撮像システムを示す。 図２は、本開示の１つ又は複数の実施形態による、自動初期化及び校正を有する例としてのアイトラッキング及び撮像システムを示す。 図３は、本開示の１つ又は複数の実施形態による、例としてのアイトラッキング及び撮像システムを示す。 図４は、本開示の１つ又は複数の実施形態による、例としてのニューラルネットワークを示す。 図５は、本開示の１つ又は複数の実施形態による、例としてのコンピューティングシステムを示す。 図６Ａは、本開示の１つ又は複数の実施形態による、自動初期化及び校正システムの例としての動作を示す。 図６Ｂは、本開示の１つ又は複数の実施形態による、アイトラッカシステムの例としての動作を示す。 図７は、本開示の１つ又は複数の実施形態による、絶対的な眼の位置を推定するための方法を示す。 図８は、本開示の１つ又は複数の実施形態による、アイトラッカを使用して検出された眼の位置及び向きの例としてヒートマップを示す。 図９は、本開示の１つ又は複数の実施形態による、アイトラッカを使用して検出された眼の位置及び向きのデータから構築された例としてのヒストグラムを示す。 図１０は、本開示の１つ又は複数の実施形態による、図７の方法を実施するための例としてのシステムを示す。 図１１は、本開示の１つ又は複数の実施形態による、例としての測定プロセスを示す。

本開示は、眼科的手続の間、眼の位置、向き、及び／又は状態をトラッキングするためのシステム及び方法を提供する。

眼科診断についての高品質の診断データを取得するためには、眼が、測定の間明確に定義された位置及び条件にあるべきである。例えば、多くの眼科用デバイスについて、患者の眼が目標デバイスの光軸に沿って（例えば、測定のために許容可能な誤差の範囲内の軸及び／又はオフセットに沿って）固視しており、且つ患者の眼が完全な涙膜を有するときに、測定シーケンスが行われる。種々の実施形態では、改善されたシステム及び方法は、アイトラッキングデバイスの自動化された校正、正確な眼の位置及び固視の判断、改善されたアイトラッキング手続、絶対固視位置及び推定される絶対固視位置の判断を含み、固視状態及び／又は涙膜状態に基づいて測定データ取得のタイミングを改善する。

完全な涙膜は、角膜曲率計又はトポグラファのような反射ベース診断デバイスにとって必須であることが多く、角膜曲率計又はトポグラファは、角膜表面からの反射を用いて動作する。多くのアプリケーションでは、角膜の乾燥領域は、最適な反射ベースの測定を可能にしない。涙膜は、波面計測デバイスなどのある診断デバイスによって使用され得る屈折面でもある。瞼が目の上に涙液を分散すると、患者が瞬きする度に涙膜が元に戻り得る。涙膜は、ｔ１秒（例えば、０．５～２秒）後に安定化し、ｔ２秒間（例えば、１～３秒間）完全な状態を保ち、次いで次の瞬きまで乾燥していく。これらの期間（ｔ１＆ｔ２）は、患者毎に変化することがあり、例えば、臨床研究を通して患者プールのために推定されてもよい。

完全な涙膜に加えて、眼の安定した固視によって、患者の視軸が診断デバイスの光軸と整列していることが保証される。患者が固視していないか、又は固視が不十分である場合、結果は、不正確な測定、信頼できない測定、又はデバイスが測定実行不能であることなどを含み得る。長時間変化のない固視目標を固視することは、患者にとって困難な場合がある。患者が的確に固視することが可能な時間もまた、患者毎に変化する。本明細書で開示される種々の実施形態では、システム及び方法が、眼の位置及び向き（例えば、眼が適切に固視しているかどうか）、眼の状態（例えば、涙膜が完全であるかどうか）をトラッキングして、正確且つ信頼できる測定が行われ得る時間間隔を識別する。

いくつかの眼科用システムにおいて、取得されたデータの品質は、操作者の技量及び意識に依存し得る。これらのシステムにおいて、操作者は、眼の位置、向き、及び状態が測定に適切であるときを判断してもよく、異なる操作者によって行われる測定の可変性をもたらす。自動化された測定を使用するシステムの場合、測定は、患者の測定準備ができているかどうかと無関係に起こることがあり、それは、患者が固視していないとき、及び／又は涙膜が安定していない（例えば、ｔ２の外側である）ときの取得につながり得る。患者は、測定が開始する正確な時点が分からずに、長い測定シーケンスの間固視している必要もあり得る。例えば、一手法では、操作者が、患者の眼を診断システムの光軸と整列させるように患者を位置決めしてもよい。患者は、操作者及びデバイスの測定準備ができるまで、患者の視線を整列させるために既知の目標点を固視するように指示され得る。

患者が固視していると判断された後、操作者は、涙膜を確立するために患者に瞬きするように指示し得る。患者は、次いで、手続の間目標点への固視を維持しようとする。操作者及び／又はデバイスは、次いで、患者の眼の測定結果をキャプチャし得る。しかしながら、測定結果は、涙膜が安定する前（例えば、期間ｔ１の間）、網膜が安定している期間（期間ｔ２の間）、又は涙膜が劣化し始めた後にキャプチャされてもよい。このように、キャプチャされた測定結果は、未知の涙膜状態の間に発生し、信頼できない測定につながる。本開示の改善は、涙膜が安定化するとデータ取得を可能にし、それによって、診断精度を改善する。いくつかの実施形態では、改善されたシステムは、操作者とは無関係に機能してもよく、患者が固視する必要がある時間が減少する。

本明細書で開示されるシステム及び方法は、患者自身の眼に対する眼科用システムの改善された初期化及び校正、改善されたアイトラッキング、改善された絶対固視位置及び向きの判断、並びに従来システムに対する他の改善及び利点をさらに含む。本明細書で開示される改善された初期化及び校正技術は、患者の眼のより正確な測定を可能にし、患者の視線（本明細書において患者の視軸とも呼ばれる）が診断システムの光軸と整列しているかどうかを判断する診断システムにおいて用いられ得る。患者の視線／視軸は、患者の眼がそれに沿って対象を見るように方向付けられる軸であり得る。本明細書で開示されるシステム及び方法は、より簡易でより短く、且つより正確なシステム初期化及び校正及びより正確な固視の判断を可能にする。本明細書で開示されるシステム及び方法に従って取得される診断データは、従来手法を通して取得されるデータよりも有意義且つ正確である。測定中、患者が適切に固視しておらず、且つこのことが考慮されない場合、示度の精度は著しく損なわれ得る。多くの実施態様の場合、人が固視し得る（静止目標上に視線を能動的に制御し得る）精度は、１度のオーダであり得るが、眼の状態（例えば、強白内障）に依存してそれよりも著しく悪くなることがある。本明細書で開示されるシステム及び方法は、測定中に患者の眼の視線プロファイルを判断すること及び使用することによって、精度を改善する。患者の視線プロファイルの使用によって、視線の動き及び着実に固視できないことによってもたらされる示度の測定ノイズが除去され得る。

図１Ａ及び図１Ｂを参照すると、眼科用デバイスで使用する例としてのアイトラッキングシステムが、１つ又は複数の実施形態に従ってここで説明される。視線をトラッキングするための１つの方法は、カメラ画像を分析して、画像内の瞳孔の位置を、観察用カメラに対して空間内で固定される照明光源から生成される角膜反射の位置と比較することによる。図１Ａ及び図１Ｂに示されるシステムは、患者が観察された眼の詳細をシステムが校正することを可能にする既知の固視点を固視するように指示される、校正手続を含む。示されるように、アイトラッキングシステム１００は、画像キャプチャコンポーネント（例えば、可視光カメラ）及び画像キャプチャコンポーネントに対して既知の固定位置にある照明光源１１２Ａ（例えば、１つ又は複数の発光ダイオード（ＬＥＤ））を含む。アイトラッキングシステム１００は、例としてのカメラ画像１２０Ａなどの、眼１０２Ａの画像のストリームをキャプチャ及び分析することによって、眼１０２Ａを撮像及びトラッキングするように構成される。

カメラ画像１２０Ａは、角膜１２２Ａ、瞳孔１２４Ａ、及び照明光源１１２Ａの反射１２６Ａの画像などの、眼１０２Ａの１つ又は複数の特性を識別するために分析される。カメラ画像１２０Ａにおいて１つ又は複数の眼の特性を識別することによって、視線方位角ＧＡ及び視線仰角ＧＥなどの眼１０２Ａの位置及び向きについての情報が、判断され得る。カメラ画像１２０Ａは、手続の間の眼の整列及び／又はオフセット位置の座標を判断するために分析され得る。例えば、カメラ画像１２０Ａは、照明の角膜反射１２６Ａ（ＣＲ）の画像座標［ＣＲｘ，ＣＲｙ］及び／又は瞳孔１２４Ａ（例えば、瞳孔の中心ＰＣ）の画像座標［ＰＣｘ，ＰＣｙ］を判断するために分析され得る。

角膜反射ＣＲと瞳孔中心ＰＣとの間の画像座標差が、以下のように計算され得る。
Ｄｘ＝ＣＲｘ－ＰＣｘ
Ｄｙ＝ＣＲｙ－ＰＣｙ
これらの画像座標差は、視線の方位角（ＧＡ）及び仰角（ＧＥ）に比例する。
Ｄｘ～ＧＡ
Ｄｙ～ＧＥ

Ｄｘ及びＤｙから視線方位角ＧＡ及び視線仰角ＧＥをより正確に導出するために、オフセット（ａｘ，ａｙ）及び利得（ｂｘ，ｂｙ）が、各画像座標ｘ及びｙにそれぞれ適用され得る。
ＧＡ＝ａｘ＋ｂｘ＊Ｄｘ
ＧＥ＝ａｙ＋ｂｙ＊Ｄｙ

変数ａ及びｂは、例えば、撮像されている特定の眼の生体構造、カメラの設定、並びにカメラの照明光源及び光学系を含む、多様な因子に依存し得る。いくつかの実施形態では、ａ及びｂの判断は、トラッキング対象の患者が、眼において定義された視線を刺激する目標のセット（例えば、固視点のグリッド）をその間固視するように求められる初期化手続を含み得る。例えば、図１Ａは、患者が、アイトラッキングシステム１００の光軸に近接した点又は光軸と整列された点などの第１の既知の固視点に焦点を合わせるように求められるシナリオを示している。図１Ｂは、眼１０２Ｂがカメラの隣の点などの第２の既知の固視点を観察しているシナリオを示している。カメラ画像１２０Ｂは、角膜１２２Ｂ、瞳孔１２４Ｂ、及び照明光源１１２Ａの反射１２６Ｂの画像を含み得る。カメラの位置及び向き、眼の位置及び向き、並びに固視点の位置が、固視の間既知であるため、視線方位角ＧＡ及び視線仰角ＧＥは、固視点毎に既知であるか又は推定され得る。２つのカメラ画像１２０Ａ及び１２０Ｂはそれぞれ、各画像内の１つ又は複数の眼の特性（例えば、画像内の瞳孔の中心、画像内の反射の位置）の座標ｘ及びｙを判断するために分析される。次いで、アイトラッキングのためのシステムを初期化及び校正するために、連立方程式がａ及びｂについて解かれ得る。

図１Ａ及び１Ｂを参照して説明される初期化手続は、実施に手間がかかり、且つ／又は何人かの患者についてエラーが発生し易い場合がある。患者は、統計的分析又は他の数学的分析（例えば、最小二乗解析）によってａ及びｂの値を計算するために、例えば、５以上の固視点のグリッドを別々に固視するように指示され得る。患者にいくつかの目標を固視するように求めることは、重大な患者の協力を必要とし、任意の１点に向けられる患者の視線は、エラーに左右される。

本開示のさらなる実施形態は、図２を参照してここで説明される。図２は、角膜曲率測定、角膜トポグラフィ、収差測定、及び他の使用のための診断システムにおける正確な視線トラッキングを可能にする、自動化された初期化及び校正コンポーネント及び手続を含むアイトラッキングシステム２００を示す。図２に示されるシステム及び方法は、完全自動化されてもよく、且つ患者が手間のかかる初期化手続を通して実行する必要性を低下させ／除去し得るが、種々の態様は、操作者が一連の既知の固視点を固視するように患者を導くことを含む手続を含む、手動及び／又は他の自動アイトラッキング初期化及び校正手続を用いて使用され得る。

アイトラッキングシステム２００は、眼の正確な固視を用いる任意のデバイスにおいて実施され得る。例えば、角膜曲率計、トポグラファ、及び収差計などの多くの眼科用デバイスは、診断手続中の正確な眼球固視に依存する。診断データの取得中の実際の視線についての正確な情報を有することは、不十分な固視を用いた示度をフィルタリング除去すること、実際の視線方向を考慮することにより不十分な固視を用いた示度を補償すること、及び／又は異なる時点において取られた、且つ示度を比較するときの視線の差を考慮する診断示度（例えば、角膜トポグラフィマップ）のより正確な比較を可能にし得る。

アイトラッキングシステム２００は、第１の照明光源２０２を有する第１の画像キャプチャデバイス２０１と、第２の照明光源２１２を有する第２の画像キャプチャデバイス２１０と、を含む。第１の画像キャプチャデバイス２０１及び第１の照明光源２０２は、例えば、患者の眼２２０の画像をキャプチャするように適合された単一のカメラアイトラッカとして構成され得る。第１の画像キャプチャデバイス２０１は、眼科用デバイスの光軸に沿って患者の眼２２０の表面の画像をキャプチャするように構成される可視スペクトル画像キャプチャコンポーネントを含み得る。第２の画像キャプチャデバイス２１０は、既知の角度α（例えば、第１の画像キャプチャデバイス２１０の２０度）から患者の眼２２０の表面の画像をキャプチャするように構成される可視スペクトル画像キャプチャコンポーネントを含み得る。いくつかの実施形態では、第２の画像キャプチャデバイス２１０は、第１の画像キャプチャデバイス２１０と同じ種類の撮像デバイス（例えば、類似コンポーネントの同じもの、同一のデバイスモデル番号などで構成される）であり、第１のカメラ画像２０４と類似の画像特性を有する第２のカメラ画像２１４を生成するために眼２２０からほぼ同一の距離に配置される。

処理システム２３０は、アイトラッキングシステム２００の動作を制御し、制御コンポーネント２３２、撮像処理コンポーネント２３４、アイトラッキングコンポーネント２３６、及びシステム初期化コンポーネント２３８を含み得る。処理システム２３０は、ハードウェア、ファームウェア、及び／又はソフトウェアの組み合わせを通して実施される１つ又は複数のシステム又はデバイスを含み得る。いくつかの実施形態では、制御コンポーネント２３２は、画像キャプチャデバイス２０１及び２１０の画像キャプチャ動作を同期するための命令を提供することを含む、第１の画像キャプチャデバイス２０１及び第２の画像キャプチャデバイス２１０の動作を管理するように構成される。システム構成に依存して、第１の画像キャプチャデバイス２０１及び第２の画像キャプチャデバイス２１０は、同時に、及び／又は画像間の短い間隔で順次（例えば、同じ位置で眼２２０の２つの画像をキャプチャするようにタイミング調整されて）画像をキャプチャするように命令され得る。画像処理コンポーネント２３４は、キャプチャされた画像を分析して画像内の瞳孔の中心、角膜の位置、及び／又は反射の位置などの１つ又は複数の眼の特性を判断するように構成される。アイトラッキングコンポーネント２３６は、１つ又は複数の画像において識別される眼の特性の校正された測定値に基づいて、眼の位置をトラッキングするように構成される。

システム初期化コンポーネント２３８は、計測方程式を初期化して、キャプチャされた画像データから視線方位角ＧＡ及び視線仰角ＧＥを正確に計算するように構成される。種々の実施形態では、患者は、診断デバイスの光軸を近似する既知の固視点を固視するように指示される。操作者は、アイトラッキング手続を開始し、初期化処理を通してユーザを導くように、ユーザインタフェースを用いてアイトラッキングシステム２００と対話し得る。いくつかの実施形態では、患者が既知の点を固視しているときに、画像キャプチャデバイス２０１及び２１０のそれぞれから画像がキャプチャされる。第１の画像キャプチャデバイス２０１によってキャプチャされる第１のカメラ画像２０４及び第２の画像キャプチャデバイス２１０によってキャプチャされる第２のカメラ画像２１４は、システム初期化ルーチンにおいて使用される。眼球固視は、例えば、操作者の判断に基づいて、中心窩を検出する網膜撮像システムを用いて、瞳孔の中心に対する反射の位置の画像分析を通して、経時的にキャプチャされる複数の画像の統計的分析を通して、且つ／又は他の技術を通して、判断され得る。

２つの画像２０４及び２１４は、画像処理コンポーネント２３４を通して処理されて、画像毎に眼の特性が判断される。眼の特性の２つのセットは、眼２２０が既知の固視点を固視していたときに取られた２つの異なる測定値を表す。方程式の２つのセットは、次いで、校正オフセットａ及び利得ｂについて解くために用いられてもよく、校正オフセットａ及び利得ｂは、画像データから視線方位角ＧＡ及び視線仰角ＧＥを判断するために用いられる。第２のカメラを用いて第２の角度から眼を撮像することによって、単一の固視点に対して眼の２つの画像及び測定値が取られてもよく、それによって、手間のかかる多重固視点初期化手続なしにオフセット及び利得が判断可能となる。他の実施形態では、１つ若しくは複数の追加カメラが他の角度において設けられてもよく、且つ／又は１つより多くの固視点が、誤差を更に最小化するために必要に応じて用いられてもよい。

校正オフセット及び利得は、キャプチャされた画像に基づいて眼の位置及び向きを判断するプロセスにおいて使用され得る。いくつかの実施形態では、校正オフセット及び利得は、アイトラッキングシステム２００による使用のために即時利用可能であってもよい。いくつかの実施形態では、校正オフセット及び利得は、データベース内のストレージデバイス２４２（例えば、ランダムアクセスメモリ、ハードドライブ、フラッシュメモリ、クラウドストレージなど）又はルックアップテーブル２４４に記憶される。例えば、ルックアップテーブルは、患者識別子並びに患者の眼に関連付けられた校正オフセット及び利得値を記憶し得る。カメラの種類、カメラ位置、及び測定日付などの他の情報も記憶され得る。動作中、アイトラッキングシステム２００は、ルックアップテーブルを用いて、アイトラッカ２００によって取得された画像から測定される瞳孔中心及び角膜反射の画素位置から眼の絶対方向を判断し得る。

処理システム２３０は、また、キャプチャされた画像を分析して眼を開くイベント及び眼を閉じるイベントを検出し、患者が最近瞬きしたかどうか、涙膜が測定のために安定しているかどうか、及び／又は眼が乾燥しており涙膜を元に戻す必要があるかどうかを含む、涙膜の状態をトラッキングするように構成される、涙膜状態コンポーネント２４０を含み得る。本明細書で開示される校正及び初期化プロセス、並びに絶対的な眼の位置の判断及び固視トラッキングと共に、涙膜状態の使用は、より正確な眼の診断を可能にする。

本開示の種々の例としての実施形態が、図３～図１１を参照してここでさらに詳細に説明される。図３を参照すると、１つ又は複数の実施形態によるシステム３００は、アイトラッキングモジュール３１０（本明細書では「アイトラッカ」とも呼ばれる）及び任意選択の網膜撮像システム３３０を含み、それらは、通信可能に連結されている。アイトラッキングモジュール３１０は、眼３０２の向きをトラッキングするように構成され、第１の撮像デバイス３１２、第２の撮像デバイス３１３、及び１つ又は複数の照明コンポーネント３１４を含み得る。いくつかの実施形態では、第１の撮像デバイス３１２及び第２の撮像デバイス３１３は、瞳孔及び角膜輪部（角膜と白目、即ち強膜との間の境界）などの眼のある特徴、並びに照明コンポーネント３１４の１つ又は複数からの反射を撮像するように構成される、デジタルカメラ又は他のデジタル撮像デバイスである。いくつかの実施形態では、例えば、照明コンポーネント３１４は、リングの中心が角膜曲率の中心のように見えるような、カメラ光学系の周囲に位置する発光ダイオード（ＬＥＤ）リング（例えば、撮像デバイスの周囲の同軸照明光）を含み得る。

システム３００は、制御ロジック３１８を含み、制御ロジック１１８は、本明細書で開示される機能を実行するように構成される記憶済みプログラム命令を実行するプロセッサなどの論理デバイスを含み得る。いくつかの実施形態では、制御ロジック３１８は、第１の撮像デバイス３１２によってキャプチャされた複数の画像を使用して測定シーケンスを実行する。測定シーケンスは、瞳孔、輪部及び虹彩特徴など、画像データ（アイトラッキングデータ３１６など）内の眼３０２の検出可能な特徴の位置を使用することにより、眼３０２の位置及び向きを判断する。測定シーケンスは、角膜における照明システムの反射（照明された要素の円形パターンを含む反射３１７など）の位置も判断し得る。いくつかの実施形態では、測定シーケンス中、眼３０２の位置及び向きは、キャプチャされた画像を使用して連続的に判断される。制御ロジック３１８は、また、患者の眼３０２について、撮像デバイス３１２及び３１３からそれぞれキャプチャされた画像のペアから校正オフセット及び利得を計算することを含む、初期化及び校正コンポーネント３１８Ａ（例えば、図２を参照して説明されるシーケンス）を実行し得る。校正オフセット及び利得は、キャプチャされた画像データにおいて識別される眼の特性の画素位置からの絶対的な眼の位置及び向きを正確に計算するために使用され得る。

制御ロジック３１８は、眼３０２が適切に固視しているかどうか及び／又は固視位置からのオフセットをトラッキングするように構成される固視トラッキングコンポーネント３１８Ｂと、眼３０２上の涙膜の状態を検出及びトラッキングするように構成される涙膜状態コンポーネント３１８Ｃと、をさらに含み得る。眼球測定は、固視状態及び／又は涙膜状態に基づいて行われ得る。例えば、涙膜状態コンポーネント３１８Ｃは、測定中に完全な涙膜を維持するのを助けるための手続を含んでもよい。種々の実施形態では、患者は、眼３０２に水分を与えるために、瞬きするように又は眼３０２を開閉するように指示され得る。涙膜状態コンポーネント３１８Ｃは、眼を閉じること及び眼を再び開くことを検出し、涙膜安定化までの時間及び涙膜安定中の時間をトラッキングし得る。涙膜が、もはや測定に対して安定していない（例えば、眼が乾燥している）とき、患者は、プロセスを繰り返すために再度瞬きするように指示され得る。

制御ロジック３１８は、アイトラッキングモジュール３１０、網膜撮像システム３３０及び／又は他のシステムコンポーネントにおいて具現化され得る。制御ロジック３１８は、アイトラッキングモジュール３１０の動作中の相対眼球運動を検出するように構成され、それは、キャプチャされた画像及び照明光源位置の知識から眼の特徴を検出及びトラッキングする（例えば、瞳孔を検出する）ことを含み得る。例えば、瞳孔の中心のオフセット及び角膜曲率のオフセットを検出及び計算することは、眼の相対視線についての情報を提供し得る。

任意の網膜撮像システム３３０は、眼３０２の網膜を撮像するための任意のデバイス又はシステムを含み得る。網膜撮像システム３３０は、網膜光干渉断層撮影（ＯＣＴ）システム、網膜光学システム又は網膜を撮像するための類似のシステムとして実施され得る。いくつかの実施形態では、網膜撮像システム３３０及び／又は制御ロジック３１８は、全測定シーケンス中に少なくとも１度、患者の中心窩を検出するように構成される。その結果、網膜撮像システム３３０は、（例えば、技術的理由又は安全上の理由で）全診断シーケンス中にアクティブである必要はなく、必要に応じてシャットダウン又は一時停止され得る。

患者が固視している場合、中心窩は網膜撮像データ内に存在することになる。中心窩は、ある網膜撮像システムにおいて検出され得る網膜内の窪みとして見えることが多い。種々の実施形態では、網膜撮像システム３３０は、網膜ＯＣＴ画像３３４及び／又は眼底画像３３６などの網膜撮像データ３３２を生成する。網膜撮像システム３３０は、網膜ＯＣＴスキャンシステム、眼底撮像システム又は他の類似のデバイスを含み得る。患者が、システム３００に関連付けられた目標対象を固視している場合、中心窩は、網膜撮像デバイスの光軸の中心に存在することになる。網膜撮像デバイスは、デバイスの光軸を中心とする中心部分をスキャンするのみでよい場合がある。いくつかの実施形態では、網膜撮像デバイスは、中心窩検出のために眼の裏側を撮像するように構成される。システムが眼の異なる部分を撮像する必要がある場合（例えば、角膜の高分解能スキャン）、中心窩が画像内において視認できず、アイトラッキングモジュール３１０は、眼の位置及び回転をトラッキングするために使用される。

システム３００は、アイトラッキングモジュール３１０の撮像デバイス３１２及び３１３からの眼の向きに関する情報（各画像キャプチャコンポーネントからキャプチャされた、検出された照明光源反射３１７を含む、アイトラッキングデータ３１６など）の処理を協調させる。システム３００は、任意選択の網膜撮像システム３３０（網膜撮像データ３３２）からの情報を用いてアイトラッキングデータ３１６をさらに強調させ得る。動作中、システム３００が、（例えば、網膜撮像システム３３０及び／又は制御ロジック３１８を介して）網膜撮像データ３３２のある領域において中心窩を検出する場合、眼の対応する向きがシステム３００に知られる。この情報を用いると、システム３００は、網膜撮像が利用可能でない測定段階においてさえ、患者が正しく固視しているかどうかをさらに判断し得る。固視情報は、初期化及び校正プロセスにおいて使用するための画像（例えば、固視時の眼の画像）を識別するために、アイトラッキングモジュール３１０によって使用され得る。校正されたアイトラッキングモジュール３１０は、次いで、キャプチャされた画像から絶対的な眼の位置及び向きを正確に計算するために使用され得る。

アイトラッキングモジュール３１０は、網膜撮像と同時に眼の位置及び眼の回転を撮像及びトラッキングするように構成され得る。いくつかの実施形態では、キャプチャされた画像は、タイムスタンプ、フレーム基準（例えば、１０フレーム前）、又は網膜画像と第１の撮像デバイス３１２及び第２の撮像デバイス３１３からキャプチャされた画像との同期を可能にする他の情報などの、関連する時間特性を含む。中心窩が検出された後、中心窩検出情報は、対応する時間特性及び中心窩が検出されたかどうかの標識を含み得、制御ロジック３１８、アイトラッキングモジュール３１０及び／又は他のシステムコンポーネントに提供され得る。

いくつかの実施形態では、眼３０２の位置及び向きの分析は、中心窩が網膜撮像システムで視認できた時間における眼の向き／位置を現在のアイトラッキングデータと比較する方法を含む。システム３００は、例えば、測定シーケンスを含む診断手順において使用され得る。アイトラッキングモジュール３１０を使用する手順中、眼の位置及び向きをトラッキングすることにより、測定データは、対応するアイトラッキングデータと共に収集され、分析され得る。一実施形態では、眼３０２が固視していたとき（例えば、目の位置が固視位置から許容可能オフセット内にあるとき）に取得された測定データは、有効であると考えられ、さらなる診断／分析に使用され、眼３０２が固視していなかったとき（例えば、目の位置が固視位置から許容可能オフセット外にあるとき）に取得された測定データは、無視及び／又は破棄され得る。

種々の実施形態では、システム３００は、中心窩検出情報を使用して基準固視情報を確立し、基準固視情報は、角膜に対する瞳孔のある向きを含み得る。アイトラッキングモジュール３１０は、中心窩検出情報（例えば、特定の時間又は他の時間基準において判断される固視）を受信し、同じ時間フレームから１つ又は複数の対応する画像を検索し、キャプチャされた画像を分析して、固視中の瞳孔と角膜中心との間の特定の関係を判断し得る。システムは、より正確な測定結果のための校正オフセット及び利得を判断するために、キャプチャ画像を用いて初期化及び校正され得る。眼の位置は、その際、新たにキャプチャされた画像における眼の位置及び向きを基準画像からの眼の位置及び向きと比較することによってトラッキングされ得る。これにより、眼が固視していることをアイトラッキングモジュール３１０が確認しつつ、網膜撮像システム３３０が眼３０２の別の部分を撮像すること（又は必要に応じて他の眼科用機器の動作）が可能となる。アイトラッキングモジュール３１０は、眼が（基準データに対するエラーの範囲内で）固視していた間に現在のスキャンが行われたかどうか、又は現在の眼の位置と基準の眼の位置との間のオフセットが閾値を超えるときなど、眼が固視していなかった間に現在のスキャンが行われたかどうかを示す固視情報を網膜撮像システム３３０に提供し得る。

システム３００の動作中、網膜撮像データ３３２がもはや生成されないように、網膜撮像システム３３０は、診断又は他の手順中にシャットダウンされ得る。中心窩が網膜撮像システム３３０によって少なくとも１度以前に検出されている場合、システム３００は、網膜撮像が利用可能でない手順の段階中でさえ、患者の眼球固視についての情報をデバイス操作者に提供し続け得る。例えば、システム３００は、アイトラッキングモジュール３１０を使用してキャプチャされた現在の眼の位置及び向きを、網膜撮像システム３３０が中心窩を検出したときに判断された眼の位置及び向きと比較し得る。アイトラッキングモジュール３１０は、１つ又は複数の可視キュー（例えば、インジケータ光、表示スクリーン上の状態情報）又は可聴キュー（例えば、ビープ音）を通してデバイス操作者に標識を提供し得る。アイトラッキングモジュール３１０は、システム３００の他のコンポーネントに固視情報をさらに提供して、例えば眼球固視を必要とする動作を制御し、且つ／又は取得されたデータを有効化／無効化し得る。図３において説明されるシステム及び方法は、種々の実施形態の例としての実装形態であることと、本開示の教示は、プルキンエ反射を生成する照明システム及び眼のデジタル画像をキャプチャするためのカメラを使用するシステム又はデバイスなど、他のアイトラッキングシステムにおいて使用され得ることとを理解されたい。

眼が固視しているかどうかを判断することを支援するために、制御ロジック３１８は、眼の現在の位置及び向きを判断し、眼が所望の対象を十分固視しているかどうかを判断するためのオフセットを計算するように構成され得る。一実施形態では、１つ又は複数の閾値が判断され得、対応閾値より低い任意のオフセットは、眼が固視しているとの判断をもたらす。いくつかの実施形態では、固視判断及び閾値は、アプリケーション依存であり、異なるオフセットは、異なる実装形態に対して許容可能であり得る。

いくつかの実施形態では、網膜撮像システム３３０は、中心窩が検出された時間フレーム（例えば、期間、１つ又は複数の画像、シーケンシャルインデックス値など）を識別して、アイトラッカが、同時又はほぼ同時に取られた、対応するアイトラッキング像を識別することを可能にする。アイトラッキングモジュール３１０及び／又は制御ロジック３１８は、次いで、初期化及び校正手続を実行して、キャプチャされた画像から眼の位置及び向きを正確に計算するために使用され得る校正オフセット及び利得を判断し得る。アイトラッキングモジュール３１０は、次いで、瞳孔及び角膜の相対位置を含む、固視位置に関連付けられた眼の基準位置を判断し得る。眼球固視情報は、眼の位置及び向きをトラッキングするためにシステム３００によって即時使用され得、且つ／又は後にシステム１００によって使用するために記憶及び検索され得る。例えば、眼球固視情報は、患者のために判断及び記憶され得、患者のための後続の手順又はキャプチャされた画像のオフライン分析のためシステム３００（又は類似のシステム）によって使用するために検索され得る。

網膜撮像システム３３０が他のスキャンを実行している間及び／又は他の眼科用コンポーネントが動作中である間、アイトラッキングモジュール３１０は、画像ストリームをキャプチャし、基準画像から判断される位置及び向きに対する眼の位置及び整列状態を分析する。この分析は、（例えば、以前にキャプチャされたデータを分析するときに）手順及び／又はオフライン中にリアルタイムで実行され得る。現在の画像は、基準画像と比較され、オフセットが計算される。オフセットが閾値未満である場合、眼が固視しており、対応する網膜画像は、正確である。オフセットが閾値より大きい場合、眼が固視しておらず、対応する網膜画像は、フラグが立てられるか、破棄されるか、又は他のアクションが取られ得る。画像は、涙膜状態を含む他の情報とさらに同期されてもよく、涙膜状態は、記憶された画像を用いた後の同期及び処理を可能にする時間基準と共に記憶されてもよい。

いくつかの実施形態では、アイトラッキングモジュール３１０は、手順全体を通して眼を連続的に撮像する。フレーム毎に、画像ストリームにおいて反射が検出される場所に少なくとも部分的に基づいて、瞳孔位置が画像内で検出され得る。種々の実施形態では、トラッキング及び記録された情報は、画像、画像から抽出された画像特徴、画像プロパティ、画像内の瞳孔位置及び／又は反射位置の１つ又は複数を含み得る。アイトラッキングシステム及び網膜撮像システムは、網膜スキャン画像毎に１つ又は複数の対応するアイトラッカ画像が識別され得るように同期される。一実施形態では、一対一対応関係が存在する。他の実施形態では、画像は、キャプチャされた画像に関連付けられたタイムスタンプ又は他の同期データを通して同期される。

アイトラッキングモジュール３１０及び任意の網膜撮像システム３３０は、別個のコンポーネントとして説明されているが、システム３００は、アイトラッキングモジュール３１０、網膜撮像システム３３０及び他のサブコンポーネントを含む種々のサブコンポーネントを有する診断デバイスを含み得ると理解されたい。いくつかの実施形態では、中央プロセッサは、システム３００の動作を制御するため、２つのシステム間の通信を同期し、制御するため及び他のシステム機能を実行するために提供され得る。眼の位置及び向きの分析は、システム３００によってリアルタイムで又は手順が完了した後に実行され得る。オフラインで、システム３００は、患者及び操作者にフィードバックを提供し得る。オフラインで、システム３００及び／又は他のシステムは、複雑な分析を実行するほど、より正確なスキャン及び結果を達成し得る。

いくつかの実施形態では、システム３００は、２つ又は複数のカメラ（例えば、眼の表面を撮像するための）及び網膜を測定するための第２のコンポーネントを含むより大きい診断デバイスを含み得る。システム３００は、３Ｄ眼球モデルを生成するために眼を撮像するように構成される複数のセンサを含み得る。第１のセンサシステムは、角膜形状を回復するため及びアイトラッキングを行うための２つ又は複数のカメラを含み得る。第２のセンサシステムは、眼の波面（眼の光学パラメータ）を測定する波面センサを含み得る。第３のセンサは、眼の異なる屈折面間の距離を測定し得るＯＣＴシステムを含み得る。ＯＣＴは、全眼モード、半眼モード（眼の前面）及び角膜モード（より高い分解能を有する）を含む複数のモード及び分解能を含み得る。

センサデータは、メモリにデータを収集及び記憶するプロセッサ（例えば、図５に示されるような）に提供され得る。プロセッサは、融合アルゴリズムを使用して種々のセンサデータを組み込むパラメータ化モデルを含む眼の３Ｄモデルを導出し得る。３Ｄモデルは、例えば、白内障及び角膜屈折矯正手術計画のために使用され得る。データは、眼において眼内レンズ（ＩＯＬ）インプラント配置を支援するなどのためにレイトレーシングに使用され得る。本明細書で説明される中心窩検出及びアイトラッキングのイノベーションは、網膜を通してスキャンするデバイスを含む任意の診断デバイス又は機器と共に使用され得る。アイトラッキングは、角膜曲率計、バイオメータ、波面測定デバイス並びにデジタルカメラ及び照明を含む他のデバイスにおいて実施され得る。

種々の実施形態では、絶対的な眼の向きは、ＯＣＴデバイスなど、網膜を通してスキャンするデバイスを利用し、それは、バイオメータ、並びに（ｉ）網膜スキャン及び他の診断モードを提供する他のデバイス、及び（ｉｉ）他の入力機能を実行する他のセンサを含み得る。本明細書に開示されるシステムは、種々の実施形態においてより多くのコンポーネント、異なるコンポーネント及びより少ないコンポーネントと共に使用され得る。

本出願の利点は、当業者によって理解されるであろう。本明細書で開示されるシステム及び方法は、患者の眼に対して校正されるアイトラッキング情報の自動化された初期化及び校正を提供する。アイトラッキングは、患者から独立して（例えば、患者の協力に依存せずに）、患者が固視しているとき及び固視していないときに実行されてもよく、眼の涙膜状態をトラッキングすることを含んでもよい。アイトラッキング情報は、収集され、論理デバイスに提供され、それによってさらなる分析が可能となる。他のセンサデータは、アイトラッキングデータに基づく既知の又は投影された向きに対して調整するために、データを通してバックトラッキングすることによって、取得され、有効にされ得る。例えば、眼の位置は、スキャンデータを分析することに使用するために判断され、網膜撮像システムに提供されてもよい。患者が固視しているか、又は固視していないかのフラグを立てる能力は、多くのシステム動作に対して有益であり、本開示の初期化及び校正によってもたらされる精度は、システムが固視時間／間隔をより正確に判断し、且つ／又は計算されたオフセットに対して調整することを可能にする。患者が固視しているか又は固視していないかのフラグを立てる能力は、多くのシステム動作に有益である。固視の度合を判断する能力により、システムが多様な実装形態での使用に適合することが可能となる。後の検索及び分析のためにキャプチャされたデータを記憶することにより、複雑なニューラルネットワーク又は他の分析プロセスの使用などを通して、オフラインでのさらなる計算並びにより複雑な分析及びオプションが可能となる。

一実施形態では、制御ロジックは、信頼できないセンサデータをフィルタリング除去するために使用される基準点及び閾値で構成される。例えば、システムは、小さい視線の変更（例えば、オフセットの０．０３度）が問題なくてもよいが、より大きい視線の変更が、フィルタリング除去すべき信頼できないデータを示すように構成され得る。いくつかの実施形態では、固視中に取得されるセンサデータは、共に平均され得るか又は結合され得る。他の実施形態では、取得されたデータは、計算されたオフセット並びに基準点における既知の眼の位置及び向きを使用して取得中の眼の位置を計算することにより、眼の位置及び向きの情報と共に分析され得る。いくつかの実施形態では、種々のセンサ及びデータの入力及び計算は、所望の出力データを生成するために、融合エンジンを使用して処理され得る。

種々の実施形態では、１つ又は複数のニューラルネットワークは、眼が目標対象を固視しているかどうかを判断するなどのための画像及びデータ分析に使用され得る。図４は、いくつかの実施形態による、例としての多層ニューラルネットワーク４００の図である。ニューラルネットワーク４００は、ロジックの少なくともいくつか、本明細書で説明される画像分析及び／又は眼球固視判断ロジックを実施するために使用されるニューラルネットワークを表し得る。ニューラルネットワーク４００は、入力層４２０を使用して入力データ４１０を処理する。いくつかの実施例では、入力データ４１０は、本明細書で前述した画像キャプチャデータ及びキャプチャされた網膜画像データに対応し得る。いくつかの実施形態では、入力データは、固視、方向付け及び／又は他の判断を行うようにニューラルネットワーク４００を訓練するために使用される入力訓練データに対応する。

入力層４２０は、スケーリング及び／又は範囲制限などによって入力データ４１０を調整するために使用される複数のニューロンを含む。入力層４２０の各ニューロンは、隠れ層４３１の入力に供給される出力を生成する。隠れ層４３１は、入力層４２０からの出力を処理する複数のニューロンを含む。いくつかの実施例では、隠れ層４３１のニューロンのそれぞれが出力を生成し、次いで、その出力は、図示されるように、隠れ層４３９で終わる１つ又は複数の追加の隠れ層を通して集合的に伝播される。隠れ層４３９は、前の隠れ層からの出力を処理する複数のニューロンを含む。隠れ層４３９の出力は、出力層４４０に供給される。出力層４４０は、スケーリング及び／又は範囲制限などによって隠れ層４３９からの出力を調整するために使用される１つ又は複数のニューロンを含む。ニューラルネットワーク４００のアーキテクチャは、代表的なものに過ぎず、１つの隠れ層のみを有するニューラルネットワーク、入力層及び／又は出力層なしのニューラルネットワーク及び／又はリカレント層を有するニューラルネットワークなどを含む他のアーキテクチャが可能であることを理解されたい。

いくつかの実施例では、入力層４２０、隠れ層４３１～４３９及び／又は出力層４４０のそれぞれは、１つ又は複数のニューロンを含む。いくつかの実施例では、入力層４２０、隠れ層４３１～４３９及び／又は出力層４４０のそれぞれは、同じ数又は異なる数のニューロンを含み得る。いくつかの実施例では、ニューロンのそれぞれは、式ａ＝ｆ（Ｗｘ＋ｂ）に示されるように、その入力ｘの組み合わせ（例えば、訓練可能な重み行列Ｗを使用した加重和）を取り、任意選択の訓練可能なバイアスｂを加え、活性化関数ｆを適用して、出力ａを生成する。いくつかの実施例では、活性化関数ｆは、線形活性化関数、上限及び／又は下限を有する活性化関数、対数シグモイド関数、双曲線タンジェント関数及び／又は整流線形単位関数などであり得る。いくつかの実施例では、ニューロンのそれぞれは、同じ又は異なる活性化関数を有し得る。

いくつかの実施例では、ニューラルネットワーク４００は、入力データとグラウンドトゥルース（例えば、予期された）出力データとの組み合わせを含む訓練データの組み合わせである、教師あり学習を使用して訓練され得る。生成された出力データ４５０とグラウンドトゥルース出力データとの間の差は、ニューラルネットワーク４００にフィードバックされて、種々の訓練可能な重み及びバイアスを補正し得る。いくつかの実施例では、確率的勾配降下アルゴリズムなどを使用する逆伝播技術を使用して、その差をフィードバックし得る。いくつかの実施例では、訓練データの組み合わせの多数のセットは、全体的な損失関数（例えば、各訓練の組み合わせの差に基づく平均二乗誤差）が許容レベルに収束するまで、ニューラルネットワーク３００に複数回提示され得る。訓練済みニューラルネットワークは、キャプチャされた画像の（例えば、固視若しくは固視ではないという）リアルタイム分類のために眼科用デバイス（例えば、図３のシステム３００）において記憶及び実施され、且つ／又はキャプチャされたデータの分析のためにオフラインシステムにおいて記憶及び実施され得る。

図５は、アイトラッキングモジュール３１０及び任意の網膜撮像システム３３０の実装形態を含む、システム１００、２００及び３００の１つ又は複数のコンポーネント及び／又はデバイスを含み得る、例としてのコンピューティングシステムを示す。コンピューティングシステム５００は、プロセッサ５１２、メモリ５１４、通信コンポーネント５２２及びユーザインタフェースデバイス５３４を含むコンピューティングデバイス５１０を含む、互いに電気的通信関係にある１つ又は複数のデバイスを含み得る。

プロセッサ５１２は、バス又は他のハードウェア構成（例えば、１つ又は複数のチップセット）を介して種々のシステムコンポーネントに連結され得る。メモリ５１４は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）並びに／又は他の種類のメモリ（例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ及び／若しくは任意の他のメモリチップ若しくはカートリッジ）を含み得る。メモリ５１４は、プロセッサ５１２に直接接続されるか、近接しているか、又はプロセッサ５１２の一部として統合されている高速メモリのキャッシュをさらに含み得る。コンピューティングデバイス５１０は、プロセッサ５１２による高速アクセスのために、キャッシュを通してＲＯＭ、ＲＡＭ及び／又は１つ若しくは複数のストレージデバイス５２４に記憶されたデータにアクセスし得る。

いくつかの実施例では、メモリ５１４及び／又はストレージデバイス５２４は、１つ又は複数のソフトウェアモジュール（例えば、ソフトウェアモジュール５１６、５１８及び／又は５２０）を記憶し得、ソフトウェアモジュールは、種々のアクションを実行するようにプロセッサ５１２を制御し、且つ／又は制御するように構成され得る。コンピューティングデバイス５１０は、１つのプロセッサ５１２のみで示されているが、プロセッサ５１２は、１つ又は複数の中央処理装置（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理ユニット（ＧＰＵ）及び／又はテンソル処理ユニット（ＴＰＵ）などを表し得ると理解されたい。いくつかの実施例では、コンピューティングデバイス５１０は、スタンドアロンサブシステムとして、且つ／又はコンピューティングデバイスに追加されたボードとして若しくは仮想マシンとして実施され得る。

ユーザがシステム５００と対話することを可能にするために、コンピューティングデバイス５１０は、１つ若しくは複数の通信コンポーネント５２２及び／又はユーザ入力／出力（Ｉ／Ｏ）を容易にする１つ若しくは複数のユーザインタフェースデバイス５３４を含む。いくつかの実施例では、１つ又は複数の通信コンポーネント５２２は、１つ又は複数のネットワーク及び／又は通信バス規格に従って通信を提供するために、１つ又は複数のネットワークインタフェース及び／又はネットワークインタフェースカードなどを含み得る。いくつかの実施例では、１つ又は複数の通信コンポーネント５２２は、ローカルエリアネットワーク、無線ネットワーク、インターネット又は他のネットワークなどのネットワーク５８０を介してコンピューティングデバイス５１０と通信するためのインタフェースを含み得る。いくつかの実施例では、１つ又は複数のユーザインタフェースデバイス５３４は、キーボード、ポインティング／選択デバイス（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン）、オーディオデバイス（例えば、マイクロフォン及び／若しくはスピーカ）、センサ、アクチュエータ、ディスプレイデバイス並びに／又は他の入力／出力デバイスなどの１つ又は複数のユーザインタフェースデバイスを含み得る。

いくつかの実施形態によれば、ユーザインタフェースデバイス５３４は、本明細書で開示されるプロセスの実行時にユーザ（例えば、外科医及び／又は他の医療関係者）を支援するのに適したグラフィカルユーザインタフェース（ＧＵＩ）を提供し得る。ＧＵＩは、実行される次のアクションに関する命令、眼の術前及び／又は術後の画像などの注釈付き及び／又は注釈なしの解剖学的構造の図及び／又は入力要求などを含み得る。いくつかの実施例では、ＧＵＩは、解剖学的構造などのトゥルーカラー画像及び／又はフォルスカラー画像を表示し得る。

ストレージデバイス５２４は、ハードディスク、光学媒体及び／又はソリッドステートドライブなどによって提供されるものなどの非一時的及び不揮発性ストレージを含み得る。いくつかの実施例では、ストレージデバイス５２４は、コンピューティングデバイス５１０と同じ場所に配置され（例えば、ローカルストレージデバイス）、且つ／又はシステム５００から離れて配置され得る（例えば、クラウドストレージデバイス）。

コンピューティングデバイス５１０は、医療関係者によって使用するための１つ又は複数の診断、撮像、外科及び／又は他のデバイスに連結され得る。例示される実施形態では、システム５００は、眼科用デバイス５５０と、アイトラッカ５６０と、任意の網膜イメージャ５７０とを含み、それらは、コンピューティングデバイス５１０を含む１つ又は複数のコンピューティングシステムにおいて具現化され得る。眼科用デバイス５５０は、患者の眼５５２に対して手順を行う操作者に対するフィードバックを制御及び／又は提供するためのユーザインタフェース５５４を含む。眼科用デバイス５５０は、患者の眼５５２を撮像し、測定し、診断し、トラッキングし、且つ／又は外科的に矯正及び／若しくは修復するためのデバイスを含み得る。

眼科用デバイス５５０は、アイトラッカ５６０（図３のアイトラッキングモジュール３１０など）に通信可能に連結され、アイトラッカ５６０は、眼科用デバイスから眼球撮像データを受信し、手続の間、眼５５２の位置及び整列の状態情報を提供する。アイトラッカ５６０は、眼科用デバイス５５０の光軸に対して既知の位置に位置する２つ以上のイメージャ（例えば、イメージャＡ及びイメージャＢ）を含む。アイトラッカ５６０は、完全に又は部分的に自動化され得る初期化及び校正手続を実行するように構成される。校正手続は、眼が固視している間に眼５５２の１つ又は複数の画像をキャプチャするようにイメージャＡ及びイメージャＢのそれぞれに命令すること、並びに校正オフセット及び利得を計算することを含む。アイトラッカ５６０は、次いで、眼５５２の画像をキャプチャし、１つ又は複数の眼の特性についてキャプチャされた画像を分析し、校正オフセット及び利得を用いて視線方位角ＧＡ及び視線仰角ＧＥを計算し得る。任意の網膜イメージャ５７０は、眼科用デバイス５５０及びアイトラッカ５６０の両方に通信可能に連結され、眼科的手順において使用するため及び固視トラッキングに使用するための中心窩検出のために、眼５５２の網膜画像をキャプチャするように構成される。

種々の実施形態では、メモリ５１４は、任意の網膜撮像分析モジュール５１６、アイトラッカモジュール５１８、涙膜状態モジュール５１９及び眼科的手順モジュール５２０を含む。網膜撮像分析モジュール５１６は、網膜イメージャ５７０を使用して網膜画像をキャプチャし、且つ／又はキャプチャされた網膜画像を分析するようにプロセッサ５１２に命令するためのプログラム命令を含む。網膜画像分析モジュール５１６は、１つ又は複数のキャプチャされた網膜画像（例えば、キャプチャされた画像、網膜画像のリアルタイムストリーム、記憶された網膜画像など）を受信し、関連画像特徴を抽出し、中心窩の存在又は不在を検出する（例えば、中心窩検出を示す分類を出力する、適切な眼の位置及び／又は整列の可能性を出力するなど）ように訓練されたニューラルネットワークを含み得る。

アイトラッカモジュール５１８は、アイトラッカ５６０を使用して眼５５２の画像をキャプチャし、且つ／又はキャプチャされた画像を分析するようにプロセッサ５１２に命令するためのプログラム命令を含む。アイトラッカモジュール５１８は、１つ又は複数のキャプチャされた画像（例えば、キャプチャされた画像、アイトラッカ５６０からの眼球画像のリアルタイムストリーム、画像Ａと画像Ｂとの画像ペア、記憶された眼球画像など）を受信し、関連画像特徴を抽出し、アイトラッキング情報を出力する（例えば、眼の整列標識を出力する、適切な眼の位置及び／又は整列の可能性を出力する、適切な位置及び整列状態からの眼のオフセットを出力するなど）ように訓練された１つ又は複数のニューラルネットワークを含み得る。

種々の実施形態では、アイトラッカモジュール５１８は、眼５５２が既知の固視点を固視している間に受信される整列データに基づいて、基準の眼の位置を判断するように構成される。例えば、アイトラッカモジュール５１８は、網膜画像分析モジュール５１６から中心窩検出情報を受信してもよく、中心窩検出情報は、適切な整列状態にある眼５５２を示すアイトラッカ５６０からの対応する画像を識別するために使用される。アイトラッカモジュール５１８は、操作者フィードバック、統計的分析、画像分析、及びシステム５００に利用可能な他のソースを含む、他のソースから固視情報を受信し得る。アイトラッカモジュール５１８は、固視の間イメージャＡからの画像をキャプチャすること、固視の間イメージャＢからの画像をキャプチャすることと、各画像内の少なくとも１つの特性を判断することと、２つの画像内の眼の特性の画像座標を比較することと、将来の患者の眼５５２位置計算において使用するための校正オフセット及び利得を計算することと、を含むプロセスによって患者の眼の位置計算を自動的に校正するようにさらに構成される。アイトラッカモジュール５１８は、アイトラッカ５６０によってキャプチャされた画像を分析し、基準画像及び／又は計算された位置に関連するアイトラッキング情報を出力するようにさらに構成される。

涙膜状態モジュール５１９は、デバイスの光軸と整列されるカメラ（例えばイメージャＡ）からの画像などの、アイトラッカ５６０によってキャプチャされた画像を分析するように構成される。涙膜状態モジュール５１９は、アイトラッカから画像シーケンスを受信し、画像を分析して１つ又は複数の涙膜状態イベントを判断し、涙膜状態イベントは、瞬き、眼を開くイベント、及び眼を閉じるイベントなどを含み得る。例えば、意図しない瞬きと患者による測定シーケンスを開始するための試行とを区別することが望ましい場合がある。いくつかの実施形態では、瞬きシーケンスは、そのような連続的な２回以上の瞬き、１つ若しくは複数の意図的な瞬き、又は眼を閉じている期間が涙膜状態モジュール５１９によって検出され得ることを患者が確実にする長い瞬きと定義される。一手法では、涙膜状態モジュール５１９は、画像シーケンス（例えば、開いた眼）において１つ又は複数の眼の特性（例えば、瞳孔中心、照明光源の反射）を検出し、１つ又は複数の眼の特性の障害（例えば、閉じた目）を検出し、その後１つ又は複数の眼の特性の存在（例えば、再び開いた眼）を検出する。種々の実施形態では、涙膜状態モジュール５１９は、画像ストリームを受信し、涙膜状態イベントを出力するように構成される１つ又は複数の訓練済みニューラルネットワークを含み得る。

いくつかの実施形態では、涙膜状態モジュール５１９は、プロセスに役立つための１つ又は複数のユーザインタフェースデバイス５３４とインタフェースする。例えば、膜状態モジュール５１９は、ユーザインタフェースデバイス５３４（例えば拡声器）に、瞬きが検出されたことを示すためのビープ音又は他の音を生成するように命令し得る。瞬き及び／又は瞬きシーケンスが検出されており、且つ測定プロセスが進行中であるときに、膜状態モジュール５１９は、ユーザインタフェースデバイス５３４に第２の音を生成するようにさらに命令し得る。この手法では、患者には、測定プロセスが開始したことが通知され、それによって、固視する必要性が患者に対して強化される。

眼科的手順モジュール５２０は、眼科的手順を行うようにプロセッサ５１２に命令するためのプログラム命令を含み、ユーザインタフェース５５４を通した手順中のユーザ入力及び出力並びにキャプチャされたデータの分析を含み得る。いくつかの実施形態では、眼科的手順モジュール５２０は、手順中にキャプチャされたデータを分析するための訓練済みニューラルネットワークを含む。眼科的手順モジュール５２０は、アイトラッカモジュール５１８からアイトラッキング情報を受信し、アイトラッカモジュール５１８は、許容可能なオフセット閾値、オフセットデータ及び／又は他の情報の中に整列状態を含み得る。いくつかの実施形態では、眼科的手続モジュール５２０は、患者の眼５５２が許容可能な整列位置及び涙膜状態にあるときに動作し、手続が開始したという標識（例えば、ビープ音などの音、閃光などの視覚的標識など）を、ユーザインタフェース５５４を通して患者に提供するように構成される。眼科的手続モジュール５５０は、患者が整列状態にないとき、及び／又は涙膜状態をリフレッシュする必要があるときに、操作者に標識をさらに提供してもよい。

システム５００は、オンライン処理（例えば、後続の手順中の）及びオフライン処理を含む後の処理のために、キャプチャされた網膜のアイトラッキングデータ、涙膜データ及び眼科的手順データを記憶し得る。ストレージデバイス５２４は、患者についてキャプチャされた網膜画像データ５２６を記憶し得る。網膜画像データ５２６は、患者識別子、キャプチャ画像のストリーム、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）及び／又は中心窩が画像内で検出されたかどうかについての情報を含み得る。ストレージデバイス５２４は、アイトラッカデータ５２８も記憶し得る。アイトラッカデータ４２８は、患者識別子、キャプチャ画像のストリーム、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）、固視が検出された期間とキャプチャ画像が対応しているかどうか、及び／又は固視中の眼の基準位置を提供する情報、及び／又は校正オフセット及び利得情報を含み得る。ストレージデバイス５２４は、手順中に患者についてキャプチャされた手順データ５３０も記憶し得る。手順データ５３０は、患者識別子、手順中にキャプチャされたデータのストリーム（例えば、画像、データ示度、データ計算など）、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）、手順におけるある時点の眼の位置について計算されたオフセット情報及び／又は手順中のある時点に目が固視していたかどうかを含む。

コンピューティングデバイス５１０は、１つ又は複数のアプリケーションサービスをコンピューティングデバイスに提供する１つ又は複数のネットワークサーバ５８２と通信し得る。いくつかの実施形態では、ネットワークサーバ５８２は、訓練データセット５８６を使用してニューラルネットワークの１つ又は複数を訓練するためのニューラルネットワーク訓練モジュール５８４を含み、訓練データセット５８６は、ラベル付き画像を含み得る。例えば、網膜画像分析モジュール５１６は、中心窩の存在及び／又は不在を識別するためにラベル付けされた網膜画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール５１８は、基準データに対する画像のオフセットを識別するためにラベル付けされた、キャプチャされた眼の画像のセット及び基準データを使用して訓練されたニューラルネットワークをさらに含み得る。眼科的手順モジュール５２０は、アイトラッカモジュール５１８からの整列データ及び／又はオフセットデータを含む、手順中にキャプチャされたデータを表すデータのセットを使用して訓練されたニューラルネットワークを含み得る。

図６Ａを参照すると、眼科用デバイスを初期化及び校正するためのプロセス６００の例としての実施形態について、ここで説明される。ステップ６１０において、患者は、眼科用システムにおいて位置決めされ、患者の視線を眼科用デバイスの整列軸と整列させるように目標対象に焦点を合わせる方向に向けられる。一実施形態では、患者の網膜が分析されて、患者が適切に固視していることを確認する。例えば、システムは、網膜をスキャンし、スキャンされた網膜データを取得し、取得されたデータを分析して中心窩を検出するように構成される網膜撮像システムを含み得る。いくつかの実施形態では、システム操作者は、患者が固視しているかどうかについての操作者の判断に基づいて、システムへのフィードバックを提供し得る。他の手法では、画像データは、固視手続中に取得され、（例えば、ヒストグラム又は他の画像データの分析を通して）固視を判断するために分析されてもよい。

ステップ６２０において、眼の表面の複数の画像が、少なくとも２つの既知の位置から画像をキャプチャするために配置された対応する撮像デバイスからキャプチャされる。例えば、図２及び図３のシステムにおいて、それぞれ異なる既知の位置からの眼の画像のペアをキャプチャするために、２つのカメラが使用される。種々の実施形態では、画像は、眼の現在の位置及び向きをキャプチャするために、同時に又は短い時間間隔にわたって順次、キャプチャされる。

ステップ６３０において、キャプチャされた画像が、１つ又は複数の眼の特性の画像座標を判断するために分析される。眼の特性は、画像内で検出された瞳孔の中心、画像内で検出された角膜の中心、画像内で検出された照明光源からの反射の位置、又は他の眼の特性を含み得る。いくつかの実施形態では、画像座標は、各画像内の画素位置の（ｘ，ｙ）座標を表し、それが、眼の位置及び向きを判断するために現実世界の位置にマッピングされ得る。

ステップ６４０において、校正オフセット及び利得が、撮像デバイスの既知の位置及び眼の特性の画像座標から計算される。例えば、２つの眼の特性間の画像座標差（例えば、瞳孔中心ＰＣ及び角膜反射ＣＲの位置）は、視線の方位角（Ｄｘ＝ＣＲｘ－ＰＣｘ）及び仰角（Ｄｙ＝ＣＲｙ－ＰＣｙ）に対応し得る。座標差（例えば、Ｄｘ及びＤｙ）から視線方位角ＧＡ及び視線仰角ＧＥをより正確に導出するために、校正オフセット値及び利得値が用いられ得る
ＧＡ＝ａｘ＋ｂｘ＊Ｄｘ
ＧＥ＝ａｙ＋ｂｙ＊Ｄｙ
２つの撮像デバイスからの連立方程式は、校正オフセットａ及び校正利得ｂの値について解くために用いられる。

ステップ６５０において、システムは、眼科的手続の間にアイトラッキングを実行する。アイトラッキングは、撮像デバイスのうちの１つ又は複数から画像のストリームをキャプチャすることと、画像を分析して検出された眼の特性の画像座標を判断することと、計算された画像座標並びに校正オフセット及び利得値を用いて眼の位置及び回転を計算することと、を含む。いくつかの実施形態では、患者の眼についての校正オフセット及び利得、並びに患者識別子は、ルックアップテーブル又は他のストレージデバイスに記憶され、後続の眼科的手続においてアクセス及び使用され得る。

図６Ｂを参照すると、診断システムを動作させるための例としてのプロセス６６０が、１つ又は複数の実施形態に従ってここで説明される。ステップ６７０において、患者は、眼科用システムにおいて位置決めされ、患者の視線を眼科用デバイスの整列軸と整列させるように目標対象に焦点を合わせる方向に向けられる。ステップ６７２において、システムは、眼球固視を検出し、それは、操作者によって、中心窩を検出するための網膜画像システムによって、ヒストグラム若しくは他の統計的分析を通して、又は別のプロセスを通して、実行され得る。一実施形態では、眼科用システムは、網膜をスキャンし、スキャンされた網膜データを取得し、取得されたデータを分析して中心窩を検出するように構成される網膜撮像システム（図３の網膜撮像システム３３０）を含む。いくつかの実施形態では、中心窩は、眼が固視している場合にＯＣＴ画像の中心において視認できる。ステップ６７４において、固視検出に関連付けられる時間特性が判断される。種々の実施形態では、時間特性は、タイムスタンプ、シーケンシャル画像インデックス、又は検出された眼球固視とアイトラッキングシステムによってキャプチャされたキャプチャ画像ストリームとの同期を可能にする他の基準を含み得る。

同時に、アイトラッキングシステムは、ステップ６８０において眼の画像のストリームをキャプチャし、ステップ６８２においてキャプチャ画像データを用いて眼球運動をトラッキングする。ステップ６８４において、時間特性に合致するキャプチャ画像が識別及び分析されて、目標対象を固視しているときの眼の位置及び向きが判断される。

ステップ６８６において、アイトラッカは、固視位置（例えば、基準位置）に対してキャプチャ画像ストリームを分析し、眼が誤差閾値内で適切に固視されているかどうかを判断する。画像及び固視情報は、後の処理のために（例えば、ストレージ６８８に）記憶され得る。同時に、ステップ６９０において、涙膜状態が判断される。一実施形態では、アイトラッカによってキャプチャされた画像は、瞬き又は他の眼を開く／眼を閉じる／眼を開くイベントを検出するために分析される。例えば、画像は、眼が開いていることを示す１つ又は複数の眼の特性の存在、眼が閉じていることを示す１つ又は複数の眼の特性の障害、及び眼が開いていることを示す画像ストリーム内の１つ又は複数の眼の特性の再出現を判断するために分析され得る。涙膜状態は、瞬きイベントを検出すること、遅延期間の間待機すること、時間間隔の間安定した涙膜状態に入ること、及び次いで安定した膜状態を脱することを含み得る。涙膜データは、後の処理のために（例えば、ストレージ６９１に）記憶され得る。

眼が適切に固視しており、且つ涙膜状態が安定している場合（ステップ６９２）、ステップ６９４において診断が実行され、診断は、眼球測定及び他の診断データを含み得る。いくつかの実施形態では、網膜の分析（ステップ６７２）及び検出された中心窩に関連付けられた時間特性の判断（ステップ６７４）は、網膜撮像システムによって実行され、網膜撮像システムは、ステップ６９４の眼の診断の間、無効化される。したがって、網膜撮像システムは、診断手続の間、眼の位置をトラッキングするために利用できない。

ステップ６９４における測定の間、アイトラッキングシステムは、眼が測定中適切に位置決めされ、整列されているかどうかを判断するために、ステップ６８６において眼の位置及び向きをトラッキングする。いくつかの実施形態では、アイトラッキングシステムは、角膜の前側又は眼房の内側に焦点を合わせる。アイトラッキングシステムは、診断中に眼のキャプチャ画像を分析し（ステップ６９４）、キャプチャ画像に基づいて現在の位置及び回転を判断し得る。現在の位置及び回転が固視位置及び回転と比較されて、オフセットが判断される。オフセットがエラー閾値未満である場合、眼が測定のための適切な位置及び整列状態にあると判断される。オフセットがエラー閾値を超える場合、診断プロセス及び／又はシステム操作者には、眼が整列状態にないことが通知され得、それにより操作者が診断手順を休止し、眼を再配置するように患者に指示することが可能となるか、関連測定データが有効／無効を判断されることが可能となるか、又は他のアクションが取られることが可能となる。いくつかの実施形態では、眼の診断手順中に取得されるデータは、後続の処理及び分析のためにストレージデバイス６９６に記憶される。

網膜撮像情報及び／又は中心窩検出情報は、アイトラッキングにおいて使用するために常に利用可能とは限らない場合がある。いくつかの眼科用デバイスは、例えば、ＯＣＴ網膜スキャナを含まない。いくつかの手続において、中心窩は、手続の開始前に確実に検出されていない場合がある（例えば、患者が適切に固視していなかった、中心窩が満足な度合の確実性で画像内に検出されなかった、操作者又はシステムエラーなど）。これらの実施形態では、絶対固視位置が、アイトラッカからキャプチャされた画像（例えば、眼の表面の画像）の分析に少なくとも一部基づいて判断され得る。他の実施形態では、絶対固視位置は、操作者フィードバック、詳細な初期化手続、画像分析、統計的分析、及び／又は他の方法のうちの１つ又は複数を通して判断され得る。

種々の実施形態では、固視分析は、カメラからキャプチャされた画像のストリームにおいて眼の位置を検出し、且つ絶対固視位置を推定するために結果を分析することによって実行される。分析は、キャプチャされた画像から判断される眼の位置のヒストグラムを使用した統計分析を含み得る。ヒストグラムが分析に従って明確な最高点を示す場合、方法は、絶対固視位置を推定し得る。ヒストグラムが明確な最高点を示さない場合、方法は、固視が検出されなかったことを示し得る。いくつかの実施形態では、キャプチャ画像の分析は、患者の眼と既知の位置における他の眼との比較（例えば、ラベル付けされた訓練画像のセットを使用して訓練されたニューラルネットワークの使用）、患者についての履歴上の固視情報、画像分析（交差／閾値を含む）及び／又は利用可能な情報の他の分析を含み得る。いくつかの実施形態では、方法は、操作者及び患者が患者の眼を適切に固定させることに依存し得る。いくつかの実施形態では、方法は、操作者及び／又は患者のエラーにより、画像が固視を反映しないシナリオ（例えば、患者が誤った場所を意図的に固視する場合又は操作者が適切に患者に指示せず、且つ／若しくは患者をモニタリングしない場合）に対処し得る。

網膜ＯＣＴスキャンが利用可能でなく、且つ／又は手順の前に中心窩が確実に検出されていない、アイトラッキングのためのシステム及び方法の実施形態が図７～図１０を参照してここで説明される。前述の通り、眼科用デバイスを使用した眼の正確な測定は、患者の視線（患者の視軸）と眼科用デバイスのある光軸との整列で開始し得る。これに関連して、視線は、患者がそれに沿って物を見る軸であり得る。結果として生じる診断データ及び／又は眼科的手順の他の結果は、患者が適切に固視していなかった期間中、信頼できない場合がある。

絶対眼球固視位置は、患者が手順（例えば、測定手順）中、診断デバイスのある光軸に沿って固視しているか（又は適切に固視していないか）に関するフィードバックをデバイス操作者に提供するために眼科用デバイスによって使用され得る。眼科用デバイスは、手順中、絶対眼球固視位置を使用して、患者が適切に固視している期間を識別し得る。システムは、絶対眼球固視位置を使用して、手順中に取得されたデータが信頼できるデータであるか、及び／又は信頼できないデータであるかを、患者がデータ取得中に固視していると判断されたかどうかに少なくとも部分的に基づいて判断することもできる。

図７を参照すると、絶対眼球固視を推定するための方法７００の実施形態がここで説明される。方法７００は、コンピューティングデバイスと、患者の眼の表面を撮像するためのカメラ及び照明システム（例えば、図３の撮像デバイス３１２及び３１３並びに照明コンポーネント３１４）を含み得る撮像システムとを使用して実行される。方法は、画像内の眼の検出可能な特徴（例えば、瞳孔、輪部、虹彩特徴など）の位置及び角膜における照明システムの反射の位置を使用することにより、眼の位置及び向きを判断する。眼の位置は、手順又は患者が眼科用デバイスの光軸に対して適切に位置決めされ、固視していることが予期される他の時間中に判断される。操作者は、フィードバックを提供することによって（例えば、１つ又は複数のボタンを押すことによって）プロセスを開始し得、及び／又は操作者は、患者がその後従うシーケンスを開始し得る。任意選択で、操作者は、患者の手順遵守の確認を提供し得る。

方法７００は、網膜ＯＣＴ撮像デバイスを含み得る眼科用デバイスのコンピューティングデバイスによる実装形態のための実施形態を示す。絶対固視位置を判断するために、コンピューティングシステムは、中心窩検出情報が利用可能であるかどうかを判断する（ステップ７０２）。例えば、眼科用デバイスが、患者が適切に固視している間に患者の眼をスキャンした網膜撮像デバイスを含む場合、中心窩検出情報が利用可能であり得る。中心窩検出情報が利用可能である場合、方法は、ステップ７０４に進む。ステップ７０４では、コンピューティングシステムは、（例えば、図３を参照して上述したような）検出された中心窩データに対応するアイトラッキング画像を識別する。ステップ７０６において、システムは、オフセット及び利得を校正し、対応する画像を用いて絶対固視パラメータを計算する。患者の眼は、その際、アイトラッキング画像、固視パラメータ、及び校正済み方程式を用いて手続中にトラッキングされ得る。

ステップ７０２に戻って参照すると、中心窩検出が利用可能でない場合、方法は、眼のキャプチャ画像（例えば、眼の表面の画像）を用いて、絶対固視パラメータを推定する。ステップ７２０において、コンピューティングデバイスは、キャプチャ画像のストリームをカメラから受信し、既知の位置に配置された異なるカメラからキャプチャされた画像の少なくとも１つのペアを用いてオフセット及び利得値を校正し、複数の画像のそれぞれにおける眼の位置及び向きを判断する。コンピューティングデバイスは、（例えば、処理制約に従って）それぞれの受信した画像又は受信した画像のサブセットを処理し得る。画像は、キャプチャデータを分析するとき、手順前／手順中及び／又は手順後に受信され得る。

眼の位置及び向きが一連のキャプチャ画像に対して判断された後、ステップ７３０において、判断された位置及び向きからヒストグラムが生成される。いくつかの実施形態では、位置及び向き情報は、画像のそれぞれにおける瞳孔の中心の画素位置を含み、それは、（ｘ，ｙ）座標の２次元ヒストグラムを構築するために使用される。位置及び向き情報は、画像のそれぞれから判断される眼の絶対位置及び向きを含み得、それは、２次元ヒストグラムを構築するために使用される。位置及び向きデータの他の表現も本方法において使用され得る（例えば、ヒートマップ）。いくつかの実施形態では、操作者フィードバックは、患者が固視するように指示されている画像を示すため、且つ／又は患者が固視していないかどうかを示すために使用され得、対応する画像は、分析に追加されるか又は分析から破棄され得る。システムの操作者が測定シーケンス中に対象を固視するように患者に指示する手順が行われ得る。

図８を参照すると、患者が見ている固視点の例としての分布を示すヒートマップ８００が示される。マップは、色分けされるか、３次元的であるか、又は患者がある場所を固視している頻度をトラッキングするための印を含み得る。他の標識（例えば、背景色に近い色）が、その場所における短時間の固視を示すために使用され得る。例示される実施形態では、ヒートマップの領域８１０は、最も多い座標を示し、目標対象を適切に固視している間の患者の眼の位置及び向きを示し得る。破線の円８２０は、手順又は分析に必要な精度のレベルに依存した、固視判断のために選択されるべき閾値オフセットの範囲内にある位置及び向きを示す。

図９は、キャプチャ画像から検出される眼の座標をプロットする例としてのヒストグラム９００を示す。この分布９１０の最高点は、（例えば、患者が最もよく固視していた位置及び向きを識別することによって）固視している眼の位置及び向きを推定するために使用され得る。この推定された位置及び向きは、さらなる眼の固視判断のための基準位置として使用され得る。例えば、測定シーケンスにおいて取られた医療データの分析は、眼が基準位置（例えば、ヒストグラムの最高点に少なくとも部分的に基づく）から許容可能なオフセット（例えば、円９２０によって示される）範囲内の向き及び位置を有するときに取得されたデータ点のみを使用し得る。

前述の通り、ヒストグラム９００は、キャプチャ画像から判断される固視点をプロットすることによって構築され得る。例えば、ヒストグラムは、検出された瞳孔又は識別された眼の中心（例えば、反射又は他の測定値から判断される）の一連の画素位置として眼の位置をトラッキングし得る。画像のシーケンスが受信され、分析されると、患者が最もよく固視している位置を示すパターンが出現し得る。いくつかの実施形態では、ヒストグラムにおける値は、隣接画素の平均を含み得、且つ／又は他の平滑化を組み込み得る。

図７の方法７００に戻って参照すると、ステップ７４０において、ヒストグラムが分析されて固視位置が検出される。前述の通り、固視位置は、ある分析基準に合致するヒストグラムの最大値に関連し得る。例えば、最高点は、平均値を超える最高点の度合、所与の数の画像についての閾値を超える度合などを含む多様な因子に基づいて選択され得る。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点／固視位置がリアルタイムで更新され得る。

ステップ７５０を参照すると、許容可能な最高点が見つからない（又は他の固視点基準に合致する）場合、眼球固視情報は、このプロセスを通して利用できない。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点／固視位置がリアルタイムで識別及び／又は更新され得る。

ステップ７６０において、校正オフセット及び利得及び推定される固視パラメータ（例えば、手順について許容可能な固視位置及びオフセット半径）は、検出された固視情報に基づいて判断される。患者の眼は、その際、アイトラッキング画像及び推定された固視パラメータを使用してステップ７０８において手順中にトラッキングされ得る。

図１０を参照すると、図７～図９の方法を実施するための例としてのシステム１０００が、ここで説明される。コンピューティングデバイス１００２（図５のコンピューティングデバイス５１０など）は、眼科用機器１０６０に通信可能に連結され、アイトラッカ１０３０に関連付けられたプロセス、涙膜分析１０５０及び眼科的手続１０４０を実行するように構成される。コンピューティングデバイス１００２は、眼科用機器１０６０の網膜撮像デバイス（利用可能な場合）を用いて（網膜画像分析モジュール１０１０を通して）網膜画像分析を実行し、網膜画像データ１０１２を記憶するように構成され得る。コンピューティングデバイス１００２は、図７に示される方法の実施態様又は絶対固視パラメータを推定するための他の方法を実行するための、固視分析モジュール１０２０をさらに含む。一実施形態では、固視分析モジュール１０２０は、アイトラッカ１０３０の１つ又は複数のカメラ（例えば、イメージャＡ及びイメージャＢ）によってキャプチャされた眼球画像のストリームを受信及び分析し、固視位置のヒストグラムを構築及び分析し、基準位置及び関連する半径を判断する。ヒストグラムデータを含む固視データが、ストレージ１０２２（例えば、メモリ又はストレージデバイス）に保存され得る。

いくつかの実施形態では、コンピューティングデバイス１００２は、メモリに記憶されたプログラム命令を実行するように構成される論理デバイスを含み、メモリは、固視分析モジュール１０２０と、任意選択の網膜画像分析モジュール１０１０と、アイトラッカ１０３０と、涙膜分析モジュール１０５０と、眼科的手順１０４０に関連付けられたプロセスとを含み得る。コンピューティングデバイス１００２は、また、アイトラッカデータ、画像、基準情報、及び他のデータを記憶するためのストレージデバイス１０３２に連結されてもよい。

固視分析モジュール１０２０は、アイトラッカ１０３０によってキャプチャされた画像を用いて患者の眼の相対視線を分析するように構成され得る。固視分析モジュール１０２０は、異なるカメラからキャプチャされた画像のペアを用いて測定値を校正して校正オフセット及び利得を導出してもよく、それによって、眼の特性の画素座標からの眼の位置及び向きの正確な判断が可能となる。固視分析モジュール１０２０は、視線の向き（例えば、眼のピッチ及びヨー、相対的な上／下及び左／右オフセット、曲率／回転など）をトラッキングするヒストグラムを構築し、絶対基準の推定を得るためにヒストグラムのピーク値（例えば、各場所におけるデータ値の数）を分析し得る。いくつかの実施形態では、固視分析モジュール１０２０は、眼の光軸及びアイトラッカカメラとの交点を推定して、視線方向をトラッキングする。

アイトラッカ１０３０は、患者の眼の画像をキャプチャ、記憶及び処理するように構成され得る。アイトラッカ１０３０は、固視分析モジュール１０２０によるさらなる分析のために、１つ又は複数のキャプチャ画像から患者の眼の位置及び向きを判断するように構成され得る。いくつかの実施形態では、それぞれの分析された画像は、眼の位置及び向き（例えば、ｘ軸及びｙ軸を中心とする回転）を表すｘ、ｙ位置を含み得る。アイトラッカは、（例えば、網膜画像分析１０１０を通して判断される）絶対固視位置又は（例えば、固視分析モジュール１０２０を通して判断される）推定された絶対固視位置に関連して１つの画像から別の画像への相対的な向きの変化に関する情報を使用し得る。いくつかの実施形態では、固視分析モジュール１０２０は、患者がほとんどの時間固視しようとしていたという仮定及び推定された絶対固視位置が、ｘ及びｙ回転のヒストグラムを構築し、且つ最も顕著な視線方向を判断することによって判断され得るという仮定の上で動作する。種々の実施形態では、ヒストグラムは、画素座標、ｘ及び／若しくはｙを中心とする回転、オフセット値又は他のデータから構築され得る。各画像は、ヒストグラムに追加される計算された眼の視線の向きを表す座標対を提供し得る。

いくつかの実施形態では、固視分析モジュール１０２０は、１つの明瞭なピーク（例えば、より小さいピークによって囲まれる顕著なピーク）を検出し、且つ固視位置が検出されたという信頼性のレベルを判断することによってヒストグラムを分析するように構成される。明確なピークが検出されない場合、信頼性レベルは、低くなり得る。検出されたピークの周囲の半径が使用され得る（例えば、人間は、＋／－０．５度固定し得る）。平均へのピークの閾値及び／又は半径のサイズは、システム及び手順要件に依存して変化し得る。

コンピューティングデバイス１００２は、ヒストグラムデータを分析して、眼球固視位置が判断され得るかどうかを判断することを含む、本明細書で開示された１つ又は複数の判断を行うように訓練された１つ又は複数のニューラルネットワークを含み得る。いくつかの実施形態では、固視分析は、患者及び／又は他の患者のための既知のアイトラッキング画像及び／又は眼球固視パラメータの比較をさらに含み得る。例えば、１つ又は複数の画像は、画像内の眼が固視しているかどうかを判断するために履歴データを使用して訓練されたニューラルネットワーク内に入力され得る。

図１１を参照すると、患者の涙膜の状態をトラッキングするための例としての方法が、ここで説明される。方法１１００は、患者誘導のトリガ生成を含み、これは、種々のシステムにおいて、（ｉ）ユーザ入力デバイス上のボタンを患者が押すこと、（ｉｉ）患者が瞬きするときにシステムが検出すること、及び（ｉｉｉ）固視状態と固視でない状態との間の固視状態の変化があるときにシステムが検出することとして実施され得る。

いくつかの実施形態では、涙膜状態及び固視状態が好ましいときに測定が行われ得るように、システムは、患者が瞬きするとき、及び患者が固視しているときを検出するように構成される。一実施形態では、システムは、アイトラッカ又は他のシステムコンポーネントを用いて眼をトラッキングすることによって、患者の瞬きを検出するように構成される。これは、ビデオベースシステム若しくは他の撮像方法（例えば、光干渉断層撮影）、１つ若しくは複数の訓練済みニューラルネットワーク、エキスパートシステム、並びに／又は他のシステム及びコンポーネントを用いて達成され得る。患者は、例えば、２回の瞬き、強い瞬きなどのある方法で、瞬きするように求められる。システムは、涙膜が安定した後で、イベントを検出し測定取得をトリガするように構成される。

デバイスは、ユーザにフィードバックを提供し得る（例えば、瞬きが検出される度にビープ音を発し得る）。適当な数の瞬き、瞬きの期間、及び最後の瞬きの後の取得の定義された遅延で、明確に定義された測定条件が、安定した涙膜状態を識別するために達成され得る。この方法は、撮像システムを含む多様な眼科診断デバイスにおいて実施され得る。

動作中に、患者は、ステップ１１１０において操作者によってデバイスに対して位置決めされる。患者は、ステップ１１２０において患者の眼の片方をデバイスの光軸と整列させるために目標対象を固視するように指示され、患者は、手続全体を通して目標対象を固視しようとする。ステップ１１３０において、患者は、眼の涙膜を元に戻すために瞬きし、又は別の眼の開／閉シーケンスを実行するように指示される。ステップ１１３２において、患者は、指示されるように瞬きする。いくつかの実施形態では、患者は、涙膜を元に戻し、瞬きが行われているとデバイスに合図するための、ある方法で（例えば、連続的に２回）瞬きするように指示される。ステップ１１３４において、デバイスは、ステップ１１３２において行われた瞬きを検出する。いくつかの実施形態では、患者の眼は、眼の表面の視覚的表現をキャプチャするために、アイトラッカを用いて撮像される。画像のストリーム（例えば、ビデオストリーム）は分析されて、瞬きシーケンスを検出する。例えば、瞬き検出コンポーネントは、画像分析を実行して、眼の瞳孔、眼からの照明光源の反射、又は他の眼の特性を検出してもよい。画像シーケンスは、分析されて、例えば、開いた眼の状態及び閉じた目の状態を判断し得る。瞬きパターンは、短い間隔の中の（例えば、３秒間に２回の瞬き）瞬きのシーケンス（例えば、開いた眼の状態－＞閉じた目の状態－＞開いた眼の状態）を探索することによって検出され得る。いくつかの実施形態では、訓練済みニューラルネットワークは、キャプチャされた画像から開いた眼の状態及び閉じた目の状態を検出するために使用され得る。

ステップ１１３４において瞬きシーケンスが検出される場合、遅延期間が開始されて、ステップ１１４０において涙膜安定化が可能となる。いくつかの実施形態では、患者には、可聴ビープ音又は他の標識を通して通知される。ｔ１秒経過後、測定がデバイスによってキャプチャされ得るｔ２の間、デバイスは安定涙膜状態に入る。安定涙膜状態１１４０の間、患者は、目標対象を固視し続ける（ステップ１１２０）。いくつかの実施形態では、デバイスは、患者が適切に固視しているかどうかを、アイトラッカ又は他のデバイスコンポーネントを用いて検出する。アイトラッカは、眼の画像をキャプチャし、眼が許容オフセット範囲内で固視しているかどうかを判断するために、現在位置を基準位置と比較し得る。１つ又は複数の測定結果が、安定涙膜状態ｔ２の間及び固視状態の間に、ステップ１１４２においてキャプチャされ得る。安定涙膜期間（ステップ１１４０）の後、涙膜は、キャプチャされた測定結果が信頼できないものとするレベルまで低下していると推測される（ステップ１１５０）。この状態において、患者は、固視することを止めて、手続を終了し得る。いくつかの実施形態では、シーケンスは２～６秒で完了し、追加の測定機会のために涙膜を元に戻すように繰り返してもよい。

種々の実施形態では、網膜撮像データが利用可能でない（例えば、システムの一部ではなく、且つ／又は中心窩検出が手順前に利用可能でない）ときでさえ、患者がデータ取得中にこの軸に沿って固視しているか又は固視していないかについてのフィードバックが操作者に提供され得る。本明細書で開示されるシステム及び方法は、本明細書で説明される画像キャプチャデバイス及び照明システムを使用する眼科診断デバイスで使用するのに適当である、コスト効率のよい解決策を提供する。

当業者に理解されるように、例示された実施形態の方法は、動作中に患者の眼が目標対象を適切に固視しているかどうかを独立して検証するための改善された技術を提供する。特定の時点における中心窩を検出することにより、システムは、視線／視軸が患者に対して位置する場所を判断し得る。この情報により、システムは、測定シーケンス又は他の診断若しくは矯正手順中に患者が現在固視しているかどうかを判断することが可能となる。この方法は、網膜を撮像するシステムと、表面情報を使用して眼をトラッキングするシステムとを結合する。網膜画像における中心窩の位置から、システムは、アイトラッキング位置を判断し、眼が左又は右／上又は下に動いているかどうかを判断し得る。システムは、ユーザの視線をトラッキングし、オフセットを計算し、現在の眼の位置及び向きを判断し、眼球固視に関する判断を行い、データの有効性を判断し、本開示による他の特徴を提供し得る。

上述の実施形態による方法は、非一時的で有形の機械可読媒体に記憶される実行可能命令として実施され得る。実行可能命令は、１つ又は複数のプロセッサ（例えば、プロセッサ５１２）による実行時、１つ又は複数のプロセッサに、本明細書で開示されたプロセスの１つ又は複数を実行させ得る。これらの開示による方法を実施するデバイスは、ハードウェア、ファームウェア及び／又はソフトウェアを含み得、様々なフォームファクタのいずれかを取り得る。そのようなフォームファクタの典型的な例としては、ラップトップ、スマートフォン、スモールフォームファクタのパーソナルコンピュータ及び／又は携帯情報端末などを含む。本明細書で説明される機能性の一部は、周辺機器及び／又はアドインカードでも具現化され得る。そのような機能性は、さらなる実施例として、単一のデバイスにおいて実行される異なるチップ又は異なるプロセスの中から回路基板上でも実施され得る。

例示的な実施形態が示され、説明されてきたが、前述の開示では広範囲の修正形態、変更形態及び置換形態が想定されており、場合により、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに利用され得る。当業者であれば、多くの変形形態、代替形態及び修正形態を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈されることが適切である。

Claims (20)

1. システムであって、
   眼の特性を測定するように構成される眼科用デバイスと、
   前記眼の第１の画像のストリームをキャプチャするように構成されるアイトラッカと、
   論理デバイスであって、
   前記第１の画像のストリームを分析して前記眼が目標対象を固視しているかどうかを判断し、
   前記第１の画像のストリームにおいて所定の瞬きシーケンスを検出し、
   所定の涙安定化期間の後、安定涙膜間隔を開始し、
   前記安定涙膜間隔の間、前記眼が前記目標対象を固視しているときに前記眼科用デバイスを用いて前記眼の少なくとも１つの測定結果をキャプチャするように構成される、前記論理デバイスと、
   を備える、システム。
2. 前記瞬きシーケンスが、連続した複数の瞬きを含み、
   前記第１の画像のストリームにおいて前記所定の瞬きシーケンスを検出することが、開いた眼及び／又は閉じた眼を検出するように訓練されたニューラルネットワークを通して前記画像を処理することを含む、請求項１に記載のシステム。
3. 前記アイトラッカが、第１の位置からの前記眼の第１の画像及び第２の位置からの前記眼の第２の画像をキャプチャするように構成され、
   前記論理デバイスが、
   前記第１の画像から第１の複数の眼の特性を検出し、前記眼の特性が第１の対応画像座標を有し、
   前記第２の画像から第２の複数の眼の特性を検出し、前記眼の特性が第２の対応画像座標を有し、
   前記第１の対応画像座標、前記第２の対応画像座標、前記第１の位置、及び前記第２の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断するようにさらに構成される、
   請求項１に記載のシステム。
4. 前記論理デバイスが、
   前記第１の対応画像座標及び／又は前記第２の対応画像座標に少なくとも一部基づいて、前記アイトラッカの光軸に対する眼球固視位置及び向きを判断するようにさらに構成される、請求項３に記載のシステム。
5. 前記論理デバイスが、
   判断された前記眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定し、
   前記アイトラッカから第１の画像のストリームを受信し、
   前記第１の画像のストリームからの少なくとも１つの画像を分析して前記眼球固視パラメータに対する現在の眼の位置及び向きを判断することによって、前記現在の眼の位置及び向きをトラッキングするようにさらに構成され、
   前記眼球固視パラメータが、固視時の前記眼の基準位置及び向きを含む、請求項１に記載のシステム。
6. 前記論理デバイスが、検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、前記アイトラッカの光軸に対する前記固視位置を判断するようにさらに構成され、
   前記ヒストグラムを分析することが、相対最大値の座標が固視位置及び向きを含むかどうかを判断することをさらに含み、
   前記相対最大値の座標が固視位置及び向きを含むかどうかを判断することが、前記相対最大値を閾値及び／又は前記ヒストグラムの平均座標値と比較することをさらに含む、請求項１に記載のシステム。
7. 網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナを含む、網膜撮像システムをさらに備え、
   前記アイトラッカが、前記網膜スキャンの間に前記眼の画像のストリームをキャプチャするようにさらに構成され、
   前記網膜撮像システムが、
   前記眼の複数の網膜画像をキャプチャし、
   中心窩が前記眼の前記複数の網膜画像のうちの１つ又は複数に存在するかどうかを検出し、
   検出された前記中心窩を有する前記眼の前記複数の網膜画像から第１の網膜画像を識別するようにさらに構成され、
   前記論理デバイスが、
   前記第１の網膜画像に時間的近接性を有する前記画像のストリームから対応する画像を判断し、
   前記対応する画像を分析して眼球固視パラメータを判断するようにさらに構成される、
   請求項１に記載のシステム。
8. 前記論理デバイスが、前記眼の位置及び向きをトラッキングし、眼球固視パラメータからのオフセットを計算し、前記オフセットが閾値未満かどうかを判断するように構成され、
   前記オフセットが前記閾値未満であるときに、前記眼が固視していると判断され、前記論理デバイスが、固視の標識を生成し、
   前記オフセットが前記閾値より大きいときに、前記眼が整列状態にないと判断され、前記制御プロセッサが、固視でないとの標識を生成する、請求項１に記載のシステム。
9. 前記論理デバイスが、眼球診断手続を実行し、前記眼球診断手続の間に前記アイトラッカを用いて眼の位置をトラッキングするようにさらに構成される、請求項１に記載のシステム。
10. 前記アイトラッカを用いて前記眼の位置及び向きをトラッキングしつつ眼球診断手続を実行するように構成される診断デバイスをさらに備え、前記診断デバイスが、眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも一部基づいて、前記眼球診断手続を修正するように構成される、請求項１に記載のシステム。
11. 方法であって、
    アイトラッカを用いて、眼の第１の画像のストリームをキャプチャすることと、
    前記第１の画像のストリームを分析して前記眼が目標対象を固視しているかどうかを判断することと、
    前記第１の画像のストリームにおいて所定の瞬きシーケンスを検出することと、
    所定の涙安定化期間の後、安定涙膜間隔をトラッキングすることと、
    前記安定涙膜間隔の間、前記眼が前記目標対象を固視しているときに眼科用デバイスを用いて前記眼の少なくとも１つの測定結果をキャプチャすることと、
    を含む、方法。
12. 前記瞬きシーケンスが、連続した複数の瞬きを含み、
    前記第１の画像のストリームにおいて前記所定の瞬きシーケンスを検出することが、開いた眼及び／又は閉じた眼を検出するように訓練されたニューラルネットワークを通して前記画像を処理することを含む、請求項１１に記載の方法。
13. 第１の位置から眼の第１の画像をキャプチャすることと、
    前記第１の位置とは異なる第２の位置から前記眼の第２の画像をキャプチャすることと、
    前記第１の画像から第１の複数の眼の特性を検出することであって、前記眼の特性が第１の対応画像座標を有する、前記第１の複数の眼の特性を検出することと、
    前記第２の画像から第２の複数の眼の特性を検出することであって、前記眼の特性が第２の対応画像座標を有する、前記第２の複数の眼の特性を検出することと、
    前記第１の対応画像座標、前記第２の対応画像座標、前記第１の位置、及び前記第２の位置に少なくとも一部基づいて校正オフセット及び校正利得を判断することと、
    をさらに含む、請求項１１に記載の方法。
14. 前記眼の画像のストリームをキャプチャすることと、
    検出された前記眼の特性の座標、前記校正オフセット、及び前記校正利得に少なくとも一部基づいて前記画像のストリームにおける眼の位置及び向きを検出することと、
    光軸に対する眼球固視位置及び向きを判断することと、
    をさらに含む、請求項１３に記載の方法。
15. 判断された前記眼球固視位置及び向きに少なくとも一部基づいて眼球固視パラメータを推定することと、
    前記画像のストリームからの１つ又は複数の画像を分析して前記眼球固視パラメータに対する眼の位置及び向きを判断することによって、前記眼の位置及び向きをトラッキングすることと、
    をさらに含み、
    前記眼球固視パラメータが、固視時の前記眼の基準位置及び向きを含む、請求項１４に記載の方法。
16. 前記画像のストリームを受信し、眼の位置の判断を出力するようにニューラルネットワークを訓練することをさらに含む、請求項１１に記載の方法。
17. 検出された眼の位置及び向きのヒストグラムを構築及び分析することによって、デバイスの光軸に対する前記固視位置を検出することをさらに含み、
    前記ヒストグラムを分析することが、相対最大値を判断することをさらに含む、請求項１１に記載の方法。
18. 光干渉断層撮影（ＯＣＴ）スキャナを用いて前記眼の網膜撮像スキャンを実行することと、
    前記網膜撮像スキャンから眼の複数の網膜画像をキャプチャすることと、
    前記眼の表面を撮像するように構成される撮像デバイスを用いて画像のストリームをキャプチャすることと、
    中心窩が前記複数の網膜画像の１つ又は複数に存在するかどうかを検出することと、
    検出された前記中心窩を有する前記複数の網膜画像から第１の網膜画像を識別することと、
    前記第１の網膜画像に時間的近接性を有する前記画像のストリームから対応する画像を判断することと、
    前記対応する画像を分析して眼球固視パラメータを判断することと、
    をさらに含む、請求項１１に記載の方法。
19. 眼の位置及び向きをトラッキングすることと、眼球固視パラメータからのオフセットを計算することと、前記オフセットが閾値未満かどうかを判断することと、をさらに含み、
    前記オフセットが前記閾値未満であるときに、前記眼が固視していると判断され、且つ固視の標識が生成され、
    前記オフセットが前記閾値より大きいときに、前記眼が整列状態にないと判断され、且つ固視でないとの標識が生成される、請求項１１に記載の方法。
20. 画像キャプチャデバイスを用いて前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手続を実行することと、
    眼球固視パラメータ及びトラッキングされる眼の位置を表すデータに少なくとも一部基づいて、前記眼球診断手続を修正することと、
    をさらに含む、請求項１１に記載の方法。

Images