JP2021531098A - Ａｉを利用した眼の状態判定のためのシステムおよび方法 - Google Patents

Abstract

ある実施形態では、被検者に関する角膜画像のセットがニューラルネットワークに提供されてもよい。第１の予測が予測モデルを介して取得されてもよく、第１の予測は、第１の眼の画像から導出されて、ある眼の状態が被検者に存在するか否かを示す。第２の予測が予測モデルを介して取得されてもよく、第２の予測は、第２の眼の画像から導出されて、前記眼の状態が前記被検者に存在するか否かを示す。前記第２の予測が前記眼の状態が前記被検者に存在することを示していることに基づいて、第１の予測に関連する観点を前記予測モデルを介して調整してもよい。被検者の少なくとも一つの眼の状態に関する一つ以上の予測が予測モデルから取得されてもよく、予測モデルは前記第１の予測の調整に基づいてこれら予測を生成する。

Description

（関連出願の相互参照）
本出願は、２０１８年７月２７日に出願された「角膜診断のための人工知能を利用したシステムおよび方法」と題する米国出願第１６／０４７，９４４号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

（米国政府支援の陳述）
本発明は、米国国立衛生研究所により授与された許可番号第Ｋ２３ＥＹ０２６１１８号のもとに政府の支援を得てなされた。米国政府は本発明において特定の権利を有する。

本発明は眼の状態またはその治療に関する判断を容易にすることに関し、例えば、ニューラルネットワークまたはその他の予測モデルを介して角膜または他の眼の状態（もしくは他の状態）の診断もしくは評価を提供することを含む。

眼の状態を検出するスキャンシステムおよび診断システムは存在するが、そのようなシステムの多くは患者の症状を表すものではない侵襲的な処置および／または検査を伴う。例えば、水性欠乏症、蒸発性ドライアイ症候群（ＤＥＳ）、角膜拡張症、角膜辺縁幹細胞欠乏症、角膜形成術移植片拒絶反応の出現または疾患、フックスジストロフィーもしくはその他の状態の特徴をスキャンまたは分析するためのシステムが挙げられる。一例として、ＤＥＳの診断に用いられる共焦点顕微鏡法では、眼球表面に接触させる必要があり時間がかかるため、日常の診療に組み込むことが難しく、調査手段としての利用が制限される。涙膜浸透圧法もＤＥＳの診断に用いられる手法の一つであるが、侵襲性が高く時間もかかる。

また、毎年、多くの角膜移植が行われており、角膜を移植する前に、ドナー角膜となる眼の状態（例えば、フックスジストロフィーやその他の状態）を非侵襲的に検出することが重要である。スリットランプ検査は、このような眼の状態を検出するために使用される技術の一つであるが、この技術では倍率が限られており、無症状の拒絶反応の出現可能性を検出できないことが多い。その他の技術（例えば、鏡面顕微鏡による内皮細胞数の測定、中心角膜厚の測定等）は、十分な再現性または感度を有しておらず、軽症例の診断においては有用性が限られる。また軽症例（例えば、軽度の角膜移植片拒絶、浮腫、拡張等）では、正常な角膜厚の範囲が広いことがあり、診断における有用性を困難にしている。一例として、正常な薄い角膜と初期の拡張症の患者との間には著しい重複があり、初期の拡張症の検出が困難である。上記のような問題およびその他の問題が存在する。

本発明の側面は、眼の状態または眼の状態の治療に関する決定を、ニューラルネットワークまたはその他の予測モデルを介して容易にする方法、装置および／またはシステムに関する。

ある実施形態において、被検者の少なくとも一つの眼の状態に関する一つまたは複数の予測が、被検者に関する眼の画像のセットに基づいて予測モデルを介して取得される。幾つかの実施形態において、予測モデルは眼の画像のセットに基づいて予測を生成するように構成されてもよく、生成された予測を予測モデルから取得してもよい。一例では、（ｉ）入力として、被検者の眼の画像を取得し、（ｉｉ）眼の状態に関する第１の予測を取得し、（ｉｉｉ）前記眼の状態に関する第２の予測を取得し、（ｉｖ）第１の予測に関連する観点（ａｓｐｅｃｔ）を第２の予測に関連する観点に基づいて調整する、ように予測モデルが構成されてもよく、ここで、第１の予測は眼の複数の画像のうちの第１の眼画像から導出され、第２の予測は前記眼の複数の画像のうちの第２の眼画像から導出される。別の例では、予測モデルは、少なくとも一つの入力層、少なくとも一つの隠れ層および少なくとも一つの出力層を備えるニューラルネットワークであってもよい。
さらに別の使用例では、ニューラルネットワークの入力層は、入力として、被検者の眼の画像を取得するように構成されてもよい。ニューラルネットワークの隠れ層は、予測を取得し、第２の予測に関連する観点に基づいて第１の予測の観点を調整するように構成されてもよい。出力層は、調整された予測またはその他の最終的な予測を出力するように構成されてもよい。

いくつかの実施形態では、複数の予測のクラスタリングに基づいて、一つ以上の予測が調整されてもよい。一例として、予測のクラスタリングは予測に関連付けられた眼の位置に基づいて実行されてもよく、特定の予測はそのようなクラスタリングに基づいて調整されてもよい。一例として、予測モデルに提供される眼の画像のセットのサブセットはそれぞれ、被検者の眼の異なる部分、例えば、眼の異なるミクロ層、眼のミクロ層内の異なるサブレイヤ、または眼の他の異なる部分を表してもよい。眼の画像から導出された予測は、前記眼の画像が表す眼の部分に対応する眼の位置と関連付けられてもよい。眼球画像から導出された複数の予測が互いに近接している眼の位置にそれぞれ関連付けられているという決定に基づいて、これら予測が一緒になるようにクラスタリングされてもよい。一例として、被検者が円錐角膜を有することを示す予測のクラスタがある場合、円錐角膜の初期段階において角膜の一つ以上の領域に分離されているという円錐角膜を考慮して、それら予測に関連付けられた信頼度スコアを増加させてもよい。このように、例えば、クラスタリングに基づく予測は、円錐角膜またはこのような属性を有する他の眼の状態に対するより良い精度の高い検出を提供できる。

いくつかの実施形態では、被検者の一方の眼に一の状態が存在することに関連する予測は、被検者の他方の眼に前記一の状態（または他の眼の状態）の存在に関連する予測に基づいて調整されてもよい。一例として、そのような状態は、典型的には両側性に生じるが非対称的である。一方の眼に一の状態が存在すると、他方の眼は同じ状態を有する可能性が高くなるが、重症度が異なるまたは不顕性の形態である場合が多い。このように、ある使用例では、眼の状態が被検者の一方の眼に存在することを示す予測の重みまたは確率は、眼の状態が被検者の他方の眼に存在することを示す予測に基づいて増加させてもよい。この場合、例えば、上記のような構成は、両側性を有する眼の状態をより良い精度で検出することができる。

上記以外の本発明のさまざまな態様、特徴および利点は、本発明の詳細な説明および添付の図面を参照することによって明らかになるであろう。また、上記の概要および以下の詳細な説明は共に例示に過ぎず、本発明の範囲を限定するものではないと理解されたい。本明細書および特許請求の範囲で用いる場合、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は複数を示唆するものである。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。さらに、本明細書および特許請求の範囲で用いる場合、「または」という用語は「および／または」を意味する。ただし、文脈によって別に解すべきことが明白な場合はこの限りではない。

本特許または出願明細書には、カラーで示された少なくとも一つの図面が含まれている。本特許または本願の刊行物のカラー図面の写しは、請求および必要な手数料の支払いを受けて庁が提供する。

一つのまたは複数の実施形態に係る眼の状態またはその治療に関連する決定を容易にするシステムを示す。

一つのまたは複数の実施形態に係る眼の状態またはその治療に関連する決定を容易にする機械学習モデルを実装するシステムを示す。

一つまたは複数の実施形態に係る入力データの一例であり、ＯＣＴ Ｂスキャンである。 一つまたは複数の実施形態に係る入力データの一例であり、角膜の総厚みを示す厚さマップである。 一つまたは複数の実施形態に係る入力データの一例であり、角膜の総厚みを示すブルズアイマップである。

一つまたは複数の実施形態に係る、入力画像のアーチファクトを除去する前処理操作への入力画像を示す。 一つまたは複数の実施形態に係る、入力画像のアーチファクトを除去する前処理操作の出力画像を示す。

一つまたは複数の実施形態に係る、被検者の眼に関する予測を出力するＡＩモデルを示す。 一つまたは複数の実施形態に係る、被検者の眼に関する予測を出力するＡＩモデルを示す。

一つまたは複数の実施形態に係る、眼の一の状態が存在する予測確率を示しており、予測確率はそれぞれの画像から導出される。

一つまたは複数の実施形態に係る、被検者の左眼および右眼に関して一の眼の状態が存在する予測確率を示す。

一つまたは複数の実施形態に係る、眼疾患の不顕性症例の存在を示すＡＩモデルから導出された結果を示す。

一つまたは複数の実施形態に係る、顕在屈折から得られたデータを示す。

一つまたは複数の実施形態に係る、患者の両眼における眼病の存在を示すＡＩモデルから導出された結果を示す。 一つまたは複数の実施形態に係る、患者の両眼における眼病の存在を示すＡＩモデルから導出された結果を示す。

一つまたは複数の実施形態に係る、患者データを用いたＡＩモデルの拡張を含む概略図を示す。 一つまたは複数の実施形態に係る、患者データを用いたＡＩモデルの拡張を含む概略図を示す。 一つまたは複数の実施形態に係る、患者データを用いたＡＩモデルの拡張を含む概略図を示す。

一つまたは複数の実施形態に係る、角膜または前眼部に生じる特定の状態を予測するのに重要な領域を識別するように構成されたＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、入力画像内の重要な領域を特定するべく実行されるオクルージョンテストの概略図である。

一つまたは複数の実施形態に係る、角膜層の境界をセグメント化するためのＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、角膜層の境界をセグメント化するためのＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、角膜層のセグメント化のための境界予測を生成するＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、訓練データセットを生成してＡＩモデルを訓練するためのパッチ抽出技術の概略図である。

一つまたは複数の実施形態に係る、階層カスケード型のアーキテクチャを含む概略図である。

一つまたは複数の実施形態に係る、拡張されたカテゴリＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、拡張されたカテゴリＡＩモデルについて拡張カテゴリを表したテーブルである。

一つまたは複数の実施形態に係る、拡張されたカテゴリＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、予測スコアを利用した階層アーキテクチャを有するＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、完全結合された複数の層の同一ブロックに接続する複数の専門化された畳み込み／プーリング層ブロックを有するＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、専門化された完全結合層の複数のブロックにフィードする共有畳み込み／プーリング層ブロックを有するＡＩモデルを含む概略図を示す。

一つまたは複数の実施形態に係る、転移学習を組み込んだＡＩモデルを含む概略図である。

一つまたは複数の実施形態に係る、眼の状態またはその治療に関する決定を容易にする方法のフローチャートを示す。

一つまたは複数の実施形態に係る、後続のニューラルネットワークがニューラルネットワークを利用した画像の前処理をするのを容易にする方法のフローチャートを示す。

以下の記載において、本発明の実施形態を完全に理解できるように、説明を目的として、多くの具体的且つ詳細な内容を記載する。しかしながら、当業者であれば、これらの具体的且つ詳細な内容がなくとも、または、均等な構成でも、本発明の実施形態が実施され得ることを理解するであろう。他の例では、周知の構造およびデバイスが、本発明の各実施形態を不必要に不明瞭にすることを避ける目的でブロック図の形式で示される。

図１Ａは、一つのまたは複数の実施形態に係る眼の状態またはその治療に関する決定を容易にするシステム１００を示す。図１に示すように、システム１００は、サーバ１０２、クライアントデバイス１０４（またはクライアントデバイス１０４ａ−１０４ｎ）またはその他の構成要素を備えるとしてよい。サーバ１０２は、状態予測サブシステム１１２、前処理サブシステム１１４またはその他の構成要素を含んでもよい。クライアントデバイス１０４は、一例として、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイスまたは他のクライアントデバイスであってもよい。ユーザは、例えば、一つまたは複数のクライアントデバイス１０４を利用して、お互いと、１または複数のサーバと、または、システム１００のその他の構成要素とやり取りを行うとしてよい。

クライアントデバイス１０４の特定の構成要素が実行するものとして一つまたは複数の処理を本明細書で説明するが、これらの処理は、一部の実施形態では、クライアントデバイス１０４の他の構成要素、または、システム１００の他の構成要素によって実行し得るものであることに留意されたい。一例として、クライアントデバイス１０４の構成要素が実行する処理として本明細書で説明する一つまたは複数の処理は、一部の実施形態において、サーバ１０２の構成要素によって実行されるとしてよい。サーバ１０２の特定の構成要素が実行するものとして一つまたは複数の処理を本明細書で説明するが、これらの処理は、一部の実施形態では、サーバ１０２の他の構成要素、または、システム１００の他の構成要素によって実行し得るものであることに留意されたい。一例として、サーバ１０２の構成要素が実行する処理として本明細書で説明する一つまたは複数の処理は、一部の実施形態において、クライアントデバイス１０４の構成要素によって実行されるとしてよい。機械学習モデルに関して幾つかの実施形態が本明細書に記載されているが、他の実施形態では機械学習モデルの代わりにまたは機械学習モデルに加えて、他の予測モデル（例えば、統計モデルまたは他の分析モデル）を使用してもよいことに留意されたい（例えば、一つ以上の実施形態では、機械学習モデルを置き換える統計モデル、および非機械学習モデルを置き換える非統計モデルを使用してもよい）。

いくつかの実施形態では、システム１００は、被検者の眼に関連する一つ以上の画像に基づいて、被検者の少なくとも一つの眼の状態に関する一つ以上の予測を生成してもよい。一例として、眼の画像は、被検者の少なくとも片眼の網膜（例えば、網膜全体またはその一部）の一つ以上の画像、被検者の少なくとも片眼の角膜（例えば、角膜全体またはその一部）の一つ以上の画像またはその他の眼の画像を含んでもよい。別の例として、予測は、角膜拡張症、円錐角膜、角膜移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、緑内障またはその他の眼の状態のうちの少なくとも一つに関連する一つ以上の予測を含む。更なる例として、予測は、（ｉ）上記に列挙した状態のいずれかが被検者に存在するか否か、もしくは、将来的に被検者に発症する可能性が高いか（例えば、現在被検者の眼に存在する、矯正治療または処置が取られるか否かに応じて被検者の眼に発生するそのような状態それぞれのリスク等）を示す予測、（ｉｉ）被検者に存在すると予測される上記に列挙したような状態の重症度またはそれに関連する重症度スコアを示す予測、（ｉｉｉ）そのような状態に関して行われる治療もしくは処置を示す予測、（ｉｖ）被検者の眼がそのような治療または処置に対して望ましいもしくは望ましくない反応を示す確率を示す予測、または、（ｖ）その他の情報を示す一つ以上の予測、を含んでもよい。

いくつかの実施形態において角膜画像の使用に関して本明細書に記載されるが、被検者の状態に関連するその他の画像（例えば、被検者の少なくとも片眼の状態に関するその他の眼の画像または被検者のスキャンから得られるその他の画像）が、角膜画像の代わりにまたは角膜画像に加えて使用されてもよいことに留意されたい。

いくつかの実施形態では、一つ以上の予測モデルは、眼の状態または他のオペレーションに関連する決定を容易にするために使用されてもよい。いくつかの実施形態では、予測モデルは、一つ以上のニューラルネットワークまたはその他の機械学習モデルを含んでもよい。一例として、ニューラルネットワークは、大量のニューラルユニット（または人工ニューロン）に基づいているとしてよい。ニューラルネットワークは、生物の脳の働き（例えば、軸索によって接続されている生物のニューロンの大きなクラスタによるもの）を大まかに模倣しているとしてよい。ニューラルネットワークのニューラルユニットそれぞれは、ニューラルネットワークの他の多くのニューラルユニットと結合されているとしてよい。このような結合は、接続されているニューラルユニットの活性状態に対して、強化または阻害する影響を持ち得る。一部の実施形態では、各ニューラルユニットは、全ての入力の値を組み合わせる合算機能を持つとしてよい。一部の実施形態では、各結合（またはニューラルユニット自体）は、閾値関数を持つとしてよく、信号が他のニューラルユニットへと伝播する前に、信号が閾値を超過しなければならない。これらのニューラルネットワークシステムは、明示的にプログラミングされるというより自動で学習し訓練され得るものであり、従来のコンピュータプログラムに比べて所定の分野の問題解決において性能が大きく優れているとしてよい。一部の実施形態では、ニューラルネットワークは複数の層を持つとしてよい（例えば、信号経路は上位置から下位層へと横断している）。一部の実施形態では、ニューラルネットワークがバックプロパゲーションを利用するとしてよく、この場合、前方向の刺激を利用して「上位層」のニューラルユニットへの重みをリセットする。一部の実施形態では、ニューラルネットワークに対する刺激および阻害は、結合の相互作用がより混沌且つより複雑になるほど、流動性が高くなるとしてよい。

一例として、図１Ｂに示すように」、ＡＩモデル１６０は、入力１６４を入力し出力１６６を提供するように構成された機械学習モデル１６２を含んでもよい。ある使用例では、出力１６６は、（例えば、単独で、もしくは、出力１６６の精度に関するユーザの指示、入力に関連するラベルまたはその他の参照フィードバック情報と組み合わせて）機械学習モデル１６２を訓練するための入力として機械学習モデル１６２にフィードバックされてもよい。別の使用例では、機械学習モデル１６２は、予測（例えば、出力１６６）および参照フィードバック情報（例えば、精度に関するユーザの指示、参照ラベルまたはその他の情報）の評価に基づいて、その構成（例えば、重み、バイアスまたはその他のパラメータ）を更新してもよい。別の使用例では、機械学習モデル１６２がニューラルネットワークである場合、結合重みは、ニューラルネットワークの予測と参照フィードバックとの間の差異を調整するように調整されてもよい。更なる使用例では、ニューラルネットワークの一つ以上のニューロン（またはノード）は、更新プロセス（例えば、誤差逆伝播）を容易にするために、ニューラルネットワークを介しそれぞれの誤差が後方に送られように要求してもよい。結合重みの更新は、例えば、順伝播が完了した後に後方に伝搬させる誤差の大きさが反映されてもよい。このようにして、例えば、より良い予測を生成するように予測モデルが訓練されてもよい。

いくつかの実施形態では、システム１００は、予測モデルを訓練するために、眼のスキャンから得られた同一の切り取り画像（例えば、眼のミクロ層の同じ画像カット）の複数のフレームを予測モデルに提供してもよい。一例として、複数のフレームは、眼のスキャンから得られた同一の画像カットの複数の生フレームを含んでもよく、同一の画像カットの複数の生フレームの各フレームは、複数の生フレームの他のフレームとは異なるノイズパターンを含む。このように、例えば、複数の異なるノイズパターンに基づいて訓練を行うことにより、ノイズに対して予測モデルをよりロバストなものにすることが可能となり得る。

いくつかの実施形態では、システム１００は、画像の初期セットの前処理用の予測モデルと、前処理済の画像のセットを処理して一つ以上の予測を生成するための別の予測モデルとを使用してもよい。一例として、前処理予測モデルは（他の予測モデルに提供するべく）、画像のセットから問題のある画像または低品質の画像を除去してもよい。一実施形態では、前処理予測モデルは、（ｉ）適切に位置合わせされていない（例えば、被検者の角膜に対して適切にセンタリングされていない）、（ｉｉ）ノイズが多すぎる、または（ｉｉｉ）その他の予測モデルの予測精度を低下させる他の問題を有すると前処理予測モデルが判断した画像を、画像セットから除去してもよい。別の例として、前処理予測モデルは、画像のセットのうちの一つ以上の画像の修正を実行してもよく、例えば、画像からノイズを除去する、画像からアーチファクトを除去する、画像の位置合わせを行う（例えば、被検者の角膜に対して画像をセンタリングする）、または、他の予測モデルの予測の精度を高めるためにその他の修正を実行してもよい。ある使用例では、前処理予測モデルは、被検者に関連する眼の画像の初期セットにおける画像の位置合わせを行って、位置合わせを行った画像のセットを得て、位置合わせ済の画像を他の予測モデルに提供してもよい。他の予測モデルは、位置合わせ済の画像を処理し、位置合わせ済の画像に基づいて一つ以上の予測を出力してもよい。

いくつかの実施形態では、システム１００は、被検者に関連する眼の画像のセットを予測モデルに提供し、予測モデルを介して、被検者の眼の少なくとも一つの状態に関連する一つ以上の予測を取得してもよい。一例として、予測モデルは眼の画像のセットに基づいて予測を生成するように構成されてもよく、システム１００は生成された予測を予測モデルから取得してもよい。ある使用例では、（ｉ）入力として、被検者の眼の画像を取得し、（ｉｉ）眼の状態に関する第１の予測を取得し、（ｉｉｉ）前記眼の状態に関する第２の予測を取得し、（ｉｖ）第１の予測に関連する観点（ａｓｐｅｃｔ）を第２の予測に関連する観点に基づいて調整する、ように予測モデルが構成され、ここで、第１の予測は眼の複数の画像のうちの第１の眼画像から導出され、第２の予測は前記眼の複数の画像のうちの第２の眼画像から導出される。別の使用例では、予測モデルは、少なくとも一つの入力層、少なくとも一つの隠れ層および少なくとも一つの出力層を備えるニューラルネットワークであってもよい。さらに別の使用例では、ニューラルネットワークの入力層は、入力として、被検者の眼の画像を取得するように構成されてもよい。ニューラルネットワークの隠れ層は、予測を取得し、第２の予測に関連する観点に基づいて第１の予測の観点を調整するように構成されてもよい。出力層は、調整された第１の予測またはその他の最終予測（例えば、第２の予測またはその調整版、第１の予測の更なる修正版等）を出力するように構成されてもよい。

いくつかの実施形態では、複数の予測のクラスタリングに基づいて、一つ以上の予測が調整されてもよい。一例として、予測のクラスタリングは予測に関連付けられた眼の位置に基づいて実行されてもよく、特定の予測はそのようなクラスタリングに基づいて調整されてもよい。いくつかの実施形態では、システム１００は、一つ以上の予測モデルを介してそのような調整を実行してもよい。一例として、予測モデルに提供される眼の画像のセットのサブセットはそれぞれ、被検者の眼の異なる部分、例えば、眼の異なるミクロ層、眼のミクロ層内の異なるサブレイヤ、または眼の他の異なる部分を表してもよい。眼球画像（例えば、予測モデルへの入力として提供される複数の画像のうちの一つ）から導出される予測は、眼球画像によって表される眼の部分に対応する眼の位置に関連するものであってもよい。眼球画像から導出された複数の予測が互いに近接している眼の位置にそれぞれ関連付けられているという決定に基づいて、これら予測が一緒になるようにクラスタリングされてもよい。ある使用例では、特定の予測（例えば、特定の眼の状態が存在することを示す予測）が同じクラスタ内にあるまたは互いに近接した眼の位置に関連付けられていることに基づいて、これら特定の予測の重みまたは確率を増加させしてもよい。一例として、被検者が円錐角膜を有することを示す予測のクラスタがある場合、円錐角膜の初期段階において角膜の一つ以上の領域に分離されているという円錐角膜を考慮して、それら予測に関連付けられた信頼度スコア（例えば、確率またはその他のスコア）を大きくさせてもよい。このように、例えば、クラスタリングに基づく予測は、円錐角膜またはこのような属性を有する他の眼の状態に対するより良い精度の高い検出を提供できる。

いくつかの実施形態では、被検者の一方の眼に一の状態が存在することに関連する予測は、被検者の他方の眼に前記一の状態（または他の眼の状態）の存在に関連する予測に基づいて調整されてもよい。いくつかの実施形態では、システム１００は、一つ以上の予測モデルを介してそのような調整を実行してもよい。一例として、そのような状態は、典型的には両側性に生じるが非対称的である（例えば、円錐角膜、フックスジストロフィー等）。一方の眼に一の状態が存在すると、他方の眼は同じ状態を有する可能性が高くなるが、重症度が異なるまたは不顕性の形態である場合が多い。このように、ある使用例では、眼の状態が被検者の一方の眼に存在することを示す予測の重みまたは確率は、眼の状態が被検者の他方の眼に存在することを示す予測に基づいて増加させてもよい。この場合、例えば、上記のような構成は、両側性を有する眼の状態をより良い精度で検出することができる。

いくつかの実施形態では、状態予測サブシステム１１２は、被検者に関連する眼の画像のセットを入力として予測モデルに提供し、予測モデルを介して、被検者の眼の少なくとも一つの状態に関連する一つ以上の予測を取得してもよい。一例として、予測モデルは眼の画像のセットに基づいて予測を生成してもよく、状態予測サブシステム１１２は予測モデルから予測を取得してもよい。いくつかの実施形態では、一つまたは複数のＢスキャン画像（またはＢスキャン）、（例えば、被検者の眼の一つ以上のミクロ層の厚さを示す）一つまたは複数の厚さマップもしくはその他のマッピングデータ、または、その他の画像データが、予測モデルへの入力として提供されてもよい。一例として、予測モデルは、入力としてＢスキャンおよび厚さマップを取得し、取得したＢスキャンおよび厚さマップに基づいて予測値を生成するように構成されてもよい。その他の入力（例えば、予測モデルに提供され、それに基づいて予測が行われ得る）としては、人口統計データ（例えば、年齢、性別、民族、過去の病歴、家族歴または職業等）、医療データ（例えば、角膜曲率、中心角膜厚、眼圧、視野または被検者に関連する視力、被検者の他方の眼の状態、撮像された眼の以前の状態等）、またはその他のデータが含まれ得る。

例えば、ＡＩモデル１６０（またはその一つ以上のサブモデル）は、入力（例えば、ＯＣＴのＢスキャン、厚さマップ、ブルズアイマップ、ヒートマップ、カラーコード化されたマップ、または、角膜および前眼部のカラー画像）を得て、予測値を出力してもよい。これに加えてまたは代えて、入力データは、曲率マップ、トポグラフィーマップ、断層マップ、エレベーションマップまたはその他のマップを含んでもよい。例えば、入力データは、角膜の輪郭もしくは曲率を表す角膜のマップ、または、角膜の一つ以上の層を表すマップを含んでもよい。更なる例では、入力データとして、角膜または角膜の一つ以上の層について、互いに対してまたは定義された球体、表面もしくは曲線に対する相対的な輪郭、曲率またはエレベーションを表すマップを含む。これらのマップは、ＯＣＴ画像またはその他の高精細画像等の画像へのマッピング技術の適用により生成されてもよい。様々な実施形態において、マップ生成は、２０１８年１月１１日出願された米国特許出願第１５／８６８，８５６号「角膜ミクロ層の３次元厚さマッピングおよび角膜診断のための方法およびシステム」に開示されるシステムおよび方法に従って行われてもよく、その内容は参照により本明細書に組み込まれる。

一例では、マップは、角膜全体または角膜の一つ以上の層のマップであってもよい。角膜移植の拒絶反応は、例えば、角膜の全体的な肥厚、および、角膜の残りの部分と比較した場合の内皮層／デスメ膜の実質的な肥厚で示されてもよい。この場合、入力データは、角膜全厚さマップおよび／または各層の厚さマップを含んでもよい。円錐角膜は、角膜実質部およびボーマン膜が薄くなる傾向がある領域において上皮が肥厚する特定のパターンが存在する別の例である。これらの相対的な肥厚および薄化のパターンを指標を用いて表現することは困難であるが、全ての層の厚さデータを同時に見てそのようなパターンを検出する予測モデル（例えば、ＡＩモデル１６０）を使用して検出してもよい。

いくつかの実施形態では、入力データは、角膜の状態がどのように変化したかを捉えるべく、異なる複数の時間に撮影され時系列を追った複数画像のシーケンスを含む。そのような入力データは、効果的な治療、現在または将来の治療の有効性、回復時間、状態またはその他の予測行うべく訓練された予測モデルに関して使用されてもよい。一例では、システム１００は、複数画像のシーケンスを時系列に表すことにより、時系列をモデル化するためのリカレントニューラルネットワークを利用することを含む。
更なる例では、リカレントニューラルネットワークのためのネットワークアーキテクチャは、一連の点ではなく、一連の画像を処理するように変更される。これは、疾患の進行が時間的プロセスであることから、疾患の進行の予測に有用である。

いくつかの実施形態では、予測モデルは、入力される眼の画像のセットに基づいて眼の状態に関連する複数の予測を生成し、複数の予測のうちの一つに関連付けられた観点を、複数の予測のうちの１以上の他の予測に関連付けられた観点に基づいて調整するように構成されてもよい。一例として、複数の予測の各予測はそれぞれ、入力される眼の画像のセットのうちの異なる眼の画像に基づいて導出されてもよい。一の予測に関連付けられる観点としては、予測された情報、予測に関連付けられた重みまたは確率、予測に関連付けられた確率、予測に関連付けられた（予測が対応する）眼の部分またはその他の眼の位置またはその他の観点を含み得る。予測された情報は、（ｉ）眼のある状態が被検者に存在するか否か、もしくは、将来的に被検者に発症する可能性が高いか（例えば、現在被検者の眼に存在する、矯正治療または処置が取られるか否かに応じて被検者の眼に発生するそのような状態それぞれのリスク等）、（ｉｉ）被検者に存在すると予測されるそのような状態の重症度またはそれに関連する重症度スコア、（ｉｉｉ）そのような状態に関して行われる治療もしくは処置、（ｉｖ）被検者の眼がそのような治療または処置に対して望ましいもしくは望ましくない反応を示す確率、または、（ｖ）その他の情報、を含んでもよい。

ある使用例では、予測モデルがニューラルネットワークを含む場合、ニューラルネットワークは、一つ以上の入力層、隠れ層および出力層等の複数の層を備えてもよい。
ニューラルネットワークの少なくとも一つの入力層は、ニューラルネットワークへの入力として眼球画像を取得するように構成されていてもよい。ニューラルネットワークの少なくとも一つの隠れ層は、（ｉ）眼の状態に関する第１の予測を取得する、（ｉｉ）前記眼の状態に関する第２の予測を取得する、（ｉｉｉ）前記第２の予測に関連する観点に基づいて、前記第１の予測に関連する観点を調整する、ように構成されてもよい。一例として、隠れ層はニューラルネットワークの一つ以上の他の隠れ層から予測を取得してもよく、他の隠れ層は入力の眼の画像セットから予測を導出してもよい（例えば、第１の予測が第１の眼画像から導出され、第２の予測が第２の眼画像から導出される等）。別の使用例では、ニューラルネットワークの少なくとも一つの出力層は、隠れ層の上記の動作を実行するように構成されてもよい。

いくつかの実施形態では、状態予測サブシステム１１２は、予測モデルへの入力として（被検者に関する）眼の複数の画像を含むセットを提供してもよく、この入力セットは、被検者の一つ以上の眼の異なる部分を表す複数の眼の画像を含み、例えば、眼の異なるミクロ層、眼のミクロ層内の異なる副層または眼の他の異なる部分を表す眼の画像を含む。一例として、眼のミクロ層としては、上皮、基底膜、ボーマン膜、デスメ膜、内皮またはその他の微小層がある。いくつかの実施形態では、予測モデルは眼の画像の入力セットに基づいて中間予測を生成してもよく、（ｉ）第１の中間予測が第１の眼の部分を表す第１の眼画像に基づき、（ｉｉ）第２の中間予測が第２の眼の部分を表す第２の眼画像に基づき、（ｉｉｉ）第３の中間予測が第３の眼の部分を表す第３の眼画像に基づき、（ｉｖ）以下同様、であって、第１、第２および第３の眼の部分のそれぞれが被検者の眼の異なる部分である。前記中間予測はそれぞれ、それぞれの眼の部分に対応する眼の位置（例えば、それぞれの眼の部分の名称もしくはその他の識別子またはそれぞれの眼の部分の位置を示すその他の情報）に関連付けられてもよい。一例として、第１の中間予測は第１の眼の部分に対応する第１の眼の位置に関連付けられ、第２の中間予測は第２の眼の部分に対応する第２の眼の位置に関連付けられ、第３の中間予測は第３の眼の部分に対応する第３の眼の位置に関連付けられてもよい。

ある使用例では、予測モデルがニューラルネットワークを含む場合、ニューラルネットワークは、一つ以上の入力層、隠れ層および出力層等の複数の層を備えてもよい。ニューラルネットワークの少なくとも一つの入力層は、ニューラルネットワークへの入力として眼球画像を取得するように構成されていてもよい。ニューラルネットワークの少なくとも一つの隠れ層は、（ｉ）第１の中間予測を取得し、（ｉｉ）第２の中間予測を取得し、（ｉｉｉ）前記第２の中間予測に関連付けられた観点に基づいて、前記第１の中間予測に関連付けられた観点を調整するように構成されていてもよい。一例として、隠れ層はニューラルネットワークの一つ以上の他の隠れ層から中間予測を取得してもよく、他の隠れ層は入力の眼の画像セットから中間予測を導出してもよい（例えば、第１の中間予測が第１の眼画像から導出され、第２の中間予測が第２の眼画像から導出される等）。別の使用例では、ニューラルネットワークの少なくとも一つの出力層は、隠れ層の上記の動作を実行するように構成されてもよい。

いくつかの実施形態では、一つ以上の予測に関連付けられた重みまたは確率は、一つ以上の他の予測、および、他の予測に関連付けられた側面に基づいて調整されてもよい。一例として、第１の予測に関連付けられた重みまたは確率を、第２の予測および第２の予測に関連付けられた眼の位置に基づいて調整してもよい。いくつかの実施形態では、予測モデルは入力される眼の画像のセットに基づいて中間予測を生成してもよく、（ｉ）第１の中間予測が第１の眼の部分を表す第１の眼の画像に基づき、（ｉｉ）第２の中間予測が第２の眼の部分を表す第２の眼の画像に基づくようにしてもよい。予測モデルは、（ｉ）第１の中間予測に関連付けられた（および第１の眼の部分に対応する）第１の眼の位置と、（ｉｉ）第２の中間予測に関連付けられた（および第２の眼の部分に対応する）第２の眼の位置と、の間の距離に基づいて、第１の中間予測または第２の中間予測の少なくとも一つに関連付けられた重みまたは確率を調整するように構成されてもよい。

いくつかの実施形態では、第１および第２の中間予測に関連する眼の位置が互いに近接している場合、予測モデルは、第１または第２の中間予測に関連する重みまたは確率を増加させてもよい。一例として、予測モデルは、（ｉ）第１および第２の中間予測が、同じ眼の状態が被検者の眼に存在することを示し、（ｉｉ）第１の中間予測に関連付けられた第１の眼の位置が、第２の中間予測に関連付けられた第２の眼の位置に近接していることに基づいて、第１または第２の中間予測に関連付けられた重みまたは確率を増加させるように構成されてもよい。更なる例として、第１および第２の眼の位置が、第１および第２の眼の位置が互いに閾値距離（例えば、所定の閾値距離またはその他の閾値距離）内にあることに基づいて、互いに近接していると判断してもよい。

いくつかの実施形態では、複数の予測のクラスタリングに基づいて、一つ以上の予測が調整されてもよい。一例として、予測モデルは、複数の予測のクラスタを決定するために、一つ以上のクラスタリング技術を使用してもよく、クラスタがそれぞれ、（ｉ）眼の互いに近接している位置に関連付けられた予測、（ｉｉ）当該クラスタに関連付けられた眼の位置の閾値距離内の眼の位置に関連付けられた予測、（ｉｉｉ）当該クラスタに関連付けられた層（例えば、当該クラスタに関連付けられたミクロ層）上の眼の位置に関連付けられた予測、または、（ｉｖ）当該クラスタに関連付けられたその他の属性を有する予測を含むようにしてもよい。別の例として、予測モデルは、（ｉ）第１および第２の中間予測が、被検者の眼に同じ眼状態が存在することを示し、（ｉｉ）第１および第２の中間予測が同じクラスタに関連付けられていることに基づいて、第１または第２の中間予測に関連付けられた重みまたは確率を増加させてもよい。上述したように、いくつかの実施形態では、そのようなクラスタリングに基づく調整（予測に関連する上記の眼球位置に基づく調整と共に）は、特定の眼の状態の属性（例えば、初期段階で角膜の一つ以上の領域に分離されているといった円錐角膜の特徴）を考慮に入れることを可能にし、それにより、このような眼の状態を精度よく検出できる。

一使用例では、図６に示すように、予測モデルは、患者の一方の眼について複数の予測を（例えば、中間予測値）、その眼の画像１〜ｎ（例えば、画像１〜１０）に基づいて生成してもよく、予測は患者が特定の眼の状態（例えば、円錐角膜またはその他の眼の状態）を有する確率を特定する。図示のように、画像５〜７から導出された予測は、患者が前記眼の状態を有する確率が高い（例えば、９５％、９３％、９６％）ことを特定しており、画像１〜４および画像８〜１０から導出された他の予測は、患者が前記眼の状態を有する確率が低いことを特定している。例えば、予測が１０個しかなく、これらの予測（またはその確率）を平均化するために使用される重みが各予測について等しい場合、（例えば、重み付けされた平均値が４３．５％であることに基づいて）予測モデルは患者の眼に眼の状態が存在しないという最終的な予測を出力してもよい。

しかしながら、別の使用例では、画像５〜７が患者の眼の互いに近接している部分（例えば、同じミクロ層の互いに近接している領域）を表す場合、（ｉ）画像５〜７に表される部分の近接性の判定、および、（ｉｉ）眼の状態の存在に関連する閾値を満たす確率（例えば、被検者の眼に当該眼の状態が存在する確率７０％以上、８０％以上または他の確率）を特定する図画像５〜７から導出される予測に基づいて、予測モデルは画像５〜７から導出される予測の重みを増加させてもよい。これに加えてまたは代えて、（ｉ）画像５〜７によって表される部分と、存在閾値を満たす確率を特定する画像５〜７から導出される予測とが近接していること、および（ｉｉ）存在閾値を満たさない確率（例えば、存在閾値より低い）を特定する他の画像から導出される予測、に基づいて、予測モデルは他の画像（例えば、画像１〜４および画像８〜１０）から導出される予測の重みを小さくしてもよい。一例として、予測値が１０個しかなく予測モデルが画像５〜７から導出された予測値のそれぞれの重みをその他の予測値の重みの５倍に増加させた場合に、予測モデルは患者の眼に眼状態が存在するという最終的な予測を出力してもよい（例えば、加重平均が７１．４％であることに基づいて）。

更なる使用例では、画像１〜４が患者の眼の互いに近接している部分（例えば、互いに近接している同じミクロ層の領域）を表している場合であっても、予測モデルは、画像１〜４から導出される予測の重みを増加させないように構成されてもよい（または、少なくとも、画像５〜７に関連付けられた予測の重みの増加よりも大きな程度でそのような予測の重みを増加させないように構成されてもよい）。このように、例えば、特定の状態が患者の眼に存在しないことを示す予測の近接性が前記特定の状態が患者の眼に存在するか否かの最終的な予測に影響を与える（または過大に影響する）ことを可能にしないように、予測モデルは、眼の一つ以上の領域で分離されている前記特定の状態の属性（例えば、初期段階で角膜の一つ以上の領域で分離されているという円錐角膜の特性）を考慮に入れるように構成されてもよい。

ある使用例では、図８に示すように、眼疾患の不顕性症例（例えば、円錐角膜）は、現在の標準的なカード検査によって見落とされることが多い。図８に示す使用例では、予測モデルが被検者の眼のスキャン画像から２００フレームを処理した時に、予測モデルは、９０％以上のフレームについて円錐角膜が存在しないという中間予測（ユーザインタフェース８００の可視化画像８０２の白い／明るい領域を参照）を生成し、１０％未満のフレームについて円錐角膜ありの中間予測（ユーザインタフェース８００の可視化画像８０２の赤い／暗い領域を参照）を生成した。このように予測の全てに同じ重みが与えられ、平均化された場合、最終的な予測は、被検者の眼に円錐角膜が存在しないという予測となったと考えられる。しかしながら、円錐角膜についての複数の中間予測の大部分が、眼の互いに近接している位置に関連付けられていた（例えば、互いに閾値距離内、同じクラスタ内等）ことから、予測モデルは、円錐角膜の中間予測が予測した確率の重みを増加させた（および、例えば、他の予測確率の重みを増加させずに減少させた）。更新された重みに基づいて、予測モデルは、被検者の眼に円錐角膜が存在するという最終的な予測確率８６．１６％を生成した（ユーザインタフェース８００の信頼度０．８６１６を参照）。ユーザインタフェース８００上で示されるように、円錐角膜が不顕性段階（または他の初期疾患段階）にあることを示す表示が、ユーザインタフェース２００上に提供されてもよい。一例として、予測モデルは、更なる予測として不顕性段階を示す情報を生成してもよい。いくつかの実施形態では、不顕性段階を示す情報は、閾値量（例えば、全フレーム数の２０％、１０％または他の閾値量）を満たさない円錐角膜の中間予測に関連付けられたフレーム数に基づいて生成されてもよい。

別の使用例では、図９、図１０Ａおよび図１０Ｂに示すように、わずかな乱視を有する患者が円錐角膜を有することは珍しく、従来の検査技術では、ほとんどの場合円錐角膜なしと診断されたであろうが、本発明の予測モデルは、わずかな乱視を有する２７歳の女性患者（図９の顕在屈折から導出されたデータに示すように）が両眼に円錐角膜を有するという予測を生成した。図１０Ａおよび図１０Ｂに示されているように、予測モデルが患者の各眼についてスキャンし２００フレームを処理する場合、予測モデルは、７０％近くのフレームについて円錐角膜なしの中間予測を生成し（ユーザインタフェース１０００および１０５０の可視化画像１００２および１０５２における白い／明るい領域を参照）、３０％近くのフレームについて円錐角膜ありの中間予測を生成した（ユーザインタフェース１０００および１０５０の可視化画像１００２および１０５２における赤い／暗い領域を参照）。全ての予測に同じ重みを与えて平均化した場合、眼それぞれの最終的な予測は、被検者のいずれの眼にも円錐角膜は存在しないという予測になっていたと考えられる。しかしながら本例では、円錐角膜の中間予測の多くが、眼の互いに近接している位置に関連付けられていたため、予測モデルは円錐角膜の中間予測が予測する確率の重みを増加させた。更新された重みに基づいて、予測モデルは、被検者の右眼に円錐角膜が存在する最終的に予測された確率を９５．５４％（ユーザインタフェース１０００の信頼度０．９５５４を参照）とし、被検者の左眼に円錐角膜が存在するという最終的に予測された確率を９６．８４％（ユーザインタフェース１０５０の信頼度０．９６８４を参照）と導出した。

いくつかの実施形態では、状態予測サブシステム１１２は、予測モデルへの入力として（被検者に関連する）眼の画像のセットを提供してもよく、ここで、入力されるセットは、被検者の片方の眼を表す一つ以上の眼画像と、被検者のもう一方の眼を表す一つ以上の眼画像とを含む。いくつかの実施形態では、予測モデルは入力される眼画像のセットに基づいて複数の中間予測を生成してもよく、第１の中間予測が被検者の第１の眼を表す一つ以上の眼画像に基づき、第２の中間予測が被検者の第２の眼を表す一つ以上の眼画像に基づくようにしてもよい。いくつかの実施形態では、複数の中間予測のうちの少なくとも一つは、前記複数の中間予測のうちの少なくとも別の一つに基づいて調整されてもよい。一例として、第１の中間予測は被検者の一方の眼における眼の状態の存在に関連し、第２の中間予測は被検者の他方の眼における眼の状態（または他の眼の状態）の存在に関連していてもよい。第１の中間予測は、第２の中間予測に基づいて調整されてもよい。いくつかの実施形態では、予測モデルは、第１の中間予測（被検者の一方の眼に眼の状態が存在すること）に関連する重みまたは確率を、眼の状態が被検者の他方の眼に存在することを示す第２の中間予測に基づいて大きくさせてもよい。一例として、そのような状態は、典型的には両側性に生じるが非対称的である（例えば、円錐角膜、フックスジストロフィー等）。一方の眼に一の状態が存在すると、他方の眼は同じ状態を有する可能性が高くなるが、重症度が異なるまたは不顕性の形態である場合が多い。この場合、例えば、上記のような構成は、両側性を有する眼の状態をより良い精度で検出することができる。

一使用例では、図７に示すように、予測モデルは、患者の左眼についての第１の予測（例えば、左眼の一つ以上の眼の画像に基づく第１の中間予測）と、患者の右眼についての第２の予測（右眼の一つ以上の画像に基づく第１の中間予測）とを生成してもよく、予測では患者のそれぞれの眼が特定の眼状態（例えば、角膜または他の眼状態）を有する確率を特定する。図示されるように、例えば、第１の予測では左眼がその眼の状態を有する確率が９２％とされ、第２の予測は右眼がその眼の状態を有する確率が４３．５％としてもよい。あるシナリオでは、予測モデルは、第１の予測が示した確率９２％が確率閾値（例えば、７０％以上、８０％以上、または右眼が眼の状態を有するという他の確率）を満たすことに基づいて、第２の予測が示した確率４３．５％をより高い確率へと増加させてもよい。

別のシナリオでは、第１の予測が示した確率９２％が、第２の予測が示す確率を増加させる値を計算するためのパラメータとして使用されてもよい。更なるシナリオでは、第２の予測が示す確率４３．５％は、右眼の画像（例えば、図６の画像１〜１０に関連付けられた確率）から予測された確率等である即時確率のセットから導出されてもよい。第１の予測が示した確率が確率閾値を満たすこと基づいて、予測モデルは、右眼の眼状態の存在を示す中間確率（例えば、確率閾値を満たす中間確率）に関連付けられた重みを増加させてもよい。一例として、中間確率が図６の画像１〜１０に関連付けられたものである場合、予測モデルは、画像５〜７から導出された中間確率のそれぞれの重みを、その他の確率それぞれの重みの５倍に増加させてもよい。中間確率が１０個しかない場合、第２の予測の確率４３．５％は、右眼に眼の状態が存在することを示す加重平均値７１．４％へと増加させてもよい。第２の予測が示した確率を増加させた後の値が確率閾値を満たす場合、予測モデルは、眼の状態が左眼と右眼の両方に存在するという出力を提供してもよい。これに加えてまたは代えて、出力は、第１の予測の確率、増加後の第２の予測の確率、増加前の第２の予測の確率またはその他の情報を特定してもよい。

幾つかの実施形態では、予測モデルがニューラルネットワークを含む場合、ニューラルネットワークは、一つ以上の入力層、隠れ層および出力層等の複数の層を備えてもよい。ニューラルネットワークの少なくとも一つの入力層は、ニューラルネットワークへの入力として眼球画像を取得するように構成されていてもよい。ニューラルネットワークの少なくとも一つの隠れ層は、（ｉ）第１の中間予測（被検者の一方の眼に一の眼状態の存在することに関する）を取得し、（ｉｉ）第２の中間予測（被検者の他方の眼に前記眼状態が存在すること示す）を取得し、（ｉｉｉ）他方の眼に前記眼の状態が存在することを示す前記第２の中間予測に基づいて、前記第１の中間予測を（例えば、前記眼の状態の存在を示すべく、重みを増加させることによって）調整するように構成されていてもよい。一例として、隠れ層はニューラルネットワークの一つ以上の他の隠れ層から中間予測を取得してもよく、他の隠れ層は入力の眼の画像セットから中間予測を導出してもよい（例えば、第１の中間予測が被検者の第１の眼の眼画像から導出され、第２の中間予測が前記被検者の第２の眼の眼画像から導出される等）。

いくつかの実施形態では、一方の眼にある状態が存在するかは、他方の眼における診断確率が乗算される重みとして組み込まれてもよい。重みは、発生率データによってまたは既存の訓練データから両側の確率を決定する予測モデルを介して決定されてもよい。いくつかの実施形態では、人口統計学等の患者データも同様に組み込まれてもよい。いくつかの実施形態では、そのようなデータをモデル化するのにリカレントニューラルネットワークまたはベイジアンネットワークを使用してもよい。

様々な実施形態では、ＡＩモデル１６０は、両眼の画像（例えば、Ｂスキャンまたはその他の画像）、マッピング関連の画像データ（例えば、厚さマップ、ヒートマップ、ブルズアイマップ、構造マップ等）またはその他の画像データを入力として取得する。各データ入力を使用して出力される確率は、他の出力確率のうちの一つ以上を調整するために使用されてもよい。本明細書で説明するように、ＡＩモデル１６０は複数のサブモデルを含んでもよい。サブモデルは、一つ以上のサブモデルに統合されてもよい。いくつかの実施形態では、入力、スコアまたは予測値を後続のサブモデルにフィードフォワードすることによって複数のサブモデルを組み合わせてもよい。一実施形態では、複数のサブモデルは、様々な層の統合、層のブロックの統合、または、層もしくはブロックの組み合わせによって組み合わされてもよい。入力は、複数の画像タイプまたはデータフォームを含んでもよく、例えば、人口統計データ等の患者データを含んでもよい。複数の入力は、ＡＩモデル１６０の様々な段階で入力されてもよい。例えば、更なるデータ入力は、完全結合層内の重みとして入力されてもよいし、一つ以上のサブモデルのスコアの乗算器として適用されてもよい。一例では、ＡＩモデルは、両眼の画像（例えば、各眼の一つ以上のＢスキャンおよび／または片方のもしくは両方の眼の一つ以上のヒートマップ）を入力とする。ＡＩモデルは、片方の眼の疾患を予測した場合、もう片方の眼の疾患の確率を増加させてもよい。一例として、疾患が第１の眼に存在することを示す予測確率に基づいて、ＡＩモデルは、第２の眼についての予測確率に一つ以上の重みまたは他のパラメータ（例えば、予め定められたまたは固定された重みまたはパラメータ、第１の眼についての予測確率に依存する重みまたはパラメータ等）を乗算することによって、第２の眼における疾患の予測確率を増加させてもよい。

いくつかの実施形態では、前処理サブシステム１１４は、（被検者に関連する）眼の画像の初期セットを予測モデルに提供して、前処理された眼球画像のセットを得てもよい（例えば、一つ以上の予測を生成するべく別の予測モデルに提供される）。一例として、前処理予測モデルは（他の予測モデルに提供するべく）、画像のセットから問題のある画像または低品質の画像を除去してもよい。一実施形態では、前処理予測モデルは、（ｉ）適切に位置合わせされていない（例えば、被検者の角膜に対して適切にセンタリングされていない）、（ｉｉ）ノイズが多すぎる、または（ｉｉｉ）その他の予測モデルの予測精度を低下させる他の問題を有すると前処理予測モデルが判断した画像を、画像セットから除去してもよい。別の例として、前処理予測モデルは、画像のセットのうちの一つ以上の画像の修正を実行してもよく、例えば、画像からノイズを除去する、画像からアーチファクトを除去する、画像の位置合わせを行う（例えば、被検者の角膜に対して画像をセンタリングする）、画像をトリミングもしくはスケーリングする（例えば、画像の位置合わせの一部として）、または、他の予測モデルの予測の精度を高めるためにその他の修正を実行してもよい。

ある使用例では、前処理予測モデルは、その他の眼画像には共通して存在しない眼画像内のアーチファクトを識別し、眼画像からそのようなアーチファクトを除去するように訓練されてもよい。一例として、前眼部ＯＣＴ画像はしばしば、その他のタイプのＯＣＴ画像に共通して存在しない明瞭なアーチファクト（例えば、鏡面反射、水平アーチファクト等）を有している場合がある。そのようなアーチファクトを前処理予測モデルによって識別して除去し、前処理済ＯＣＴ画像を処理し当該前処理済ＯＣＴ画像に基づいて一つ以上の予測を出力する他の予測モデルの精度を向上させてもよい。一例として、図３Ａに示される画像は、垂直アーチファクトおよび水平アーチファクトを含む前眼部の生Ｂスキャン画像である。図３Ｂは、前処理技術によってアーチファクトを除去した後の図３ＡのＢスキャン画像である。

別の使用例では、前処理予測モデルは、被検者に関連する眼の画像の初期セットにおける画像の位置合わせを行うように訓練され、位置合わせを行った画像のセットを得た後、位置合わせ済の画像を他の予測モデルに提供してもよい。一例として、位置合わせは、位置合わせされた画像が所定の基準位置（例えば、被検者の角膜の中心、被検者の眼の別の基準点等）に対して整列されるように実行され得る。他の予測モデルは、位置合わせ済の画像を処理し、位置合わせ済の画像に基づいて一つ以上の予測を出力してもよい。一使用例では、前処理予測モデルは、被検者の角膜の中心に対して画像をセンタリングするために、画像上で一つ以上の変換（例えば、回転、反射、並進、リサイズ等）、トリミングまたはその他の技法を実行してもよい。

いくつかの実施形態では、状態予測サブシステム１１２または前処理サブシステム１１４は、（例えば、訓練またはその他の目的のために）予測モデルに眼のスキャンから切り取られた同じ画像の複数のフレームを提供してもよい。複数のフレームは、（眼のスキャンから切り取られた同じ画像の）複数の生フレーム、生フレームから派生した前処理済みフレーム（例えば、生フレームと比較してより少ないノイズを有するように、所定の基準位置に対して位置合わせされるように前処理されたフレーム等）、または、眼のスキャンから切り取られた同じ画像のその他のフレームを含んでもよい。いくつかの実施形態では、予測モデルが前処理予測モデルである場合、予測モデルは、複数のフレームの位置合わせ、複数のフレームからのアーチファクトの除去、複数のフレームのうち別の予測モデルへの入力画像として除外されるべき一つ以上のフレームを特定するまたはその他の操作を実行してもよい。いくつかの実施形態では、予測モデルは、同一の画像カットの複数のフレームに基づいて、少なくとも一つの眼の状態に関する少なくとも一つの予測を生成してもよい。一例として、同一画像カットの複数の異なるフレームを使用することにより、（例えば、各フレームが撮影された時にノイズがランダムであることに起因して）複数の画像カットは異なるノイズパターンを含み得る。異なるノイズパターンに基づく訓練により、予測モデルをノイズに対してよりロバストにすることができる。

いくつかの実施形態では、入力画像データは、患者の角膜または前眼部の現在の状態を捉えた複数の画像を含む。例えば、入力画像データは、角膜または前眼部の同一カットまたは複数のカットに沿って撮影された複数のＢスキャン画像を含んでもよい。本例または別の例では、入力画像データは、時系列として画像のシーケンスを含んでもよい。入力画像データは、患者の左右の角膜または前眼部一つ以上の画像からなる複数のＢスキャン画像を含んでもよい。上述したように、システム１００は、同一眼の複数のＢスキャン画像を利用して精度を向上させてもよい。例えば、システム１００は、各Ｂスキャンについて診断の確率を計算し、次に、同じ眼の全Ｂスキャンから確率の平均を計算してもよい。各スキャンについて生成された独立した複数の予測から平均値を求めてもよい。

上述したように、予測モデルは予測を生成するために訓練されてもよい。様々な実施形態では、予測はスコアのセットを含んでもよい。一例として、出力は、スコアのセットを含んでもよく、各スコアは出力層の対応するノードによって生成される。スコアのセットは、疾患（または他の状態）のような特定のカテゴリの確率に対応する分類スコアまたはカテゴリスコアを含んでもよく、例えば、個別のカテゴリの存在確率または連続スケール値スコアに対応してもよい。スコアのセットは、状態スコアとも称される。状態スコアは、角膜または前眼部の特定の状態が存在する可能性に対応していてもよい。状態スコアは、角膜または前眼部の一つ以上の特定の状態に関連するリスク、重症度、処置または治療結果に対応していてもよい。例えば、予測は、各カテゴリの存在可能性を与えるべく、ＳｏｆｔＭａｘ層を使用して正規化することができるスコアと各出力ノードとを関連付けしてもよい。一実施形態では、スコアのセットは、いくつかの医学的状態に関する。これらまたはその他の実施形態では、各スコアは、何らかの将来の健康現象のリスクの予測、医学的状態の重症度の予測、疾患の進行の予測、処置もしくは治療の予測、または、治療の結果の予測に対応していてもよい。一例では、スコアのセットは状態スコアのセットを含み、複数のスコアのうちの少なくとも一つは、角膜または前眼部の状態に関する医学的状態が生じている可能性を表す。一例では、スコアのセットは、一の角膜状態または前眼部状態の重症度の可能性を表す対応するスコアを含む。別の例では、スコアのセットは、患者が将来、前記角膜状態または前眼部状態を発症する可能性を表す対応するスコアを含む。さらに別の例では、スコアのセットは、患者が前記角膜状態または前眼部状態に対する治療に好ましいまたは好ましくない反応を示す可能性を表す対応するスコアを含む。更なる別の例では、スコアのセットは、前記角膜状態または前眼部状態に対して特定の治療技術を利用する医師の決定を支援または誘導する対応するスコアを含む。例えば、スコアは、類似の特徴または属性を有する眼に適用された技術に関して肯定的または否定的な治療技術または成功率を示してもよい。また別の例では、スコアのセットは、患者の前記角膜状態または前眼部状態が将来的に悪化するまたは改善する可能性を表す対応するスコアを含む。様々な実施形態では、スコアのセットは、前記角膜状態または前眼部状態の重症度の可能性を表すスコア、記角膜状態または前眼部状態の重症度スコアを表すスコア、患者が将来記角膜状態または前眼部状態を発症する可能性を表すスコア、患者が前記角膜状態または前眼部状態に対する治療が好ましいまたは好ましくない反応を示す可能性を表すスコア、前記角膜状態または前眼部状態に対する特定の治療技術を利用するかの医師の決定を支援または誘導するスコア、および、患者の前記角膜状態または前眼部状態が将来的に悪化または改善する可能性を表すスコアから選択される一つ以上の対応するスコアを含む。

図４は、一つまたは複数の実施形態に係る、角膜または前眼部に関連する予測を生成するＡＩモデル１６０を模式的に示す。ＡＩモデル１６０は、入力層、複数の畳み込み層およびプーリング層、完全結合された複数の層、および、ＳｏｆｔＭａｘ層からなる出力層を備え得る。ＡＩモデル１６０は、畳み込み層、プーリング層、完全結合された複数の層、一つ以上の正規化層および／または含む分類層からなる出力層であって例えば回帰層が挙げられる出力層、ならびに、その他の層を含む様々な配置を有してもよい。図示された実施形態では、ＡＩモデル１６０は、畳み込み層およびプーリング層のセットに続いて、完全結合層のセット、および、出力層を含む。出力層は、正規化層および／または分類層を含み、図示された実施形態ではＳｏｆｔＭａｘ層を含む。一実施形態では、分類層は、判別分析またはサポートベクターマシン（ＳＶＭ）のような従来の分類器を備える。いくつかの実施形態では、出力層は、ＳＶＭまたはＳｏｆｔＭａｘの代わりにまたはこれに加えて、二値分類器からなる分類器層をさらに含んでもよい。畳み込み層を介して画像を特徴のセットに変換した後、これらの特徴を他の分類器と一緒に使用してもよく、分類機は同じ出力層ブロックの一部であってもよいし、異なる出力層ブロックの一部であってもよい。

図示のオペレーションでは、ネットワークに入力データ（例えば、画像）が入力され、入力データを一連の層を通して処理し、ネットワークが訓練される各カテゴリまたはクラスについての可能性を含む最終出力が生成される。出力はスコアのセットを含んでもよく、一実施形態では、一つのスコアであってもよい。クラスまたはカテゴリは、角膜の状態または前眼部の状態、治療、重症度分類、リスク度もしくはリスク分類、治療結果分類もしくは進度、予後、または、その他のネットワークのゴールまたは眼標を含んでもよい。より具体的には、入力データは、畳み込み層と、例えば、マックスプーリング層であるプーリング層とのセットを介して処理される。畳み込み層およびプーリング層のセットの最後の層からの複数の値またはアクティベーション（アクティベーションまたは特徴マップとも称される）は、より高レベルの処理（例えば、分類タスクに関連する大域的な処理）のために、完全結合された複数の層のセットに渡される。完全結合層の最後の層における各ノードは、クラスまたはカテゴリを表す。ネットワークは、各出力ノードを、本例ではＳｏｆｔＭａｘ層のような分類層を使用して正規化することができる一のスコアと関連付け、各カテゴリの可能性を導く。いくつかの実施形態では、各スコアは、将来の健康現象のリスクの予測を含んでもよい。外側のノードおよび接続のみが図示されているが、完全結合された分類層は、更なるノードを含んでもよい。畳み込み層およびプーリング層についてはノードが図示されていないが、これらの層は典型的には完全結合層よりもはるかに多数のノードを含み得る。いくつかの実施形態では、ＡＩモデル１６０は、一つのモデル予測から拡張した複数の予測を提供するように構成されてもよい。例えば、以下でより詳細に説明するように、ＡＩモデル１６０は、状態予測を出力するモデルと、前記状態予測に関連する複数の追加予測を出力するモデルとを含んでもよく、追加予測としては、例えば、リスク、重症度、進行度、処置、治療または予後のうちの一つまたは複数の予測が挙げられる。

図５は、一つまたは複数の実施形態に係る、眼の角膜または前眼部の状態を予測するためのＡＩモデル１６０を模式的に示す。一例として、ＡＩモデル１６０は、一つ以上の予測を生成するのに、一つ以上の入力画像を取得し処理するように訓練される。

ＡＩモデル１６０は、畳み込み層、プーリング層、完全に結合された複数の層、一つ以上の正規化層および／または含む分類層からなる出力層であって例えば回帰層が挙げられる出力層、ならびに、その他の層を含む様々な配置を有してもよい。図示された実施形態では、ＡＩモデル１６０は、畳み込み層およびプーリング層のセットに続いて、完全に接続された層のセット、および、出力層を含む。出力層は、正規化層および／または分類層を含み、図示された実施形態ではＳｏｆｔＭａｘ層を含む。一実施形態では、分類層は、判別分析またはサポートベクターマシン（ＳＶＭ）のような従来の分類器を備える。いくつかの実施形態では、出力層は、ＳＶＭまたはＳｏｆｔＭａｘの代わりにまたはこれに加えて、二値分類器からなる分類器層をさらに含んでもよい。畳み込み層を介して画像を特徴のセットに変換した後、これらの特徴を他の分類器と一緒に使用してもよく、分類機は同じ出力層ブロックの一部であってもよいし、異なる出力層ブロックの一部であってもよい。このように、様々な実施形態では、複数の異なるＡＩモデリング方法からの観点を、畳み込み／プーリング層ブロック（ｃｏｎｖ／ｐｏｕｌｌｉｎｇ層）によって構成される一つ以上の畳み込みニューラルネットワークと組み合わせてもよい。本明細書に記載された任意の実施形態における畳み込み／ポーリング層ブロックは、一つ以上のＲｅＬＵ層のような完全結合層のブロックの間にまたは前に、他の層を含んでもよいことは理解されよう。

ＡＩモデル１６０の出力層は、最後に完全結合層が生成した出力を受け取り、モデル出力を生成する。モデル出力はスコアのセットを含んでもよく、各スコアは出力層の対応するノードによって生成される。スコアのセットは、状態スコアを含む。一般に、状態スコアのセットは、ＡＩモデル１６０が予測するように訓練された医学的状態、例えば、角膜または前眼部の状態に固有のものとなっている。例えば、図５のＡＩモデル１６０の出力は、医学的状態、例えば、完全結合された最後の層のノードと、本実施形態ではＳｏｆｔＭａｘ層を含む出力層のノードとによって表される状態に固有のものとなっている。より具体的には、ＡＩモデル１６０は、角膜または前眼部の状態、例えば、円錐角膜、ドライアイ、フックスジストロフィー、移植後拒絶反応または疾患、緑内障等を予測するべく訓練される。

ＡＩモデル１６０は、複数の医学的状態およびそれらの医学的状態の複数の組み合わせを予測するように訓練されてもよい。例えば、一実施形態では、状態スコアのセットは、患者が角膜拡張症（円錐角膜等）、角膜形成術移植片拒絶反応および疾患、角膜移植拒絶反応、水分欠乏症および蒸発性ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障または緑内障から選択されるいくつかの角膜または前眼部の状態を有する可能性を表してもよい。その他の実施形態では、各スコアは、将来の健康現象のリスクの予測を含んでもよい。

このように、ＡＩモデル１６０は、第２の診断が存在する場合には、同じ眼について複数の診断、例えば、最大２つの診断を提供するように構成されてもよい。例えば、診断の確率が計算され、第２の診断が閾値を超える確率を有する場合、その第２の診断も提供してもよい。いくつかの実施形態では、ＡＩモデル１６０の出力層は、例えば、一つ以上の状態である一つ以上のクラスのいずれかを検出して予測又は診断に含めるために実行される２値分類器を備えてもよい。例えば、診断は、ドライアイを伴う円錐角膜であってもよい。いくつかの実施形態では、ＡＩモデル１６０は、２つ以上の診断が存在する場合には、当該２つ以上の診断を提供するように構成されてもよい。

いくつかの実施形態では、ＡＩモデル１６０は、一つのモデル予測から拡張した複数の予測を提供するように構成されてもよい。例えば、以下でより詳細に説明するように、ＡＩモデル１６０は、状態予測を出力するモデルと、前記状態予測に関連する複数の追加予測を出力するモデルとを含んでもよく、追加予測としては、例えば、リスク、重症度、進行度、処置、治療または予後のうちの一つまたは複数の予測が挙げられる。

上記で紹介したように、システム１００は、効率的な設計を有するＡＩモデル１６０を備えるように構成されてもよい。ＡＩモデル１６０は、例えば、一つの予測メンバのようにシンプルなカテゴリ、および／または、一つのカテゴリに複数の予測メンバを含む複合的または複雑なカテゴリ（例えば、拡張カテゴリ）を含んでもよい。一例では、ＡＩモデル１６０の訓練において、複数の症状を有するケースを別個のケースとして表すカテゴリが追加されてもよい。例えば、ＡＩモデル１６０は、上述した例のように、一つのメンバカテゴリと重複するメンバを含んでもよい。その他の実施形態では、メンバが重複していなくてもよい。一例では、全てのカテゴリは複合体または合成体である。このように、システム１００は、単純なカテゴリ、複合カテゴリ、複雑なカテゴリまたは拡張カテゴリの概念を導入してもよい。

更なる実施形態では、状態スコアのセットは、前記角膜状態または前眼部状態の重症度の可能性を表すスコア、記角膜状態または前眼部状態の重症度スコアを表すスコア、患者が将来記角膜状態または前眼部状態を発症する可能性を表すスコア、患者が前記角膜状態または前眼部状態に対する治療が好ましいまたは好ましくない反応を示す可能性を表すスコア、前記角膜状態または前眼部状態に対する特定の治療技術を利用するかの医師の決定を支援または誘導するスコア、および、患者の前記角膜状態または前眼部状態が将来的に悪化または改善する可能性を表すスコアから選択される一つ以上の対応するスコアを含む。

いくつかの実施形態では、図５に関して、ＡＩモデル１６０は、更にまたは上記に代えて、眼の角膜または前眼部の状態の重症度を予測するように構成されてもよい。一例として、ＡＩモデル１６０は、眼の角膜または前眼部の一つ以上の特定の状態の重症度レベルを予測するように訓練されてもよい。出力は、角膜または前眼部の状態の重症度レベルに対応する離散的な値またはカテゴリを含んでもよい。別の例として、ＡＩモデル１６０は、患者の角膜が何らかの医学的状態を有する可能性を予測し、その状態レベルを予測してもよい。ＡＩモデル１６０は、一つの予測メンバのようにシンプルなカテゴリ、および／または、一つのカテゴリに複数の予測メンバを含む複合的または複雑なカテゴリ（例えば、拡張カテゴリ）を含んでもよい。いくつかの実施形態では、予測は、別々のＡＩモデルを介して行われてもよい。例えば、状態を識別する最初の予測を行った後、システム１００は、識別された状態に固有の第２のＡＩモデル１６０（例えば、ＣＮＮ）を介して入力データを処理して、重症度の予測を生成してもよい。

いくつかの実施形態では、予測は、確率スコアが重症度を相関させるのに使用されるＣＮＮからなる一つのＡＩモデル１６０を介して行われてもよい。例えば、第１の閾値確率によって予測された状態を導き、確率スコアが増加するにつれて重症度を示すように確率スコアにおける更なる閾値が設定されてもよい。更なる例では、出力値が所定の閾値以上である場合等に、第１の出力ノードは第２の出力ノードに出力する。第２の出力ノードは、閾値によって暗に示される状態に固有であってもよい。一実施形態では、第２の出力ノードは、状態の重症度レベルを決定するために、出力値に重み付けアルゴリズムを適用する。別の例では、予測は、共有ＣＮＮまたは発散もしくは収束するＣＮＮで行われてもよい。例えば、ＡＩモデル１６０は、共有の畳み込み層、プーリング層または完全結合層に完全に結合された複数の別個の完全結合層セットを備えてもよい。更なる例では、ＣＮＮは、別個の完全結合層に分岐した後に、更なる畳み込み層およびプーリング層を備えてもよい。したがって、ＣＮＮは、別々の処理パスに沿って迂回された同じ初期入力データから別個の分類タスクを実行するように構成された、完全結合層と出力層との複数のセットを含んでもよい。複数のネットワークまたはサブモデルは、同様に、一つのネットワークに結合または収束してもよい。いくつかの実施形態では、収束ネットワーク、発散ネットワークまたは統合ネットワークは、共同で訓練されてもよい。例えば、訓練は、ネットワークそれぞれの出力に基づいてグローバル損失関数（例えば、誤差関数）を定義し、それに応じてネットワークをチューニングすることを含んでもよい。

いくつかの実施形態では、図５に関して、ＡＩモデル１６０は、更にまたは上記に代えて、眼の角膜または前眼部の状態の重症度のスコアを予測するように構成されてもよい。この場合、医学的状態の重症度のレベルを予測するＡＩモデルとは対照的に、ＡＩモデル１６０は離散的な値の代わりにスコアによって重症度を表すように訓練される。これは、連続的なスコア値をシステム１００から取得したい場合に有用であり得る。

一例として、ＡＩモデル１６０は、眼の角膜または前眼部の一つ以上の特定の状態の重症度レベルを予測するように訓練された。オペレーションでは、入力層はデータ入力を受け取り、畳み込み層およびプーリング層を介して処理され、その処理が完全結合層に渡される。完全結合層を介して処理された後、完全結合された最後の層のノードによって生成された出力活性化値を出力層のノードが受信する。出力層は、活性化値を処理して重症度スコアを含むモデル出力を生成する出力ノードを備えてもよく、重症度スコアは患者の角膜の重症度のレベルに対応する連続的なスコアである。出力層は、前記出力ノードを備える回帰層を含み得る。いくつかの実施形態では、出力層は、活性化値を所望の範囲の出力スコアに適合させるために正規化層を備えてもよい。一実施形態では、出力層は、活性化値の一つまたは組み合わせを正規化するように構成されたＳｏｆｔＭａｘ層を備えて、予測スコアからなる正規化された出力スコアを計算してもよい。

いくつかの実施形態では、図５に示すように、ＡＩモデル１６０は、上記に加えてまたは代えて、角膜または前眼部の状態の進行予測等のリスク予測を生成するように構成されてもよい。ＡＩモデル１６０は、患者の角膜の予測されたリスクに対応する離散値またはカテゴリを出力するように構成される。一例では、円錐角膜に関するリスク予測を出力するように構成されたＡＩモデル１６０は、患者が進行コースもしくは安定コースを有する可能性または患者のリスクを表す値を含んでもよい。別の例では、フックスジストロフィーに関するリスク予測を出力するように構成されたＡＩモデル１６０は、患者の白内障手術後の角膜代償不全のリスクまたは可能性を表すカテゴリまたは値を含んでもよい。さらに別の例では、移植片拒絶反応に関してリスク予測を出力するように構成されたＡＩモデルは、ステロイド治療による患者の逆転反応のリスクまたは可能性を表すカテゴリまたは値を含んでもよい。

一例として、ＡＩモデル１６０は、眼の角膜または前眼部の一つ以上の特定の状態の進行リスクを予測するように訓練されてもよい。オペレーションでは、入力層はデータ入力を受け取り、畳み込み層およびプーリング層を介して処理され、その処理が完全結合層に渡される。完全結合層を介して処理された後、完全結合された最後の層のノードによって生成された出力活性化値を出力層のノードが受信する。次に、出力ノードは、活性化値を処理してリスク予測を含むモデル出力を生成する。

いくつかの実施形態では、図５に示すように、ＡＩモデル１６０は、上記に加えてまたは代えて、患者の角膜または前眼部に関して取られるべき処置の予測等の処置予測を生成するように構成されていてもよい。ＡＩモデル１６０は、予測された処置に対応する離散値またはカテゴリを出力するように構成される。一例では、ＡＩモデル１６０は、ドライアイに関して予測を出力するように構成され、人工涙の単独使用、ステロイドの単独使用または自家血清涙の単独使用に患者が反応する可能性を表すカテゴリまたは値を含む。また、ＡＩモデル１６０は、それが訓練された過去のデータに従って、最もうまくいくであろう治療オプションを提示してもよい。別の例では、ＡＩモデル１６０は、（例えば、他の者の状態は落ち着いており経過観察のみが必要であるのに対して、その患者の状態が進行していることから）患者が反応する可能性または架橋治療を必要とする可能性を表すカテゴリまたは値を含む、円錐角膜に関する予測を出力するように構成される。瘢痕があり、角膜形成術が必要な患者がいる場合もある。ある患者はコンタクトレンズで改善するかもしれないが、他の患者は改善しないかもしれない。したがって、ＡＩモデル１６０は処置の最善策を出力するようにしてもよい。

一例として、ＡＩモデル１６０は、患者の角膜または前眼部の一つ以上の特定の状態に関連して、患者の角膜または前眼部に対して取られるべき処置を予測するように訓練されてもよい。オペレーションでは、入力層はデータ入力を受け取り、畳み込み層およびプーリング層を介して処理され、その処理が完全結合層に渡される。完全結合層を介して処理された後、完全結合された最後の層のノードによって生成された出力活性化値を出力層のノードが受信する。そして出力ノードは、活性化値を処理してリスク予測を含むモデル出力を生成する。

いくつかの実施形態では、図５に示すように、ＡＩモデル１６０は、上記に加えてまたは代えて、患者の角膜または前眼部に関連して行われるべき治療の予測等の治療予測を生成するように構成されていてもよい。ＡＩモデル１６０は、予測された治療に対応する離散値またはカテゴリを出力するように構成される。一例として、ＡＩモデル１６０は、患者の角膜または前眼部の一つ以上の特定の状態に関連して、患者の角膜または前眼部に対する治療を予測するように訓練されてもよい。オペレーションでは、入力層はデータ入力を受け取り、畳み込み層およびプーリング層を介して処理され、その処理が完全結合層に渡される。完全結合層を介して処理された後、完全結合された最後の層のノードによって生成された出力活性化値を出力層のノードが受信する。次に、出力ノードは、活性化値を処理して治療予測を含むモデル出力を生成する。

いくつかの実施形態では、状態予測サブシステム１１２は、（例えば、一つ以上の予測モデルを介して得られる）一つ以上の予測または他の情報に基づいて、健康分析データを生成してもよい。いくつかの実施形態では、予測値およびその他の情報は、一つ以上のデータベース（例えば、履歴データベース、訓練データベース等）に格納されてもよい。一例として、健康分析データ、健康分析データを含む健康レポートまたはその他のアイテムを生成するために、被検者に関して生成された（例えば、被検者の眼の現在の画像に基づく）一つ以上の予測および履歴情報（例えば、被検者の眼の以前の画像またはその他の履歴情報に基づいて生成された以前の予測）が使用されてもよい。ある使用例では、履歴情報は、状態が改善または悪化したのかを特定する、比較結果を実証するまたは健康レポートにおけるその他の情報を提供するために使用されてもよい。別の使用例では、予測が状態スコア（例えば、重症度スコア、確率スコアまたはその他のスコア）のセットを含む場合、健康分析データが状態スコアに基づいて生成されてもよい。健康分析データおよび一つ以上の医学的状態の予測可能性を使用して、状態予測サブシステム１１２は、（ｉ）状態レベルとしての予測した重症度レベル、（ｉｉ）一つ以上の医学的状態（例えば、予め定められた閾値以上の予測可能性を有するもの）の予測した重症度スコア、（ｉｉｉ）一つ以上の医学的状態の予測したリスク、（ｉｖ）一つ以上の医学的状態の予測した処置、（ｖ）一つ以上の医学的状態の予測した治療、または（ｖｉ）その他の予測を生成してもよい。一例として、確率スコアは、（ｉ）重症度スコア（例えば、閾値確率を超える状態の確率に対応する重症度スコアを増加させる）、（ｉｉ）リスク離散値もしくはカテゴリ（例えば、閾値確率を超える状態の確率に対応するリスクカテゴリを増加させる）、（ｉｉｉ）処置についての離散値もしくはカテゴリ、（ｉｖ）治療についての離散値もしくはカテゴリ、または（ｖ）その他の情報、を相関させるために利用されてもよい。
更なる例では、重症度レベル、重症度スコア、予測されるリスク、予測される処置、予測される治療またはその他の情報を決定するために重み付けアルゴリズムを適用するべく、確率スコアを分析してもよい。

複数の予測は、一つ以上のネットワークを利用して行われてもよいことが理解されるであろう。複数のスコアセットが生成されてもよい。スコアのセットは、特定の条件に固有のものであってもよい。一つのモデルが複数のスコアを生成してもよい。上記で述べたように、スコアおよび予測は、複数のネットワークの集合によって生成されてもよい。ネットワークは、統合されていてもよい（例えば、入力データもしくは出力データを共有するまたはネットワーク層の組み合わせを有する）。また、システム１００は、上述したようにおよび本明細書のその他の場所で説明するように、複数のＡＩネットワークまたはモデル（例えば、サブモデル）から構成されるＡＩモデル１６０を含んでもよいことは明らかである。例えば、ＡＩモデル１６０は、状態予測を生成するためのサブモデルと、前記状態予測に対応する付随予測（例えば、重症度、リスク、処置、治療、進行等）を生成するための一つ以上のサブモデルとを含んでもよい。様々な実施形態では、図１４〜図１８を参照して説明するようにまたは本明細書の他の場所に記載されているように、ＡＩモデル１６０はネットワークアーキテクチャを備えてもよい。様々な実施形態では、ＡＩモデル１６０は、複数のサブモデルを含む。様々な実施形態では、上記のＡＩモデル１６０のいずれかは、図１２および図１３を参照して本明細書に記載されたＡＩモデル１６０を含んでもよい（例えば、ＡＩモデル１６０と統合されていてもよい、または、動作可能に組み合わされてもよい）。同様に、上記のＡＩモデル１６０のいずれかは、図１１Ａ〜１１Ｃを参照して説明されているように、人口統計データ等の患者データを組み込んでもよい。

図１１Ａ〜図１１Ｃは、一つ以上の実施形態に係る、患者データを用いたＡＩモデル１６０の拡大を模式的に示している。患者データは、人口統計データ、医療データまたはその他の患者データを含んでもよい。一例として、ＡＩモデル１６０は、カテゴリが生じる可能性、疾患予測、重症度予測、重症度スコア、リスク予測、行動予測、治療予測またはその他の予測等の所望の出力予測を生成するために、入力データを処理するように訓練され、チューニングされてもよい。入力データは、Ｂスキャン、カラー画像、厚さマップ、ヒートマップ、ブルズアイマップ、構造マップまたはその他の入力データを含んでもよい。

図１１Ａに示すように、様々な実施形態では、患者データは人口統計ネットワークを介して組み込まれてもよい。人口統計ネットワークは、ベイズモデル等のＡＩモデル１６０を備えてもよい。別の実施形態では、人口統計ネットワークは、患者データ上で訓練されたニューラルネットワークを備えるＡＩモデル１６０の一部を含む。一例では、そのようなニューラルネットワークは患者データのみで訓練されてもよい。いくつかの実施形態では、人口統計ネットワークは、完全結合層のみからなる浅いニューラルネットワークとして実装されてもよい。一実施形態では、人口統計ネットワークは、サポートベクターマシン（ＳＶＭ）または判別分析等の標準的な機械学習を利用したＡＩモデル１６０またはそのサブモデルを備える。図１１Ａに示すように、人口統計ネットワークは、患者データまたは人口統計データからなる入力データを受信し、一つ、複数またはｙ個の出力全てに関して出力重みｗを生成するように構成されている。最終的な出力は、本明細書に説明されるように、両方のネットワークに対する結合された出力層によって生成されてもよいし、分析サブシステムによって生成されてもよい。最患者に関するデータを入力データとする患者ネットワークから決定された予測値ｗで各予測値ｙに重みを付けるべく要素ごとの積を計算することによって終的な出力が決定されてもよい。図示された実施形態では、出力ｙは、画像データ、厚さマップ、ヒートマップ、構造マップおよび／またはブルズアイマップに基づく予測確率を含み、患者ネットワークからの出力ｗは以前の確率を含む。

図１１Ｂに示すように、ＡＩモデル１６０は、人口統計分類器を使用して追加の特徴として出力された人口統計データを含む患者データを、ＣＮＮの完全結合層またはその延長線上に組み込んでもよい。図１１Ｂは、完全結合層のブロックを共有する収束ネットワークの一例を示している。人口統計分類器は、人口統計データを含む入力データを受信し、当該入力データを処理し、人口統計入力データの処理によって生成された活性化値の集合である特徴セット２を出力するように構成される。特徴セット１は、ＣＮＮまたはその一部によって出力される。例えば、畳み込み層およびプーリング層を含むＣＮＮの基底ブロックであり、畳み込み層およびプーリング層は、いくつかの実施形態では、複数の畳み込み層およびプーリング層を備えるチューニングによる事前訓練済みネットワークであってもよい。いくつかの実施形態では、チューニングによって事前訓練されたネットワークはまた、一つ以上の完全結合層と、一実施形態では、共有の完全結合層において患者ネットワークに合流する前に配置された出力層とを含む。出力層（図示せず）は共有の完全結合層の最後の層に積層されて、ネットワークを介した入力データの両方のセットの処理を含む出力予測を提供してもよい。一実施形態では、共有の完全結合層の最後の層上に積層された出力層は、本明細書に記載されるような分類層を含んでもよい。

図１１Ｃに示すように、ＡＩモデル１６０は、患者データをＣＮＮまたはその延長線上の完全結合層に特徴として直接供給することにより、人口統計データを含む患者データを組み込んでもよい。ＡＩモデル１６０は、複数のソースからの入力を受け取ることにより、完全結合層のブロックを共有するＡＩモデル１６０の一例を提供する。畳み込み層ブロックおよびプーリング層ブロックの出力は、入力データ内で特定された視覚的特徴に対応する活性化値を含む。これらの視覚的特徴は、畳み込み層またはプーリング層から出力されてもよい。

様々な実施形態では、図１１Ａおよび／または図１１Ｂに示した統合されたネットワークは、共同で訓練されてもよい。例えば、訓練は、個々のネットワークの出力に基づいてグローバル損失関数を定義し、それに従って全てのネットワークをチューニングすることを含んでもよい。

様々な実施形態では、ＡＩモデル１６０は、精度をさらに向上させるために空間的重み付けを含んでもよい。例えば、ネットワークを訓練することは、入力データにおける関心領域を識別することを含んでもよい。ＡＩモデル１６０が入力データ（例えば、それらの活性化マップを介した画像）を分類することを可能にするために、そのような領域は最も高い確率を有するものとして識別される。この知識を使用して、ＡＩモデル１６０は、アルゴリズムの精度を向上させたこれら関心領域を特に見て、それらの領域により多くの重みを与えるように再モデル化されてもよい。いくつかの実施形態では、非医療画像を使用して訓練された後、Ｂスキャン、厚さマップ、ヒートマップ、構造マップまたはブルズアイマップ等の医療画像でチューニングされた事前訓練済のネットワーク（例えば、畳み込み／プーリング層ブロック）によって、ＡＩモデル１６０が構築されてもよい。他の実施形態では、ＡＩモデル１６０は、医療画像で事前に訓練された訓練済ネットワーク（例えば、畳み込み／プーリング層ブロック）から構築されてもよい。ＡＩモデル１６０は、Ｂスキャン、厚さマップ、ヒートマップ、構造マップまたはブルズアイマップを使用してさらにチューニングされてもよい。

図１２は、一つまたは複数の実施形態に係る、入力データの重要な領域を特定するように構成されたＡＩモデル１６０を例示する。角膜または前眼部の状態に関して、診断、リスク、治療、処置または重症度予測を行うためにＣＮＮまたはその他のニューラルネットワークによって実行されるアルゴリズムにおいて、これらの領域に与えられた相対的な重みを増加させるために、出力における重要な領域の特定を利用してもよい。ＡＩモデル１６０はシステム１００の一部であるように図示されているが、一実施形態では、入力データの重要な領域を特定するためのＡＩモデル１６０は、システム１００の一部ではない別個のＡＩモデルであってもよい。別の実施形態では、入力データの重要な領域を特定するＡＩモデルはニューラルネットワークで構成され、これは、ＡＩモデル１６０のＡＩサブモデルであってもよいし、角膜もしくは前眼部の状態に関して診断、リスク、治療、処置または重症度予測を行うためのニューラルネットワーク（またはそのようなニューラルネットワークのバージョン）と同じニューラルネットワークであってもよい。したがって、ＡＩモデル１６０は、重要領域特定のための別個のモデルまたは同一のモデルを含んでもよい。一例では、オクルージョンテストを利用して、同じモデルを使用してもよい。別の例では、状態のスコアの代わりに画像を出力するように訓練されたネットワークを修正することに関して、別のモデルが使用されてもよい。

図１２に例示されるように、Ｂスキャン画像が入力として取得され、ＡＩモデル１６０は、出力として入力画像内の特定の状態を予測するために重要な領域を強調表示する。いくつかの実施形態では、図１２のＡＩモデル１６０はまた、疾患、重症度、リスク、治療、処置、行動、層のセグメンテーションまたはそれらの組み合わせのうちの一つ以上を予測するように構成されてもよい。ＡＩモデル１６０は、（例えば、結合された、組み合わせられたまたは積層された）統合されたまたは別個の複数のサブモデルを含んでもよい。予測が生成されるべき入力画像から、重要な領域が検出されてもよい。ＡＩモデル１６０は、入力として、例えば、Ｂスキャン画像または厚さマップ入力し、これらは入力画像内の重要な特徴を強調するためのターゲットを有する。したがって、これらの構成における入力は、典型的には、厚さマップまたはＢスキャンのような画像となる。しかし、ある実施形態では、ヒートマップのような画像が入力として使用されてもよい。いくつかの実施形態では、Ｂスキャン、厚さマップおよび／またはヒートマップが使用されてもよい。画像領域に以前の確率を付与するために、その他の患者データが使用されてもよい。本明細書の他の箇所でより詳細に説明されているように、例えば、患者の他の眼に関連する人口統計学データまたは状態等の患者データがＡＩモデル１６０に入力され、出力に組み込まれてもよい（例えば、重み付けとして）。

図１３は、図１２に係るシステム１００の一実施形態を示す。この実施形態では、ＡＩモデル１６０はＤＮＮを含み、入力画像の重要な領域を見つけるためにオクルージョンテストが使用される。画像の異なる部分がオクルージョンされた状態で画像の複数のコピーがＡＩモデルに入力される。オクルージョンテストを行った画像の出力予測スコアと、オクルージョンテストを行っていない画像の出力予測スコアを比較することにより、重要な領域を特定することができる。すなわち、予測可能性をもっとも低下させる画像のオクルージョン部分は、入力画像の中で最も重要な部分に関連しているとみなされてもよい。いくつかの実施形態では、ＡＩモデル１６０は、これらの領域を強調する画像を出力するように構成されてもよい。図示された実施形態では、領域は、ＡＩモデル１６０の出力において緑色で強調表示されている。角膜状態の確率を予測するのに使用されるＡＩモデル１６０または類似のＡＩモデルを使用して、例えば、オクルージョンテストのみを使用する場合に、出力スコアが低い画像部分が最も重要な部分として選択されている入力画像における重要な領域を予測してもよい。いくつかの実施形態では、システム１００は、重要領域の特定をＡＩモデル１６０に組み込むために、重要領域を予測するためのＡＩモデルを有してもよい。図示された実施形態では、システム１００は重要な領域をレポートに出力するが、重要な領域は入力としては受信しない。出力された重要な領域は、分析サブシステムによってさらに健康レポートに組み込まれてもよい。他の実施形態では、システム１００は、入力としてまたはＡＩモデル１６０に組み込むために、そのような情報を受信してもよい。一実施形態では、システム１００は、重要な領域を特定するためのＡＩモデルを含む前処理サブシステムを備える。一実施形態では、ＡＩモデル１６０は、訓練中に重要な領域を特定するように実装されてもよく、そのようなデータは予測精度を向上させるべく後でＡＩモデル１６０に組み込まれてもよい。

いくつかの実施形態では、重要な領域の特定の前に、Ｂスキャン画像に前処理が施されてもよい。これらの領域の特定は、訓練データでの予測の後に行われてもよい。予測された領域は、生成されたレポートの一部とみなされてもよく、特定に関連する画像に関する予測向上に使用されなくてもよい。しかしながら、予測された領域を使用してアルゴリズムを特定の領域を見るように誘導し、より大きな重みを与えるようにすることにより、予測をさらに向上させネットワークを訓練してもよい。

別の実施形態では、ＡＩモデル１６０が重要な領域を特定するように構成されている場合、重要な領域の特定から得られたデータは、訓練されたネットワークの畳み込み／プーリング層部分の最後の層を修正するのに使用されてもよい。例えば、修正は、第１の完全結合層と上記部分との間の重みを使用して、ネットワークの上記部分の最終的な活性化マップをグループ化することを含んでもよい。この組み合わせは、訓練されたネットワークに基づいて画像内の重要な領域の確率マップを生成するのに使用されてもよく、これは全ての画像において固定領域へと変換されてもよく、オクルージョンテスト法とは異なるものである。

その後に実行されるＡＩモデル１６０のイタレーションに重要な領域の所見を組み込むことによって将来の予測を改善できることに加えて、角膜または前眼部の状態の診断のために、眼の専門家は特定の領域に注眼して画像または眼を精査してもよい。しかしながら、ＡＩモデルは、以前には知られていなかった領域を見て状態を相互に関連付けるようにアルゴリズムを訓練してもよい。このように、診断に重要な領域を特定するべく生成されたレポートは、ＡＩモデルがどのように動作しているかに関する情報を提供し、角膜および前眼部の状態が影響を与える可能性がある更なる場所、または、状態に関連する重症度、リスク、進行、予後、治療法等の診断基準もしくは他の予測を提供するのに使用される得る更なる場所についての洞察を提供する。

いくつかの実施形態では、ＡＩモデル１６０は、角膜層の区分けタスクを改善するために、ラベル付けされた入力データを用いて、教師付きディープラーニング手法を実装してもよい。例えば、ラベル付けされた入力データ使用した教師ありディープラーニング方法は、画像を前景（角膜）と背景に分割するのに使用されてもよい。上皮および内皮は、角膜の上層および下層の境界として定義されてもよい。別の実施形態では、教師なしディープラーニング法はまた、前景セグメントの区分けおよび上皮および内皮の区分けに使用されてもよく、それにより、専門家および専門的に訓練されたオペレータが多くの時間を必要とするデータのラベル付けの問題を克服できる。また、この方法はラベル付けされた画像を用いた教師あり学習を使用して実行することができ、また、ラベル付けを行わずにクラスタリングを用いることにより、教師なし学習を使用しても実行できるという利点を有する。

いくつかの実施形態では、前処理サブシステム１１４は、入力画像を非ノイズ化するために画像データをさらに処理してもよい。また、厚さマップ、ヒートマップ、構造マップまたはブルズアイマップを生成してもよい。一実施例では、前処理サブシステム１１４は、ＡＩモデル１６０への入力のために、セグメント化された画像データから一つ以上の層の画像を生成する。例えば、前処理サブシステム１１４は、画像データから一つ以上のセグメント化された層を取り除いてもよい。いくつかの実施形態では、前処理サブシステム１１４は、一つ以上の画像をセグメント化し、セグメント化された画像データまたはそこから派生したデータを、一つ以上の他のサブシステムに送信してもよい。

図１４は、一つ以上の実施形態に従って、角膜層境界をセグメント化するためにＡＩモデル１６０によって実行されるセグメント化操作を示す。ＡＩモデル１６０はＯＣＴ Ｂスキャンを入力として受け取り、ＡＩモデル１６０の出力として層境界のセグメント化を生成する。ＡＩモデル１６０は、画像を前景（角膜）と背景とに分割してもよい。上皮（ＥＰ、紫色）および内皮（ＥＮ、オレンジ色）は、角膜の上下境界として定義されてもよい。この技法を角膜のその他のミクロ層のセグメント化に更に適用してもよく、後続の上側および下側境界、すなわち、基底上皮（ＢＳ、水色）、ボーマン膜、（ＢＷ、アクア）、角膜実質部（ＳＴ、緑色）およびデスメ膜（ＤＭ、黄色）を順次識別してもよい。
例えば、ＡＩモデル１６０は、セグメント化境界を識別するために、前方および／または内側後方から動作してもよい。様々な実施形態では、ＡＩモデル１６０は、前眼部のセグメント化のために、および、角膜の上皮および内皮のセグメント化のために、領域ベースの畳み込みニューラルネットワーク（Ｒ−ＣＮＮ）、完全畳み込みネットワーク（ＦＣＮ）、Ｕ−ＮｅｔまたはＳｅｇＮｅｔのような意味ネットワークを備えてもよい。ＡＩモデル１６０は、ＯＣＴ Ｂスキャン画像を入力とし、セグメント化層の境界を出力として生成する。

図１５は、ＡＩモデル１６０が角膜層の境界をセグメント化するように構成された別の実施形態を示す。ＡＩモデル１６０の出力は、各境界についての確率マップを含んでもよい。これらのマップは、最終的なセグメント化を見つけるために、グラフ探索を使用してさらに処理され得る。

いくつかの実施形態では、図１６に示すように、ＡＩモデル１６０は、高精細画像（例えば、ＯＣＴ Ｂスキャン）の小さなパッチを入力とし、そのパッチが背景（ＢＧ）に属するか、または、図１６の構造に示されるような（ＥＰ）−上皮、（ＢＳ）−基底上皮、（ＢＷ）−ボーマン層、（ＤＭ）−デスメ膜、（ＥＮ）−内皮、といった境界のいずれかに属するか、を予測してもよい。一例として、ＡＩモデル１６０は、パッチの中心が背景および各境界に属する可能性を表す入力パッチの確率を出力する。これを全画素について繰り返すことにより、各カテゴリに属する全画素の確率マップが構築されてもよい。

図１７は、一つまたは複数の実施形態に係る、訓練データセットを生成してＡＩモデルを訓練するためのＢスキャン画像からのパッチ抽出を概略的に示している。Ｂ−スキャンは、パネルＩに示されている。各Ａスキャンでは、縦の破線によって示されるように計７個のパッチが抽出されており、背景に属する一つのパッチ（ＢＧ）と各境界に属するパッチ６個のパッチが示されている。パネルＩＩに示すように、Ａスキャンに隣接する側方領域もまたパネルＩＩＩに示されるパッチに含まれる。Ａスキャンは、一般的にパッチ内の中央に配置されるが、他の実施形態では、Ａスキャンは中央の左側または右側に配置されてもよい。この抽出手順を、更なるＡスキャンまたはＢスキャンを構成する全てのＡスキャンについて繰り返し行ってもよい。ＡＩモデル１６０の訓練データセットを構築するために、画像から抽出されたパッチを、他の画像から抽出されたパッチに追加してもよい。

入力画像がパッチに分割されている場合に、テストを同様に実行してもよい。入力画像のピクセルの確率マップを導出するために、複数のパッチは訓練されたネットワークによって分類されてもよい。これらの確率マップをグラフ探索において使用して、境界をセグメント化してもよい（例えば、確率マップ内のピクセルの確率を、界面境界を探すのに最小の重みを持つパスを識別するのに使用されてもよい）。一例では、閾値が使用されてもよい。様々なグラフ探索技術が使用されてもよい。いくつかの実施形態では、グラフ探索は、重み付けされていてもよいし、重み付けされていなくてもよい。

図１８〜図２３をさらに参照して説明するように、様々な実施形態では、ＡＩモデル１６０は、状態のセットに関連する条件スコアを出力する。状態スコアのセットは、状態に対応する重症度、リスク、処置／治療、進行、予後といった付随的な観点の予測、または、状態のうちの一つ以上に対応するその他の予測等に関連する一つ以上の対応するスコアを含んでもよい。様々な実施形態では、システム１００は、予測された各状態について、重症度、リスク、治療、進行、予後を予測または特定の状態に対応するその他の付随的観点を予測するように構成された複数のサブモデルからなるＡＩモデル１６０を備えてもよい。いくつかの実施形態では、ＡＩモデル１６０は、一の状態に対応する複数の予測、または、複数の状態に対応する複数の予測等、複数の予測を実行するように構成された複合アーキテクチャを含んでもよい。例えば、一つネットワークが、複数の状態を含む一つのスコアを生成してもよい。この手法では、全ての状態に基づいてデータを分割し、各拡張カテゴリに対して固有のデータを持たせるようにしてもよい。一例では、スコアは、状態の予測と、状態に対応する一つ以上の付随的な観点（例えば、重症度、リスク、行動、治療、進行、予後等うちの一つ以上）とからなるカテゴリに対応していてもよい。別の実施形態では、複数の状態、および、複数の状態のうちの一つまたはすべてについての重症度、リスク、行動、治療またはこれらの組み合わせから選択される一つまたは複数の付随的観点について状態スコアのセットが生成されてもよい。いくつかの実施形態では、システム１００が状態の予測を生成した後、予測が行われる入力データは、状態に対応する付随的観点、例えば、重症度、リスク、行動、治療、進行、予後等の予測を生成するためのサブモデルに自動的に供給されてもよい。いくつかの実施形態では、付随的観点予測のためのサブモデルは、状態に固有のものであってもよいし（例えば、ドライアイのリスクレベルの予測のために訓練されてもよい）、または、一つ以上の状態について汎用的であってもよい。

図１８には、一つまたは複数の実施形態に係る、カスケード構成を有する階層構造で配置された複数のサブモデルを含むように構成されたＡＩモデル１６０が模式的に示されている。一例として、入力データ（例えば、Ｂスキャン）は、状態予測を生成するための第１階層サブモデル１６０ａに入力される。状態予測（例えば、最も高い確率または閾値確率）は、次の階層における状態に関連する次の付随的な観点の予測のためにどの状態関連サブモデルが入力データを処理すべきかを決定する。このように、このＡＩモデル１６０では、先行する階層における状態と付随的観点の予測とが関連している。この例では、サブモデル１６０ａは、状態１を予測する。したがって、状態１についての重症度予測を出力するように訓練される第２階層サブモデル１６０ｂに入力データが供給される。別の状態カテゴリの予測は、入力データが当該状態についての第２階層サブモデルに供給される結果となり、これらのサブモデルは状態ｄによって識別される。

この実施形態では、サブモデル１６０ｂは重症度レベルを出力するが、他の実施形態では、重症度は離散値の代わりにスコアとして出力されてもよい。サブモデル１６０ｂから予測された重症度レベルは、入力データが供給される第３階層サブモデルを決定する。図示されているように、サブモデル１６０ｂは重症度レベル１を出力し、入力データは、状態１および重症度レベル１のリスク予測を出力するように訓練されるサブモデル１６０ｃへの入力として供給される。別の重症度レベルの予測は、入力データがその深刻度レベルに対応する第３階層サブモデルに供給される結果となり、これらのサブモデルはレベルに対するリスクによって識別される。

サブモデル１６０ｃはリスク１を出力し、その結果、入力データは、状態１、重症度レベル１およびリスク１に対する処置の予測を出力するように訓練されたサブモデル１６０ｄに供給される。別のリスクの予測では、入力データがそのリスクに対応する第４階層サブモデルに供給される結果となり、これらのサブモデルは、リスクｒに対する処置によって識別される。同様に、サブモデル１６０ｄの出力予測は、サブモデル１６０ｄからの予測処置を引き受けるか否かにかかわらず、進行または予後等の後続の付随的観点の予測のための後続のサブモデルを決定してもよい。サブモデル１６０ａ〜１６０ｄそれぞれからの予測は、レポートとして提供されてもよい。

いくつかの実施形態では、状態に関連する付随的な観点の予測のための複数のサブモデルの一つ以上は、当該状態に対して、またはその他の付随的観点状態に対して汎用的であり得ることに留意されたい。例えば、リスクは、２つ以上の重症度範囲またはレベルに対して汎用的であってもよい。別の実施形態では、サブモデル１６０ａからの状態予測は、入力データが、予測された状態に対する状態関連サブモデルのセットにおける各サブモデルに入力される結果となり、その選択は後続の状態関連サブモデルの予測と関連していない。状態関連サブモデルのセットは、なされるべき付随的観点（例えば、重症度、リスク、治療、治療、処置、進行、予後等）それぞれについての予測のためのモデルを含んでもよく、上述したように、複数の状態が予測されてもよい（例えば、閾値以上の関連する確率を有することに基づいて）。いくつかのそのような実施形態では、入力データは、状態関連サブモデルの異なるセットにも入力されてもよい。更なる実施形態では、入力データは、更なる状態に対する状態関連サブモデルのカスケードに沿って入力されてもよい（例えば、複数の状態の出力確率が、複数の状態の各状態における閾値確率を超える場合）。

図１９Ａは、一つまたは複数の実施形態に係る、拡張されたカテゴリを生成するべく拡張されたＡＩモデル１６０が模式的に示されている。ＡＩモデル１６０は、状態に対応する一のスコアおよび当該状態に対応する一つ以上の付随的観点の予測を含む拡張されたカテゴリに対応するスコアを出力するように訓練されてもよい。一つのネットワークを使用して健康レポートを生成し、当該レポートに必要な全ての値を含む拡張カテゴリを生成してもよい。一の状態にラベル付けされアノテーションされたグループ化された複数の画像と、一つ以上の付随的観点予測とからなる訓練データを使用して、ＡＩモデル１６０が訓練されてもよい。ＡＩモデル１６０は、カテゴリ予測のために、全てのアノテーションを同時に使用してもよい。例えば、図１９Ｂの表は、カテゴリ（Ｃｋ）が５つのアノテーション（ｄｋ、ｓｋ、ｒｋ、ａｋ、ｔｋ）に基づいていてもよく、５つのアノテーションの存在は使用されている対応するカテゴリ（Ｃｋ）のラベルに対応することを例示している。このように、状態、重症度、リスク、処置および治療の各組み合わせに対して、ラベルまたはカテゴリが含まれてもよい。いくつかの実施形態では、異なる、より少ないまたはより多くのアノテーションが、複数のカテゴリにグループ化されてもよい。上述の更なる実施形態では、ＡＩモデル１６０は、例えば、健康レポートである分析レポートを生成するための拡張モデルを含む。拡張モデルは、一度に全ての分類タスクを行うことが可能な単一のモデルとして設計されている。しかしながら、いくつかの実施形態では、分類タスクのサブセット（例えば、状態、重症度、リスク、処置または治療の組み合わせ）を実行する拡張サブモデルの複数の組み合わせが使用されてもよい。拡張モデルは、訓練データを詳細なレベルで分割することによって構築されてもよい。例えば、特定の状態、特定のリスク、特定の治療、特定の処置および特定の治療に関連する訓練データを共にグループ化してもよく、これらのラベルは、元のラベルのこの組み合わせを表す固有の拡張ラベルへとエンコードされる。このようにして得られた拡張ラベルは、訓練において使用される。このようにして、複数のモデルを一つのモデルに結合してもよい。このような拡張モデルは、拡張ラベルと共に非常に細かいレベルで分割されたデータを入力とする。図１９Ｃは、図１９ＡのＡＩモデル１６０を図示しており、ＡＩモデル１６０は、畳み込み／プーリング層ブロック、完全結合層およびＳｏｆｔＭａｘ層を含む。

図２０は、ＡＩモデル１６０が、状態予測および状態に関連する一つ以上の付随的観点の予測を出力するように構成されているシステム１００の一実施形態を模式的に示している。この実施形態では、ＡＩモデル１６０は、複数のサブモデル１６０ｅ〜１６０ｈを含む。第１のサブモデル１６０ｅの出力スコアは、その出力に関連する付随的な観点の予測を決定するのに使用されてもよい。例えば、サブモデル１６０ｅは、スコア１を出力する。このように、いくつかの実施形態では、ＡＩモデル１６０は、図１８に関して説明したものと同様のカスケード観点を含んでもよい。スコア１は一の状態を示すものであってもよいし、出力スコア１を入力として付随的観点の予測を決定するように訓練されるサブモデルによって使用されてもよい。また、そのような付随的観点の予測は、最終的にカテゴリラベルに変換されるスコアであってもよいし、そうでないスコアであってもよい。
図示されているように、スコア１は、状態の重症度に対応するスコア２を出力するサブモデル１６０ｆへの入力として使用される。いくつかの実施形態では、サブモデル１６０ｆは一つ以上の状態に対して汎用的であり、サブモデル１６０ｆの重症度スコアは、スコアが対応する状態予測を示す。別の実施形態では、サブモデル１６０ｆは一の状態に固有であり、スコア１が適切（例えば、正）であるかまたは適切なスコア２を計算した場合にのみに活動するようにトリガされる。スコア１はまたサブモデル１６０ｇに入力されて、サブモデル１６０ｆによって生成された重症度に対応する状態のリスクに対応するスコア３を生成する。いくつかの実施形態では、破線矢印によって示されるように、サブモデル１６０ｆは、必要に応じて入力スコア２を取得してもよい。スコア１もまたサブモデル１６０ｈに入力され、サブモデル１６０ｇによって生成されたリスクスコア３に対する処置に対応するスコア４を生成する。いくつかの実施形態では、破線の矢印によって示されるように、サブモデル１６０ｈは、必要に応じて入力スコア２および／または入力スコア３を取得してもよい。

付随的観点予測サブモデルの順序および特定の入力スコアの組み合わせは、ＡＩモデル１６０内またはその他の付随的観点予測を提供するように構成された他のＡＩモデルにおいて、いくつかの状態に対して異なるように配置されてもよいことが理解されるであろう。

スコアは、スコアがカテゴリラベルに変換される前に、ＳｏｆｔＭａｘ層から取得されてもよい。すなわち、モデル出力は、最大値を有するカテゴリに対応するラベルへとＳｏｆｔＭａｘ層によって変換され得るスコアまたは確率を含む。ラベルは、例えば、レポートのために生成されてもよい。いくつかの実施形態では、サブモデル１６０ｆ、１６０ｇまたは１６０ｈのうちの一つ以上は、標準的な分類器を備える。例えば、一つ以上のサブモデル１６０ｅ〜１６０ｈから出力されたスコアまたは確率は、ＳＶＭ等の標準的な分類器への入力として使用され、付随的観点の予測についてのスコアを検出するように訓練するために使用されてもよい。

図２１は、一つ以上の実施形態に従って、一度に全てのスコアを検出する共同ネットワークを含むように構成されたＡＩモデル１６０を模式的に示す。ＡＩモデル１６０は、収束ネットワークの一例である。畳み込み層／プーリング層の一つのブロックを含む図１９Ａ〜図１９Ｃに関して説明された拡張ネットワークとは対照的に、このＡＩモデル１６０は、畳み込み層／プーリング層の複数のブロックを含む。各状態について異なる特徴が抽出されることを可能にするために、複数のブロックのそれぞれは特定の一の状態に対して訓練されてもよい。畳み込み層／プーリング層の各ブロックにおける最後の層は、抽出された特徴を、完全結合層とＳｏｆｔＭａｘ層とのセットへと再グループ化する。

図２２は、ＡＩモデル１６０が、畳み込み層／プーリング層の一つブロックと完全結合層およびＳｏｆｔＭａｘ層の複数のセットとを使用した結合または組み合わせネットワークを含む一実施形態を模式的に示している。ＡＩモデルは、発散ネットワークの一例である。この場合、抽出された特徴は全ての状態について同じになる。異なる予測は、畳み込み層およびプーリング層の同一セットを共有しているが、それぞれが独自の完全結合層とＳｏｆｔＭａｘ層とを持っている。図示されるように、完全結合層とＳｏｆｔＭａｘ層との１セットは、状態の１セットに関して予測を提供するべく訓練されてもよい。付随的観点の予測のための完全結合層とＳｏｆｔＭａｘ層との複数のセットは、特定の状態に固有のものであってもよいし、複数の状態について付随的観点予測の一種類を出力するように構成されていてもよい。

一つまたは複数の実施形態に従って設定された例示的な訓練プロセスは、ラベル付けされたデータを取得すること、または、ラベル付けされたデータを得るためにデータをアノテーションすることを含んでもよい。ラベル付けされたデータは、アノテーションされた／ラベル付けされた画像等の訓練データを含んでもよい。方法は、ラベル付けされたデータを、ネットワークによって予測される同じラベルを有するサブグループへと分割することを含んでもよい。グループ内のデータメンバそれぞれは、同じラベル（またはアノテーションのセット）を有し、各ラベルグループはネットワークによって予測される予測カテゴリを表す。各グループ内のデータ例の数は同様であることが望ましく、これは、訓練プロセスにおいて特定のラベルについて偏りが生じることを防ぐべくバランスがとれるようにするためである。訓練データセットは、Ｂスキャンの複数フレームを含んでもよい。必要に応じて、各Ｂスキャンについて全フレームを使用してもよい。複数のフレームは同じ切り口を表しているが、異なるノイズパターンを有し、切り口の変形がわずかに異なっている。ネットワークをノイズに対してロバストなものにするべく、このように複数のフレームを用いた訓練を使用してもよい。層の数とそのパラメータは、実験および訓練データの相互検証に基づいて決定されてもよい。相互検証は、訓練データを訓練部分と検証部分に分割することによって行われる。その後、訓練されたネットワークが、検証部分をテストするために使用される。このプロセスは、訓練データを、別の異なる訓練セットと新しい訓練済ネットワークで評価される別の異なる検証セットとに分割することによって繰り返し行われてもよい。したがって、全体の訓練プロセスは、訓練データの複数の異なるサブセットで何度も繰り返されてもよく、訓練済ネットワークは、異なる検証サブセットを使用して評価されてもよい。これは、訓練済ネットワークのロバスト性を確保するために行われてもよい。その後、訓練済ネットワークは、実際のテストデータを用いて評価されてもよい。

一例として、図２３に示すように、ＡＩモデル１６０は、畳み込み層およびプーリング層のセットに続いて、完全結合層のセットおよび出力層を含む。本実施形態では、修正された事前訓練済ネットワークが、システム１００のＡＩモデル１６０のアーキテクチャに組み込まれている。畳み込みニューラルネットワークの初期層（例えば、畳み込み層およびプーリング層）は、特徴抽出のために重要である。抽出された特徴は汎用的であり、データに依存しないと考えられる。最後の層（例えば、完全結合層）は、データにおける各クラスについての重要な特徴を結合し、典型的には使用される画像に依存する。ＡＩモデル１６０では、これらの層は事前訓練されたネットワークの最後の層から再定義された。特に、完全結合層および出力層が再定義された。この構成では、使用される出力層には、ＳｏｆｔＭａｘ層と分類層が含まれていた。これらの層は、次のように新しい分類タスクに適応するように修正されている。完全結合層は予測タスクにおけるカテゴリ数に等しい長さを持つように修正され、ＳｏｆｔＭａｘ層は完全結合層の出力を予測確率に変換するように適宜修正され、分類層は新しい分類タスクに対応するラベルを持つように修正されている。例えば、状態予測タスクでは、完全結合層の長さノードを６に変更し、ラベルを｛「対照群」、「ドライアイ」、「フックス角膜内皮ジストロフィー」、「円錐角膜」、「角膜移植片拒絶反応」、「角膜辺縁幹細胞欠損症」｝に変更した。各ラベルは角膜診断に対応している。

完全結合層のパラメータを訓練し、元のネットワークの予測が角膜診断のタスクのために最適化されるように当該ネットワークのパラメータを調整するのに、マイクロ層断層撮影ＣＭＬ−Ｔ Ｂスキャンデータが使用された。角膜の状態の重症度を分類するタスクでは、角膜の専門家によって等級付けされた複数の異なる状態の重症度のＯＣＴ ＣＭＬ−Ｔ画像でＡＩモデルを訓練した。

訓練段階では、利用可能な全てのＣＭＬ−Ｔフレームが、登録または平均化することなく使用された。これは、ノイズはランダムであるが角膜マイクロ層のパターンおよび特徴はそうではないことから、ＡＩモデル１６０がノイズに対してロバストになるに役立った。前眼部ＯＣＴ画像に関連する明瞭なアーチファクトは、別のＯＣＴ画像、例えば、鏡面反射画像および水平アーチファクトには存在するかもしれないし存在しないかもしれない。更なる実施形態では、ＡＩモデルの精度は前処理されたＯＣＴ画像を使用して改善してもよく、アーチファクトを予め除去することによってさらに改善されてもよい（例えば、図３Ａ〜３Ｂおよびその説明）。いくつかの実施形態では、ＡＩモデル１６０を訓練することは、平均化および／または登録を伴うＢスキャン画像を用いて訓練することを含む。

精度をさらに向上させるために、ＡＩモデル１６０の最初の訓練セッションの後、ＣＭＬ−Ｔ ＯＣＴ画像上の関心領域が特定された（たとえば、図１２〜図１３および付随する説明）。これらの領域は、ニューラルネットワークが画像（アクティベーションマップ）を分類可能となる可能性が最も高いことが分かった。この知識を利用して、このような関心領域を特に見るようにし、これら領域により大きな重みを与えるように、ＡＩモデルをさらに改良した。

このデモンストレーションでは、事前に訓練されたネットワークを使用した転移学習を利用して、訓練時間を短縮した。しかしながら、他の実施形態では、ＡＩモデルの畳み込み層等の特徴抽出層は、医用画像で訓練されもよい。ネットワークの訓練データが医用画像ではなくても、このデータはネットワークが画像から複雑な視覚的特徴を抽出する方法を学習するのに役立つ。ＯＣＴ角膜マイクロ層断層撮影Ｂスキャン（ＣＭＬ−Ｔ）、角膜の厚さマップおよびヒートマップを使用して、畳み込みニューラルネットワーク（ＡｌｅｘＮｅｔ、ＶＧＧ１６、ＶＧＧ１９、ＧｏｏｇＬｅＮｅｔ等）に対して角膜状態を分類するための変更を行ってもよい。本例では、各ネットワークの最後の３つの層が分類タスクに適したものに変更され、約１４，０００の角膜ＢスキャンＣＭＬ−Ｔ画像を使用してパラメータのチューニングを行った。これらのＣＭＬ−ＴＢスキャンは様々な角膜の状態を表しており、深層学習アルゴリズムのニューラルネットワークを訓練およびチューニングするためのデータセットとして使用された。各ＣＭＬ−ＴＢスキャンの診断は、角膜の専門家によって行われた。このデータセットの８０％はトレーニングに使用され、２０％はネットワークのテストと評価に使用された。

このデモンストレーションでは、ＡＩモデルが同じ眼に対して最大２つの診断を提供できるようにした（２番眼の診断が存在する場合）。診断の確率はネットワークによって計算され、２番眼の診断確率がしきい値を超えると計算された場合、その２番眼の診断も提供された。例えば、診断は、ドライアイを伴う円錐角膜であってもよい。一つのＣＭＬ−Ｔ ＯＣＴ Ｂスキャンそれぞれについて診断の確率を計算し、同じ眼の全Ｂスキャンから確率の平均を取得することにより、モデルの精度をさらに改善した。デモンストレーションの結果は表１にまとめられている。

表１に示されるように、角膜ＣＭＬ−Ｔ Ｂスキャンを分類するＡＩモデルは、分類タスクで９８．８５％の精度を達成した。

図２４および図２５は、上記で詳細に説明したシステムの様々な特徴および機能を可能とするための方法を含む処理動作を示すフローチャートの一例である。以下で説明する各方法の各処理動作は例示を目的としたものであり、限定するものではない。一部の実施形態において、例えば、これらの方法は、説明していない１以上の処理を追加して実現してもよく、および／または、説明している処理のうち１以上を省略して実現してもよい。また、各方法の処理動作を図示する（そして以下で説明する）順序は、それに限定することを意図したものではない。

一部の実施形態において、各方法は、１または複数の処理デバイス（例えば、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、および／または、電子的に情報を処理するこれら以外のメカニズム）において実装され得る。これらの処理デバイスは、電子記憶媒体に電子的に記憶された命令に応答して、各方法の処理の一部または全てを実行する１または複数のデバイスを含んでもよい。これらの処理デバイスは、各方法の処理のうち１または複数を実行するよう特別に設計されるべく、ハードウェア、ファームウェアおよび／またはソフトウェアによって構成される１または複数のデバイスを含むとしてよい。

図２４は、一つまたは複数の実施形態に係る、眼の状態またはその治療に関する決定を容易にする方法のフローチャートを示す。処理２４０２では、被検者に関する角膜画像のセットがニューラルネットワークに提供されてもよい。一例として、ニューラルネットワークは、一つまたは複数の入力層、隠れ層および出力層等の複数の層を含み得る。一使用例では、ニューラルネットワークの少なくとも一つの入力層は、ニューラルネットワークへの入力として角膜画像を取得するように構成されてもよい。ニューラルネットワークの少なくとも一つの隠れ層は、角膜状態に関連する複数の予測を取得し、前記複数の予測のうちの１以上の予測に関連する観点を、前記複数の予測のうちの１以上の他の予測に関連する観点に基づいて調整するように構成されてもよい。更なる使用例では、（隠れ層によって得られる）複数の予測のそれぞれは、入力された複数の角膜画像のうちの異なる角膜画像から導出され得る。一つ以上の実施形態に従って、処理２４０２は、状態予測サブシステム１１２と同一または類似のサブシステムによって実行されてもよい。

処理２４０４において、（セットの第１の角膜画像から導出された）第１の予測に関連する観点は、ニューラルネットワークを介して調整されてもよい。一例として、調整は、（セットの第２の角膜画像から導出された）第２の予測に関連する観点に基づいて実行されてもよい。一の予測に関連付けられる観点としては、予測された情報、予測に関連付けられた重みまたは確率、予測に関連付けられた確率、予測に関連付けられた（予測が対応する）眼の部分またはその他の眼の位置またはその他の観点を含み得る。予測された情報は、（ｉ）眼のある状態が被検者に存在するか否か、もしくは、将来的に被検者に発症する可能性が高いか（例えば、現在被検者の眼に存在する、矯正治療または処置が取られるか否かに応じて被検者の眼に発生するそのような状態それぞれのリスク等）、（ｉｉ）被検者に存在すると予測されるそのような状態の重症度またはそれに関連する重症度スコア、（ｉｉｉ）そのような状態に関して行われる治療もしくは処置、（ｉｖ）被検者の眼がそのような治療または処置に対して望ましいもしくは望ましくない反応を示す確率、または、（ｖ）その他の情報、を含んでもよい。一つ以上の実施形態に従って、処理２４０４は、状態予測サブシステム１１２と同一または類似のサブシステムによって実行されてもよい。

操作２４０６では、被検者の角膜状態に関する一つまたは複数の予測が、予測モデルから取得されてもよい。一例として、予測モデルは、第１の予測の調整に基づいて一つまたは複数の予測を生成してもよい。別の例として、予測は、角膜拡張症、円錐角膜、角膜移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、緑内障またはその他の角膜の状態のうちの少なくとも一つに関する一つ以上の予測を含んでもよい。一つ以上の実施形態に従って、処理２４０６は、状態予測サブシステム１１２と同一または類似のサブシステムによって実行されてもよい。

図２５は、一つまたは複数の実施形態に係る、後続のニューラルネットワークが、ニューラルネットワークを利用した画像の前処理をするのを容易にする方法２５００のフローチャートを示す。処理２５０２では、被検者に関する角膜画像の初期セットが前処理を行うニューラルネットワークに提供されてもよい。一例として、前処理予測モデルは、問題のある画像または低品質の画像を初期の画像セットから取り除いてもよい。別の例として、前処理予測モデルは、画像のノイズ除去、画像からのアーチファクトの除去、画像の位置合わせまたはその他の修正の実行等、画像の初期セットの一つまたは複数の画像の修正を実行してもよい。（例えば、後続の予測モデルの予測の精度を高めるために）。一つ以上の実施形態に従って、処理２５０２は、前処理サブシステム１１４と同一または類似のサブシステムによって実行されてもよい。

処理２５０４では、初期セットの一つまたは複数の角膜画像を、前処理ニューラルネットワークを介して位置合わせして、変更された角膜画像のセットを生成してもよい。一例として、角膜画像は、被検者の角膜の中心または被検者の角膜に関連するその他の基準位置等、被検者の角膜に関連する基準位置に対して位置合わせされてもよい。一つ以上の実施形態に従って、処理２５０４は、前処理サブシステム１１４と同一または類似のサブシステムによって実行されてもよい。

処理２５０６では、変更された角膜画像のセットが後続の予測モデルに提供されて、被検者の角膜状態に関する一つまたは複数の予測が生成されてもよい。一例として、予測は、角膜拡張症、円錐角膜、角膜移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、緑内障またはその他の角膜の状態のうちの少なくとも一つに関する一つ以上の予測を含んでもよい。一つ以上の実施形態に従って、処理２５０６は、状態予測サブシステム１１２と同一または類似のサブシステムによって実行されてもよい。

一部の実施形態において、図１Ａに図示したさまざまなコンピュータおよびサブシステムは、本明細書に記載された機能を行うようプログラムされた一つまたは複数のコンピューティングデバイスを含んでもよい。コンピューティングデバイスは、一つ以上の電子的ストレージ（例えば、一つまたは複数の予測データベース１３２、一つまたは複数の訓練データデータベース１３４、一つまたは複数のモデルデータベース１３６等、または、その他の電気的なストレージ）、一つ以上のコンピュータプログラム命令でプログラムされた一つ以上の物理的なプロセッサ、および／またはその他の構成要素を含んでいてもよい。コンピューティングデバイスは、ネットワーク（例えば、ネットワーク１５０）または他のコンピューティングプラットフォームとの有線技術または無線技術（例えば、イーサネット、光ファイバ、同軸ケーブル、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信、または他の技術等）を介した情報のやり取りを可能にする通信回線または通信ポートを含んでもよい。コンピューティングデバイスは、協働する複数のハードウェアコンポーネント、ソフトウェアコンポーネントおよび／またはファームウェアコンポーネントを含むとしてよい。例えば、コンピューティングデバイスは、コンピューティングデバイスとして協動する多数のコンピューティングプラットフォームによって実装されてもよい。

電子ストレージは、情報を電子的に記憶する非一時的記憶媒体を含み得る。電子ストレージの電子記憶媒体には、（ｉ）サーバまたはクライアントデバイスと一体に（例えば、実質的に着脱不能に）設けられたシステムストレージ、または、（ｉｉ）例えばポート（例えばＵＳＢポート、ファイヤーワイヤポート等）またはドライブ（例えばディスクドライブ等）を介してサーバまたはクライアントデバイスに着脱可能に接続されたリムーバブルストレージの一方または両方が含まれるとしてもよい。電子ストレージには、光学的に読み取り可能な記憶媒体（例えば光学ディスク等）、磁気的に読み取り可能な記憶媒体（例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等）、電荷型記憶媒体（例えばＥＥＰＲＯＭ、ＲＡＭ等）、ソリッドステート記憶媒体（例えばフラッシュドライブ等）、および／または、これら以外の電子的に読み取り可能な記憶媒体のうち１または複数が含まれるとしてよい。電子ストレージは、一又は複数の仮想ストレージリソース（例えば、クラウドストレージ、仮想プライベートネットワーク、及び／又はこれら以外の仮想ストレージリソース）を含んでもよい。電子ストレージは、ソフトウェアアルゴリズム、プロセッサが決定した情報、サーバから取得した情報、クライアントデバイスから取得した情報、または、本明細書に記載する機能を可能とする他の情報を記憶してもよい。

プロセッサは、コンピューティングデバイスにおける情報処理機能を実現するようプログラムされているとしてもよい。このため、プロセッサは、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、および／または電子的に情報を処理するための他のメカニズムのうちの１以上を含むとしてよい。一部の実施形態において、プロセッサは複数の処理ユニットを含むとしてもよい。これらの処理ユニットは物理的に同一の装置内に配置されてもよく、または、複数のプロセッサが、協調して動作する複数の装置の処理機能を実行してもよい。プロセッサは、コンピュータプログラム命令を実行してサブシステム１１２〜１１４または他のサブシステムの本明細書で説明する機能を実現するようにプログラムされてもよい。プロセッサは、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、またはファームウェア、および／または、プロセッサにおいて処理機能を設定するための他のメカニズムによってコンピュータプログラム命令を実行するようにプログラムされてもよい。

本明細書で説明する複数の異なるサブシステム１１２〜１１４によって提供される機能の説明は例示を目的としたものであり、限定を意図したものではないと理解されたい。サブシステム１１２−１１４はいずれも、説明した機能より多くの、または少ない機能を提供するとしてよい。例えば、サブシステム１１２−１１４のうちの１または複数を省略するとしてもよく、その機能の一部またはすべてを、サブシステム１１２−１１４のうちの他のサブシステムで提供してもよい。他の例として、本明細書においてサブシステム１１２−１１４のうちの一つのサブシステムに帰する機能の一部または全てを発揮するよう追加のサブシステムがプログラムされてもよい。

現時点で最も実用的であり好ましいと考えられる態様に基づいて本発明を例示のために詳細に説明したが、このような詳細な説明は例示を目的としたものに過ぎないと理解されたい。本発明は開示された実施形態に限定されるものではなく、むしろ、添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な構成も本発明に含められることが意図されている。例えば、本発明においては任意の実施形態の１または複数の特徴を他の任意の実施形態の一のまたは複数の特徴と可能な限り組み合わせられると理解されたい。

本技術は以下に列挙する実施形態を参照することで理解がより深まる。
［Ａ１］
被検者に関する眼の複数の画像からなるセットを、モデルに提供する工程と、前記モデルは前記眼の画像のセットに基づいて前記被検者の眼の少なくとも一つの状態に関する一つまたは複数の予測を生成し、前記一つまたは複数の予測を前記モデルを介して取得する工程と、を備える方法。
［Ａ２］
前記モデルは、（ｉ）複数の眼の画像を入力とし、（ｉｉ）眼の状態に関する第１の予測を取得し、
（ｉｉｉ）前記眼の状態に関する第２の予測を取得し、（ｉｖ）前記第２の予測に関連する観点に基づいて、前記第１の予測に関連する観点を調整する、ように構成され、前記第１の予測は前記複数の眼の画像のうちの第１の眼の画像から導出され、前記第２の予測は前記眼の画像のうちの第２の眼の画像から導出される、実施形態Ａ１に記載の方法。
［Ａ３］
前記モデルはニューラルネットワークを備え、前記ニューラルネットワークは、前記複数の眼の画像を入力とする少なくとも一つの入力層と、少なくとも一つの隠れ層と、を備え、前記少なくとも一つの隠れ層は、（ｉ）前記第１の眼の画像から導出された前記第１の予測を取得し、（ｉｉ）前記第２の眼の画像から導出された前記第２の予測を取得し、（ｉｉｉ）前記第２の予測に関連する前記観点に基づいて、前記第１の予測に関連する前記観点を調整する、ように構成される、実施形態Ａ２に記載の方法。
［Ａ４］
前記複数の眼の画像のそれぞれは、前記被検者の眼の互いに異なる部分を表し、前記第１の予測および前記第２の予測に関連付けられた観点がそれぞれ、前記第１の予測に関連付けられた重みまたは確率と前記第２の予測に関連付けられた眼の位置とを含み、
前記モデルが、前記第２の予測に関連付けられた前記眼の位置に基づいて前記第１の予測に関連付けられた前記重みまたは前記確率を調整することによって前記調整を実行するように構成され、前記第２の予測に関連付けられた前記眼の位置は、前記第２の眼の画像によって表される前記眼の部分に対応する前記眼の位置である、実施形態Ａ２またはＡ３に記載の方法。
［Ａ５］
前記モデルは、（ｉ）前記第１の予測に関連付けられた眼の位置と（ｉｉ）前記第２の予測に関連付けられた前記眼の位置との間の距離に基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を調整するように構成されており、前記第１の予測に関連付けられた前記眼の位置は、前記第１の眼の画像によって表される前記眼の部分に対応する前記眼の位置である、実施形態Ａ４に記載の方法。
［Ａ６］
前記モデルは、（ｉ）前記第１の予測に関連付けられた前記眼の位置と、（ｉｉ）前記複数の眼の画像の少なくとも一部から導出された複数の他の予測に関連付けられた複数の眼の位置との間の複数の距離に基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を調整するように構成されており、前記複数の他の予測に関連付けられた前記眼の位置は、前記第２の予測に関連付けられた前記眼の位置を含む、実施形態Ａ５に記載の方法。
［Ａ７］
前記モデルは、前記第１の予測に関連付けられた前記眼の位置が前記複数の他の予測に関連付けられた前記他の眼の位置と近接していることに基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を増加させることにより、前記調整を実行する、実施形態Ａ６に記載の方法。
［Ａ８］
前記モデルは、（ｉ）前記第１の予測が、前記眼の状態が前記被検者の眼に存在することを示している、（ｉｉ）前記複数の他の予測のそれぞれが、前記眼の状態が前記被検者の前記眼に存在することを示している、および、（ｉｉｉ）前記第１の予測に関連する前記眼の位置が前記複数の他の予測に関連する前記他の眼の位置に近接していることに基づいて、前記第１の予測に関連する前記重みまたは前記確率を増加させることによって、前記調整を実行する、実施形態Ａ７に記載の方法。
［Ａ９］
前記モデルは、前記第２の予測が前記被検者の眼に前記眼の状態が存在することを示していることに基づいて、前記第１の予測に関連付けられた前記観点を調整することにより、前記調整を実行する、実施形態Ａ２からＡ８の何れか一つに記載の方法。
［Ａ１０］
前記モデルは、入力として、前記複数の眼の画像および一つ以上の厚さマップを取得し、前記モデルは、前記複数の眼の画像および前記一つ以上の厚さマップに基づいて、前記第１の予測および前記第２の予測を生成する、実施形態Ａ２からＡ９の何れか一つに記載の方法。
［Ａ１１］
前記被検者に関する眼の画像の初期セットを第２のモデルに供給して、前記第２のモデルから前記眼の画像のセットを取得する工程であって、前記眼の画像のセットは、前記初期セットの眼の画像が前記第２のモデルによって位置合わせされたバージョンの眼の画像を含む、前記眼の画像のセットを取得する工程と、前記位置合わせされたバージョンの画像セットを前記モデルに供給して、前記位置合わせされたバージョンの画像セットに基づいて前記モデルが前記一つまたは複数の予測を生成する工程と、を更に備える実施形態Ａ１からＡ１０の何れか一つに記載の方法。
［Ａ１２］
前記モデルを訓練するために眼のスキャンからの同一画像カットの複数フレームを前記モデルに提供し、前記モデルが、前記同じ画像カットの前記複数フレームに基づいて、少なくとも一つの眼の状態に関連する少なくとも一つの予測を生成する工程、を更に備える実施形態Ａ１からＡ１１の何れか一つに記載の方法。
［Ａ１３］
前記複数フレームを提供する工程は、前記眼のスキャンから得られた前記同一画像カットの複数の生フレームを前記モデルに提供することを含み、前記同一画像カットの前記複数の生フレームの各フレームは、前記複数の生フレームのうちの他のフレームとは異なるノイズパターンを含む、実施形態Ａ１２に記載の方法。
［Ａ１４］
第１の眼のスキャンからの第１の画像カットの複数の生フレームと、第２の眼のスキャンからの第２の画像カットの複数の生フレームとを前記モデルに提供して、前記一つまたは複数の予測を得る工程を更に備え、前記モデルは、前記第１の画像カットおよび前記第２の画像カットの前記複数の生フレームに基づいて、前記一つまたは複数の予測を生成する、実施形態Ａ１からＡ１３の何れか一つに記載の方法。
［Ａ１５］
前記一つまたは複数の予測は、角膜拡張症、円錐角膜、角膜片移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、ならびに、緑内障のうちの少なくとも一つに関する、実施形態Ａ１からＡ１４の何れか一つに記載の方法。
［Ｂ１］
命令を格納している有形で非一時的な機械可読媒体であって、前記命令がデータ処理装置によって実行されると、前記データ処理装置に実施形態Ａ１〜Ａ１５のいずれかを備える処理を実行する、機械可読媒体。
［Ｂ２］
一つまたは複数のプロセッサと、命令を格納しているメモリとを備えるシステムであって、前記命令が前記一つまたは複数のプロセッサによって実行されると、前記一つまたは複数のプロセッサによって実施形態Ａ１〜Ａ１５のいずれかを含む処理が実現される、システム。

Claims (20)

1. ニューラルネットワークを用いた眼に関する状態の判定を容易にするシステムであって、前記システムは、
   複数の層を有するニューラルネットワークを備え、
   前記複数の層は、
   複数の眼の画像を入力とする少なくとも一つの入力層と、
   （ｉ）眼の状態に関する第１の予測を取得し、（ｉｉ）前記眼の状態に関する第２の予測を取得し、（ｉｉｉ）前記第２の予測に関連する観点に基づいて、前記第１の予測に関連する観点を調整するように構成された、少なくとも一つの隠れ層と、を備え、
   前記第１の予測は前記複数の眼の画像のうちの第１の眼の画像から導出され、前記第２の予測は前記眼の画像のうちの第２の眼の画像から導出され、
   前記システムは更に、コンピュータプログラム命令を実行する一つまたは複数のプロセッサを備え、
   前記コンピュータプログラム命令が実行されると前記一つまたは複数のプロセッサは、
   被検者に関する眼の複数の画像からなるセットを、前記ニューラルネットワークに提供し、
   前記ニューラルネットワークを介して、前記被検者の眼の少なくとも一つの状態に関する一つまたは複数の予測を取得し、
   前記ニューラルネットワークは前記眼の画像のセットに基づいて前記一つまたは複数の予測を生成する、システム。
2. 複数の眼の画像の位置合わせを実行するように構成された第２のニューラルネットワークを更に備え、
   前記一つまたは複数のプロセッサは、前記被検者に関する眼の画像の初期セットを第２のニューラルネットワークに供給して、前記第２のニューラルネットワークから前記眼の画像のセットを取得し、
   前記眼の画像のセットは、前記初期セットの眼の画像が前記第２のニューラルネットワークによって位置合わせされたバージョンの眼の画像を含み、
   前記ニューラルネットワークに前記眼の画像のセットを供給することは、前記ニューラルネットワークが前記位置合わせされたバージョンの画像に基づいて前記一つまたは複数の予測を生成するように、前記位置合わせされたバージョンの画像を前記ニューラルネットワークに供給することを含む、請求項１に記載のシステム。
3. 前記複数の眼の画像のそれぞれは、前記被検者の眼の互いに異なる部分を表し、
   前記第１の予測に関連する前記観点は前記第１の予測に関連する重みまたは確率を含み、前記第２の予測に関連する前記観点は前記第２の予測に関連する眼の位置を含み、
   前記少なくとも一つの隠れ層が、前記第２の予測に関連する前記眼の位置に基づいて、前記第１の予測に関連する前記重みまたは前記確率を調整することによって、前記調整を実行するように構成されており、
   前記第２の予測に関連付けられた前記眼の位置は、前記第２の眼の画像によって表される前記眼の部分に対応する眼の位置である、請求項１に記載のシステム。
4. 前記少なくとも一つの隠れ層は、（ｉ）前記第１の予測に関連付けられた眼の位置と（ｉｉ）前記第２の予測に関連付けられた前記眼の位置との間の距離に基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を調整するように構成されており、
   前記第１の予測に関連付けられた前記眼の位置は、前記第１の眼の画像によって表される前記眼の部分に対応する前記眼の位置である、請求項３に記載のシステム。
5. 前記少なくとも一つの隠れ層は、（ｉ）前記第１の予測に関連付けられた前記眼の位置と（ｉｉ）前記複数の眼の画像の少なくともいくつかから導出された複数の他の予測に関連付けられた複数の眼の位置との間の複数の距離に基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を調整するように構成されており、
   前記複数の他の予測に関連付けられた前記複数の眼の位置は、前記第２の予測に関連付けられた前記眼の位置を含む、請求項４に記載のシステム。
6. 前記少なくとも一つの隠れ層は、前記第１の予測に関連付けられた前記眼の位置が前記複数の他の予測に関連付けられた前記複数の眼の位置と近接していることに基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を増加させることにより、前記調整を実行する、請求項５に記載のシステム。
7. 前記少なくとも一つの隠れ層は、（ｉ）前記第１の予測が、前記眼の状態が前記被検者の眼に存在することを示している、（ｉｉ）前記複数の他の予測のそれぞれが、前記眼の状態が前記被検者の前記眼に存在することを示している、および、（ｉｉｉ）前記第１の予測に関連する前記眼の位置が前記複数の他の予測に関連する前記複数の眼の位置に近接していることに基づいて、前記第１の予測に関連する前記重みまたは前記確率を増加させることにより、前記調整を実行する、請求項６に記載のシステム。
8. 前記少なくとも一つの隠れ層は、前記第２の予測が前記被検者の眼に前記眼の状態が存在することを示していることに基づいて、前記第１の予測に関連付けられた前記観点を調整することにより、前記調整を実行する、請求項１に記載のシステム。
9. 前記少なくとも一つの入力層は、入力として、前記複数の眼の画像および一つ以上の厚さマップを取得し、
   前記ニューラルネットワークは、前記複数の眼の画像および前記一つ以上の厚さマップに基づいて、前記第１の予測および前記第２の予測を生成する、請求項１に記載のシステム。
10. 前記一つまたは複数のプロセッサは、前記ニューラルネットワークを訓練するために眼のスキャンからの同一画像カットの複数フレームを前記ニューラルネットワークに提供し、
    前記ニューラルネットワークは、前記同じ画像カットの前記複数フレームに基づいて、少なくとも一つの眼の状態に関する少なくとも一つの予測を生成する、請求項１に記載のシステム。
11. 前記複数フレームを提供する工程は、前記眼のスキャンから得られた前記同一画像カットの前記複数の生フレームを前記ニューラルネットワークに提供することを含み、前記同一画像カットの前記複数の生フレームの各フレームは、前記複数の生フレームのうちの他のフレームとは異なるノイズパターンを含む、請求項１０に記載のシステム。
12. 前記一つまたは複数のプロセッサは、第１の眼のスキャンからの第１の画像カットの複数のフレームと、第２の眼のスキャンからの第２の画像カットの複数のフレームとを前記ニューラルネットワークに提供して、前記一つまたは複数の予測を得るように構成され、
    前記ニューラルネットワークは、前記第１の画像カットの前記複数のフレームおよび前記第２の画像カットの前記複数のフレームに基づいて、前記一つまたは複数の予測を生成する、請求項１に記載のシステム。
13. 前記一つまたは複数の予測は、角膜拡張症、円錐角膜、角膜片移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、ならびに、緑内障のうちの少なくとも一つに関する、請求項１に記載のシステム。
14. 前記一つまたは複数の予測は、角膜拡張症、円錐角膜、角膜片移植拒絶反応および疾患、ドライアイ症候群（ＤＥＳ）、フックスジストロフィー、角膜辺縁幹細胞欠損症、白内障、ならびに、緑内障のうちの２つ以上に関する、請求項１に記載のシステム。
15. コンピュータプログラム命令を実行する一つまたは複数のプロセッサを備えるコンピュータシステムによって実装される方法であって、前記コンピュータプログラム命令が実行されると前記方法が実行され、
    前記方法は、
    被検者に関する眼の複数の画像からなるセットを、予測モデルに提供する工程と、
    眼の状態が前記被検者に存在するかを示す第１の予測であって、前記複数の眼の画像のうちの第１の眼の画像から導出される前記第１の予測を、前記予測モデルを介して取得する工程と、
    前記眼の状態が前記被検者に存在するかを示す第２の予測であって、前記複数の眼の画像のうちの第２の眼の画像から導出される前記第２の予測を、前記予測モデルを介して取得する工程と、
    前記第２の予測が前記眼の状態が前記被検者に存在することを示していることに基づいて、前記予測モデルを介して前記第１の予測に関連する観点を調整する工程と、
    前記予測モデルは前記第１の予測の前記調整に基づいて前記被検者の眼の少なくとも一つの状態に関する一つまたは複数の予測を生成し、前記一つまたは複数の予測を前記予測モデルを介して取得する工程と、を備える、方法。
16. 前記セットの眼の画像はそれぞれ、前記被検者の眼の互いに異なる部分を表し、
    前記第１の予測に関連する前記観点を調整する工程は、前記第２の予測に関連する眼の位置に基づいて前記第１の予測に関連する重みまたは確率を調整することを含み、
    前記第２の予測に関連付けられた前記眼の位置は、前記第２の眼の画像によって表される前記眼の部分に対応する眼の位置である、請求項１５に記載の方法。
17. 前記第１の予測に関連する前記重みまたは前記予測を調整することは、（ｉ）前記第１の予測に関連付けられた眼の位置と（ｉｉ）前記第２の予測に関連付けられた前記眼の位置との間の距離に基づいて、前記第１の予測に関連付けられた前記重みまたは前記確率を調整することを含み、
    前記第１の予測に関連付けられた前記眼の位置は、前記第１の眼の画像によって表される前記眼の部分に対応する眼の位置である、請求項１６に記載の方法。
18. 前記第１の予測に関連する前記観点を調整することは、前記第２の予測が前記被検者の眼に前記眼の状態が存在することを示していることに基づいて、前記第１の予測に関連付けられた前記観点を調整することを含む、請求項１５に記載の方法。
19. 第１の眼のスキャンからの第１の画像カットの複数のフレームと、第２の眼のスキャンからの第２の画像カットの複数のフレームとを前記予測モデルに提供して、前記一つまたは複数の予測を得る工程を更に備え、
    前記予測モデルは、前記第１の画像カットの前記複数のフレームに基づいて前記第１の予測を生成し、
    前記予測モデルは、前記第２の画像カットの前記複数のフレームに基づいて前記第２の予測を生成する、請求項１５に記載の方法。
20. コンピュータプログラム命令を備える非一時的なコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令が一つまたは複数のプロセッサによって実行されると、 被検者に関する眼の複数の画像からなるセットを予測モデルに提供する工程と、
    眼の状態が前記被検者に存在するかを示す第１の予測であって、前記複数の眼の画像のうちの第１の眼の画像から導出される前記第１の予測を、前記予測モデルを介して取得する工程と、
    前記眼の状態が前記被検者に存在するかを示す第２の予測であって、前記複数の眼の画像のうちの第２の眼の画像から導出される前記第２の予測を、前記予測モデルを介して取得する工程と、
    前記第２の予測が前記眼の状態が前記被検者に存在することを示していることに基づいて、前記予測モデルを介して前記第１の予測に関連する観点を調整する工程と、
    前記予測モデルは前記第１の予測の前記調整に基づいて前記被検者の眼の少なくとも一つの状態に関する一つまたは複数の予測を生成し、前記一つまたは複数の予測を前記予測モデルを介して取得する工程と、が実行される非一時的なコンピュータ可読記憶媒体。

Images