JP2019528113A - 機械学習モデルを使用した眼底画像の処理 - Google Patents

Abstract

眼底画像処理機械学習モデルを使用して眼底画像を処理するための、方法、システム、およびコンピュータ記憶媒体上で符号化されたコンピュータプログラムを含む装置。方法のうちの1つは、1つまたは複数の眼底画像を含むモデル入力を取得するステップであって、各眼底画像は患者の眼の底部の画像である、ステップと、眼底画像処理機械学習モデルを使用してモデル入力を処理するステップであって、眼底画像処理機械学習モデルは、1つまたは複数の眼底画像を含むモデル入力を処理して、モデル出力を生成するように構成される、ステップと、モデル出力を処理して、健康分析データを生成するステップとを含む。

Description

本明細書は、機械学習モデルを使用して画像を処理することに関する。

機械学習モデルは、入力を受信し、出力、たとえば、予測される出力を、受信された入力に基づいて生成する。いくつかの機械学習モデルは、パラメトリックモデルであり、受信された入力に、およびモデルのパラメータの値に基づいて出力を生成する。

いくつかの機械学習モデルは、受信された入力に対する出力を生成するために、複数のレイヤのモデルを利用する深層モデルである。たとえば、深層ニューラルネットワークとは、出力レイヤと、出力を生成するために受信された入力に非線形変換を各々が適用する1つまたは複数の隠れレイヤとを含む深層機械学習モデルである。

いくつかのニューラルネットワークは、リカレントニューラルネットワークである。リカレントニューラルネットワークとは、入力シーケンスを受信し、入力シーケンスから出力シーケンスを生成するニューラルネットワークである。具体的には、リカレントニューラルネットワークは、入力シーケンス中の現在の入力から出力を生成する際、入力シーケンス中の前の入力を処理した後、ネットワークの内部状態の一部または全部を使う。

Szegedy, Christianら「Going deeper with convolutions」、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2015年 Szegedy, Christianら、「Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning」 Yue-Hei Ng, Joeら、「Beyond short snippets: Deep networks for video classification」、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2015年 Venugopalan, Subhashiniら、「Sequence to sequence-video to text」、Proceedings of the IEEE International Conference on Computer Vision、2015年 「Show, Attend and Tell: Neural Image Caption Generation with Visual Attention」、Xuら

本明細書は概して、眼底画像処理機械学習モデルを使用して、患者の1つまたは複数の眼底画像を含むデータを処理することによって、患者についての健康分析データを生成するシステムについて記載する。

本明細書に記載する主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するように実装され得る。健康分析システムは、患者の眼の底部の1つまたは複数の画像のみを使うことによって、および最小限の他の患者データを使うことによって、または他の患者データを使わずに、患者の健康を効果的に分析することができる。具体的には、健康分析システムは、眼底画像を使用して、特有の医学的コンディションの存在または可能性の高い進行を効果的に分析することができる。代わりに、または追加として、健康分析システムは、医学的コンディションを治療する際にどの治療または追跡調査アクションが最も効果的であるかを効果的に予測することができる。代わりに、または追加として、健康分析システムは、眼底画像を使用して、望ましくない健康事象に対する患者のリスクを正確に評価し、または患者の健康全般を正確に評価することができる。代わりに、または追加として、健康分析システムは、健康事象の特定のセットのリスクが患者に対して起こることに寄与する因子のセットの値を、眼底画像を使用して正確に予測することができる。

いくつかの実装形態では、システムは、システムによって生成された予測に対する根拠を説明するデータ、すなわち、特定の予測を生成するために機械学習モデルが焦点を合わせた眼底画像の部分を、システムのユーザに提示することができる。そうする際、システムは、医師または他のユーザが予測プロセスを洞察することができるようにし得る。

本明細書の主題の1つまたは複数の実施態様の詳細は、添付の図面および以下の説明に記載される。本主題の他の特徴、態様および利点は、説明、図面および特許請求の範囲から明らかになるであろう。

例示的眼底画像分析システムを示す図である。 健康分析データを生成するための例示的プロセスの流れ図である。 眼底画像処理機械学習モデルによる、例示的眼底画像の処理を示す図である。 特定の医学的コンディションに特有の健康分析データを生成するための例示的プロセスの流れ図である。 患者追跡調査アクションを識別する健康分析データを生成するための例示的プロセスの流れ図である。 医学的コンディションの進行見込みを予測する健康分析データを生成するための例示的プロセスの流れ図である。 所与の患者についての医学的コンディションに対する適切な治療を予測する健康分析データを生成するための例示的プロセスの流れ図である。 予測される眼底画像を含む健康分析データを生成するための例示的プロセスの流れ図である。 健康事象が起こるリスクを予測する健康分析データを生成するための例示的プロセスの流れ図である。 患者の健康全般を特徴づける健康分析データを生成するための例示的プロセスの流れ図である。 1つまたは複数のリスク因子についての予測値を含む健康分析データを生成するための例示的プロセスの流れ図である。 モデル出力を生成するときに機械学習モデルによって焦点を合わせられた、眼底画像中のロケーションを識別するデータを含む健康分析データを生成するための例示的プロセスの流れ図である。

様々な図面における同様の参照番号および名称は、同様の要素を示す。

本明細書は概して、患者の1つまたは複数の眼底画像を含む入力から、患者についての健康分析データと、任意選択で、他の患者データとを生成することができるシステムについて記載する。眼底画像とは、患者の眼のうちの1つの、底部の写真である。眼の底部は、水晶体の反対側の、眼の内面であり、特に、網膜および視神経頭を含む。

概して、所与の患者についての健康分析データを生成するために、システムは、眼底画像処理機械学習モデルを使用して、1つまたは複数の眼底画像と、任意選択で、他の患者データとを処理して、患者についてのモデル出力を生成し、次いで、モデル出力から健康分析データを生成する。

図1は、例示的眼底画像分析システム100を示す。眼底画像分析システム100は、以下で説明するシステム、構成要素、および技法が実装され得る、1つまたは複数のロケーションにある1つまたは複数のコンピュータ上のコンピュータプログラムとして実装されるシステムの例である。

所与の患者について、眼底画像分析システム100は、患者の眼の1つまたは複数の眼底画像を含む眼底画像データ122を受信し、患者の健康を特徴づける健康分析データ142を生成する。

いくつかの実装形態では、眼底画像分析システム100は、眼底画像を生成するとともにそれらを入力眼底画像データ122として眼底画像分析システムに提供する眼底画像キャプチャシステム110を含むか、またはそれと通信する。具体的には、眼底画像キャプチャシステム110は、患者の眼底の画像をキャプチャするように構成された1つまたは複数の画像キャプチャデバイス、たとえば、画像キャプチャデバイス120を含む。概して、画像キャプチャデバイス120は、たとえば、カラー眼底写真撮影、立体写真撮影、広角もしくは超広角写真撮影、または走査型レーザー検眼鏡検査(SLO)を使用して、適切なタイプの眼底画像をキャプチャするように構成された特殊化眼底カメラである。いくつかのケースでは、画像キャプチャシステム110は、異なるタイプの眼底画像をキャプチャする複数の画像キャプチャデバイスを含む。

他の実装形態では、眼底画像分析システム100は、たとえば、データ通信ネットワークを介して、外部システムから入力眼底画像データ122を受信する。

眼底画像分析システム100は、入力眼底画像データ122と、任意選択で、所与の患者についての他のデータとを、眼底画像処理機械学習モデル130を使用して処理する。眼底画像処理機械学習モデル130は、入力眼底画像データ122と、任意選択で、他の患者データ124とを処理して、患者の健康を特徴づけるモデル出力132を生成するように構成された機械学習モデルである。

眼底画像データ122中にいくつの眼底画像があるか、システム100が他の患者データ124を受信するかどうか、および受信する場合は、受信される他の患者データ124の性質、ならびにモデル出力132の組立ては、眼底画像処理機械学習モデル130の構成に依存する。眼底画像データ、機械学習モデル130の例示的構成、およびモデル出力132の例示的組立てについては、図2〜図9を参照して以下でより詳しく説明する。

眼底画像分析システム100は、モデル出力132を受信し、患者健康分析データ142を生成する患者健康分析サブシステム140も含む。概して、患者健康分析サブシステム140は、システムのユーザに提示することができるようにモデル出力を特徴づける健康分析データを生成する。患者健康分析サブシステム140は次いで、健康分析データ142を、たとえば、患者のユーザコンピュータ上もしくは医療専門家のコンピュータ上のユーザインターフェースでの、ユーザへの表示のために提供し、健康分析データ142を将来の使用のために記憶し、または健康分析データ142を、何らかの他の当座の目的での使用のために提供することができる。

いくつかの実装形態では、眼底画像分析システム100は、患者健康分析データ142についての要求を、データ通信ネットワークを介して、ユーザコンピュータのリモートユーザから受信する。たとえば、ユーザコンピュータ、たとえば、眼底画像キャプチャシステム110が実装されているコンピュータが、眼底画像分析システム100へのアプリケーションプログラミングインターフェース(API)コールを行うことの一部として眼底画像データを提供することによって、データ通信ネットワークを介して眼底画像分析システム100に要求を提出することができる場合がある。APIコールに応答して、眼底画像分析システム100は、健康分析データ142を生成し、健康分析データを、データ通信ネットワークを介してユーザコンピュータに送信することができる。

さらに、いくつかの実装形態では、機械学習モデル130は、眼底画像分析システム100からリモートである1つまたは複数のコンピュータによって実装される。これらの実装形態では、眼底画像分析システム100は、機械学習モデル130への入力を含む、ネットワークを介したAPIコールを行うことによって、機械学習モデル130にアクセスすることができ、APIコールに応答してモデル出力132を受信することができる。

本明細書における記述は概して、特定のモデル出力を生成する単一の機械学習モデル130について記載しているが、いくつかのケースではシステム100は、所与の種類のモデル出力用の複数の機械学習モデルの集団を含むか、または集団と通信する。各機械学習モデル130は、同じ種類のモデル出力を生成し、システム100または別のシステムは、たとえば、モデル出力の中心傾向の尺度を計算することによって、集団によって生成されたモデル出力を組み合わせることができる。組み合わされた出力は次いで、システム100によってモデル出力132として扱われ得る。

図2Aは、健康分析データを生成するための例示的プロセス200の流れ図である。便宜上、プロセス200は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス200を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ202)。

概して、眼底画像データは、患者の眼の1つまたは複数の底部画像を含む。

いくつかの実装形態では、眼底画像データは、単一の眼底画像、たとえば、患者の眼底の現在の状態をキャプチャする画像を含む。

いくつかの他の実装形態では、眼底画像データは、患者の眼底の現在の状態をキャプチャする複数の眼底画像を含む。たとえば、眼底画像データは、患者の左眼の中の底部の1つまたは複数の画像と、患者の右眼の中の底部の1つまたは複数の画像とを含み得る。別の例として、眼底画像は、複数の異なるタイプの眼底写真を含み得る。たとえば、眼底画像は、カラー眼底写真、立体眼底写真、広角もしくは超広角眼底写真、または走査型レーザー検眼鏡検査(SLO)眼底写真のうちの2つ以上を含み得る。さらに別の例として、眼底画像は、異なる撮像技術、たとえば、光干渉断層法(OCT)およびハイデルベルク網膜断層撮影(HRT)を使用してキャプチャされた複数の画像を含み得る。

さらに他の実装形態では、眼底画像データは、眼底の状態が時間とともにどのように進展したかをキャプチャする眼底画像の時間シーケンスを含む。つまり、時間シーケンスは、各眼底画像が異なる時間に撮られた複数の眼底画像を含む。いくつかの実装形態では、眼底画像は、最も直近でないものから最も直近のものへと、時間シーケンスで並べられる。

他の患者データは、患者の眼を特徴づけるデータ、患者を概して特徴づけるデータ、または両方である。たとえば、他の患者データは、眼球測定データ、たとえば、眼圧、視野、視力、中心角膜厚など、患者人口統計、たとえば、年齢、性別、民族性、家族歴など、または両方を含み得る。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、モデル出力を生成する(ステップ204)。

任意選択で、機械学習モデルを使用して眼底画像データを処理するのに先立って、システムは、眼底画像を前処理することができる。たとえば、所与の画像について、システムは、機械学習モデルによって生成される出力の品質を向上するために、様々な従来の画像処理技法のうちのどれを画像に適用してもよい。一例として、システムは、画像をクロップし、スケーリングし、デスキューし、またはリセンタリングすることができる。別の例として、システムは、たとえば、ぶれを取り除くため、または画像を焦点調整するために、従来の画像処理技法を使用して、画像から歪みを取り除くことができる。

眼底画像データが単一の眼底画像を含む実装形態では、眼底画像処理機械学習モデルは、眼底画像データと、任意選択で、他の患者データとを処理して、患者の健康の特定の側面を特徴づけるモデル出力を生成するように適切に標示されたトレーニングデータについてトレーニングされることによって構成されたフィードフォワード機械学習モデルである。たとえば、眼底画像処理機械学習モデルは、深層畳み込みニューラルネットワークであってよい。本明細書に記載される、眼底画像を処理してモデル出力を生成するようにトレーニングされ得る深層畳み込みニューラルネットワークの例が、Szegedy, Christianら「Going deeper with convolutions」、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2015年に記載されている。本明細書に記載される、眼底画像を処理してモデル出力を生成するようにトレーニングされ得る、残差接続をもつ畳み込みニューラルネットワークを含む深層畳み込みニューラルネットワークの他の例が、http://arxiv.org/abs/1602.07261において入手可能な、Szegedy, Christianら、「Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning」に記載されている。

眼底画像データが、患者の眼底の現在の状態を特徴づける複数の眼底画像を含む実装形態では、眼底画像処理機械学習モデルは、眼底画像すべてを処理して、患者の健康の特定の側面を特徴づけるモデル出力を生成するように適切に標示されたトレーニングデータについてトレーニングされることによって構成されたフィードフォワード眼底画像処理機械学習モデルであってよい。たとえば、眼底画像処理機械学習モデルは、畳み込みレイヤの複数のタワーを含む深層畳み込みニューラルネットワークであってよい。本明細書に記載される、複数の眼底画像を処理してモデル出力を生成するようにトレーニングされ得る深層畳み込みニューラルネットワークの例が、Yue-Hei Ng, Joeら、「Beyond short snippets: Deep networks for video classification」、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition、2015年に記載されている。

眼底画像データが眼底画像の時間シーケンスを含む実装形態では、眼底画像処理機械学習モデルは、各画像を時間シーケンスで1つずつ処理して、各画像について、リカレント眼底画像処理機械学習モデルの内部状態を更新し、時間シーケンスでの最終画像が処理された後、患者の健康の特定の側面を特徴づけるモデル出力を生成するように構成されたリカレント眼底画像処理機械学習モデルであってよい。たとえば、眼底画像処理機械学習モデルは、1つまたは複数の長短期メモリ(LSTM)レイヤを含むリカレントニューラルネットワークであってよい。本明細書に記載される、眼底画像のシーケンスを処理してモデル出力を生成するようにトレーニングされ得るリカレントニューラルネットワークが、Venugopalan, Subhashiniら、「Sequence to sequence-video to text」、Proceedings of the IEEE International Conference on Computer Vision、2015年に記載されている。

いくつかの実装形態では、モデル出力は、特定の医学的コンディションに特有である。特定の医学的コンディションに特有であるモデル出力については、図3〜図6を参照して以下でより詳しく説明する。

いくつかの他の実装形態では、モデル出力は、患者の眼の底部の将来の状態の予測である。眼底の将来の状態の予測であるモデル出力については、図7を参照して以下でより詳しく説明する。

さらに他の実装形態では、モデル出力は、特定の健康事象が将来起こるリスクの予測である。特定の事象が起こるリスクの予測であるモデル出力については、図8を参照して以下でより詳しく説明する。

さらに他の実装形態では、モデル出力は、患者の健康全般を特徴づける。患者の健康全般を特徴づけるモデル出力については、図9を参照して以下でより詳しく説明する。

さらに他の実装形態では、モデル出力は、特定の種類の健康関連リスクに寄与する因子の値の予測である。リスク因子の値の予測であるモデル出力については、図10を参照して以下でより詳しく説明する。

システムは、モデル出力から健康分析データを生成する(ステップ206)。概して、健康分析データは、モデル出力を、システムのユーザに提示され得るように特徴づける。

いくつかの実装形態では、健康分析データは、モデル出力を生成するときに機械学習モデルが焦点を合わせた、1つまたは複数の眼底画像の部分を説明する、機械学習モデルの中間出力から導出されたデータも含む。具体的には、いくつかの実装形態では、機械学習モデルは、入力眼底画像の複数の領域の各々に、それぞれの注意の重みを割り当て、次いで、それらの領域から抽出された特徴に、注意の重みに従って注意を払う注意機構を含む。これらの実装形態では、システムは、注意の重みを識別し、生成されたデータを健康分析データの一部として含むデータを生成し得る。たとえば、生成されたデータは、画像の領域に割り当てられた注意の重みを反映する、眼底画像の注意マップであってよい。たとえば、注意マップは、モデル出力を生成するときに機械学習モデルが焦点を合わせた、患者の眼底のエリアを識別するように、眼底画像の上にオーバーレイされ得る。機械学習モデルによって焦点を合わせられた、眼底のエリアを識別するデータの生成については、図11を参照して以下でより詳しく説明する。

システムは次いで、たとえば、患者のユーザコンピュータ上もしくは医療専門家のコンピュータ上でのユーザインターフェースにおける、ユーザへの表示のために、健康分析データを提供し、または健康分析データを将来の使用のために記憶することができる。

図2Bは、眼底画像処理機械学習モデル130による、例示的眼底画像150の処理を示す。具体的には、図2Bの例では、眼底画像処理機械学習モデル130は、眼底画像150を受信し、眼底画像150を処理して、患者の健康の特定の側面を特徴づけるモデル出力を生成するように構成された深層畳み込みニューラルネットワークである。

図2Bに示す畳み込みニューラルネットワークは、深層畳み込みニューラルネットワークの簡略化された例であり、畳み込みニューラルネットワークレイヤ162のセットを含み、全結合レイヤ164のセット、および出力レイヤ166が続く。実際には、深層畳み込みニューラルネットワークは、他のタイプのニューラルネットワークレイヤ、たとえば、プーリングレイヤ、正規化レイヤなどを含んでよく、様々な構成で、たとえば、複数のモジュール、複数のサブネットワークなどとして配置され得ることが理解されよう。

畳み込みニューラルネットワークによる眼底画像150の処理中、出力レイヤ166は、全結合レイヤ164のセットの中の最終全結合レイヤによって生成された出力を受信し、眼底画像150についてのモデル出力を生成する。図2Bの例では、モデル出力は、出力レイヤ166中の対応するノードによって各スコアが生成された、スコア170のセットである。以下でより詳しく説明されるように、いくつかのケースでは、スコア170のセットは、特定の医学的コンディションに特有である。いくつかの他のケースでは、スコア170のセットの中の各スコアは、それぞれの健康事象が将来起こるリスクの予測である。さらに他のケースでは、スコア170のセットの中のスコアは、患者の健康全般を特徴づける。

スコア170のセットが生成されると、眼底画像分析システムは、患者の健康の側面を特徴づける患者健康分析データをスコア170から生成し、健康分析データを、たとえば、患者のユーザコンピュータ上の、もしくは医療専門家のコンピュータ上のユーザインターフェースにおける、ユーザへの表示のために提供し、健康分析データを将来の使用のために記憶し、または健康分析データを、何らかの他の当座の目的での使用のために提供する。

図3は、特定の医学的コンディションに特有の健康分析データを生成するための例示的プロセス300の流れ図である。便宜上、プロセス300は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス300を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ302)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、コンディション状態スコアのセットを生成する(ステップ304)。

概して、コンディション状態スコアのセットは、システムが分析するように構成されている特定の医学的コンディションに特有である。

いくつかの実装形態では、医学的コンディションは、特定の眼関連コンディションである。

たとえば、特定の眼関連コンディションは緑内障であってよい。概して、緑内障とは、視神経が損傷したコンディションであり、盲目という結果になる場合がある。

別の例として、特定の眼関連コンディションは加齢黄斑変性であってよい。概して、加齢黄斑変性とは、黄斑、すなわち網膜の中心近くのエリアが劣化したコンディションであり、部分または完全失明を引き起こし得る。

別の例として、特定の眼関連コンディションは網膜剥離であってよい。概して、網膜剥離とは、網膜が、支持組織のその下位層から部分的にまたは完全にのいずれかで剥離する疾患である。

さらに別の例として、特定の眼関連コンディションは視界閉塞であってよい。概して、視界閉塞とは、眼の何らかの部分との間で、たとえば、網膜との間で血液を運ぶ血管の遮断または閉鎖である。

いくつかの他の実装形態では、特有のコンディションは、眼関連コンディションではなく、神経変性コンディション、たとえば、パーキンソン病もしくはアルツハイマー病、または眼底撮像法を使用して効果的に分析され得る別のコンディションである。

いくつかの実装形態では、コンディション状態スコアのセットは、患者が医学的コンディションを有する見込みを表す単一のスコアを含む。

たとえば、緑内障のケースでは、単一のスコアは、患者が緑内障を有する見込みを表し得る。

別の例として、加齢黄斑変性のケースでは、単一のスコアは、患者が加齢黄斑変性を有する見込みを表し得る。

別の例として、網膜剥離のケースでは、単一のスコアは、患者が網膜剥離を有する見込みを表し得る。

別の例として、視界閉塞のケースでは、単一のスコアは、患者が1つまたは複数の視界閉塞を有する見込みを表し得る。

別の例として、神経変性コンディションのケースでは、単一のスコアは、患者が神経変性コンディション、たとえば、パーキンソン病またはアルツハイマー病を有する見込みを表し得る。

いくつかの他の実装形態では、コンディション状態スコアのセットは、医学的コンディションの複数の可能レベルの各々についてのそれぞれのスコアを含み、各コンディションスコアは、対応するレベルが患者についてのコンディションの現在のレベルである見込みを表す。

たとえば、緑内障のケースでは、スコアのセットは、緑内障ではないこと、軽症または早期段階緑内障、中期段階緑内障、重篤段階緑内障、および任意選択で、不確定または不特定段階についてのスコアを含み得る。

別の例として、加齢黄斑変性のケースでは、スコアのセットは、黄斑変性ではないこと、早期段階黄斑変性、中間黄斑変性、進行性黄斑変性、および任意選択で、不確定または不特定段階についてのスコアを含み得る。

別の例として、網膜剥離のケースでは、スコアのセットは、網膜剥離ではないこと、初期網膜剥離、すなわち、網膜裂孔または網膜裂隙のみ、進行性網膜剥離、および任意選択で、不確定または不特定段階についてのスコアを含み得る。

別の例として、視界閉塞のケースでは、スコアのセットは、視界閉塞ではないこと、軽度視界閉塞、重度視界閉塞、および任意選択で、不確定または不特定段階についてのスコアを含み得る。

別の例として、神経変性コンディションのケースでは、スコアのセットは、神経変性コンディションなしについてのスコア、神経変性コンディションの複数の段階の各々についてのスコア、および任意選択で、不確定または不特定段階を含み得る。

システムは、コンディション状態スコアから健康分析データを生成する(ステップ306)。たとえば、システムは、患者が医学的コンディションを有する見込みを識別するか、または最も高いコンディション状態スコアを有する1つもしくは複数のコンディションレベルを識別する健康分析データを生成することができる。

図4は、患者追跡調査アクションを識別する健康分析データを生成するための例示的プロセス400の流れ図である。便宜上、プロセス400は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス400を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ402)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、追跡調査スコアのセットを生成する(ステップ404)。

追跡調査スコアのセットは、特定の医学的コンディションを治療するために患者によってとることができる複数の可能追跡調査アクションの各々についてのそれぞれのスコアを含む。たとえば、可能追跡調査アクションのセットは、未来時に再スクリーニングを実施すること、未来時に医者を訪ねること、および直ちに医者を訪ねることを含み得る。各追跡調査スコアは、対応する追跡調査アクションが、医学的コンディションを効果的に治療するためにとられるべき適切なアクションである見込みを表す。

システムは、追跡調査スコアから健康分析データを生成する(ステップ406)。たとえば、システムは、最も高い追跡調査スコアを有する追跡調査アクションを患者がとることを勧める健康分析データを生成することができる。

図5は、医学的コンディションの進行見込みを予測する健康分析データを生成するための例示的プロセス500の流れ図である。便宜上、プロセス500は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス500を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ502)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、進行スコアのセットを生成する(ステップ504)。進行スコアのセットは、システムが分析するように構成されている特定の医学的コンディションに特有である。コンディション状態スコアのセットは、医学的コンディションの複数の可能レベルの各々についてのそれぞれのスコアを含み、各コンディションスコアは、対応するレベルが、所定の未来時に、たとえば、6か月後、1年後、または5年後に、患者についてのコンディションのレベルとなる見込みを表す。

たとえば、緑内障のケースでは、スコアのセットは、緑内障でないこと、軽症または早期段階緑内障、中期段階緑内障、および重篤段階緑内障についてのスコアを含んでよく、各段階についてのスコアは、対応する段階が、未来時に患者についての緑内障の段階となる見込みを表す。

別の例として、加齢黄斑変性のケースでは、スコアのセットは、黄斑変性でないこと、早期段階黄斑変性、中間段階黄斑変性、および進行段階黄斑変性についてのスコアを含んでよく、任意選択で、各段階についてのスコアは、対応する段階が、未来時に患者についての黄斑変性の段階となる見込みを表す。

別の例として、神経変性コンディションのケースでは、スコアのセットは、神経変性コンディションなしについてのスコアおよび神経変性コンディションの複数の段階の各々についてのスコアを含んでよく、各段階についてのスコアは、対応する段階が、未来時における患者についてのコンディションの段階となる見込みを表す。

システムは、進行スコアから健康分析データを生成する(ステップ506)。健康分析データは、患者についての医学的コンディションの進行見込みを識別する。たとえば、システムは、可能コンディションレベルのうちの1つまたは複数と、各可能コンディションレベルについて、対応するレベルが患者についてのコンディションの将来のレベルとなる見込みとを識別する健康分析データを生成することができる。

図6は、所与の患者についての医学的コンディションに対する適切な治療を予測する健康分析データを生成するための例示的プロセス600の流れ図である。便宜上、プロセス600は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス600を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ602)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、治療スコアのセットを生成する(ステップ604)。

治療スコアのセットは、所与の医学的コンディションに対する複数の可能治療の各々についてのそれぞれのスコアを含み、各治療スコアは、対応する治療が現在の患者についてのコンディションに対して最も効果的な治療である見込みを表す。

たとえば、治療スコアのセットは、医学的コンディションを有する患者に処方され得る複数の薬剤の各々についてのそれぞれのスコアを含み得る。

別の例として、治療スコアのセットは、所与の医学的コンディションに対する複数の治療計画の各々についてのそれぞれのスコア、たとえば、1つまたは複数の医療処置についてのそれぞれのスコアと、処置なしのリハビリテーションについてのスコアとを含み得る。

システムは、治療スコアから健康分析データを生成する(ステップ606)。たとえば、健康分析データは、最も高いスコアの治療のうちの1つまたは複数を識別することができる。

図7は、予測される眼底画像を含む健康分析データを生成するための例示的プロセス700の流れ図である。便宜上、プロセス700は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス700を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ702)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、予測される眼底画像を生成する(ステップ704)。

予測される眼底画像は、特定の未来時に、たとえば、6か月後、1年後、または5年後に見られることが予測される、患者の眼の底部の画像である。

たとえば、眼底画像処理機械学習モデルは、入力眼底画像中の各ピクセルについて、特定の未来時におけるピクセルの色を予測するためのトレーニングを通して構成された畳み込みニューラルネットワークであってよい。

別の例として、眼底画像データが眼底画像の時間シーケンスを含む場合、眼底画像処理機械学習モデルは、シーケンス中の最も直近の眼底画像中の各ピクセルについて、特定の未来時におけるピクセルの色を予測するためのトレーニングを通して構成されたリカレントニューラルネットワークであってよい。システムは、ピクセルについての予測される色値を、予測される眼底画像を生成するのに使うことができる。

システムは、予測される眼底画像から健康分析データを生成する(ステップ706)。たとえば、健康分析データは、予測される眼底画像と、任意選択で、追加健康分析データとを含み得る。

図8は、健康事象が起こるリスクを予測する健康分析データを生成するための例示的プロセス800の流れ図である。便宜上、プロセス800は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス800を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ802)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、リスクスコアのセットを生成する(ステップ804)。

いくつかの実装形態では、リスクスコアのセットは、特定の種類のリスクを測定する単一のスコアを含む。たとえば、スコアは、患者の予測される心血管性リスクを測定することができ、たとえば、患者の10年間の心血管性リスクを測定する、予測されるフラミンガムリスクスコアであってよい。

いくつかの他の実装形態では、リスクスコアのセットは、特定の望ましくない健康事象に特有であり得る。

たとえば、望ましくない健康事象は、心臓発作、卒中、死、入院、転倒、術前または術後の合併症などであり得る。これらの実装形態のうちのいくつかでは、リスクスコアのセットは、望ましくない健康事象が将来、たとえば、指定された未来の時間窓内に起こる見込みを表す単一のスコアを含む。これらの実装形態のうちの他のものでは、リスクスコアのセットは、健康事象についての複数のリスクレベル、たとえば、低、中、および高の各々についてのそれぞれのスコアを含み、各リスクスコアは、対応するリスクレベルが、健康事象が起こる現在のリスクレベルである見込みを表す。

さらに他の実装形態では、スコアのセットは複数のスコアを含んでよく、各スコアは、それぞれの望ましくない健康事象に対応し、対応する望ましくない健康事象が将来、たとえば、指定された未来の時間窓内に起こる見込みを表す。

システムは、リスクスコアから健康分析データを生成する(ステップ806)。たとえば、スコアのセットが単一のスコアを含む実装形態では、健康分析データは単一のスコアを識別することができる。別の例として、スコアのセットが複数のスコアを含む場合、健康分析データは最も高いスコアのリスクレベルを識別することができる。

図9は、患者の健康全般を特徴づける健康分析データを生成するための例示的プロセス900の流れ図である。便宜上、プロセス900は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス900を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ902)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、ウェルネススコアのセットを生成する(ステップ904)。

いくつかの実装形態では、ウェルネススコアのセットは、患者の健康全般を所定のスケールで測定する単一のスコアを含む。

いくつかの他の実装形態では、ウェルネススコアのセットは、患者の健康全般を各々が特徴づける複数のウェルネスラベルの各々についてのそれぞれのスコアを含み得る。たとえば、ウェルネスラベルは、「非常に健康」、「健康」、「やや不健康」、および「非常に不健康」であり得る。各スコアは、対応するウェルネスラベルが患者の現在の健康を正確に特徴づける見込みを表す。したがって、たとえば「非常に健康」というウェルネスラベルについてのスコアは、患者が非常に健康である見込みを表し、「やや不健康」というラベルについてのスコアは、患者がやや不健康である見込みを表す。

システムは、ウェルネススコアから健康分析データを生成する(ステップ906)。たとえば、スコアのセットが単一のスコアを含む実装形態では、健康分析データは単一のスコアを識別することができる。別の例として、スコアのセットが複数のスコアを含む場合、健康分析データは最も高いスコアのウェルネスラベルを識別することができる。

図10は、1つまたは複数のリスク因子についての予測値を含む健康分析データを生成するための例示的プロセス1000の流れ図である。便宜上、プロセス1000は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス1000を実施することができる。

システムは、1つまたは複数の眼底画像を含む入力眼底画像データを受信する(ステップ1002)。

システムは、眼底画像処理機械学習モデルを使用して入力眼底画像データを処理して、1つまたは複数のリスク因子の各々についてのそれぞれの予測値を生成する(ステップ1004)。

リスク因子の各々は、患者に対して起こる健康関連事象の特定のセットのうちの1つのリスクに寄与する因子である。たとえば、リスクが心血管性リスクであるとき、健康関連事象の特定のセットは、重大心血管性健康事象、たとえば、心筋梗塞、心不全、経皮心臓インターベンション、冠動脈バイパス移植、悪性律動不整、心原性ショック、植込み型除細動器、悪性律動不整、心関連死などとして分類される健康事象であり得る。

心血管性リスクの例を続けると、リスク因子は、年齢、性別、ボディマス指数、収縮期血圧、拡張期血圧、HbA1c(グリコヘモグロビン)の尺度、または喫煙状況、すなわち、患者が煙草を吸うかどうかのうちの1つまたは複数を含み得る。

いくつかの実装形態では、システムは、リスク因子の異なるサブセットについての予測値を各々が生成する複数の機械学習モデルを利用する。たとえば、あるモデルが、たとえば喫煙状況および性別など、2つの値のうちの1つだけをとり得るバイナリリスク因子についての予測値を生成することができ、別のモデルは、たとえば年齢、ボディマス指数、および血圧など、ある程度の値範囲からの連続値をとり得る継続的リスク因子についての予測値を生成することができる。2つのモデルの各々は、同様のアーキテクチャを有し得るが、異なるパラメータ値をもつ。

システムは、予測値から健康分析データを生成する(ステップ1006)。たとえば、健康分析データは、各生成された予測値を識別することができる。いくつかのケースでは、システムは、予測値を、特定のリスクの尺度を計算するのに使い、リスクの計算された尺度を、健康分析データの一部として提供することができる。たとえば、システムは、予測値を、リスクの尺度を予測するように構成された別の機械学習モデルに、または計算された尺度を取得するためのハードコード化公式に、入力として提供することができる。たとえば、心血管性リスクのケースでは、システムは、予測値を使用してフラミンガムリスクスコアを計算することができる。代替として、システムは、予測値を、リスク因子の値に基づいてリスク尺度を予測するようにトレーニングされている機械学習モデルに入力として提供することができる。

図11は、モデル出力を生成するときに機械学習モデルによって焦点を合わせられた、眼底画像中のロケーションを識別するデータを含む健康分析データを生成するための例示的プロセス1100の流れ図である。便宜上、プロセス1100は、1つまたは複数のロケーションにある1つまたは複数のコンピュータからなるシステムによって実施されるものとして記載される。たとえば、眼底画像分析システム、たとえば、適切にプログラムされた図1の眼底画像分析システム100が、プロセス1100を実施することができる。

システムは、入力眼底画像データと、任意選択で、他の患者データとを受信する(ステップ1102)。

システムは、眼底画像処理機械学習モデルを使用して、入力眼底画像データと、任意選択で、他の患者データとを処理して、モデル出力を生成する(ステップ1104)。モデル出力は、図2〜図10を参照して上述したモデル出力のうちのいずれであってもよい。

具体的には、機械学習モデルは、1つまたは複数の初期畳み込みレイヤと、それに続く注意機構と、それに続く1つまたは複数の追加ニューラルネットワークレイヤとを含むモデルである。

初期畳み込みレイヤは、眼底画像データ中の各眼底画像を処理して、眼底画像中の複数の領域の各々についてのそれぞれの特徴ベクトルを抽出する。

注意機構は、眼底画像中の領域の各々についての注意の重みを判断し、次いで、対応する注意の重みに従って、特徴ベクトルに注意を払って、注意出力を生成する。概して、注意機構は、特徴ベクトルの加重和または加重平均を計算することによって、特徴ベクトルに注意を払い、各特徴ベクトルについての重みは、対応する領域についての注意の重みである。注意の重みを判断するために、システムは、特徴ベクトルの各々と、眼底画像についてのモデル出力の生成との関連性を判断するのに、様々な注意方式のうちのいずれをも使い、次いで、判断された関連性を正規化して、注意の重みを計算することができる。例示的注意方式は、1つまたは複数の全結合レイヤを使用して特徴ベクトルを処理して関連性を判断すること、および特徴ベクトルと学習されたコンテキストベクトルとの間のコサイン類似度を計算することによって所与の特徴ベクトルの関連性を判断することを含む。眼底画像処理機械学習モデルでの使用に適応され得る例示的注意機構が、https://arxiv.org/abs/1502.03044において入手可能な「Show, Attend and Tell: Neural Image Caption Generation with Visual Attention」、Xuらに記載されている。

注意機構に続く追加ニューラルネットワークレイヤは、眼底画像の各々についての注意出力を受信し、注意出力からモデル出力を生成する。たとえば、機械学習モデルがリカレントニューラルネットワークであるとき、追加ニューラルネットワークレイヤは、1つまたは複数のリカレントレイヤを含む。機械学習モデルが畳み込みニューラルネットワークであるとき、追加ニューラルネットワークレイヤは、畳み込みニューラルネットワークレイヤ、全結合レイヤまたは他の従来のフィードフォワードニューラルネットワークレイヤを含み得る。

システムは、リスクスコアから健康分析データを生成する(ステップ1106)。具体的には、上述したように、健康分析データは、モデル出力を、システムのユーザに提示され得るように特徴づける。

さらに、健康分析データは、機械学習モデルが、モデル出力を生成するために焦点を合わせた、眼底画像のエリアを特徴づけるデータを含む。具体的には、健康分析データは、眼底画像中の領域に割り当てられた注意の重みを識別するデータを含む。たとえば、システムは、眼底画像中の各ピクセルについて、ピクセルに割り当てられた注意の重み、すなわち、ピクセルが属す画像の領域についての注意の重みを識別する注意マップを生成することができる。たとえば、注意マップは、注意の重みを色として表す熱マップであってよい。いくつかの実装形態では、システムは、注意マップを、対応する眼底画像のオーバーレイとして提供する。

本明細書は、「構成される」という用語を、システムおよびコンピュータプログラム構成要素との関連で使っている。1つまたは複数のコンピュータからなるシステムが特定の動作またはアクションを実施するように構成されることは、システムが、動作の際にシステムに動作またはアクションを実施させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをインストールしたことを意味する。1つまたは複数のコンピュータプログラムが、特定の動作またはアクションを実施するように構成されることは、1つまたは複数のプログラムが、データ処理装置によって実行されると、動作またはアクションを装置に実施させる命令を含むことを意味する。

本明細書に記載する主題および機能的動作の実施形態は、デジタル電子回路機構で、または有形に実施されるコンピュータソフトウェアもしくはファームウェアで、本明細書において開示した構造およびそれらの構造的等価物を含むコンピュータハードウェアで、またはそれらのうちの1つもしくは複数の、組合せで実装することができる。本明細書において説明される主題の実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、有形の非一時的記憶媒体に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実装することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの1つもしくは複数の、組合せであってよい。代替または追加として、プログラム命令は、データ処理装置による実行のために、適切な受信機装置への送信用の情報を符号化するように生成される、人工的に生成された伝搬信号、たとえば、機械生成された電気、光学、または電磁信号上で符号化することができる。

「データ処理装置」という用語は、データ処理ハードウェアを指し、例として、プログラム可能プロセッサ、1つのコンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するための、あらゆる種類の装置、デバイス、および機械を包含する。装置はまた、またはさらに、特殊目的論理回路機構、たとえば、FPGA(フィールドプログラム可能ゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置は、任意選択で、ハードウェアに加え、コンピュータプログラムのための実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの1つもしくは複数の、組合せを構成するコードを含むことができる。

コンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリ、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれるか、または記載される場合もあり、コンパイル型もしくはインタープリタ型言語、または宣言型もしくは手続き型言語を含む、どの形のプログラミング言語でも書かれてよく、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、もしくはコンピューティング環境における使用に適した他の単位として、を含む、どの形でも展開することができる。プログラムが、ファイルシステム内のファイルに対応してよいが、そうである必要はない。プログラムは、他のプログラムもしくはデータ、たとえば、マークアップ言語ドキュメント、問題になっているプログラムに専用の単一のファイルに、または複数の協調ファイル、たとえば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの部分を記憶するファイルに記憶された1つもしくは複数のスクリプトを保持するファイルの一部分に記憶することができる。コンピュータプログラムは、1つのコンピュータ上または1つの場所に置かれた複数のコンピュータ上、もしくは複数の場所に分散され、データ通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

本明細書では、「データベース」という用語は、データのどの集合体も指すように広く使われ、データは、どの特定のやり方で構造化される必要も、まったく構造化される必要もなく、1つまたは複数のロケーションで記憶デバイス上に記憶されてよい。したがって、たとえば、インデックスデータベースは、データの複数の集合体を含んでよく、それらの各々は、異なるやり方で編成され、アクセスされ得る。

同様に、本明細書では、「エンジン」という用語は、1つまたは複数の固有機能を実施するようにプログラムされている、ソフトウェアベースのシステム、サブシステム、またはプロセスを指すように広く使われている。概して、エンジンは、1つまたは複数のソフトウェアモジュールまたは構成要素として実装され、1つまたは複数のコンピュータ上で1つまたは複数のロケーションにインストールされる。いくつかのケースでは、1つまたは複数のコンピュータは特定のエンジンに専用であり、他のケースでは、複数のエンジンが、同じ1つのコンピュータまたは複数のコンピュータ上でインストールされ、稼動している場合がある。

本明細書に記載したプロセスおよび論理フローは、入力データに対して動作し、出力を生成することによって機能を実施するための1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実施することができる。プロセスおよび論理フローは、特殊目的論理回路機構、たとえば、FPGAもしくはASICによって、または特殊目的論理回路機構と1つもしくは複数のプログラムされたコンピュータの組合せによって実施されてもよい。

コンピュータプログラムの実行に適したコンピュータは、汎用もしくは特殊目的マイクロプロセッサもしくは両方、またはどの他の種類の中央処理ユニットに基づいてもよい。概して、中央処理ユニットは、読取り専用メモリもしくはランダムアクセスメモリまたは両方から、命令およびデータを受信することになる。コンピュータの本質的要素は、命令を実施または実行するための中央処理ユニット、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。中央処理ユニットおよびメモリは、特殊目的論理回路機構によって補完することも、その中に組み込むこともできる。概して、コンピュータは、データを記憶するための1つまたは複数の大容量記憶デバイス、たとえば、磁気、光磁気ディスク、または光ディスクも含み、あるいは大容量記憶デバイスからデータを受信し、もしくはデータを転送し、または両方を行うように大容量記憶デバイスに動作可能に結合される。ただし、コンピュータは、そのようなデバイスを有する必要はない。その上、コンピュータは、別のデバイス、たとえば、ほんのいくつかの例を挙げれば、モバイル電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブル記憶デバイス、たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブに組み込むことができる。

コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスと、磁気ディスク、たとえば、内部ハードディスクまたは取外し可能ディスクと、光磁気ディスクと、CD ROMおよびDVD-ROMディスクとを含む、あらゆる形の不揮発性メモリ、媒体およびメモリデバイスを含む。

ユーザとの対話を可能にするために、本明細書に記載する主題の実施形態は、ユーザに情報を表示するための表示デバイス、たとえば、CRT(陰極線管)やLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を与えることが可能なキーボードおよびポインティングデバイス、たとえば、マウスやトラックボールとを有するコンピュータ上で実装することができる。他の種類のデバイスも、ユーザとの対話を可能にするのに使うことができ、たとえば、ユーザに与えられるフィードバックは、どの形の感覚フィードバックでも、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってよく、ユーザからのインプットは、音響、発話、または触覚インプットを含む、どの形でも受信することができる。さらに、コンピュータは、ユーザによって使われるデバイスへドキュメントを送信し、デバイスからドキュメントを受信することによって、たとえば、ウェブブラウザから受信された要求に応答して、ユーザのデバイス上のウェブブラウザへウェブページを送信することによって、ユーザと対話することができる。また、コンピュータは、パーソナルデバイス、たとえば、メッセージングアプリケーションを稼動しているスマートフォンにテキストメッセージまたは他の形のメッセージを送り、ユーザから引き換えに応答メッセージを受信することによって、ユーザと対話することができる。

機械学習モデルを実装するためのデータ処理装置は、たとえば、機械学習トレーニングまたは生産、すなわち、推論、作業負荷の共通および計算集約的部分を処理するための特殊目的ハードウェアアクセラレータユニットも含むことができる。

機械学習モデルは、機械学習フレームワーク、たとえば、TensorFlowフレームワーク、Microsoft Cognitive Toolkitフレームワーク、Apache Singaフレームワーク、またはApache MXNetフレームワークを使用して実装され、展開され得る。

本明細書に記載する主題の実施形態は、バックエンド構成要素を、たとえばデータサーバとして含む、もしくはミドルウェア構成要素、たとえばアプリケーションサーバを含む、もしくはフロントエンド構成要素、たとえば、本明細書に記載する主題の実装形態とユーザが対話することができるためのグラフィカルユーザインターフェース、ウェブブラウザ、もしくはアプリを有するクライアントコンピュータを含むコンピューティングシステム、または1つもしくは複数のそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素のどの組合せでも実装することができる。システムの構成要素は、どの形または媒体のデジタルデータ通信(たとえば、通信ネットワーク)によっても相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(LAN)およびワイドエリアネットワーク(WAN)、たとえば、インターネットがある。

コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントとサーバは概して、互いから離れており、通常、通信ネットワークを通して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で稼動するとともに互いとのクライアント-サーバ関係を有するコンピュータプログラムにより発生する。いくつかの実施形態では、たとえば、クライアントとして作用するデバイスと対話しているユーザに対してデータを表示し、ユーザからユーザ入力を受信する目的で、サーバが、データ、たとえば、HTMLページをユーザデバイスへ送信する。ユーザデバイスにおいて生成されたデータ、たとえば、ユーザ対話の結果が、サーバにおいてデバイスから受信され得る。

本明細書は、多くの具体的な実装詳細を含むが、これらは、いかなる発明の範囲に対する、または請求され得るものの範囲に対する限定としても解釈されるべきでなく、特定の発明の特定の実施形態に特有な場合がある特徴の記述として解釈されるべきである。また、別個の実施形態の文脈において本明細書で説明したいくつかの特徴は、単一の実施形態において組み合わせて実装することができる。逆に、単一の実施形態の文脈において記載される様々な特徴はまた、複数の実施形態において別々に、またはどの適切な部分組合せでも実装することができる。さらに、特徴は、いくつかの組合せで働くものとして上記で説明され、初めにそのように請求される場合さえあるが、請求される組合せからの1つまたは複数の特徴は、場合によってはその組合せから削除することができ、請求される組合せは、部分組合せ、または部分組合せの変形形態を対象とすることができる。

同様に、動作は、特定の順序において図面に示され、請求項に具陳されているが、これは、そのような動作が図示された特定の順序において、もしくは順次に実施されることを必要とするか、または、所望の結果を達成するためにすべての示された動作が実施されることを必要とするものと理解されるべきではない。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。その上、上述した実施形態における様々なシステムモジュールおよび構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではなく、記載したプログラム構成要素およびシステムは概して、単一のソフトウェア製品に一緒に統合されるか、または複数のソフトウェア製品にパッケージングされることが可能であることを理解されたい。

本主題の特定の実施形態について記載した。他の実施形態は、以下の特許請求の範囲内である。たとえば、請求項に具陳されるアクションは、異なる順序で実施され、依然として望ましい結果を達成することができる。一例として、添付の図面に示されるプロセスは、望ましい結果を達成するのに、図示される特定の順序、または順番を必ずしも求めない。いくつかのケースでは、マルチタスキングおよび並列処理が有利であり得る。

100 眼底画像分析システム、システム
110 眼底画像キャプチャシステム、画像キャプチャシステム
120 画像キャプチャデバイス
130 眼底画像処理機械学習モデル、機械学習モデル
140 患者健康分析サブシステム
162 畳み込みニューラルネットワークレイヤ
164 全結合レイヤ
166 出力レイヤ

Claims (111)

1つまたは複数の眼底画像を含むモデル入力を取得するステップであって、各眼底画像は患者の眼の底部の画像である、ステップと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理するステップであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、緑内障に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、ステップと、
前記モデル出力を処理して、緑内障に関する、前記患者の健康の側面を分析する健康分析データを生成するステップと
を含む方法。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項1に記載の方法。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項1または2に記載の方法。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項1または2に記載の方法。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項1または2に記載の方法。

前記モデル出力は、前記患者が緑内障を有する見込みを表すコンディション状態スコアを含む、請求項1から5のいずれか一項に記載の方法。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、緑内障のそれぞれの可能レベルに対応し、各コンディション状態スコアは、緑内障の前記対応する可能レベルが前記患者についての緑内障の現在のレベルであるそれぞれの見込みを表す、請求項1から5のいずれか一項に記載の方法。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記緑内障を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記緑内障を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項1から5のいずれか一項に記載の方法。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記緑内障のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記緑内障の前記レベルとなるそれぞれの見込みを表す、請求項1から5のいずれか一項に記載の方法。

1つまたは複数のコンピュータと、命令を記憶した1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、緑内障に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、緑内障に関する、前記患者の健康の側面を分析する健康分析データを生成することと
を含む動作を実施させる、システム。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項10に記載のシステム。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項10または11に記載のシステム。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項10または11に記載のシステム。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項10または11に記載のシステム。

前記モデル出力は、前記患者が緑内障を有する見込みを表すコンディション状態スコアを含む、請求項10から14のいずれか一項に記載のシステム。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、緑内障のそれぞれの可能レベルに対応し、各コンディション状態スコアは、緑内障の前記対応する可能レベルが前記患者についての緑内障の現在のレベルであるそれぞれの見込みを表す、請求項10から14のいずれか一項に記載のシステム。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記緑内障を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記緑内障を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項10から14のいずれか一項に記載のシステム。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記緑内障のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記緑内障の前記レベルとなるそれぞれの見込みを表す、請求項10から14のいずれか一項に記載のシステム。

1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに動作を実施させる命令で符号化されたコンピュータ記憶媒体であって、前記動作は、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、緑内障に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、緑内障に関する、前記患者の健康の側面を分析する健康分析データを生成することと
を含む、コンピュータ記憶媒体。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項19に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項19または20に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項19または20に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項19または20に記載のコンピュータ記憶媒体。

前記モデル出力は、前記患者が緑内障を有する見込みを表すコンディション状態スコアを含む、請求項19から23のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、緑内障のそれぞれの可能レベルに対応し、各コンディション状態スコアは、緑内障の前記対応する可能レベルが前記患者についての緑内障の現在のレベルであるそれぞれの見込みを表す、請求項19から23のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記緑内障を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記緑内障を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項19から23のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記緑内障のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記緑内障の前記レベルとなるそれぞれの見込みを表す、請求項19から23のいずれか一項に記載のコンピュータ記憶媒体。

1つまたは複数の眼底画像を含むモデル入力を取得するステップであって、各眼底画像は患者の眼の底部の画像である、ステップと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理するステップであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、加齢黄斑変性に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、ステップと、
前記モデル出力を処理して、加齢黄斑変性に関する、前記患者の健康の側面を分析する健康分析データを生成するステップと
を含む方法。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項28に記載の方法。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項28または29に記載の方法。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項28または29に記載の方法。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項28または29に記載の方法。

前記モデル出力は、前記患者が加齢黄斑変性を有する見込みを表すコンディション状態スコアを含む、請求項28から32のいずれか一項に記載の方法。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディション状態スコアは、加齢黄斑変性の前記対応する可能レベルが前記患者についての加齢黄斑変性の現在のレベルであるそれぞれの見込みを表す、請求項28から32のいずれか一項に記載の方法。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記加齢黄斑変性を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記加齢黄斑変性を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項28から32のいずれか一項に記載の方法。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記加齢黄斑変性の前記レベルとなるそれぞれの見込みを表す、請求項28から32のいずれか一項に記載の方法。

1つまたは複数のコンピュータと、命令を記憶した1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、加齢黄斑変性に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、加齢黄斑変性に関する、前記患者の健康の側面を分析する健康分析データを生成することと
を含む動作を実施させる、システム。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項37に記載のシステム。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項37または38に記載のシステム。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項37または38に記載のシステム。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項37または38に記載のシステム。

前記モデル出力は、前記患者が加齢黄斑変性を有する見込みを表すコンディション状態スコアを含む、請求項37から41のいずれか一項に記載のシステム。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディション状態スコアは、加齢黄斑変性の前記対応する可能レベルが前記患者についての加齢黄斑変性の現在のレベルであるそれぞれの見込みを表す、請求項37から41のいずれか一項に記載のシステム。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記加齢黄斑変性を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記加齢黄斑変性を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項37から41のいずれか一項に記載のシステム。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記加齢黄斑変性の前記レベルとなるそれぞれの見込みを表す、請求項37から41のいずれか一項に記載のシステム。

1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに動作を実施させる命令で符号化されたコンピュータ記憶媒体であって、前記動作は、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルは、前記1つまたは複数の眼底画像を含む前記モデル入力を処理して、加齢黄斑変性に関して前記患者の健康を特徴づけるモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、加齢黄斑変性に関する、前記患者の健康の側面を分析する健康分析データを生成することと
を含む、コンピュータ記憶媒体。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項46に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項46または47に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはフィードフォワード機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項46または47に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルはリカレント機械学習モデルであり、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項46または47に記載のコンピュータ記憶媒体。

前記モデル出力は、前記患者が加齢黄斑変性を有する見込みを表すコンディション状態スコアを含む、請求項46から50のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数のコンディション状態スコアを含み、各コンディション状態スコアは、加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディション状態スコアは、加齢黄斑変性の前記対応する可能レベルが前記患者についての加齢黄斑変性の現在のレベルであるそれぞれの見込みを表す、請求項46から50のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数の追跡調査スコアを含み、各追跡調査スコアは、前記加齢黄斑変性を治療するために前記患者によってとられ得るそれぞれの可能追跡調査アクションに対応し、各追跡調査スコアは、前記対応する追跡調査アクションが、前記加齢黄斑変性を効果的に治療するためにとられるべき適切なアクションであるそれぞれの見込みを表す、請求項46から50のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は複数の進行スコアを含み、各進行スコアは前記加齢黄斑変性のそれぞれの可能レベルに対応し、各コンディションスコアは、前記対応するレベルが、所定の未来時に前記患者についての前記加齢黄斑変性の前記レベルとなるそれぞれの見込みを表す、請求項46から50のいずれか一項に記載のコンピュータ記憶媒体。

1つまたは複数の眼底画像を含むモデル入力を取得するステップであって、各眼底画像は患者の眼の底部の画像である、ステップと、
眼底画像処理機械学習モデルシステムを使用して前記モデル入力を処理するステップであって、前記眼底画像処理機械学習モデルシステムは、前記モデル入力を処理して、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含むモデル出力を生成するように構成される、ステップと、
前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成するステップと
を含む方法。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項55に記載の方法。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項55に記載の方法。

前記眼底画像処理機械学習モデルシステムはリカレント機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項55に記載の方法。

前記リスクは心血管性リスクであり、前記健康関連事象の特定のセットは重大心血管性健康事象である、請求項55から58のいずれか一項に記載の方法。

前記リスク因子は、年齢、性別、ボディマス指数、収縮期血圧、拡張期血圧、HbA1c(グリコヘモグロビン)の尺度、または喫煙状況のうちの1つまたは複数を含む、請求項59に記載の方法。

前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成するステップは、
前記リスク因子についての前記予測値から前記リスクの尺度を計算するステップを含む、請求項55から60のいずれか一項に記載の方法。

前記眼底画像処理機械学習モデルシステムは、バイナリリスク因子についての予測値を生成する第1の機械学習モデルと、連続値をとり得る、リスク因子についての予測値を生成する第2の機械学習モデルとを備える、請求項55から61のいずれか一項に記載の方法。

前記眼底画像処理機械学習モデルシステムは、機械学習モデルの集団を備える、請求項55から62のいずれか一項に記載の方法。

1つまたは複数のコンピュータと、命令を記憶した1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルシステムを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルシステムは、前記モデル入力を処理して、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含むモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成することと
を含む動作を実施させる、システム。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項64に記載のシステム。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項64に記載のシステム。

前記眼底画像処理機械学習モデルシステムはリカレント機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項64に記載のシステム。

前記リスクは心血管性リスクであり、前記健康関連事象の特定のセットは重大心血管性健康事象である、請求項64から67のいずれか一項に記載のシステム。

前記リスク因子は、年齢、性別、ボディマス指数、収縮期血圧、拡張期血圧、HbA1c(グリコヘモグロビン)の尺度、または喫煙状況のうちの1つまたは複数を含む、請求項68に記載のシステム。

前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成することは、
前記リスク因子についての前記予測値から前記リスクの尺度を計算することを含む、請求項64から69のいずれか一項に記載のシステム。

前記眼底画像処理機械学習モデルシステムは、バイナリリスク因子についての予測値を生成する第1の機械学習モデルと、連続値をとり得る、リスク因子についての予測値を生成する第2の機械学習モデルとを備える、請求項64から70のいずれか一項に記載のシステム。

前記眼底画像処理機械学習モデルシステムは、機械学習モデルの集団を備える、請求項64から71のいずれか一項に記載のシステム。

1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに動作を実施させる命令を記憶した1つまたは複数の非一時的コンピュータ記憶媒体であって、前記動作は、
1つまたは複数の眼底画像を含むモデル入力を取得することであって、各眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルシステムを使用して前記モデル入力を処理することであって、前記眼底画像処理機械学習モデルシステムは、前記モデル入力を処理して、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含むモデル出力を生成するように構成される、処理することと、
前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成することと
を含む、コンピュータ記憶媒体。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態をキャプチャする単一の眼底画像を含む、請求項73に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルシステムはフィードフォワード機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の前記眼の前記底部の現在の状態の異なる側面を各々がキャプチャする複数の眼底画像を含む、請求項73に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルシステムはリカレント機械学習モデルを備え、前記1つまたは複数の眼底画像は、前記患者の眼底が時間とともにどのように進展したかをキャプチャする複数の眼底画像の時間シーケンスを含む、請求項73に記載のコンピュータ記憶媒体。

前記リスクは心血管性リスクであり、前記健康関連事象の特定のセットは重大心血管性健康事象である、請求項73から76のいずれか一項に記載のコンピュータ記憶媒体。

前記リスク因子は、年齢、性別、ボディマス指数、収縮期血圧、拡張期血圧、HbA1c(グリコヘモグロビン)の尺度、または喫煙状況のうちの1つまたは複数を含む、請求項77に記載のコンピュータ記憶媒体。

前記モデル出力を処理して、前記1つまたは複数のリスク因子についての前記予測値から導出される健康分析データを生成することは、
前記リスク因子についての前記予測値から前記リスクの尺度を計算することを含む、請求項73から78のいずれか一項に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルシステムは、バイナリリスク因子についての予測値を生成する第1の機械学習モデルと、連続値をとり得る、リスク因子についての予測値を生成する第2の機械学習モデルとを備える、請求項73から79のいずれか一項に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルシステムは、機械学習モデルの集団を備える、請求項73から80のいずれか一項に記載のコンピュータ記憶媒体。

眼底画像を含むモデル入力を取得するステップであって、前記眼底画像は患者の眼の底部の画像である、ステップと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理するステップであって、
前記眼底画像処理機械学習モデルは、前記モデル入力を処理して、前記患者の健康を特徴づけるモデル出力を生成するように構成され、
前記眼底画像処理機械学習モデルは、注意機構を備え、前記注意機構は、
前記眼底画像処理機械学習モデルの1つまたは複数の初期レイヤによって生成された前記眼底画像中の複数の領域の各々についてのそれぞれの特徴ベクトルを受信することと、
前記領域の各々についてのそれぞれの注意の重みを計算することと、
眼底画像中の前記領域についての前記注意の重みに従って前記特徴ベクトルに注意を払うことによって、注意出力を生成することと
を行うように構成される、ステップと、
前記モデル出力を処理して、(i)前記患者の健康の側面を分析するデータ、および(ii)前記注意機構によって生成された前記注意の重みを識別するデータを含む健康分析データを生成するステップと
を含む方法。

前記注意の重みを識別する前記データは、前記眼底画像中の前記領域についての前記注意の重みを指定する注意マップである、請求項82に記載の方法。

前記注意マップは前記眼底画像の上にオーバーレイされる、請求項83に記載の方法。

前記初期レイヤは畳み込みレイヤである、請求項82から84のいずれか一項に記載の方法。

前記眼底画像処理機械学習モデルは、前記注意出力を受信し、前記注意出力を処理して前記モデル出力を生成するように構成された1つまたは複数の追加レイヤをさらに備える、請求項82から85のいずれか一項に記載の方法。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項82から86のいずれか一項に記載の方法。

前記モデル出力は、請求項1から9のいずれか一項に記載のように、緑内障に関する、前記患者の健康を特徴づける、請求項82から87のいずれか一項に記載の方法。

前記モデル出力は、請求項28から36のいずれか一項に記載のように、加齢黄斑変性に関する、前記患者の健康を特徴づける、請求項82から87のいずれか一項に記載の方法。

請求項55から63のいずれか一項に記載のように、前記モデル出力は、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含む、請求項82から87のいずれか一項に記載の方法。

前記モデル出力は前記患者の健康全般を特徴づける、請求項82から87のいずれか一項に記載の方法。

1つまたは複数のコンピュータと、命令を記憶した1つまたは複数の記憶デバイスとを備えるシステムであって、前記命令は、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、
眼底画像を含むモデル入力を取得することであって、前記眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、
前記眼底画像処理機械学習モデルは、前記モデル入力を処理して、前記患者の健康を特徴づけるモデル出力を生成するように構成され、
前記眼底画像処理機械学習モデルは、注意機構を備え、前記注意機構は、
前記眼底画像処理機械学習モデルの1つまたは複数の初期レイヤによって生成された前記眼底画像中の複数の領域の各々についてのそれぞれの特徴ベクトルを受信し、
前記領域の各々についてのそれぞれの注意の重みを計算し、
眼底画像中の前記領域についての前記注意の重みに従って前記特徴ベクトルに注意を払うことによって、注意出力を生成するように構成される、処理することと、
前記モデル出力を処理して、(i)前記患者の健康の側面を分析するデータ、および(ii)前記注意機構によって生成された前記注意の重みを識別するデータを含む健康分析データを生成することと
を含む動作を実施させる、システム。

前記注意の重みを識別する前記データは、前記眼底画像中の前記領域についての前記注意の重みを指定する注意マップである、請求項92に記載のシステム。

前記注意マップは前記眼底画像の上にオーバーレイされる、請求項93に記載のシステム。

前記初期レイヤは畳み込みレイヤである、請求項92から94のいずれか一項に記載のシステム。

前記眼底画像処理機械学習モデルは、前記注意出力を受信し、前記注意出力を処理して前記モデル出力を生成するように構成された1つまたは複数の追加レイヤをさらに備える、請求項92から95のいずれか一項に記載のシステム。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項92から96のいずれか一項に記載のシステム。

前記モデル出力は、請求項1から9のいずれか一項に記載のように、緑内障に関する、前記患者の健康を特徴づける、請求項92から97のいずれか一項に記載のシステム。

前記モデル出力は、請求項28から36のいずれか一項に記載のように、加齢黄斑変性に関する、前記患者の健康を特徴づける、請求項92から97のいずれか一項に記載のシステム。

請求項55から63のいずれか一項に記載のように、前記モデル出力は、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含む、請求項92から97のいずれか一項に記載のシステム。

前記モデル出力は前記患者の健康全般を特徴づける、請求項92から97のいずれか一項に記載のシステム。

1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに動作を実施させる命令で符号化された1つまたは複数のコンピュータ記憶媒体であって、前記動作は、
眼底画像を含むモデル入力を取得することであって、前記眼底画像は患者の眼の底部の画像である、取得することと、
眼底画像処理機械学習モデルを使用して前記モデル入力を処理することであって、
前記眼底画像処理機械学習モデルは、前記モデル入力を処理して、前記患者の健康を特徴づけるモデル出力を生成するように構成され、
前記眼底画像処理機械学習モデルは、注意機構を備え、前記注意機構は、
前記眼底画像処理機械学習モデルの1つまたは複数の初期レイヤによって生成された前記眼底画像中の複数の領域の各々についてのそれぞれの特徴ベクトルを受信し、
前記領域の各々についてのそれぞれの注意の重みを計算し、
眼底画像中の前記領域についての前記注意の重みに従って前記特徴ベクトルに注意を払うことによって、注意出力を生成するように構成される、処理することと、
前記モデル出力を処理して、(i)前記患者の健康の側面を分析するデータ、および(ii)前記注意機構によって生成された前記注意の重みを識別するデータを含む健康分析データを生成することと
を含む動作を実施させる、コンピュータ記憶媒体。

前記注意の重みを識別する前記データは、前記眼底画像中の前記領域についての前記注意の重みを指定する注意マップである、請求項102に記載のコンピュータ記憶媒体。

前記注意マップは前記眼底画像の上にオーバーレイされる、請求項103に記載のコンピュータ記憶媒体。

前記初期レイヤは畳み込みレイヤである、請求項102から104のいずれか一項に記載のコンピュータ記憶媒体。

前記眼底画像処理機械学習モデルは、前記注意出力を受信し、前記注意出力を処理して前記モデル出力を生成するように構成された1つまたは複数の追加レイヤをさらに備える、請求項102から105のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル入力は、眼球測定データ、患者人口統計データ、または両方を含む他の患者データをさらに含む、請求項102から106のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は、請求項1から9のいずれか一項に記載のように、緑内障に関する、前記患者の健康を特徴づける、請求項102から107のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は、請求項28から36のいずれか一項に記載のように、加齢黄斑変性に関する、前記患者の健康を特徴づける、請求項102から107のいずれか一項に記載のコンピュータ記憶媒体。

請求項55から63のいずれか一項に記載のように、前記モデル出力は、健康関連事象の特定のセットが前記患者に対して起こるリスクに寄与する1つまたは複数のリスク因子の各々についてのそれぞれの予測値を含む、請求項102から107のいずれか一項に記載のコンピュータ記憶媒体。

前記モデル出力は前記患者の健康全般を特徴づける、請求項102から107のいずれか一項に記載のコンピュータ記憶媒体。

Images