JP2019526416A - エッジ処理を有する網膜撮像装置およびシステム - Google Patents
エッジ処理を有する網膜撮像装置およびシステム Download PDFInfo
- Publication number
- JP2019526416A JP2019526416A JP2019533312A JP2019533312A JP2019526416A JP 2019526416 A JP2019526416 A JP 2019526416A JP 2019533312 A JP2019533312 A JP 2019533312A JP 2019533312 A JP2019533312 A JP 2019533312A JP 2019526416 A JP2019526416 A JP 2019526416A
- Authority
- JP
- Japan
- Prior art keywords
- retinal
- image data
- retinal image
- image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/13—Ophthalmic microscopes
- A61B3/132—Ophthalmic microscopes in binocular arrangement
Abstract
一実施形態では、網膜解析のためのマシンビジョン対応眼底鏡は、光学レンズ配列と、光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサと、コンピュータ可読メモリと、少なくとも1つの通信インタフェースと、画像センサ、コンピュータ可読メモリ、および少なくとも1つの通信インタフェースに通信可能にリンクされた画像プロセッサとを含み、画像プロセッサは、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて、網膜画像データよりも少ない帯域幅送信される出力データを生成し、少なくとも1つの通信インタフェースを介して出力データを送信する動作を実行するようにプログラムされるがこれに限定されない。
Description
優先権出願のすべての主題は、その主題が本願と矛盾しない限り、参照により本願に組み込まれる。
〔技術分野〕
本願の特定の実施形態は、概して、エッジ処理を有する網膜撮像装置およびシステムに関する。
〔概要〕
一実施形態では、網膜解析のためのマシンビジョン対応眼底鏡は、光学レンズ配列と、光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサと、コンピュータ可読メモリと、少なくとも1つの通信インタフェースと、画像センサ、コンピュータ可読メモリ、および少なくとも1つの通信インタフェースと通信可能にリンクされた画像プロセッサとを含み、画像プロセッサは、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて、網膜画像データよりも少ない帯域幅送信される出力データを生成し、少なくとも1つの通信インタフェースを介して出力データを送信する動作を実行するようにプログラムされるが、これに限定されない。
〔技術分野〕
本願の特定の実施形態は、概して、エッジ処理を有する網膜撮像装置およびシステムに関する。
〔概要〕
一実施形態では、網膜解析のためのマシンビジョン対応眼底鏡は、光学レンズ配列と、光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサと、コンピュータ可読メモリと、少なくとも1つの通信インタフェースと、画像センサ、コンピュータ可読メモリ、および少なくとも1つの通信インタフェースと通信可能にリンクされた画像プロセッサとを含み、画像プロセッサは、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて、網膜画像データよりも少ない帯域幅送信される出力データを生成し、少なくとも1つの通信インタフェースを介して出力データを送信する動作を実行するようにプログラムされるが、これに限定されない。
別の実施形態では、光学レンズ配列と、検出された光を網膜画像データに変換するように構成された画像センサと、少なくとも1つの通信インタフェースとを含む眼底鏡のコンピュータプロセッサコンポーネントによって実行されるプロセスは、画像センサから網膜画像データを取得すること、網膜画像データの解析に基づいて出力データを生成すること、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とすること、少なくとも1つの通信インタフェースを介して出力データを送信することを含むが、これらに限定されない。
さらなる実施形態では、眼底鏡は、画像センサから網膜画像データを取得する手段と、網膜画像データの解析に基づいて、伝送に必要な帯域幅が網膜画像データよりも少ない出力データを生成する手段と、少なくとも1つの通信インタフェースを介して出力データを伝送する手段とを含むが、これらに限定されない。
〔図面の簡単な説明〕
本発明の実施形態は、以下の図面に関連して以下に詳細に説明される。
〔図1〕本実施形態に係るエッジ処理を有する網膜撮像装置の斜視図である。
〔図2〕本実施形態に係るエッジ処理を有する網膜撮像装置内で使用可能な構成の側面図である。
〔図3A〕一実施形態に係る、エッジ処理を有する網膜撮像装置によって位置決めされた眼の解剖学的構造の拡大側面図である。
〔図3B〕本実施形態に係る網膜の不均一な照明を示す図である。
〔図4〕本実施形態に係るエッジ処理を有する網膜撮像装置の構成図である。
〔図5〕〜〔図33〕様々な実施形態に係る、網膜撮像装置を用いて実施されるエッジ処理によるプロセスのブロック図である。
〔詳細な説明〕
本明細書に開示される実施形態は、概して、エッジ処理を有する撮像装置およびシステムに関する。特定の実施形態の具体的な詳細は、以下の記述および図1〜図33に示され、そのような実施形態は完全に理解される。
〔図面の簡単な説明〕
本発明の実施形態は、以下の図面に関連して以下に詳細に説明される。
〔図1〕本実施形態に係るエッジ処理を有する網膜撮像装置の斜視図である。
〔図2〕本実施形態に係るエッジ処理を有する網膜撮像装置内で使用可能な構成の側面図である。
〔図3A〕一実施形態に係る、エッジ処理を有する網膜撮像装置によって位置決めされた眼の解剖学的構造の拡大側面図である。
〔図3B〕本実施形態に係る網膜の不均一な照明を示す図である。
〔図4〕本実施形態に係るエッジ処理を有する網膜撮像装置の構成図である。
〔図5〕〜〔図33〕様々な実施形態に係る、網膜撮像装置を用いて実施されるエッジ処理によるプロセスのブロック図である。
〔詳細な説明〕
本明細書に開示される実施形態は、概して、エッジ処理を有する撮像装置およびシステムに関する。特定の実施形態の具体的な詳細は、以下の記述および図1〜図33に示され、そのような実施形態は完全に理解される。
図1は、本実施形態に係る、エッジ処理を有する網膜撮像装置100または眼底鏡の斜視図である。網膜撮像装置100は、最小限に目立つ網膜監視を可能にし、非常に高い視認性を有するヘルスケアのためのマシンビジョンを提供する。例えば、網膜撮像装置100は、必要に応じて、および瞳孔拡張を必要とせずに、医師または看護師の監督を伴うまたは伴わない、網膜の迅速な撮像を実行することができる。使用コンテクストは、家庭、公衆、遠隔、健康診療所、病院、ケア施設、宇宙/宇宙船などを含むことができる。例えば、網膜撮像装置100は、国際宇宙ステーション、オリオン、または他の乗員宇宙船上で使用可能/展開可能であり得る。
1つの特定の実施形態は、筐体102、アイピース104、マウントブラケット106、可視発光ダイオード118(例えば、赤色、白色など)、および/または赤外発光ダイオード116、ならびに手動または自動化された網膜焦点合わせを可能にするための赤外線撮像装置112を含む、独立型の小型内臓式装置100を含む。網膜撮像装置100内には、光学レンズ配列120と、光学レンズ配列120と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサ114と、コンピュータ可読メモリと、少なくとも1つの通信インタフェースと、画像センサ114、コンピュータ可読メモリ、および少なくとも1つの通信インタフェースと通信可能にリンクされた画像プロセッサとが含まれ、画像プロセッサは、少なくとも以下を含む動作、すなわち、画像センサ114から網膜画像データを取得し、網膜画像データの解析に基づいて、網膜画像データよりも少ない帯域幅で送信される出力データを生成し、少なくとも1つの通信インタフェースを介して送信データを送信する動作を実行するようにプログラムされる。
マウントブラケット106は、机、テーブル、壁、または他のプラットホームなどの支持構造に結合されるか、または取り外し可能に結合され得る。マウントブラケット106は、z軸トラック108およびy軸トラック110を含む。z軸トラック108は、ハウジング102および接眼レンズ104が支持構造に対してz軸に沿って(例えば、前方および後方)移動することを可能にする。y軸トラック110は、ハウジング102が、支持構造に対して、およびy軸(例えば、左側および右側)に沿って接眼レンズ104に対して移動することを可能にする。したがって、ハウジング102は、接眼レンズ104の間で左右に移動して、ユーザの左目および/または右目をサンプリングすることができる。ハウジング102はさらに、ユーザの快適さまたは他の調整のために前後に動くことができる。
ある実施形態では、網膜撮像装置100は、以下の特性または特性のうちの1つまたは複数を含む。迷光を低減する約10mmアイレリーフ偏光光学系は、450nm〜650nmにわたって動作し、撮像におけるスポットサイズが約7ミクロン未満であり、迷光を軽減する環状照明であり、−4D〜4D調節よりも良好に調節可能な焦点であり、および/または可視チャネルの照準位置合わせのために眼の約10mmを撮像する、約850nm光源の赤外線チャネルおよび赤外線撮像装置である。
網膜撮像装置100は、様々な形態および形状をとることができ、図1に示す形態に限定されない。例えば、網膜撮像装置100は、壁、テーブル、デスク、キオスク、コンピュータ、スマートフォン、ラップトップ、バーチャルリアリティ(仮想現実)ヘッドセット、拡張現実ヘッドセット、携帯デバイス、ポールマウント装置、または図1に示す構造の一部、大部分、またはすべてを統合、包含、露出、または隠蔽することができる他の構造に組み込むことができる。例えば、筐体102、接眼レンズ104、および取り付けブラケット106は、網膜撮像装置100に対するユーザの左側および右側の眼の位置決めを可能にするために、接眼レンズ104以外の全てを隠すパーソナル・ヘルス・キオスクに統合されてもよい。さらに、網膜撮像装置100は、非可動マウントブラケット、追加の方向(例えば、360度の回転、傾斜、y軸移動など)に移動および旋回するマウントブラケット、または構造(例えば、網膜撮像装置100が組み込まれた専用テーブル)との統合に有利なマウントブラケット106を省略することができる。あるいは、ハウジング102は、接眼レンズ104の左側および右側の部分の各々に対して冗長な構成要素を有する2つのハウジングを含むことができる。さらに、接眼レンズ104は、ユーザの左目および右目に共有される単一の接眼レンズを含むことができる。
1つの特定の実施形態では、網膜撮像装置100は、アイボックス、ラップトップ、監視、電話、タブレット、またはコンピュータに組み込まれるか、またはその間に配置され、このコンピュータは、疑問信号デバイス(例えば、チューナブルレーザーまたは赤外線放射デバイス)を含み、そしてカメラを含み、これは、網膜画像を捕捉し、および/または眼の位置、回旋、瞳孔径、または輻輳を検出するために使用され得る。カメラは、同じように整列された照明デバイス(例えば、赤色または赤外線レーザ)および複数の高解像度カメラ(例えば、2〜3)を備えることができる。ノートパソコンまたは他の装置のディスプレイは、撮像中に自動的に暗くすることができ、カメラがユーザの網膜または網膜の画像を捕捉している間に、視覚的表示または焦点スポットを見るためまたは見つめるために出力することができる。1つまたは複数のカメラに結合された画像プロセッサは、リアルタイムのオンボードビデオ獲得、クロッピング、サイズ変更、ステッチング、または他の開示された撮像プロセスを可能にする。
図2は、実施形態に係る、網膜撮像装置100またはエッジ処理を有する眼底鏡内で使用可能な配列200の側面図である。配列200は、第1の軸に整列された結像レンズ配列202と、第1の軸に垂直な第2の軸に整列された照明レンズ配列204と、少なくとも1つの偏光スプリッタ/コンバイナ206と、結像のために光209を放射するように構成された照明LED208と、スプリッタ207から方向付けられた検出光を網膜画像データに変換するように構成された画像センサ222と、照明レンズ配列204を通過する前に照明LED208の光209の少なくともいくつかを不明瞭にするように構成された1つ以上のマスク210とを含み、少なくとも1つの偏光スプリッタ/コンバイナ206は、第2の軸に整列された照明レンズ配列204を通過する光209を、網膜214の少なくとも一部を照明するように第1の軸に整列された結像光学レンズ配列202に向け直すように構成される。1つの特定の実施形態では、結像レンズ配列202は、長さが約267mmであり、個人の眼は、結像レンズ配列202の端部から約13mmに位置決め可能である。いくつかの実施形態では、配列200は、位置決めおよび/または焦点決定のために赤外線光218を放射するように構成された赤外線LED216と、コンバイナ205と、赤外線画像センサ226と、照明レンズ配列204を通過する前に赤外線LED216の赤外線光218の少なくとも一部を覆い隠すように構成された1つまたは複数の赤外線マスク220とをさらに含み、少なくとも1つの偏光スプリッタ/コンバイナ206は、第2の軸に整列された照明レンズ配列204を通過する赤外線光218を、網膜214の少なくとも一部を照明するように第1の軸に整列された結像光学レンズ配列202に向け直すように構成される。ある実施形態では、配列200は、マイクロディスプレイをさらに含むか、またはコンピュータ、スマートフォン、ラップトップ、または他のパーソナル装置に結合可能である。
1つの特定の実施形態では、配列200は以下のように動作する。赤外線LED216は赤外線光218を放射し、赤外線光218は1つ以上の赤外線マスク220を通過し、それによって赤外線光218の少なくとも一部は、さらなる通過から制御可能にブロックされる。1つ以上の赤外線マスク220を通過する赤外線光218は、コンバイナ205を介して照明レンズ配列204に向けられる。次いで、赤外光218は、偏光スプリッタ/コンバイナ206を介して結像レンズ配列202に向けられる。赤外線光218は次に、網膜214によって反射される前に、眼212(例えば、人の)の散乱要素を通過する。反射された赤外線光218は結像レンズ配列202を通って戻り、赤外線撮像装置226によって検出される。赤外線撮像装置226によって検出された赤外線光218は、網膜が中心に置かれているか、および/または焦点が合っているかを決定するために使用される。次いで、照明LED208は、光209の少なくともいくつかを遮断する1つ以上のマスク210を通過するイメージング用の光209を放射する。1つ以上のマスク210を通過する光209は、次に、照明レンズ配列204を通過し、そこで、偏光スプリッタ/コンバイナ206を介して結像レンズ配列202に向けられる。次いで、光209は、網膜214によって反射される前に、眼212の散乱要素を通過する。反射光209は、結像レンズ配列202を通って戻り、スプリッタ207によって画像センサ222に向けられる。画像センサ222によって捕捉された網膜画像データは、本明細書で開示するように格納、検証、および/または処理することができる。このプロセスは、必要に応じて、または要請に応じて、例えば、人の両眼または複数の個体に対して繰り返すことができる。
配列200は、高解像度網膜画像を捕捉するために、全体的にまたは部分的に1つまたは複数の異なる配置で変更または置換することができる。例えば、任意のレンズ、レンズの組み合わせ、レンズの位置、レンズの形状などは、特定の用途のために所望されるように変更され得る。また、配列200は、少なくとも1つの追加の結像レンズ配列と、少なくとも1つの追加の結像レンズ配列と共に配置され、検出された光を追加の網膜画像データに変換するように構成された少なくとも1つの追加の画像センサとを含むことができる。この実施形態、結像レンズ配列202および少なくとも1つの追加の結像レンズ配列は、特定の網膜のセグメントを捕捉するために、少なくとも部分的に重複する視野を有することができる。あるいは、結像レンズ配列202および少なくとも1つの追加の結像レンズ配列は、特定の網膜のセグメントを捕捉するために、または第2の網膜に関連する画像データ(例えば、同時にサンプリングされた両眼)を同時に捕捉するために、実質的に並行な視野を有してもよい。さらに、赤外線LED216は、照明LED208と共に配置されてもよく、赤外線LED216は、照明LED208と所定の位置に交換されてもよく、または赤外線LED216および照明LED208は、結像レンズ配列202に対して整列してまたは異なるように配置されてもよい。さらに、画像センサ222は、赤外線撮像装置226と同一場所に配置されてもよく、および/またはそれぞれの位置が交換または変更されてもよい。配列200は、非網膜、顔、身体、眼、又は他の科学、研究、調査、又は学習目的などの他の画像目的にも適合又は使用することができる。
図3Aは、一実施形態による、エッジ処理を伴う網膜撮像装置によって位置決めされた眼300の解剖学的構造の拡大側面図である。眼300は、個人の左眼または右眼とすることができ、配列200と共に位置決めされる。眼300は、角膜302、瞳孔304、水晶体306、および網膜214を含む。図3Aの光線は、例示および明瞭化のために単純化されているが、本質的には、照明LED208からの照明光209は、角膜302、瞳孔304、およびレンズ306に入り、通過し、その後、網膜214によって結像光308として反射される。照明光209は、網膜214への環状の照明入力を提供する。撮像光線308は、水晶体306、瞳孔304、および角膜302を通って反射され、約42度の視野を有する網膜画像データとして画像センサ222によって捕捉される。1つ以上のマスク210の位置により、照明光209および結像光308は、眼の散乱要素(例えば、水晶体306および角膜302)内で交差しないか、または最小限に交差する経路を有する。1つ以上のマスク210は、迷光を低減するが、1つ以上の補償プログラム動作を使用して補償される網膜の不均一な照明をもたらす可能性がある(図3(B))。ある実施形態では、1つまたは複数のマスク210(および/または1つまたは複数の赤外マスク220)を移動させて、網膜214上の照明光209の分布を調整することができる。
表1マスクによる網膜上の不均一な照明分布
図4は、実施形態による、エッジ処理を伴う網膜撮像装置402または眼底鏡の構成図400である。一実施形態では、網膜解析のためのマシンビジョン対応眼底鏡402は、光学レンズ配列404と、光学レンズ配列404と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサ408と、コンピュータ可読メモリ406と、少なくとも1つの通信インタフェース410と、画像センサ408、コンピュータ可読メモリ406、および少なくとも1つの通信インタフェース410に通信可能にリンクされた画像プロセッサ412とを含み、画像プロセッサ408は、少なくとも以下を含む動作を実行するようにプログラムされるが、これらに限定されない。すなわち、画像プロセッサ412は、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて出力データを生成し、出力データは、網膜画像データ416よりも少ない伝送帯域幅を必要とし、少なくとも1つの通信インタフェース418を介して出力データを送信する。網膜撮像装置402または眼底鏡は、網膜撮像装置100の形または異なる形をとることができる。
図4は、実施形態による、エッジ処理を伴う網膜撮像装置402または眼底鏡の構成図400である。一実施形態では、網膜解析のためのマシンビジョン対応眼底鏡402は、光学レンズ配列404と、光学レンズ配列404と共に配置され、検出された光を網膜画像データに変換するように構成された画像センサ408と、コンピュータ可読メモリ406と、少なくとも1つの通信インタフェース410と、画像センサ408、コンピュータ可読メモリ406、および少なくとも1つの通信インタフェース410に通信可能にリンクされた画像プロセッサ412とを含み、画像プロセッサ408は、少なくとも以下を含む動作を実行するようにプログラムされるが、これらに限定されない。すなわち、画像プロセッサ412は、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて出力データを生成し、出力データは、網膜画像データ416よりも少ない伝送帯域幅を必要とし、少なくとも1つの通信インタフェース418を介して出力データを送信する。網膜撮像装置402または眼底鏡は、網膜撮像装置100の形または異なる形をとることができる。
眼底鏡402内で、光学レンズ配列404は、本明細書で論じられるように、画像センサ408上に光を集束するように配置される。画像センサ408は、高帯域幅接続を介して画像プロセッサ412に結合される。次いで、画像プロセッサ412は、低帯域幅能力を有する通信回線を介して通信するために、コンピュータメモリ406および通信インタフェース410に結合される。
光学レンズ配列404は、配列200、照明レンズ配列204、および/または結像レンズ配列202、または別の異なる光学配列など、本明細書で論じる任意の光学配列を含むことができ、人間の網膜に関連する特定の視野に向けられる。光学レンズ配列404は、固定および/または可動、回転可能、旋回可能、または摺動可能であり得る。
画像センサ408は、超高解像度網膜撮像を可能にする高画素撮像装置を含む。例えば、画像センサ408は、画像データで約20ギガバイト/秒、1平方度当たり10,000画素、および少なくとも約20ミクロンの解像度を提供する少なくとも18または20メガ画素のセンサを含むことができる。画像センサ408の1つの特定の実施例は、1.12ミクロンの5408H×4412V画素を含むソニーIMX230である。
画像センサ408は、高帯域通信リンクを介して画像プロセッサ412と通信可能にリンクされる。比較的高い帯域幅の通信接続は、画像プロセッサ412が、数十Gbps範囲の画像センサ408によって出力された超高解像度画像にリアルタイムまたはほぼリアルタイムでアクセスすることを可能にする。高帯域幅通信回線の一実施例は、画像プロセッサ412と画像センサ408との間にデータおよび/または電源を供給するMIPI−CSI−LEOPARD/INTRINSYCアダプタを含む。
画像処理部412は、画像センサ408と通信可能に接続されている。高帯域幅通信リンクにより、画像プロセッサ412は、リアルタイムまたはほぼリアルタイムで画像センサ408のすべての画素にフルアクセスする。このアクセスを使用して、画像プロセッサ412は、通信インタフェース410を介した任意のデータの通信(例えば、「エッジ処理」)に先立って、フル解像度網膜画像に対して1つ以上の動作を実行する。画像プロセッサ412によって実行される機能のための実施例な動作は、画像センサから網膜画像データを取得し、網膜画像データの解析に基づいて出力データを生成し、出力データは、網膜画像データ416よりも少ない伝送帯域幅を必要とし、少なくとも1つの通信インタフェース418を介して出力データを送信することを含むが、これらに限定されない。画像プロセッサ412によって実行される他の動作および/または機能は、本明細書で論じられ、例示される。画像プロセッサ412の1つの特定の実施例は、スナップドラゴンSOMなどのセルフォンクラスSOMを含む。画像プロセッサ412はまた、本明細書で開示されるような特殊目的動作を実行するようにプログラムまたは構成された、INTELまたはAMTELコンピュータプロセッサなどの任意の汎用コンピュータプロセッサであってもよい。
ある実施形態では、眼底鏡402は、処理負荷を偏向し分配するために、バックプレーン/ハブ回路を介してハブプロセッサにリンクされた複数の光学レンズ配列404/イメージセンサ408/イメージプロセッサ412の併用療法を含むことができる。光学レンズ配列404の各々は、網膜画像データの総合的な解像度を増大させるように、網膜のオーバーラップする視野または部分的セグメントに向けることができる。
通信インタフェース410は、画像プロセッサ412とクライアント、装置、サーバ、またはクラウド宛先との間の比較的低帯域幅の通信インタフェースを、Mbpsのオーダーの通信回線を介して提供する。通信インタフェース410は、利用可能または実行可能な最高のワイヤレス帯域幅を提供することができるが、そのような帯域幅は、画像センサ408と眼底鏡402内の画像プロセッサ412との間の高帯域幅通信と比較して、比較的低い。したがって、画像プロセッサ412は、ワイヤレス通信インタフェース410を介してすべての利用可能な画素データを必ずしも送信する必要はなく、代わりに、眼底鏡402に搭載されたエッジ処理を使用して、非常に高解像度の網膜画像の収集、および通信インタフェース410を介した送信(または非送信)のためのその網膜画像の選択/縮小を可能にする。通信インタフェース410は、ある実施形態では、イーサネット(登録商標)、USB、および/またはHDMI(登録商標)などの有線ベースネットワークインタフェースで置き換えることができる。通信インタフェース410の1つの特定の実施例は、セルラー、WIFI、BLUETOOTH(登録商標)、サテライトネットワーク、および/またはウェブソケットを含み、JAVASCRIPT(登録商標)、HTML5、CANVAS GPU、およびWEBGLを実行するクライアントとのインターネット経由の通信を可能にする。例えば、ズームビューアアプリケーションを有するHTML−クライアントは、WIFIを介して眼底鏡402のANDROID(登録商標)サーバビデオ/カメラアプリケーションに接続して、約720pで網膜画像をストリーミングすることができる。
コンピュータメモリ406は、非一時的コンピュータ記憶メモリおよび/または一時的コンピュータメモリを含むことができる。コンピュータメモリ406は、画像プロセッサ412を構成するためのプログラムインストラクションを記憶し、および/または生の網膜画像データ、処理された網膜画像データ、導出された英数字または2進データ、または他の同様のデータを記憶することができる。
眼底鏡402の実施例の動作および/または特性は、以下のうちの1つまたは複数を含むことができる。約20秒〜3分でユーザ自身の画像化を可能にし、瞳孔拡張なしに網膜画像の手動または自動捕捉を可能にし(非散瞳)、自動位置合わせを提供し、約40度以上の広角網膜画像を捕捉し、調節可能な焦点を可能にし、セッション当たりの高解像度網膜画像の多重画像捕捉を可能にし、捕捉された網膜画像の表示/再表示を可能にし、比較的低帯域幅の通信リンク(例えば、衛星から地上局へ)を使用してリアルタイムまたはバッチでまたは間隔をおいて高解像度網膜画像を送信し、自己検査を可能にし、画像の自動画像比較または解析を実行し、現在の画像とベースライン画像との間のような網膜画像の差異を検出し、ヘルス問題を検出し、テキスト/ボード上で視覚化を実行し、無線またはインターネット速度の監視を可能にする。患者は、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、オンサイト/オンボード/エッジ処理によるアルツハイマー病を遠隔および必要に応じて頻繁に検出し、ズーム可能ウィンドウのビデオプレビューをクライアントコンピュータまたはデバイスに送信して、高解像度網膜画像のブラウジングを可能にし、要求された視野およびズームレベルのためのクライアントデバイスまたはコンピュータへのフル解像度画像の送信を可能にし、および/またはマシンビジョンアプリケーションまたは第三者アプリケーションを可能にする。
図5は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、プロセス500は、光学レンズ配列404と、検出された光を網膜画像データに変換するように構成された画像センサ408と、少なくとも1つの通信インタフェース410とを含む眼底鏡402のコンピュータプロセッサコンポーネント412によって実行され、このプロセスは、502において、少なくとも網膜画像データを画像センサから取得し、504において、網膜画像データよりも少ない伝送帯域幅を必要とする出力データであって、網膜画像データの解析に基づいて出力データを生成し、506において、少なくとも1つの通信インタフェースを介して出力データを伝送することを含む。
例えば、プロセッサ412は、画像センサ408から超高解像度網膜画像を得ることができ、網膜画像の広い視野および低ズームを選択することができる。網膜画像データの解像度が非常に高いため、プロセッサ412は、選択された視野内の画素を間引いて、通信インタフェース410を介してユーザ装置に伝送するために、画像データをまだ比較的高い解像度に減らすことができる。画素デシメーションは、伝送のためのより低い帯域幅要件をもたらすが、伝送される網膜画像データは、依然として、ユーザ装置の表示画面の解像度能力を満たすか、または超えることがある。
さらなる実施例として、プロセッサ412は、画像センサ408から超高解像度網膜画像を取得することができ、網膜画像の狭視野および高ズームを選択することができる。網膜画像データの解像度が非常に高いため、プロセッサ412は、選択された視野内の画素を少数から全くデシメートせず、選択された視野外の画素を多数から完全にデシメートして、画像データを低減し、通信インタフェース410を介してクライアントデバイスに送信するための高解像度および高精度を維持することができる。選択的な画素デシメーションは、伝送のためのより低い帯域幅要件をもたらすが、伝送される網膜画像データは、ユーザ装置の表示画面上の選択された視野の一部に高精度を提供する。
さらなる実施例として、プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、取得した網膜画像を、記憶された履歴またはベースライン網膜画像と比較して、1つまたは複数の病理を検出することができる。病理が検出されない場合、プロセッサ412は、画像データを送信しないか、またはある実施形態では、解析結果の2進数字または英数字のテキスト表示を送信することができる。これにより、画像データ伝送を回避したり、毎秒数バイトしか必要としないデータを伝送したりすることで、通信インタフェース410の負担を軽減することができる。
さらなる関連実施例として、プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、取得した網膜画像を、記憶された履歴またはベースライン網膜画像と比較して、1つまたは複数の病理を検出することができる。潜在的な病理が検出された場合、プロセッサ412は、病理に関連する網膜画像データの選択された視野または一部を送信することができ、または特定の実施形態では、解析の結果の2値または英数字のテキスト表示を送信することができる。通信インタフェース410にかかる負担は、伝送のために画像データを調整するか、または毎秒数バイトしか必要としないデータを送信することによって低減することができる。
前述の実施形態は、プロセス500の動作の多くの他の実施例および例示によって本明細書において補足または拡張される。
図6は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、502において画像センサから網膜画像データを取得することは、602において光学配列と共に位置決めされた画像センサから網膜画像データを取得すること、604においてx、y、またはz軸のうちの少なくとも1つに沿って移動可能である光学配列と共に位置決めされた画像センサから網膜画像データを取得すること、606において回転可能および/または旋回可能である光学配列と共に位置決めされた画像センサから網膜画像データを取得すること、または608において照明レンズ配列に対して垂直である光学配列と共に位置決めされた画像センサから網膜画像データを取得することのうちの1つ以上を含む。
一実施形態では、画像プロセッサ412は、602において、光学配列404と共に位置決めされた画像センサ408から網膜画像データを取得する。画像センサ408は、図1および/または図2に関して図示および説明したように、光学配列404と共に配置することができる。しかし、画像センサ408は、光学配列404との共軸、光学配列404との垂直軸、光学装配列404との鈍角または鋭角の軸、または光学配列404に対する他の何らかの位置に配置することができる。画像センサ408は、光学配列404に対して移動することができる。あるいは、光学配列404の1つまたは複数のレンズは、画像センサ408上に光を集束させるなどのために、画像センサ408に対して移動することができる。画像センサ408は、様々な特性、能力、または解像度を有する画像センサ408の使用を可能にするように、取り外し可能、変更可能、および/または交換可能であり得る。
一実施形態では、画像プロセッサ412は、604において、x、y、またはz軸のうちの少なくとも1つに沿って移動可能である光学配列404と共に位置決めされた画像センサ408から網膜画像データを取得する。光学配列404は、例えば、ユーザの眼の位置に適応するために、様々な方向に動くことができる。すなわち、光学配列404は、接眼レンズが特定のユーザの眼の位置と一致する位置になるように、上、後ろ、下、前、左、または右に移動され得る(例えば、眼の位置の自動検出、および接眼レンズを眼の位置に移動させるための光学配列を含む光学配列またはハウジングの移動)。あるいは、光学配列404は、様々な個人の眼の平均の高さ、位置、および/または位置に対応する特定の位置に移動することができる。さらに、光学配列404は、サンプリングセッション中、個人がサンプリングセッション中、任意の接眼レンズまたはアイボックスに対して一定の位置を維持するように、個人の眼の間(例えば、左右)で手動または自動的に動かすことができる。これらの実施例、光学配列404は、動くことができるか、または光学配列404を含む筐体が動くことができる。
一実施形態では、画像プロセッサ412は、606で回転可能および/または旋回可能な光学配列404と共に配置された画像センサ408から網膜画像データを取得する。例えば、光学配列404は、テーブル、ポスト、または延長部などの支持構造に対して回転し、種々の位置からの網膜画像サンプリングを可能にすることができる。さらに、光学配列404は、特定のユーザの頭の形状または目の位置を追跡するように、曲線に沿って移動することができる。これは、個体の1つ以上の眼が静止したままである間に、様々な角度の画像データを得るなどのために、網膜画像サンプリング中に起こり得る。光学配列404の回転、旋回、または移動は、電磁モータの使用などによって、手動または自動であり得る。さらに、光学配列404は、回転、旋回、または移動することができ、あるいは光学配列404を含むハウジングは、回転、旋回、または移動することができる。
一実施形態では、画像プロセッサ412は、608において、照明レンズ配列に垂直な光学配列404によって位置決めされた画像センサ408から網膜画像データを取得する。例えば、図2は、撮像レンズ配列202に垂直な照明レンズ配列204を示し、それにより、照明レンズ配列204は、偏光スプリッタ/結合器206を用いて、照明光209を撮像レンズ配列202に導く。1つまたは複数のマスク210を使用することによって、照明光209の交差を制御して、図3Aに示すように、眼212の散乱要素内の結像光308の経路との交差を低減または排除することができる。画像センサ408は、代替的に、照明レンズ配列に対して垂直以外の光学配列404と共に配置することができる。例えば、光学配列404は、照明レンズ配列に対して鈍角、直交、鋭角、または可動とすることができる。場合によっては、照明レンズ配列は省略される。
図7は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、502において画像センサから網膜画像データを取得することは、702において眼の散乱要素内の照明/反射交差を最小限に抑えるかまたは無くす光学配列で位置決めされた画像センサから網膜画像データを取得すること、704において1つ以上のマスクを含む光学配列で位置決めされた画像センサから網膜画像データを取得すること、706において1つ以上の可動マスクを含む光学配列で位置決めされた画像センサから網膜画像データを取得すること、または708において少なくとも18メガピクセルの網膜画像データを画像センサから取得することを含むが、これらに限定されない。
一実施形態では、画像プロセッサ412は、702において、眼の散乱要素内の照明/反射の交差を最小限に抑えるか、または無くす光学配列404によって位置決めされた画像センサ408から網膜画像データを取得する。図3Aは、角膜302および水晶体306を含む眼の散乱要素212を示し、これらは、網膜214に対して入射光を集束および/または散乱する。照明光209は、眼212の散乱要素を通る経路に沿って向けられ、網膜214の1つ以上の部分に対して分配される。照明光209の一部は、検出のために眼212の散乱要素を通過して戻る経路に沿って通過する結像光308として反射される。光学配列404は、眼212の散乱要素内または散乱要素に近接する領域内の照明光209および反射結像光308の相互作用および/または干渉を最小化するように構成される。
一実施形態では、画像プロセッサ412は、704において1つ以上のマスクを含む光学配列404によって位置決めされた画像センサ408から網膜画像データを取得するか、または706において1つ以上の可動マスクを含む光学配列404によって位置決めされた画像センサ408から網膜画像データを取得する。図2は、照明LED208に近接して配置された1つ以上のマスク210を示す。照明LED208からの光209は、照明レンズ配列204を通過して結像レンズ配列202に入る前に、1つまたは複数のマスク210を通過し、1つまたは複数のマスク210によって少なくとも部分的に覆い隠される。次いで、光209は網膜214に向けられる。したがって、1つまたは複数のマスク210の位置は、照明LED208からの光209の経路、眼の散乱要素212内の光209の位置、および最終的には網膜214における照明の領域に影響を及ぼす。ある状況では、1つ以上のマスク210は、1個から3個以上のマスク210を含む。1つ以上のマスク210は、光209の経路に沿った1つの点に、または光209の経路に沿った異なる点に、連続的に配置することができる。1つまたは複数のマスク210は、光209の全体のパーセンテージを覆い隠すマスク、光209を偏光するマスク、または光209をフィルタリングするマスクなどの、全体的または部分的に覆い隠すマスクとすることができる。1つの特定の実施形態では、1つまたは複数のマスク210は、手動または自動などによって移動可能であり、光209の経路または網膜214上の照明領域を調整する。例えば、1つまたは複数のマスク210を自動的に移動して網膜214の様々な部分を照明し、その結果生じる網膜画像データを一緒に縫い合わせて網膜画像の包括的な視野を確立することができる。
図8は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、502で画像センサから網膜画像データを取得するステップは、802で少なくとも20メガピクセルの画像センサから網膜画像データを取得するステップ、804で1平方度当たり少なくとも1万ピクセルの画像センサから網膜画像データを取得するステップ、806で画像センサから静止画像データとして網膜画像データを取得するステップ、または808で画像センサからビデオデータとして網膜画像データを取得するステップのうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、708において少なくとも18メガピクセル、または802において20メガピクセルの網膜画像を画像センサ408から取得する。画像センサ408は、約1メガピクセル〜約20メガピクセル〜100メガピクセル以上の超高解像度画像を提供する。ある実施形態では、画像センサ408は、技術的/商業的に利用可能な最も多数の画素を含む。したがって、画像センサ408は、極めて高度の解像度および視認性で網膜画像データを取り込むことができる。画像プロセッサ412は、解析、視野選択、焦点選択、画素間引き、解像度低減、静止物体除去、不変物体除去、または本明細書で例示または開示される他の動作のために、画像センサ408によって取り込まれたフル解像度網膜画像へのアクセスを有する。
一実施形態では、画像プロセッサ412は、804において、画像センサ408から少なくとも1平方度当たり10,000画素の網膜画像データを取得する。上述したように、画像センサ408は超高解像度画像を提供し、この超高解像度画像は、1平方度当たり約1千画素から1平方度当たり数万画素に及ぶことができる。ある実施形態では、画像センサ408は、技術的/商業的に利用可能な最も多数の画素を含む。ある他の実施形態では、画素濃度は、他の網膜領域と比較して、ある網膜領域に対してより高い解像度を提供するために、画像センサ408にわたって変動するか、または不均一である。ピクセル密度は、平方インチまたは平方センチメートルで、あるいは他の何らかの距離によって測定することができることに留意されたい。したがって、いずれにせよ、画像センサ408は、極めて高レベルの解像度および視認性で網膜画像データを捕捉することができる。画像プロセッサ412は、解析、視野選択、焦点選択、画素間引き、解像度低減、静止物体除去、不変物体除去、または本明細書で例示または開示される他の動作のために、画像センサ408によって取り込まれたフル解像度網膜画像へのアクセスを有する。
一実施形態では、画像プロセッサ412は、806において、画像センサ408から静止画像データとして網膜画像データを取得する。したがって、画像プロセッサ412は、コンピュータプログラムからの制御などによって、手動指示または自動的指示によってトリガされる、1つまたは複数の異なった時点で、1つまたは複数の網膜画像を静止画像データとして取得することができる。静止網膜画像データは、網膜の視野全体または選択された視野に関連付けることができる。例えば、静止網膜画像データは、各々が網膜の一部を覆い、画像の各々の間で照明および/またはマスクが変化する一連の画像を含むことができる。あるいは、静止網膜画像データは、解像度向上および/または縫合のために使用され得る、重複する視野をカバーする一連の画像を含み得る。さらに、静止網膜画像データは、個体の左眼および右眼に対する網膜画像を含み得る。
一実施形態では、画像プロセッサ412は、808において、画像センサ408から網膜画像データを映像データとして取得する。したがって、画像プロセッサ412は、1つまたは複数の期間(たとえば、毎秒約20フレーム)にわたる一連の静止画像からなる1つまたは複数の網膜ビデオを取得することができる。1つまたは複数の網膜ビデオの収集は、コンピュータプログラムからの制御などによる手動表示または自動表示によってトリガすることができる。網膜ビデオデータは、網膜の視野全体または選択された視野に関連付けることができる。例えば、網膜ビデオデータは、網膜の様々な部分にわたってデジタル的に再現された動きまたはパンニングを含むことができ、照明および/またはマスクは、動きまたはパンニング中に変化する。さらに、網膜ビデオデータは、個人の左眼および右眼のための網膜ビデオを含むことができる。
図9は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、502において画像センサから網膜画像データを取得することは、902において毎秒約20フレームで画像センサから映像データとして網膜画像データを取得すること、904において送信のために少なくとも10Gbpsの帯域幅を必要とする画像センサから網膜画像データを取得すること、906において送信のために少なくとも20Gbpsの帯域幅を必要とする画像センサから網膜画像データを取得すること、または908において画像センサおよび少なくとも1つの追加の画像センサから網膜画像データを取得することのうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、902において、約20フレーム/秒で、画像センサ408から網膜画像データを映像データとして取得する。ビデオデータのフレームレートは、特定の用途に応じて、毎秒20フレームより多くても少なくてもよい。例えば、フレームレートは、毎秒約1フレームまで遅くすることができ、または毎秒約30またはそれ以上のフレームまで増加させることができる。フレームレートは、ユーザ入力またはアプリケーション制御に基づいて調整可能である。ある実施形態では、映像データからの複数のフレームは、映像データの複数のフレームからの画素を組み合わせることによって、高解像度静止画像を生成するために使用可能である。
一実施形態では、画像プロセッサ412は、904における送信のために少なくとも10Gbpsの帯域幅、または906における送信のために少なくとも20Gbpsの帯域幅を必要とする網膜画像データを画像センサ408から取得する。ここで説明するように、画像センサ408は高解像度の画素密度を有する。画像プロセッサ412が静止画像データまたは映像画像データで形成され、画像センサ408からの網膜画像データを保持するか否かにかかわらず、キャプチャされた画像の量は重要であり、毎秒10ギガバイト、20ギガバイト、またはそれ以上のギガバイトのオーダーであり得る。この量の画像データは、毎秒数メガバイトに制限され得る通信インタフェース410(例えば、ワイヤレス通信インタフェース)を介して、その全体がタイムリーに送信されることは不可能である。したがって、本明細書で開示される動作は、画像データの伝送に先立って、画像プロセッサ412によって眼底鏡402に搭載されるか、または眼底鏡402とのエッジで実行される。したがって、画像プロセッサ412は、解析、病理検知、画像比較、選択的画素間引き、選択的画素保持、静止画像除去、または本明細書で論じる他の動作を実行するために、画像センサ408によって取り込まれたフル解像度画像への高帯域幅アクセスを有する。任意のフル解像度処理オペレーションに続く画像プロセッサ412の出力は、より少ない帯域幅を必要とし得、通信インタフェース410を介してよりタイムリーに送信可能であり得る。
一実施形態では、画像プロセッサ412は、908において、画像センサ408および少なくとも1つの追加の画像センサから網膜画像データを取得する。例えば、少なくとも1つの追加の画像センサは、追加のレンズ配列と関連付けることができ、それにより、画像センサ408および少なくとも1つの追加の画像センサのそれぞれは、網膜の異なるセグメント、網膜の重複部分、または異なる網膜(例えば、実質的に同時または連続的にサンプリングされた個々の左側および右側の網膜)と関連付けられた画像データを捕捉する。あるいは、少なくとも1つの追加の画像センサは、赤外線画像データを捕捉するように構成された赤外線画像センサとすることができ、これは、アイリス収縮反応を回避しながら、焦点合わせおよび目の位置決めまたは中心合わせなどの機能を実行するために画像プロセッサ412によって使用可能である。
図10は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、502において画像センサから網膜画像データを取得することは、1002において少なくとも部分的に重複する視野に関連付けられた少なくとも1つの追加の画像センサから網膜画像データを取得すること、1004において画像センサから網膜画像データを取得すること、1006において少なくとも20ミクロンの解像度で網膜画像データを取得すること、または1008において約40度の輪状視野に関連付けられた網膜画像データを取得することのうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、1002において、画像センサ408から、および少なくとも部分的に重なり合う視野に関連付けられた少なくとも1つの追加の画像センサから、または1004において、並列視野に関連付けられた少なくとも1つの追加の画像センサから、網膜画像データを取得する。画像センサの各々は、超高解像度画像を取り込むことができ、超高解像度画像は、画像プロセッサ412によって独立して解析または組み合わせることができる。例えば、1つの画像センサは、左側網膜画像データを捕捉することができ、別の画像センサは、右側網膜画像データを捕捉することができる。独立した画像プロセッサは、左右それぞれの網膜画像データを同時に処理し、網膜解析、病理検出、変化検出、画素間引き、画素選択、未変化の画素除去、または他の動作など、本明細書で開示する機能および動作を実行することができる。左側および右側の網膜画像データの同時処理は、全網膜解析および検査の期間を短縮することができる。
一実施形態では、画像プロセッサ412は、1006において、少なくとも20ミクロンの解像度で網膜画像データを取得する。網膜画像データは、数百または数千ミクロンの解像度を有することができ、あるいは10ミクロンまたはそれ以下の解像度を有することができる。様々な光学配列404および/または画像センサ408は、技術的および商業的に入手可能なものだけに限定して、または予算または必要性によって許容されるものに限定して使用することができる。約20ミクロンは、網膜のかなり高い視認性を提供して、画像プロセッサ412が本明細書で開示し図示した様々な動作および機能を実行できるようにするのに、ある実施形態では充分である。
一実施形態では、プロセッサ412は、1008において、約40度の輪状視野に関連付けられた網膜画像データを取得する。光学レンズ配列404は、センターから約+/21.7度の視野を提供する図2に示す結像レンズ配列202を含むことができる。しかしながら、異なる図は、およそ数度の非常に狭い図から40度を超える非常に広い図まで、異なるレンズ配列で可能である。ある実施形態では、光学配列は、調整可能、変更可能、または選択可能な視野を提供するように構成することができる。他の実施形態では、光学配列404は、異なる視野を達成するために、異なる光学配列と交換可能であってもよい。
図11は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、画像センサから網膜画像データを取得するステップ502は、(1)異なった、近接した、重なり合った、および/または少なくとも部分的に重なり合った網膜の領域について連続的にキャプチャされた複数の画像として該網膜画像データを取得して、網膜の全体像を作成するために、該連続的にキャプチャされた網膜の複数の画像を縫い合わせる(stitch)ステップ1102、および、(2)少なくとも部分的に重なり合った複数の網膜の画像として該網膜画像データを取得して、該複数の画像を合成することにより、高解像度網膜画像データを得るステップ1104、の少なくともいずれか一方を含む。
一実施形態では、画像プロセッサ412は、1102において、異なった、近接した、重なり合った、および/または少なくとも部分的に重なり合った網膜の領域について連続的にキャプチャされた複数の画像として網膜画像データを取得し、連続的にキャプチャされた複数の網膜の画像を縫い合わせて、全体像を作成する。例えば、画像プロセッサ412は、画像センサ408から、網膜に関連付けられた左下象限、左上象限、右上象限、および右下象限の網膜画像データを取得することができ、それぞれが、隣り合う象限画像と約5%重なり合う。画像プロセッサ412は、網膜の全体的な合成画像を作り出すために、位置合わせのために重なり合う部分を用いて、象限画像を縫い合わせてもよい。画像プロセッサ412は、網膜の部分的または完全な画像を構築するために、より少ないまたはより多い数のセグメント画像を取得してもよい。ある実施形態では、画像プロセッサ412は、網膜の象限画像の各々を得る間の照明変化を、(例えば、照明源に関連付けられた1つ以上のマスクの制御された動きを通じて)制御してもよい。1つの特定の実施形態では、画像プロセッサ412は、視野全体の画像を取得し、特定の非選択領域に関連付けられた画素を間引くことによって、網膜のセクション画像またはセグメント画像を取得する。別の実施形態では、画像プロセッサ412は、光学レンズ配列404の動きまたは調節によって、部分的に網膜画像を取得する。
一実施形態では、画像プロセッサ412は、1104において、少なくとも部分的に重複する複数の網膜の画像として網膜画像データを取得し、複数の画像を合成して、高解像度網膜画像データを得る。例えば、画像プロセッサ412は、画像センサ408から、網膜の同じ全体像の一連の高解像度網膜画像を取得してもよい。それから、プロセッサ412は、得られた個々の網膜画像のうちの任意の単一の画像に対して、画素濃度、解像度、および/または視認性を高めるために、画素のうちの少なくともいくつかを合算することによって、一連の画像を合成することができる。いくつかの実施形態では、複数の網膜画像に基づく画素の合成は、画一的になされてもよいし、非画一的になされてもよい。例えば、プロセッサ412は、他の領域に対する画素濃度を維持する一方で、特定の注目された網膜領域(例えば、変化または特定の病変を示す領域)に対する画素濃度を高めてもよい。したがって、プロセッサ412は、潜在的な疾患領域の検知などのように、その特定の領域が医療従事者によって要求されることを予測して、1つまたは複数の取得された網膜画像における1つまたは複数のトリガイベントに基づいて、画素濃度を高めておくことができる。
図12は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)伝送に必要な帯域幅が網膜画像データの約10分の1で済む出力データを、網膜画像データの解析に基づいて生成するステップ1202、および、(2)網膜画像データの伝送に必要な帯域幅が約20Gbpsであるのに対して、伝送に必要な帯域幅が約1Mbpsで済む出力データを、網膜画像データの解析に基づいて生成するステップ1204、の少なくともいずれか一方を含む。
一実施形態では、画像プロセッサ412は、網膜画像データの解析に基づいて出力データを生成する。1202では、画像プロセッサ412は、伝送に必要な帯域幅が網膜画像データが必要とする帯域幅の約10分の1で済む出力データを生成する。あるいは、1204では、画像プロセッサ412は、網膜画像データの伝送に必要な帯域幅が約20Gbpsであるのに対して、伝送に必要な帯域幅が約1Mbpsで済む出力データを生成する。画像プロセッサ412は、1つまたは複数のインスタンス(例えば、静止画または動画)につき、超高解像度画像(ultra-high resolution imagery)を、画像センサ408から適時に取得する。取得された加工前の網膜画像データのサイズは、通信インタフェース410の通信帯域幅性能をはるかに超えることがある。例えば、加工前の網膜画像データのすべてを伝送するために必要な帯域幅は、通信インタフェース410で利用できる帯域幅の10倍、20倍、またはそれ以上になり得る。プロセッサ412は、眼底鏡402レベルでの超高解像度網膜画像に処理を施すことによってこの潜在的な欠点を克服する。当該処理は、エッジ処理、現場処理(in-situ-processing)、またはオンボード処理と呼ばれ得る。加工前の網膜画像データにエッジ処理を実行することにより、画像プロセッサ412は、リアルタイムに、または、ほぼリアルタイムに、超高解像度の画像へアクセスすることが可能となり、サイズが縮小された出力データ、および/または、特有の必要性または要求に合わせて調整された出力データを生成することができる。出力データは、通信インタフェース410を介した伝送のためにサイズが大幅に縮小され得るが、特定のアプリケーションまたは要求によっては、有用性が非常に高いことが優先されてもよく、解像度が高いこと/視認性が高いことさえも優先されてよい。
図13は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)伝送のための網膜画像データの低解像度バージョンを含む出力データ生成するステップ1302、および、(2)伝送のために、網膜画像データに対して、以下の少なくともいずれか1つのタイプの変更が加えられた出力データ生成するステップ1304であって、以下のタイプとは、サイズ、画素削減、解像度、縫い合わせ(stitch)、圧縮、色、オーバーラップ減算、スタティック減算、および/または、バックグラウンド減算であるステップ1304、の少なくともいずれか一方を含む。
一実施形態では、画像プロセッサ412は、1302において、伝送のための網膜画像データの低解像度バージョンを含む出力データ生成する。画像プロセッサ412は、非常に多数の画素を含む超高解像度画像を画像センサ408から取得する。したがって、加工前の網膜画像は、全体的に、要求元の装置のスクリーン解像度をはるかに超える解像度を有すると考えられる(例えば、表示装置の1メガピクセルに対して、加工前の網膜画像データの20メガピクセルが対応する、など)。そのため、画像プロセッサ412は、要求装置のスクリーン解像度または平均的な表示装置のスクリーン解像度に合致するか、あるいはそれを超える、依然として非常に高い解像度ではあるが、該解像度にまで、加工前の網膜画像データの解像度を落としてもよい。該プロセスを、画素デシメーション(pixel decimation)と呼んでもよい。画像プロセッサ412は、網膜画像データ全体にわたって画一的または非画一的に画素デシメーションを実行してもよい。画像プロセッサ412によって実行される画素デシメーションの程度は、選択された網膜画像データの領域によっても変わり得る。例えば、網膜画像データの大きな領域について、より多数の画素を間引くように画像プロセッサ412を構成してもよい。(例えば、ディジタルズームに対応する)小さな領域に対しては、画素を間引かないか、あるいは、間引く(decimate)としてもより少ない数の画素を間引くように画像プロセッサ412を構成してもよい。面積に依存する可変画素デシメーションにより、一定の視認性または一定の解像度にて網膜画像を伝送することができる。
一実施形態では、画像プロセッサ412は、1304において、伝送のために、網膜画像データに対して、以下の少なくともいずれか1つのタイプの変更が加えられた出力データ生成する。以下のタイプとは、サイズ、画素削減、解像度、縫い合わせ(stitch)、圧縮、色、オーバーラップ減算、スタティック減算、および/または、バックグラウンド減算である。画像プロセッサ412は、加工前の網膜画像データのすべてを送信する必要はない。画像プロセッサ412は、加工前の網膜画像データが、焦点が合わせられた目的にかなった非常に有益なデータになるように、さまざまな削減の処理を利用してもよい。例えば、画像プロセッサ412は、注目される可能性がある特定の部位以外の画素データを間引くことによって、網膜画像データの領域全体のサイズを縮小することができる。さらに、画像プロセッサ412は、特定の用途(例えば、印刷、大型高精細モニタ、携帯電話機ディスプレイなど)のために依然として高解像度ではあるが該高解像度まで解像度を低減するために、選択された注目領域内で画素デシメーションまたは画素削減(pixel reduction)を実行してもよい。画像プロセッサ412は、いくつかの実施形態では、様々な網膜画像セグメントを互いに縫い合わせて、網膜画像全体を生成し、その後で、網膜画像全体に対してさらなる解析処理または削減処理を実行してもよい。特定の状況では、画像プロセッサ412は、多数のユーザによって要求される網膜画像データにおける冗長な重複部分を識別し、網膜画像データの冗長部分または重複部分については、一度だけ送信するようにしてもよい。いくつかの実施形態では、画像プロセッサ412は、以前の送信時から変化していない網膜画像データの領域を識別し、それから、該領域を送信対象から除く。この場合には、サーバまたはクライアントデバイスが、差分の補完により、省略された領域を網膜画像データに再現する。あるいは、画像プロセッサは、第1の解像度で網膜画像データの選択された部分を送信し、第1の解像度よりも低い第2の解像度で網膜画像データにおける近隣領域または背景部分を送信してもよい。この例では、第1の解像度は、スクリーンディスプレイの解像度に対して高解像度とすることができ、第2の解像度は、スクリーンディスプレイに対して低解像度とすることができる。これらの処理に加えて、画像プロセッサ412は、伝送前に任意の画像データに対して画像圧縮を実行してもよい。画像プロセッサ412によって実行される圧縮技術の具体例は、低減色空間、色度二段抽出(chroma subsampling)、変換符号化、フラクタル圧縮、ランレングス符号化、DPCM、エントロピー符号化、デフレーション、チェーン符号化などのうちの1つまたは複数を含む。
画像プロセッサ412の処理手順の一実施例は、前述の技術のうちの1つまたは複数が画像プロセッサ412によってどのように利用され得るかを示す。画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、網膜画像の実質的に全領域の視野全体を選択してもよい。画像プロセッサは、(例えば、病理の新たな発現による)変化の領域を識別してもよい。次いで、画像プロセッサ412は、網膜画像にわたって均一に画素デシメーションを実行することにより、網膜画像データの約1/10になるように網膜画像の解像度を低減する。そして、画像プロセッサ412は、変化領域以外に対応する網膜画像データの解像度をさらに50%下げる。次いで、残りの画像データは、画像プロセッサ412によって圧縮され、通信インタフェース410の帯域幅の制約内で、医師に関連付けられたクライアントデバイスに送信される。そして、クライアントデバイスは、網膜画像データが変化領域に対応する高解像度部分および非変化領域に対応する低解像度部分を含むように、網膜画像データを伸張してディスプレイに出力してもよい。非変化領域に対応するより高い解像度の画像を要求するリクエストが画像プロセッサ412によって受信された場合、該要求を満足するためには、通信インタフェース410を介して、その特定のリクエストされた領域に対応する画素データの追加の50%のみを送信するだけでよい。
図14は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)網膜画像データの解析に基づいて、該網膜画像データにおける健康的課題に関係する部分を含む出力データを生成するステップ1402、(2)網膜画像データの解析に基づいて、以下の健康的課題の少なくとも1つを識別する識別子を含む出力データを生成するステップ1404であって、以下の健康的課題とは、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または、脈絡膜ひだ、である、ステップ1404、および、(3)網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データであって、メタデータを含む出力データを、網膜画像データの解析に基づいて生成するステップ1406、の少なくともいずれか1つを含む。
一実施形態では、画像プロセッサ412は、1402において、網膜画像データの解析に基づいて、該網膜画像データにおける健康的課題に関係する部分を含む出力データを生成するか、または、1404において、網膜画像データの解析に基づいて、以下の健康的課題の少なくとも1つを識別する識別子を含む出力データを生成する。以下の健康的課題とは、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または、脈絡膜ひだ、である。画像プロセッサ412は、画像センサ408から得られる超高解像度網膜画像へアクセスすることができ、網膜画像の任意の伝送の前に、オンボード処理、現場処理、および/またはエッジ処理を使用して、網膜画像に対して画像解析を実行してもよい。画像解析は、例えば、病変の1つまたは複数の潜在的な病変事例を検出および/または識別するための、画像識別解析および測定を含み得る。画像プロセッサ412によって実行される解析または測定は、基準パラメータ、特定の個体の以前の網膜画像からの変化、および/または、一般的なあるいは特異的な患者の母集団の平均に基づいてなされてもよい。網膜病変が検出または測定された場合、画像プロセッサ412は、それに基づいて出力データを生成してもよい。画像プロセッサ412によって生成される出力データは、病変のバイナリ表示、病変または測定値の英数字記述、および/またはそれらに関する網膜画像データを含んでもよい。
画像プロセッサ412は、1つまたは複数の様々な網膜病変を検出および/または測定するように構成され得る。例えば、画像プロセッサ412は、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または脈絡膜ひだ、のうちのいずれか1つまたは複数を検出または測定するように構成されてもよい。例えば、糖尿病性網膜症に関して、画像プロセッサ412は、網膜において、以下の1または複数の事例を検出および/または測定してもよい。以下の事例とは、大出血(hemorrhage)、出血(bleeding)、眼の中心に向かう新しい脆弱な血管の増殖、および、血液漏出(blood leakage)である。黄斑変性に関して、画像プロセッサ412は、網膜の黄斑領域における血管増殖、血液漏出、または流体漏出を検出および/または測定してもよい。心臓血管病に関して、画像プロセッサ412は、より狭い網膜細動脈直径またはより大きい網膜細静脈直径などの炎症マーカーを検出および/または測定してもよい。緑内障に関して、画像プロセッサ412は、視神経円板、眼杯、および神経網膜縁を検出および/または測定してもよいし、眼杯と視神経円板との比率、および、神経網膜縁が占める割合を計算してもよい。マラリア網膜症に関して、画像プロセッサ412は、血管変色、網膜白化、および、大出血または赤色病変を検出および/または測定してもよい。アルツハイマー病に関して、画像プロセッサ412は、プラーク沈着、静脈血柱直径、または網膜神経線維層の薄化を検出および/または測定してもよい。眼球扁平化、脈絡膜ひだに関して、画像プロセッサ412は、網膜における物理的なくぼみ、形状、圧迫、または、位置ずれを検出および/または測定してもよい。乳頭浮腫に関して、画像プロセッサ412は、視神経円板の腫れ、充血したまたは曲がりくねった網膜静脈、または、視神経円板の周りの網膜大出血を検出および/または測定してもよい。画像プロセッサ412は、上記またはその他のいずれかを含む任意の視覚的に検出可能なパラメータを測定または検出するように構成されてもよい。さらに、画像プロセッサ412は、任意の1つまたは複数の潜在的な病変に結び付けられた任意の1つまたは複数のパラメータを有するように構成されてもよい。列挙された病変に加えて、多くの他の病変が、網膜画像を用いて検出および/または測定され得る。多くの他の病変としては、例えば、視神経乳頭浮腫、視神経鞘拡張、視神経乳頭延長、綿毛斑、黄斑孔、黄斑ひだ、変性性近視、格子変性、網膜裂孔、網膜剥離、網膜動脈閉塞、網膜枝網膜静脈閉塞、中心網膜静脈閉塞、眼内腫瘍、遺伝性網膜障害、貫通性眼外傷、小児および新生児網膜障害、サイトメガロウイルス(cmv)網膜感染、黄斑浮腫、ブドウ膜炎、感染性網膜炎、網膜漿膜炎、網膜芽細胞腫、網膜内膜炎、高血圧性網膜炎、網膜出血(retinal hemorrhage)、日光網膜炎(solar retinopathy)、網膜色素変性、もしくは、他の視神経または目の変化が挙げられる。
一実施形態では、画像プロセッサ412は、1406において、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データであって、メタデータを含む出力データを、網膜画像データの解析に基づいて生成する。画像プロセッサ412によって生成されるメタデータは、患者の名前、標本採取の時刻、患者の年齢、識別された潜在的な病変、解像度、フレームレート、潜在的な病変を示す画像の座標、測定値、病変の説明、以前の測定値からの変化、推奨される処置の過程、追加の生理学的測定値(例えば、心拍数、体重、血圧、患者の視力、体温、血中酸素濃度、身体活動測定値、皮膚伝導率)などの様々な情報を含み得る。メタデータは、網膜画像が送信される前に、網膜画像データと共に送信されてもよいし、網膜画像なしで送信されてもよい。メタデータは、英数字、バイナリ値、または画像データであってもよく、したがって、これらの伝送には、高解像度網膜画像の伝送に必要な帯域幅よりも大幅に少ない帯域幅しか必要としない。
図15は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データであって、追加されたコンテクスト情報を含む出力データを、網膜画像データの解析に基づいて生成するステップ1502、(2)網膜画像データよりも伝送に必要な帯域幅が少なくて済む英数字出力データを、網膜画像データの解析に基づいて生成するステップ1504、および、(3)網膜画像データよりも伝送に必要な帯域幅が少なくて済むバイナリ出力データを、網膜画像データの解析に基づいて生成するステップ1506、の少なくともいずれか1つを含む。
一実施形態では、画像プロセッサ412は、1502において、網膜画像データの解析に基づいて、追加されたコンテクストデータを含む出力データであって、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを生成する。一実施例として、画像プロセッサ412は、以下の情報を、通信インタフェース410を介して伝送するための網膜画像データに追加してもよい。以下の情報とは、日付/時間、被験者の氏名、検査のセッションID、問題領域または病変領域の強調表示(例えば、臨床医に注目させるために画像に付加された矢印または円)、または追加の履歴画像データ(例えば、比較しやすいように患者の現在の網膜画像データと並置された患者の過去の網膜画像データ)などである。画像プロセッサ412によって生成されるコンテクスト情報は、テキスト、画像データ、バイナリデータ、座標情報などを含み得る。コンテクスト情報は、網膜画像データと共に送信されてもよいし、網膜画像データを送信する前か後に送信されてもよいし、あるいは、網膜画像データに代えて送信されてもよい。
例えば、画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、網膜画像に対して画像識別解析を実行して、大出血(hemorrhage)、出血(bleeding)、眼の中心に向かう新しい脆弱な血管の増殖、および、血液漏出(blood leakage)のうちの1つまたは複数の事例を識別してもよい。画像プロセッサ412は、網膜画像データの解像度をIPHONE7(登録商標)表示装置の解像度(例えば、750×1334ピクセル)に低減し、さらに識別された領域以外の領域の解像度をさらに25%低減してもよい。次いで、画像プロセッサ412は、前の送信時から変更されていない全ての領域を画像データから除去し、そして、送信前に網膜画像データにコンテクストデータを追加してもよい。コンテクスト情報は、日付、時間、患者名、および識別された事例を強調表示する印を含み得る。次いで、画像プロセッサ412は、縮小された網膜画像データと共にコンテクストデータを送信する。ここで、上記の網膜画像データは、IPHONE7(登録商標)の要求元装置に転送される前に、以前に送信された網膜画像データに基づいて差分が補完される。
一実施形態では、画像プロセッサ412は、1504において、網膜画像データよりも伝送に必要な帯域幅が少なくて済む英数字出力データを、網膜画像データの解析に基づいて生成する。画像プロセッサ412は、画像センサ408からの超高解像度網膜画像にアクセスする。場合によっては、通信インタフェース410上の帯域幅の負担を軽減するために、画像プロセッサ412は、網膜画像に関して画像認識を実行して、病変または病理学的欠陥を判定し、それに基づいて英数字列を生成してもよい。例えば、英数字列は、検出された病変を説明するものであってもよいし、または、以前の解析から変化がないことを示すものであってよい。英数字列は、文字、単語、句、または段落であってもよく、数字および/または記号を含み得る。したがって、通信インタフェース410を介して、画像プロセッサ412によって英数字列が送信されるとき、加工前の網膜画像データに対して帯域幅において毎秒メガバイトまたは毎秒ギガバイトが必要になるのとは対照的に、毎秒数バイトで済む。
例えば、画像プロセッサ412は、画像センサ408から超高解像度画像を取得し、画像認識を実行して、網膜の黄斑領域において、血管増殖の増大、血液漏出、または、流体漏出を識別してもよい。次いで、画像プロセッサ412は、「被験者 John Q.Smithは、左眼において黄斑変性に関するいくつかの徴候を有する。該兆候には、左網膜の黄斑における、血管増殖の10%の増大と、血液および/または流体の漏出との2つの事例が含まれる。」などの英数字を生成してもよい。次いで、画像プロセッサ412は、通信インタフェースを介して英数字列の記述を伝送してもよい。この伝送は、ケア提供者が同じことを考慮できるようにするために、毎秒数バイトしか必要としない。網膜画像データは、更なる情報が要求されたことに応答して伝送されてもよい。あるいは、網膜画像データは、ケア提供者がその状態を認識し、網膜画像を更に再検討する必要がない、などのような状況になれば、破棄されてもよい。
一実施形態では、画像プロセッサ412は、1506において、網膜画像データよりも伝送に必要な帯域幅が少なくて済むバイナリ出力データを、網膜画像データの解析に基づいて生成する。画像プロセッサ412は、画像センサ408からの超高解像度網膜画像にアクセスしてもよく、網膜画像データにおける潜在的な病変または病理学的欠陥を判定するために画像認識を実行してもよい。次いで、画像プロセッサ412は、この判定に基づいて、帯域幅をほとんど必要としないか、または全く必要としない、電圧がhighの信号または電圧がlowの信号(例えば、0または1)を送信してもよい。網膜画像データは、バイナリ表示と共に送信されてもよいし、バイナリ表示に続いて送信されてもよいし、特定のアプリケーション、リクエスト、またはプログラム命令にしたがって送信されなくてもよい。
例えば、画像プロセッサ412は、超高解像度網膜画像に対して画像識別または比較解析を実行して、変化がないか、または、潜在的な病変が存在するかを判定してもよい。次いで、画像プロセッサ412は、網膜画像データの伝送を必要とすることなく、0を示す値を生成し、通信インタフェース410を介してそれを伝送してもよい。
図16は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)網膜画像データの選択領域および/または拡大率にかかわらず一定の解像度を維持するために、画素デシメーションによって出力データを生成するステップ1602、(2)網膜画像データの選択領域および/または拡大率にかかわらずに、要求元のデバイス以下の解像度を維持するために、画素デシメーションによって出力データを生成するステップ1604、および、(3)網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを網膜画像データの解析に基づいて生成し、該出力データを圧縮するステップ1606、の少なくともいずれか1つを含む。
一実施形態では、画像プロセッサ412は、1602において、網膜画像データの選択領域および/または拡大率にかかわらず一定の解像度を維持するために、画素デシメーションによって出力データを生成する。画像プロセッサ412は、非常に多数の画素(例えば、20メガ画素以上)を有する超高解像度網膜画像(retinal imagery)にアクセスすることができる。画像プロセッサ412は、所与の解像度(例えば、1〜5メガピクセル)を維持するために、加工前の超高解像度網膜画像の画素を間引いてもよい。所与の解像度を維持するために間引かれる画素の数は、加工前の網膜画像から選択される領域の大きさ/拡大率と反比例して変化する。すなわち、画像プロセッサ412は、網膜全体に実質的に相当する広い視野が選択された場合に、画素データの大部分を間引いてもよい。これは、原画像データおよび画素の実質的に全てを含む選択による。しかし、画像プロセッサ412は、網膜の小さい領域(例えば、視神経または黄斑領域)に対して狭視野または高い拡大率が選択される場合、画素を間引かなくてもよいし、間引いたとしても少数にとどめてもよい。これは、場合によっては所与の解像度より少ない解像度(例えば、1〜5メガピクセルより少ない解像度)を含む選択に起因する。この点に関して、画像プロセッサ412は、通信インタフェース410が要求する比較的低い帯域幅とほぼ変わらない帯域幅にて、広域または低倍率の選択から狭域または高倍率の選択に至るまで、非常に高い視認性を維持することができる。
一実施形態では、画像プロセッサ412は、1604において、網膜画像データの選択領域および/または拡大率にかかわらずに、要求元のデバイス以下の解像度を維持するために、画素デシメーションによって出力データを生成する。画像プロセッサ412は、要求元デバイスの種類または要求元デバイスのスクリーン解像度を示すメタデータを取得してもよい。メタデータに基づいて、画像プロセッサ412は、所望の解像度および画素間引き量を調整して、特定の装置に適合する最も高い解像度の網膜画像データを提供してもよい。したがって、より高いスクリーン解像度の装置または印刷アプリケーションでは、例えば、画像プロセッサ412は、間引かれる画素をできるだけ少なくして、より高い解像度の画像が送信されるように、間引き量を下方に調整してもよい。同様に、より低いスクリーン解像度のデバイスでは、画像プロセッサ412は、より多くの画素が間引かれて、より低い解像度の画像が送信されるように、間引き量を上方に調整してもよい。画像プロセッサ412は、多くの様々なデバイスまたは網膜画像データのアプリケーションに適応するために、様々なユーザリクエストに対して間引き量をリアルタイムで調整してもよい。
例えば、画像プロセッサ412は、2048×1536の特定のスクリーン解像度を有する第4世代のIPAD(登録商標)装置からのリクエストを受信してもよい。画像プロセッサは、様々な視野および/または拡大率の選択に対して約3メガピクセルの解像度を維持するように間引き量を調整してもよい。画像プロセッサ412は、312×390の指定された解像度を有するIWATCH(登録商標)から、別のリクエストを受信してもよい。上述の例において、画像プロセッサは、様々な視野および/または拡大率の選択に対して約0.1メガピクセルの解像度を維持するように、間引き量をさらに調整してもよい。この点に関して、画像プロセッサ412は、通信インタフェース410の帯域幅要求を最小限に抑える一方で、特定のデバイスに対しては高解像度の網膜画像データを提供する。
一実施形態では、画像プロセッサ412は、1606において、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを網膜画像データの解析に基づいて生成し、該出力データを圧縮する。画像プロセッサ412は、加工前の網膜画像データを圧縮してもよいし、あるいは、削減(例えば、画素削減、静的オブジェクトの省略、非変化領域の省略などの)後の網膜画像データを圧縮してもよい。圧縮または符号化された出力データは、通信インタフェース410を介して、帯域幅におけるより少ない負荷で送信され得る。画像プロセッサ412によって実行される圧縮技術の具体例は、低減色空間、色度二段抽出、変換符号化、フラクタル圧縮、ランレングス符号化、DPCM、エントロピー符号化、デフレーション、チェーン符号化などのうちの1つまたは複数を含む。
図17は、エッジ処理を伴う網膜撮像装置400を用いて実施される、様々な実施形態によるプロセス500の構成図である。一実施形態では、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データの解析に基づいて生成するステップ504は、(1)網膜画像データの中の、検出されたオブジェクトまたは特徴に対応する部分を含む出力データを、網膜画像データの解析に基づいて生成するステップ1702、および、(2)網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データにおいて認識されたオブジェクトまたは特徴に基づいて生成するステップ1704、の少なくともいずれか1つを含む。
一実施形態では、画像プロセッサ412は、1702において、網膜画像データの中の、検出されたオブジェクトまたは特徴に対応する部分を含む出力データを、網膜画像データの解析に基づいて生成する。画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、画像認識または解析を実行して、注目された特定のオブジェクトまたは特徴を識別する。次いで、画像プロセッサ412は、注目された特定のオブジェクトまたは特徴を含む領域以外の画素のすべてまたは一部を間引いてもよい。間引きの対象となる領域は、様々な方法で定義され得る。該方法は、注目された特定のオブジェクトまたは特徴のみの画像を上記領域として定義すること、注目された特定のオブジェクトまたは特徴の周りの領域をパーセンテージまたは距離で定義すること、特定のボックスまたは円で定義することなどを含む。画像プロセッサ412は、注目された特定のオブジェクトまたは特徴に対応する領域の画像の解像度をさらに低減してもよいし、および/または、1つまたは複数の他の画素削減処理(例えば、静的オブジェクトの除去、非変化領域の除去、重複領域の除去など)を実行してもよい。
例えば、画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、画像解析を実行して、アルツハイマー病を示す可能性がある1つ以上のプラーク沈着を識別してもよい。画像プロセッサ412は、プラーク沈着の領域と、該プラーク沈着の領域を約10%超える領域とを含む網膜画像の領域を選択してもよい。網膜画像の非選択領域は、間引かれ、記憶されるかまたは廃棄される。一方、選択領域は、通信インタフェース410を介した送信の前に、画素削減および/または圧縮の処理にかけられてもよい。
一実施形態では、画像プロセッサ412は、1704において、網膜画像データよりも伝送に必要な帯域幅が少なくて済む出力データを、網膜画像データにおいて認識されたオブジェクトまたは特徴に基づいて生成する。画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、画像認識を実行して、特定のオブジェクトまたは特徴を識別してもよい。画像プロセッサ412は、特定のオブジェクトまたは特徴の検出に応じて、画像データおよび/または他のデータの関連部分を含み得る出力データを生成してもよい。画像プロセッサ412によって生成される他のデータは、プログラムまたはファンクションコール、英数字テキスト、バイナリデータ、または他の類似の情報または動作ベースのデータを含み得る。
例えば、画像プロセッサ412は、画像センサ408から超高解像度網膜画像データを取得し、オブジェクトまたは特徴の認識を実行して、より狭い網膜細動脈直径またはより大きい網膜細静脈直径などの1つまたは複数の炎症マーカーを識別してもよい。1つ以上のマーカーを識別すると、画像プロセッサ412は、プログラムファンクションコールを生成してもよい。プログラムファンクションコールは、薬剤の分注を開始したり、医療提供者に警告が発したり、食事制限または運動計画を変更したり(例えば、心血管運動を増大させ、コレステロール摂取を最小限に抑える)、または、追加の非網膜生理学的測定を始動させたりするためのものである。
図18は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、504における、網膜画像データの解析に基づいて出力データを生成すること、および、出力データは、網膜画像データよりも送信に必要な帯域幅が小さいことは、1802において、網膜画像データ内の事象または動作識別に基づいて出力データを生成すること、出力データは網膜画像データよりも送信に必要な帯域幅が小さいこと、または1804において、網膜画像データ内の指定された視野の出力データを生成すること、出力データは、網膜画像データよりも送信に必要な帯域幅が小さいこと、のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、網膜画像データにおける事象または動作の識別に基づいて出力データを生成し、1802において、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とする。画像プロセッサ412は、画像センサ408から超高解像度画像を取得し、画像解析を実行して、前の網膜画像からの変化、しきい値を超える計測、指定された基準からの逸脱、または他の定義されたイベントまたはアクションなどの事象または動作を識別する。事象または動作を検知すると、画像プロセッサ412は、画像データおよび/または他のデータの関連部分を含むことができる出力データを生成する。画像プロセッサ412によって生成される他のデータは、プログラムまたはファンクションコール、英数字テキスト、2値データ、または他の類似の情報または動作を含むことができる。
例えば、画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得し、その網膜画像を、特定の被検体について以前の時点で取得された1つ以上の以前の画像と比較することができる。この比較に応じて、画像プロセッサ412は、被験者に以前は存在していなかった、おそらくマラリア網膜症を示す血管変色、網膜白化、および出血または赤色病変を検出することができる。次いで、画像プロセッサ412は、「マラリア網膜症の徴候:1」などの検出された変化に基づいて、またはそれに応じて、通信インタフェース410を介した送信用の英数字テキストと2値データとの組合せを生成することができる。
一実施形態では、画像プロセッサ412は、網膜画像データ内の指定された視野の出力データを生成し、出力データは、1804において、網膜画像データよりも少ない伝送帯域幅を必要とする。画像プロセッサ412は、画像センサ408から超高解像度網膜画像を取得するが、場合によっては、網膜画像のすべてが有益な情報を含むわけではない。したがって、画像プロセッサ412は、不要なまたは有用でない情報を除去または除去し、必要または有用な情報を含む視野または選択を保持する縮小動作を実行することができる。視野は、例えば、象限、部、セグメント、半径、ユーザ定義領域、ユーザリクエスト領域、または特定の特徴、物体、またはイベントに対応する領域を含むことができる。画像プロセッサ412によって生成される視野は、小さく、高ズーム領域または大きく、低ズーム領域であってもよい。
例えば、画像プロセッサ412は、通信インタフェース410を介して双方の眼の実質的な全網膜に対する大きな視野をクライアント装置に送信することができる。クライアント装置のユーザは、大きな視野内の網膜の特定の領域にボックスまたはピンチを描画し、ズームすることができる。クライアント装置は、以前に取得されたデータを使用して、網膜の比較的低解像度の指定された領域を提示し、さらに、指定された領域に対して追加のピクセルデータを要求することができる。画像プロセッサ412は、クライアントリクエストに応じて、通信インタフェース410を介して、以前に間引かれた付加的な画素データを送信し、クライアント装置における指定された領域のアキュリティおよび/または解像度を高めることができる。
図19は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、504における網膜画像データの解析に基づいて出力データを生成すること、出力データは、網膜画像データよりも少ない送信帯域幅を必要とすることは、1902における網膜画像データ内の指定されたズームレベルの出力データを生成すること、出力データは網膜画像データよりも少ない送信帯域幅を必要とすること、または1904における網膜画像データの解析、および、以下の少なくとも1つ、すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうちの少なくとも1つを含むユーザリクエストに基づいて、出力データを生成すること、出力データは網膜画像データよりも少ない伝送帯域幅を必要とすること、のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、網膜画像データ内の指定されたズームレベルの出力データを生成し、この出力データは、1902において、網膜画像データよりも少ない伝送帯域幅を必要とする。画像プロセッサ412は、画像センサ408から超高解像度画像を取得し、保持領域を変化させ、保持領域内の画素保持量を変化させることによって、指定されたズームレベルをデジタル的に生成することができる。画像プロセッサ412は、より小さな領域に対して生の網膜画像データで得られた全ての画素により多くを保持することによって、高ズームレベルを可能にすることができる。画像プロセッサ412は、より広い領域に対して生の網膜画像データ内に得られるより少ない画素を保持することによって、低ズームレベルを可能にすることができる。あるいは、光学レンズ配列404の機械的レンズ調整に基づいてズームレベルを得ることもできる。
例えば、画像プロセッサ412は、超高解像度網膜画像を取得し、網膜画像の光学素子領域外のすべての画素をデシメートし、網膜画像の光学素子領域内のすべての画素に大部分を保持することによって、網膜の光学素子領域の高ズームをデジタル的に生成することができる。あるいは、例えば、画像プロセッサ412は、超高解像度網膜画像を取得し、網膜画像の全網膜にわたって画素の一部を均一にデシメートすることによって(例えば、他のすべての画素が除去されるか、または画素のパターンが除去される)、網膜全体の低ズームをデジタル的に生成することができる。
一実施形態では、画像プロセッサ412は、網膜画像データの解析に基づいて、および以下のうちの少なくとも1つに対するユーザリクエストに基づいて、出力データを生成する。すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題、網膜画像データまたは1904よりも少ない伝送帯域幅を必要とする出力データのうちの少なくとも1つである。画像プロセッサ412は、1つ以上のユーザリクエストに基づいて出力データを生成するように構成され得、1つ以上のユーザリクエストは、通信インタフェース410を介して受信され得る。1つ以上のユーザリクエストは、リアルタイムまたはほぼリアルタイムで満たされるべき特定の要求(例えば、網膜の特定の視野および/またはズームレベルに対する要求)であってもよく、または将来満たされるべき要求(例えば、アクションまたはイベントが発生したとき、特徴またはオブジェクトが検出されたとき、または特定のヘルス問題に関係するとき、データを出力するための要求)であってもよい。したがって、画像プロセッサ412は、ユーザリクエストに対するレスポンスデータを提供することができ、または定期的に、予定に従って、または将来の1つまたは複数の指定された時間にオペレーションを実行するようにプログラムすることができる。画像プロセッサ412がプログラムされている場合、画像プロセッサ412は、必要または必要に応じて、ユーザのさらなる関与なしに解析を実行することができる。
図20は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、504における網膜画像データの解析に基づいて出力データを生成すること、出力データは網膜画像データよりも伝送に必要な帯域幅が少ないことは、2002における網膜画像データの解析、および以下のうちの少なくとも1つに関するプログラムリクエスト、すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定された健全性の問題の少なくとも1つに基づいて出力データを生成すること、出力データは網膜画像データよりも少ない送信帯域幅を必要とすること、または2004における網膜画像データの解析に基づいて、およびローカルでホストされるアプリケーションプログラムリクエストに基づいて出力データを生成すること、出力データは網膜画像データよりも少ない送信帯域幅を必要とすること、のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、網膜画像データの解析に基づいて、および以下のうちの少なくとも1つに対するプログラムリクエストに基づいて、出力データを生成する。すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうちの少なくとも1つである。出力データは2002における網膜画像データよりも少ない伝送帯域幅を必要とする。画像プロセッサ412は、通信インタフェース410を介して、リモートホストまたは実行中のアプリケーションから1つまたは複数のプログラムリクエストを受信することができる。プログラムリクエストは、出力データを生成するために、取得された未処理の高解像度網膜イメージデータに対して画像プロセッサ412によって実行可能な特定のパラメータを指定することができる。次いで、出力データは、画像プロセッサ412によって、リモートアプリケーションまたは別の位置(例えば、クライアント装置またはサーバ装置)に送信可能である。
例えば、画像プロセッサ412は、第三者電子カルテソフトウエアアプリケーションからプログラムリクエストを得ることができる。プログラムリクエストは、視神経円板、視神経円板、および神経網膜縁の網膜像(例えば、カップ対円板の比率および神経網膜縁の割合が異常または変化する場合)に対する、任意の検出された潜在的な病理に対する、より大きな視野の網膜画像データおよびより小さな視野の網膜画像データに対するリクエストを含み得る。画像プロセッサ412は、プログラムリクエストをメモリに保持し、それを特定の患者について得られた網膜画像データに適用することができる。潜在的な病理を検知した場合、画像プロセッサ412は、リクエストされた網膜画像を通信インタフェース410を介して送信し、特定の患者についての電子カルテソフトウェアアプリケーションに格納することができる。
一実施形態では、画像プロセッサ412は、網膜画像データの解析に基づいて、およびローカルでホストされるアプリケーションプログラムリクエストに基づいて、出力データを生成し、出力データは、2004において、網膜画像データよりも少ない伝送帯域幅を必要とする。画像プロセッサ412およびコンピュータメモリ406は、指定された出力データを生成するために1つまたは複数の指定された機能を実行するサードパーティアプリケーションなどのアプリケーションをホストするように構成可能である。様々な個人またはエンティティは、特殊な目的または調査のためにアプリケーションを作成し、通信インタフェースを介してアプリケーションを眼底鏡402にアップロードすることができる。画像プロセッサ412は、画像センサ408から得られる超高解像度網膜画像のカスタム解析およびデータ生成を実行するために、ホストされたアプリケーションを単独で、または複数の異なったホストされたアプリケーションと並行して実行することができる。
例えば、研究所は、検出された網膜病変の種類対外空間における持続時間に関する非個人情報を収集するアプリケーションを開発することができる。このアプリケーションは、地球から宇宙飛行士が出発する前に、眼底鏡402にアップロードすることができる。外部空間における眼底鏡402の使用中、画像プロセッサ412は、網膜画像データ収集の通常の過程中にアプリケーションを実行し、検出された病理および検出された病理の時間を記録することができる。出力データは、いかなる患者識別情報も伴わずに、通信インタフェース410を介して研究機関のために地球に返送することができる。この実施例では、同じ眼底鏡402が、臨床医による健康監視のための特別な宇宙飛行士に関して、ここに開示された操作のうちの1つ以上を実行することができる。例えば、画像プロセッサ412は、フル解像度の網膜画像を解析し、宇宙飛行士における乳頭浮腫のインスタンスを検出することができる。乳頭水腫に関連する適切な網膜画像は、臨床医のために通信インタフェース410を介して送信される前に、取得され、低減され、および/または圧縮され得る。
図21は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、506における少なくとも1つの通信インタフェースを介した出力データの送信は、2102における、WIFI、セルラー、サテライト、および/またはインターネット、2104における、網膜画像データの捕捉速度の約10分の1の帯域幅能力を含む少なくとも1つの通信インタフェースを介して出力データを送信する、または2106において、少なくとも1つの通信インタフェースを介して出力データを第1の時間に送信し、出力データは網膜画像データよりも少ない帯域幅を伝送に必要とし、網膜画像データのうちの少なくともいくつかを、インターバル時間、バッチ時間、および/または利用可能な帯域幅時間のうちの少なくとも1つに対応する第2の時間に送信する、のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、以下のタイプのうちの少なくとも1つの通信インタフェース410を介して出力データを送信する。2102において、WIFI、セルラー、衛星、および/またはインターネット。通信インタフェース410は、無線または有線(例えば、イーサネット(登録商標)、電話、同軸ケーブル、導体など)であり得る。無線通信の例では、通信インタフェース410は、ローカル、ZIGBEE(登録商標)、WIFI、BLUETOOTH(登録商標)、BLE、WIMAX、セルラー、GSM(登録商標)、CDMA、HSPA、LTE、AWS、XLTE、VOLTE、衛星、赤外線、マイクロ波、ブロードキャスト無線、または任意の他のタイプの電磁送信もしくは音響送信を含むことができる。眼底鏡402は、異なるまたは同時の通信に適応するために、複数の異なるタイプの通信インタフェース410を含むことができる。
一実施形態では、画像プロセッサ412は、2104において、網膜画像データの捕捉速度の約10分の1の帯域幅能力を含む少なくとも1つの通信インタフェース410を介して出力データを送信する。画像プロセッサ408は、毎秒10ギガバイト、20ギガバイト、30ギガバイト、またはそれ以上の高データレートで画像センサ408から超高解像度画像を取得することができる。通信インタフェース410は、より少ない、著しく少ない、または数桁少ない帯域幅制約を有する。例えば、通信インタフェース410は、約1〜10メガバイト/秒、または1ギガバイト/秒、さらには5〜10ギガバイト/秒の帯域幅制限を有することができる。いずれにせよ、画像プロセッサ412は、通信インタフェース410を介してタイムリーに送信できるよりも多くの画像データにアクセスすることができる。
一実施形態では、画像プロセッサ412は、少なくとも1つの通信インタフェース410を介して第1の時間に出力データを送信し、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とし、2106において、インターバル時間、バッチ時間、および/または利用可能な帯域幅時間のうちの少なくとも1つに対応する第2の時間に網膜画像データのうちの少なくともいくつかを送信する。画像プロセッサ412は、通信インタフェース410を介した出力データの送信を互い違いにするか、または出力データを単一の送信で送信することができる。例えば、画像プロセッサ412は、通信インタフェース410にかかる負担を最小限に抑えるために、低解像度網膜画像データ、英数字文字データ、または2値データを初めて送信することができる。追加の画素データまたは追加の網膜画像データは、通信インタフェース410を介して画像プロセッサ412によって2回目に送信することができる。第2の時間は、指定された量またはパーセンテージを超える利用可能な帯域幅、受信されたユーザリクエスト、地上局を介した衛星または宇宙船の通過、検出された病状の緊急レベル、または別の類似の患者ベース、帯域幅ベース、または地理ベースのパラメータなど、1つまたは複数のパラメータに基づいてスケジュールまたは決定することができる。
例えば、宇宙空間において、眼底鏡402は、宇宙飛行士によって宇宙航行全体にわたって使用され、網膜の病態を監視し検出することができる。通信インタフェース410は、宇宙船が地球ベースの地上局を通過するとき、毎秒約1メガバイトから10メガバイトの帯域幅制約を有するWIFIからマイクロ波ベースの通信チャネルであってもよい。画像プロセッサ412は、画像センサ408から網膜画像データを取得し、画像解析を実行して、1つ以上の潜在的な病理を検出することができる。検知されると、画像プロセッサ412は、通信インタフェース410を介して、検知された病状の超低帯域幅テキストベースの記述を、宇宙飛行士識別情報と共に即座に送信することができる。地球ベースの地上局上に配置されたときなど、増大したシグナル強度を検出すると、画像プロセッサ412は、検出された病理に関連する網膜像を送信することができる。
図22は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、506における少なくとも1つの通信インタフェースを介した出力データの送信は、2202における少なくとも1つの健全性の問題の検出に応答して少なくとも1つの通信インタフェースを介した出力データの送信、2204における少なくとも1つの物体または特徴の検出に応答して少なくとも1つの通信インタフェースを介した出力データの送信、2206におけるクライアントリクエストを満たすために少なくとも1つの通信インタフェースを介した出力データの送信、または2208における少なくとも1つの通信インタフェースを介した画像データとしての出力データの送信のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、2202における少なくとも1つのヘルス問題の検出に応答して少なくとも1つの通信インタフェース410を介して出力データを送信し、そうでなければデータを送信せず、または2204における少なくとも1つの物体または機能の検出に応答して少なくとも1つの通信インタフェース412を介して出力データを送信し、そうでなければデータを送信しない。画像プロセッサ412は、網膜画像内の検出された病理、特徴、または物体の重症度または緊急度に合わせて送信データを調整するようにプログラムすることができる。例えば、画像プロセッサ412は、出血している血管の検出されたインスタンスに基づいて、網膜画像およびテキストまたは電子メールに基づく通知を送信することができる。或いは、画像プロセッサ412は、変化、病理、特徴、または関心対象を示さない網膜イメージデータの解析に応じて、何も示さない、英数字テキスト表示、または2値表示を送信することができる。検出された特徴、物体、または病理の重大度または緊急度に基づくデータのスケーリングは、通信インタフェース410の利用可能な帯域幅を効率的に使用するように働くことができる。情報をスケーリングすることに加えて、画像プロセッサ412は、緊急または緊急情報が非緊急または非緊急情報よりもタイムリーに送信されるように、任意の伝送の時期を類似度スケーリングすることができる。画像プロセッサ412は、網膜画像解析の1つまたは複数の結果に基づいて、時刻およびデータ量調整の組合せを使用することができる。
一実施形態では、2206において、画像プロセッサ412は、クライアントリクエストを満たすために、少なくとも1つの通信インタフェース410を介して出力データを送信する。画像プロセッサ412は、通信インタフェース410を介して受信された1つ以上のユーザリクエストに応答することができる。1つ以上のクライアントリクエストは、以下のタイプのうちの1つ以上を含むことができる。すなわち、視野、ズームレベル、解像度、コンプレッション、監視する病理、送信トリガイベント、パン、または別の類似のリクエストのうちの1つである。画像プロセッサ412は、ハンドシェイク、確認、またはリクエストされた情報を用いて、リアルタイム、ほぼリアルタイム、遅延時間、スケジュール時間、または周期時間でリクエストに応答することができる。
一実施形態では、画像プロセッサ412は、2208において、少なくとも1つの通信インタフェース410を介して、出力データを画像データとして送信する。画像プロセッサ412は、画像データを含む様々なデータ形式を送信するように構成することができる。画像データは、画像プロセッサ412によって、以下のうちの任意の1つまたは複数を含む様々な形式およびフォーマットで送信することができる。すなわち、raster、jpeg、jfif、jpeg 2000、exif、tiff、gif、bmp、png、ppm、pgm、pbm、pnm、pnm、webp、hdr、heif、bat、bpg、vector、cgm、gerber、svg、2dベクトル、3dベクトル、複合形式、ステレオ形式である。
図23は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、506における少なくとも1つの通信インタフェースを介した出力データの送信は、2302における少なくとも1つの通信インタフェースを介した英数字データまたは2値データとしての出力データの送信、2304におけるリモートサーバーにおいて画像データが間隙充填されている静止画素、以前に送信された画素、または重複する画素のうちの1つ以上が無い少なくとも1つの通信インタフェースを介した画像データとしての出力データの送信、2306における少なくとも1つの通信インタフェースを介した特定の領域の画像データとしての出力データの送信、または2308における少なくとも1つの通信インタフェースを介した特定の解像度の画像データとしての出力データの送信のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、2302において、少なくとも1つの通信インタフェース410を介して、出力データを英数字データまたは2値データとして送信する。画像プロセッサ412は、網膜画像データを送信する代わりに、またはそれに加えて、網膜画像データから導出された、またはそれに基づいた2値または英数字出力データを送信することができる。英数字テキストは、単語、フレーズ、段落、人工知能生成文、文、記号、数字などを含むことができる。2値(バイナリ)データは、以下のいずれかを含むことができる。すなわち、on、off、high、low、0、1、yes、no、またはバイナリ値の他の類似の表現である。
一実施形態では、画像プロセッサ412は、静止画素(スタティックピクセル)、以前に送信されたピクセル、または重複するピクセルのうちの1つ以上無しで、少なくとも1つの通信インタフェース410を介して画像データとして送信し、2304において、画像データは、リモートサーバで間隙が埋められる。画像プロセッサ412は、ネットワークロケーション、サーバ、またはクライアントデバイスなどのリモートロケーションに保持または格納される網膜画像データを送信することができる。画像プロセッサ412による送信は、クライアントリクエスト、プログラムリクエスト、スケジュールされた送信に応じて行うことができ、または低帯域幅または低活動期間中に行うことができる。網膜画像データの送信に続いて、画像プロセッサ412は、画像センサ408から新しい網膜画像データを取得し、網膜画像データのいずれかが以前に送信されたときに判定するための解析を実行することができる。画像プロセッサ412は、識別された以前に送信された網膜画像データを除去し、変更されたまたは以前に送信されなかった網膜画像データのみを保持することができる。次いで、画像プロセッサ412は、以前に送信された網膜画像データが、ディスプレイまたは印刷出力の前にコンポジット網膜画像を確立するために、ギャップが満たされ、組み合わされ、または挿入されるように、通信インタフェース410を介して、変更されたまたは以前に送信されなかった網膜画像データを送信することができる。
例えば、画像プロセッサ412は、ジョン・Q・スミスの画像センサ408から網膜画像データを得ることができる。網膜画像データには、病理学的徴候、または異常なバイオマーカ、沈着物、または変色は含まれない。サーバ装置は、ジョン・Q・スミスの網膜画像データを受信し、メモリに保存する。その後の眼底鏡検査の間、画像プロセッサ412は、ジョン・Q・スミスの画像センサ408から網膜画像データを取得する。この期間中、画像プロセッサ408は、出血の1つまたは複数のインスタンスを識別する。網膜画像データの全てを送信する代わりに、画像プロセッサ412は、出血を取り囲む領域以外の網膜画像の全ての未変化の画素を間引く。次いで、画像プロセッサ412は、出血に対応する網膜画像データを送信し、サーバは、前に送信された網膜画像データをギャップフィルして、ジョン・Q・スミスのコンポジット網膜画像データを再生成する。
一実施形態では、2306において、画像プロセッサ412は、少なくとも1つの通信インタフェース410を介して、指定された領域の画像データとして出力データを送信する。画像プロセッサ412は、クライアントリクエスト、プログラムリクエストから指定された領域を決定することができ、または検出された病理に応じて決定することができる。エリアに対するクライアントリクエストは、通信インタフェース410を介して受信されることができ、座標、ベクトル値、ラスタ画像図面、テキスト、2値、または他のデータを含む。プログラムリクエストは、眼底鏡402上、またはリモートコンピュータ、サーバ、クラウド、もしくはクライアントデバイス上に常駐することができる1つまたは複数のプログラムによって、手動でまたは自動的に提供することができる。プログラムリクエストは同様に、座標、ベクトル値、ラスタ画像図面、テキスト、2値、または他のデータを含むことができる。プログラムリクエストは、検出値、病理、徴候、または測定値に応答してトリガすることができる。
例えば、画像プロセッサ412は、網膜画像データを取得し、脈絡膜ひだを検出するための画像解析を実行することができる。アプリケーションプログラムリクエストは、測定値を取得し、脈絡膜ひだのテキスト記述を生成し、クライアントデバイス出力のための通信インタフェース410を介した伝送のために脈絡膜ひだに関する高いズームレベル網膜画像データを保持するために自動的に生成され得る。
一実施形態では、2308で、画像プロセッサ412は、少なくとも1つの通信インタフェース410を介して、指定された解像度の画像データとして出力データを送信する。画像プロセッサ412は、クライアントリクエストに添付されたメタデータから、指定された解像度、クライアントリクエストに関連付けられたクライアント装置の識別子、以前に指定された解像度、平均解像度、またはデフォルト解像度を決定することができる。画像プロセッサ412は、指定された解像度を網膜画像データに均一または不均一に適用することができる。
例えば、クライアント装置は、1600×1200ピクセルの網膜画像データをリクエストすることができる。画像プロセッサ412は、視神経乳頭、中心窩、黄斑、および細静脈および細動脈を囲む領域が1600×1200ピクセルに縮小されるように、網膜画像データのピクセルリテンションに指定された解像度を適用することができる。しかし、画像プロセッサ412は、網膜画像データの他の領域を、300×200画素など、1600×1200未満にさらに縮小することができる。画像プロセッサ412は、不均一な解像度の網膜画像データを第1の時間にユーザ装置に送信し、次いで、後の第2の時間(例えば、第1の時間の直後)に、1600×1200の網膜画像全体でフォローアップすることができる。
図24は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、506における少なくとも1つの通信インタフェースを介した出力データの送信は、2402における少なくとも1つの通信インタフェースを介した指定されたズームレベルの画像データとしての出力データの送信、2404における少なくとも1つの通信インタフェースを介した指定された物体または特徴の画像データとしての出力データの送信、または2406における少なくとも1つの通信インタフェースを介したメタデータを含む画像データとしての出力データの送信のうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、2402において、少なくとも1つの通信インタフェース410を介して、指定されたズームレベルの画像データとして送信する。画像プロセッサ412は、クライアントリクエスト、プログラムリクエストから、または検出されたパラメータに応じて、指定されたズームレベルを取得することができる。例えば、指定されたズームレベルは、パーセンテージまたはレベル(例えば、10%または90%ズーム、低レベルまたは高レベルズーム)であり得る。指定されたズームレベルは、指定された領域と、その特定の領域に対する指定された視力とを含むことができる。指定された面積は、デフォルト面積、選択された面積、ボックス、焦点中心、解剖学的構造、または病理学的面積によって定義することができる。画像プロセッサ412はまた、クライアントまたはプログラムリクエストに先立って指定されたズームレベルを生成し、将来の待ち時間を短縮するために、クライアントまたはプログラムリクエストに先立って予測されたズームレベルデータの少なくともいくつかを送信することができる。
例えば、画像プロセッサ412は、ユーザリクエストに応答し、網膜の実質的に全視野の低ズームに対応する網膜画像データを提供することができる。画像プロセッサ412は、画像解析を通じて、網膜画像データにおける斑または変色の例を検出することもできる。画像プロセッサ412は、ズームのリクエストが来ることを予期して、任意のユーザリクエストの前に、斑または変色に対応する高いズームレベルの網膜画像データの送信を開始することができる。斑または変色に対応する高いズーム網膜画像データを求めるユーザリクエストが受信された場合、画像プロセッサ412は、網膜画像データの一部または全部をすでに送信している可能性がある。
一実施形態では、画像プロセッサ412は、2404で、少なくとも1つの通信インタフェース410を介して、出力データを、指定された物体または特徴の画像データとして送信する。画像プロセッサ412は、ユーザリクエスト、プログラムリクエストから、または網膜画像データにおける検出された病理または変動に基づいて、指定された物体または特徴の指示を受信することができる。指定された物体または特徴は、解剖学的特徴、バイオマーカ、または検出された病理、変化、または変異に対応する領域であり得る。画像プロセッサ412は、指定された物体または特徴に関連付けられた網膜画像データのみを選択して送信することができ、あるいは追加の網膜画像データを送信することができる。例えば、画像プロセッサ412は、物体または特徴の1つまたは複数の他のインスタンスに対応する網膜画像データに加えて、物体または特徴に対応する網膜画像データを送信することができる。
例えば、画像プロセッサ412は、特定の充血細動脈に対応する網膜画像データに対するユーザリクエストを受信することができる。画像プロセッサ412は、特定の充血した細動脈に対応する網膜画像データを選択して送信することができるが、網膜画像データの未要求部分を選択して送信することもできる。網膜画像データの未要求部分は、全ての充血細静脈または細動脈に対応する網膜画像データなど、要求された部分に関連するように画像プロセッサ412によって決定することができる。次いで、クライアントデバイスは、ディスプレイのために、送信された選択された網膜画像データと、選択された網膜画像データに関連する選択されていない網膜画像データとを受信することができる。
一実施形態では、画像プロセッサ412は、2406において、少なくとも1つの通信インタフェース410を介して、メタデータを含む画像データとして出力データを送信する。画像プロセッサ412によって生成、選択、または識別されるメタデータは、ユーザ明細書、プログラム明細書、特定の患者、または網膜画像データに関連する検出された病状、マーカ、機能、または物体を含む1つまたは複数の要因に依存することができる。メタデータは、テキスト、数字、記号、リンク、画像、または網膜画像データを記述または関連する他の類似のデータを含むことができる。メタデータは、時間、省略された画像データ、以前に送信された画像データの位置、データサイズ、帯域幅要件、フレームレート、解像度、ファイル種類に関する情報も含むことができる。
図25は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、プロセス500は、2502において、リクエストの通信を受信する動作をさらに含む。
図26〜図28は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、2502におけるリクエストの通信の受信は、2602における少なくとも1つの指定された領域または視野に対するリクエストの通信の受信、2604における少なくとも1つの指定された解像度に対するリクエストの通信の受信、2606における少なくとも1つの指定されたズームレベルに対するリクエストの通信の受信、2608における少なくとも1つの指定された物体または機能に対するリクエストの通信の受信、2608におけるズームを含むリクエストの通信の受信、2704におけるパンを含むリクエストの通信の受信、2706における少なくとも1つの指定された動作または事象に対するリクエストの通信の受信、2708におけるプログラムリクエストの通信の受信、または2802における少なくとも1つの通信インタフェースを介したクライアントリクエストの通信の受信のうちの1つまたは複数を含む。
画像プロセッサ412は、2802において、少なくとも1つの通信インタフェース410を介して、クライアントリクエストの通信を受信することができる。クライアントリクエストは、クライアント装置から通信ネットワークを介して直接または間接的に受信することができる。クライアントデバイスは、スマートウォッチ、スマートフォン、携帯電話、タブレットデバイス、ラップトップデバイス、コンピュータ、サーバ、拡張現実ヘッドセット、仮想現実ヘッドセット、ゲームコンソール、または前述の組合せのうちの任意の1つまたは複数を含むことができる。通信ネットワークは、直接有線リンク、直接無線リンク、間接有線リンク、間接無線リンク、インターネット、ローカルネットワーク、広域ネットワーク、仮想ネットワーク、セルラーネットワーク、衛星ネットワーク、または前述の組合せを含むことができる。
クライアント装置の文脈において、画像プロセッサ412は、2602において、少なくとも1つの指定された領域または視野、2604において、少なくとも1つの指定された解像度、2606において、少なくとも1つの指定されたズームレベル、2608において、少なくとも1つの指定された物体または特徴、2702において、ズーム、2704においてパン、または2706において、少なくとも1つの指定された動作または事象に対するリクエストを、クライアント装置から受信することができる。リクエストは、オーディオ、2値、または英数字テキスト形式で送信することができ、音声入力、グラフィック選択、物理的制御の動き、装置の動きまたは傾き、指のジェスチャ、センサ入力、または別のソースから生成することができる。
例えば、1つの特定の実施形態において、クライアント装置は、1つ以上の眼底鏡402に関連するユーザインタフェースを提供する。特定の眼底鏡は、その特定の眼底鏡402から網膜画像データを得るために、1つ以上の眼底鏡402から選択することができる。網膜画像データは、解析されている特定の個体について、リアルタイムまたはほぼリアルタイムで眼底鏡402から取得および表示される。網膜画像データは、表示のために出力され、グラフィカル・ユーザ・インタフェース要素、入力フィールド、ジェスチャ、および/またはクライアント・装置の動きの組み合わせによって対話することができる。グラフィカル・ユーザ・インタフェース要素は、ズーム、パン、解像度、または他のパラメータの制御を可能にするように、ボタンまたはスライドバーを含むことができる。入力フィールドは、視野を固定するためのズームレベルまたは特定の物体の数値などのテキスト入力を可能にすることができる。ジェスチャと装置移動を組み合わせて、クライアント装置の移動によるパン、タッチスクリーン上の対向する指を挟むことによるズーム、および/または指をスワイプすることによる特定の個人の網膜間の切り替えなどの機能を可能にすることができる。音声入力は、特定の個人と通信し、その個人に移動、移動、眼球交換、静止、または別の指示を知らせるなど、特定の行動に関して特定の個人に指示するために受け入れることができる。クライアントデバイスはまた、網膜画像データの利用可能性に関する、または網膜画像データに関連する潜在的に検出される病状、変化、またはバリエーションに関する通知および/または警告を提供し得る。
画像プロセッサ412は、2708において、プログラムリクエストの通信を受信することができる。プログラムは、眼底鏡402上で実行され得、および/またはクライアントデバイス、コンピュータ、サーバ上で実行され得、またはクラウド環境中で実行され得る。実施形態では、プログラムがリモートクライアント機器、コンピュータ、サーバ、またはクラウド環境で実行されている場合、プログラムリクエストを通信網を介して直接または間接に受信することができる。通信ネットワークは、直接有線リンク、直接無線リンク、間接有線リンク、間接無線リンク、インターネット、ローカルネットワーク、広域ネットワーク、仮想ネットワーク、セルラーネットワーク、衛星ネットワーク、または前述の組合せを含むことができる。プログラムは、1人または複数の個人のための網膜画像データの取得、記憶、解析、転送、または別の方法での加工に専用の特殊目的プログラムとすることができる。あるいは、プログラムは、電子医療記録システム、健康および生理学的モニタリングプログラム、家庭用健康システムなどのような、別の汎用または専用のアプリケーションまたはシステムの一部とすることができる。
例えば、眼底鏡402は、画像センサ408から得られた網膜画像データに関してそれぞれ異なった解析および動作を行う複数の第三者アプリケーションをホストすることができる。潜在的なサードパーティアプリケーションは、研究アプリケーション、商業アプリケーション、医薬アプリケーション、消費者または趣味アプリケーション、または他の科学的アプリケーションを含むことができる。アプリケーションの各々は、網膜画像データの一部または全部を取得し、それに対して様々な動作を独立して実行することができる。例えば、1つのアプリケーションは、特定の視野(例えば、加齢のために制御される視神経円板に対する食事誘発変化の分野の研究者のみのための視神経円板面積)の網膜画像データをリクエストし、保存し、送信し、および/または解析し得る。別の特定のアプリケーションは、特定の特徴(例えば、特定のアルツハイマー病薬を含む研究に参加する個体の対照群および非対照群について存在する場合、プラークの網膜画像)のみに関する網膜画像データをリクエストし、保存し、送信し、および/または解析し得る。他のアプリケーションは、人物識別情報なしに全ての個人に対して中間解像度の網膜画像データをリクエストし、保存し、送信し、および/または解析することができる(例えば、医学部が、授業中に眼科講義中にリアルタイム画像を提示することを望む場合がある)。したがって、様々なカスタマイズされた特定のサードパーティアプリケーションは、特定の機能を実行し、同じ網膜イメージデータに基づいて異なる出力を生成するために、様々な異なるエンティティのために眼底鏡402上で開発およびホストされることができる。
図29は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、プロセス500は、2902で網膜を照明する動作をさらに含む。光学レンズ配列404は、白熱光、有機発光ダイオード、発光ダイオード、レーザ、または別の光源、または光源の組み合わせなどの照明源を含むことができる。
図30は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、2902における網膜を照明することは、3002において眼の散乱要素内の照明/反射交差を最小限にする、3004において赤外光源および光学レンズ配列を使用して網膜を照明する、3006において可視光源および光学レンズ配列を使用して網膜を照明する、または3008において網膜照明の領域を変更するために少なくとも1つのマスクを移動させる、1つまたは複数の光源および少なくとも1つのマスクを使用して網膜を照明することを含む。
一実施形態では、光学レンズ配列404は、3002において、光源と、眼の散乱要素内の照明/反射交差を最小化する少なくとも1つのマスクとを使用して、網膜を照明する。光学レンズ配列は、網膜上に向けられ、撮像のために反射される光源を含む。照明光と反射光との交差は、照明光の少なくとも一部を遮断する1つ以上のマスクの使用によって、眼の角膜およびレンズ構造において最小化される。マスクは、任意の遮光材料から構成することができ、部分的にまたは完全に遮光性であってもよい。
一実施形態では、光学レンズ配列404は、3004で赤外光源を使用して網膜を照明する。赤外線光源は、赤外線発光ダイオード、赤外線有機発光ダイオード、レーザ、または他の赤外線光源を含むことができる。赤外線光は、光学レンズ配列を介して網膜に向けられ、赤外線画像のために反射される。赤外光は、同じ虹彩収縮応答をトリガせず、したがって、目位置決めまたは再位置決め、焦点合わせ、または虹彩収縮が回避または制限されるべき他の動作のための可視画像の前に使用することができる。赤外線光源は、眼の散乱要素(例えば、角膜および水晶体)内での照明赤外線光と反射赤外線光との交差を最小限に抑えるために、赤外線を少なくとも部分的に覆い隠す1つまたは複数のマスクを含むことができる。
一実施形態では、光学レンズ配列404は、3006で可視光源を使用して網膜を照明する。可視光源は、発光ダイオード、有機発光ダイオード、白熱光、レーザ、または別の可視光源を含むことができる。ある実施形態では、可視光源は、ある波長(例えば、白色または赤色)に制限される。可視光源は、光学レンズ配列404を介して、照明光として網膜上に向けられ、網膜画像のために反射される。1つ以上のマスクを使用して、可視光を少なくとも部分的に覆い隠し、眼の散乱要素(例えば、角膜および水晶体)内での照明光と反射光との交差を制限する。最小化は、眼の散乱要素内の照明光と反射光との間の相互作用が1%未満、5%未満、10%未満、または25%未満である実施例には、ある割合未満であり得る。ある実施形態では、赤外光源を用いて焦点合わせおよび/または眼の位置決めを行った後に、網膜画像のために可視光源が放射される。
一実施形態では、3008において、光学レンズ配列404は、少なくとも1つのマスクを移動させて、網膜照明の領域を変更する。少なくとも1つのマスクの使用は、網膜の特定の部分上の照明を制限することができる。ある実施形態では、少なくとも1つのマスクは、網膜画像の過程にわたって移動される(例えば、映像網膜イメージキャプチャ上でスムーズに、または段階的に移動される、あるいは静止イメージキャプチャ間の様々な事前に指定された位置に移動される)。次いで、経時的にまたは様々な画像から取り込まれた網膜像を使用して、高い鋭さで部分を保持し、これらの保持された部分を一緒に縫い合わせることによって、例えば、完全なコンポジット網膜画像を作成することができる。
図31は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、プロセス500は、3102において、網膜画像データの解析を実行する動作をさらに含む。画像プロセッサ412は、本明細書で例示または開示される1つまたは複数の動作中に網膜画像データの解析を実行することができる。解析は、画像認識、画像照合、特徴抽出、物体認識、画像セグメント化、動き検出、画像前処理、画像強調、画像分類、コントラストストレッチング、ノイズフィルタリング、ヒストグラム修正、または他の類似の動作のうちの1つまたは複数を含むことができる。
図32は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、3102における網膜画像データの解析の実行は、コンピュータ可読メモリからベースライン網膜画像データを取得すること、網膜画像データをベースライン網膜画像データと比較すること、および3202における少なくとも1つのヘルス(健康)問題を示す網膜画像データとベースライン網膜画像データとの間の少なくとも1つの逸脱を識別すること、または3204における少なくとも1つのヘルス問題を識別するために網膜画像データを使用して物体または特徴識別解析を実行することのうちの1つまたは複数を含む。
一実施形態では、画像プロセッサ412は、3202において、コンピュータ可読メモリ406からベースライン網膜画像データを取得し、網膜画像データをベースライン網膜画像データと比較し、網膜画像データとベースライン網膜画像データとの間の少なくとも1つの逸脱を識別し、少なくとも1つのヘルス問題を示す。画像プロセッサ412は、特定の個体について初めて網膜画像データを取得し、その網膜画像データをベースライン網膜画像データとしてコンピュータメモリ406に保存することができる。第1の時間の後の第2の時間において、画像プロセッサ412は、新しい網膜画像データを取得し、網膜画像データを、コンピュータメモリ406に記憶された第1の時間のベースライン網膜画像データと比較することができる。画像プロセッサ412は、網膜画像データとベースライン網膜画像データとの間の変化または逸脱を識別することができ、これは、健全性の問題を示し得る。本明細書においては、例えば、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球平坦化、乳頭浮腫、および/または脈絡膜ヒダの1つ以上が例示され、議論されてきた。ヘルス問題の検出または非検出時に、画像プロセッサ412は、本明細書で例示および/または開示される動作のうちの1つまたは複数を実行することができる。ある実施形態では、ベースライン網膜画像データは、別の個体についてのものであるか、または正常な網膜に関連するものであり得る。
一実施形態では、画像プロセッサ412は、3204で、網膜画像データを使用して、物体または特徴識別解析を実行して、少なくとも1つのヘルス問題を識別する。画像プロセッサ412は、対応する画像基準照合解析の有無にかかわらず、物体または特徴識別解析を実行することができる。物体または特徴の識別は、任意の網膜画像データ内の解剖学的構造、バイオマーカ、変色、測定、形状、輪郭、線などを識別することを含むことができる。物体または特徴は、様々な潜在的なヘルス問題に関連付けられ、潜在的なヘルス問題または潜在的なヘルス問題の配列を識別するために画像プロセッサ412によって使用され得る。再び、潜在的なヘルス問題は、本明細書で開示および例示されているが、糖尿病網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球平坦化、乳頭浮腫、および/または脈絡膜ひだを含み得る。潜在的なヘルス問題が検知されると、画像プロセッサ412は、本明細書で論じられおよび/または例示されるように、1つまたは複数の動作を実行することができる。
図33は、様々な実施形態による、網膜撮像装置400を用いて実施されるプロセス500の構成図である。一実施形態では、プロセス500は、3302で、少なくとも1つの通信インタフェースを介して網膜画像解析アプリケーションを受信し、3304で、網膜画像データに関して網膜画像解析アプリケーションを実施する動作をさらに含む。眼底鏡402の画像プロセッサ412は、その構成が必ずしも静止している必要はない。その代わりに、画像プロセッサ412は、通信インタフェース410を介してソフトウェアアプリケーションを受信し、網膜画像データの特殊解析および出力のためにソフトウェアアプリケーションを配備することによって、経時的に変化する特殊用途動作を実行するようにプログラムすることができる。画像プロセッサ412の構成のカスタマイズは、網膜画像データ収集の量およびタイミング、マスクの動き、照明強度または持続時間または波長、画素デシメーション、画素選択、物体除去、選択されない網膜画像伝送、予想される物体または領域伝送、ギャップ充填、画像解析、データ生成、データ出力、出力データ宛先またはタイミング、帯域幅使用、フィーチャまたは物体検出、イベントトリガ、比較またはヘルス問題検出アルゴリズム、ヘルス問題焦点、網膜関心領域などのいずれかに対する経時的な変形例を可能にする。したがって、企業、個人、調査機関、科学団体、消費者グループ、教育機関などのエンティティは、それぞれの必要性に基づいて特殊なアプリケーションを開発し、画像プロセッサ412を介して並列または直列で実施するために、特殊なアプリケーションを眼底鏡402にアップロードすることができる。アプリケーションは、更新、削除、停止、開始、または必要に応じて時間とともに制御されることができる。
例えば、40〜50歳の母集団における心血管疾患を理解することに関心がある製薬企業は、患者の年齢および検出された心血管疾患を示す網膜マーカーの種類に関する英数字の要約データを収集するアプリケーションを開発することができる。このアプリケーションは、心臓病クリニックおよび病棟で使用される眼底鏡402または眼底鏡402のアレイにアップロードすることができる。眼底鏡402の使用中、画像プロセッサ412は、網膜画像データ収集の通常の過程中にアプリケーションを実行し、リクエストされたデータを文書化することができる。出力データは、研究または商業化の決定に使用される製薬会社のコンピュータ宛先に返送することができる。この実施例では、同じ眼底鏡402が、臨床医によるリアルタイムまたはほぼリアルタイムの健康解析または監視のために、特定の患者に関して本明細書で開示される動作のうちの1つまたは複数を実行することができ、異なるデータ出力を有する1つまたは複数の異なるエンティティに関する1つまたは複数の他のサードパーティアプリケーションを実行することができる。
1つの特定の実施形態では、医学的診断機能のための網膜領域の目立たない監視のさらなる実施例として、網膜撮像装置402は、蛍光と協調して特定の徴候を同定するために使用され得る。例えば、蛍光標識タンパク質または蛍光化学物質は、強膜および硝子体液を介して(例えば、点眼剤またはニードルを介して)眼球に導入され得る。あるいは、蛍光標識タンパク質または蛍光化学物質は、血流を介して網膜に導入され得る(例えば、カプセル(capsule)、ピル(pill)、消耗品(consumable)、または(静脈注射)。蛍光化学物質または蛋白質は、網膜の特定の病理学的徴候に付着し、画像センサ408を介した照明および画像化を介して捕捉することができる。画像プロセッサ412は、蛍光タグ付きタンパク質または蛍光化学物質の不存在を決定し、検出し、それに基づいて本明細書で論じ、例示した出力データを生成することができる。1つの特定の実施例として、クルクミンは、アミロイドプラークに付着することが示されており、適切な光刺激に応じて蛍光を発する。したがって、網膜または他の表面近くの血流の光学的刺激は、クルクミン蛍光と共に、潜在的なアルツハイマー病の指標となり得る。クルクミン蛍光が検出された場合、画像プロセッサ412は、検出されたクルクミンに関連する網膜の領域の高い視力網膜画像、または潜在的なアルツハイマー病の2値指標などの出力データを生成することができる。
他の実施形態では、網膜撮像装置または眼底鏡402は、網膜以外の眼または顔の監視を通して目立たない医学的診断機能を実行するために使用することができる。例えば、撮像装置402は、自動車、トラック、飛行機、ボート、列車、重機などのような車両に、ドライバ、乗客、または乗員に向けられた視野で、位置決めされ、取り付けられ、組み込まれ、または一体化され得る。次いで、撮像装置402は、眼の動き、瞳孔の大きさ、拡張、瞬き、眼瞼の位置または動き、表情、顔の特徴、皮膚の色、または他の眼、頭、首、または顔のパラメータを監視および/または検出することができる。この情報は、任意選択で他の運転者認識センサと組み合わせて、運転者認識、覚醒、眠気、疾病、薬物使用、アルコール使用、エネルギー、または健康を決定するなどの診断機能を実行するために使用することができる。任意の診断機能の結果に基づいて、撮像装置402は、デジタルゲーム、ディスプレイ、身体装着型刺激器、オーディオデバイス、照明源などを介して、刺激ルーチンの起動を知らせることができる。撮像装置402は、刺激に対する応答を監視および/または検出し、刺激を調整するか、または刺激に基づいて他のデバイスもしくは機器の制御を開始することができる。例えば、撮像装置402は、運転者の眼の拡張または瞳孔の大きさを監視することができる。拡張応答が遅い、変動する、不安定である、異常である、または指定された閾値レベルを上回る、または下回るという決定に応答して、撮像装置402は、拡張応答を監視しながら、繰り返し、または定期的にLEDに信号を送ることができる。撮像装置402は、刺激の前、間、および後からドライバの眼の拡張または瞳孔の大きさの測定値を取得し、この情報から、および任意選択で他のセンサ入力から、ドライバが疲労に苦しんでいるか、または疲労を経験しているか、ドライバが別の健康上の問題を抱えているか、またはドライバが中毒しているか、薬物の影響下にあるかを判定することができる。疲労の判定に基づいて、撮像装置402は、音楽プレーヤに信号を送り、ウィンドウを下げ、座席位置を調整し、車両を遅くし、車両使用の制限(例えば、30マイル後にシャットダウン(shut down))を設定し、第三者に通知し、データを記録し、電話通話を開始し、または疲労を軽減または対処するための他の類似の動作を行うことができる。
1つの特定の実施形態では、撮像装置402は、網膜画像、顔画像、または身体部分画像との関連でユーレリアンビデオ拡大を行うように構成される。撮像装置402は、個体の1つまたは複数の画像またはビデオをキャプチャし、1つまたは複数の画像またはビデオ内の色の変化または動きのうちの1つまたは複数を拡大する。例えば、撮像装置402は、パルス、パルス強度、またはパルス持続時間が、色の変化の拡大によって検出可能および/または測定可能である網膜または顔の映像を生成することができる。別の実施例として、撮像装置402は、パルス、パルス強度、またはパルス持続時間が皮膚摂動の拡大によって検出可能および/または測定可能である個体の首または腕の映像を生成することができる。画像センサ402は、ストレス、不安、疲労、注意力、病気、病気、疾病、又は他のヘルス問題を識別するために、ユーレリアンビデオ拡大を通して得られたパルス、脈拍数、パルス強度、又は他の情報を使用することができる。撮像装置402は、警報のシグナリング、追加のパラメータ計測のためのシグナリング、イメージのキャプチャ、イメージの生成、イメージの送信、薬剤ディスペンサの制御、環境制御装置の制御、乗り物の制御などを含む、任意の識別または検出されたパラメータまたは健全性の問題に基づいて、1つまたは複数のデバイスにシグナリングまたは制御することができる。1つの特定の実施例では、撮像装置402は、画像センサ408から網膜画像データを映像データとして取得する。画像プロセッサ412は、網膜内の血流を強調し、誇張し、または拡大するために、得られた網膜像のユーレリアンビデオ拡大を行う。次いで、画像プロセッサ412は、網膜画像データに対して画像解析を実行して、脈拍数、強度、および1つまたは複数の前の画像からの血流の任意の変化を決定する。画像プロセッサ412は、指定されたしきい値を上回るかまたは下回る脈拍数または強度、または血流中の検出された経時変化に基づいて、出力データを生成することができ、この出力データは、本明細書で議論または例示されるもののいずれかを含むことができる。このような出力データは、実施例として、潜在的な出血部位を取り囲む異常な脈拍数または強度または網膜イメージの臨床医への通知を含むことができる。
本発明は、追加の実施形態を有してもよく、任意の特定の記載された実施形態について記載された詳細のうちの1つ以上無しで実施されてもよく、または別の実施形態について記載された任意の他の詳細とともに実施された1つの特定の実施形態について記載された任意の詳細を有してもよい。さらに、上述したように、ある実施形態を例示し、説明したが、本発明の趣旨および範囲から逸脱することなく、多くの変更を行うことができる。
本明細書に記載される態様主題は、以下の番号を付した節に記載される。
1.網膜解析のための眼底鏡を可能にするマシンビジョンであって、眼底鏡は、光学レンズ配列、前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成される画像センサは、コンピュータ可読メモリ、少なくとも1つの通信インタフェース、および画像プロセッサを備え、前記画像プロセッサは、前記画像センサ、前記コンピュータ可読メモリ、および前記少なくとも1つの通信インタフェースに通信可能にリンクされた画像プロセッサであって、少なくとも以下、すなわち、前記画像センサから前記網膜画像データを取得し、前記網膜画像データの解析に基づいて出力データを生成し、この出力データは、前記網膜画像データよりも少ない伝送帯域幅を必要とし、前記少なくとも1つの通信インタフェースを介して前記出力データを送信することを含む動作を実行するようにプログラムされる。
2. 前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、仮想現実ヘッドセットに組み込まれる、第1節の眼底鏡。
3.前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、ヘッドバンドを有するアイボックスに組み込まれる、第1節の眼底鏡。
4.前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサが、テーブルまたは壁に取り付けられた装置に組み込まれる、第1節の眼底鏡。
5.前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、少なくとも以下の1つの装置、すなわち、スマートフォン、タブレットコンピュータ、ノートパソコン、および/またはワークステーションコンピュータのうちの少なくとも1つと結合されたアイボックスの間に配置される、第1節の眼底鏡。
6.前記光学レンズ配列は、x、y、またはz軸のうちの少なくとも1つに沿って移動可能である光学レンズ配列を含む、第1節の眼底鏡。
7.前記光学レンズ配列は、回転可能および/または旋回可能な光学レンズ配列を含む、第1節の眼底鏡:
8.前記光学レンズ配列は、第1の軸に整列された結像光学レンズ配列、第1の軸に垂直な第2の軸に整列された照明レンズ配列、および、少なくとも1つの偏光スプリッタ/コンバイナを含む、第1節の眼底鏡。
8.前記光学レンズ配列は、第1の軸に整列された結像光学レンズ配列、第1の軸に垂直な第2の軸に整列された照明レンズ配列、および、少なくとも1つの偏光スプリッタ/コンバイナを含む、第1節の眼底鏡。
9.発光するように構成された光LED、眼の散乱要素内の照明/反射の交差を最小限に抑えるために、照明レンズ配列を通過する前に照明LEDの光の少なくとも一部を覆い隠すように構成された1つ以上のマスクをさらに含み、前記少なくとも1つの偏光スプリッタ/コンバイナは、網膜の少なくとも1つの部分を照明するために、第2の軸に整列された照明レンズ配列を通過する光を、第1の軸に整列された結像光学レンズ配列に方向転換するように構成される、第8節の眼底鏡。
10.赤外線を放射するように構成された赤外線LED、眼の散乱要素内の照明/反射の交差を最小限に抑えるために、照明レンズ配列を通過する前に赤外線LEDの赤外光の少なくとも一部を覆い隠すように構成された1つ以上の赤外マスク、をさらに含み、前記少なくとも1つの偏光スプリッタ/コンバイナは、網膜の少なくとも1つの部分を照明するために、第2の軸に整列された照明レンズ配列を通過する赤外光を、第1の軸に整列された結像光学レンズ配列に方向転換するように構成される、第9節の眼底鏡。
11.前記1つ以上のマスクおよび前記1つ以上の赤外線マスクは可動である、第10節の眼底鏡。
12.光を放射する照明源、眼の散乱要素内の照明/反射の交差を最小限に抑えるために、前記照明源の光の少なくとも一部を覆い隠すように構成された少なくとも1つのマスクをさらに含む、第1節の眼底鏡。
13.前記マスクが可動である、第10節の眼底鏡。
14.位置決めおよび/または焦点決定のために赤外線を放射するように構成された光源をさらに含む、第1節の眼底鏡。
15.撮像のために可視光を放射するように構成された照明光源をさらに含む、第1節の眼底鏡。
16.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、少なくとも20ミクロンの解像度で検出された光を網膜画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
17.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を、約40度の輪状視野に関連する網膜画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
18.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、網膜の近接領域、重複領域、および/または少なくとも部分的に重複領域の多数の高解像度画像を捕捉することによって、検出された光を網膜画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
19.前記画像センサは、少なくとも約18メガピクセルの画像センサを備える、第1節の眼底鏡。
20.前記画像センサは、少なくとも約20メガピクセルの画像センサを備える、第1節の眼底鏡。
21.前記画像センサは、平方度当たり少なくとも10,000ピクセルを含む、第1節に記載の眼底鏡。
22.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を網膜映像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
23.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を網膜静画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
24.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を少なくとも20フレーム/秒の網膜映像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
25.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を、伝送のために少なくとも10Gbpsの帯域幅を必要とする網膜画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
26.前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成された前記画像センサは、光学レンズ配列と共に配置され、検出された光を、伝送のために少なくとも20Gbpsの帯域幅を必要とする網膜画像データに変換するように構成される画像センサを含む、第1節の眼底鏡。
27.赤外画像センサをさらに含む、第1節の眼底鏡。
28.少なくとも1つの追加の光学レンズ配列、前記少なくとも1つの追加の光学レンズ配列と共に配置され、検出された光を追加の網膜画像データに変換するように構成された少なくとも1つの追加の画像センサをさらに含む、第1節の眼底鏡。
29.前記光学レンズ配列および前記少なくとも1つの追加の光学レンズ配列は、少なくとも部分的に重なり合う視野を有する、第28節の眼底鏡。
30.前記光学レンズ配列および前記少なくとも1つの追加の光学レンズ配列は、実質的に平行な視野を有する、第28節の眼底鏡。
31.前記少なくとも1つの追加の画像センサのそれぞれに関連付けられた少なくとも1つの追加の画像プロセッサ、および、前記画像プロセッサおよび前記少なくとも1つの追加の画像プロセッサに関連付けられた少なくとも1つのハブプロセッサをさらに含み、前記画像プロセッサ、前記少なくとも1つの追加の画像プロセッサ、および前記少なくとも1つのハブプロセッサは、前記網膜画像データおよび前記追加の網膜画像データの処理を分散するように構成される、第28節の眼底鏡。
32.前記少なくとも1つの通信インタフェースは、以下のタイプ、すなわち、WIFI、セルラー、サテライト(衛星)、および/またはインターネット
のタイプのうちの少なくとも1つを含む、第1節の眼底鏡。
のタイプのうちの少なくとも1つを含む、第1節の眼底鏡。
33.前記少なくとも1つの通信インタフェースは、前記網膜画像データの捕捉速度の約10分の1の帯域幅能力を含む、第1節の眼底鏡。
34.前記少なくとも1つの通信インタフェースは、ブラウザクライアントとの通信を可能にするウェブロックを含む、第1節の眼底鏡。
35.前記画像センサから前記網膜画像データを取得するステップは、前記画像センサから、網膜の異なった、近接した、および/または少なくとも部分的に重複する部分の複数の連続的に捕捉された画像として網膜画像データを取得し、網膜の一部の連続して取り込まれた複数の画像を縫い合わせて、全体像を作成することを含む第1節の眼底鏡。
36.前記画像センサから前記網膜画像データを取得するステップは、前記画像センサから少なくとも部分的に重複する複数の画像として網膜画像データを取得し、複数の画像を高解像度網膜画像データに結合することを含む、第1節の眼底鏡。
37.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データよりも約10分の1の伝送帯域幅を必要とする出力データを網膜画像データの解析に基づいて生成することを含む、第1節の眼底鏡。
38.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づき、網膜画像データの送信帯域幅が約20Gbpsであるのに対して、送信帯域幅が約1Mbpsである出力データを生成することを含む、第1節の眼底鏡。
39.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、伝送用の網膜画像データの解像度を低下させたものを含む出力データを生成することを含む、第1節の眼底鏡。
40.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、伝送のための網膜画像データの以下のタイプ変更、すなわち、粒度、ピクセル選択、ピクセル縮小、解像度縮小、ピクセル抽出、ピクセルデシメーション、静的オブジェクト除去、不変ピクセル除去、ステッチング、コンプレッション、色、オーバーラップ減算、静的減算、および/またはバックグラウンド減算のうちの少なくとも1つを含む出力データを生成することを含む、第1節の眼底鏡。
41.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて検出されたヘルス問題に対応する網膜画像データの一部を含む出力データを生成することを含む、第1節の眼底鏡。
42.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて検出された物体または特徴に対応する網膜画像データの一部を含む出力データを生成することを含む、第1節の眼底鏡。
43.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データにおける物体または特徴の識別に基づいて、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
44.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データにおける事象または動作の識別に基づいて、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
45.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づき、以下のヘルス問題、すなわち、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または脈絡膜ひだのうち少なくとも1つを特定することを含む出力データを生成することを含む、第1節の眼底鏡。
46.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて、メタデータを含む出力データであって、網膜画像データよりも伝送に必要な帯域幅が少ない出力データを生成することを含む、第1節の眼底鏡。
47.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて、網膜画像データよりも伝送に必要な帯域幅が少ない、付加されたコンテクストデータを含む出力データを生成することを含む、第1節の眼底鏡。
48.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて英数字テキスト出力データを生成し、英数字テキスト出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするものであることを含む、第1節の眼底鏡。
49.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいてバイナリ出力データを生成し、バイナリ出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするものであることを含む、第1節の眼底鏡。
50.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの選択領域および/またはズームレベルに依存しない一定の解像度を維持するために、画素デシメーションによって出力データを生成することを含む、第1節の眼底鏡。
51.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの選択された領域および/またはズームレベルから独立した解像度を維持するために、ピクセルデシメーションによって出力データを生成し、その解像度はユーザ装置の解像度以下であることを含む、第1節の眼底鏡。
52.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析に基づいて網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成し、出力データを圧縮することを含む、第1節の眼底鏡。
53.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データ内の指定された視野の出力データであって、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
54.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データ内の指定されたズームレベルの出力データであって、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
55.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析と、以下のうちの少なくとも1つ、すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうちの少なくとも1つに対するユーザリクエストとに基づいて、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
56.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析と、以下のうち少なくとも1つ、すなわち、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうちの少なくとも1つに対するリクエストに基づいて、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
57.前記網膜画像データよりも少ない伝送帯域幅しか必要としない出力データを、前記網膜画像データの解析に基づいて生成するステップは、網膜画像データの解析と、局所的にホストされるアプリケーションプログラムリクエストとに基づいて網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成することを含む、第1節の眼底鏡。
58.前記画像プロセッサは、少なくとも以下を含む動作、すなわち、網膜画像データの解析を実行するようにさらにプログラムされる、第1節の眼底鏡。
59.前記網膜画像データの解析の実行は、コンピュータ可読メモリからベースライン網膜画像データを取得し、網膜画像データをベースライン網膜画像データと比較し、網膜画像データと、少なくとも1つのヘルス問題を示すベースライン網膜画像データとの間の少なくとも1つの逸脱を特定する、ことを含む第58節の眼底鏡。
60.前記網膜画像データの解析の実行は、網膜画像データを用いて対象または特徴の識別解析を行い、少なくとも1つのヘルス問題を特定することを含む、第58節の眼底鏡。
61.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、クライアントリクエストを満たすために、少なくとも1つの通信インタフェースを介して出力データを送信することを含む、第1節の眼底鏡。
62.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つの通信インタフェースを介して、出力データを画像データとして送信することを含む、第1節の眼底鏡。
63.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して英数字データとして送信することを含む、第1節の眼底鏡。
64.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介してバイナリ(2値)データとして送信することを含む、第1節の眼底鏡。
65.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、1以上のスタティックピクセル、以前に送信されたピクセル、または重複するピクセルなしに、少なくとも1つの通信インタフェースを介して画像データとして送信し、画像データはリモートサーバーで間隙を埋めることを含む、第1節の眼底鏡。
66.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された領域の画像データとして送信することを含む、第1節の眼底鏡。
67.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された解像度の画像データとして送信することを含む、第1節の眼底鏡。
68.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定されたズームレベルの画像データとして送信することを含む、第1節の眼底鏡。
69.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された物体または特徴の画像データとして送信することを含む、第1節の眼底鏡。
70.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、メタデータを含む画像データとして送信することを含む、第1節の眼底鏡。
71.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、第1の時間に、前記少なくとも1つの通信インタフェースを介して前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを送信し、インターバル時間、回分時間、および/または利用可能な帯域幅時間のうちの少なくとも1つに対応する第2の時間に、網膜画像データのうちの少なくともいくつかを送信する、ことを含む、第1節の眼底鏡。
72.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つのヘルス問題の検出に応答して、少なくとも1つの通信インタフェースを介して出力データを送信し、そうでなければ、いかなるデータも送信しないことを含む、第1節の眼底鏡。
73.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つの物体または特徴の検出に応答して、少なくとも1つの通信インタフェースを介して出力データを送信し、そうでなければ、いかなるデータも送信しないことを含む、第1節の眼底鏡。
74.前記画像プロセッサは、少なくとも1つの通信インタフェースを介して網膜画像解析アプリケーションを受信し、網膜画像データに対して前記網膜画像解析アプリケーションを適用する、ことを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
75.前記画像プロセッサは、網膜画像解析アプリケーションとの遠隔対話を可能にするアプリケーションプログラムインタフェースを提供することを含む動作を実行するようにさらにプログラムされる、第74節の眼底鏡。
76.前記画像プロセッサは、画像プロセッサを使用して実装される1つまたは複数のアプリケーションとのリモート対話を可能にするアプリケーションプログラムインタフェースを提供することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
77.前記画像プロセッサは、少なくとも1つの指定された領域または視野のリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
78.前記画像プロセッサは、少なくとも1つの指定された解決のリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
79.前記画像プロセッサは、少なくとも1つの指定されたズームレベルに対するリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
80.前記画像プロセッサは、少なくとも1つの指定された物体または特徴に対するリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
81.前記画像プロセッサは、ズームを伴うリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
82.前記画像プロセッサは、パニングを伴うリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
83.前記画像プロセッサは、少なくとも1つの指定されたアクション(動作)またはイベント(事象)のリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
84.前記画像プロセッサは、プログラムリクエストを受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
85.前記画像プロセッサは、少なくとも1つの通信インタフェースを介してクライアントリクエストの通信を受信することを含む動作を実行するようにさらにプログラムされる、第1節の眼底鏡。
86.光学レンズ配列と、検出された光を網膜画像データに変換するように構成された画像センサと、少なくとも1つの通信インタフェースとを含む眼底鏡のコンピュータプロセッサコンポーネントによって実行されるプロセスであって、前記画像センサから前記網膜画像データを取得するステップと、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを、前記網膜画像データの解析に基づいて生成するステップと、少なくとも1つの通信インタフェースを介して前記出力データを送信するステップと、を含むプロセス。
87.前記画像センサから前記網膜画像を取得するステップは、光学装置により位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
88.前記画像センサから前記網膜画像を取得するステップは、x、y、またはz軸のうちの少なくとも1つに沿って移動可能である光学配列と共に位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
89.前記画像センサから前記網膜画像を取得するステップは、回転可能および/または旋回可能な光学装置によって位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
90.前記画像センサから前記網膜画像を取得するステップは、照明レンズ配列に対して垂直な光学装置を用いて位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
91.前記画像センサから前記網膜画像を取得するステップは、眼の散乱要素内の照明/反射の交差を最小限に抑えるか、またはなくす光学装置を用いて位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
92.前記画像センサから前記網膜画像を取得するステップは、1つ以上のマスクを含む光学配置で位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
93.前記画像センサから前記網膜画像を取得するステップは、1つ以上の可動マスクを含む光学配置で位置決めされた画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
94.前記画像センサから前記網膜画像を取得するステップは、少なくとも18メガピクセルの網膜画像を画像センサから取得するステップを含む、第86節のプロセス。
95.前記画像センサから前記網膜画像を取得するステップは、少なくとも20メガピクセルの網膜画像を画像センサから取得するステップを含む、第86節のプロセス。
96.前記画像センサから前記網膜画像を取得するステップは、1000画素/平方度以上の網膜画像を画像センサから取得するステップを含む、第86節のプロセス。
97.前記画像センサから前記網膜画像を取得するステップは、画像センサから静止画像データとして網膜画像データを取得するステップを含む、第86節のプロセス。
98.前記画像センサから前記網膜画像を取得するステップは、画像センサから網膜画像データを映像データとして取得するステップを含む、第86節のプロセス。
99.前記画像センサから前記網膜画像を取得するステップは、画像センサから毎秒約20フレームで網膜画像データを映像データとして取得するステップを含む、第86節のプロセス。
100.前記画像センサから前記網膜画像を取得するステップは、伝送のために少なくとも10Gbpsの帯域幅を必要とする網膜画像を画像センサから取得するステップを含む、第86節のプロセス。
101.前記画像センサから前記網膜画像を取得するステップは、伝送のために少なくとも20Gbpsの帯域幅を必要とする網膜画像を画像センサから取得するステップを含む、第86節のプロセス。
102.前記画像センサから前記網膜画像を取得するステップは、画像センサおよび少なくとも1つの追加の画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
103.前記画像センサから前記網膜画像を取得するステップは、画像センサと、少なくとも部分的に重なり合う視野に関連付けられた少なくとも1つの追加の画像センサとから網膜画像データを取得するステップを含む、第86節のプロセス。
104.前記画像センサから前記網膜画像を取得するステップは、画像センサおよび並列視野に関連する少なくとも1つの追加の画像センサから網膜画像データを取得するステップを含む、第86節のプロセス。
105.前記画像センサから前記網膜画像を取得するステップは、少なくとも20ミクロンの解像度で網膜画像データを取得するステップを含む、第86節のプロセス。
106.前記画像センサから前記網膜画像を取得するステップは、約40度の輪状視野に関連する網膜画像データを取得するステップを含む、第86節のプロセス。
107.前記画像センサから前記網膜画像を取得するステップは、網膜の近接領域、重複領域、および/または少なくとも部分的に重複する領域の多重高解像度画像として網膜画像データを取得するステップを含む、第86節のプロセス。
108.前記画像センサから前記網膜画像を取得するステップは、網膜の異なった、隣り合った、重なり合った、および/または少なくとも部分的に重なり合った領域の、多数の連続的に捕捉された画像として、網膜画像データを取得するステップ、網膜の多数の連続して取り込まれた画像を縫い合わせて、総合的な図を作成するステップを含む、第86節のプロセス。
109.前記画像センサから前記網膜画像を取得するステップは、網膜の画像情報を網膜の少なくとも部分的に重複する画像として取得するステップ、多重画像を高解像度網膜画像データに合成するステップを含む、第86節のプロセス。
110.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて、網膜画像データよりも約10分の1の伝送帯域幅を必要とする出力データは出力データを生成するステップを含む、第86節のプロセス。
111. 前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づき、網膜画像データの送信帯域幅が約20Gbpsであるのに対して、送信帯域幅が約1Mbpsである出力データを生成するステップを含む、第86節のプロセス。
112. 前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、伝送用の網膜画像データの解像度を低下させたものを含む出力データを生成するステップを含む、第86節のプロセス。
113.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、伝送のための網膜画像データの以下のタイプの変更、すなわち、サイズ、ピクセル縮小、解像度、ステッチ、圧縮、色、オーバーラップ減算、スタティック減算、および/またはバックグラウンド減算のタイプの変更のうちの少なくとも1つを含む出力データを生成するステップを含む、第86節のプロセス。
114.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて、ヘルス問題に対応する網膜画像データの一部を含む出力データを生成するステップを含む、第86節のプロセス。
115.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、
網膜画像データの解析に基づき、以下のヘルス問題、すなわち、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または脈絡膜ひだのうち少なくとも1つを特定することを含む出力データを生成するステップを含む、第86節のプロセス。
網膜画像データの解析に基づき、以下のヘルス問題、すなわち、糖尿病性網膜症、黄斑変性、心血管疾患、緑内障、マラリア網膜症、アルツハイマー病、眼球扁平化、乳頭浮腫、および/または脈絡膜ひだのうち少なくとも1つを特定することを含む出力データを生成するステップを含む、第86節のプロセス。
116.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいてメタデータを含む出力データを生成するステップであって、この出力データは、網膜画像データよりも伝送に必要な帯域幅が少ないステップを含む、第86節のプロセス。
117.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて、網膜画像データよりも伝送に必要な帯域幅が少ない、付加されたコンテクストデータを含む出力データを生成するステップを含む、第86節のプロセス。
118.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて英数字テキスト出力データを生成するステップであって、英数字テキスト出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
119.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいてバイナリ出力データを生成するステップであって、バイナリ出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
120.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの選択領域および/またはズームレベルに依存しない一定の解像度を維持するために、画素デシメーションによって出力データを生成するステップを含む、第86節のプロセス。
121.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの選択された領域および/またはズームレベルから独立した解像度を維持するために、ピクセルデシメーションによって出力データを生成するステップであって、その解像度は、リクエスト装置の解像度能力以下であるステップを含む、第86節のプロセス。
122.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて、網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップ、出力データを圧縮するステップを含む、第86節のプロセス。
123.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析に基づいて検出された物体または特徴に対応する網膜画像データの一部を含む出力データを生成するステップを含む、第86節のプロセス。
124.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データにおける物体または特徴の識別に基づいて出力データを生成するステップであって、この出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
125.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データにおける事象または動作の識別に基づいて出力データを生成するステップであって、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
126.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データ内の指定された視野の出力データを生成するステップであって、この出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
127.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データ内の指定されたズームレベルの出力データを生成するステップであって、この出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
128.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析と、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうちの少なくとも1つに対するユーザリクエストとに基づいて出力データを生成するステップであって、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
129.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析と、指定された視野、指定された解像度、指定されたズームレベル、指定された動作または事象、指定された物体または機能、および/または指定されたヘルス問題のうち少なくとも1つに対するリクエストとに基づいて、出力データを生成するステップであって出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
130.前記網膜画像データの解析に基づいて、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成するステップは、網膜画像データの解析と、局所的にホストされるアプリケーションプログラムリクエストとに基づいて出力データを生成するステップであって、出力データは、網膜画像データよりも少ない伝送帯域幅を必要とするステップを含む、第86節のプロセス。
131.前記網膜画像データの解析を行うことをさらに含む、第86節のプロセス。
132.前記網膜画像データの解析を実行するステップは、コンピュータ可読メモリからベースライン網膜画像データを取得するステップ、網膜画像データをベースライン網膜画像データと比較するステップ、網膜画像データと、少なくとも1つのヘルス問題を示すベースライン網膜画像データとの間の少なくとも1つの逸脱を特定するステップを含む、第131節のプロセス。
133.前記網膜画像データの解析を実行するステップは、網膜画像データを用いて物体または特徴の識別解析を行い、少なくとも1つのヘルス問題を特定するステップを含む、第131節のプロセス。
134.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、WIFI、セルラー、衛星、および/またはインターネットのタイプのうちの少なくとも1つのタイプである通信インタフェースを介して送信することを含む、第86節のプロセス。
135.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、網膜画像データの捕捉速度の約10分の1の帯域幅能力を含む少なくとも1つの通信インタフェースを介して出力データを送信することを含む、第86節のプロセス。
136.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、第1の時間に、前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップであって、前記出力データは、前記網膜画像データよりも少ない伝送帯域幅を必要とするステップ、インターバル時間、回分時間、および/または利用可能な帯域幅時間のうちの少なくとも1つに対応する第2の時間に、網膜画像データのうちの少なくともいくつかを送信するステップを含む、第86節のプロセス。
137.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つのヘルス問題の検出に応答して、少なくとも1つの通信インタフェースを介して出力データを送信し、そうでなければ、いかなるデータも送信しないステップを含む、第86節のプロセス。
138.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つの物体または特徴の検出に応答して、少なくとも1つの通信インタフェースを介して出力データを送信し、そうでなければ、いかなるデータも送信しないステップを含む、第86節のプロセス。
139.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、クライアントリクエストを満たすために、少なくとも1つの通信インタフェースを介して出力データを送信するステップを含む、第86節のプロセス。
140.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、少なくとも1つの通信インタフェースを介して、出力データを画像データとして送信するステップを含む、第86節のプロセス。
141.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して英数字データとして送信するステップを含む、第86節のプロセス。
142. 前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介してバイナリデータとして送信するステップを含む、第86節のプロセス。
143.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、1以上のスタティックピクセル、以前に送信されたピクセル、または重複するピクセルなしに、少なくとも1つの通信インタフェースを介して画像データとして送信し、画像データはリモートサーバーで間隙を埋めるステップを含む、第86節のプロセス。
144.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された領域の画像データとして送信するステップを含む、第86節のプロセス。
145.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された解像度の画像データとして送信するステップを含む、第86節のプロセス。
146.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定されたズームレベルの画像データとして送信するステップを含む、第86節のプロセス。
147.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、指定された物体または特徴の画像データとして送信するステップを含む、第86節のプロセス。
148.前記少なくとも1つの通信インタフェースを介して前記出力データを送信するステップは、出力データを、少なくとも1つの通信インタフェースを介して、メタデータを含む画像データとして送信するステップを含む、第86節のプロセス。
149.リクエストの通信を受信することをさらに含む、第86節のプロセス。
150.リクエストの通信を受信するステップは、少なくとも1つの指定された領域または視野のリクエストの通信を受信するステップを含む、第149節のプロセス。
151.リクエストの通信を受信するステップは、少なくとも1つの指定された解像度のリクエストの通信を受信するステップを含む、第149節のプロセス。
152.リクエストの通信を受信するステップは、少なくとも1つの指定されたズームレベルに対するリクエストの通信を受信するステップを含む、第149節のプロセス。
153.リクエストの通信を受信するステップは、少なくとも1つの指定された物体または特徴に対するリクエストの通信を受信するステップを含む、第149節のプロセス。
154.リクエストの通信を受信するステップは、ズームを伴うリクエストの通信を受信するステップを含む、第149節のプロセス。
155.リクエストの通信を受信するステップは、パニングを伴うリクエストの通信を受信するステップを含む、第149節のプロセス。
156.リクエストの通信を受信するステップは、少なくとも1つの指定されたアクションまたはイベントのリクエストの通信を受信するステップを含む、第149節のプロセス。
157.リクエストの通信を受信するステップは、プログラムリクエストを受信するステップを含む、第149節のプロセス。
158.リクエストの通信を受信するステップは、少なくとも1つの通信インタフェースを介してクライアントリクエストの通信を受信するステップを含む、第149節のプロセス。
159. 少なくとも1つの通信インタフェースを介して網膜画像解析アプリケーションを受信するステップ、網膜画像データに対して前記網膜画像解析アプリケーションを適用するステップをさらに含む、第86節のプロセス。
160. 網膜画像解析アプリケーションとの遠隔対話を可能にするアプリケーションプログラムインタフェースを提供するステップをさらに含む、第167節のプロセス。
161. リモート対話を可能にするアプリケーション・プログラム・インタフェースを提供するステップをさらに含む、第86節のプロセス。
162.網膜を照射するステップをさらに含む、第86節のプロセス。
163.網膜を照射するステップは、光源と、眼の散乱要素内の照明/反射の交差を最小化する少なくとも1つのマスクとを使用して網膜を照明するステップを含む、第162節のプロセス。
164.網膜を照射するステップは、赤外線光源と光学レンズ配列を使用して網膜を照射するステップを含む、第162節のプロセス。
165.網膜を照射するステップは、可視光源および光学レンズ配列を使用して網膜を照射するステップを含む、第162節のプロセス。
166.網膜を照射するステップは、網膜照明の領域を変更するために少なくとも1つのマスクを移動させるステップを含む、第162節のプロセス。
167.画像センサから網膜画像データを取得する手段と、前記網膜画像データの解析に基づいて、網膜画像データよりも伝送に必要な帯域幅が少ない出力データを生成する手段と、少なくとも1つの通信インタフェースを介して前記出力データを送信する手段とを備えている眼底鏡。
様々な態様および実施形態が本明細書に開示されているが、他の態様および実施形態が当業者には明らかであろう。本明細書に開示される様々な態様および実施形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲によって示される。
Claims (18)
- 網膜解析のための眼底鏡を可能にしたマシンビジョンであって、
前記眼底鏡は、
光学レンズ配列、
前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように配列された画像センサ、
コンピュータ可読メモリ、
少なくとも1つの通信インタフェース、および、
前記画像センサ、前記コンピュータ可読メモリ、および前記少なくとも1つの通信インタフェースと通信可能にリンクされた画像プロセッサを備え、
前記画像プロセッサは、少なくとも、
前記画像センサから前記網膜画像データを取得し、
前記網膜画像データの解析に基づく、前記網膜画像データよりも少ない伝送帯域幅を必要とする出力データを生成し、
前記少なくとも1つの通信インタフェースを介して前記出力データを送信する、ことを含む動作を実行するようにプログラムされているマシンビジョン。 - 前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、仮想現実ヘッドセットに組み込まれる、請求項1に記載の眼底鏡。
- 前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、ヘッドバンドを有するアイボックスに組み込まれる、請求項1に記載の眼底鏡。
- 前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、テーブルまたは壁に埋め込まれた装置に組み込まれる、請求項1に記載の眼底鏡。
- 前記光学レンズ配列、前記画像センサ、前記コンピュータ可読メモリ、前記少なくとも1つの通信インタフェース、および前記画像プロセッサは、スマートフォン、タブレットコンピュータ、ノートパソコン、ワークステーションコンピュータのうちの少なくとも1つと結合されたアイボックスとの間に配列される、請求項1に記載の眼底鏡。
- 前記光学レンズ配列は、x、y、またはz軸のうちの少なくとも1つに沿って移動可能な光学レンズ配列を含む請求項1に記載の眼底鏡。
- 前記光学レンズ配列は、回転可能および/または旋回可能な光学レンズ配列を含む請求項1に記載の眼底鏡。
- 前記光学レンズ配列は、
第1の軸に整列された結像光学レンズ配列、
前記第1の軸に垂直な第2の軸に整列された照明レンズ配列、および、
少なくとも1つの偏光スプリッタ/コンバイナ、を含む請求項1に記載の眼底鏡。 - 発光するように構成された光LED、および、
眼の散乱要素内の照明/反射の交差を最小限に抑えるために、照明レンズ配列を通過する前に前記照明LEDの光の少なくとも一部を覆い隠すように構成された1つ以上のマスク、を備え、
前記少なくとも1つの偏光スプリッタ/コンバイナは、網膜の少なくとも1つの部分を照明するために、前記第2の軸に整列された照明レンズ配列を通過する光を、前記第1の軸に整列された結像光学レンズ配列に方向転換するように構成される、請求項8に記載の眼底鏡。 - 赤外線を放射するように構成された赤外線LED、
眼の散乱要素内の照明/反射の交差を最小限に抑えるために、前記照明レンズ配列を通過する前に前記赤外線LEDの赤外光の少なくとも一部を覆い隠すように構成された1つ以上の赤外線マスク、を備え、
前記少なくとも1つの偏光スプリッタ/コンバイナは、網膜の少なくとも1つの部分を照明するために、前記第2の軸に整列された照明レンズ配列を通過する赤外光を、前記第1の軸に整列された結像光学レンズ配列に方向転換するように配列される、請求項9に記載の眼底鏡。 - 前記1つ以上のマスクおよび前記1つ以上の赤外線マスクは可動である、請求項10に記載の眼底鏡。
- 光を放射する照明源、および、
眼の散乱要素内の照明/反射の交差を最小限に抑えるために、前記照明源の光の少なくとも一部を覆い隠すように構成された少なくとも1つのマスク、をさらに含む請求項1に記載の眼底鏡。 - 前記マスクは可動である、請求項10に記載の眼底鏡。
- 位置決めおよび/または焦点決定のために赤外線を放射するように構成された光源をさらに含む請求項1に記載の眼底鏡。
- 撮像のために可視光を放射するように構成された照明光源をさらに含む請求項1に記載の眼底鏡。
- 前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成されている前記画像センサは、前記光学レンズ配列と共に配置され、少なくとも20ミクロンの解像度で検出された光を網膜画像データに変換するように構成される画像センサを含む、請求項1に記載の眼底鏡。
- 前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように構成されている前記画像センサは、前記光学レンズ配列と共に配置され、検出された光を、約40度の輪状視野に関連する網膜画像データに変換するように構成される画像センサを含む、請求項1に記載の眼底鏡。
- 前記光学レンズ配列と共に配置され、検出された光を網膜画像データに変換するように配列されている前記画像センサは、前記光学レンズ配列と共に配置され、網膜の近接領域、重複領域、および/または少なくとも部分的に重複領域の多数の高解像度画像を捕捉することによって検出された光を網膜画像データに変換するように構成される画像センサを含む、請求項1に記載の眼底鏡。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662384685P | 2016-09-07 | 2016-09-07 | |
US62/384,685 | 2016-09-07 | ||
US201662429302P | 2016-12-02 | 2016-12-02 | |
US62/429,302 | 2016-12-02 | ||
US201762522493P | 2017-06-20 | 2017-06-20 | |
US62/522,493 | 2017-06-20 | ||
US201762532247P | 2017-07-13 | 2017-07-13 | |
US62/532,247 | 2017-07-13 | ||
US201762537425P | 2017-07-26 | 2017-07-26 | |
US62/537,425 | 2017-07-26 | ||
PCT/US2017/050498 WO2018049041A1 (en) | 2016-09-07 | 2017-09-07 | Retinal imager device and system with edge processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019526416A true JP2019526416A (ja) | 2019-09-19 |
Family
ID=61562312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019533312A Pending JP2019526416A (ja) | 2016-09-07 | 2017-09-07 | エッジ処理を有する網膜撮像装置およびシステム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3509475A4 (ja) |
JP (1) | JP2019526416A (ja) |
CN (1) | CN109963495A (ja) |
WO (1) | WO2018049041A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102243332B1 (ko) * | 2020-02-13 | 2021-04-22 | 학교법인 건국대학교 | 이동단말기를 이용한 동공검사용 장치 |
WO2022208903A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社ニデック | Oct装置、octデータ処理方法、プログラム、および記録媒体 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10993613B2 (en) | 2018-12-21 | 2021-05-04 | Welch Allyn, Inc. | Fundus image capturing |
US11138732B2 (en) * | 2018-12-21 | 2021-10-05 | Welch Allyn, Inc. | Assessment of fundus images |
WO2020152678A1 (en) * | 2019-01-22 | 2020-07-30 | Adam Cogtech Ltd. | Detection of cognitive state of a driver |
CN113283298B (zh) * | 2021-04-26 | 2023-01-03 | 西安交通大学 | 基于时间注意力机制和双流网络的实时行为识别方法 |
WO2023229690A1 (en) * | 2022-05-24 | 2023-11-30 | Verily Life Sciences Llc | Pathology and/or eye-sided dependent illumination for retinal imaging |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2342095A1 (en) * | 2000-03-27 | 2001-09-27 | Symagery Microsystems Inc. | Image capture and processing accessory |
WO2006016366A2 (en) * | 2004-08-12 | 2006-02-16 | Elop Electro-Optical Industries Ltd. | Integrated retinal imager and method |
CN101296368B (zh) * | 2007-04-28 | 2011-07-06 | 长春奥普光电技术股份有限公司 | 电视跟踪器中图像识别跟踪装置 |
JP4857326B2 (ja) * | 2008-11-19 | 2012-01-18 | キヤノン株式会社 | 眼科装置 |
US10226174B2 (en) * | 2011-03-02 | 2019-03-12 | Brien Holden Vision Institute | Ocular fundus imaging systems, devices and methods |
TWI446890B (zh) * | 2011-04-28 | 2014-08-01 | Crystalvue Medical Corp | 攜帶式的眼底檢測裝置 |
US9137433B2 (en) * | 2011-09-19 | 2015-09-15 | Michael Mojaver | Super resolution binary imaging and tracking system |
US20150021228A1 (en) * | 2012-02-02 | 2015-01-22 | Visunex Medical Systems Co., Ltd. | Eye imaging apparatus and systems |
WO2015054672A1 (en) * | 2013-10-10 | 2015-04-16 | The Regents Of The University Of California | Ocular cellscope apparatus |
US10248856B2 (en) * | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
US9723978B2 (en) * | 2014-03-31 | 2017-08-08 | Nidek Co., Ltd. | Fundus photography device |
EP3198913A4 (en) * | 2014-09-24 | 2018-05-23 | Princeton Identity, Inc. | Control of wireless communication device capability in a mobile device with a biometric key |
-
2017
- 2017-09-07 CN CN201780068689.3A patent/CN109963495A/zh active Pending
- 2017-09-07 EP EP17849536.2A patent/EP3509475A4/en not_active Withdrawn
- 2017-09-07 WO PCT/US2017/050498 patent/WO2018049041A1/en unknown
- 2017-09-07 JP JP2019533312A patent/JP2019526416A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102243332B1 (ko) * | 2020-02-13 | 2021-04-22 | 학교법인 건국대학교 | 이동단말기를 이용한 동공검사용 장치 |
WO2022208903A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社ニデック | Oct装置、octデータ処理方法、プログラム、および記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2018049041A1 (en) | 2018-03-15 |
CN109963495A (zh) | 2019-07-02 |
EP3509475A1 (en) | 2019-07-17 |
EP3509475A4 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019526416A (ja) | エッジ処理を有する網膜撮像装置およびシステム | |
US20180064335A1 (en) | Retinal imager device and system with edge processing | |
US11766172B2 (en) | Ophthalmic examination and disease management with multiple illumination modalities | |
JP7441915B2 (ja) | ライトフィールドプロセッサシステム | |
US20210169321A1 (en) | Smartphone-based handheld ophthalmic examination devices | |
CN110944571B (zh) | 用于改进眼科成像的系统和方法 | |
US20210290056A1 (en) | Systems and methods for capturing, annotating and sharing ophthalmic images obtained using a hand held computer | |
EP3721320B1 (en) | Communication methods and systems | |
CN111345775A (zh) | 眼底图像的评估 | |
US20220238220A1 (en) | Headset integrated into healthcare platform | |
CN208725704U (zh) | 基于虹膜识别的人体健康检测系统 | |
EP4331489A1 (en) | Sound-based attentive state assessment | |
Zepeda-Romero et al. | Research Article Diagnostic Images of the Ocular Fundus Using a Low-Cost Portable Endoscope in Premature Patients at Risk of Developing Retinopathy of Prematurity |