JP2022546969A - 構造由来の視野の事前情報を作成するための機械学習方法 - Google Patents

構造由来の視野の事前情報を作成するための機械学習方法 Download PDF

Info

Publication number
JP2022546969A
JP2022546969A JP2022513220A JP2022513220A JP2022546969A JP 2022546969 A JP2022546969 A JP 2022546969A JP 2022513220 A JP2022513220 A JP 2022513220A JP 2022513220 A JP2022513220 A JP 2022513220A JP 2022546969 A JP2022546969 A JP 2022546969A
Authority
JP
Japan
Prior art keywords
test
visual field
patient
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022513220A
Other languages
English (en)
Other versions
JPWO2021043980A5 (ja
Inventor
リー、ゲイリー
ジー フラナガン、ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec Inc
Original Assignee
Carl Zeiss Meditec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec Inc filed Critical Carl Zeiss Meditec Inc
Publication of JP2022546969A publication Critical patent/JP2022546969A/ja
Publication of JPWO2021043980A5 publication Critical patent/JPWO2021043980A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

視野(VF)検査をカスタマイズするためのシステムは、光干渉断層撮影法(OCT)画像、光干渉断層撮影血管造影法(OCTA)画像、眼底画像、および/または蛍光血管造影画像を含む網膜画像(12A、12C)に対して訓練された機械学習モデル(15)を使用する。動作時に、患者に特定のVF検査(13)を実施するための準備として、患者の網膜画像が本機械モデルに提供される。この機械モデルは、患者に対するVF予測を合成することによって応答する。合成されたVFは、患者に実施する前に特定のVF検査を最適化するために使用され得る。

Description

本発明は、一般に、視野検査の分野を対象とする。より具体的には、精度の向上、再現性の向上、全体的な検査時間の短縮のために、かつ検査する視野内の新たな場所の提案/識別のために視野検査を最適化するためのシステムおよび方法を対象とする。
緑内障は、世界における失明の主要原因の1つであり、開放隅角緑内障の患者数は世界中で4470万人であり、2020年には世界中で5860万人に達すると予測されている。光干渉断層撮影法(OCT:optical coherence tomography)および光干渉断層撮影血管造影法(OCTA:OCT angiography)の使用が緑内障の治療においてより一般的になりつつあるが、視野(VF:visual field)の分析は、緑内障の診断および病期分類、ならびに機能的視力障害の経時的な監視のための臨床的ゴールドスタンダードであり続けている。
視野検査は、個人の視野全体、例えば、中心視野および周辺(側方)視力を測定する方法である。視野検査は、各眼の視野を個別にマッピングする方法であり、かつ盲点(暗点)ならびに薄明視のより微妙な領域を検出することができる。
中心視野計(campimeter)、または「視野計(perimeter)」は、患者に視野検査を施す専用の機械/装置/システムである。視野計には様々な種類があり、視野検査には様々な種類があるが、全ての視野検査は主観的な検査である。従って、有用な情報を提供するために、患者は、検査の指示を理解し、十分に協力し、注意しながら検査全体を完了することが可能である必要がある。これを複雑にするのは、視野検査には比較的長い時間がかかるため、患者が疲労して、検査結果が悪くなる可能性があるという現実である。
一般的な視野検査の種類またはアルゴリズムは、静的自動視野測定法(SAP:standard automated perimetry)検査であり、これは、個々の眼の視野の様々な点で、光がどの程度暗くても知覚できるか(例えば、閾値)を決定するものである。単一の視野内の異なる個々の検査点に対してこの閾値を決定するために、様々なアルゴリズムが開発されている。スウェーデン式対話型閾値測定アルゴリズム(SITA:Swedish interactive thresholding algorithm)は、例えば、ツァイス(ZEISS(登録商標))社のハンフリーフィールドアナライザ(HFA:Humphrey Field Analyzer)と併用することで、SAP検査と組み合わせて、より効率的に視野を測定することができる。SITAアルゴリズムは、患者の年齢および近隣の閾値に基づいて予想される閾値を連続的に推定することにより、視野測定法の閾値の決定を最適化する。例えば、最初の刺激に対する患者の反応に応じて、その後の各刺激呈示の強度が変更される。この反復手順は、可能性のある閾値測定誤差が所定のレベル未満に減少するまで繰り返され、典型的には、各検査場所で1つまたは複数の逆転(reversal)が発生する。このようにして、視野を取得するために必要な時間を短縮し、患者の疲労を軽減して、信頼性を高めることができる。SITAの改良により、SITA FastおよびSITA Fasterアルゴリズムが開発され、検査時間をさらに短縮できるようになった。HFAに関するSITA検査ストラテジーと同様に、傾向性に基づく視野計(TOP:tendency-oriented perimeter)アルゴリズムは、時間のかかる階段状の閾値手順の代わりとして、オクトパス(Octopus(商標))視野計で使用するために開発された。それにもかかわらず、視野検査は、SITAの様々なバージョンなどの最先端の検査ストラテジーを使用した場合であっても、一般的に、各眼に対して実施するのに依然として数分かかる。また、検査時間は、障害または緑内障性視野の程度が高いほど、長くなる傾向がある。
全体として、より短い検査時間での検査ストラテジーは、緑内障の治療における視野検査の頻度を高めて、臨床緑内障ケアを専門機関の現在の推奨により一致させるのに役立ち得る。一般に、より短い検査時間は患者に好まれ、患者の疲労の影響を最小限に抑制して、より信頼性の高い検査結果をもたらし、検査コストを削減する。
本発明の目的は、視野検査の全体的な検査時間を短縮することである。
本発明の別の目的は、臨床的正確性の損失を最小限に抑えるか、または全く損なうことなく、閾値測定視野検査期間(例えば、患者が個々の検査点に対して自身の最小可視光閾値に到達するのに必要な時間)を短縮することである。
本発明のさらなる目的は、個々の検査点に対する患者の予想される閾値の改善された予測のためのシステムおよび方法を提供することである。
本発明のさらに別の目的は、異なる眼科検査モダリティの使用によって得られた患者の眼の構造的特徴および/または機能的特徴を利用して、閾値測定視野検査期間の短縮を支援することである。
上記の目的は、視野検査をカスタマイズするための方法/システムにおいて達成される。方法/システムは、患者の視野検査を選択するためのデータシステム含む複数の要素を有し得る。選択された視野検査は、定義可能な光強度の1つまたは複数の検査点を有する。患者の網膜の生体(例えば、構造的または機能的)測定値が電子医療記録(EMR:electronic medical record)などから取得されるか、また、それ以外に、アクセスされる。生体測定値(biometric measurement)は、光干渉断層撮影法(OCT)システム、OCT血管造影法システム、眼底撮像装置、または物理的/経験的眼科データを収集するための他の眼科検査システムモダリティを使用して収集することができる。例えば、生体測定値は、3Dデータまたは深さ分解されたデータを含み得る網膜の画像に少なくとも部分的に基づくものとすることができる。機械学習アーキテクチャ(例えば、人工知能システムおよび/またはニューラルネットワークシステム)を具体化するものなどのコンピューティングシステムまたはネットワークを使用して、得られた生体測定値(単数または複数)に少なくとも部分的に基づいて、選択された視野検査の1つまたは複数の選択検査点に対する個々の閾値感度値を予測することができる。各予測閾値感度値は、患者が所定の成功率(例えば、50%の成功率)で視認することが期待される光強度測定値、および/または患者が任意の輝度レベルで視認することが期待される面積測定値(例えば、特定のサイズの照射点/形状/領域)、および/またはその両方の組み合わせを含み得る。視覚検査システムは、予測閾値感度値を、「事前情報」、例えば、選択された視野検査への入力(患者のFA検査を最適化するために事前情報を使用し得る)として、かつ/または選択された視野検査を患者に適用する際の1つまたは複数の選択検査点に対する開始強度/面積値として使用することができる。患者の最終検査結果に近い開始強度値を使用することによって、患者は自身の閾値により早期に到達することができ、結果として全体的に検査期間が短くなる。
追加的または代替的に、予測閾値感度値は、VF予測システムにおける真のVF事前情報の代わりに、またはそれに加えて、合成されたVF事前情報として使用され得る。VF予測システムは、合成されたVF事前情報(および任意選択的に利用可能な任意の真のVF事前情報)を使用して、患者の将来の視野を予測することができる。
本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。
本発明の理解を容易にするために、本明細書においていくつかの刊行物を引用または参照している。本明細書で引用または参照される全ての刊行物は、参照によりその全体が本明細書に組み込まれる。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。1つの請求カテゴリ、例えばシステムにおいて記載される何れの実施形態の特徴も、他の請求カテゴリ、例えば方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。
図面では、同様の参照符号/文字が同様の構成要素を示す。
本発明による視野検査をカスタマイズするためのシステムの概要を提供する図である。 本発明によるニューラルネットワークNN-1の訓練の例を示す図である。 訓練後に入力されるライブデータ入力または訓練セッションの評価段階中に入力される検査データのいずれかを用いた、図2の訓練済みのニューラルネットワークNN-1の動作例を示す図である。 複数のNNステージであるStg1およびStg2をリンクさせる代替の訓練アーキテクチャを示す図であり、各ステージは、モジュラーニューラルネットワーク構成の独自のニューラルネットワークを含んでいる。 患者の視野検査履歴を有することが、任意の検査点に対する患者の現在または将来の視野閾値を予想(予測)するのにいかに役立つかを示す図である。 本発明による視野予測システムを示す図である。 ランダムフォレスト手法に基づく機械学習モデルに関する(導出された)OCT推定閾値および(真の)VF閾値のプロットである。 ニューラルネットワーク手法に基づく機械学習モデルに関する(導出された)OCT推定閾値および(真の)VF閾値のプロットである。 ZEST-RFおよびZEST-CNNの全体的な平均絶対誤差(MAE)がZESTと統計的に同等であったことを示す表1を示す図である(p<0.001)。 患者の視野を検査するための例示的な視野検査機器(視野計)を示す図である。 眼底を撮像するためのスリットスキャン眼科システムの例を示す図である。 本発明と使用するのに適した眼の3D画像データを収集するために使用される一般型周波数領域光干渉断層撮影システムを図解する。 en face脈管画像の例を示す図である。 多層パーセプトロン(MLP)ニューラルネットワークの例を図解する。 入力層、隠れ層、及び出力層からなる単純化されたニューラルネットワークを示す図である。 例示的な畳み込みニューラルネットワークアーキテクチャを図解する。 例示的なU-Netアーキテクチャを図解する。 例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータ)を図解する。
一般的な視野(VF)検査では、患者に対して視野上に(例えば、連続的に)配置された多数の検査点が呈示されて、個々の検査点の出現を視認するように求められる。個々の検査点のサイズおよび/または光強度は、患者が個々の検査点の出現を50%などの所定の成功率で識別できるようになるまで調整することができる。検査点の最終的なサイズおよび/または強度は、その検査点の閾値を定義し、これは、視野検査の結果に組み込まれる視覚感度測定に対する基礎となり得る。検査点の初期サイズおよび/または強度が最終的な閾値からかけ離れている場合、「閾値測定」(例えば、特定の検査点に関して患者の閾値に達すること)の前に、多くの調整の反復が必要となり、検査時間がより長くなり得る。従って、効率的な閾値測定ストラテジーの目標は、特定の患者に対する最終的な閾値に近い個々の検査点の初期サイズおよび/または強度値を選択して、視野検査時間を短縮することである。
効率的な閾値測定ストラテジーは、閾値検査の限界に挑戦している。閾値測定を改善するための1つの手法は、患者の将来のVF検査成績を推定するために使用される視野の「事前情報(priors)」、または事前の情報(prior information)(例えば、履歴データまたは履歴データから導出された統計モデル)を使用することである。ベイズストラテジー(Bayesian strategies)は、事前の情報またはデータが各刺激呈示(例えば、検査点)および応答で更新されるという考え方をデフォルトで組み込んでいる。スウェーデン式対話型閾値測定アルゴリズム(SITA)と逐次検査によるジッピ推定(ZEST:Zippy Estimation by Sequential Testing)視野計測アルゴリズムは、ベイズの先行技術を使用するストラテジーの例である。SITAについての説明は、ボエル・ベングソン(Boel Bengtsson)他による「SITA Fast、新たな迅速な視野計測の閾値検査、緑内障の顕著で疑いのある患者における方法および評価の説明(SITA Fast,A New Rapid Perimetric Threshold Test, Description of Methods and Evaluation in Patients with Manifest and Suspect Glaucoma)」、アクタ・オフサロモロジカ・スカンジナビカ(Acta Ophthalmologica Scandinavica)、1998年、76、431-437、およびアンドレス・ヘジール(Anders Hejil)他による「新たなSITA視野計測閾値検査アルゴリズム:構築および多施設臨床研究(A New SITA Perimetric Threshold Testing Algorithm: Construction and a Multicenter Clinical Study)」、アメリカン・ジャーナル・オブ・オフサルモロジー(American Journal of Ophthalmology)、第198巻、2019年2月、154~165頁に記載されている。同様に、ZESTの説明は、チョン(Chong)他による「GOANNAを使用したターゲット型空間サンプリングが視野の障害進行の検出を改善する(Targeted Spatial Sampling Using GOANNA Improves Detection of Visual Field Progression」、オフサルミック・フィジオロジー・オプト(Ophthalmic Physiol Opt)、2015年3月、35(2)、155-69に記載されている。これらの参考文献の全ては、参照によりその全体が本明細書に組み込まれる。事前情報(例えば、以前に収集したデータおよび/または母集団から導出されたデータ)は、多くの場合、年齢を一致させたデータに関連する均一な値(多くの場合、超閾値/超高輝度)に基づくものであるか、または同一患者の以前の視野から導出されることもある。これらの事前情報を使用する際のいくつかの制限は、均一または年齢が一致するデータは、特定の患者に個別化されないこと、即ち、特定の場所で追加の刺激が必要となる可能性があることである。同一患者の視野の事前情報は、可能性はあるが、利用できない場合(例えば、患者による最初の診察)、またはVF検査が他の検査ほど頻繁に実施されていないために、古くなっている場合がある。即ち、VF検査は主観的であり、構造/撮像検査などの、他のより一般的な眼科検査よりも時間がかかるため、VF検査は推奨される間隔で実施されない可能性がある。
視野測定法を容易にするための新たな手法は、構造由来の視野を構築することであり、これは、眼科撮像、患者固有の生理学的特性/測定値、医学的状態(単数または複数)、医学的処置(単数または複数)、(視覚的)誘発電位検査、および/または他の視覚関連検査等の定量化可能なデータの1つまたは複数の情報源に基づいた、導出視野、導出視覚感度測定値、および導出事前情報のうちの1つまたは複数を含み得る。光干渉断層撮影法(OCT)撮像等の構造撮像は、視野を推定(例えば、導出)するために使用されてきたが、この視野は、通常、機能的VF検査(例えば、標準/機能的視野検査)のための「代替」視野として位置付けられてきた。構造データは機能的VFデータよりも再現性が高いことが多いため、構造データは再現性の高い導出視野の利点を提供し得る。従来の構造由来の視野の制限は、参照によりその全体が本明細書に組み込まれる、ボグノビッチ(Bogunovice)他による「緑内障患者における網膜構造とハンフリー24-2視野閾値との関係(Relationships of Retinal Structure and Humphrey 24-2 Visual Field Thresholds in Patients with Glaucoma)」、眼科・視覚科学研究会(Invest.Ophthalmol.Vis.Sci.)、2015年、56(1)、259~271に記載されているように、特定の機器に関連付けられることが多い数学モデルで通常生成されることである。特定の機器に関連付けられたカスタムの数学モデルの使用により、構造由来の視野の有用性が制限される。従来の構造由来の視野に対する別の障害は、標準(機能的)視野が、依然として視覚機能を評価するためのゴールドスタンダードと見なされていることである。その結果、機能的視野(functional visual field)は、構造的事前情報から導き出された推定視野よりも、一般的な臨床医によってより信頼され得る。
誘発電位(EP:evoked potential)検査、または誘発反応(ER:evoked response)検査では、光、音、または触覚等の刺激(感覚刺激)の呈示後に、電極を使用して、患者の神経系(典型的には脳)の特定の部位からの電位応答を記録する。例えば、誘発電位検査では、脳が感覚刺激に反応するのに要する時間が測定され得る。視覚誘発電位(VEP:visual evoked potential)検査では、患者が画面の前に座って、変化する光のパターンを観察する際に(例えば、最初に片方の眼で、次に他方の眼で)、電極が患者の頭皮に配置され得る。VEP検査では、変化するパターンに対する各眼の反応が記録され得る。例えば、正方形の色が所定の頻度および/または所定のパターンで交互に変化する間、患者は画面上のチェッカーボード・パターンを凝視するように求められ、VEP検査は、患者の誘発電位応答に基づいて患者が知覚することができた変化を記録する。
しかしながら、構造的な事前情報は、標準の機能的視野の構築/管理を可能にするために使用されていないと考えられる。本明細書では、新規な方法で検査時間を短縮して、正確な(真の/機能的)視野を生成する方法、システム、および/またはワークフローを提案する。
本発明は、眼科撮像/検査システム(および/またはそれらの出力結果)の使用を視野検査システム(例えば、視野計)と組み合わせて、機能的視野検査を最適化する(例えば、その開始点を最適化する、例えば、機能的視野検査の初期光強度および/または検査点のサイズを最適化する)。例えば、最適化された開始点は、任意の検査点に対する患者の予想される閾値測定(例えば、最終)値に近くなるように推定/予測され得る。このようにして、患者の閾値に到達するために、任意の検査点に対する反復調整(強度および/またはサイズ)の回数が減少し、全体的な検査時間が短縮される。典型的な視野検査システムと典型的な(機能的)視野検査については、以下の「視野検査システム」のセクションで説明する。
眼底撮像装置、OCTシステム、およびOCT血管造影法(OCTA)システムなどの様々な種類の眼科撮像/検査システムが当該技術分野で既知である。眼底撮像装置は、網膜の表面または眼の他の部分の2次元(2D)画像を撮影し得る。眼底撮像から様々な構造的な測定/観察を行うことができる。OCTおよびOCTAは、網膜血管系の非侵襲的な深さ分解(例えば、A-スキャン)、ボリューム測定(例えば、C-スキャン)および2D(例えば、en faceまたは断面/B-スキャン)視覚化を可能にする。OCTは血管系の構造的な画像を提供してもよく、OCTAは血管系の機能的な画像(例えば、血流)を提供してもよい。例えば、OCTAは、流れる血液の動きを固有のコントラストとして使用して、血管の流れを画像化し得る。これらの種類の眼科撮像システムについては、以下の「眼底撮像システム」のセクションおよび「光干渉断層撮影法(OCT)撮像システム」のセクションで説明する。特に明記しない限り、本発明(単数または複数)の態様は、そのような眼科撮像システムのいずれかまたはすべてに適用することができる。例えば、閾値測定を最適化するため(例えば、機能的視野検査における検査点の開始値を最適化するため、および/または機能的視野検査のために合成された「事前情報」を提供するため)に本明細書に提示される方法/システムは、眼から抽出された構造的および/または機能的(例えば、動き)眼科情報(生体測定値)を組み込むことができ、この眼科情報(生体測定値)は、眼底撮像装置、OCTシステム、および/またはOCTAシステムを使用して取得することができる。
本発明のいくつかの実施形態は、真のVFの事前情報(例えば、視野計を使用して取得された事前の機能的VF検査結果)の代わりに、構造的および/または機能的な眼科データ/撮像(例えば、眼底画像、OCTスキャン/画像、OCTAスキャン/画像、患者固有の生理学的特性値/測定値、医学的状態(単数または複数)、医学的処置(単数または複数)、(視覚的)誘発電位検査、および/または他の視覚関連検査)から取得された合成/導出された「事前情報」(例えば、合成された視野)を追加して、既存のベイズストラテジーおよびフォローアップを活用する。これらの事前に合成された視野は、深層学習(DL:deep learning)および/または人工知能(AI:artificial intelligence)手法等の機械学習(ML:machine learning)技術を使用して導出され得る。即ち、機能的VF検査を加速することを試みるために真のVF事前情報を使用する従来の手法とは異なり、本手法は、構造的(OCTおよび眼底撮像等)および/または機能的(OCTA撮像等)眼科情報から決定される合成VF事前情報を使用することを提案し、本明細書では、合成VF事前情報を、「生体特性」および/または「物理特性」(測定/測定値)由来の事前情報と総称する。この手法の利点は、生体測定由来の事前情報は、より再現性が高く(例えば、変動が少なく)、被験者のVF履歴を確立するために、複数の(真の)事前の視野を生成するよりも、被験者に対して取得するための負担が少ない(即ち、患者が従来の機能的視野検査を受ける前に、患者の同じ診療所診察で早期に導出することができる)。さらに、生体測定由来の事前情報は、人工知能(AI)、機械学習(ML)、および/または深層学習(DL)の方法を使用して作成され得る。
教師あり学習、教師なし学習、半教師あり学習、強化学習など、当該技術分野で既知の様々な種類の機械学習モデルが存在することを理解されたい。本説明の態様は、DLおよびAIなどの特定の機械学習モデルを使用した例を提供するが、他の種類の機械学習モデルを、単独でまたは組み合わせて、本発明とともに使用することができることを理解されたい。例えば、最近傍、ナイーブベイズ、決定木、線形回帰、サポートベクターマシン(SVM:Support Vector Machines)、およびニューラルネットワークの1つまたは複数を使用して、本発明に従って教師あり学習モデルを実施することができる。
機械学習技術を使用して生体測定由来の事前情報を導出することにより、本発明は、より堅牢で再現性のある入力(合成/導出)視野(VF)を生成する性能を有するのみならず、VF機能モデルとの関係で眼科生体測定のより良い理解を提供する(例えば、観察された生体測定値とVF検査との関係を特定する)のに役立つこれらの方法に内在するいくつかの特徴を利用する。SITAなどの高速VF検査ストラテジー(他に利用可能なVF事前データがない場合がある)への入力として、真の視野事前情報(以前の診察からは利用できない場合、または再現性が低い場合がある)の代わりに、標準的な臨床ワークフローの一部として普通に収集される生体測定(例えば、画像)データを使用して、構造的事前情報(例えば、生体測定由来の事前情報)を作成することにより、本手法は、緑内障の眼において現在の閾値VF検査時間を最大30%まで潜在的に短縮することができると推定される。即ち、本発明は、SITAおよびその変形などの最適化の限界に達している可能性がある最新の閾値測定ストラテジー型のみを使用して達成することができる範囲を超えて、閾値検査の限界を押し上げる。例えば、本手法は、機能的VF検査を最適化するための事前の情報の追加情報源として生体測定値を導入することによって、これらの制限を拡張し得る。
図1は、本発明による従来の(機能的)視野検査をカスタマイズ/最適化するためのシステムの概要を提供する。システムは、様々な処理ステップを可能にするために、グラフィカルユーザインタフェース(図示せず)および電子プロセッサ(単数または複数)を含み得る。例えば、ユーザ/技術者は、ブロック11において特定のVF検査を指定/選択することから開始する。本システムは、所与の視野計(VF検査器)VF0で使用するために選択された任意の種類の視野検査で機能するように構成することができる。選択された視野検査は、静的自動視野測定法検査、動的視野測定法検査、周波数倍増視野測定法検査、または患者の視野を決定するために閾値測定を使用する他の既知の視野測定法検査型(例えば、視覚感受性測定)のいずれかであり得る。既知のVF検査の例には、標準的自動視野測定法(SAP:standard automated perimetry)、短波長自動視野測定法(SWAP:short-wavelength automated perimetry)、周波数倍増技術(FDT:frequency doubling technology)、スウェーデン式対話型閾値測定アルゴリズム(SITA)、SITA Fast、SITA Faster、傾向性に基づく視野計(TOP)、他覚的視野測定法(VEP、多局所網膜電図ERG(multifocal electroretinography ERG)/PERF、瞳孔測定法など)、などが含まれる。選択されたVF検査の種類に関係なく、選択された視野検査は、一般に、定義可能な光強度の1つまたは複数の検査点を有する。一部のVF検査では、任意の光強度で定義可能なサイズ(例えば、面積)の点が設けられる。本システムの目的は、選択されたVF検査が実施される特定の患者について、個々の検査点の閾値(例えば、終了強度および/またはサイズ)を決定することである。
本システムは、構造由来の視野を構築するために、ブロック12によって示されるように、視覚検査が実施される患者の網膜などの1つまたは複数の生体測定値(例えば、物理特性測定値)を取得する(任意選択的に、患者の事前の機能検査を含む)。生体測定値は、複数の撮像モダリティおよび/または以前の患者検査の画像(例えば、コピー、ビットマップ/ラスタ/ベクトルまたは他のデジタル画像、プリントアウト等)のいずれかを使用して得られた網膜の画像に基づいてもよい。例えば、撮像モダリティは、グレースケール、カラー、赤外線、網膜層厚マップ、眼底写真、光干渉断層撮影法(OCT)、ドップラーOCT、OCT血管造影法、および/または蛍光血管造影法であり得る。生体測定値12は、1つまたは複数のOCT/OCTA画像12A、先行視野検査結果12B(または先行視野検査の主要感度値)、眼底画像12C、蛍光血管造影(FA)画像(単数または複数)12D、VEP12E、または他の撮像モダリティまたは網膜/視覚測定技術/装置から抽出される(例えば、それに基づいている)か、またはそれらの全体(または、一部)を含んでもよい。生体測定値は、患者が診療所の通院時に患者に直接眼科検査システム(例えば、図示しないOCTシステムまたは眼底撮像装置)を使用することによって取得されてもよく、または電子医療記録(EMR:electronic medical record)などの患者の医療記録のデータストアからアクセスされてもよい。生体測定(biometric measure)の例には、1つまたは複数のAスキャン、Bスキャン、Cスキャン、またはOCT/OCTAシステムを使用して取得されたen face画像が含まれ得る。生体測定には、視神経乳頭(OHN:optic nerve head)、中心窩、網膜の厚さ、および個々の網膜層(単数または複数)の厚さ測定値などの個々の眼科構造の形状、サイズ、色、および/または相対位置を含み得る。生体測定のその他の例には、網膜の特定領域における血流測定および/または組織運動測定、予想される基準からの変色領域、血管転化領域(例えば、それらのサイズ、場所、および/または数)、滲出液の形成(例えば、それらのサイズ、位置、および/または数)、大血管数、小血管数、特定の構造の識別が含まれてもよく、それらのいくつかは、病理を示し(例えば、病理に関連し)得る。例えば、滲出液に関連する障害は、特定の種類の「湿潤性」加齢性黄斑変性症(AMD:age-related macular degeneration)に関連する病変である。生体測定は、特定の構造間の距離(単数または複数)(および/または特定の構造の相対的配向/位置)および/または特定の構造の比較サイズ比(単数または複数)など、異なる生理学的特徴の相対的測定の比較をさらに含み得る。
取得された生体測定(単数または複数)は、機械学習モデル15に提供され、機械学習モデル15は、1つまたは複数のコンピューティングシステム(例えば、電子プロセッサ)内で実施され得る。個々の網膜画像(例えば、OCT/OCTA、眼底、および/またはFA画像)は、1つまたは複数の生体測定として機械モデル15に提供され、機械モデル15は、必要に応じて、提供された画像(単数または複数)から個々の生体サブ測定を抽出し得ることが理解されるべきである。任意選択的に、機械モデル15は、患者に実施されるべく選択された特定のVF検査アルゴリズムに関する情報を入力として受信し得る。例えば、機械モデル15には、患者に実施されるべきVF検査の種類が通知され、機械モデル15は、適切な生体由来の事前情報の構築によりよく対応することが可能となり得る。機械学習モデル15は、受信した生体測定値(単数または複数)に少なくとも部分的に基づいて、選択されたVF検査の種類の1つまたは複数の選択検査点に対する個々の閾値(例えば、視覚感度値)を決定(例えば、予測/合成/導出)することができる。各閾値感度値は、患者が所定の成功率(例えば、50%の成功率)で視認することが期待される、個々のVF検査点に対する光強度測定および/または点サイズ測定に基づくものとすることができる。即ち、機械学習モデル15は、合成VF閾値(例えば、VFTh_out)を出力し、合成VF閾値は、1つまたは複数のVF事前情報(例えば、数値データの集合)(導出されたVF検査出力10として示されている)を構成するとともに、ブロック13によって示されているように、患者に実施される選択された機能的VF検査と組み合わせて使用され得る。その結果、本システムは、早期機能的VF検査17(例えば、短時間でのVF検査)を実現することができる。
任意選択的に、個々の閾値感度値(単数または複数)VFTh_outは、ブロック14によって示されるように、EMRからアクセスされ得るような、追加の非構造的または画像の患者関連データにさらに基づくものとすることができる。例えば、選択された視野検査の1つまたは複数の選択検査点に対する閾値感度値の決定は、1つまたは複数の生体測定(単数または複数)が取得される特定の撮像装置(単数または複数)(例えば、OCTおよび/または眼底撮像装置)に関連する患者年齢固有の標準的なデータにさらに基づくことができる。また、閾値感度値(単数または複数)の予測は、患者の年齢、民族、および病歴の1つまたは複数等の非構造的な患者固有データ(例えば、ブロック12の入力網膜画像(単数または複数)から抽出されない生理学的データ)に基づくことができる。また、閾値感度値の決定は、事前のVF検査結果および/または事前の(視覚的)誘発電位検査データ等の、事前の患者固有の機能検査に基づくことができる。
繰り返しになるが、このように決定された(例えば、予測/導出された)視覚感度値(単数または複数)VFTh_outは、視野計13に供給され、その視覚感度値VFTh_outは、選択された機能的VF検査を患者に適用する場合に、対応する1つまたは複数の選択検査点(単数または複数)に対するその開始VF検査点値(例えば、強度および/またはサイズの入力事前情報)のベースとすることができる(または、それ以外に、そのVF検査を最適化することができる)。即ち、導出された感度値VFTh_outは、事前情報の構築において変更され得る。例えば、選択されたVF検査は、導出された感度値VFTh_outからのオフセット(例えば、より高いまたはより低い強度)を有する入力事前情報を使用して開始することができる。
代替的に、または加えて、決定または推定された閾値感度値(単数または複数)は、VF事前情報として使用されてもよく、かつ/または診断解釈/臨床的解釈または構造-機能分析に使用され得る患者の視野の予測を決定するために使用され得る。例えば、患者の予測される視野は、臨床意思決定支援(CDS:clinical decision support)システムの一部として使用され得る。CDSシステムは、臨床医、スタッフ、患者、またはその他の個人に、ヘルスケアを強化するために、インテリジェントにフィルタリングされているか、または適切なタイミングで提示される知識および個人固有の情報を提供する。本システムは、臨床ワークフローにおける意思決定を強化するために、CDSシステムにおける追加のツールとして組み込まれる得る。例えば、本システムは、医療提供者および患者にコンピュータ化された警告およびリマインダを提供するとともに、臨床ガイドライン、症状別順序セット(例えば、視野検査または他の医学的検査の推奨)、焦点を絞った患者データレポートおよび要約、文書テンプレート、診断サポート、および状況的に関連する参照情報を提供することができる。例えば、現在の導出された感度VFTh_outは、(例えば、以前の医師の診察による)1つまたは複数の以前の導出された感度結果および/または真の視野検査結果と比較されて、現在の導出された感度値VFTh_outが、患者の視野が所定の範囲および/または所定の領域および/または所定の変化率を超えて変化する可能性を示した場合に、警告フラグ/メッセージを発行するようにしてもよい。警告フラグ/メッセージは、患者が真の視野検査を受けるべきであることを示し得る。
機械学習モデル15は、線形回帰、ロジスティック回帰、決定木、サポートベクターマシン、ナイーブベイズ、k最近傍法、k平均法、ランダムフォレスト、次元削減、勾配ブースティング、およびニューラルネットワークの1つまたは複数に基づくものとすることができる。一般に、機械学習モデルは、特定の機能を実行するように訓練することができるコンピューティングシステムであり、特定のモデルの選択は、対処される問題のタイプに依存し得る。例えば、サポートベクターマシン(SVM)は、分類および回帰問題のための機械学習、線形モデルであり、線形問題および非線形問題を解決するために使用され得る。SVMの考え方は、データをクラスに分離する線または超平面を作成することである。より正式には、SVMは、多次元空間内の1つまたは複数の超平面を定義し、超平面は、分類、回帰、外れ値検出などのために使用される。基本的に、SVMモデルは、異なるカテゴリのラベル付けされた訓練例が超平面によって分割されるようにマッピングされた、ラベル付けされた訓練例の多次元空間内の点としての表現であり、超平面は、異なるカテゴリを分離する決定境界として考えることができる。新たな検査入力サンプルがSVMモデルに提供されると、検査入力は同じ空間にマッピングされ、検査入力が決定境界(超平面)のどちら側にあるかに基づいて、どのカテゴリに属するかが予測される。
しかしながら、本発明の好ましい実施では、機械学習モデル15は、深層学習に基づくことができる訓練済みのニューラルネットワークを含む/具体化するコンピューティングシステム内で少なくとも部分的に実現される。ニューラルネットワークの様々な例を、図13から図16を参照して以下で説明するが、それらのいずれかを、単独でまたは組み合わせて、本発明とともに使用することができる。
図2は、説明のために、本発明によるニューラルネットワークNN-1の訓練の例を示している。説明を分かり易くするために、各訓練セットは、訓練ペアTP1~TPnで構成されるように示されている。この例では、各訓練ペアは、訓練入力画像が取得された同じ「検査患者」から、好ましくは、訓練入力画像が収集されたのとほぼ同じ日に収集された、対応するラベル付き視野検査結果データVFTR1~VFTRnとペアになった訓練入力サンプルとしてOCTベースの画像/スキャンOCT1~OCTn(例えば、OCT血管造影データおよび/または構造OCTデータ)を含み得る。しかしなが、上記で説明したように、OCTベースの画像に加えて、またはOCTベースの画像の代わりに、訓練(データ)入力サンプルは、眼底画像、蛍光血管造影画像、(視覚)誘発電位検査、およびその他の他覚的視野検査結果(多局所網膜電図ERG/PERF、瞳孔測定法等)、個々の網膜構造測定値、以前に診断された病状(例えば、医学的状態(単数または複数)、医学的処置(単数または複数)、および/または他の医療記録)、検査患者の身体的特徴(単数または複数)(例えば、年齢、民族、病歴)、検査患者の人口統計学の標準的な構造データ(網膜神経線維層(RNFL:retinal nerve fiber layer)の厚さ、および神経節細胞-内網状層(GCIPL:ganglion cell-inner plexiform layer)の厚さ)、検査患者の人口統計学の標準的な機能データ(例えば、特定の視野検査の標準化された初期化パラメータ)を含み得る。訓練(データ)入力は、以前の視野検査結果(例えば、真のまたは以前に合成/導出された機能的VT検査結果/視覚感度測定値)およびそれらが取得された日付をさらに含むことができ、これにより、検査患者の特定の特徴(例えば、病状)に関連する視野結果の変化率における傾向を特定するのに役立つ。訓練入力のためのこれらの事前の視野検査結果は、SAPに基づくものとすることができ、かつ/またはそれらは他覚的視野検査(VEP、多局所ERG/PERF、瞳孔測定法等)に基づくものとすることができることを理解されたい。説明を分かり易くするために、訓練入力OCTベースのデータは、深度エンコードされたen faceスラブ/画像として示されているが、訓練入力OCTデータは、ボリュームデータ、Bスキャン、またはAスキャンであり得ることを理解されたい。この例では、ニューラルネットワークNN-1は、VF事前情報、例えば視野検査閾値(例えば、任意の視野検査の種類の個々の視野検査点の強度および/またはサイズ閾値)を決定する(または導出する)ように訓練されている。従って、その視野訓練ターゲット出力VFTR1~VFTRnは、ラベル付きの真の機能的視野検査結果(例えば、検査視野に沿って分布した個々の検査点の暗い四角と明るい四角および/または数値視野測定閾値の結果)として図示されている。本例では、ニューラルネットワークNN-1は、フルOCTベースの画像情報から視野検査閾値データを抽出するように訓練されているため、各訓練ペアにおける訓練入力は、フルスキャン情報OCT1~OCTnを含むように示されている。任意選択的に、データ拡張方法を使用して、各検査入力データ(OCT1~OCTn)をより小さなサイズのデータセグメント(または画像/スキャンパッチ)に分割するなどによって、訓練データセットのサイズを増加させることができ、ここで、パッチは、類似のサイズまたは異なるサイズであってもよい。一般に、訓練セットのサイズが大きいほど、訓練結果が向上する。
図3は、訓練終了後に入力されるライブデータ入力または訓練セッションの評価段階中に入力される検査データのいずれかを用いた、図2の訓練済みのニューラルネットワークNN-1の動作例を示す。訓練済みのニューラルネットワークNN-1は、以下でさらに詳細に説明するように、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、フィードフォワードニューラルネットワーク、回帰型ニューラルネットワーク、モジュラーニューラルネットワーク、およびU-Netのうちの1つまたは複数を含み得る。本ニューラルネットワークNN-1は、取得した画像データ(例えば、OCTシステムまたは眼底撮像装置などからのライブ画像、または遠隔的に保存され得る患者の医療記録などからの以前に収集された画像へのアクセス)を入力OCT-inとして受信して(入力は、複数のVF検査種類がサポートされている場合、患者に実施される視野検査の種類を任意選択的に指定することもできる)、指定された視野検査の種類の1つまたは複数の検査点に対して予測閾値(単数または複数)を有する対応する視野閾値出力VFTh_outを予測する(例えば、決定する/合成する/生成する)。図1に示すように、出力VFTh_outは、機能的VF検査を患者に実施するためにブロック13に提供され得る。入力画像OCT-inは、訓練で使用された画像でも、訓練に使用された画像から導出された画像でもないことに留意されたい。即ち、ネットワークNN-1がこれまでに見たことのない画像データ(例えば、OCT-in)が、検査/評価/動作の段階で選択される。任意選択的に、動作中、ネットワークNN-1は、患者の以前の真の(機能的)視野検査結果を入力として受信しない。
図4は、複数のNNステージStg1およびStg2をリンクさせる代替の訓練アーキテクチャを示しており、各ステージは、モジュラーニューラルネットワーク構成の独自のニューラルネットワークを含んでいる。本アーキテクチャの第1ステージStg1は、図2のものと同様であり、畳み込みニューラルネットワークおよび/またはU-Netなどの画像処理用に最適化されたニューラルネットワークで構成されてもよい。図4において、図2の構成要素と同様の全ての構成要素は、同様の参照符号を有しており、上記で説明されている。本例では、第1ステージStg1からの出力が第2のニューラルネットワークNN-2に供給され、第2のニューラルネットワークNN-2は、(画像とは対照的に)個々のデータユニットを処理するように最適化されるとともに、例えば、全結合ニューラルネットワーク、フィードフォワードニューラルネットワーク、および/または回帰型ニューラルネットワークで構成され得る。第2ステージStg2への入力は、画像を除外して、標準的なデータ、患者の医療記録データ、個々の生体測定値、以前の(真のまたは合成された)視野閾値結果などの個々のデータセット(例えば、コンテキストデータ)を含み得る。動作中(例えば、訓練後)、図4のアーキテクチャ(図示せず)から予測VF閾値を、図1の視野計13に提供して、予測VF閾値を開始検査点値および/または事前情報として使用して機能的視野検査を実施することができる。
以前の視野検査結果を考慮することは、患者の変化する視野の傾向を特定するのに役立ち、より正確な予測につながり得ることに留意されたい。しかしながら、これまで視野検査は時間がかかり、所定の(例えば、定期的な)間隔で常に実施されるとは限らなかったため、患者の視野検査結果に空白が生じ得る。その結果、患者の変化する視野の動向または傾向を判断するのに十分なデータがない場合がある。本システムは、そのような空白を埋めるために合成/導出された視野検査を提供することによってこの問題に対処する。例えば、患者は特定の診療所診察において(または特定の月/時間)で視野の撮影をスキップした可能性があるが、その患者は、その診療所診察において(または所定の時間枠内、例えば、月または他の設定された週/日数内で)網膜画像(例えば、OCT、OCTA、眼底画像、FA等)を撮影した可能性がある。この場合、撮影された網膜画像を使用して、導出された視野を抽出することができる。この導出された視野は、VF関連分析における真の機能的視野の代わりに使用され得る。例えば、このような導出された視野を使用して、ニューラルネットワークの追加の訓練セッションにおける追加の訓練セットを作成したり(例えば、図2に示すように、特定の訓練ペアTPiにおけるVFターゲット出力VFTRiとして使用される)、別のニューラルネットワークを訓練することができる。即ち、導出された視野は、図2および/または図4の訓練構成において、(以前に取得された真の機能的視野の結果の代わりに、またはそれに加えて)訓練データとして使用され得る。
図5は、VF関連分析において使用される導出された視野の例を示す。図5の例示的なプロット例は、患者の視野感度の経時的な低下を示し、患者の視野検査履歴を有することが、患者の現在または将来の視野を予想(予測)する(例えば、任意の検査点に対する閾値(単数または複数)などに基づく視野感度測定を予測する)のにいかに役立つかを示している。縦軸は、患者の視覚感度の測定値に対応し、横軸は、一連の所定の視野検査日または予定された診療所診察などの時間の経過に対応する。本例では、真の以前のVF検査結果は、実線の点で示され、患者の以前の診療所診察からの生体測定値またはその他の非従来型の機能的視野データなどに基づく、合成された(導出された)VF結果は円で示される。事前のVF検査感度結果の時間に対するプロットは、時間「x」における患者の予想される閾値を示すのに役立つ。このような予測は、破線Ln1で示されているように、直線的な進行を示す真の事前のVF検査結果(実線の点)のみが使用された場合、不可能であるが、検査時間の空白を埋めるために追加の「VF事前情報」として合成されたVF結果(円)が追加されると、時間「x」に対する将来のVF値を良好に予測する、より対数的な、または曲線のプロット(破線曲線Crv1で示される)が明らかになる。即ち、導出された真の視野の集合は、VF予測システムに入力され、VF予測システムは、入力を使用して、患者の現在または将来の視野を予測する。このようなVF予測システムは、機械学習(例えば、線形回帰)および/または深層学習(例えば、回帰型ニューラルネットワーク)などの任意の数の予測技術を実装するコンピューティングシステムによって実現することができる。
図6は、本発明によるVF予測システム21を示す。この例では、後続のタイムスロットTS10に対する視野VFTh_outをより良好に予測するために、9個のタイムスロット/間隔TS1~TS9に対してVF事前情報が望まれる。本例では、タイムスロットTS1、TS3、TS4、TS6、ST7、およびST8に対して真のVF検査結果を利用できるが、タイムスロットTS2、TS5、およびTS9に対しては、VF履歴記録に空白があるため、真のVF検査結果を利用できない。患者が欠落しているタイムスロットに対応する画像データ(生体測定/物理測定)を有していると仮定すると(例えば、患者は網膜画像/スキャンを行ったが、所定のタイムスロットでVF検査を行わなかった)、本システムは、欠落しているタイムスロットTS2、TS5、およびTS9のVF事前情報を合成するために使用され得る。真のVF事前情報および合成されたVF事前情報の集合は、予測ツール21に(順次または並行して)提供され、次いで、予測ツール21は、タイムスロットTS10に対して予測視野VFTh_outを出力する。出力VFTh_outは、図1における導出された視野VFTh_outとしてブロック13に提供され得る。
予備的な概念実証研究を実施して、シミュレートされた視野(VF)に対する構造由来の視野事前情報(S-prior)を使用した場合の性能を評価した。この研究では、シンガポールの人口調査から得られた1399人の被験者(片眼)からの適格な(例えば、過去に遡った)データが使用された。ハンフリーフィールドアナライザ(HFA2i)(登録商標)(ツァイス社、カリフォルニア州ダブリン)SITA Standard 24-2 VFおよびCIRRUS(登録商標)HD-OCT(ツァイス社、カリフォルニア州ダブリン)からのデータが研究訪問時に収集された。70%の眼を用いて、54点のVFを予測するためにリグレッサー(例えば、ランダムフォレストリグレッサー)を訓練した。256点の乳頭周囲網膜神経線維層データと年齢とを使用したランダムフォレスト(RF:random forest)が構築された。RNFL厚さマップを使用した単純化された混合スケール高密度畳み込みニューラルネットワーク(CNN)が構築された。参照によりその全体が本明細書に組み込まれる、例えば、ペルト(Pelt)他による「画像解析のための混合スケール高密度畳み込みニューラルネットワーク(A Mixed-Scale Dense Convolutional Neural Network for Image Analysis)」、PNAS、2018年、115(2)、254-259を参照されたい。残りの30%の眼を用いてS事前情報を予測して、VFシミュレータに入力フィールドを提供した。
VFシミュレータは、事前情報(ZEST)がないバイモーダル開始確率分布(SPD:bi-modal starting probability distribution)を使用したベイズ型ZESTを実装した。これは、チョン(Chong)他による「GOANNAを使用したターゲット型空間サンプリングが視野の障害進行の検出を改善する(Targeted Spatial Sampling Using GOANNA Improves Detection of Visual Field Progression)、オフサルミック・フィジオロジー・オプト(Ophthalmic Physiol Opt)、2015年3月、35(2)、155-69」で説明されている。但し、通常モードは、代わりに、118眼の正常コホートから決定された年齢正常値に中心が置かれたことを除く。これは、全体が参照により本明細書に組み込まれる、フランゲン(Flanagan)他による「早期緑内障における視野測定刺激サイズIII,V,VIおよびOCTに関する構造‐機能関係の探索(Exploring the Structure-Function Relationship for Perimetry Stimulus Sizes III,V and VI and OCT in Early Glaucoma)、視覚および眼の研究会議(ARVO:Association for Research in Vision and Ophthalmology))要約、Investigative Ophthalmology&Visual Science(IOVS)、2016年9月、第57巻、376に記載されている。
両方の種類のS事前情報を中心としたカスタム事前情報用に設計されたユニモーダルSPDを使用したZESTもシミュレートした(例えば、ZEST-RF、ZEST-CNN)。視線反応の頻度の勾配が、参照により全体が本明細書に組み込まれる、ヘンソン(Henson)他による「視野における反応変動性:視神経炎、緑内障、高眼圧症、および正常眼の比較(Response Variability in the Visual Field: Comparison of Optic Neuritis,Glaucoma,Ocular Hypertension,and Normal Eyes)、IOVS、2000年2月、第41巻、417-421」で説明されているようにモデル化された。誤答率は、3種類のレスポンダとして0%、5%、20%に設定した。シミュレートされた(例えば、合成された)VFと真のVFとの間の性能は、シミュレートされたVFと真のVFとの間の平均絶対誤差(MAE:mean absolute error)と質問総数とを観察することによって評価した。盲点に最も近い2つの場所は分析から除外した。ストラテジー間の同等性対ZESTに関する有意性検定(片眼2回のペアt検定、α=0.05)は、MAEに対する±5%dBおよび質問総数に対する±5%の許容範囲を使用して実施した。
結果は、平均VF MDが、訓練セットで-1.8±2.4dBであり、検査セットで-2.7±2.7dBであることがそれぞれ示された(p<0.001)。図7Aおよび図7Bは、ランダムフォレスト(図7A)およびニューラルネットワーク(図7B)の機械学習モデルを使用した応用例に関する(導出された)OCT推定閾値および(真の)VF閾値のプロットである。この応用は概念実証であるため、訓練データの可用性は、特に特定の閾値については制限した。各プロットにおいて、点線の垂直線VLは、より多くの訓練データが利用可能であった領域RB(例えば、より正常な閾値)から訓練データRAが少ない領域(例えば、より低い閾値)を分離する視覚的指標を提供する。ターゲットラインTLは、真の閾値と導出された閾値との間の等価性を示すための所望の分布/傾向を示していることが理解され得る。図7Aおよび図7Bの両方は、簡単な本モデルは、領域RAよりも多くの訓練データが利用可能であった領域RBで性能が優れている(例えば、プロットされたデータ分布はターゲットラインTLに良好に従っている)ことを示している(例えば、簡単な本モデルは、より低い閾値よりもより正常な閾値で良好に動作する)。特に、より低い閾値で追加の訓練データを提供することで、本モデルが改善され、より良い結果が得られる可能性がある。いずれにせよ、図7Bは、(深層学習)ニューラルネットワーク(CNN)モデルが、ランダムフォレスト(RF)モデルよりも良好な結果(例えば、プロットされたデータがターゲットラインTLに良好に従う)を達成し得ることを示唆している。
しかしながら、図8は、ZEST-RFおよびZEST-CNNの全体的なMAEがZESTと統計的に同等であったことを示す表1を示している(p<0.001)。質問総数は、ZEST-CNN対ZESTで16~19%減少した。これらの知見は、生体測定/構造データ(例えば、OCTデータおよび/または眼底画像)からVFを予測する、限られた/不均衡なデータを有する簡単なモデルでも、この集団における最初のVF検査期間を同等の誤差で短縮できることを示唆している。臨床集団を表すより多くのデータとより洗練されたモデルとにより、性能はさらに向上し得る。
以下に、本発明に好適な各種ハードウェアおよびアーキテクチャについて説明する。
視野検査システム
本明細書で説明される改良点は、任意の種類の視野テスタ/システム(例えば、視野計)と組み合わせて使用することができることである。そのようなシステムの1つは、図9に示すような、「ボウル」視野テスタVF0である。被験者(例えば、患者)VF1は、一般にボウルの形をした半球状の投影画面(または他の種類のディスプレイ)VF2を観察するようにして示されており、このためテスタVF0がそのように呼ばれる。通常、被験者は半球状の画面VF3の中心にある点に凝視するように指示される。被験者は、顎載せ台VF12および/または額当てVF14を含み得る患者サポートに自身の頭部を置く。例えば、被験者は、自身の頭部を顎載せ台VF12に置き、額を額当てVF14に当てる。任意選択的に、顎載せ台VF12および額当てVF14は、例えば、被験者が画面VF2を見ることができるレンズを保持し得るトライアルレンズホルダVF9に対して、患者の眼を正しく固定/位置決めするために、共にまたは互いに独立して移動することができる。例えば、顎載せ台およびヘッドレストは、異なる患者の頭部のサイズに対応するために垂直方向に独立して移動し、頭部を正しく配置するために水平方向および/または垂直方向に共に移動することができる。しかしながら、これは限定的ではなく、当業者であれば他の配置/移動を想定することができる。
プロセッサVF5の制御下にあるプロジェクタまたは他の画像形成デバイスVF4は、一連の検査刺激(例えば、任意の形状の検査点)VF6を画面VF2上に表示する。被験者VF1は、ユーザ入力VF7を作動させる(例えば、入力ボタンを押下する)ことにより、刺激VF6を見たことを示す。この被験者の反応は、プロセッサVF5によって記録することができる。プロセッサVF5は、被験者の反応に基づいて眼の視野を評価し、例えば、被験者VF1によってもはや見ることができない試験刺激VF6のサイズ、位置、及び/又は強度を決定し、それによって検査刺激VF6の(可視)閾値を決定するように機能し得る。カメラVF8を使用して、検査全体を通して患者の視線(例えば、視線方向)をキャプチャすることができる。視線方向は、患者の位置合わせ、および/または患者が適切な検査手順の遵守を確認するために使用することができる。この例では、カメラVF8は、患者の眼に対して(例えば、トライアルレンズホルダVF9に対して)Z軸上に配置されるとともに、患者の眼のライブ画像(単数または複数)またはビデオをキャプチャするためにボウルの(画面VF2の)背後に配置される。他の実施形態では、このカメラは、このZ軸から離れて配置され得る。視線カメラVF8からの画像は、患者の位置合わせまたは検査の検証を支援するために、臨床医(本明細書では交換可能に技術者と呼ばれ得る)に対して第2のディスプレイVF10に任意選択的に表示することができる。カメラVF8は、各刺激呈示中に眼の1つまたは複数の画像を記録および保存することができる。これにより、検査条件に応じて、1回の視野検査で数十から数百の画像を収集することができる。代替的に、カメラVF8は、検査中に全長動画を記録および保存し、各刺激が呈示された時を示すタイムスタンプを提供することもできる。さらに、VF検査の期間中の被験者の全体的な注意の詳細を提供するために、刺激の呈示の間に画像を収集することもできる。
眼の屈折異常を矯正するために、トライアルレンズホルダVF9を患者の眼の前に配置してもよい。任意選択的に、レンズホルダVF9は、患者VF1に可変屈折矯正を提供するために利用され得る液体トライアルレンズを担持または保持することができる(例えば、参照により全体が本明細書に組み込まれる米国特許第8668338号明細書を参照)。しかしながら、本発明は、屈折矯正用の液体トライアルレンズを使用することに限定されず、当該技術分野で既知の他の従来の/標準的なトライアルレンズも使用することができることに留意されたい。
いくつかの実施形態では、角膜などの眼の表面からの反射を生成する1つまたは複数の光源(図示せず)を被験者VF1の眼の前に配置することができる。一変形例では、光源は、発光ダイオード(LED)であり得る。
図9は、投影型視野テスタVF0を示しているが、本明細書に記載の本発明は、液晶ディスプレイ(LDC)または他の電子ディスプレイ(例えば、参照により本明細書に組み込まれる米国特許第8132916号明細書を参照)を介して画像を生成する装置を含む、他の種類の装置(視野テスタ)と共に使用することができる。他の種類の視野テスタには、例えば、フラット画面テスタ、小型テスタ、および両眼視野テスタが含まれる。これらの種類のテスタの例は、参照により全体が本明細書にそれぞれ組み込まれる、米国特許第8371696号明細書、米国特許第5912723号明細書、米国特許第8931905号明細書、米国意匠登録第D472637号に見出すことができる。
視野テスタVF0は、ハードウェア信号と電動位置決めシステムを使用して患者の眼を自動的に目的の位置(例えば、レンズホルダVF9における屈折矯正レンズの中心)に配置する機器制御システム(例えば、ソフトウェア、コード、および/またはルーチンであり得るアルゴリズムを実行する)を組み込むことができる。例えば、ステッピングモータは、ソフトウェア制御下で顎載せ台VF12および額当てVF14を移動させることができる。担当技術者が顎載せ台と額のステッピングモータを作動させることにより、患者の頭部の位置を調整できるようにするために、ロッカースイッチが設けられてもよい。手動で移動可能な屈折レンズは、患者の快適性に悪影響を与えることなく、レンズホルダVF9上の患者の眼の前にできるだけ患者の眼の近くに配置することもできる。任意選択的に、器具制御アルゴリズムは、顎載せ台/または額モータ移動部が進行中である間、そのような移動が検査の実行を妨害する場合、視野検査の実行を一時停止することができる。
眼底撮像システム
眼底を撮像するために使用される撮像システムの2つのカテゴリは、投光照明撮像システム(又は投光照明撮像装置)及び走査照明撮像システム(又は走査撮像装置)である。投光照明撮像装置は、閃光ランプを用いるなどにより、被検査物の対象となる視野(FOV)全体を同時に光であふれさせ、フルフレームカメラ(例えば、全体として、所望のFOVを取り込むのに十分なサイズの2次元(2D)光センサアレイを有するカメラ)を用いて被検査物(例えば、眼底)のフルフレーム画像を取り込む。例えば、投光照明眼底撮像装置は、眼の眼底を光であふれさせ、カメラの単一の画像取り込みシーケンスで眼底のフルフレーム画像を取り込む。走査撮像装置は、対象物、例えば眼を横切って走査される走査ビームを提供し、走査ビームは、走査ビームが対象物を横切って走査され、所望のFOVの合成画像を作成するように再構成され、例えば合成され得る一連の画像セグメントを作成するときに、異なる走査位置で結像される。走査ビームは、点、線、又はスリット若しくは幅広線などの2次元領域とすることができる。
図10は、眼水晶体(又は水晶体)CLとは反対側の眼Eの内表面であり且つ網膜、視神経乳頭、黄斑、中心窩、及び後極を含み得る、眼底Fを撮像するためのスリット走査式眼科システムSLO-1の例を図示する。本例では、撮像システムは、走査線ビームSBは、眼底F全体にわたって走査されるように、眼Eの光学構成要素(角膜Crn、虹彩Irs、瞳孔Ppl、及び水晶体を含む)を横断する、いわゆる「スキャン-デスキャン」構成である。投光眼底撮像装置の場合には、スキャナは不要であり、光は一度に所望の視野(FOV)全体に照射される。他の走査構成は当技術分野で知られており、特定の走査構成は本発明にとって重要ではない。図示のように、撮像システムは、1つ又は複数の光源LtSrc、好ましくは、エタンデュが好適に調節された多色LEDシステム又はレーザシステムを含む。任意選択のスリットSlt(調節可能又は静止)は、光源LtSrcの前に位置決めされ、走査線ビームSBの幅を調節するために使用され得る。追加的に、スリットSltは、撮像中に静止したままであり得るか、又は特定の走査に関して若しくは反射抑制に使用される走査中に異なる共焦点レベル及び異なる用途を可能にするために異なる幅に調整され得る。任意選択の対物レンズObjLは、スリットSltの前に配置することができる。対物レンズObjLは、限定されるものではないが、屈折、回折、反射、又はハイブリッドレンズ/システムを含む最先端のレンズのいずれか1つとすることができる。スリットSltからの光は、瞳分割ミラーSMを通過して、スキャナLnScnへ導かれる。走査面と瞳面とをできるだけ近づけて、システムの口径食を低減することが望ましい。2つの構成要素の画像間の光学距離を操作するために、オプションの光学系DLが含まれ得る。瞳分割ミラーSMは、光源LtSrcからスキャナLnScnに照明ビームを通過させ、スキャナLnScnからの検出ビーム(例えば、眼Eから戻る反射光)をカメラCmrに向けて反射し得る。瞳分割ミラーSMのタスクは、照明ビームと検出ビームとを分割し、システム反射の抑制を補助することである。スキャナLnScnは、回転ガルボスキャナ又は他のタイプのスキャナ(例えば、圧電又はボイスコイル、微小電気機械システム(MEMS)スキャナ、電気光学偏向器、及び/又は回転ポリゴンスキャナ)とすることができる。瞳分割がスキャナLnScnの前に行われるか又は後に行われるかに応じて、1つのスキャナが照明経路内にあり、別々のスキャナが検出経路内にある2つのステップに走査を分割することができる。特定の瞳分割配置は、米国特許第9456746号明細書において詳細に説明されており、その全体は参照により本明細書に組み込まれる。
スキャナLnScnから、照明ビームは、眼Eの瞳孔がシステムの画像瞳に結像されることを可能にする1つ又は複数の光学系、この場合は、走査レンズSL及び眼科用又は接眼レンズOLを通過する。概して、走査レンズSLは、複数の走査角度(入射角)のいずれかでスキャナLnScnから走査照明ビームを受け取り、略平面焦点面(例えば、コリメートされた光路)を有する走査線ビームSBを生成する。眼科用レンズOLは、走査線ビームSBを眼Eの眼底F(又は網膜)に集束させ、眼底を撮像し得る。このようにして、走査線ビームSBは、眼底Fを横切って移動する横断走査線を作成する。これらの光学系の可能な構成の1つは、2つのレンズ間の距離がほぼテレセントリックな中間眼底画像(4-f構成)を生成するように選択されるケプラー型望遠鏡である。眼科用レンズOLは、単レンズ、色消しレンズ、又は異なるレンズの配置とすることができる。全てのレンズは、当業者に知られているように、屈折性、回折性、反射性、又はハイブリッドとすることができる。眼科用レンズOL、走査レンズSLの焦点距離、瞳分割ミラーSM及びスキャナLnScnのサイズ及び/又は形状は、所望の視野(FOV)に応じて異なる可能性があり、そのため、例えば、視野に応じて、光学系のフリップ、電動ホイール、又は着脱可能な光学要素を使用することにより、複数の構成要素をビーム経路の内外に切り替えることができる配置を想定することができる。視野の変化により瞳孔上に異なるビームサイズがもたらされるので、FOVの変更に合わせて瞳分割をも変更することができる。例えば、45°~60°の視野は、眼底カメラについての典型的な又は標準的なFOVである。60°~120°以上のより高視野、例えば広視野FOVも実現可能であり得る。広視野FOVは、幅広線眼底撮像装置(BLFI)と光干渉断層撮像法(OCT)などの別の撮像モダリティとの組み合わせに望ましい場合がある。視野の上限は、人間の眼の周りの生理学的条件と組み合わせたアクセス可能な作動距離により決定され得る。典型的な人間の網膜は、FOVが水平140°及び垂直80°~100°であるため、システム上で可能な限り高いFVOに関して非対称の視野を有することが望ましいことがある。
走査線ビームSBは、眼Eの瞳孔Pplを通過して、網膜又は眼底、すなわち表面Fへ導かれる。スキャナLnScn1は、眼Eの横方向位置の範囲が照明されるように、網膜又は眼底F上の光の位置を調整する。反射光又は散乱光(又は蛍光撮像の場合は放射光)は、照明と同様の経路に沿って導かれ、カメラCmrへの検出経路上に集光ビームCBを定義する。
本発明の例示的なスリット走査式眼科システムSLO-1の「スキャン-デスキャン」構成では、眼Eから戻る光は、瞳分割ミラーSMへの途中でスキャナLnScnにより「デスキャン」される。すなわち、スキャナLnScnは、瞳分割ミラーSMからの照明ビームSBを走査して、眼Eを横切る走査照明ビームSBを定義するが、スキャナLnScnは、同じ走査位置で眼Eからの戻り光も受け取るので、戻り光をデスキャンして(例えば、走査動作をキャンセルして)、スキャナLnScnから瞳分割ミラーSMへの非走査(例えば、定常又は静止)集光ビームを定義するという効果があり、瞳分割ミラーSMは、集光ビームをカメラCmrに向けて折り返す。瞳分割ミラーSMにおいて、反射光(又は蛍光撮像の場合には放射光)は、画像を取り込むために光センサを有するデジタルカメラであり得る、カメラCmrへ導かれる、検出経路上への照明光から分離される。撮像(例えば、対物レンズ)レンズImgLは、眼底がカメラCmrに結像されるように検出経路内に位置決めされ得る。対物レンズObjLの場合のように、撮像レンズImgLは、当技術分野で知られている任意のタイプのレンズ(例えば、屈折、回折、反射又はハイブリッドレンズ)であり得る。追加の動作の詳細、特に、画像におけるアーチファクトを低減する方法が、国際公開第2016/124644号パンフレットで説明されており、その内容の全体は参照により本明細書に組み込まれる。カメラCmrは、受信した画像を取り込み、例えば、画像ファイルを作成し、この画像ファイルは、1つ又は複数の(電子)プロセッサ又は計算装置(例えば、図17に示すコンピュータシステム)により更に処理することができる。したがって、集光ビーム(走査線ビームSBの全ての走査位置から戻る)は、カメラCmrにより収集され、フルフレーム画像Imgは、個々に取り込まれた集光ビームの合成から、モンタージュなどにより、構築され得る。しかしながら、照明ビームが眼Eを横切って走査され、集光ビームがカメラの光センサアレイを横切って走査されるものを含む、他の走査構成も想定される。参照により本明細書に組み込まれる、国際公開第2012/059236号パンフレット及び米国特許出願公開第2015/0131050号明細書は、戻り光がカメラの光センサアレイを横切って掃引される設計、戻り光がカメラの光センサアレイを横切って掃引されない設計などの様々な設計を含む、スリット走査式検眼鏡のいくつかの実施形態を説明している。
本例では、カメラCmrは、プロセッサ(例えば、処理モジュール)Procとディスプレイ(例えば、表示モジュール、コンピュータ画面、電子画面など)Dsplとに接続され、プロセッサとディスプレイの両方は、画像システム自体の一部とすることができ、又は、無線ネットワークを含むケーブル又はコンピュータネットワークを介してデータがカメラCmrからコンピュータシステムに渡されるコンピュータシステムなどの、別個の専用の処理及び/又は表示ユニットの一部であり得る。ディスプレイ及びプロセッサは、一体型ユニットとすることができる。ディスプレイは、従来の電子ディスプレイ/画面とするか又はタッチスクリーン型とすることができ、機器オペレータ又はユーザに情報を表示し且つ機器オペレータ又はユーザから情報を受信するためのユーザインタフェースを含むことができる。ユーザは、限定されるものではないが、マウス、ノブ、ボタン、ポインタ、及びタッチスクリーンを含む、当技術分野で知られているような任意のタイプのユーザ入力装置を使用してディスプレイと対話することができる。
撮像の実行中に患者の視線が固定されたままであることが望ましい場合がある。視線の固定を達成する1つの方法は、患者に凝視するように指示できる固視標を提供することである。固視標は、眼のどの領域が撮像されるかに応じて、機器の内部又は外部とすることができる。内部固視標の一実施形態が図10に示されている。撮像のために使用される一次光源LtSrcに加えて、1つ又は複数のLEDなどの、任意選択の第2の光源FxLtSrcは、レンズFxL、走査要素FxScn及び反射器/ミラーFxMを使用して光パターンが網膜に結像されるように位置決めすることができる。固視スキャナFxScnは、光パターンの位置を移動させることができ、反射器FxMは、光パターンを固視スキャナFxScnから眼Eの眼底Fへ導く。好ましくは、固視スキャナFxScnは、所望の固視位置に応じて網膜/眼底上の光パターンを移動させることができるように固視スキャナFxScnがシステムの瞳面に位置するように配置される。
スリット走査式検眼システムは、用いられる光源及び波長選択フィルタリング要素に応じて、異なる撮像モードで動作することが可能である。トゥルーカラー反射率撮像(手持ち式又は細隙灯検眼鏡を使用して眼を検査するときに臨床医により観察される撮像と同様の撮像)は、一連の有色LED(赤色、青色、緑色)を用いて眼を撮像する場合に達成することができる。各カラーの画像は、各走査位置で各LEDをオンにした状態で段階的に構築することができ、又は各カラー画像を別個に完全に撮影することができる。3つのカラー画像は、トゥルーカラー画像を表示するために組み合わせることができ、又は網膜の異なる特徴を強調するために個々に表示することができる。赤色チャネルは、脈絡膜を最も良く強調し、緑色チャネルは網膜を強調し、青色チャネルは網膜前層を強調する。追加的に、特定の周波数の光(例えば、個々の有色LED又はレーザ)は、眼内の異なる蛍光体(例えば、自発蛍光)を励起するために使用することができ、結果として得られる蛍光は、励起波長をフィルタで除去することにより検出できる。
眼底撮像システムはまた、赤外線レーザ(又は他の赤外線光源)を使用するなどにより、赤外線反射率画像を提供することができる。赤外線(IR)モードは、眼がIR波長に敏感ではないという点で有利である。この赤外線(IR)モードは、機器の位置合わせ中にユーザを補助するために(例えば、プレビュー/位置合わせモードで)眼の邪魔をせずにユーザが画像を連続的に撮影することを可能にし得る。また、IR波長は、組織を通る透過性が高く、且つ脈絡膜構造の視覚化の改善をもたらし得る。加えて、蛍光眼底血管造影(FA)及びインドシアニングリーン(ICG)血管造影撮像は、蛍光色素が被検者の血流に注入された後に画像を収集することにより達成することができる。例えば、FA(および/またはICG)では、光反応性色素(例えば蛍光色素)を被検者の血流に注入した後に、一連のタイムラプス画像を捕捉し得る。蛍光色素は、一部の人において生命を脅かすアレルギー反応を引き起こす可能性があるため、注意が必要であることに留意されたい。高コントラストのグレースケール画像は、色素を励起するために選択された特定の光周波数を用いてキャプチャされる。色素が眼の中を流れる際に、眼の様々な部分が明るく輝く(例えば、蛍光を発する)ため、色素、ひいては血流が眼の中をどのように進行しているかを視認できるようになる。
光干渉断層撮影システム
眼底写真、眼底自発蛍光(FAF)、蛍光眼底造影法(FA)に加えて、眼科画像はその他の撮像モダリティ、例えば光干渉断層撮影法(OCT)、OCT眼底造影法(OCTA)、及び/又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科撮像モダリティにも応用されてもよい。より具体的には、本発明はまた、OCT及び/又はOCTA画像を生成するOCT/OCTAシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、en face OCT/OCTA画像にも応用されてよい。眼底画像の例は米国特許第8967806号明細書及び同第8998411号明細書において提供されており、OCTシステムの例は米国特許第6741359号明細書及び同第9706915号明細書において提供され、OCTA撮像システムの例は米国特許第9700206号明細書及び同第9759544号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なOCT/OCTAシステムの例を本願で提供する。
図11は、本発明との使用に適した眼の3D画像データ収集用の一般型周波数領域光干渉断層撮影(FD-OCT)システムを図解する。FD-OCTシステムOCT_1は、光源LtSrc1を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源LtScr1からの光のビームは、典型的に光ファイバFbr1によってサンプル、例えば眼Eを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源LrSrc1は、スペクトル領域OCT(SD-OCT)の場合の短い時間コヒーレンス長の広帯域光源か、掃引光源OCT(SS-OCT)の場合の波長調整可能レーザ源の何れかとすることができる。光は、典型的には光ファイバFbr1の出力とサンプルEとの間のスキャナScnr1でスキャンされ、それによって光のビーム(破線Bm)はサンプルの画像撮影対象領域を横方向に(x及びyに)スキャンされる。フルフィールドOCTの場合、スキャナは不要であり、光は一度に所望の視野(FOV)全体に当てられる。サンプルから散乱した光は、典型的に照明用の光を案内するために使用されるものと同じ光ファイバFbr1へと集光される。同じ光源LtSrc1から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバFbr2及び調整可能な光学遅延を有する逆反射板RR1が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、典型的にファイバカプラCplr1において参照光と結合され、OCT光検出器Dtctr1(例えば、光検出器アレイ、デジタルカメラ等)内の光干渉を形成する。1つのファイバポートが検出器Dtctr1に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Dtctr1からの出力は、プロセッサCmp1(例えば、コンピューティングデバイス)に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサCmp1に関連付けられるメモリ内に保存され、及び/又はディスプレイ(例えば、コンピュータ/電子ディスプレイ/スクリーン)Scn1に表示されてよい。処理及び保存機能はOCT機器内に配置されてよく、又は機能は収集されたデータが転送される外部処理ユニット(例えば、図17に示されるコンピュータシステム)上で実行されてもよい。このユニットは、データ処理専用とすることも、又はごく一般的で、OCTデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサCmp1は例えば、ホストプロセッサに供給される前に、又は並行してデータ処理ステップの一部又は全部を実行するフィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途集積回路(ASIC)、グラフィクス処理ユニット(GPU)、システムオンチップ(SoC)、中央処理ユニット(CPU)、汎用グラフィクス処理ユニット(GPGPU)、又はそれらの組合せを含んでいてよい。
干渉計内のサンプルアームと参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の1次元又は2次元エリアを照明して、OCTデータを生成できる(例えば、米国特許第9332902号明細書、ディー.ヒルマン(D.Hillmann)他著、「ホロスコピ-ホログラフィック光干渉断層撮影(Holoscopy-holographic optical coherence tomography)」オプティクスレターズ(Optics Letters)、第36巻(13)、p.2290、2011年、ワイ.ナカムラ(Y.Nakamura)他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速3次元ヒト網膜撮像(High-Speed three dimensional human retinal imaging by line field spectral domain optical coherence tomography)」、オプティクスエクスプレス(Optics Express)、第15巻(12)、p.7103、2007年、ブラスコヴィッチ(Blazkiewicz)他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究(Signal-to-noise ratio study of full-field Fourier-domain optical coherence tomography)」、アプライド・オプティクス(Applied Optics)、第44巻(36)、p.7722(2005年)参照)。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にTD-OCT及びSS-OCTシステムで使用され、分光計はSD-OCTシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のOCTシステムにも応用できる。本発明の様々な態様は、何れの種類のOCTシステムにも、又はその他の種類の眼科診断システム及び/又は、眼底撮像システム、視野試験装置、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。
フーリエドメイン光干渉断層撮影法(FD-OCT)において、各測定値は実数値スペクトル制御干渉図形(Sj(k))である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素OCT信号出力Aj(z)=|Aj|eiφが得られる。この複素OCT信号の絶対値、|Aj|から、異なる経路長での散乱強度、したがってサンプル内の深さ(z-方向)に関する散乱のプロファイルが明らかとなる。同様に、位相φjもまた、複素OCT信号から抽出できる。深さに関する手散乱のプロファイルは、軸方向スキャン(A-スキャン)と呼ばれる。サンプル内の隣接する位置において測定されたA-スキャンの集合により、サンプルの断面画像(断層画像又はB-スキャン)が生成される。サンプル上の横方向の異なる位置で収集されたBスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは1つのB-スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のB-スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ(又は実質的に同じ)位置(又は領域)での反復的取得により生成されるデータの1つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のA-スキャン又はB-スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。B-スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はx方向に沿ったもの、垂直又はy方向に沿ったもの、x及びyの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。B-スキャンは、x-z次元内であってよいが、z次元を含む何れの断面画像であってもよい。
OCT血管造影法又は関数型OCTにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された(例えば、クラスタスキャン)OCTデータに適用されてよい(例えば、米国特許出願公開第2005/0171438号明細書、同第2012/0307014号明細書、同第2010/0027857号明細書、同第2012/0277579号明細書、及び米国特許第6549801号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する)。OCTシステムでは、血流を識別するために多くのOCT血管造影法処理アルゴリズム(例えば、モーションコントラストアルゴリズム)のうちの何れの1つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報(強度に基づくアルゴリズム)、画像データからの位相情報(位相に基づくアルゴリズム)、又は複素画像データ(複素に基づくアルゴリズム)に適用できる。en face画像は3D OCTデータの2D投射である(例えば、個々のA-スキャンの各々の強度を平均することにより、これによって、各A-スキャンが2D投射内のピクセルを画定する)。同様に、en face脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション(例えば、A-スキャンに沿ったz方向)は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、1つの代表値(例えば、2D投射画像内のピクセル)として表示される(例えば、米国特許第7301644号明細書を参照されたく、その全体を参照によって本願に援用する)。血管造影機能を提供するOCTシステムは、OCT血管造影(OCTA)システムと呼ばれてよい。
図12は、en face脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜(ILM:internal limiting membrane)の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のen
face(例えば、正面図)画像が生成されてよい。
ニューラルネットワーク
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
図13は、多層パーセプトロン(MLP)ニューラルネットワークの例を図解する。その構造は、複数の隠れ(例えば内側)層HL1~HLnを含んでいてよく、これは入力層InL(入力(又はベクトル入力)の集合in_1~in_3を受け取る)を出力層OutLにマッピングし、それが出力(又はベクトル出力)の集合、例えばout_1及びout_2を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層HL1は2つのノードを有し、隠れ層HL2、HL3、及びHLnは各々3つのノードを有する。一般に、MLPが深いほど(例えば、MLP内の隠れ層の数が多いほど)、その学習容量は大きい。入力層InLは、ベクトル入力(説明のために、in_1、in_2、及びin_3からなる3次元ベクトルとして示されている)を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層HL1に供給してよい。出力層OutLは、多層モデル内の最後の隠れ層、例えばHLnからの出力を受け取り、ベクトル出力結果(説明のためにout_1及びout_2からなる2次元ベクトルとして示されている)を生成する。
典型的に、各ニューロン(すなわちノード)は1つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層(例えば、学習層)内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層InL内のノードは1つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその1つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層InLのノード内の破線矢印によって示されている。
説明を目的として、図14は、入力層InL’、隠れ層HL1’、及び出力層OutL’からなる単純化されたニューラルネットワークを示す。入力層InL’は、2つの入力ノードi1及びi2を有するように示されており、これらはそれぞれ入力Input_1及びInput_2を受け取る(例えば、層InL’の入力ノードは、2次元の入力ベクトルを受け取る)。入力層InL’は、2つのノードh1及びh2を有する1つの隠れ層HL1’へと順方向に供給し、それが今度は、2つのノードo1及びo2の出力層OutL’に順方向に供給する。ニューロン間の相互接続、又はリンクは(説明のために実線の矢印で示されている)は重みw1~w8を有する。典型的に、入力層を除き、ノード(ニューロン)は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス(例えば、それぞれノードh1、h2、o1、及びo2に対応するノード重みw9、w10、w11、w12)により定義される定数を加算し(又は、それを乗じ)、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、MLモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。
ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する(例えば、それを特定するように訓練される)。ニューラルネットが訓練される前に、各重みは個々に初期の(例えば、ランダムな、任意選択によりゼロ以外の)値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の(所定の)訓練ベクトル出力に近い出力を生成するように訓練される(最適化される)。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力(例えば、ベクトル入力又は訓練入力画像/サンプル)はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力(例えば、ベクトル出力)が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力(例えば、現在の訓練入力画像/サンプルに対応する訓練出力画像/サンプル)に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に(出力層から入力層へと逆方向に)伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの1つのバックプロパゲーションイテレーション(例えば、1回のフォワードパスと1回のバックワードパス)を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるMLモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント(又はパッチ)に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、1つの入力/出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは1回のフォワード/バックワードパスにおける訓練サンプルの数が決まる。この場合、そして1つのエポックは複数のミニバッチを含んでいてよい。他の問題は、NNが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。
留意すべき点として、訓練済みのNN機械モデルの演算は、演算/解析ステップの単純なアルゴリズムではない。実際に、訓練済みのNN機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質(例えば、ライブ画像/スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル)に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築(例えば、同じノード/層配置、訓練済み重み及びバイアス値、所定の畳み込み/逆畳み込み演算、活性化関数、プーリング演算等)の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量(例えば、訓練におけるエポック数)、訓練開始前の重みのランダムな開始値、NNがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が1つのマシン(例えば、第一のコンピュータアーキテクチャを有する)で中断され、他のマシン(例えば、異なるコンピュータアーキテクチャを有する)で完了したか等、多くの要素に依存する。ポイントは、訓練済みのMLモデルが特定の出力になぜ到達したかの理由は明白でなく、MLモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びMLモデルの訓練における様々な状況に依存する。
概略すると、NN機械学習モデルの構成は、学習(又は訓練)ステージと分類(又は演算)ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練(サンプル)入力及び訓練(サンプル)出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク(例えば前述のもの)は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した(例えば、訓練済みの)(ニューラルネットワーク)機械学習(ML)である。演算ステージで、試験入力(又はライブ入力)の集合が学習済み(訓練済み)MLモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。
図13及び図14の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク(CNN)もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算(例えば、ドット積)を行い、任意選択によってそれに非線形変換が続く。しかしながら、CNNは、一方の端(例えば入力端)で生の画像ピクセルを受け取り、反対の端(例えば、出力端)で分類(又はクラス)のスコアを提供する。CNNは入力として画像を予想するため、これらはボリューム(例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の3色で定義されるRGB深さ等の色深さ)を扱うように最適化される。例えば、CNNの層は、3次元で配置されるニューロンのために最適化されてよい。CNN層内のニューロンは、完全に接続されたNNのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。CNNの最終的な出力層は、フル画像を深さの次元に沿って配置される1つのベクトル(分類)に縮小するかもしれない。
図15は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、2つ又はそれ以上の層(例えば、層1~層N)の連続として定義されてよく、層は(画像)畳み込みステップ、(結果の)加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ(又はカーネル)を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ(フィルタバンクからのもの)、重み(又は重み付けパラメータ)、及び/又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は3つの色チャネルRGB(赤、緑、青)の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。CNNを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるmax(0,x)閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために(例えばx-y方向に沿って)行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している1次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、CNNは各ピクセルを分類する必要がある。各CNN層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み(又は逆畳み込み)ステージTCの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。
畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、CNNを訓練するには一般に、大きな訓練データセットが必要である。U-NetアーキテクチャはCNNに基づいており、一般に従来のCNNより小さい訓練データセットで訓練できる。
図16は、例示的なU-Netアーキテクチャを図解する。この例示的なU-Netは、入力モジュール(又は入力層若しくはステージ)を含み、これは何れかのサイズの入力U-in(例えば、入力画像又は画像パッチ)を受け取る。便宜上、任意のステージまたは層における画像サイズは、画像を表すボックス内に示され、例えば、入力モジュールでは、「128×128」の数字が囲まれており、入力画像U-inが128×128ピクセルで構成されていることを示している。入力画像は、眼底画像、OCT/OCTA en face、B-スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさまたは次元のものであってもよい。例えば、入力画像はRGBカラー画像、モノクロ画像、ボリューム画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び/又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路(本明細書では、例示的に4つの符号化モジュールを含む)とそれに続く拡張経路(本明細書では、例示的に4つの復号モジュールを含む)、及び対応するモジュール/ステージ間にあり、収束経路内の1つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールのアップコンバートされた入力に結合する(例えば、後ろに追加する)コピー・アンド・クロップリンク(例えば、CC1~CC4)からなる。その結果、特徴的なU字型となり、そこからこのアーキテクチャが名付られている。任意選択的に、計算上の考慮等から、「ボトルネック」モジュール/ステージ(BN)を収束経路と拡張経路との間に配置することができる。ボトルネックBNは、2つの畳み込み層(バッチ正規化および任意選択的なドロップアウトを伴う)で構成されてもよい。
収束経路はエンコーダと同様であり、通常、特徴マップを使用してコンテキスト(または特徴)情報をキャプチャする。この例では、収束経路内の各符号化モジュールは、アスタリスク記号「*」で示される2つ以上の畳み込み層を含み、それに続いて最大プーリング層(例えば、ダウンサンプリング層)があってもよい。例えば、入力画像U-inは、2つの畳み込み層を経るように示されており、各々が32個の特徴マップを有する。各畳み込みカーネルは特徴マップを生成する(例えば、所与のカーネルを用いた畳み込み演算からの出力は、一般に「特徴マップ」と呼ばれる画像である)ことが理解され得る。例えば、入力U-inは、32個の畳み込みカーネル(図示せず)を適用する最初の畳み込みを経て、32個の個々の特徴マップからなる出力を生成する。しかしながら、当該技術分野で既知であるように、畳み込み演算によって生成される特徴マップの数は、(上方または下方に)調整することができる。例えば、特徴マップの数は、特徴マップのグループを平均化すること、いくつかの特徴マップを削除すること、または特徴マップを削減する他の既知の方法によって削減することができる。この例では、この最初の畳み込みの後に、出力が32個の特徴マップに制限される第2の畳み込みが続く。特徴マップを想定する別の方法は、畳み込み層の出力を、2D寸法が記載されたXY平面ピクセル寸法(例えば、128×128ピクセル)によって与えられ、深さが特徴マップの数(例えば、32個の平面画像の深さ)によって与えられる3D画像として考えることである。この例示に従うと、第2の畳み込みの出力(例えば、収束経路の最初の符号化モジュールの出力)は、128×128×32の画像として記述され得る。次に、第2の畳み込みからの出力は、プーリング演算にかけられる。これにより、各特徴マップの2D次元が縮小される(例えば、X寸法およびY寸法がそれぞれ半分に縮小され得る)。プーリング演算は、下向き矢印で示されているように、ダウンサンプリング処理内で具体化され得る。最大プーリングなどのいくつかのプーリング方法は当該技術分野で既知であり、特定のプーリング方法は本発明にとって重要ではない。特徴マップの数は、最初の符号化モジュール(またはブロック)内の32個の特徴マップ、第2の符号化モジュール内の64個の特徴マップなど、各プーリングにおいて2倍になる。従って、収束経路は、複数の符号化モジュール(またはステージまたはブロック)で構成される畳み込みネットワークを形成する。畳み込みネットワークに典型的なように、各符号化モジュールは、少なくとも1つの畳み込みステージと、それに続く活性化関数(例えば、正規化線形ユニット(ReLU:rectified linear unit)またはシグモイド層)(図示せず)、および最大プーリング演算を提供し得る。一般に、活性化関数は、層に非線形性を導入し(例えば、過剰適合の問題を回避するため)、層の結果を受け取り、出力を「活性化」するかどうかを判断する(例えば、特定のノードに値が出力を次の層/ノードに転送する所定の基準を満たすかどうかを判断する)。要約すると、収束経路は一般に空間情報を削減し、特徴情報を増加させる。
拡張経路はデコーダと同様であり、とりわけ、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化、および収束経路の結果に対する空間情報を提供することである。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在のアップコンバートされた入力を対応する符号化モジュールの出力と結合する。このように、特徴及び空間情報は拡張経路においてアップコンボリューション(例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み)と収束経路からの高解像度特徴との結合(例えば、CC1~CC4を介する)の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する(任意選択によりクロップされた)特徴マップと、それに続いて2つの畳み込み層及び活性化関数(任意選択によるバッチ正規化)に結合される。拡張経路内の最後の拡張モジュールからの出力は、分類器ブロック等、他の処理/訓練ブロック又は層に供給されてよく、これはU-Netアーキテクチャと共に訓練されてもよい。
コンピューティングデバイス/システム
図17は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
幾つかの実施形態において、コンピュータシステムはプロセッサCpnt1、メモリCpnt2、ストレージCpnt3、入力/出力(I/O)インタフェースCpnt4、通信インタフェースCpnt5、及びバスCpnt6を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイCpnt7、例えばコンピュータモニタ又はスクリーンも含んでいてよい。
プロセッサCpnt1は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサCpnt1は、中央処理ユニット(CPU)又は汎用コンピューティング・オン・グラフィクス処理ユニット(GPGPU)であってもよい。プロセッサCpnt1は、命令を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3から読み出し(又はフェッチし)、この命令を復号して実行し、1つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。特定の実施形態において、プロセッサCpnt1は、データ、命令、又はアドレスのための1つ又は複数の内部キャッシュを含んでいてよい。プロセッサCpnt1は、1つ又は複数の命令キャッシュ、1つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリCpnt2又はストレージCpnt3内の命令のコピーであってもよく、命令キャッシュはプロセッサCpnt1によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサCpnt1は、何れの適当な数の内部レジスタを含んでいてもよく、1つ又は複数の算術論理演算ユニット(ALU:arithmetic logic units)を含んでいてよい。プロセッサCpnt1は、マルチコアプロセッサであるか、又は1つ若しくは複数のプロセッサCpnt1を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。
メモリCpnt2は、処理を実行し、又は処理中に中間データを保持するプロセッサCpnt1のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ(例えば、データテーブル)をストレージCpnt3から、又は他のソース(例えば、他のコンピュータシステム)からメモリCpnt2にロードしてもよい。プロセッサCpnt1は、メモリCpnt2からの命令とデータを1つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサCpnt1は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサCpnt1は1つ又は複数の結果(これは、中間結果でも最終結果でもよい)を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。バスCpnt6は、1つ又は複数のメモリバス(これは各々、アズレスバスとデータバスを含んでいてよい)を含んでいてよく、プロセッサCpnt1をメモリCpnt2及び/又はストレージCpnt3に連結してよい。任意選択により、1つ又は複数のメモリ管理ユニット(MMU)は、プロセッサCpnt1とメモリCpnt2との間のデータ伝送を容易にする。メモリCpnt2(これは、高速揮発性メモリであってもよい)には、ランダムアクセスメモリ(RAM)、例えばダイナミックRAM(DRAM)又はスタティックRAM(SRAM)が含まれていてよい。ストレージCpnt3には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージCpnt3はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ(例えば、ハードディスクドライブHDD、又はソリッドステートドライブSSD)、フラッシュメモリ、ROM、EPROM、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス(USB)-アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの1つ又は複数を含んでいてよい。
I/OインタフェースCpnt4は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、I/Oデバイスと通信するための1つ又は複数のインタフェース(例えば、シリアル又はパラレル通信ポート)を含んでいてよく、これはヒト(例えば、ユーザ)との通信を可能にしてもよい。例えば、I/Oデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なI/Oデバイス、又はこれら2つ以上の組合せが含まれていてよい。
通信インタフェースCpnt5は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースCpnt5は、Bluetooth(登録商標)インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースCpnt5は、ネットワークインタフェースコントローラ(NIC)及び/又は、無線ネットワークとの通信のための無線NIC若しくは無線アダプタを含んでいてよい。通信インタフェースCpnt5は、WI-FIネットワーク、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、無線PAN(例えば、Bluetooth WPAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、携帯電話ネットワーク(例えば、汎欧州デジタル移動電話方式(Global System for Mobile Communications)(GSM(登録商標))ネットワーク等)、インタネット、又はこれらの2つ以上の組合せとの通信を提供してよい。
バスCpnt6は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスCpnt6は、アクセラレーテッド・グラフィックス・ポート(Accelerated Graphics Port)(AGP)若しくはその他のグラフィクスバス、拡張業界標準(Enhanced Industry Standard)アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HyperTransport)(HT)インタコネクト、業界標準アーキテクチャ(ISA)バス、インフィニバンド(InfiniBand)バス、low-pin-count(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、ペリフェラル・コンポーネント・インターコネクト(Peripheral Component Interconnect)(PCI)バス、PCI-Express(PCIe)バス、シリアル・アドバンスト・テクノロジ・アタッチメント(serial advanced technology attachment)(SATA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル(Video Electronics Standards Association local)(VLB)バス、若しくはその他の適当なバス、又はこれらの2つ以上の組合せを含んでいてよい。
本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。
本明細書において、コンピュータ可読非一時的記憶媒体は、1つ又は複数の半導体ベース又はその他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)若しくは特定用途IC(ASIC))、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAM-ドライブ、SECURE DIGITALカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの2つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。
本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。

Claims (38)

  1. 視野検査をカスタマイズするための方法であって、
    患者に対する視野検査を選択するステップと、選択された視野検査は、定義可能な光強度の1つまたは複数の検査点を有しており、
    患者の網膜の生体測定値を取得するステップと、
    前記生体測定値に少なくとも部分的に基づいて、選択された視野検査の1つまたは複数の選択検査点に対する個々の閾値感度値を導出するステップと、各閾値感度値は、患者が所定の成功率で視認することが期待される光強度測定値であり、
    導出された閾値感度値を使用して、選択された視野検査を患者に適用する際の前記1つまたは複数の選択検査点の開始強度値を決定するステップと、を含む方法。
  2. 前記生体測定値は、網膜の画像に少なくとも部分的に基づくものである、請求項1に記載の方法。
  3. 前記網膜の画像は、特定の撮像モダリティを使用して特定の撮像装置によってキャプチャされ、
    前記撮像モダリティは、グレースケール、カラー、赤外線、網膜層の厚さマップ、眼底写真、光干渉断層撮影法(OCT)、ドップラーOCT、OCT血管造影法、および蛍光血管造影法のうちの1つである、請求項2に記載の方法。
  4. 前記選択された視野検査の前記1つまたは複数の選択検査点の個々の閾値感度値を導出するステップは、前記特定の撮像モダリティに関する前記特定の撮像装置の患者年齢固有の標準的なデータにさらに基づく、請求項3に記載の方法。
  5. 前記閾値感度値を導出するステップが、患者の年齢、民族、および病歴の1つまたは複数を含む非画像患者固有のデータに少なくとも部分的に基づく、請求項2乃至4の1つまたは複数に記載の方法。
  6. 前記網膜の画像が眼底画像である、請求項2乃至5の1つまたは複数に記載の方法。
  7. 前記網膜の画像が光干渉断層撮影法(OCT)画像である、請求項2乃至5の1つまたは複数に記載の方法。
  8. 前記OCT画像は、en face画像、bスキャン画像、およびボリューム画像のうちの1つまたは複数を含む、請求項7に記載の方法。
  9. 前記導出するステップが、機械学習システムによって少なくとも部分的に提供される、請求項1乃至8の1つまたは複数に記載の方法。
  10. 前記機械学習システムが、線形回帰、ロジスティック回帰、決定木、サポートベクターマシン、ナイーブベイズ、k最近傍法、k平均法、ランダムフォレスト、次元削減、および勾配ブースティングのうちの1つまたは複数に基づくものである、請求項9に記載の方法。
  11. 前記機械学習システムが、訓練済みのニューラルネットワークを含むコンピューティングシステム内に少なくとも部分的に確立される、請求項9に記載の方法。
  12. 前記訓練済みのニューラルネットワークの訓練は、
    複数の訓練データペアを収集することと、各訓練データペアは、訓練入力データおよび対応する訓練出力データを含んでおり、前記訓練入力データは、検査患者の網膜の生体測定値を含んでおり、前記訓練出力データは、検査患者に与えられる特定の視野検査からの検査結果を含んでおり、
    前記訓練データペアごとに、前記訓練入力データをニューラルネットワークへの入力として提供し、対応する視野検査結果を前記ニューラルネットワークからのターゲット出力として提供することと、を含む、請求項11に記載の方法。
  13. 前記生体測定値は、検査患者の網膜のOCTスキャンを含む、請求項12に記載の方法。
  14. 訓練入力データが、検査患者の身体的特徴、検査患者の人口統計学の標準的な生体測定データ、および検査患者の人口統計学の標準的な機能データのうちの1つまたは複数を含む、請求項12および13の1つまたは複数に記載の方法。
  15. 前記身体的特徴は、検査患者の年齢、民族、病歴の1つまたは複数を含んでおり、
    前記標準的な生体測定データは、検査患者の人口統計学に関する網膜神経線維層(RNFL)の厚さおよび神経節細胞-内網状層(GCIPL)の厚さの1つまたは複数を含んでおり、
    前記標準的な機能データは、検査患者の人口統計学に関する特定の視野検査の1つまたは複数の標準化された初期化パラメータを含んでいる、請求項14に記載の方法。
  16. 前記訓練入力データは、1つまたは複数の事前の機能的視野検査結果および他覚的視野検査結果をさらに含む、請求項12乃至15の1つまたは複数に記載の方法。
  17. 前記訓練済みのニューラルネットワークが、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、フィードフォワードニューラルネットワーク、回帰型ニューラルネットワーク、モジュラーニューラルネットワーク、およびU-Netのうちの1つまたは複数を含む、請求項11乃至16の1つまたは複数に記載の方法。
  18. 前記訓練済みのニューラルネットワークは、第1の種類とは異なる第2の種類の第2のニューラルネットワークと直列の第1の種類の第1のニューラルネットワークを含んでおり、
    前記第1および第2のニューラルネットワークの一方は、画像データを含む第1の訓練入力データを用いて訓練され、前記第1および第2のニューラルネットワークの他方は、画像データを除外する第2の訓練入力データを用いて訓練される、請求項11乃至17の1つまたは複数に記載の方法。
  19. 前記選択された視野検査が、静的自動視野検査、動的視野検査、および周波数倍増視野検査のうちの1つである、請求項1乃至18の1つまたは複数に記載の方法。
  20. 前記視野検査は、スウェーデン式対話型閾値測定アルゴリズム(SITA)、SITA Fast、SITA Faster、および任意のSITAベースの視覚検査のうちの1つである、請求項1乃至18の1つまたは複数に記載の方法。
  21. 前記1つまたは複数の選択検査点に対する個々の閾値感度値を導出するステップは、患者の事前の機能的視野検査結果の使用を除外する、請求項1乃至15および17乃至20の1つまたは複数に記載の方法。
  22. 前記選択された視野検査の1つまたは複数の選択検査点に対する個々の閾値感度値を導出するステップが、患者の網膜の現在取得されている視野測定値よりも前の日に取得された患者の網膜の過去の視野測定値にそれ自体が基づく以前に導出されたVF検査予測に少なくとも部分的に基づく、請求項1乃至21の1つまたは複数に記載の方法。
  23. 機能的視野検査をカスタマイズするためのシステムであって、
    電子プロセッサと、
    視野検査を患者に適用するための視野計と、前記視野検査は、定義可能な光強度の1つまたは複数の検査点を有しており、
    ソフトウェア命令を格納する非一時的なコンピュータ可読ストレージデバイスと、を備え、前記ソフトウェア命令は、前記電子プロセッサによる実行時に、前記電子プロセッサに、
    患者の網膜の生体測定値を取得することと、
    前記生体測定値に少なくとも部分的に基づいて、前記視野検査の1つまたは複数の選択検査点に対する個々の閾値感度値を決定することと、を行わせ、各閾値感度値は、患者が所定の成功率で視認することが期待される光強度測定値であり、
    前記視野計は、決定された閾値感度値を使用して、前記視野検査を患者に適用する際の1つまたは複数の選択検査点の開始強度値を決定する、システム。
  24. 前記生体測定値は、眼科撮像システムにより取得された網膜の画像に少なくとも部分的に基づくものである、請求項23に記載のシステム。
  25. 前記電子プロセッサは、個々の閾値感度値を決定するための機械学習システムの一部である、請求項23および24のうちの1つまたは複数に記載のシステム。
  26. 機械学習システムが、線形回帰、ロジスティック回帰、決定木、サポートベクターマシン、ナイーブベイズ、k最近傍法、k平均法、ランダムフォレスト、次元削減、および勾配ブースティングのうちの1つまたは複数に基づくものである、請求項23乃至25の1つまたは複数に記載のシステム。
  27. 機械学習システムが、訓練済みのニューラルネットワークを含むコンピューティングシステム内に少なくとも部分的に確立される、請求項23乃至25の1つまたは複数に記載のシステム。
  28. 前記訓練済みのニューラルネットワークの訓練は、
    複数の訓練データペアを収集することと、各訓練データペアは、訓練入力データおよび対応する訓練出力データを含んでおり、前記訓練入力データは、検査患者の網膜の生体測定値を含んでおり、前記訓練出力データは、検査患者に与えられる特定の視野検査からの検査結果を含んでおり、
    前記訓練データペアごとに、前記訓練入力データをニューラルネットワークへの入力として提供し、対応する視野検査結果を前記ニューラルネットワークからのターゲット出力として提供することと、を含む、請求項27に記載のシステム。
  29. 前記生体測定値は、検査患者の網膜のOCTスキャンを含む、請求項28に記載のシステム。
  30. 訓練入力データが、検査患者の身体的特徴、検査患者の人口統計学の標準的な生体測定データ、および検査患者の人口統計学の標準的な機能データのうちの1つまたは複数を含む、請求項28および29の1つまたは複数に記載のシステム。
  31. 前記身体的特徴は、検査患者の年齢、民族、病歴の1つまたは複数を含んでおり、
    前記標準的な生体測定データは、検査患者の人口統計学に関する網膜神経線維層(RNFL)の厚さおよび神経節細胞-内網状層(GCIPL)の厚さの1つまたは複数を含んでおり、
    前記標準的な機能データは、検査患者の人口統計学に関する特定の視野検査の1つまたは複数の標準化された初期化パラメータを含んでいる、請求項30に記載のシステム。
  32. 前記訓練入力データは、1つまたは複数の事前の機能的視野検査結果をさらに含む、請求項28乃至31のうちの1つまたは複数に記載のシステム。
  33. 前記訓練済みのニューラルネットワークが、全結合ニューラルネットワーク、畳み込みニューラルネットワーク、フィードフォワードニューラルネットワーク、回帰型ニューラルネットワーク、モジュラーニューラルネットワーク、およびU-Netのうちの1つまたは複数を含む、請求項27乃至32の1つまたは複数に記載のシステム。
  34. 前記訓練済みのニューラルネットワークは、第1の種類とは異なる第2の種類の第2のニューラルネットワークと直列の第1の種類の第1のニューラルネットワークを含んでおり、
    前記第1および第2のニューラルネットワークの一方は、画像データを含む第1の訓練入力データを用いて訓練され、前記第1および第2のニューラルネットワークの他方は、画像データを除外する第2の訓練入力データを用いて訓練される、請求項27乃至33の1つまたは複数に記載のシステム。
  35. 前記視野検査が、静的自動視野検査、動的視野検査、および周波数倍増視野検査のうちの1つである、請求項23乃至34の1つまたは複数に記載のシステム。
  36. 前記視野検査が、スウェーデン式対話型閾値測定アルゴリズム(SITA)、SITA Fast、SITA Faster、および任意のSITAベースの視覚検査のうちの1つである、請求項23乃至34のうちの1つまたは複数に記載のシステム。
  37. 個々の閾値感度値の決定が、患者の事前の機能的視野検査結果の使用を除外する、請求項23乃至31および33乃至36の1つまたは複数に記載のシステム。
  38. 選択された視野検査の1つまたは複数の選択検査点に対する個々の閾値感度値の決定は、患者の網膜の現在取得されている視野測定値よりも前の日に取得された患者の網膜の過去の視野測定値にそれ自体が基づく以前に決定された閾値感度値にさらに基づく、請求項23乃至37の1つまたは複数に記載のシステム。
JP2022513220A 2019-09-06 2020-09-04 構造由来の視野の事前情報を作成するための機械学習方法 Pending JP2022546969A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962897025P 2019-09-06 2019-09-06
US62/897,025 2019-09-06
PCT/EP2020/074766 WO2021043980A1 (en) 2019-09-06 2020-09-04 Machine learning methods for creating structure-derived visual field priors

Publications (2)

Publication Number Publication Date
JP2022546969A true JP2022546969A (ja) 2022-11-10
JPWO2021043980A5 JPWO2021043980A5 (ja) 2023-09-11

Family

ID=72381094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022513220A Pending JP2022546969A (ja) 2019-09-06 2020-09-04 構造由来の視野の事前情報を作成するための機械学習方法

Country Status (5)

Country Link
US (1) US20220400943A1 (ja)
EP (1) EP4025114A1 (ja)
JP (1) JP2022546969A (ja)
CN (1) CN114390907A (ja)
WO (1) WO2021043980A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021155136A1 (en) * 2020-01-31 2021-08-05 Olleyes, Inc. A system and method for providing visual tests
CN113222975B (zh) * 2021-05-31 2023-04-07 湖北工业大学 一种基于改进U-net的高精度视网膜血管分割方法
EP4360044A1 (en) * 2021-06-22 2024-05-01 Airota Diagnostics Limited Methods and systems for estimating visual field sensitivities from retinal optical texture analysis (rota) maps
EP4376696A1 (en) * 2021-07-30 2024-06-05 Mayo Foundation for Medical Education and Research Systems and methods for correcting and optimizing a visual field
CN113642629B (zh) * 2021-08-09 2023-12-08 厦门大学 一种基于随机森林提高谱学分析可信度的可视化方法及装置
WO2023149139A1 (ja) * 2022-02-02 2023-08-10 株式会社ニデック 視野検査装置、および視野検査プログラム
WO2024057548A1 (ja) * 2022-09-16 2024-03-21 誠 古山 視野推定装置、ニューラルネットワークの製造方法、及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM537994A0 (en) 1994-04-29 1994-05-26 Australian National University, The Early detection of glaucoma
US6549801B1 (en) 1998-06-11 2003-04-15 The Regents Of The University Of California Phase-resolved optical coherence tomography and optical doppler tomography for imaging fluid flow in tissue with fast scanning speed and high velocity sensitivity
USD472637S1 (en) 2002-03-28 2003-04-01 Welch Allyn, Inc. Eye disease screening instrument
US6741359B2 (en) 2002-05-22 2004-05-25 Carl Zeiss Meditec, Inc. Optical coherence tomography optical scanner
US7359062B2 (en) 2003-12-09 2008-04-15 The Regents Of The University Of California High speed spectral domain functional optical coherence tomography and optical doppler tomography for in vivo blood flow dynamics and tissue structure
US7301644B2 (en) 2004-12-02 2007-11-27 University Of Miami Enhanced optical coherence tomography for anatomical mapping
US7365856B2 (en) 2005-01-21 2008-04-29 Carl Zeiss Meditec, Inc. Method of motion correction in optical coherence tomography imaging
US8180134B2 (en) 2006-09-26 2012-05-15 Oregon Health & Science University In vivo structural and flow imaging
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
EP2538833A4 (en) 2010-02-08 2014-03-12 Univ Oregon Health & Science METHOD AND DEVICE FOR ULTRA-SENSITIVE OPTICAL MICROANGIOGRAPHY
EP2449957B1 (en) * 2010-11-05 2015-03-25 Nidek Co., Ltd. Control method of a fundus examination apparatus
DE102010050693A1 (de) 2010-11-06 2012-05-10 Carl Zeiss Meditec Ag Funduskamera mit streifenförmiger Pupillenteilung und Verfahren zur Aufzeichnung von Fundusaufnahmen
EP2685883A1 (en) 2011-03-17 2014-01-22 Carl Zeiss Meditec AG Systems and methods for refractive correction in visual field testing
US8433393B2 (en) 2011-07-07 2013-04-30 Carl Zeiss Meditec, Inc. Inter-frame complex OCT data analysis techniques
US8998411B2 (en) 2011-07-08 2015-04-07 Carl Zeiss Meditec, Inc. Light field camera for fundus photography
US9332902B2 (en) 2012-01-20 2016-05-10 Carl Zeiss Meditec, Inc. Line-field holoscopy
US8931905B2 (en) 2013-01-25 2015-01-13 James Waller Lambuth Lewis Binocular measurement method and device
US9456746B2 (en) 2013-03-15 2016-10-04 Carl Zeiss Meditec, Inc. Systems and methods for broad line fundus imaging
US9759544B2 (en) 2014-08-08 2017-09-12 Carl Zeiss Meditec, Inc. Methods of reducing motion artifacts for optical coherence tomography angiography
US9700206B2 (en) 2015-02-05 2017-07-11 Carl Zeiss Meditec, Inc. Acquistion and analysis techniques for improved outcomes in optical coherence tomography angiography
US10582852B2 (en) 2015-02-05 2020-03-10 Carl Zeiss Meditec Ag Method and apparatus for reducing scattered light in broad-line fundus imaging
JPWO2018083853A1 (ja) * 2016-11-02 2019-09-19 国立大学法人 東京大学 視野感度推定装置、視野感度推定装置の制御方法、及びプログラム

Also Published As

Publication number Publication date
CN114390907A (zh) 2022-04-22
US20220400943A1 (en) 2022-12-22
WO2021043980A1 (en) 2021-03-11
EP4025114A1 (en) 2022-07-13

Similar Documents

Publication Publication Date Title
US20220400943A1 (en) Machine learning methods for creating structure-derived visual field priors
US20220058803A1 (en) System for oct image translation, ophthalmic image denoising, and neural network therefor
US20220160228A1 (en) A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display
US20200394789A1 (en) Oct-based retinal artery/vein classification
US20220084210A1 (en) Segmentation and classification of geographic atrophy patterns in patients with age related macular degeneration in widefield autofluorescence images
US20210304363A1 (en) Image processing apparatus, image processing method and computer-readable medium
US10719932B2 (en) Identifying suspicious areas in ophthalmic data
US20230140881A1 (en) Oct en face pathology segmentation using channel-coded slabs
JP7478216B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
US20230196572A1 (en) Method and system for an end-to-end deep learning based optical coherence tomography (oct) multi retinal layer segmentation
WO2019021512A1 (ja) 眼科システム及び眼科情報処理装置
Trucco et al. Computational retinal image analysis: tools, applications and perspectives
JP2022155690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7194136B2 (ja) 眼科装置、眼科装置の制御方法、及びプログラム
US20230267610A1 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
Le et al. SVC-Net: A spatially vascular connectivity network for deep learning construction of microcapillary angiography from single-scan-volumetric OCT
JP2022104239A (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム
US20230190095A1 (en) Method and system for choroid-scleral segmentation using deep learning with a choroid-scleral layer model
US20230143051A1 (en) Real-time ir fundus image tracking in the presence of artifacts using a reference landmark
US20230196532A1 (en) System and method of a process for robust macular thickness analysis using low-cost line-field optical coherence tomography (oct)
Menolotto Artifact removal in digital retinal images
WO2022263589A1 (en) Medical data sharing using blockchain
Sadda et al. 7 Advanced Imaging Technologies
Hassan et al. A comprehensive review of artificial intelligence models for screening major retinal diseases
Brás Characterization and diagnostics of corneal transparency by OCT imaging and machine learning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240514