JP2022520708A - 広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類 - Google Patents
広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類 Download PDFInfo
- Publication number
- JP2022520708A JP2022520708A JP2021538343A JP2021538343A JP2022520708A JP 2022520708 A JP2022520708 A JP 2022520708A JP 2021538343 A JP2021538343 A JP 2021538343A JP 2021538343 A JP2021538343 A JP 2021538343A JP 2022520708 A JP2022520708 A JP 2022520708A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- identified
- segmentation
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 121
- 206010003694 Atrophy Diseases 0.000 title claims abstract description 12
- 230000037444 atrophy Effects 0.000 title claims abstract description 12
- 230000002269 spontaneous effect Effects 0.000 title abstract description 4
- 238000002073 fluorescence micrograph Methods 0.000 title abstract description 3
- 206010064930 age-related macular degeneration Diseases 0.000 title description 246
- 208000002780 macular degeneration Diseases 0.000 title description 13
- 238000000034 method Methods 0.000 claims abstract description 124
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000010801 machine learning Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 83
- 238000013528 artificial neural network Methods 0.000 claims description 72
- 230000003902 lesion Effects 0.000 claims description 41
- 238000012706 support-vector machine Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 28
- 230000005713 exacerbation Effects 0.000 claims description 24
- 210000001525 retina Anatomy 0.000 claims description 23
- 210000001210 retinal vessel Anatomy 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 8
- 206010025421 Macule Diseases 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 210000004204 blood vessel Anatomy 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000012010 growth Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 10
- 238000004383 yellowing Methods 0.000 claims 1
- 208000008069 Geographic Atrophy Diseases 0.000 description 233
- 238000012014 optical coherence tomography Methods 0.000 description 51
- 238000003384 imaging method Methods 0.000 description 41
- 238000013527 convolutional neural network Methods 0.000 description 29
- 210000000695 crystalline len Anatomy 0.000 description 26
- 230000006870 function Effects 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 21
- 210000002569 neuron Anatomy 0.000 description 16
- 210000001747 pupil Anatomy 0.000 description 16
- 101150011389 Chpt1 gene Proteins 0.000 description 15
- 101150073133 Cpt1a gene Proteins 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 238000002583 angiography Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 239000000835 fiber Substances 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 239000007850 fluorescent dye Substances 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 208000011325 dry age related macular degeneration Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 101100421668 Caenorhabditis elegans slo-1 gene Proteins 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 210000000873 fovea centralis Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 102100035593 POU domain, class 2, transcription factor 1 Human genes 0.000 description 1
- 101710084414 POU domain, class 2, transcription factor 1 Proteins 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 208000000208 Wet Macular Degeneration Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 108010081667 aflibercept Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 229940120638 avastin Drugs 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 229940060799 clarus Drugs 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000035614 depigmentation Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 229940051306 eylea Drugs 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229940076783 lucentis Drugs 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011903 nutritional therapy Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 239000000790 retinal pigment Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
眼底自発蛍光画像における地図状委縮(GA)表現パターンを識別するための自動セグメンテーション及び識別システム/方法。ハイブリッドプロセスは、教師付きピクセル分類器を動的輪郭アルゴリズムと組み合わせている。訓練済み機械学習モデル(例えば、SVM又はU-Net)は初期GAセグメンテーション/分類を提供し、それに続いてChan-Vese動的輪郭アルゴリズムが適用される。GAセグメンテーションエリアの接合部ゾーンが、幾何学的規則性及び光強度規則性について解析される。GA表現型の特定が、これらのパラメータから少なくとも部分的に行われる。
Description
本発明は概して、眼科自発蛍光画像の分野に関する。より詳しくは、それは眼底自発蛍光画像における地図状委縮領域の分類に関する。
加齢黄斑変性症(AMD:age-related macular degeneration)は、発展途上国における高齢者層の失明の最多原因である。地図状委縮(GA:geographic atrophy)は、進行したAMDの形態であり、視細胞、網膜色素上皮(RPE:retinal pigment epithelium)、及び脈絡毛細管の喪失を特徴とする。地図状委縮が見られる患者は世界中で500万人と推定されている。GAは、不可逆的視機能喪失の原因となる可能性があり、AMDからの重度の視覚障害の約20%を占める。GAの増悪(progression)に対抗するための承認済みの治療は現時点ではない。しかしながら、近年、GAの病因の理解が進み、現在では見込みのある数種の治療法の臨床試験に至っている。それでもなお、GA進行の早期識別は、その影響を遅らせる上で極めて重要である。
異常な眼底自発蛍光(FAF:fundus autofluorescence)画像の表現パターンの違いがGAの進行を識別するのに役立つことが判明している。したがって、GA病巣及びその表現型の識別は、AMDの病勢進行の特定と臨床診断において重要な要素であり得る。医療従事者を使ってGA病巣及びその表現型についてFAF画像を視覚的に検査することも有効であるが、時間がかかる。GA病巣の評価を支援する幾つかのセグメンテーションアルゴリズムが開発されているが、これらのアルゴリズムの多くが半自動的であり、GA病巣のセグメンテーションのための手作業による入力を必要とする。
本発明の目的は、医用画像中のGA病巣及びその表現パターンを定量化する全自動的方法を提供することである。
本発明の他の目的は、GA病巣セグメンテーションアルゴリズムに、異なる表現型パターンを識別し、分類する能力を補足することである。
本発明の他の目的は、GA病巣セグメンテーションアルゴリズムに、異なる表現型パターンを識別し、分類する能力を補足することである。
本発明の別の目的は、広角FAF画像中のGA表現パターンの自動セグメンテーション及び識別のためのフレームワークを提供することである。
上述の目的は、眼内の地図状委縮(GA)を分類する(例えば、識別する)システム/方法において達成される。例えば、GA領域(例えば、眼底又はen face画像中のGAセグメンテーション)は「拡散型」表現型又は「縞状」表現型と識別されてよい。これらの表現型は何れも、経験的に、増悪速度の速い地図状委縮を示すものと特定されてきた。システムは、眼科画像を生成/捕捉するために使用される眼底イメージャ又は光干渉断層撮影(OCT:optical coherence tomography)装置等の眼科診断装置を含んでいてよい。代替的に、眼科診断装置は、例えばインタネット等のコンピュータネットワークを使用してデータストアから既存の眼科画像にアクセスするコンピュータシステムを具現化してもよい。眼科診断装置は、眼底画像を取得するために使用される。好ましくは、画像は眼底自発蛍光(FAF)画像であり、これは、GA病巣が典型的にこのような画像において、より認識しやすいからである。
取得された画像はその後、自動GA識別プロセスに提供され、画像中のGA領域が識別(例えば、セグメント化)される。本願のGAセグメンテーションプロセスは完全自動化され、深層学習ニューラルネットワークに基づいていてよい。GAセグメンテーションはさらに、2ステージセグメンテーションプロセス、例えば教師付き分類器(例えば、ピクセル/画像セグメントセグメンテーション)と動的輪郭アルゴリズムを組み合わせたハイブリッドプロセスに基づいていてよい。教師付き分類器は好ましくは機械学習(ML)モデルであり、サポートベクタマシン(SVM)又は深層学習ニューラルネットワーク、好ましくはU-Net型畳み込みニューラルネットワークとして実装されてよい。この第一のステージの分類器/セグメンテーションMLモデルは、画像中の初期GA領域(病巣)を識別し、その結果が第二のステージのセグメンテーションのための動的輪郭アルゴリズムに供給される。動的輪郭アルゴリズムは改良型Chase-Veseセグメンテーションアルゴリズムとして実装されてよく、第一のステージで識別された初期GA領域がChase-Veseセグメンテーションにおける開始点(例えば、初期輪郭)として使用される。その結果、取得された画像のロバストなGAセグメンテーションが可能となる。
識別されたGA領域はその後、それらの特定の表現型を識別するための解析のために提供される。例えば、システム/方法は、GA領域の輪郭不均一性尺度を用いて「拡散型」表現型を識別し、強度均一性尺度を用いて「縞状」表現型を識別してよい。これら2つの表現型の何れも、高増悪速度GA領域を示す。この解析は2ステージプロセスで行われてよく、2つの尺度のうちの1つ目が計算され、1つ目の尺度が第一の閾値より高ければ、このGA領域は高増悪速度に分類されてよく、2つの測定値の2つ目のものを計算する必要がない。しかしながら、1つ目の尺度が第一の閾値以下であれば、2つ目の尺度が計算され、第二の閾値と比較されて、それが高増悪速度GAを示すか否かが特定されてよい。例えば、輪郭不均一性尺度が第一の所定の閾値より高い(例えば、GA領域の周辺輪郭の不均一性が所定の閾値より高い)場合、そのGA領域は「拡散型」表現型と分析されてよく、強度均一性尺度が第二の閾値より高ければ、そのGA領域は「縞状」表現型として分類されてよい。
本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。1つの請求カテゴリ、例えばシステムにおいて記載される何れの実施形態の特徴も、他の請求カテプリ、例えば方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。
図中、同様の参照記号/文字は同様の構成要素を指す。
早期診断は様々な眼疾患の治療を成功させる上で極めて重要である。光学イメージングは、網膜の非侵襲的検査のための好ましい方法である。加齢黄斑変性症(AMD)は失明の主原因であることが知られているが、診断はダメージ自体が発現するまで下されないことが多い。したがって、高度な眼科イメージング装置の目的は、疾患の前臨床段階で病理変化を検出し、モニタするのに役立つ診断ツールを提供することである。
幾つもの眼科イメージングシステムが当業界で知られており、これは例えば眼底イメージングシステムや光干渉断層撮影システムであり、その中の何れも本発明に使用されてよい。眼科イメージングモダリティの例は以下に提供され、例えば図13及び14を参照されたい。これらの装置の何れも眼底画像を提供するために使用されてよく、眼底とは、眼の、水晶体(眼球内水晶体)の反対の内面であり、網膜、視神経乳頭、網膜黄斑、中心窩、及び後極を含みうる。
眼科イメージングシステムは、フルカラー画像を生成し得る。他のイメージング技術、例えば蛍光眼底造影法又はインドシアニングリーン眼底造影法(ICG:indocyanine green angiography)は、血管や病変等の特定の眼科特徴の高コントラスト画像を捕捉するために使用されてよい。高コントラスト画像は、蛍光染料を被検者の血流中に注入した後に画像を収集し、蛍光染料を励起させるために選択された特定の光周波数(例えば、色)を使用して画像捕捉することによって取得される。
代替的に、高コントラスト画像は、蛍光染料を使用せずに取得されてもよい。例えば自発蛍光として知られる技術において、特定の周波数の光(例えば、色付きのLED又はレーザ)を提供する個々の光源を使用して、眼内で自然に発生する異なるフルオロフォアを励起させることができる。その結果得られる蛍光は、励起波長をフィルタで除去することによって検出できる。これによって、眼の幾つかの特徴/組織を、忠実色画像で可能なレベルよりも容易に認識できるようにすることができる。例えば、眼底自発蛍光(FAF)イメージングは、リポフスチンの自然蛍光を刺激する緑又は青の励起により実行でき、モノクロ画像が生成される。例示を目的として、図1は忠実色画像の3つのグレイスケール画像11A、13A、及び15Aとその隣の、眼の同じ領域の3つの対応する自発蛍光画像11B、13B、及び15Bを提供する。明らかであるように、グレイスケール画像11A、13A、及び15A内であまり鮮鋭に画定されていない幾つかの組織の特徴(例えば、各画像の中央エリア内)は、対応する自発蛍光画像11B、13B、及び15Bにおいては容易に識別可能である。
AMDは一般に、ドライ型(萎縮性)AMDとして始まり、進行して滲出型(新生血管)AMDとなる。ドライ型AMDは、網膜上に(例えば、黄斑の下に)形成されるドルーセン(例えば、白又は黄色っぽい微小な堆積物)によって特徴付けられ、それによって時間の経過と共に網膜が劣化又は退化する。早期のドライ型AMDは栄養療法又はサプリメントで治療されるかもしれず、滲出型AMDは注射(例えば、ルセンティス、アバスチン、及びアイリーアの注射)により治療されるかもしれないが、より後期のドライ型AMDについては、臨床実験は実行中であるものの、承認された治療法は現時点ではない。地図状委縮(GA)は、ドライ型AMDの後期の形態であり、網膜内の、劣化又は死滅した細胞のパッチにより特徴付けられる。GAは、色素脱失、すなわち網膜色素上皮(RPE:retinal pigment epithelium)の明らかな喪失の何れの鮮鋭に描かれた円又は楕円領域として画定されてもよく、そこでは脈絡膜欠陥が周囲のエリアよりよく見え、直径例えば175μmと微小なサイズである。歴史的に、カラー眼底画像がGAのイメージングと識別に使用されてきたが、カラー眼底画像は、GAの進行に伴う病変の特徴を可視化することができない。自発蛍光染料であるリポフスチンを含むRPE細胞の喪失により、眼底自発蛍光(FAF)イメージングでは委縮エリアは暗く見える。これによって、委縮及び非委縮エリア間に高いコントラストが生じ、それがカラー眼底画像よりも容易にGAのエリアを画定できる。自発蛍光の使用は、GA病巣の評価と、病巣構造の変化のモニタにとってより有効なイメージングモダリティであることがわかっている。特に、488nmの励起波長によるFAFは、GA病巣の形態学的評価のための現在の、業界で好まれている技術である。例示を目的として、図2はGA病巣の例示的なFAF画像を提供する。
GAのFAF画像は、委縮領域を取り囲む過剰自発蛍光の異常なパターンによって特徴付けられるかもしれない。これは分類、又はGAの特定の表現型の識別につながっている。この特徴的な過剰自発蛍光の異なるパターンへの分類は、ビンデバルト(Bindewald)らによって「初期の加齢黄斑変性症における目眼底自発蛍光パターンの分類(Classification of Fundus Autofluorescence Patterns in Early Age-Related Macular Disease)」、視覚と眼の研究会議機関紙(Invest Ophthalmol Vis Sci)、2005年、第46巻、p.3309~14において初めて提示された。その後、複数の研究結果が発表され、異なる表現型パターンが疾患の進行に与える影響とそれが予後の判定としての役割を果たす能力が実証されており、これはホルツ エフ.ジー.(Holz F.G.)他著、「加齢黄斑変性症における地図状委縮の進行と眼底自発蛍光パターンの影響(Progression of Geographic Atrophy and Impact of Fundus Autofrluorescence Patterns in Age-Related Macular Degeneration)、米国眼科学会誌(Am J.Ophthalmol)、2007年、第143巻、p.463~472、フレッケンシュタイン エム.(Fleckenstein M.)他著、「地図状委縮における『拡散トリックリング』眼底自発蛍光表現型(The‘Diffuse-Trickling’Fundus Autofluorescence Phenotype in Geographic Atrophy)」、視覚と眼の研究会議機関紙(Invest Ophthalmol Vis Sci.)、2014年、第55巻、p.2911~20、及びチョン、ワイ.ジェイ.(Jeong,Y.J.)他著、「加齢黄斑変性症患者における地図状委縮増悪予測装置:改良型眼底カメラによる眼底自発蛍光検査(Predictors for the Progression of Geographic Atrophy in Patients with Age-Related Macular Degeneration:Fundus Autofluorescence Study with Modified Fundus Camera)」、眼(Eye)、2014年オンライン、28(2)、p.209~218、DOI 10.1038/eye.2013.275に記載されているとおりである。上記の参考文献の全内容を参照によって本願に援用する。
特に興味深いのは「拡散型」(又は、「拡散トリックリング(diffuse-trickling)」GA表現型と「縞状(banded)」GA表現型であり、これらはどちらも経験的に、より高増悪速度のGAを示すものであると特定されている。それゆえ、GA領域を識別することに加えて、識別されたGA領域の適正な表現型の分類も同様に重要である。「拡散型」GA領域は、その周囲輪郭の不均質性の度合い(例えば、所定の不均一性閾値よりも高い輪郭不均一性尺度)によって特徴付けられるかもしれない。その結果、図2のGA領域は「拡散型」表現型ではないと特定することができ、これは、その輪郭が比較的均一であるからである。それに対して、図3Aは「拡散型」表現型のGA病巣の幾つかのFAF画像例を提供しており、これらは全て、より高い輪郭不均一性を示している。GA領域では委縮領域を取り囲む過剰自発蛍光の濃度が高いかもしれないため、「縞状」GA領域は、その周囲に沿った過剰自発蛍光の強度のばらつき量によって特徴付けられるかもしれない。より具体的には、GA領域の輪郭過剰自発蛍光の強度のばらつきが比較的均一である場合(例えば、所定の強度閾値より高い強度均一性尺度)、そのGA領域は「縞状」表現型として特徴付けられるかもしれない。例えば、図2のGA領域は、その輪郭に沿った過剰自発蛍光の均一性を欠いているため、「縞状」表現型ではないと特定することができる。それと比較して、図3Bは、その輪郭に沿って均一な過剰自発蛍光が見られる『縞状』表現型のGA病巣のFAFの例を提供している。
GA病巣及びその表現型パターンの自動定量化は、疾患増悪の特定とAMDの臨床診断に大いに役立つ可能性がある。前述のように、現在、GA病巣評価のためのセグメンテーションアルゴリズムが幾つかあるが、その中に異なる表現型パターンの識別と分類に対応しているものはない。すなわち、これまでのところ、GA病巣に利用可能なセグメンテーション方法の何れも、異なるGA表現型パターンを自動的に分類することができない。文献中で報告されているセグメンテーション方法のほとんどは半自動的であり、GA病巣のセグメンテーションのために手作業による入力が必要である。さらに、過去に報告されたセグメンテーション方法はすべて、標準的な視野(FOV)画像(例えば、FOVが45°~60°)で使用するために開発されており、GA病巣の位置は一般に、標準的FOV画像の所定の領域に限定されていた。しかしながら、最近の広角画像(例えば、そのFOVが60°~120°、又はそれ以上)に対する関心の高まりから、広角画像での使用に適した自動GA評価方法の必要性が強調されている。広角画像の使用によって、典型的なGAセグメンテーションアルゴリズムの使用は複雑となり、これは、GA病巣の位置を広角画像の所定の領域に限定することができず、病変眼の中の幾つかの(物理的な)ランドマークが十分に画定されないかもしれないからである。
図4は、GA表現型パターンの自動セグメンテーション及び識別のための概略的フレームワークを提供する。まず、画像品質(IQ)の尺度が特定される(ブロックB1)。これは、画像品質アルゴリズムをFAF画像に適用することによって、等級付け不能な品質(IQ尺度が所定の値より低い)の画像を拒絶することを含んでいてよい。画像が拒絶されると、プロセスは直接B9に飛んでよい。IQ尺度が等級付けを進めるのに十分であれば、プロセスはブロックB3へと続く。
ブロックB3は、FAF画像への任意選択的な前処理を提供する。これは、視神経乳頭及び/又は血管の検出、関心対象領域(ROI:region of interest)の選択、及びヒストグラムの補正を含んでいてよい。自動ROI選択は、視神経乳頭の検出に基づいていてよく、処理(例えば、分類)が必要なピクセルの量を限定し、それによってセグメンテーションプロセスの実行時間が短縮される。
ブロックB5はGA病巣セグメンテーションを提供する。これは、ピククセルごとの分類と改良型Chan-Vese動的輪郭を組み合わせてよい。例えば、分類は機械学習(ML)モデル(例えば、サポートベクタマシン(SVM)及び/又は深層学習ニューラルネットワーク)によって提供されてよく、これが初期GAセグメンテーションを提供する。すると、GAセグメンテーションは、GAセグメンテーションをさらに精密にするChan-Vese動的輪郭アルゴリズムの開始点として供給される。このハイブリッドプロセスは、教師付きピクセル分類器と動的輪郭との新規な組み合わせを利用する。
ブロックB5のGAセグメンテーションはその後、表現型分類ブロックB7に提供され、これはGAセグメントエリア付近の(例えば、GAセグメンテーションの周囲接合部に沿った)接合部ゾーンを識別し、分類する。例えば、相互に等距離で離間され、GAセグメンテーションの周囲に沿って分散されたランダム点の集合が選択されてよい。選択された各点からGAセグメンテーションの重心までの距離が計算されてよい。これらの距離は次に、GAセグメンテーションの周囲輪郭平滑さ(例えば、GA描出の輪郭の平滑さ)を特定するために使用されてよい。強度の山と谷は、GAセグメンテーションの周囲輪郭に垂直に外側に向かう方向に沿って、例えばヘシアンフィルタで処理された勾配微分係数及び/又は方向ガウシアンフィルタを使用して計算されてよい。これは、GAセグメンテーションの周囲に沿った光強度規則性の尺度を提供するかもしれない。これらのパラメータはどちらも、接合部ゾーンの表現型を分類するために使用されてよい。例えば、GAセグメンテーションの輪郭平滑さの尺度は、「拡散型」表現型の識別に使用されてよく、GAセグメンテーションの強度規則性の尺度は「縞状」表現型を識別するために使用されてよい。
代替的に、(例えば、深層学習)ニューラルネットワークがブロックB7として実装されてもよい。この場合、ニューラルネットワークは、ブロックB5のGAセグメンテーションを受け取って、各GAセグメンテーションの特定の表現型(例えば、拡散型又は縞状)を分類するように訓練されてよい。さらに代替的に、ニューラルネットワークは、GA病巣セグメンテーションブロックB5及び表現型分類ブロックB7の機能を果たすように訓練されてもよい。例えば、専門家が描出したGA領域と、専門家が識別したそれらのそれぞれの表現型を示す画像の集合がニューラルネットワークのための訓練出力集合として使用されてよく、当初の描出されていない画像がニューラルネットワークのための訓練入力集合として使用されてよい。ニューラルネットワークはそれによって、GA病巣領域をセグメント化(又は描出)するだけでなく、それらのそれぞれの表現型(例えば、「拡散型」又は「縞状」)を識別するように訓練されてよい。
それに加えて、網膜血管が幾つかの眼底領域をGAセグメンテーションとして誤って識別する原因となるかもしれないことがわかっている。これは、GAセグメンテーションを適用する前、例えばブロックB5の前に網膜血管(例えば、前処理ブロックB3で識別された網膜血管)をFAF画像から除外することによって回避されるかもしれない。この場合、網膜血管は、任意選択的に、学習モデル(SVM又はニューラルネットワーク)を訓練するために使用される訓練画像から除外されてよい。
最後のブロックB9は、現在のフレームワークの結果をまとめたレポートを生成する。例えば、レポートでは、画像品質が低すぎて等級付けできなかったか否かを明記し、識別されたGA病巣が「高」増悪速度型であるか否かを明示し、GA病巣の表現型を明示し、及び/又は再診日を提案してよい。「拡散型」及び「縞状」表現型はどちらも、高増悪速度GAを示すと経験的に特定されているが、「拡散型」表現型は「縞状」表現型より増悪速度が速いかもしれない。再診日の提案は、GA病巣のタイプの特定に基づいていてよい。例えば、より増悪速度の高いGA病巣は、より低い増悪速度又は「低い」(又は高くない)増悪速度型のGA病巣より早い再診日とする正当な理由であるかもしれない。
図5は、本発明によるGA表現型パターンの自動セグメンテーション及び識別のためのより詳細なプロセスを図解する。例示を目的として、本発明は広角FAF画像に適用されているように説明されているが、例えばGAの可視化を提供する画像を生成できるOCT/OCTA等、他の種類の眼科イメージングモダリティにも同様に適用されてよい。例えば、これはen face OCT/OCTA画像に適用されてもよい。本願のイメージングシステム及び/又は方法は、眼底自発蛍光画像を捕捉する、又はそれ以外に取得する(例えばそのデータストアにアクセスすることによる)(ステップS1)から始まってよい。次に、取得した眼底自動蛍光画像の画像品質の評価(例えば測定)が、当業界で知られている何れかの適当な画像品質(IQ)アルゴリズムを使用して行われる。例えば、画像品質の尺度は、鮮鋭度、ノイズ、ダイナミックレンジ、コントラスト、口径食等の定量化可能要素の1つ又はその組合せに基づいていてよい。画像品質の尺度が所定の画像品質閾値より低い場合(ステップS3が是)、そのFAF画像はその後の解析に適さないと特定され、プロセスはステップS29に進み、そこで現在のFAF画像にはGAセグメンテーション又は定量化を行うことができないと明記されるレポートが生成される。本質的に、画像品質IQアルゴリズムは、等級付け不能な品質の画像を拒絶するために適用される。画像品質が最低閾値以上である場合(ステップS3=否)、プロセスは任意選択的な前処理ステップS5に進んでよく、又は代替的にGA画像セグメンテーションステップS7に直接進んでもよい。
処理ステップS5は、複数の前処理サブステップを含んでいてよい。例えば、そこには視神経乳頭及び/又は血管検出(例えば、発見マスク(a finding mask))を含んでいてよいほか、画像が患者の左右どちらの眼のものであるかが特定される。前述のように、病変眼では物理的ランドマークを識別するのが難しいかもしれないが、視神経乳頭はそこから出ている血管構造の集中によって識別可能であるかもしれない。例えば、機械学習モデル(例えば、後述のような深層学習ニューラルネットワーク)は、広角画像中で視神経乳頭を識別するように訓練されてよい。代替的に、他の種類の機械学習モデル(例えば、サポートベクタマシン)は、例えば視神経乳頭の位置を血管構造の集中の原点のある位置と相関させることによって、視神経乳頭を識別するように訓練されてよい。何れの場合も、画像以外の追加的情報、例えば電子カルテ(EMR:electronic medical record))により、又は「医療におけるデジタル画像と通信(Digital Imaging and Communications in Medicine)」(DICOM)規格により提供される情報が訓練で使用されてもよい。
前述のように、網膜血管はGAセグメンテーションにおける偽陽性の原因となるかもしれないことがわかっている。したがって、前処理はさらに、GAセグメンテーションを適用する前に網膜血管を識別して除外し、偽陽性の数を減らし、例えば誤ったGA領域の識別を減らすようにしてもよい。前述のように、GAセグメンテーションは機械学習モデルに基づいていてよいため、網膜血管は、その訓練用画像セットから除外されてよい。例えば、ニューラルネットワークは、手作業で描出されたGA領域と手作業で識別された表現型を有する眼底画像(例えば、FAF画像)の訓練出力セットを使用し、また、手作業で描出されたGA領域を有しておらず、識別された表現型も有していない同じ眼低画像の訓練入力セットを使用して訓練されてもよい。ある動作フェーズ(又は、試験フェーズ)で、ニューラルネットワークはその中から網膜血管が除外されている入力テスト画像を受け入れることになり、その後、ニューラルネットワークは、その網膜血管も除外されている訓練画像で訓練されてよい。すなわち、ニューラルネットワークを訓練する前に、網膜血管が訓練入力セット及び訓練出力セットの中の眼底画像から除外されてよい。
前処理ステップS5はまた、処理(GAセグメンテーションを含む)をFAF画像中の識別されたROIに限定するために、関心対象(ROI)の選択を含んでいてよい。好ましくは、識別されたROIは網膜黄斑を含むであろう。ROI選択は、ランドマーク検出(視神経乳頭及び網膜血管)、画像サイズ、画像エントロピ、及びDICOMから抽出された眼底スキャン情報等に基づいて自動化されてよい。例えば、画像が左眼のものか右眼のものかに応じて、網膜黄斑は画像内の視神経乳頭の右か左にある。理解されるように、ROI選択により、(例えばGAセグメンテーションのために)分類する必要のあるピクセルの量が限定され、それによって本願のプロセス/方法の実行時間が短縮される。
処理ステップS5は、照明補正及びコンテラスト調整をさらに含んでいてよい。例えば、不均一な画像照明は背景除去を用いて補正されてよく、画像コントラストはヒストグラム等化を使用して調整されてよい。
次に、処理された画像は2ステージ病巣セグメンテーション(例えば、図4のブロックB5)に提供され、これにはGAセグメンテーションと動的輪郭解析が含まれる。ブロックB5の第一のステージはGAセグメンテーション/分類器ステージ(S7)であり、これは好ましくは機械学習に基づくものであり、1つ又は複数のGA領域を識別し、ブロックB5の第二のステージは識別されたGA領域に適用される動的輪郭アルゴリズムである。GAセグメンテーションステージS7は、サブ画像セクタごとのGA分類を提供してよく、各サブ画像セクタが1ピクセルであってよく(例えば、ピクセルごと)、又は各サブ画像セクタは複数のピクセルの集合(例えば、ウィンドウ)であってもよい。このようにして、各サブ画像セクタはGAサブ画像か非GAサブ画像として個別に分類されてよい。動的輪郭解析ステージS9は、既知のChan-Veseアルゴリズムに基づいていてよい。この場合、Chan-Veseアルゴリズムは、輪郭成長のエネルギと移動方向を変化させるように改良される。例えば、領域ごとの画像特性を利用して輪郭移動が決定付けられる。本質的に、GA病巣のためのセグメンテーションブロックB5は、(例えば、ピクセルごとの)分類とChan-Vese動的輪郭を組み合わせたハイブリッドプロセスを利用する。任意選択的に、ここで提案されるハイブリッドアルゴリズムは、教師付き(例えば、ピクセル)分類器(S7)と幾何学的動的輪郭モデル(S9)との新規の組合せを利用する。当業者であればわかるように、幾何学的動的輪郭モデルは典型的に、画像平面内の、初期セグメンテーションを画定する輪郭(例えば、開始地点)から始まり、その後、何れかの発展方程式に従って輪郭を発展させて、前景領域の境界で停止させる。この場合、幾何学的動的輪郭モデルは改良型Chan-Veseアルゴリズムに基づく。
GAセグメンテーション/分類器ステージ(S7)は好ましくは、機械学習に基づき、例えばサポートベクタマシンの使用により、又は(深層学習)ニューラルネットワークによって実装されてよい。本明細書では、各実施について別々に説明する。
一般に、サポートベクタマシン、SVMは、分類及び回帰の問題のための機械学習線形モデルであり、線形及び非線形問題を解決するために使用されてよい。SVMの考えは、データをクラスに分離する線又は超平面を作る、というものである。より正式には、SVMは多次元空間内の1つ又は複数の超平面を画定し、超平面は分類、回帰、はずれ値検出等のために使用される。本質的に、SVMモデルはラベル付き訓練例を多次元空間内の点として表したものであり、異なるカテゴリのラベル付き訓練例が、異なるカテゴリを分離する決定境界と考えてよい超平面によって分離されるようにマッピングされる。新しい試験入力サンプルがSVMモデルに供給されると、この試験入力は同じ空間内にマッピングされ、その試験入力が決定境界(超平面)のどちら側にあるかに基づいて、それがどのカテゴリに属するかに関する予測が行われる。
好ましい実施形態において、SVMは画像セグメンテーションに使用される。画像セグメンテーションは、画像を異なる特性を有する異なるサブ画像に分割し、関心対象のオブジェクトを抽出することを目指す。本明細書においてより詳しくは、SVMは、FAF画像内のGA領域をセグメント化するように訓練される(例えば、FAF画像内のGA領域の輪郭を明確に画定するように訓練される)。画像セグメンテーションのための各種のSVMアーキテクチャは当業界で知られており、このタスクに使用される具体的なSVMアーキテクチャは本発明にとって重要ではない。例えば、最小二乗SVMは、ピクセルごと(又はサブ画像セクタごと)の分類に基づく画像セグメンテーションに使用されてよい。ピクセルレベルの特徴(例えば、色、強度等)とテクスチャ特徴の両方がSVMへの入力として使用されてよい。任意選択的に、各々が特殊化された分類を提供するSVMのアンサンブルが、よい結果を得るために関連付けられてもよい。
それゆえ、初期輪郭選択は、SVM分類器を使用して(例えば、SVMモデルに基づくセグメンテーションによって)行われてよい。好ましくは、グレイレベル共起マトリクス(例えば、関心対象領域内で移動する11×11のウィンドウ)から得られるHaralickテクスチャ特徴、平均強度、及び分散パラメータが、SVM分類器の訓練に使用される。前述のように、網膜血管は任意選択により、訓練画像から除外されてもよい。いずれにしても、特徴抽出は特定のROI(例えば、ステップS5で選択されたROI)に限定され、その結果、GAセグメンテーション/分類を画像全体に適用した場合よりよい時間パフォーマンスが得られる。このようにして、SVMは、よりよいパフォーマンスのために、ステップS9の動的輪郭アルゴリズムの対象とされる初期輪郭選択を提供する(例えば、開始点としての初期GAセグメンテーションを提供する)。動的輪郭アルゴリズムの発展時間は、初期輪郭選択に大きく依存し、これは例えば、チェン、キュー(Chen,Q)他著、「SD-OCT画像のための半自動的地図状委縮セグメンテーション(Semi-automatic geographic atrophy segmentation for SD-OCT images)」、バイオメブィカル・オプティクス・エクスプレス(Biomedical Optics Express)、第4巻(12)、p.2729~2750において説明されており、その全体を参照によって本願に援用する。
SVM分類器のパフォーマンス関する試験と比較が行われた。専門家の等級決定担当者が訓練に使用されないFAF画像内のGA領域を手作業で描出し、その結果をSVMモデルによるセグメンテーション結果と比較した。図6は、人間の専門家により描出された4つのGA領域を示し、図7は本願のSVMにより提供される、それに対応するGA描出(例えば、GAセグメンテーションの周囲)を示す。図のように、SVMモデルは、専門家の等級決定担当者が提供した手作業によるGAセグメンテーションとよく一致している。
GAセグメンテーション/分類器ステージ(S7)はまた、ニューラルネットワーク(NN)機械学習(LM)モデルの使用によっても実施されてよい。ニューラルネットワークの各種の例を、図16~図19を参照しながら以下に説明するが、その何れも、又はそれらの組合せも本発明に使用されてよい。深層学習ニューラルネットワークを用いたGAセグメンテーション/分類器の例示的な実装をU-Netアーキテクチャに基づいて構成した(図19参照)。この場合、NNは、手作業でセグメント化された画像(例えば、GAセグメントが人間の専門家によりセグメント化された画像)を訓練出力として、及び対応するセグメント化されていない画像を訓練入力として使用して訓練された。
ある例示的な実施例において、79のFAFグリーン画像を62名のGA患者から、CLARUS(商標)500眼底カメラ(ツァイス、カリフォルニア州ダブリン)を使用して取得した。これらの79のFAF画像を訓練のための55のFAF画像と試験のための24のFAF画像に分けた。任意選択により、網膜血管が訓練及び/又は試験画像から除外されてよい。データ拡張方法を使用して、訓練データの規模を増大させ、128×128ピクセルのサイズの880の(画像)パッチを訓練用に生成した。このU-Netでは、収束経路を4つの畳み込みニューラルネットワーク(CNN)ブロックで構成し、各CNNブロックを2つのCNN層及びそれに続く1つの最大プーリング層で構成した。ボトルネック(例えば、収束経路と拡張経路との間のブロック)は、2つのCNN層と、過学習の問題を回避するための任意選択的な0.5の逆ドロップアウトで構成した。U-netの拡張経路は典型的に収束経路と対称であり、ここでは4つのCNNブロックとそれに続くボトルネックで構成した。拡張経路の各CNNブロックは、逆畳み込み層と結合層及びそれに続く2つのCNN層で構成された。この拡張経路の最後のCNNブロック(例えば、4番目のCNNブロック)は、セグメンテーション出力を提供し、これはラベリングのために任意選択的な分類層に供給されてよい。この最後の分離器が最後の層を形成した。この実施例では、機械学習モデルを訓練するために、カスタムのdice係数損失関数を使用したが、その他の損失関数、例えば交差エントロピ損失関数も使用されてよい。DL MLモデルのセグメンテーションパフォーマンスは、学習後最適化を使用することによって微調整されてよい。例えば、「アイシング・オン・ザ・ケイク(Icing on the Cake)」と呼ばれる方法が使用されてよく、これは初期(通常)訓練の終了後に最後の分類器(すなわち、最後の層)のみを再び訓練するものである。
DL方式を手作業でセグメント化されたGA領域と比較した。図8は、専門家の等級付け担当者が手作業で描出した5つのGA領域を示し、図9は、本願のDL機械モデルにより提供された、それに対応するGA描出を示す。評価のために、測定されたエリア間の面積変化率(fractional area difference)、重複比、及びピアソンの相関係数を特定した。DL機械モデルにより生成されたGA領域と手作業でのセグメンテーションとの面積変化率は4.40%±3.88%であった。手作業及びDL自動セグメンテーション間の重複比は92.76±5.62であり、DLアルゴリズム及び手作業の等級付けにより生成されたGA面積の相関係数は0.995(p値<0.001)であった。このように、定量的及び定性的評価は、FAF画像内のGAのセグメンテーションのための提案されているDLモデルが専門家による手作業の等級付けと極めて強い一致を示すことを実証している。
それゆえ、図6~図9から明らかであるように、SVMベース及びDLベースの分類はどちらも、良好な初期GA描出、又はセグメンテーションを提供する。
ステップS7から得られるGAセグメンテーションは、動的輪郭アルゴリズム(ステップS9)への初期輪郭選択として供給されてよい。この実施形態は、改良型Chan-Vese(C-V)動的輪郭セグメンテーションアルゴリズムを使用する。一般に、動的輪郭アルゴリズムは、光干渉断層撮影(OCT)画像におけるGAセグメンテーションに使用されており、これはニウ、エス.(Niu,S.)他著、「局所相似性係数を介した領域ベースのC-Vモデルを用いるSD-OCT画像のための自動地図状委縮セグメンテーション(Automated geographic atrophy segmentation for SD-OCT images using region-based C-V model via local similarity factor)」、バイオメディカル・オプティクス・エクスプレス(Biomedical Optics Express)、2016年2月1日、第7巻(2)、p.581~600に記載されており、その全体を参照によって本願に援用する。しかしながら、このケースでは、Chan-Vese動的輪郭セグメンテーションは、2ステージセグメンテーションプロセスの第二のフェーズとして使用される。SVM又はDL学習モデル分類器により提供される初期輪郭は、専門家が注釈をつけたGA境界に近い。これによって、Chan-Vese動的輪郭セグメンテーションのための実行時間が短縮され、そのパフォーマンスが向上する。
ステップS7から得られるGAセグメンテーションは、動的輪郭アルゴリズム(ステップS9)への初期輪郭選択として供給されてよい。この実施形態は、改良型Chan-Vese(C-V)動的輪郭セグメンテーションアルゴリズムを使用する。一般に、動的輪郭アルゴリズムは、光干渉断層撮影(OCT)画像におけるGAセグメンテーションに使用されており、これはニウ、エス.(Niu,S.)他著、「局所相似性係数を介した領域ベースのC-Vモデルを用いるSD-OCT画像のための自動地図状委縮セグメンテーション(Automated geographic atrophy segmentation for SD-OCT images using region-based C-V model via local similarity factor)」、バイオメディカル・オプティクス・エクスプレス(Biomedical Optics Express)、2016年2月1日、第7巻(2)、p.581~600に記載されており、その全体を参照によって本願に援用する。しかしながら、このケースでは、Chan-Vese動的輪郭セグメンテーションは、2ステージセグメンテーションプロセスの第二のフェーズとして使用される。SVM又はDL学習モデル分類器により提供される初期輪郭は、専門家が注釈をつけたGA境界に近い。これによって、Chan-Vese動的輪郭セグメンテーションのための実行時間が短縮され、そのパフォーマンスが向上する。
2ステージセグメンテーションブロックB5により提供される最終的なGAセグメンテーション結果は、任意選択により、追加的な形態学的演算(ステップS11)に提供されて、セグメンテーションがさらに精密化されてもよい。形態学的演算(例えば、収縮(erosion)、膨張(dilation)、オープニング(opening)、及びクロージング(closing)がChan-Vese動的輪郭の出力に適用されて、輪郭境界線が精密化され、小さい隔離領域が除去される。
次に、セグメント化されたGAのサイズが特定される。GAセグメンテーションは2D画像から得られるが、眼底は湾曲しているため、2D GAセグメンテーションは3D空間にマッピングされてよく(ステップS13)、測定を3D空間内で行って、歪みに対処し、より正確な面積測定を得てもよい。2Dピクセルから3D座標への既知のイメージングジオメトリに基づく何れの適当なマッピング方法が使用されてもよい。例えば、2D画像平面内のピクセルを球(例えば、3Dの空間)上の点にマッピングするための当業界でよく知られた方法はステレオ投射である。2D眼底画像からの3D再構成の他の例は、チェリヤン、ジェイ.(Cheriyan,J.)他著、「眼底画像からのヒト網膜の3D再構成-ある調査(3D Reconstruction of Human Retina from Fundus Image - A Survey)」、インターナショナル・ジャーナル・オブ・モダン・エンジニアリング・リサーチ(International Journal of Modern Engineering Research)、第2巻、第5号、2012年9~10月、p.3089~3092において提供されており、その全体を参照によって本願に援用する。
3D空間内のGAサイズ測定値の特定では、利用可能であれば眼科イメージングシステムにより提供される追加情報が利用されてもよい。例えば、幾つかの眼科イメージングシステムは、アレイ内の3D位置を2D画像内の各ピクセルの2D座標と共に保存する。この方法は、医療におけるデジタル画像と通信(DICOM)標準に適合する広角眼科写真画像モジュールに含められているかもしれない。代替的に、又は組合せにより、幾つかのシステムは、2D位置の任意の集合について実行して関連する3D位置を生成できるモデルを保存していてもよい。
3D空間内の特定された面積が所定の閾値より小さい場合(ステップS15=是)、このGAセグメンテーションは、実際のGA病巣とするには小さすぎると判断され、処理はステップS29に進んでレポートを生成する。特定された面積が所定の閾値、例えば96Kμm2より小さい場合(ステップS15=否)、そのGAセグメンテーションは実際のGA病巣として容認され、プロセスは識別されたGAセグメンテーションの表現型の特定を試みる。
表現型の特定における第一のステップは、GAセグメンテーションの輪郭平滑さを解析することであってよい(ステップS17)。これには、幾つかのサブステップが含まれていてよい。GAセグメント化されたエリアに近い(例えば、GAセグメントエリアの縁辺に沿った)接合部ゾーンを識別し、分類することは、まずGAセグメント領域の重心を特定することから始められてよい。この重心計算は、GAセグメント領域の2D画像表現に適用されてよい。図10は、拡散型GA領域21を図解しており、その重心は円23により示されている。次のステップは、GAセグメンテーションの周囲に沿って等しく離間されたランダム点の集合を特定することであってよい。図11は縞状表現型GA領域25を図解しており、重心27と、GAセグメンテーションの周囲に沿って等しく離間された13のランダム点29の集合(各々、白い十字線の中心として識別される)を有する。理解すべき点として、13は例示的な値であり、GA領域の周囲を囲むのに十分な幾つの数の点が使用されてもよい。次に、各点29から重心27までの距離が計算される(例えば、直線距離31)。距離31の偏差は、「拡散型」表現型を例えば「縞状」表現型等のその他から区別するために使用される。
ステップS19で、距離偏差が距離偏差閾値より大きい場合(ステップS19=是)、このGA領域は「拡散型表現型」であると識別され(ステップS21)、プロセスはステップS29に進み、そこでレポートが生成される。この距離偏差、又は輪郭不均一性の尺度が現在のGAセグメンテーションのための平均距離偏差であると特定されてよく、距離偏差閾値は、(例えば拡散型)GAセグメントの標準化された平均偏差の20%と定義されてよい。標準化された平均偏差はGAセグメントのライブラリ、例えばGA病巣のFAF画像の(標準化された)ライブラリから特定されてよい。しかしながら、距離偏差が距離偏差閾値以下である場合(ステップS19=否)、そして処理はステップS23に進む。
ステップS23で、GA輪郭に垂直な方向に沿って、ランダム点29の集合(少なくともその一部)について強度の山と谷が特定される。これは、ヘッセンフィルタ処理勾配導関数及び/又は方向ガウシアンフィルタを使用して行われてよい。現在の強度偏差閾値より大きい山と谷(光強度規則性-減少蛍光(hypoflourences))が選択された点29のうちの所定のパーセンテージ(例えば、60%)より高い割合について存在する場合、(ステップS25=是)、画像(例えば、GAセグメンテーション)は「縞状」表現型として分類され(ステップ27)、プロセスはステップS29に進み、そこでレポートが生成される。強度の山と谷は強度変化性尺度を定義してよく、強度偏差閾値は、(例えば、縞状の)GAセグメントの標準化された平均強度偏差の33%として定義されてよい。この標準化平均強度変動は、GAセグメントのライブラリ、例えばGA病巣のFAF画像の(標準化)ライブラリから特定されてよい。光強度規則性-減少蛍光が現在の強度偏差閾値以下である場合(ステップ25=否)、何れの表現型の特定も行うことができず、処理はステップS29に進む。
前述のように、ニューラルネットワークはステップS7に関して上で説明したようなGAセグメンテーションを提供するように訓練されてよい。しかしながら、図19のU-Net等のニューラルネットワークはまた、表現型の分類を提供するように訓練されてもよい。例えば、訓練画像セットの中で専門家が描出したGA病巣セグメンテーションの各々の特定の表現型の専門家によるラベリングを提供することによって、ニューラルネットワークは、GA病巣セグメンテーション識別と共に、又はそれに加えて、表現型分類を提供するように訓練されてもよい。この場合、ステップS17~ステップS25に関連する表現型識別/分類ステップは、省略されて、ニューラルネットワークによって提供されてもよい。代替的に、ニューラルネットワークにより提供される表現型分類は、例えば加重平均によって、ステップS17~S25の表現型識別結果と組み合わせられてもよい。
ステップS29では、このプロセスの結果をまとめたレポートが生成される。等級付け不能なIQの画像に関して(ステップS3=是)、画像品質のみが報告され、それ以外の画像については、生成されるレポートには以下のうちの1つ又は複数が含められる:
a.今回の受診でのGAセグメント化面積測定値。
a.今回の受診でのGAセグメント化面積測定値。
b.現在のGAの接合部ゾーン表現型(利用できる場合)。
c.増悪のリスク(例えば、「縞状」及び「拡散型」表現型について高いと報告される増悪のリスク)。
c.増悪のリスク(例えば、「縞状」及び「拡散型」表現型について高いと報告される増悪のリスク)。
d.再診時期の提案。
図12は、眼内の地図状委縮(GA)の自動分類のための他の例示的な方法を図解する。この例において、表現型のライブラリ内の特定のGA表現型(例えば、「拡散型」表現型と「縞状」表現型)の各々についてチェックするのではなく、この方法は、現在のGA領域が高い増悪速度に関連付けられる(例えば、経験的関連付け)何れかの表現型として識別されたところですぐに、現在のGA領域の分類を停止してよい。すると、現在のGA領域は単純に「高増悪速度」GAと分類され、その具体的なGA表現型は明示されない。任意選択により、希望に応じて、例えばグラフィカルユーザインタフェース(GUI)を介したユーザ入力を使用することによって、プロセスは現在のGAセグメンテーションを1つ又は複数の具体的な表現型として分類することへと進められてもよい。この場合、方法はさらに、「高増悪速度」GAを「拡散型」表現型か「縞状」表現型として識別してもよい。任意選択により、方法は、それにしたがって表現型が特定の人口集団(例えば、ある患者が属するかもしれない集団)においてより一般的であるようなGA表現型の検査をオーダするか、又はそれに基づいて表現型が(例えば経験的に)その他のものより高い憎悪速度のGAに関連付けられると特定される検査をオーダしてもよい。例えば、「拡散型」表現型GAは、経験的観察に基づいて、「縞状」表現型のGAより増悪速度が速いと考えられよく、したがって、方法は、まず現在のGAセグメンテーションが「拡散型」表現型であるか否かをチェックし、現在のGAセグメンテーションが「拡散型」表現型ではないと特定された場合にのみ、2番目に「縞状」表現型か否かをチェックしてよい。
図12は、眼内の地図状委縮(GA)の自動分類のための他の例示的な方法を図解する。この例において、表現型のライブラリ内の特定のGA表現型(例えば、「拡散型」表現型と「縞状」表現型)の各々についてチェックするのではなく、この方法は、現在のGA領域が高い増悪速度に関連付けられる(例えば、経験的関連付け)何れかの表現型として識別されたところですぐに、現在のGA領域の分類を停止してよい。すると、現在のGA領域は単純に「高増悪速度」GAと分類され、その具体的なGA表現型は明示されない。任意選択により、希望に応じて、例えばグラフィカルユーザインタフェース(GUI)を介したユーザ入力を使用することによって、プロセスは現在のGAセグメンテーションを1つ又は複数の具体的な表現型として分類することへと進められてもよい。この場合、方法はさらに、「高増悪速度」GAを「拡散型」表現型か「縞状」表現型として識別してもよい。任意選択により、方法は、それにしたがって表現型が特定の人口集団(例えば、ある患者が属するかもしれない集団)においてより一般的であるようなGA表現型の検査をオーダするか、又はそれに基づいて表現型が(例えば経験的に)その他のものより高い憎悪速度のGAに関連付けられると特定される検査をオーダしてもよい。例えば、「拡散型」表現型GAは、経験的観察に基づいて、「縞状」表現型のGAより増悪速度が速いと考えられよく、したがって、方法は、まず現在のGAセグメンテーションが「拡散型」表現型であるか否かをチェックし、現在のGAセグメンテーションが「拡散型」表現型ではないと特定された場合にのみ、2番目に「縞状」表現型か否かをチェックしてよい。
方法は、方法ステップM1で、眼科診断装置を使用して眼底の画像を取得することから始まってよい。画像(例えば、自発蛍光画像又はen face画像)は、眼底イメージャ又はOCTによって生成されてよい。眼科診断装置は画像を生成する装置であってよく、又は代替的に、コンピュータネットワーク(例えば、インタネット)上でこのような画像のデータストアからの画像にアクセスするコンピューティングデバイスであってもよい。
方法ステップM3において、取得された画像は、画像内のGA領域を識別する自動GA識別プロセスに提供される。自動GA識別プロセスは、当業界で知られているようにGAセグメンテーションプロセスを含んでいてよい。しかしながら、好ましいセグメンテーションプロセスは、GA分類(例えば、ピクセルごと)を動的輪郭セグメンテーションと組み合わせた2ステップセグメンテーションである。この2ステッププロセスの1つ目は、画像内のGA領域をセグメント化/分類/識別するSVM又は(例えば、深層学習)ニューラルネットワーク等の訓練された機械モデルであってよい。例えば、U-Netアーキテクチャに基づくニューラルネットワークが使用されてよく、その訓練セットには、専門家が限界を定めた蛍光画像の訓練出力セットと、それに対応する、限界が定められていない蛍光画像の訓練入力セットとが含まれていてよい。この初期段階で使用されるGAセグメンテーション/分類の種類に関係なく、識別されたGAセグメンテーションは、GAセグメンテーションをさらに精密化するための動的輪郭アルゴリズム(例えば、Chan-Veseセグメンテーション)に開始点として供給されてよい。任意選択により、結果は、次の方法ステップM5に進む前にセグメンテーションをさらにクリーンにするための形態学的演算(例えば、収縮、膨張、オープニング、及びクロージング)に提供されてもよい。
任意選択により、ステップM5に進む前に、ステップM3からの最終的なGAセグメンテーションは眼底の形状を表す3次元空間にマッピングされてよく、マッピングされたGAの面積が特定される。面積が所定の閾値より小さい場合、そのGAセグメンテーションは非GAとして再分類されて、その後の処理から除外されてよい。識別されたGAセグメンテーションが実際のGA領域であると認定するのに十分に大きいと想定されると、処理はステップM5に進んでよい。
方法ステップM5は、識別されたGA領域について、各々が高増悪速度GAに関連付けられる2種類のGA表現型のうちの一方を特定するように設計された1つ又は2つの異なる尺度を特定することによって解析する。より具体的には、輪郭不均一性尺度は「拡散型」表現型GAを特定するために使用されてよく、強度均一性尺度は「縞状」表現型GAを特定するために使用されてよい。第一の特定尺度が「拡散型」表現型GA又は「縞状」表現型GAの何れかであることを確認すると(例えば、その尺度が所定の閾値より高い)、方法ステップM7は識別されたGA領域を「高増悪速度」GAに分類する。第一の特定尺度が「拡散型」又は「縞状」表現型の一方であることを確認しない場合、第二の尺度が特定されて、2つの表現型のうちの他方が存在するか否かチェックされてよい。他方の表現型が存在する場合、識別されたGA領域は再び「高増悪速度」GAに分類されてよい。任意選択により、又は代替的に、方法ステップM7では、GA領域について識別された特定の表現型分類(「拡散型」又は「縞状」)を明示してよい。
眼底イメージングシステム
眼底の画像を撮影するために使用される2種類のイメージングシステムは、フラッド照明型イメージングシステム(又はフラッド照明型イメージャ)と走査照明型イメージングシステム(又はスキャンイメージャ)である。フラッド照明型イメージャは、例えばフラッシュランプを使用して標本の関心対象視野領域(FOV)全体に同時に投光し、フルフレームカメラ(例えば、所望のFOVを全体として捕捉するのに十分な大きさの2次元(2D)フォトセンサアレイを有するカメラ)で標本(例えば、眼底)のフルフレーム画像を捕捉する。例えば、フラッド照明型眼底イメージャは、眼底に投光して、カメラの1回の画像捕捉シーケンスで眼底のフルフレーム画像を捕捉するものである。スキャンイメージャは、対象物、例えば眼をスキャンするスキャンビームを提供し、スキャンビームは、それが対象物をスキャンしながら異なるスキャン位置で結像されて、一連の画像セグメントが生成され、これらが再構成、例えばモンタージュされて、所望のFOVの複合画像が作られてよい。スキャンビームは点、線、又はスリット若しく幅広い線等の2次元エリアとすることができる。
眼底の画像を撮影するために使用される2種類のイメージングシステムは、フラッド照明型イメージングシステム(又はフラッド照明型イメージャ)と走査照明型イメージングシステム(又はスキャンイメージャ)である。フラッド照明型イメージャは、例えばフラッシュランプを使用して標本の関心対象視野領域(FOV)全体に同時に投光し、フルフレームカメラ(例えば、所望のFOVを全体として捕捉するのに十分な大きさの2次元(2D)フォトセンサアレイを有するカメラ)で標本(例えば、眼底)のフルフレーム画像を捕捉する。例えば、フラッド照明型眼底イメージャは、眼底に投光して、カメラの1回の画像捕捉シーケンスで眼底のフルフレーム画像を捕捉するものである。スキャンイメージャは、対象物、例えば眼をスキャンするスキャンビームを提供し、スキャンビームは、それが対象物をスキャンしながら異なるスキャン位置で結像されて、一連の画像セグメントが生成され、これらが再構成、例えばモンタージュされて、所望のFOVの複合画像が作られてよい。スキャンビームは点、線、又はスリット若しく幅広い線等の2次元エリアとすることができる。
図13は、眼Eの、水晶体(すなわち眼球水晶体)CLと反対の内面であり、網膜、視神経乳頭、網膜黄斑、中心窩、及び後極を含んでいてよい眼底Fの画像を撮影するためのスリット走査型眼科システムSLO-1の例を図解する。この例では、イメージングシステムはいわゆる「スキャン-デスキャン」構成であり、スキャニングラインビームSBは眼Eの光学的構成要素(角膜Crn、虹彩Irs、瞳孔Ppl、及び眼球水晶体CLを含む)を通り、眼底Fをスキャンする。フラッド型眼底イメージャの場合、スキャナは不要であり、光は所望の視野(FOV)の全体にわたって一度に当てられる。その他のスキャニング構成も当業界で知られており、具体的なスキャニング構成は本発明にとって重要ではない。図のように、イメージングシステムは、1つ又は複数の光源LtSrc、好ましくはマルチカラーLEDシステム又は、エタンデュが適切に調整されたレーザシステムを含む。任意選択によるスリットSlt(調整可能又は静止)が光源LtSrcの前に位置付けられて、スキャニングラインビームSBの幅を調整するために使用されてよい。追加的に、スリットSltはイメージング中に静止状態のままとすることも、又は異なる幅に調整して、異なる共焦点性レベル及び、特定のスキャン又は反射抑制に使用されるスキャン中の何れかの異なる使用を可能にすることもできる。任意選択による対物レンズObjLはスリットSltの前に設置されてもよい。対物レンズObjLは、最新技術によるレンズの何れの1つとすることもでき、これには屈折、回折、反射、又はハイブリッドレンズ/システムが含まれるがこれらに限定されない。スリットSltからの光は瞳分割ミラーSMを通過し、スキャナLnScnへと方向付けられる。スキャン平面と瞳孔平面をできるだけ近付けて、システム内の口径食を減少させることが望ましい。任意選択による光学系DLは、2つの構成要素の画像間の光学距離を操作するために含められてもよい。瞳分割ミラーSMは、光源LtSrcからの照明ビームをスキャナLnScnへと通過させ、スキャナLnScnからの検出ビーム(例えば、眼Eから戻る反射光)をカメラCmrへと反射させてよい。瞳分割ミラーSMの役割は、照明及び検出ビームを分割して、システムの反射抑制を助けることである。スキャナLnScnは、回転ガルボスキャナ又はその他の種類のスキャナ(例えば、圧電、ボイスコイル、微小電気機械システム(MEMS)スキャナ、電気光学偏向器、及び/又は回転ポリゴンスキャナ)とすることもできる。瞳分割がスキャナLnScnの前と後のどちらで行われるかに応じて、スキャンは2つのステップに分割でき、1つのスキャナは照明経路内にあり、別のスキャナは検出系内にある。特定の瞳分割装置は、米国特許第9,456,746号明細書に詳しく記載されており、その全体を参照によって本願に援用する。
スキャナLnScnから、照明ビームが1つ又は複数の光学系、この場合はスキャニングレンズSL及び眼科又は眼用レンズOLを通過し、それによって眼Fの瞳孔をシステムの瞳像(image pupil)に結像できる。一般に、スキャニングレンズSLは、スキャナLnScnから複数のスキャン角度(入射角)のうちの何れのスキャニング照明ビームでも受け取り、実質的に平坦な表面の焦点面にスキャニングラインビームSBを生成する(例えば、コリメート光路)。眼科レンズOLは、スキャニングラインビームSBを眼Eの眼底F(又は網膜)に集束させ、眼底の画像を撮影してよい。このようにして、スキャニングラインビームSBは眼底Fを通じて移動する移動スキャニングラインを生成する。これらの光学系のための1つの考え得る構成は、ケプラ型テレスコープであり、この場合、2つのレンズ間の距離は、ほぼテレセントリックな中間眼底画像を作るように選択される(4-f構成)。眼科レンズOLは、単レンズ、アクロマティックレンズ、又は異なるレンズの組合せとすることができる。すべてのレンズは、当業者の間で知られているように屈折、回折、反射又はハイブリッドとすることができる。眼科レンズOL、スキャニングレンズSLの焦点距離並びに瞳分割ミラーSM及びスキャナLnScnのサイズ及び/又は形態は、所望の視野(FOV)によって異なるものとすることができ、したがって、例えば光学系内のフリップ、電動ホイール、又は取外し可能光学素子を使用することによって、視野に応じてビーム経路から出入りするように複数の構成要素を切り替えることのできる装置が想定できる。視野の変化によって瞳孔上のビームの大きさが異なるため、瞳分割もまた、FOVの変化と共に変更することができる。例えば、45°~60°の視野が眼底カメラの典型的又は標準的なFOVである。より大きい視野、例えば60°~120°又はそれ以上の広角FOVもまた実現可能であるかもしれない。広角FOVは、ブロードライン眼底イメージャ(BLFI:Broad-Line Fundus Imager)や光干渉断層撮影(OCT)等の他のイメージグモダリティとの組合せにとって望ましいかもしれない。視野の上限は、人間の目の周囲の生理学的条件と共にアクセス可能な作業距離によって決定されるかもしれない。典型的な人間の網膜のFOVは水平140°、垂直80°~100°であるため、システム上の最も高いFOVのための非対称視野を有することが望ましいかもしれない。
スキャニングラインビームSBは眼Eの瞳孔Pplを通過し、網膜、又は眼底、表面Fへと方向付けられる。スキャナLnScn1は網膜、又は眼底F上の光の位置を調整し、眼E上のある範囲の横方向の位置が照明されるようにする。反射又は散乱光(又は蛍光イメージングの場合は発光)は、照明と同様の経路に沿って逆に方向付けられて、カメラCmrまでの検出経路上の集光ビームCBを画定する。
この例示的なスリット走査型眼科システムSLO-1の「スキャン-デスキャン」構成では、眼Eから戻る光は瞳分割ミラーSMまでの途中でスキャナLnScnによって「デスキャン」される。すなわち、スキャナLnScnは瞳分割ミラーSMからの照明ビームを走査して、眼Eを通じたスキャニング照明ビームSBを画定するが、スキャナLnScnは同じスキャン位置において眼Eから戻る光も受け取るため、スキャナLnScnは戻り光をデスキャンして(例えば、スキャニング動作を取り消して)、スキャナLnScnから瞳分割ミラーSMへの非スキャニング用(例えば、安定又は静止)集光ビームを画定する効果を有し、これは集光ビームをカメラCmrに向かって折り曲げる。瞳分割ミラーSMにおいて、反射光(又は蛍光イメージングの場合は発光)は照明光からカメラCmrに向かう検出経路へと分離され、カメラCmrは画像を捕捉するためのフォトセンサを有するデジタルカメラであってもよい。結像(例えば、対物)レンズImgLは、検出経路内に位置付けられて、眼底をカメラCmrに結像させてよい。対物レンズObjLの場合と同様に、結像レンズImgLは当業界で知られている何れの種類であってもよい(例えば、屈折、回折、反射、又はハイブリッドレンズ)。その他の動作の詳細、特に画像アーチファクト軽減方法は国際公開第2016/124644号パンフレットに記載されており、その内容の全体を参照によって本願に援用する。カメラCmrは受け取った画像を捕捉し、例えば画像ファイルを作り、それが1つ又は複数の(電子)プロセッサ又はコンピューティングデバイス(例えば、図20に示されるコンピュータシステム)によってさらに処理できる。それゆえ、集光ビーム(スキャニングラインビームSBのすべてのスキャニング位置から戻る)は、カメラCmrによって集光され、個別に捕捉された集光ビームの、例えばモンタージュによる合成からフルフレーム画像Imgが構成されてよい。しかしながら、その他のスキャニング構成もまた想定され、これには照明ビームが眼Eを通じてスキャンされて、集光ビームがカメラのフォトセンサアレイを通じてスキャンされる。国際公開第2012/059236号パンフレット及び米国特許出願公開第2015/0131050号明細書は参照によって本願に援用され、戻り光がカメラのフォトセンサアレイ上で掃引される、及び戻り光がカメラのフォトセンサアレイ上で掃引されない、様々な設計が含まれる。
この例では、カメラCmrはプロセッサ(例えば、処理モジュール)Proc及びディスプレイ(例えば、表示モジュール、コンピュータスクリーン、電子スクリーン等)Dsplに接続され、これらはどちらも画像システム自体の一部とすることができ、又は別の専用の処理及び/又は表示ユニット、例えばデータがカメラCmrからコンピュータシステムへとケーブル又は無線ネットワークを含むコンピュータネットワークを通じてコンピュータシステムに供給されるコンピュータシステムの一部であってもよい。ディスプレイ及びプロセッサは、全てが1つのユニットとすることができる。ディスプレイは、伝統的な電子ディスプレイ/スクリーン、又はタッチスクリーンタイプとすることができ、ユーザに対して情報を表示し、機器のオペレータ又はユーザからの情報を受け取るためのユーザインタフェースを含むことができる。ユーザは、当業界で知られている何れの種類のユーザ入力デバイスを使用してディスプレイと対話することもでき、これにはマウス、ノブ、ボタン、ポインタ、及びタッチスクリーンが含まれるが、これらに限定されない。
イメージングが行われている間、患者の視線を固定したままとすることが望ましいかもしれない。これを実現する1つの方法は、患者の向きを、それを注視するように変えることのできる固定ターゲットを提供することである。固定ターゲットは、眼のどの部分の画像を生成するかに応じて、機器の内部又は外部とすることができる。内部固定ターゲットの1つの実施形態が図13に示されている。イメージングに使用される第一の光源LtSrcに加えて、1つ又は複数のLED等の第二の任意選択的な光源FxLtSrcを、光パターンがレンズFxL、スキャニング要素FxScn、及び反射板/ミラーFxMを使用して網膜に結像されるように位置付けることができる。固定スキャナFxScnは、光パターンの位置を移動させることができ、反射板FxMは、固定スキャナFxScnからの光パターンを眼Eの眼底Fへと向ける。好ましくは、固定スキャナFxScnは、それがシステムの瞳孔平面に配置されるように位置付けられ、それによって網膜/眼底上の光パターンは、所望の固定位置に応じて移動できる。
スリット走査型検眼鏡システムは、使用される光源及び波長選択的フィルタ要素に応じて異なるイメージングモードで動作できる。忠実色反射イメージング(臨床医が手持ち式又はスリットランプ検眼鏡を使用して眼を検査する際に観察するものと同様のイメージング)は、一連のカラーLED(赤、青、及び緑)で眼の画像を撮影すると実現できる。各LEDを各スキャニング位置においてオンにすることによって各色の画像を段階的に構築することができ、又は各カラー画像をその全体で別々に撮影できる。3色の画像を合成して忠実色の画像を表示することができ、又はこれらは個別に表示して、網膜の異なる特徴をハイライトすることもできる。赤のチャネルは脈絡膜を最もよくハイライトし、緑のチャネルは網膜をハイライトし、青のチャネルは網膜前層をハイライトする。それに加えて、特定の周波数の光(例えば、個々のカラーLED又はレーザ)を使用して、眼内の異なるフルオロフォアを励起させることができ(例えば、自発蛍光)、その結果として得られた蛍光を、励起波長をフィルタで除去することによって検出できる。
眼底イメージングシステムはまた、例えば赤外線レーザ(又は他の赤外線光源)を使うことによって、赤外線(IR)反射画像を提供することもできる。赤外線(IR)モデルは、眼がIR波長に対し感受性を有していないという点で有利である。これによって、ユーザは(例えば、プレビュー/アラインメントモード中に)眼を妨害せずに連続的に画像を撮影して、機器のアラインメントにおいてユーザを助けるようにすることができる。また、IR波長は組織内により侵入し、脈絡膜構造をよりよく可視化するかもしれない。それに加えて、蛍光眼底造影法(FA)及びインドシアニングリーン眼底造影法(ICG)によるイメージングは、蛍光染料を被検者の血流内に注入してから画像を収集することによって実現できる。
光干渉断層撮影システム
眼底写真、眼底自発蛍光(FAF)、蛍光眼底造影法(FA)に加えて、眼科画像はその他のイメージングモダリティ、例えば光干渉断層撮影法(OCT)、OCT眼底造影法(OCTA)、及び/又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科イメージングモダリティにも応用されてもよい。より具体的には、本発明はまた、OCT及び/又はOCTA画像を生成するOCT/OCTAシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、en face OCT/OCTA画像にも応用されてよい。眼底画像の例は米国特許第8,967,806号明細書及び同第8,998,411号明細書において提供されており、OCTシステムの例は米国特許第6,741,359号明細書及び同第9,706,915号明細書において提供され、OCTAイメージングシステムの例は米国特許第9,700,206号明細書及び同第9,759,544号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なOCT/OCTAシステムの例を本願で提供する。
眼底写真、眼底自発蛍光(FAF)、蛍光眼底造影法(FA)に加えて、眼科画像はその他のイメージングモダリティ、例えば光干渉断層撮影法(OCT)、OCT眼底造影法(OCTA)、及び/又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科イメージングモダリティにも応用されてもよい。より具体的には、本発明はまた、OCT及び/又はOCTA画像を生成するOCT/OCTAシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、en face OCT/OCTA画像にも応用されてよい。眼底画像の例は米国特許第8,967,806号明細書及び同第8,998,411号明細書において提供されており、OCTシステムの例は米国特許第6,741,359号明細書及び同第9,706,915号明細書において提供され、OCTAイメージングシステムの例は米国特許第9,700,206号明細書及び同第9,759,544号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なOCT/OCTAシステムの例を本願で提供する。
図14は、本発明との使用に適した眼の3D画像データ収集用の一般型周波数領域光干渉断層撮影(FD-OCT)システムを図解する。FD-OCTシステムOCT_1は、光源LtSrc1を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源LtScr1からの光のビームは、典型的に光ファイバFbr1によってサンプル、例えば眼Eを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源LrSrc1は、スペクトル領域OCT(SD-OCT)の場合の短い時間コヒーレンス長の広帯域光源か、掃引光源OCT(SS-OCT)の場合の波長調整可能レーザ源の何れかとすることができる。光は、典型的には光ファイバFbr1の出力とサンプルEとの間のスキャナScnr1でスキャンされ、それによって光のビーム(破線Bm)はサンプルの画像撮影対象領域を横方向に(x及びyに)スキャンされる。フルフィールドOCTの場合、スキャナは不要であり、光は一度に所望の視野(FOV)全体に当てられる。サンプルから散乱した光は、典型的に照明用の光を案内するために使用されるものと同じ光ファイバFbr1へと集光される。同じ光源LtSrc1から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバFbr2及び調整可能な光学遅延を有する逆反射板RR1が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、典型的にファイバカプラCplr1において参照光と結合され、OCT光検出器Dtctr1(例えば、光検出器アレイ、デジタルカメラ等)内の光干渉を形成する。1つのファイバポートが検出器Dtctr1に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Dtctr1からの出力は、プロセッサCmp1(例えば、コンピューティングデバイス)に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサCmp1に関連付けられるメモリ内に保存され、及び/又はディスプレイ(例えば、コンピュータ/電子ディスプレイ/スクリーン)Scn1に表示されてよい。処理及び保存機能はOCT機器内に配置されてよく、又は機能は収集されたデータが転送される外部処理ユニット(例えば、図20に示されるコンピュータシステム)上で実行されてもよい。このユニットは、データ処理専用とすることも、又はごく一般的で、OCTデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサCmp1は例えば、ホストプロセッサに供給される前に、又は並行してデータ処理ステップの一部又は全部を実行するフィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、特定用途集積回路(ASIC)、グラフィクス処理ユニット(GPU)、システムオンチップ(SoC)、中央処理ユニット(CPU)、汎用グラフィクス処理ユニット(GPGPU)、又はそれらの組合せを含んでいてよい。
サンプルと干渉計内の参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の1次元又は2次元エリアを照明して、OCTデータを生成できる(例えば、米国特許第9332902号明細書、ディー.ヒルマン(D.Hillmann)他著、「ホロスコピ-ホログラフィック光干渉断層撮影(Holoscopy-holographic optical coherence tomography)」オプティクスレターズ(Optics Letters)、第36巻(13)、p.2290、2011年、ワイ.ナカムラ(Y.Nakamura)他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速3次元ヒト網膜イメージング(High-Speed three dimensional human retinal imaging by line field spectral domain optical coherence tomography)」、オプティクスエクスプレス(Optics Express)、第15巻(12)、p.7103、2007年、ブラスコヴィッチ(Blazkiewicz)他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究(Signal-to-noise ratio study of full-field Fourier-domain optical coherence tomography)」、アプライド・オプティクス(Applied Optics)、第44巻(36)、p.7722(2005年)参照)。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にTD-OCT及びSS-OCTシステムで使用され、分光計はSD-OCTシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のOCTシステムにも応用できる。本発明の様々な態様は、何れの種類のOCTシステムにも、又はその他の種類の眼科診断システム及び/又は、眼底イメージングシステム、視野試験装置、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。
フーリエドメイン光干渉断層撮影法(FD-OCT)において、各測定値は実数値スペクトル制御干渉図形(Sj(k))である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素OCT信号出力Aj(z)=|Aj|eiφが得られる。この複素OCT信号の絶対値、|Aj|から、異なる経路長での散乱強度、したがってサンプル内の深さ(z-方向)に関する散乱のプロファイルが明らかとなる。同様に、位相φjもまた、複素OCT信号から抽出できる。深さに関する手散乱のプロファイルは、軸方向スキャン(A-スキャン)と呼ばれる。サンプル内の隣接する位置において測定されたA-スキャンの集合により、サンプルの断面画像(断層画像又はB-スキャン)が生成される。サンプル上の横方向の異なる位置で収集されたBスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは1つのB-スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のB-スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ(又は実質的に同じ)位置(又は領域)での反復的取得により生成されるデータの1つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のA-スキャン又はB-スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。B-スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はx方向に沿ったもの、垂直又はy方向に沿ったもの、x及びyの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。B-スキャンは、x-z次元内であってよいが、z次元を含む何れの断面画像であってもよい。
OCT血管造影法又は関数型OCTにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された(例えば、クラスタスキャン)OCTデータに適用されてよい(例えば、米国特許出願公開第2005/0171438号明細書、同第2012/0307014号明細書、同第2010/0027857号明細書、同第2012/0277579号明細書、及び米国特許第6,549,801号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する)。OCTシステムでは、血流を識別するために多くのOCT血管造影法処理アルゴリズム(例えば、モーションコントラストアルゴリズム)のうちの何れの1つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報(強度に基づくアルゴリズム)、画像データからの位相情報(位相に基づくアルゴリズム)、又は複素画像データ(複素に基づくアルゴリズム)に適用できる。en face画像は3D OCTデータの2D投射である(例えば、個々のA-スキャンの各々の強度を平均することにより、これによって、各A-スキャンが2D投射内のピクセルを画定する)。同様に、en face脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション(例えば、A-スキャンに沿ったz方向)は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、1つの代表値(例えば、2D投射画像内のピクセル)として表示される(例えば、米国特許第7,301,644号明細書を参照されたく、その全体を参照によって本願に援用する)。血管造影機能を提供するOCTシステムは、OCT血管造影(OCTA)システムと呼ばれてよい。
図15は、en face脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜(ILM:internal limiting membrane)の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のen face(例えば、正面図)画像が生成されてよい。
ニューラルネットワーク
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
前述のように、本発明はニューラルネットワーク(NN)機械学習(ML)モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの(ノードを介した)ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、1つの層の出力は多層パーセプトロン(MLP)配置の中の次の層へと順方向に供給される。MLPは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
図16は、多層パーセプトロン(MLP)ニューラルネットワークの例を図解する。その構造は、複数の隠れ(例えば内側)層HL1~HLnを含んでいてよく、これは入力層InL(入力(又はベクトル入力)の集合in_1~in_3を受け取る)を出力層OutLにマッピングし、それが出力(又はベクトル出力)の集合、例えばout_1及びout_2を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層HL1は2つのノードを有し、隠れ層HL2、HL3、及びHLnは各々3つのノードを有する。一般に、MLPが深いほど(例えば、MLP内の隠れ層の数が多いほど)、その学習容量は大きい。入力層InLは、ベクトル入力(説明のために、in_1、in_2、及びin_3からなる3次元ベクトルとして示されている)を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層HL1に供給してよい。出力層OutLは、多層モデル内の最後の隠れ層、例えばHLnからの出力を受け取り、ベクトル出力結果(説明のためにout_1及びout_2からなる2次元ベクトルとして示されている)を生成する。
典型的に、各ニューロン(すなわちノード)は1つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層(例えば、学習層)内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層InL内のノードは1つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその1つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層InLのノード内の破線矢印によって示されている。
説明を目的として、図17は、入力層InL’、隠れ層HL1’、及び出力層OutL’からなる単純化されたニューラルネットワークを示す。入力層InL’は、2つの入力ノードi1及びi2を有するように示されており、これらはそれぞれ入力Input_1及びInput_2を受け取る(例えば、層InL’の入力ノードは、2次元の入力ベクトルを受け取る)。入力層InL’は、2つのノードh1及びh2を有する1つの隠れ層HL1’へと順方向に供給し、それが今度は、2つのノードo1及びo2の出力層OutL’に順方向に供給する。ニューロン間の相互接続、又はリンクは(説明のために実線の矢印で示されている)は重みw1~w8を有する。典型的に、入力層を除き、ノード(ニューロン)は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス(例えば、それぞれノードh1、h2、o1、及びo2に対応するノード重みw9、w10、w11、w12)により定義される定数を加算し(又は、それを乗じ)、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、MLモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。
ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する(例えば、それを特定するように訓練される)。ニューラルネットが訓練される前に、各重みは個々に初期の(例えば、ランダムな、任意選択によりゼロ以外の)値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の(所定の)訓練ベクトル出力に近い出力を生成するように訓練される(最適化される)。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力(例えば、ベクトル入力又は訓練入力画像/サンプル)はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力(例えば、ベクトル出力)が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力(例えば、現在の訓練入力画像/サンプルに対応する訓練出力画像/サンプル)に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に(出力層から入力層へと逆方向に)伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの1つのバックプロパゲーションイテレーション(例えば、1回のフォワードパスと1回のバックワードパス)を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるMLモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント(又はパッチ)に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、1つの入力/出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは1回のフォワード/バックワードパスにおける訓練サンプルの数が決まる。この場合、そして1つのエポックは複数のミニバッチを含んでいてよい。他の問題は、NNが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。
留意すべき点として、訓練済みのNN機械モデルの演算は、演算/解析ステップの単純なアルゴリズムではない。実際に、訓練済みのNN機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質(例えば、ライブ画像/スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル)に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築(例えば、同じノード/層配置、訓練済み重み及びバイアス値、所定の畳み込み/逆畳み込み演算、活性化関数、プーリング演算等)の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量(例えば、訓練におけるエポック数)、訓練開始前の重みのランダムな開始値、NNがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が1つのマシン(例えば、第一のコンピュータアーキテクチャを有する)で中断され、他のマシン(例えば、異なるコンピュータアーキテクチャを有する)で完了したか等、多くの要素に依存する。ポイントは、訓練済みのMLモデルが特定の出力になぜ到達したかの理由は明白でなく、MLモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びMLモデルの訓練における様々な状況に依存する。
概略すると、NN機械学習モデルの構成は、学習(又は訓練)ステージと分類(又は演算)ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練(サンプル)入力及び訓練(サンプル)出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク(例えば前述のもの)は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した(例えば、訓練済みの)(ニューラルネットワーク)機械学習(ML)である。演算ステージで、試験入力(又はライブ入力)の集合が学習済み(訓練済み)MLモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。
図15及び図16の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク(CNN)もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算(例えば、ドット積)を行い、任意選択によってそれに非線形変換が続く。しかしながら、CNNは、一方の端(例えば入力端)で生の画像ピクセルを受け取り、反対の端(例えば、出力端)で分類(又はクラス)のスコアを提供する。CNNは入力として画像を予想するため、これらはボリューム(例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の3色で定義されるRGB深さ等の色深さ)を扱うように最適化される。例えば、CNNの層は、3次元で配置されるニューロンのために最適化されてよい。CNN層内のニューロンは、完全に接続されたNNのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。CNNの最終的な出力層は、フル画像を深さの次元に沿って配置される1つのベクトル(分類)に縮小するかもしれない。
図18は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、2つ又はそれ以上の層(例えば、層1~層N)の連続として定義されてよく、層は(画像)畳み込みステップ、(結果の)加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ(又はカーネル)を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ(フィルタバンクからのもの)、重み(又は重み付けパラメータ)、及び/又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は3つの色チャネルRGB(赤、緑、青)の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。CNNを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるmax(0,x)閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために(例えばx-y方向に沿って)行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している1次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、CNNは各ピクセルを分類する必要がある。各CNN層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み(又は逆畳み込み)ステージTCの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。
畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、CNNを訓練するには一般に、大きな訓練データセットが必要である。U-NetアーキテクチャはCNNに基づいており、一般に従来のCNNより小さい訓練データセットで訓練できる。
図19は、例示的なU-Netアーキテクチャを図解する。この例示的なU-Netは、入力モジュール(又は入力層若しくはステージ)を含み、これは何れかのサイズ(例えば、128×128ピクセルのサイズ)の入力U-in(例えば、入力画像又は画像パッチ)を受け取る。入力画像は、眼底画像、OCT/OCTA en face、B-スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさ及び次元のものであってもよい。例えば、入力画像はRGBカラー画像、モノクロ画像、体積画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び/又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路(4つの符号化モジュールを含む)とそれに続く拡張経路(4つの復号モジュールを含む)、及び対応するモジュール/ステージ間にあり、収束経路内の1つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールの入力に結合する4つのコピー・アンド・クロップリンク(例えば、CC1~CC4)からなる。その結果、特徴的なU字型となり、そこからこのアーキテクチャが名付られている。収束経路はエンコーダと同様であり、その基本機能はコンパクトの特徴マップを介してコンテキストを捕捉することである。この例において、収束経路内の各符号化モジュールは2つの畳み込みニューラルネットワーク層を含み、それに続いて1つの最大プーリング層(例えば、ダウンサンプリング層)があってよい。例えば、入力画像U_inは2つの畳み込み層を経るが、各々が32の特徴マップを有する。特徴マップの数は各プーリングにおいて、第一のブロックの32の特徴マップから始まり、第二のブロックで64等々と、2倍になる。それゆえ、収束経路は、各々が畳み込みステージを提供する複数の符号化モジュール(又はステージ)と、それに続く活性化関数(例えば、正規化線形ユニットReLU、又はシグモイド層)及び最大プーリング演算からなる畳み込みネットワークを形成する。拡張経路はデコーダと同様であり、その機能は、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化を提供し、空間情報を保持することである。収束経路では、空間情報が縮小され、特徴情報は増大される。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在の値を対応する符号化モジュールの出力と結合する。すなわち、特徴及び空間情報は拡張経路においてアップコンボリューション(例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み)と収束経路からの高解像度特徴との結合(例えば、CC1~CC4を介する)の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する(任意選択によりクロップされた)特徴マップと、それに続いて2つの畳み込み層及び活性化関数(任意選択によるバッチ正規化)に結合される。拡張経路内の最後のモジュールからの出力は、分類器ブロック等、他の処理/訓練ブロック又は層に供給されてよく、これはU-Netアーキテクチャと共に訓練されてもよい。
収束経路と拡張経路との間のモジュール/ステージ(BN)は、「ボトルネック」と呼ばれてもよい。ボトルネックBNは、2つの畳み込み層(バッチ正規化と任意選択によるドロップアウトを伴う)からなっていてよい。
コンピューティングデバイス/システム
図20は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
図20は、例示的なコンピュータシステム(又はコンピューティングデバイス又はコンピュータデバイス)を図解する。幾つかの実施形態において、1つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び/又は本明細書において記載又は図解された1つ又は複数の方法の1つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ(SOC)、又はシングルボードコンピュータシステム(SBC)(例えば、コンピュータ・オン・モジュール(COM)又はシステム・オン・モジュール(SOM)等)、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、又はこれらのうちの2つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは1つ又は複数のクラウドコンポーネントを1つ又は複数のネットワーク内に含んでいてよい。
幾つかの実施形態において、コンピュータシステムはプロセッサCpnt1、メモリCpnt2、ストレージCpnt3、入力/出力(I/O)インタフェースCpnt4、通信インタフェースCpnt5、及びバスCpnt6を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイCpnt7、例えばコンピュータモニタ又はスクリーンも含んでいてよい。
プロセッサCpnt1は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサCpnt1は、中央処理ユニット(CPU)又は汎用コンピューティング・オン・グラフィクス処理ユニット(GPGPU)であってもよい。プロセッサCpnt1は、命令を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3から読み出し(又はフェッチし)、この命令を復号して実行し、1つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。特定の実施形態において、プロセッサCpnt1は、データ、命令、又はアドレスのための1つ又は複数の内部キャッシュを含んでいてよい。プロセッサCpnt1は、1つ又は複数の命令キャッシュ、1つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリCpnt2又はストレージCpnt3内の命令のコピーであってもよく、命令キャッシュはプロセッサCpnt1によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサCpnt1は、何れの適当な数の内部レジスタを含んでいてもよく、1つ又は複数の算術論理演算ユニット(ALU:arithmetic logic units)を含んでいてよい。プロセッサCpnt1は、マルチコアプロセッサであるか、又は1つ若しくは複数のプロセッサCpnt1を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。
メモリCpnt2は、処理を実行し、又は処理中に中間データを保持するプロセッサCpnt1のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ(例えば、データテーブル)をストレージCpnt3から、又は他のソース(例えば、他のコンピュータシステム)からメモリCpnt2にロードしてもよい。プロセッサCpnt1は、メモリCpnt2からの命令とデータを1つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサCpnt1は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサCpnt1は1つ又は複数の結果(これは、中間結果でも最終結果でもよい)を内部レジスタ、内部キャッシュ、メモリCpnt2、又はストレージCpnt3に書き込んでよい。バスCpnt6は、1つ又は複数のメモリバス(これは各々、アズレスバスとデータバスを含んでいてよい)を含んでいてよく、プロセッサCpnt1をメモリCpnt2及び/又はストレージCpnt3に連結してよい。任意選択により、1つ又は複数のメモリ管理ユニット(MMU)は、プロセッサCpnt1とメモリCpnt2との間のデータ伝送を容易にする。メモリCpnt2(これは、高速揮発性メモリであってもよい)には、ランダムアクセスメモリ(RAM)、例えばダイナミックRAM(DRAM)又はスタティックRAM(SRAM)が含まれていてよい。ストレージCpnt3には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージCpnt3はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ(例えば、ハードディスクドライブHDD、又はソリッドステートドライブSSD)、フラッシュメモリ、ROM、EPROM、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス(USB)-アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの1つ又は複数を含んでいてよい。
I/OインタフェースCpnt4は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、I/Oデバイスと通信するための1つ又は複数のインタフェース(例えば、シリアル又はパラレル通信ポート)を含んでいてよく、これはヒト(例えば、ユーザ)との通信を可能にしてもよい。例えば、I/Oデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なI/Oデバイス、又はこれら2つ以上の組合せが含まれていてよい。
通信インタフェースCpnt5は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースCpnt5は、Bluetooth(登録商標)インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースCpnt5は、ネットワークインタフェースコントローラ(NIC)及び/又は、無線ネットワークとの通信のための無線NIC若しくは無線アダプタを含んでいてよい。通信インタフェースCpnt5は、WI-FIネットワーク、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、無線PAN(例えば、Bluetooth WPAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、携帯電話ネットワーク(例えば、汎欧州デジタル移動電話方式(Global System for Mobile Communications)(GSM(登録商標))ネットワーク等)、インタネット、又はこれらの2つ以上の組合せとの通信を提供してよい。
バスCpnt6は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスCpnt6は、アクセラレーテッド・グラフィックス・ポート(Accelerated Graphics Port)(AGP)若しくはその他のグラフィクスバス、拡張業界標準(Enhanced Industry Standard)アーキテクチャ(EISA)バス、フロントサイドバス(FSB)、ハイパートランスポート(HyperTransport)(HT)インタコネクト、業界標準アーキテクチャ(ISA)バス、インフィニバンド(InfiniBand)バス、low-pin-count(LPC)バス、メモリバス、マイクロチャネルアーキテクチャ(MCA)バス、ペリフェラル・コンポーネント・インターコネクト(Peripheral Component Interconnect)(PCI)バス、PCI-Express(PCIe)バス、シリアル・アドバンスト・テクノロジ・アタッチメント(serial advanced technology attachment)(SATA)バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル(Video Electronics Standards Association local)(VLB)バス、若しくはその他の適当なバス、又はこれらの2つ以上の組合せを含んでいてよい。
本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。
本明細書において、コンピュータ可読非一時的記憶媒体は、1つ又は複数の半導体ベース又はその他の集積回路(IC)(例えば、フィールドプログラマブルゲートアレイ(FPGA)若しくは特定用途IC(ASIC))、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ(FDD)、磁気テープ、ソリッドステートドライブ(SSD)、RAM-ドライブ、SECURE DIGITALカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの2つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。
本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。
Claims (37)
- 眼内の地図状委縮(GA)を分類する方法であって、
眼科診断装置を使用して眼の眼底の画像を取得するステップと、
コンピュータプロセッサを使用して、
取得された画像を、機械学習モデルに基づく表現型分類器に提供するステップと、前記表現型分類器はGA領域を識別し、その後、識別されたGA領域を縞状表現型又は拡散型表現型に分類し、
前記表現型分類器の結果を電子ディスプレイ上に表示するか、又は前記結果をさらに処理するために保存するステップと、
を含む方法。 - 前記表現型分類器は、手作業で描出されたGA領域を有し、その表現型が識別された眼底画像の訓練出力セットを使用して、及び描出されたGA領域を有しておらず、かつ識別された表現型を有していない同じ眼の眼底画像の訓練入力セットを使用して訓練されたニューラルネットワークであり、
前記ニューラルネットワークを訓練する前に、前記訓練入力セット及び前記訓練出力セットの前記眼底画像から網膜血管が除去される、請求項1に記載の方法。 - 前記取得された画像内の関心対象領域(ROI)を特定するステップをさらに含み、前記ROIは眼の網膜黄変を含み、
前記表現型分類器は処理を前記ROIに限定する、請求項1又は2に記載の方法。 - 前記取得された画像の画像品質(IQ)尺度を特定するステップをさらに含み、
測定された特定された画像品質が所定のIQ閾値より高いことに応答して、前記取得された画像が前記表現型分類器に提供される、請求項1乃至3の何れか1項に記載の方法。 - 自動GA領域識別プロセスは、ピクセルごとの分類を前記取得された画像に適用して第一のGA領域を識別する、教師付きピクセル分類器に基づく第一のステージと、第二のGA領域を画定する動的輪郭セグメンテーションプロセスの開始点として前記第一のGA領域を使用する第二のステージとを含む2ステージGA領域識別プロセスであり、画定された第二のGA領域が縞状表現型又は拡散型表現型に識別される、請求項1乃至4の何れか1項に記載の方法。
- 前記教師付きピクセル分類器は訓練済みニューラルネットワーク又はサポートベクタマシンのうちの一方である、請求項5に記載の方法。
- 前記動的輪郭セグメンテーションプロセスはChan-Vese動的輪郭セグメンテーションを適用する、請求項5又は6に記載の方法。
- 表現型分類は識別されたGA領域の接合部ゾーンに基づく、請求項1乃至7の何れか1項に記載の方法。
- 識別された各GA領域について、
前記表現型分類器は、現在識別されているGA領域を3D空間にマッピングし、3DマッピングされたGA領域の表面積を特定し、
前記3DマッピングされたGA領域の表面積が所定の最低面積閾値より小さいことに応答して、前記現在識別されているGA領域を非GA領域であると再分類する、請求項1乃至8の何れか1項に記載の方法。 - 識別された各GA領域について、前記表現型分類器は、
第一の尺度であって、現在識別されているGA領域の周囲に近接し、それに沿った輪郭不均一性尺度又は強度均一性尺度の1つである前記第一の尺度を特定し、
特定された前記第一の尺度が第一の閾値より高いことに応答して、前記現在識別されているGA領域を高増悪速度GAに分類する、請求項1乃至9の何れか1項に記載の方法。 - 前記表現型分類器は、
前記第一の尺度が前記第一の閾値以下であることに応答して、第二の尺度であって、前記輪郭不均一性尺度又は強度均一性尺度の残りの一方である前記第二の尺度を特定し、
前記第二の尺度が第二の閾値より高いことに応答して、前記現在識別されているGA領域を高増悪速度GAに分類する、請求項10に記載の方法。 - 現在識別されているGA領域について、前記表現型分類器は、
前記現在識別されているGA領域の周囲に近接し、それに沿った輪郭不均一性尺度を特定し、
特定された輪郭不均一性尺度が所定の不均一性閾値より高いことに応答して、前記現在識別されているGA領域を「拡散型」表現型に分類する、請求項1乃至11の何れか1項に記載の方法。 - 前記不均一性閾値は、サンプルGA領域のライブラリの標準平均輪郭偏差に基づく、請求項12に記載の方法。
- 現在識別されているGA領域について、前記表現型分類器は、
前記現在識別されているGA領域の周囲に近接し、それに沿った強度均一性尺度を特定し、
特定された強度均一性尺度が所定の強度均一性閾値より高いことに応答して、前記現在識別されているGA領域を「縞状」表現型に分類する、請求項1乃至13の何れか1項に記載の方法。 - 前記強度均一性尺度を特定することは、前記現在識別されているGA領域の周囲に沿ったランダム点の集合を選択することと、前記ランダム点から延びる、前記周囲の輪郭に垂直な方向に沿ったピクセル強度の山と谷を特定することを含み、
前記強度均一性閾値は、サンプルGA領域の接合部ゾーンに沿ったピクセル強度の山と谷の標準化平均に基づく、請求項14に記載の方法。 - GA領域を識別する前に、取得された画像から網膜血管が除去される、請求項1乃至15の何れか1項に記載の方法。
- 眼内の地図状委縮(GA)を分類する方法であって、
眼科診断装置を使用して、前記眼の眼底の画像を取得するステップと、
コンピュータプロセッサを使用して、
前記画像を、前記画像内のGA領域を識別する自動GA識別プロセスに提供するステップと、
第一の尺度を特定するステップと、前記第一の尺度は、識別されたGA領域の周囲に近接し、それに沿った前記画像の領域内の輪郭不均一性尺度又は強度均一性尺度のうちの一方であり、
特定された前記第一の尺度が第一の閾値より高いことに応答して、前記GA領域を高増悪速度GAに分類するステップと、
前記GA領域の特定された分類を電子ディスプレイ上に表示するか、さらに処理するために特定された分類を保存するステップと、を含む方法。 - 前記コンピュータプロセッサは、
前記第一の尺度が前記第一の閾値以下であることに応答して、第二の尺度を特定し、前記第二の尺度は前記輪郭不均一性尺度又は強度均一性尺度の残りの一方であり、
第二の測定値が第二の閾値より高いことに応答して、現在識別されているGA領域を高増悪速度GAとして識別する、請求項17に記載の方法。 - 前記コンピュータプロセッサは、
自動関心対象領域(ROI)識別プロセスを使用して、少なくとも所定の解剖学的ランドマークに基づいて眼底の前記画像内でROIを識別し、前記ROIは前記眼の網膜黄斑を含み、
前記自動GA識別プロセスは、前記ROI内の画像データに限定される、請求項17又は18に記載の方法。 - 前記自動関心対象領域(ROI)識別プロセスは、
前記画像内の血管主要密集部の位置を識別することと、
識別された位置に少なくとも部分的に基づいて視神経乳頭を識別することと、
識別された視神経乳頭と前記画像が左眼のものか右眼のものかの特定を中心窩の探索の基準として使用することと、
前記ROIを前記中心窩の位置に基づいて画定することと、を含む、請求項19に記載の方法。 - 前記ROIは、複数のサブ画像セクタを含み、前記自動GA識別プロセスは、前記ROIの各サブ画像セクタを、サブ画像セクタごとに、GAサブ画像又は非GAサブ画像として分類する、請求項19又は20に記載の方法。
- 各サブ画像セクタは1つのピクセルを含む、請求項21に記載の方法。
- 自動GA識別プロセスに提供する前に、前記画像から網膜血管が除去される、請求項17乃至22の何れか1項に記載の方法。
- 自動GA識別プロセスは、前記画像を、初期GAセグメンテーションを提供する訓練済み機械学習(ML)モデルに提供することを含む、請求項17乃至23の何れか1項に記載の方法。
- 前記MLモデルはサポートベクタマシンである、請求項24に記載の方法。
- 前記MLモデルは、U-Netアーキテクチャに基づく訓練済みニューラルネットワークである、請求項24に記載の方法。
- 前記自動GA識別プロセスは、
MLモデルの結果を、前記初期GAセグメンテーションを開始点として使用する動的輪郭アルゴリズムに提供することを含み、前記動的輪郭アルゴリズムの結果は前記画像内のGA病巣を少なくとも部分的に識別する、請求項24乃至26の何れか1項に記載の方法。 - 前記動的輪郭アルゴリズムは、輪郭成長のエネルギと移動方向を変化させるように改良されたChan-Veseセグメンテーションに基づく、請求項27に記載の方法。
- 前記画像は2次元(2D)ピクセルを含む平面画像であり、前記自動GA識別プロセスは、
識別されたGA領域を3次元(3D)空間にマッピングして、3DマッピングされたGA領域を画定することと、
前記3DマッピングされたGA領域の面積を特定することと、
前記3DマッピングされたGA領域の特定された面積が所定の面積閾値より小さいことに応答して、前記GA領域を非GA領域に再特定することと、を含む、請求項17乃至28の何れか1項に記載の方法。 - 前記輪郭不均一性尺度を特定することは、
識別されたGA領域の周囲に沿ったランダム点の集合を選択することと、
各ランダム点から識別されたGA領域の重心までの距離を特定することと、を含み、
前記輪郭不均一性尺度は特定された距離の変化性に基づく、請求項17乃至29の何れか1項に記載の方法。 - 前記ランダム点の集合は、前記GA領域の周囲に沿って等距離で分散される、請求項30に記載の方法。
- 識別されたGA領域は、前記輪郭不均一性尺度に基づいて「拡散型」表現型に分類される、請求項30又は31に記載の方法。
- 前記強度均一性尺度を特定することは、
識別されたGA領域の周囲に沿ったランダム点の集合を選択することと、
各ランダム点に関する強度変化性尺度を、各ランダム点から延びる周囲の輪郭に垂直な方向に沿ったピクセル強度の山と谷に基づいて特定することと、を含み、
前記強度均一性尺度は前記強度変化性尺度に基づく、請求項17乃至32の何れか1項に記載の方法。 - 識別されたGA領域は、前記強度変化性尺度の少なくとも所定のパーセンテージが所定の変化性閾値より大きいことに応答して、「縞状」表現型に分類される、請求項33に記載の方法。
- 前記強度変化性尺度を特定することは、ヘシアンフィルタ勾配導関数又は方向ガウシアンフィルタの少なくとも一方を使用することを含む、請求項33又は34に記載の方法。
- 眼内の地図状委縮(GA)を分類するシステムであって、
前記眼の眼底の画像を取得するための眼科診断装置と、
コンピュータプロセッサと、
機械学習モデルに基づく表現型分類器と、
ディスプレイ及び/又は記憶手段と、を備え、
請求項1乃至16の何れか1項に記載の方法を実行するように構成されるシステム。 - 眼内の地図状委縮(GA)を分類するシステムであって、
前記眼の眼底の画像を取得するための眼科診断装置と、
コンピュータプロセッサと、
前記画像内のGA領域を識別する自動GA識別プロセッサと、
ディスプレイ及び/又は記憶手段と、を備え、
請求項17乃至35の何れか1項に記載の方法を実行するように構成されるシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962802728P | 2019-02-08 | 2019-02-08 | |
US62/802,728 | 2019-02-08 | ||
PCT/EP2020/000037 WO2020160839A1 (en) | 2019-02-08 | 2020-02-06 | Segmentation and classification of geographic atrophy patterns in patients with age related macular degeneration in widefield autofluorescence images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022520708A true JP2022520708A (ja) | 2022-04-01 |
Family
ID=69960599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021538343A Pending JP2022520708A (ja) | 2019-02-08 | 2020-02-06 | 広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220084210A1 (ja) |
EP (1) | EP3921772A1 (ja) |
JP (1) | JP2022520708A (ja) |
CN (1) | CN113574542A (ja) |
WO (1) | WO2020160839A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017382218B2 (en) | 2016-12-21 | 2023-05-11 | Acucela Inc. | Miniaturized mobile, low cost optical coherence tomography system for home based ophthalmic applications |
EP3809948A4 (en) | 2018-06-20 | 2022-03-16 | Acucela Inc. | MINIATURIZED MOBILE, LOW COST OPTICAL COHERENCE TOMOGRAPHY SYSTEM FOR HOME OPHTHALMIC APPLICATIONS |
JP2023508946A (ja) | 2019-12-26 | 2023-03-06 | アキュセラ インコーポレイテッド | 自宅ベースの眼科用途のための光干渉断層撮影患者整列システム |
US10959613B1 (en) | 2020-08-04 | 2021-03-30 | Acucela Inc. | Scan pattern and signal processing for optical coherence tomography |
EP4195998A1 (en) | 2020-08-14 | 2023-06-21 | Acucela Inc. | System and method for optical coherence tomography a-scan decurving |
US11393094B2 (en) | 2020-09-11 | 2022-07-19 | Acucela Inc. | Artificial intelligence for evaluation of optical coherence tomography images |
AU2021352417A1 (en) | 2020-09-30 | 2023-04-06 | Acucela Inc. | Myopia prediction, diagnosis, planning, and monitoring device |
JP2023547402A (ja) * | 2020-10-23 | 2023-11-10 | ジェネンテック, インコーポレイテッド | マルチモーダル地図状萎縮病変セグメンテーション |
CN116348923A (zh) * | 2020-11-14 | 2023-06-27 | 爱尔康公司 | 使用深度学习的生物特征眼部测量 |
US11497396B2 (en) | 2021-03-24 | 2022-11-15 | Acucela Inc. | Axial length measurement monitor |
CN114019370B (zh) * | 2021-09-29 | 2023-04-28 | 西安交通大学 | 基于灰度图像和轻量级cnn-svm模型的电机故障检测方法 |
CN116805313B (zh) * | 2023-08-21 | 2023-12-01 | 山东大拇指喷雾设备有限公司 | 一种喷雾机喷头的缺陷检测方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549801B1 (en) | 1998-06-11 | 2003-04-15 | The Regents Of The University Of California | Phase-resolved optical coherence tomography and optical doppler tomography for imaging fluid flow in tissue with fast scanning speed and high velocity sensitivity |
US6741359B2 (en) | 2002-05-22 | 2004-05-25 | Carl Zeiss Meditec, Inc. | Optical coherence tomography optical scanner |
US7359062B2 (en) | 2003-12-09 | 2008-04-15 | The Regents Of The University Of California | High speed spectral domain functional optical coherence tomography and optical doppler tomography for in vivo blood flow dynamics and tissue structure |
US7301644B2 (en) | 2004-12-02 | 2007-11-27 | University Of Miami | Enhanced optical coherence tomography for anatomical mapping |
US7365856B2 (en) | 2005-01-21 | 2008-04-29 | Carl Zeiss Meditec, Inc. | Method of motion correction in optical coherence tomography imaging |
US8180134B2 (en) | 2006-09-26 | 2012-05-15 | Oregon Health & Science University | In vivo structural and flow imaging |
EP2538833A4 (en) | 2010-02-08 | 2014-03-12 | Univ Oregon Health & Science | METHOD AND DEVICE FOR ULTRA-SENSITIVE OPTICAL MICROANGIOGRAPHY |
DE102010050693A1 (de) | 2010-11-06 | 2012-05-10 | Carl Zeiss Meditec Ag | Funduskamera mit streifenförmiger Pupillenteilung und Verfahren zur Aufzeichnung von Fundusaufnahmen |
US8433393B2 (en) | 2011-07-07 | 2013-04-30 | Carl Zeiss Meditec, Inc. | Inter-frame complex OCT data analysis techniques |
US8998411B2 (en) | 2011-07-08 | 2015-04-07 | Carl Zeiss Meditec, Inc. | Light field camera for fundus photography |
US9332902B2 (en) | 2012-01-20 | 2016-05-10 | Carl Zeiss Meditec, Inc. | Line-field holoscopy |
US9456746B2 (en) | 2013-03-15 | 2016-10-04 | Carl Zeiss Meditec, Inc. | Systems and methods for broad line fundus imaging |
US9759544B2 (en) | 2014-08-08 | 2017-09-12 | Carl Zeiss Meditec, Inc. | Methods of reducing motion artifacts for optical coherence tomography angiography |
US10582852B2 (en) | 2015-02-05 | 2020-03-10 | Carl Zeiss Meditec Ag | Method and apparatus for reducing scattered light in broad-line fundus imaging |
US9700206B2 (en) | 2015-02-05 | 2017-07-11 | Carl Zeiss Meditec, Inc. | Acquistion and analysis techniques for improved outcomes in optical coherence tomography angiography |
US9757023B2 (en) * | 2015-05-27 | 2017-09-12 | The Regents Of The University Of Michigan | Optic disc detection in retinal autofluorescence images |
-
2020
- 2020-02-06 WO PCT/EP2020/000037 patent/WO2020160839A1/en unknown
- 2020-02-06 CN CN202080007523.2A patent/CN113574542A/zh active Pending
- 2020-02-06 US US17/426,247 patent/US20220084210A1/en active Pending
- 2020-02-06 EP EP20713824.9A patent/EP3921772A1/en active Pending
- 2020-02-06 JP JP2021538343A patent/JP2022520708A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3921772A1 (en) | 2021-12-15 |
WO2020160839A1 (en) | 2020-08-13 |
CN113574542A (zh) | 2021-10-29 |
US20220084210A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220084210A1 (en) | Segmentation and classification of geographic atrophy patterns in patients with age related macular degeneration in widefield autofluorescence images | |
US20220058803A1 (en) | System for oct image translation, ophthalmic image denoising, and neural network therefor | |
US20200394789A1 (en) | Oct-based retinal artery/vein classification | |
US20220160228A1 (en) | A patient tuned ophthalmic imaging system with single exposure multi-type imaging, improved focusing, and improved angiography image sequence display | |
US20230140881A1 (en) | Oct en face pathology segmentation using channel-coded slabs | |
CN114390907A (zh) | 用于创建结构导出的视场先验的机器学习方法 | |
US20230196572A1 (en) | Method and system for an end-to-end deep learning based optical coherence tomography (oct) multi retinal layer segmentation | |
US20230091487A1 (en) | Correction of flow projection artifacts in octa volumes using neural networks | |
Panda et al. | Describing the structural phenotype of the glaucomatous optic nerve head using artificial intelligence | |
US20240127446A1 (en) | Semi-supervised fundus image quality assessment method using ir tracking | |
US20230190095A1 (en) | Method and system for choroid-scleral segmentation using deep learning with a choroid-scleral layer model | |
Kucukgoz et al. | Evaluation of 2D and 3D deep learning approaches for predicting visual acuity following surgery for idiopathic full-thickness macular holes in spectral domain optical coherence tomography images | |
US20230143051A1 (en) | Real-time ir fundus image tracking in the presence of artifacts using a reference landmark | |
US20230410293A1 (en) | Quality maps for optical coherence tomography angiography | |
US20240095876A1 (en) | Using multiple sub-volumes, thicknesses, and curvatures for oct/octa data registration and retinal landmark detection | |
CN116508060A (zh) | 光学相干断层扫描血管造影的质量图 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240424 |