CN115867182A - 用于疾病诊断的系统和方法 - Google Patents
用于疾病诊断的系统和方法 Download PDFInfo
- Publication number
- CN115867182A CN115867182A CN202180018522.2A CN202180018522A CN115867182A CN 115867182 A CN115867182 A CN 115867182A CN 202180018522 A CN202180018522 A CN 202180018522A CN 115867182 A CN115867182 A CN 115867182A
- Authority
- CN
- China
- Prior art keywords
- spectral
- retina
- image
- disease
- spatio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 201000010099 disease Diseases 0.000 title claims abstract description 55
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 55
- 238000003745 diagnosis Methods 0.000 title description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 111
- 210000001525 retina Anatomy 0.000 claims abstract description 83
- 230000007170 pathology Effects 0.000 claims abstract description 48
- 239000000090 biomarker Substances 0.000 claims abstract description 40
- 230000004766 neurogenesis Effects 0.000 claims abstract description 10
- 230000003595 spectral effect Effects 0.000 claims description 103
- 102000013498 tau Proteins Human genes 0.000 claims description 67
- 108010026424 tau Proteins Proteins 0.000 claims description 67
- 230000002207 retinal effect Effects 0.000 claims description 48
- 208000024827 Alzheimer disease Diseases 0.000 claims description 28
- 230000001272 neurogenic effect Effects 0.000 claims description 27
- 208000005145 Cerebral amyloid angiopathy Diseases 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000004256 retinal image Effects 0.000 claims description 15
- 102000014461 Ataxins Human genes 0.000 claims description 14
- 108010078286 Ataxins Proteins 0.000 claims description 14
- 206010008025 Cerebellar ataxia Diseases 0.000 claims description 14
- 208000023105 Huntington disease Diseases 0.000 claims description 14
- 208000026072 Motor neurone disease Diseases 0.000 claims description 14
- 208000009415 Spinocerebellar Ataxias Diseases 0.000 claims description 14
- 201000004562 autosomal dominant cerebellar ataxia Diseases 0.000 claims description 14
- 208000005264 motor neuron disease Diseases 0.000 claims description 14
- 208000002320 spinal muscular atrophy Diseases 0.000 claims description 14
- 102000009091 Amyloidogenic Proteins Human genes 0.000 claims description 10
- 108010048112 Amyloidogenic Proteins Proteins 0.000 claims description 10
- 230000014616 translation Effects 0.000 claims description 9
- 208000018737 Parkinson disease Diseases 0.000 claims description 8
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 208000024777 Prion disease Diseases 0.000 claims description 7
- 201000006417 multiple sclerosis Diseases 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 description 43
- 230000003287 optical effect Effects 0.000 description 38
- 238000004422 calculation algorithm Methods 0.000 description 32
- 238000013473 artificial intelligence Methods 0.000 description 27
- 210000001519 tissue Anatomy 0.000 description 27
- 238000010801 machine learning Methods 0.000 description 23
- 238000013528 artificial neural network Methods 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 210000004556 brain Anatomy 0.000 description 15
- 102000004169 proteins and genes Human genes 0.000 description 15
- 108090000623 proteins and genes Proteins 0.000 description 15
- 210000004204 blood vessel Anatomy 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000011218 segmentation Effects 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 108010090849 Amyloid beta-Peptides Proteins 0.000 description 8
- 102000013455 Amyloid beta-Peptides Human genes 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 7
- 238000000701 chemical imaging Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000005755 formation reaction Methods 0.000 description 7
- 238000000275 quality assurance Methods 0.000 description 7
- 238000002835 absorbance Methods 0.000 description 6
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 6
- 229910052753 mercury Inorganic materials 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 210000002682 neurofibrillary tangle Anatomy 0.000 description 5
- 238000012014 optical coherence tomography Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000000551 statistical hypothesis test Methods 0.000 description 5
- 229910052724 xenon Inorganic materials 0.000 description 5
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 5
- 101000979333 Homo sapiens Neurofilament light polypeptide Proteins 0.000 description 4
- 102100023057 Neurofilament light polypeptide Human genes 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008397 ocular pathology Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000001069 Raman spectroscopy Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- DZHSAHHDTRWUTF-SIQRNXPUSA-N amyloid-beta polypeptide 42 Chemical compound C([C@@H](C(=O)N[C@@H](C)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@H](C(=O)NCC(=O)N[C@@H](CO)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CCCCN)C(=O)NCC(=O)N[C@@H](C)C(=O)N[C@H](C(=O)N[C@@H]([C@@H](C)CC)C(=O)NCC(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](C(C)C)C(=O)NCC(=O)NCC(=O)N[C@@H](C(C)C)C(=O)N[C@@H](C(C)C)C(=O)N[C@@H]([C@@H](C)CC)C(=O)N[C@@H](C)C(O)=O)[C@@H](C)CC)C(C)C)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@@H](NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@@H](NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)CNC(=O)[C@H](CO)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC=1N=CNC=1)NC(=O)[C@H](CCCNC(N)=N)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@H](C)NC(=O)[C@@H](N)CC(O)=O)C(C)C)C(C)C)C1=CC=CC=C1 DZHSAHHDTRWUTF-SIQRNXPUSA-N 0.000 description 3
- 210000005013 brain tissue Anatomy 0.000 description 3
- 210000003169 central nervous system Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000028709 inflammatory response Effects 0.000 description 3
- 208000002780 macular degeneration Diseases 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000001328 optic nerve Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000026731 phosphorylation Effects 0.000 description 3
- 238000006366 phosphorylation reaction Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000000985 reflectance spectrum Methods 0.000 description 3
- 208000037259 Amyloid Plaque Diseases 0.000 description 2
- 101710137189 Amyloid-beta A4 protein Proteins 0.000 description 2
- 101710151993 Amyloid-beta precursor protein Proteins 0.000 description 2
- 102100022704 Amyloid-beta precursor protein Human genes 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 102000008763 Neurofilament Proteins Human genes 0.000 description 2
- 108010088373 Neurofilament Proteins Proteins 0.000 description 2
- 238000000692 Student's t-test Methods 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 102100040347 TAR DNA-binding protein 43 Human genes 0.000 description 2
- 101710150875 TAR DNA-binding protein 43 Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- IQFVPQOLBLOTPF-HKXUKFGYSA-L congo red Chemical compound [Na+].[Na+].C1=CC=CC2=C(N)C(/N=N/C3=CC=C(C=C3)C3=CC=C(C=C3)/N=N/C3=C(C4=CC=CC=C4C(=C3)S([O-])(=O)=O)N)=CC(S([O-])(=O)=O)=C21 IQFVPQOLBLOTPF-HKXUKFGYSA-L 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003446 ligand Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000004126 nerve fiber Anatomy 0.000 description 2
- 230000004770 neurodegeneration Effects 0.000 description 2
- 210000005044 neurofilament Anatomy 0.000 description 2
- 238000006213 oxygenation reaction Methods 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ZCXUVYAZINUVJD-AHXZWLDOSA-N 2-deoxy-2-((18)F)fluoro-alpha-D-glucose Chemical compound OC[C@H]1O[C@H](O)[C@H]([18F])[C@@H](O)[C@@H]1O ZCXUVYAZINUVJD-AHXZWLDOSA-N 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000002177 Cataract Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 208000031124 Dementia Alzheimer type Diseases 0.000 description 1
- 206010012667 Diabetic glaucoma Diseases 0.000 description 1
- 101000941893 Felis catus Leucine-rich repeat and calponin homology domain-containing protein 1 Proteins 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 102100040243 Microtubule-associated protein tau Human genes 0.000 description 1
- 101710115937 Microtubule-associated protein tau Proteins 0.000 description 1
- 206010056677 Nerve degeneration Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000036110 Neuroinflammatory disease Diseases 0.000 description 1
- 208000022873 Ocular disease Diseases 0.000 description 1
- -1 Phe amino acids Chemical class 0.000 description 1
- 206010035148 Plague Diseases 0.000 description 1
- 229920000995 Spectralon Polymers 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 102000003802 alpha-Synuclein Human genes 0.000 description 1
- 108090000185 alpha-Synuclein Proteins 0.000 description 1
- 108010064539 amyloid beta-protein (1-42) Proteins 0.000 description 1
- 230000006933 amyloid-beta aggregation Effects 0.000 description 1
- 230000003941 amyloidogenesis Effects 0.000 description 1
- 206010002022 amyloidosis Diseases 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 210000001130 astrocyte Anatomy 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 239000013068 control sample Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002536 laser-induced breakdown spectroscopy Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006724 microglial activation Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000003959 neuroinflammation Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 210000001428 peripheral nervous system Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 230000000069 prophylactic effect Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000004286 retinal pathology Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000004869 vascular alteration Effects 0.000 description 1
- 208000011733 vascular alteration Diseases 0.000 description 1
- 230000006439 vascular pathology Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/68—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving proteins, peptides or amino acids
- G01N33/6893—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving proteins, peptides or amino acids related to diseases not provided for elsewhere
- G01N33/6896—Neurological disorders, e.g. Alzheimer's disease
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
- A61B5/4041—Evaluating nerves condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2333/00—Assays involving biological materials from specific organisms or of a specific nature
- G01N2333/435—Assays involving biological materials from specific organisms or of a specific nature from animals; from humans
- G01N2333/46—Assays involving biological materials from specific organisms or of a specific nature from animals; from humans from vertebrates
- G01N2333/47—Assays involving proteins of known structure or function as defined in the subgroups
- G01N2333/4701—Details
- G01N2333/4709—Amyloid plaque core protein
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Psychiatry (AREA)
- Developmental Disabilities (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Biochemistry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Psychology (AREA)
- Proteomics, Peptides & Aminoacids (AREA)
- Biotechnology (AREA)
Abstract
本公开提供了用于诊断疾病的系统和方法。在一些方面,提供了一种成像系统,该成像系统包括被配置为用光照亮眼睛的视网膜的光源、被配置为接收从视网膜返回的光以生成视网膜的一个或多个空间‑光谱图像的一个或多个成像设备,以及被配置为接收视网膜的所述一个或多个空间‑光谱图像、评估所述一个或多个空间‑光谱图像并识别指示神经发生病理的一个或多个生物标志物的计算设备。
Description
相关应用
本申请要求2020年1月23日提交的美国临时申请序列No.62/965,080和2020年7月31日提交的美国临时申请序列No.63/059,349的权益和优先权,所有这些都通过引用整体并入本文。
技术领域
本公开涉及通过使用光学技术测量和分析眼睛的特性来诊断疾病(例如阿尔茨海默病)的系统和方法。
背景技术
阿尔茨海默病(AD)是一种使人衰弱且致命的神经退行性疾病。疾病的确认通常在死后执行。一些现有的常规诊断系统涉及高侵入性规程或成像设备,由于成本、复杂性或有害放射性示踪剂的使用,这些规程常常无法访问或不合适。
需要一种非侵入性检测系统,临床医生可容易地操作和访问,以筛选患者群体,以便早期检测AD相关联的病理、诊断和跟踪患者对预防或治疗干预的反应。
视神经和视网膜是大脑的发育产物,并且影响大脑的许多状况也实施在这些结构中,诸如淀粉样蛋白β(Aβ)蛋白积累、对视网膜层的结构的改变以及化学组成、结构和功能的其它改变。使用各种基于光的非侵入性技术可以轻松检查眼睛,以识别这些物理改变,从而使光学分析非常适合当前的需求。
发明内容
本公开提供了用于诊断疾病的系统和方法。在一些方面,提供了一种成像系统,该成像系统包括被配置为用光照亮眼睛的视网膜的光源、被配置为接收从视网膜返回的光以生成视网膜的一个或多个空间-光谱图像的一个或多个成像设备,以及被配置为接收视网膜的一个或多个空间-光谱图像、评估一个或多个空间-光谱图像并识别指示神经发生病理的一个或多个生物标志物的计算设备。在一些实施例中,一个或多个成像设备包括光谱传感器。例如,光谱传感器可以是高光谱传感器或多光谱传感器。
在一些实施例中,神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化、多发性硬化、朊病毒病、运动神经元病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓性肌萎缩症(SMA)、脑淀粉样血管病(CAA)。在一些实施例中,生物标志物包括淀粉样蛋白或Tau蛋白形成。
在一些实施例中,该系统还可以包括视网膜查看设备,其中一个或多个成像设备和光源被集成到视网膜查看设备中。例如,视网膜查看设备是眼底相机。在一些实施例中,一个或多个空间-光谱图像包括多个视网膜区域的光谱图像。在一些实施例中,对于多个视网膜区域中的每一个,一个或多个空间-光谱图像包括多个波长范围的光谱图像。光谱图像可以包括关于对应视网膜区域的空间信息。空间信息可以包括对应视网膜区域中的纹理、形成和图案。在一些实施例中,一个或多个空间-光谱图像的评估使用图像的逐像素分析。
在一些实施例中,可以提供一种成像系统,其包括:光源,被配置为用光照亮眼睛的视网膜;一个或多个成像设备,被配置为接收从视网膜返回的光以生成视网膜的至少一个光谱图像和至少一个空间图像;以及计算设备,被配置为接收视网膜的至少一个光谱图像和至少一个空间图像、评估图像并识别指示神经发生疾病的一个或多个生物标志物。在一些实施例中,一个或多个成像设备包括被配置为生成至少一个空间图像的空间相机和被配置为生成至少一个光谱图像的高光谱相机。在一些实施例中,一个或多个成像设备包括被配置为生成包括光谱图像和空间图像的图像的高光谱相机。在一些实施例中,生物标志物包括淀粉样蛋白或Tau蛋白形成。
在一些实施例中,提供了一种用于诊断神经发生疾病的方法,并且可以包括用光源用光照亮眼睛的视网膜,由一个或多个成像设备生成至少一个空间-光谱图像,一个或多个成像设备被配置为接收从视网膜返回的光、评估至少一个空间-光谱图像,该图像由被配置为从一个或多个成像设备接收至少一个空间-光谱图像的计算设备评估,并识别指示神经发生疾病的一个或多个生物标志物。
在一些实施例中,至少一个空间-光谱图像的评估使用图像的逐像素分析。在一些实施例中,一个或多个成像设备包括光谱传感器。在一些实施例中,光谱传感器包括高光谱传感器或多光谱传感器。在一些实施例中,神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化、多发性硬化、朊病毒病、运动神经元病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓肌萎缩(SMA)、脑淀粉样血管病(CAA)。在一些实施例中,生物标志物包括淀粉样蛋白或Tau蛋白形成。
在一些实施例中,提供了一种用于诊断神经发生疾病的方法,该方法包括由计算机设备获得包括来自视网膜的一个或多个区域的多个空间-光谱图像的视网膜图像马赛克,由计算设备分析多个空间-光谱图像以识别指示神经发生病理的一个或多个生物标志物,并由计算设备生成指示生物标志物在视网膜的一个或多个区域中存在或不存在的数字表示。
在一些实施例中,还可以包括从数字表示预测神经发生病理的概率。在一些实施例中,数字表示是覆盖在视网膜图像马赛克上的热图。在一些实施例中,分析多个空间-光谱图像包括使用每个图像的逐像素分析。在一些实施例中,多个空间-光谱图像由包括光谱传感器的一个或多个成像设备生成。例如,光谱传感器可以包括高光谱传感器或多光谱传感器。在一些实施例中,神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化、多发性硬化、朊病毒病、运动神经元病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓肌萎缩(SMA)、脑淀粉样血管病(CAA)。在一些实施例中,生物标志物包含淀粉样蛋白或Tau蛋白形成。
在一些实施例中,提供了一种成像系统,其包括被配置为用光照亮眼睛的视网膜的光源、被配置为接收从视网膜返回的光以生成视网膜的一个或多个空间-光谱图像的一个或多个成像设备,以及计算设备。计算设备可以被配置为从视网膜的一个或多个区域获得包括一个或多个空间-光谱图像的视网膜图像马赛克、分析一个或多个空间-光谱图像以识别指示神经发生病理的生物标志物,并生成指示生物标志物在视网膜的一个或多个区域中的存在或不存在的数字表示。
在一些实施例中,可以使用任何系统或方法,使得视网膜的一个或多个血管被分割,并且生物标志物沿着一个或多个血管或血管壁被识别。
附图说明
在下面的详细描述中通过示例性实施例的非限制性示例的方式参考所指出的多个附图进一步描述了本公开,其中相像的附图标记在附图的几个视图中表示相似的部分,其中:
图1A示出了具有光源和成像设备的系统的示例性实施例的示意图;
图1B示出了具有包含在视网膜查看设备内的光源和成像设备的系统的示例性实施例的示意图;
图1C示出了具有位于视网膜查看设备外部的光源和成像设备的系统的示例性实施例的示意图;
图1D示出了具有包含在视网膜查看设备内的成像设备和独立于视网膜查看设备的光源的系统的示例性实施例;
图1E示出了系统的示例性实施例的更详细示意图;
图2A图示了用来自光谱仪的对应线扫描获取的示例性眼底相机视图;
图2B示出了要分割的视盘的区域;
图3A图示了示例性眼底相机;
图3B、3C和3D图示了来自光谱仪、高光谱相机和彩色眼底相机的示例性图像;
图4是用于处理单光谱信号的方法的示例性流程图;
图5A图示了阳性和阴性淀粉样蛋白状态受试者的盘的光学密度光谱的示例性图;
图5B图示了阳性和阴性淀粉样蛋白状态受试者的中央凹的光学密度光谱的示例图;
图5C图示了来自颞盘区域的平均结果的示例性图;
图6图示了具有淀粉样蛋白状态的颞区中反射率信号的波长显著性的示例性图;
图7A和7B图示了示出具有淀粉样蛋白状态的颞区中反射率与光学密度信号比的波长显著性的示例性曲线图;
图8是用于波长特征识别的方法的示例性流程图;
图9A示出了采用来自视网膜成像的各种特征的集合预测模型的示例;
图9B示出了采用来自视网膜成像的各种特征的集合预测模型的示例;
图10A图示了从集合模型计算的概率淀粉样蛋白状态的示例性图;
图10B图示了用于根据预测模型对淀粉样蛋白状态进行分类的接收器操作者曲线的示例性图;
图11图示了用于处理高光谱或多光谱图像的集合的方法的示例性实施例;
图12图示了从视网膜的单个位置以多个波长拍摄的多个3D图像的表示的实施例;
图13图示了在视网膜上6个不同位置拍摄的可以用作CNN输入的图像的堆栈;
图14图示了在覆盖在视网膜的图像上的热图的6个不同位置处拍摄的图像的示例性表示;
图15A示出了在来自患有阿尔茨海默病的受试者的代表性组织学载玻片中识别出的淀粉样蛋白和tau蛋白;
图15B示出了来自健康受试者的代表性组织学载玻片中缺乏淀粉样蛋白和/或tau蛋白;
图16示出了通过来自与图15A和15B中的受试者相同的受试者的脑切片的光谱透射结果;
图17A是图示用于分析视网膜的血管的方法的示例性流程图;
图17B图示了与图17A中的方法相关的图像的示例性表示;
图17C图示了使用AI分割视网膜中的血管的示例性表示;
图18描绘了示例性基于计算机的系统和平台的框图;
图19描绘了示例性基于计算机的系统和平台的框图;
图20图示了云计算/体系架构的示例性实施方式的示意图;以及
图21图示了云计算/体系架构的示例性实施方式的示意图。
虽然上述附图阐述了当前公开的实施例,但如在讨论中所指出的,还设想其它实施例。本公开通过表示而非限制的方式呈现说明性实施例。本领域技术人员可以设计许多其它修改和实施例,它们落入当前公开的实施例的原理的范围和精神内。
具体实施方式
以下描述仅提供示例性实施例,并不旨在限制本公开的范围、适用性或配置。更确切地说,示例性实施例的以下描述将为本领域技术人员提供用于实现一个或多个示例性实施例的有效描述。将理解的是,在不脱离当前公开的实施例的精神和范围的情况下,可以对元件的功能和布置进行各种改变。下面结合附图对实施例进行描述。各个附图中完全相同、相似或完全相同作用的元件用完全相同的附图标记表示,并且部分省略这些元件的重复描述以避免冗余。
本方法和系统可以被用于检测一种或多种阿尔茨海默病(AD)相关联的病理或与其它神经发生疾病相关联的病理的存在,诸如例如帕金森病(PD)、肌萎缩侧索硬化(ALS)、多发性硬化症、朊病毒病、运动神经元疾病(MND)、亨廷顿病(HD)、脊髓小脑性共济失调(SCA)、脊髓性肌萎缩(SMA)、脑淀粉样血管病(CAA)、其它形式的痴呆,以及类似的大脑或神经系统疾病。在一些实施例中,本公开的系统和方法可以被用于检测Aβ、tau、磷酸化tau和指示神经发生疾病,特别是阿尔茨海默病的其它神经元蛋白的蛋白质聚集体。在一些实施例中,检测到的蛋白质聚集体可以包括Tau神经原纤维缠结、β淀粉样蛋白沉积物或瘟疫、可溶性β淀粉样蛋白聚集体或淀粉样蛋白前体蛋白中的至少一种。这些检测到的蛋白质可以指示大脑中的病理,因为它们可以与大脑淀粉样蛋白和/或大脑tau相关联。该系统允许识别高危人群、诊断和跟踪患者对治疗的反应。
在一些实施例中,本公开的系统和方法可以检测指示tau病理或tau病理的生物标志物,包括但不限于总(T-tau)、Tau PET和磷酸化tau(P-tau)。在一些实施例中,指示tau病理的生物标志物包括但不限于磷酸化配对螺旋丝tau(pTau)、早期Tau磷酸化、晚期Tau磷酸化、pTau181、pTau217、pTau231、总Tau、血浆Aβ42/40、神经原纤维缠结(NFT)和错误折叠的tau蛋白聚集体。在一些实施例中,可以检测神经丝轻蛋白(NFL)、神经丝(NF)或异常/升高的神经丝轻蛋白(NFL)浓度。在一些实施例中,可以检测神经发生疾病或神经元损伤的替代标志物,例如,视网膜和视神经体积减少或其它变化、神经感觉视网膜内的退化和视盘轴突损伤。在一些实施例中,可以检测炎症反应或神经炎症,并且可以指示神经发生疾病。在一些实施例中,可以在视网膜组织中检测到这种炎症反应。这种反应的示例包括但不限于视网膜小胶质细胞激活、退化的神经节细胞(神经节神经元变性)或星形胶质细胞激活。可以用于本公开的方法和系统的其它蛋白质聚集体或生物标志物包括α突触核蛋白和TDP43(TAR DNA结合蛋白-43)以及例如在用于tau病理的生物标志物(Molecular and CellularNeuroscience,第97卷,2019年6月,第18-33页)中描述的其它蛋白质聚集体或生物标志物,其通过引用整体并入本文。在一些实施例中,本公开的系统和方法可以被用于检测指示患者眼组织、脑组织、中枢神经系统组织、外周神经系统或在脑脊液(CSF)或此类形成或其生物标志物出现的任何其它组织中的一种或多种神经发生疾病的蛋白质聚集体或生物标志物的存在与否。在一些实施例中,本公开的系统和方法在不使用染料或配体的情况下检测指示一种或多种神经发生疾病的蛋白质聚集体或生物标志物。在一些实施例中,染料或配体可以被用于辅助当前公开的方法和系统。在一些实施例中,可以使用解剖MRI、FDG PET、血浆测试和/或CSF总Tau来确认光学测试的结果。
在一些实施例中,提供了一种基于眼光的非侵入性检测系统,用于检测眼睛中与神经发生疾病相关的病状。该系统可以被用于对部分眼底(诸如视网膜)进行光学检查,以在患者的眼组织、脑组织、中枢神经系统组织、脑脊液(CSF)或此类形成或其生物标志物出现的任何其它组织中寻找AD相关联得病理的标志。该设备是基于光的工具,其提供可访问的非侵入性程序,用于识别阿尔茨海默病的高危人群、诊断、跟踪治疗和干预效果。在一些实施例中,可以通过首先使用第一成像模态确定要询问的组织的特定区域来检测疾病。这个检测到的信息可以被用于指导第二成像模态以确定一种或多种AD相关联病理的存在,包括但不限于蛋白质聚集体,蛋白质聚集体包括以下至少一种:Tau神经原纤维缠结、β淀粉样蛋白沉积物、可溶性β淀粉样蛋白聚集体或淀粉样蛋白前体蛋白。例如,第一成像模态可以被用于识别视网膜中血管的位置,然后第二成像模态可以被用于分析血管的光谱特征,其中AD相关联的病理可以更可能明显。该系统允许识别高危人群、诊断和跟踪患者对治疗的反应。
成像系统
在一些实施例中,用于诊断诸如阿尔茨海默氏病之类的疾病的系统包括视网膜查看设备、用于照亮视网膜的光源,以及用于根据由视网膜从光源反射并由视网膜查看设备接收的光产生视网膜的测量或图像的成像设备。视网膜查看设备可以是被配置为收集从眼睛的视网膜和/或眼底的其它部分反射的光的任何光学组件,诸如一个或多个透镜的配置。在一些实施例中,该系统还可以包括用于分析成像数据的计算机系统。
如图1A中所示,被配置为捕获视网膜的一个或多个图像以用于病理检测的视网膜成像系统可以包括成像设备102和光源103。在一些实施例中,成像设备可以是被配置为拍摄视网膜的一个或多个空间-光谱图像的高光谱或多光谱相机的形式,如下文将更详细讨论的。在一些实施例中,成像设备和光源可以放置在壳体115内,光学元件104被配置为将来自光源的光指引到眼睛105的视网膜,并且将光从视网膜反射到成像设备。在一些实施例中,壳体115可以是手持式壳体。在一些实施例中,成像设备102、光源103或两者可以与计算装置106通信以获得和分析病理数据。
在如图1B中所示的一些实施例中,成像设备102和光源103可以集成到具有光学元件104的视网膜查看设备101(例如,眼底相机)中(带有或不带有壳体115),光学元件104被配置为将来自光源的光指引到眼睛105的视网膜,并将从视网膜反射的光指引到成像设备。来自成像设备的输出耦合到计算设备106。计算设备还可以被配置为控制一个或多个成像设备的设置,包括图像设置以及扫描和定位设置。在一些实施例中,102和103可以集成到视网膜查看设备101中,诸如眼底相机。
图1C示出了其中成像设备102和光源103在视网膜查看设备101外部的实施例,其中光学元件104被配置为通过外部端口与成像设备和光源耦合。图1D示出了其中光源103独立于视网膜查看设备101的实施例。
图1E是其中来自眼睛的眼底的空间光谱可以用具有外部相机端口的诸如眼底相机(即,Topcon NW8、EX或DX)之类的视网膜查看设备101来获取的实施例的更详细示意图。照明由光源103提供,该光源103可以是集成在眼底相机内的氙气闪光灯,并且光由包括眼底相机物镜的光学元件104指向眼睛。光学元件104还接收从眼睛反射的光并将其指向外部相机端口。场镜107附接到眼底相机的外部相机端口。离开场镜的光被分束器108拆分成两个光束路径。来自分束器的光束路径的相对强度可以是50/50、30/70或其它组合,以优化由每个成像设备收集的信号。分束器的一个光束路径通过60mm焦距微距透镜110,然后到达成像设备113,该成像设备可以是光谱仪111,诸如Specim VIR V10E或Specim VNIR V10E,具有相机112,诸如PCO像素飞相机。分束器108的另一个光束路径通过60mm焦距微距透镜109并连接到成像设备102,诸如数字单透镜反光相机(即,佳能E90)或快照高光谱成像仪(即,Ximea MQ022HG-IM-SM4X4-VIS)。来自成像设备102和113的输出耦合到计算设备106。触发机构114可以耦合到成像设备以同步它们的定时,并且触发机构可以耦合到计算设备以控制触发信号。触发机构还可以控制光源的定时,诸如氙气灯的闪光,或者在其它实施例中,眼底相机的氙气闪光灯可以触发成像设备上的图像采集,使得眼睛被氙气闪光灯照亮时它们捕获眼睛的图像。使用眼底相机,可以获取眼底的各种视图,如图2A中所示。获取的眼底相机视图在图2A中示出,具有来自光谱仪的对应线扫描。图3A图示了示例性眼底相机,并且图3B-3D图示了来自光谱仪、高光谱相机和彩色眼底相机的示例性图像。
光源可以是宽带光源,其发射宽光谱的光,例如在UV、可见光、近红外和/或红外波长范围内,或者它可以是发射窄光谱或单一波长的光的窄带光源。光源可以发射单个连续光谱或者它可以发射多于一个不连续光谱。光源可以发射具有恒定波长范围和强度的光,或者波长和强度可以是可调整的。光源可以由单个光源或上述相同或不同类型的多个光源的组合构成。光源可以是氙灯、汞灯、LED或任何其它光源。光源可以使用被配置为收集从视网膜反射的光的相同光学组件通过视网膜查看设备将光引向视网膜,或者它可以通过不同的光路将光引向视网膜。
在一些实施例中,一个或多个滤光器可以被用于过滤光源的输出或过滤从视网膜反射的光,或过滤进入一个或多个成像设备的光,以便仅选择的波长的光被一个或多个成像设备接收。滤光器可以是可调整的或可切换的(即,滤光轮或声-光可调滤光器),使得可以选择一个或多个波长或波长范围的光同时或依次通过滤光器。
成像设备可以产生空间图像、光谱测量或空间-光谱图像。空间图像是具有每个图像像素的单个光强度值的二维图像,诸如由单色(灰度)相机产生。也可以使用诸如光学相干断层扫描(OCT)、共焦显微术或其它的成像设备来产生三维空间图像。光谱测量是对光的波长分量的测量,诸如由光学光谱仪产生的。光谱测量可以是窄或宽的波长范围,并且可以是连续或不连续的一组或波长范围的集合(光谱带)。可以基于吸光度、反射率、波长移位(诸如拉曼光谱,其测量相对于窄带光源(诸如激光)的波长移位)或其它光谱特性来进行光谱测量。成像设备可以是相机、光谱仪、高光谱设备、多光谱设备、RGB相机、显微镜(常规或共焦)或光学相干断层扫描系统中的一个或多个,其包含被配置为接收图像并与计算机通信以传输图像进行分析的成像设备(例如相机)。成像设备可以是独立设备或传感器的形式,以结合到视网膜查看设备或类似设备中。
空间-光谱图像(或简称为“空间光谱”或“光谱图像”)是具有每个图像像素的光的光谱测量的二维图像。例如,光谱空间图像可以被视为其中第三维是光谱的3D图像。在一些实施例中,空间-光谱图像可以包括与解剖位置相关的空间信息。在一些实施例中,空间-光谱图像可以包括基于捕获图像的不同波长可以看到的成像区域中与图案、形成和/或纹理相关的信息。例如,可以在一个或多个但不是所有波长上观察到某些病理形成。空间-光谱图像可以由高光谱相机、多光谱相机或通过二维扫描点光谱仪或一维扫描线光谱仪(也称为推扫式或拂扫式成像仪)产生。线光谱仪也可以产生一维空间-光谱图像,对沿着线的每个像素进行光谱测量,无需扫描(即,1xn),并且点光谱仪无需扫描即可产生点“图像”(即,1x1)。一些成像技术还允许产生三维光谱图像,其中为三维体积中的每个像素产生光谱图像。一般而言,多光谱相机倾向于产生空间分辨率更高但光谱分辨率较低的图像,诸如彩色(RGB)相机(它测量三个波长分量,但其它多光谱相机可以测量10个或更多个波长分量或光谱带)而高光谱相机往往会产生光谱分辨率较高但空间分辨率较低的图像。扫描光谱仪可以产生具有高空间分辨率和高光谱分辨率的图像,但要求附加的扫描光学器件和软件。也可以使用单色相机,并通过用不同波长的光照射目标(通过改变光源和/或从光源发射的光的波长,和/或通过改变在光源输出处使用的滤光片)或通过在光源、目标和相机之间的光路中的任何点处放置滤光器以过滤由相机接收的光来依次测量不同波长,产生空间-光谱图像。
还可以通过将每个像素处的单独波长分量测量组合成用于那个像素处的单个强度值,从空间-光谱图像产生纯空间图像,使得可以使用高光谱相机来产生空间光谱和空间图像两者。在一些实施例中,光源和/或成像设备可以包含在与视网膜查看设备相同的壳体内,可以附接到视网膜查看设备,或者可以与视网膜查看设备分离。例如,眼底相机可以被用于通过提供宽带照明和成像光学器件对眼底进行成像,包括用于捕获眼睛的眼底的图像的集成或外部相机。在一些实施例中,可以使用多于一个成像设备同时或依次捕获图像。可以这样做以便使用不同的成像设备获得具有高空间分辨率的图像和具有高光谱分辨率的图像。也可以这样做,以便可以分析来自第一成像设备的图像以识别空间和/或光谱特征并确定应当使用哪个第二成像设备和/或视网膜的哪些位置或部分用第二成像设备来成像。在一些情况下,代替使用第二成像设备,第一成像设备可以与不同的设置一起使用以捕获具有不同空间和/或光谱特征的视网膜的第二图像。在一些实施例中,第一成像设备可以与视网膜查看设备耦合以产生第一图像,然后第二成像设备可以与视网膜查看设备耦合以产生第二图像。
在一些实施例中,分束器(诸如部分反射镜)可以耦合到视网膜查看设备并被用于同时在耦合到分束器的两个或更多个成像设备之间拆分由视网膜查看设备收集的光(以任何强度比)。在一些实施例中,光束重定向设备(诸如可移动的反射镜)可以耦合到视网膜查看设备并被用于将由视网膜查看设备收集的光(以任何时间比)依次重定向到两个或更多个成像设备。两个或更多个分束器和/或光束重定向器也可以被串联使用以在三个或更多个成像设备之间拆分和/或重定向光。一般而言,该系统可以由(使用内部集成相机)提供照明并对眼睛后部成像的眼底相机、耦合到眼底相机的外部相机端口的分束器、耦合到分束器的第一输出以获取空间-光谱图像的高光谱或多光谱相机,以及耦合到分束器的第二输出以获取跨眼底的后表面的点或线的高分辨率光谱测量的光谱仪组成。
在一些实施例中,成像设备的输出可以耦合到计算设备,诸如计算机(PC或膝上型计算机)。在一些实施例中,光谱图像可以从空间光谱成像仪读取到计算设备,并且可以使用先前获取的汞灯光谱或具有明确定义的光谱特点的其它光源来执行波长校准。汞光谱中峰的波长的位置具有经由NIST标准明确定义的特征波长。汞灯光谱中已知的波长和峰的位置可以与光谱成像设备测得的光谱进行比较,并且那些波长和那些峰的位置出现在测得的光谱中的像素,从而允许像素要为图像计算的波长映射以及要知道的后续图像中的光波长。测量汞灯峰的光谱图像中的像素可以指派给那些峰的已知波长。通过注意测量每个已知汞灯峰值的像素,可以计算插值函数以将每个空间像素映射到波长值,并且这个插值函数可以被用于在后续光谱测量中正确指派每个像素的波长值。
在一些实施例中,可以在不同的光谱或空间图像之间执行配准以确保图像之间的空间对准。这可以通过识别两个或更多个图像中的对应空间特征并移动(平移和/或旋转)图像的位置以使这些空间特征在共同配准的坐标系中重叠来完成。然后可以使用为每个图像计算出的共同配准的坐标系的移位来移位后续图像。在一些实施例中,当同时使用两个或更多个成像设备时,可以执行图像捕获的触发以确保时间的对准。这可以通过将共用触发线连接到所有成像设备并手动或从计算机递送触发信号以捕获时间同步的图像来完成。
可以对光谱图像进行区域分割以识别眼睛的各种组成部分中的像素,包括视盘(神经头)、视网膜和中央凹,如图2A中所示。此外,视盘内的区域还可以分割成更具体的组成部分,包括颞缘、鼻缘、下缘、上缘和杯状区域,如图2B中所示。可以以多种方式执行眼睛的成像部件的分割。在一些实施例中,可以手动执行分割。在一些实施例中,分割可以通过自动分割算法来执行。在一些实施例中,视盘的颞区中的像素用在后续的计算中以确定指示个体像素的淀粉样蛋白和tau状态的度量。从其它区域提取的值还可以包含与个体的淀粉样蛋白或tau状态相关的信息,以及与其它眼部或全身病理相关的信息。例如,从其它区域提取的值可以包含可通过光谱成像测量的淀粉样蛋白或tau蛋白沉积物,或者可以表现出这些蛋白质对组织的影响。此外,其它区域可以包含与眼底其它病理相关的信息,诸如黄斑变性和糖尿病视网膜病变,这些信息也可以通过光谱成像进行测量。
单光谱分析
图4图示了用于处理单个光谱信号的方法的示例性实施例。在步骤300中,从患者的一只或两只眼睛中的视网膜的一个或多个区域获得光谱信息。在步骤302中,可以评估与图像相关联的光谱信息以确定指示病理的一种或多种模式。在步骤304中,确定识别出的图案的重要性,并且可以在步骤306中诊断出一种或多种病状。
在一些实施例中,所获取的光谱的光学密度和/或反射率可以被用于确定淀粉样蛋白或tau形成的存在或不存在。下面介绍确定光学密度和反射率的方法。此外,本公开提供了一种用于识别光学密度和反射率的(一个或多个)波长范围以及光学密度和反射率比的方法,这些对于淀粉样蛋白或tau形成的存在或不存在具有重要意义。
对相应区域(视盘区域、视网膜、中央凹等)中的光谱值进行空间求平均,以产生用于每个区域的平均光谱Save,其中Save是该区域中包含的所有像素值的平均值。
来自每个区域的平均光谱与先前获取的白色参考光谱Sref结合使用以计算平均光学密度(OD)。白色参考光谱Sref通过对漫宽带反射率标准目标(例如,Spectralon目标)进行成像并计算所获取的图像的平均光谱来获得。OD是材料光学吸收程度的测量,OD值越高,材料的吸收水平越高。每个区域的光学密度可以被计算为:
OD=log(Sref/Save).
OD光谱被归一化。这可以通过将光谱除以700至800nm之间的值,或除以某个其它波长的值,或通过其它信号归一化方法(诸如标准正态变量(SNV)归一化)来完成。
在一些实施例中,可以计算反射率光谱R。反射率是被成像的材料的光学反射率的测量,越高的反射率值指示该材料具有越高的光学反射特性。在一些实施例中,反射率R可以通过下式计算:
R=log(Save/Sref).
在一些实施例中,反射率光谱也被归一化为700nm和850nm之间的波长。可替代地,也可以经由标准正态变量(SNV)、最小最大值或其它归一化方法对反射率光谱进行归一化。
图5A、5B和5C中示出了具有阳性和阴性淀粉样蛋白状态的受试者的总盘、中央凹和盘颞区的示例OD光谱。在图5A中,具有阴性淀粉样蛋白状态310的受试者的盘的光学密度光谱与具有阳性淀粉样蛋白状态312的盘受试者的光学密度光谱不同。在图5B中,具有阴性淀粉样蛋白状态314的受试者的中央凹的光学密度光谱与具有阳性淀粉样蛋白状态316的受试者的中央凹的光学密度光谱不同。在图5C中,具有阴性淀粉样蛋白状态的受试者的颞盘区域的光学密度光谱被示为以一个正标准偏差318和一个负标准偏差320为界并且与具有阳性淀粉样蛋白状态的受试者的颞盘区域的光学密度光谱不同,如所示以一个正标准差322和一个负标准差324为界。
为了评估OD和R值与受试者状态的淀粉样蛋白和tau状态显著相关的波长或波长范围,可以对R和OD值在从一组具有阴性和阳性淀粉样蛋白和/或tau状态的受试者获得的光谱的每个波长处执行统计显著性检验(例如,学生t检验)。统计显著性测试识别每个波长的值是否与受试者的淀粉样蛋白和/或tau状态显著相关。显著性检验的示例包括t检验、Pearson相关性、Spearman相关性、卡方、方差分析等。使用诸如图6中所示的显著性图,可以识别值显著的波长或波长范围。在这个示例中,显著性被定义为p值低于0.05,这在OD光谱的600-700nm波长范围内很明显。一旦确定了显著性的波长或波长范围,就可以通过选择或设计成像设备、光源和/或滤光器来优化系统(针对成本、尺寸、速度和其它因素)以仅测量那些波长或波长范围的光。
这种方法可以被用于评估光谱值对于被测量样本的任何状态的显著性并且不限于人类的淀粉样蛋白或tau状态。例如,它可以扩展到其它眼部病理和其它组织中的测量,例如眼部病理包括诸如黄斑变性、糖尿病性视网膜病变和青光眼之类的病理,可以被测量的其它组织包括皮肤、肌肉、肌腱、血管和其它组织。此外,该方法可以被用于其它生物的组织。对于这些不同的病理和/或组织类型,该方法将是相同的,但被确定为显著的光谱值在每种情况下可以不同。在一些情况下,可能期望分析样本的多于一种病理或疾病状态,例如识别和诊断患有多于一种状况的受试者,或者如果已知第一种疾病状态的存在会影响第二种疾病状态的分析结果,那么识别患有第一种疾病状态的受试者并将其排除在对第二种疾病状态的分析之外。
除了R和OD值的显著性之外,还可以评估在各种波长下R与OD值的比率的显著性。R和OD的每个波长相关光谱值可以除以所有其它R和OD值,以评估所有比率的统计显著性。这些显著性比率的结果可以被绘制为2D图像,其中波长的分子和分母作为X和Y轴。图7A-7B中示出了个体淀粉样蛋白状态的示例2D显著性比率图。在这个示例中,显著性被定义为具有小于0.05的p值,这在每个图像的轮廓区域中是明显的。在图7A-7B中所示的示例中,识别出的比率区域(F1、F2、F3)示出显著性并被用作模型开发的特征。
用于评估每个波长处的值的显著性和每个波长处的值的比率的一般方法在图8中示出。这个过程可以推广到任何光谱类型的数据,以用感兴趣的参数(在这种情况下是个体的淀粉样蛋白和/或tau状态)评估信号的显著性。如图8中的示例性流程图中所示,一种用于每个波长处的值和每个波长处的值的比率的波长特征识别的方法可以包括测量光谱信号和校正和/或校准光谱信号的步骤(步骤400和402)。计算每个波长处的光谱值对参数的显著性(步骤404),如果发现计算出的值显著,那么将那个相关联的波长标记为显著(步骤406)。如果发现它不显著,那么计算每个波长与所有其它波长的比率(步骤408),然后计算每个波长比率下的光谱值对参数的显著性(步骤410)。如果发现该计算显著,那么波长比率被标记为显著(步骤412)。一旦发现波长或波长比率显著,就可以将与个体相关联的扫描/图像与具有显著波长或波长比的对照图像进行比较(步骤414)。
这种方法可以被用于评估光谱值的比率对于被测样本的任何状态的显著性并且不限于人类的淀粉样蛋白或tau状态,例如它可以被扩展到其它眼部病理。此外,该方法可以被用于其它生物的组织。对于这些不同的病理和/或组织类型,该方法将是相同的,但被确定为显著的光谱值的比率在每种情况下可以不同。
在一些实施例中,系统可以包括在中红外波长范围内的光谱测量,具体地是在5900nm-6207nm和/或6038nm-6135nm的范围内,特别关注6053nm和6105nm波长。淀粉样蛋白-β聚集过程可以跨越多年,并且在这个过程期间,淀粉样蛋白-β以可溶性和斑块形式存在,折叠成α-螺旋和β-折叠结构,这些结构的相对浓度随时间而改变。那些结构及其浓度比是聚集过程的进展的函数,这是对AD存在和进展进行临床评估的重要生物标志物。已知这种蛋白质的不同折叠结构具有不同的光谱吸光度和反射率,淀粉样蛋白的α-螺旋结构在6053nm处具有峰,而那种蛋白质的β-折叠结构在6105nm处具有峰。因此,在视网膜中观察到的峰吸光度和反射率是浓度比的指示,例如,6079nm附近的峰吸光度将是平衡的混合物的证据。该比率越倾向于结构之一的峰吸光度,具有该峰吸光度的结构的浓度越大。专门查看6038nm-6135nm范围的光谱成像仪可以被用于测量这些生物标志物。其它重要的波长是5900nm、6060nm、6150nm和6207nm,它们与具有临床显著性的结构(诸如β-发夹、β-折叠、淀粉样蛋白β1-42原纤维、Tyr和Phe氨基酸)有关。
本文公开的特征识别方法还可以扩展为识别光谱值的波长范围和光谱值比的波长范围,用于分析任何感兴趣的样本,并且不限于生物组织的光谱学。例如,这种方法可以扩展用于制药过程监测、工业过程监测、有害物质识别、爆炸物识别和食品过程监测。这种方法也可以扩展到其它光学和光谱模式,以探索样本中具有感兴趣特性的显著特征。例如,这种方法还可以与各种光学模态一起使用,包括拉曼光谱、荧光光谱、激光诱导击穿光谱和其它光学模态。
R和OD光谱的显著波长区域以及R与OD光谱的比率可以被识别为光谱的显著特征,并用作机器学习(ML)或人工智能(AI)算法的输入,以基于从具有已知状态的个体获取的光谱训练的模型预测个体的淀粉样蛋白或tau状态。ML模型可以包括诸如逻辑回归、决策树、随机森林、线性判别分析、神经网络(包括卷积神经网络)、朴素贝叶斯分类器、最近邻分类器或其它ML或AI技术之类的方法。
在一些实施例中,还可以采用如图9A和图9B中的示例中给出的集成技术。在此,通过前面描述的统计显著性检验识别出的特征以及从视网膜成像中提取出的其它特征(诸如血管曲折)被用作训练个体ML模型的特征,并且模型的输出与模型的输出所应用的各种权重结合起来考虑以计算组合输出以预测个体的状态。
R和OD光谱的显著波长区域以及R和OD光谱的比率被识别为光谱的显著特征,并用作机器学习(ML)或人工智能(AI)算法的输入以基于从具有已知状态的个体获得的光谱训练的模型,预测个体的淀粉样蛋白或tau状态。ML模型可以包括诸如逻辑回归、决策树、随机森林、线性判别分析、神经网络(包括卷积神经网络)、朴素贝叶斯分类器、最近邻分类器或其它ML或AI技术之类的方法。如图9A-9B中的示例中所示,也可以采用其它ML方法,诸如集合技术。在此,通过前面描述的统计显著测试识别出的特征,以及从视网膜成像中提取出的其它特征(诸如血管曲折)被用作训练个体ML模型的特征,这些模型的输出结合应用于模型的输出的各种权重被考虑以计算组合输出以预测个体的状态。
这种集合模型不仅可以包括从高光谱、多光谱和光谱成像中识别出的特征,而且还可以包括从视网膜图像中提取出的特征,包括但不限于组织/血管氧合、血管曲折、杯盘比、视网膜神经纤维层厚度和图像纹理度量。此外,个体的人口统计信息和其它医学信息也可以用作这种集合模型的输入,包括但不限于年龄、性别、眼部病理、合并症、晶状体状态(自然与人工)、以前的眼部手术、在成像期间是否使用扩张下降,以及任何其它人口统计或健康信息。
在集合模型中,不同的数据类型(即,光谱、空间、人口统计等)可以各自由不同的机器学习或人工智能算法独立处理,然后将那些算法的输出用作进一步算法的输入,或者多种数据类型(即,组合的空间光谱数据)可以由同一算法直接使用,以基于多个数据域中的评估生成输出。在一些情况下,使用后一种方法,因为它能够更好地捕获多个域之间数据的相关性,并且如果仅使用从独立算法中提取的输出而不是完整的数据集来执行组合数据类型的分析,那么这些相关性会丢失。
在使用空间视网膜图像的集合模型中,分析算法可以使用整个视网膜图像、视网膜图像的部分或仅图像的分割的区段。即使图像中不存在常常被用作执行分割的参考的诸如视盘之类的特征,也可以使用这种类型的集合模型。这种类型的模型可以分析整个图像,诸如在相关信息未本地化并出现在图像的大面积区域上的情况下,或者它可以仅分析图像的部分或图像的分割的区段,诸如在相关信息被高度本地化的情况下。
在一些实施例中,机器学习或人工智能算法可以被设计为进行逐像素预测。逐像素预测基于每个像素的光谱数据以及来自两个或更多个相邻或附近像素的光谱数据之间的关系,而不仅仅是来自单个像素的数据或一组像素的整体光谱数据,如逐通道预测的情况下。现有的卷积神经网络常常使用逐通道池化作为最后一层或网络,以便创建特征向量。在这些实施例中,逐通道池化被逐像素池化替换,然后是最大池化。可以使用逐像素预测,因为它防止算法依赖空间上彼此断开的多条信息,当相关信息是区域性的时,这是重要的,因为逐像素预测减少了模型的过度拟合并提高性能。逐像素预测还允许更好地测试、验证和解释算法输出,因为与依赖注意力图、输入失真或其它类似方法的算法不同,这种方法允许验证图像中信号的位置与信号预期的正确区域对应,从而打开算法的“黑盒”并使输出预测更加透明。
图10A中示出了基于集合模型的个体淀粉样蛋白状态预测的示例,该模型使用来自他们眼睛的R和OD比率特征的特征,其中10个具有阴性淀粉样蛋白状态的个体和10个具有阳性淀粉样蛋白状态的个体。这个模型的结果通过图10B中的接收器操作者曲线(ROC)进行评估,提供大于0.9的曲线下面积(AUC),指示所开发模型对淀粉样蛋白状态的高预测能力。
高光谱分析
图11图示了用于处理高光谱或多光谱图像的集合的方法的示例性实施例。从在步骤500中从患者获取的图像提供视网膜图像马赛克。光谱空间CNN(步骤502)被用于生成描述疾病信号预测概率的热图(步骤504)。在步骤506中可以评估生成的热图并且输出可以指示病理的最终分数。
对于给定的患者,可以使用各种信息源来帮助预测淀粉样蛋白或tau状态。例如,患者可以具有来自区域的子集的光谱数据,包括视盘的颞部、鼻部、下缘和上缘、视杯、中央凹以及视网膜内的各种其它空间区域。可以使用来自这些区域中的每一个的数据来开发单独的模型。还可以使用来自血管的曲折度(如根据颜色或高光谱图像确定的)、根据神经纤维厚度(如根据OCT确定的)、根据血氧、瞳孔扩张、炎症反应、人口统计数据等数据开发其它模型。每个单独的模型将输出给定受试者具有阳性或阴性淀粉样蛋白或tau状态的概率。一旦对所有这些模型进行了训练,就可以从集合模型生成预测,该集合模型组合所有模型,其中数据可以用于给定的个人。最终预测可以是来自可用模型的输出的加权组合。赋予每个模型的权重可以基于来自那个模型的预测与训练集中受试者的淀粉样蛋白或tau状态的相关程度。这些权重可以在有更多数据可用时进行调整。集合模型背后的基本原理是处理每个个体将有不同的可用数据组合来进行预测的现实(例如,一些受试者可以有来自颞缘但没有下缘的数据,反之亦然)。此外,不同的机器学习算法可以被用于为各种可用数据源生成预测。可以基于数据的尺寸和性质来选择算法。
在一些实施例中,算法的设计可以建立在来自卷积神经网络(CNN)系列(诸如EfficientNet、ResNeXt、ViT、Scaled-YOLOv4)的现有技术算法之上,并修改体系架构以接受高光谱图像而不是彩色(RGB)图像,调整图层以支持分析的空间光谱要求,并根据多光谱和/或高光谱光谱视网膜图像中检测信号所需的容量改变网络的宽度、深度和长度。每个模型都还可以被调整以替换最后一层(靠近输出),以便网络的最后一个特征张量以逐像素而不是逐通道方法被池化。
神经网络的输入是来自每个患者的双眼的HSI的集合。例如,对于每只眼睛,最多可以使用以视网膜上不同解剖位置为中心的图像的7个集合。位置可以包括视盘、视网膜的中心、中央凹、上、下、颞和鼻中的一个或多个。在一些实施例中,对于每个位置线,可以可选地获取光谱仪数据,其在水平线中跨过图像的中心。在一些实施例中,对于每只眼睛,彩色眼底图像可能被用于AI以获得更多洞察力,并且还用于眼科医生确定诊断和病理,诸如视网膜病理、黄斑变性、青光眼、白内障、高血压等。
图12图示了从视网膜的单个位置以多个波长拍摄的多个3D图像的表示的实施例。在不同波长下拍摄的图像示出不同的纹理和结构。来自单个位置的图像的每个集合变成图像的堆叠,这些图像构成到CNN图像的一部分。CNN的输入可以包括在视网膜的多个位置处获取的HIS的多个堆叠。如图12中所示,不同的通道可以示出图像的不同纹理和结构。如图所示,有一些可以被看到的血管和其它结构或纹理,例如,波长带2,其在波长带10中看不到,反之亦然。例如,图13图示了在视网膜上6个不同位置拍摄的可以被用作CNN输入的图像的堆叠。来自CNN的输出可以包括与存在疾病的可能性相关的概率分数,并且在一些实施例中可以包括诸如图14中所示的图像之类的图像。图14图示了覆盖在图13中所示图像上的生成的热图的图像的示例性集合。在背景中,有原始视网膜图像的表示,并且热图是覆盖在背景上的颜色。热图示出一个或多个热点510,它们是指示蛋白质形成的空间光谱图案。覆盖允许用户知道热点在原始视网膜图像中的位置。这些热图图像可以被用作AI的输入。
在一些实施例中,可以使用来自患有已知疾病状态的患者的对应数据的数据库来训练该算法。可以使用多个患者和健康个体的对照集合。可以从每个患者获取数据,并且可以对收集的数据和/或图像进行预处理。可以排除低质量图像(根据我们在专利中已经定义的几个准则)并且可以对图像进行归一化。数据可以被拆分为三个集合用于训练、验证和测试,在交叉验证方法中使用多个折叠,并在测试集上测试之前使用训练数据将来自不同折叠的不同模型集成在一起。在一些实施例中,训练集在训练期间暴露于人工智能并用于实际学习,在训练过程期间频繁使用测试集来评估模型在看不见的数据上的性能,并且可以保留验证集,完全独立于AI的开发人员并且仅用于一次验证新数据上的模型。有时,在每图像级别上进行训练可以是困难的,因为相关信息不明显或不存在于从单个受试者获取的所有图像中,例如,如果信息在视盘图像中明显但在中央凹的图像中不明显,或者如果它在左眼中明显但在右眼中不明显。在此类情况下,在每图像级别上进行训练变得困难,因为某些标签(正与负)会误导AI。为了解决这个问题,在一些实施例中,将单个受试者的一些或所有图像级联成图像的一个马赛克并作为一个完整样本进行分析。以那种方式,即使信号仅在其中一个图像中明显,指派给该马赛克的训练标签也是正确的并且不会误导AI。在一些实施例中,最终算法可以是多个算法的集合,这是ML/AI的常见做法。从患者捕获图像,排除并重新捕获质量差的图像,然后将图像编译成与训练数据集中相同的马赛克形式,然后由算法使用以产生最终分数。当使用AI进行预测时,可以基于某些临床准则排除某些患者。例如,如果诸如青光眼或某些种族之类的特定病理在训练和验证集中的代表性不足,那么AI是否会按要求对它们执行的确定性会降低。AI可以在所有图像上运行并且可以从患者那里获取临床数据。
在使用任何收集或计算出的空间或光谱数据之前,可以应用质量保证准则以确保数据具有足够的质量以从机器学习或人工智能算法产生可靠的预测输出。例如,可以为高光谱或多光谱或光谱仪数据中的每个像素计算光谱动态范围,这被定义为特定像素中最高光谱带与最低光谱带之间的差异,并且具有低于预设百分位阈值的光谱动态的范围的像素可以被拒绝,因为具有低光谱动态范围的数据包含较少的信息并且可能不可用。作为另一个示例,可以计算饱和比,其被定义为饱和数据点的数量(即,在测量设备的最大值处)除以输入图像的数据点的总数,并且饱和高于预设阈值的图像可以被拒绝,因为过多的饱和导致信息的丢失。数据点可以是在图像的像素处测得的整体强度值,或者它可以是那个像素处仅一个或多个光谱(波长)分量的强度。但是,并非所有的饱和都会降级算法的预测能力,并且在一些情况下,低于预设阈值的一些饱和甚至可以在一定程度上改善它。这是因为少数数据点的饱和指示正被测量的信号正在达到成像设备的最大范围,这指示正在成像的受试者被照亮并强烈反射,使得非饱和的数据点很可能生成具有良好强度和动态范围的信号,这可以提供清晰的图像和准确的结果。如果没有数据点饱和,那么受试者可能照明不足并且没有利用成像设备的整个动态范围。作为质量保证准则的进一步示例,可以基于相邻图像像素之间的强度的改变来计算图像的模糊度或清晰度,并且可以拒绝具有高于预设阈值的模糊度的图像或图像部分,或者图像的同质性可以基于跨所有图像像素的强度的改变来计算,并且可以拒绝具有太多或太少同质性的图像或图像部分。
对于每个“质量保证”准则,可以设置阈值,在该阈值处数据将被接受或拒绝。虽然光谱动态范围百分位数可以变化,但在一些实施例中,对于第5个百分位数的像素,该范围是20%的光谱动态范围。在一些实施例中,可以允许高达5%的饱和像素。模糊度可以用0到1的分数来衡量,1表示完全模糊。在一些实施例中,可以允许高达0.2的模糊度测量。可以通过查看图像子部分中的直方图并计算不同直方图的熵来测量同质性。在一些实施例中,阈值被设置为拒绝熵超过1.3的图像。基于质量保证准则,可以调整光源和/或成像设备的设置,例如通过增加或降低光源的强度以提高饱和比,并且可以重复该过程。
在患有阿尔茨海默病的个体中,大脑中的淀粉样蛋白和tau水平在症状出现之前都升高。淀粉样蛋白和tau的水平相关,因为发生AD的受试者往往具有淀粉样蛋白沉积生物标志物升高的生物标志物证据(经由异常淀粉样蛋白PET扫描或低CSF Ab42或Ab42/Ab40比率被检测)作为异常的第一个可识别证据,之后是病理性tau的生物标志物证据(经由CSF磷酸化tau和Tau PET被检测)。这可以是由于淀粉样蛋白病理诱导可溶性tau释放的变化,导致tau稍后聚集。正因为如此,图8中示出的这些预测淀粉样蛋白状态的方法的预测能力和开发的淀粉样蛋白状态模型也可以被认为对于预测个体的tau状态是有效的,因为tau和淀粉样蛋白水平是相关的。
图15A、15B和16中展示了用于检测组织中tau蛋白的高光谱成像能力。图15A示出了用刚果红染色的阿尔茨海默病个体的脑组织组织学切片示例,在整个组织中识别出淀粉样蛋白和tau蛋白沉积物,与阿尔茨海默病的诊断一致。图15B示出了来自健康个体的脑组织组织学切片示例,该组织切片也被刚果红染色,在组织中未发现淀粉样蛋白或tau蛋白沉积物,这与阿尔茨海默病的阴性诊断一致。图16示出了与图15B中未表现出淀粉样蛋白和tau蛋白沉积物的健康对照样本相比,对来自图15A中组织学检查的具有淀粉样蛋白和tau蛋白沉积物的相同个体的脑切片的相应高光谱测量。在有和没有tau蛋白的组织中测得的光谱差异在图16中是明显的,特别是通过来自有tau沉积物的个体的组织切片测量到光透射的降低,理论上这种光透射的降低是由于吸收tau蛋白的这些波长的光。目标线602是阿尔茨海默病患者的平均值,而对照线600是健康个体的平均值。具有tau和淀粉样蛋白的人(即,患有阿尔茨海默病的人)的传播减少证明了将健康组织与具有tau和淀粉样蛋白的组织区分开来的能力。这些结果指示光谱测量可以被用于区分健康组织与含有tau蛋白的组织。
由于眼睛是中枢神经系统的延伸,通过视神经直接链接到大脑,大脑中产生的蛋白质作为阿尔茨海默病进展的一部分,诸如β淀粉样蛋白和tau从大脑迁移到眼睛的眼底。照此,在眼睛中检测到这些蛋白质可以指示大脑中是否存在这些蛋白质以及对应的患阿尔茨海默病的风险。如此处所示测量脑组织中tau的能力进一步证明了在眼组织(诸如视网膜和视盘)中测量tau的可行性,并使用这些测量作为大脑中tau水平的代理。
在一些实施例中,本文所述的方法可以被用于分析视网膜的血管和血管壁,如图17A-17B中所示。算法可以被用于从捕获的图像中提取准确的血管分割,并且AI可以被用于精确定位淀粉样蛋白沿着血管的标志物,即,血管淀粉样变性。它扩展到许多血管改变,以及可以与眼部疾病和淀粉样蛋白相关疾病相关的其它血管病理,诸如脑淀粉样蛋白血管病(CAA)。如图17B中所示,可以使用模型来分割血管(步骤700),并且可以开发投影(步骤702)。可以提取血管分割(步骤704),并且可以使用AI来识别沿着血管的淀粉样蛋白标志物(步骤706)。
开发了CNN分割AI以从图像(诸如HSI图像)中自动提取血管。HSI图像被输入到AI中并输出指示血管分割的两个概率图,如图17C中所示。一个图针对动脉,另一个图针对静脉。这些图本身就是图像,其中,在AI预测血管存在的地方,每个像素的亮度更高。这些图按阈值进行二值化,通常等于0.5,但可以被配置。动脉和血管的输出二进制分割被馈送到另一个AI,该AI处理血管的结构以及沿着血管的光谱特征以检测与疾病相关的生物标志物。
在一些方面,本公开提供了一种用于测量眼睛的光学特性的系统,该系统包括视网膜查看设备;光源,被配置为照亮由视网膜查看设备查看的眼睛的视网膜;一个或多个成像设备,被配置为接收由视网膜反射的来自光源的光并产生视网膜的一个或多个空间或光谱图像;以及计算设备,其被配置为接收由一个或多个成像设备产生的图像、基于图像计算指示疾病状态的一个或多个度量,并确定疾病状态。在一些实施例中,可以使用机器学习或人工智能算法来做出这样的确定,以将指示疾病状态的度量中的一个或多个与从具有已知阳性和阴性疾病状态的受试者测量的对应值的数据库进行比较。
在一些实施例中,一个或多个成像设备包括至少一个高光谱或多光谱成像器和至少一个光谱仪。在一些实施例中,至少一个空间图像和至少一个光谱图像由同一个成像设备产生或由计算设备从同一个成像设备的输出生成。在一些实施例中,该系统还包括一个或多个光学元件,其允许两个或更多个成像设备接收由视网膜反射的光并同时或依次产生视网膜图像。在一些实施例中,该系统还包括一个或多个滤光器以限制由光源发射或由成像设备中的一个或多个接收的光的波长。在一些实施例中,基于光谱图像中的不连续波长或波长范围来计算指示疾病状态的一个或多个度量。在一些实施例中,不连续波长或波长范围是通过使用机器学习或人工智能算法以比较从具有已知阳性和阴性疾病状态的受试者测得的光谱图像的数据库来确定与指示疾病状态的一个或多个度量相关的波长来选择的。
在一些实施例中,光源被配置为仅发射与计算指示疾病状态的度量相关的波长的光,或者其中系统还包括滤光器以将由一个或多个成像设备接收的光的波长限制到与用于计算指示疾病状态的度量相关的波长。在一些实施例中,该系统还包括用于同步成像设备中的一个或多个或光源的触发控制。在一些实施例中,该系统还包括波长校准源,计算设备还被配置为从波长校准源接收由成像设备中的一个或多个测得的波长校准信号并从对应的波长校准信号计算用于一个或多个光谱图像的像素到波长转换。
在一些实施例中,为光谱或空间图像中的至少一个的每个像素计算指示疾病状态的至少一个度量。在一些实施例中,计算设备还可以被配置为将光谱图像分割成眼睛的各种分量,并基于那个分量的平均光谱数据来计算指示每个分量的疾病状态的度量。在一些实施例中,将光谱图像分割成分量是通过自动分割算法执行的。在一些实施例中,指示疾病状态的度量是基于不同分量之间的疾病状态的度量之比来计算的。在一些实施例中,该系统还包括白色参考光源和目标以生成该系统的白色参考光谱。在一些实施例中,指示疾病状态的度量是基于相对于在一个或多个波长或波长范围处的白色参考光谱计算的视网膜的光学密度或反射率。在一些实施例中,指示疾病状态的度量是基于在两个或更多个不同波长或波长范围处的光学密度或反射率之比。在一些实施例中,用于计算比率的波长或波长范围是基于对从具有已知阳性和阴性疾病状态的受试者测得的对应值的数据库执行的统计显著性测试来确定的。在一些实施例中,计算设备还被配置为从一个或多个空间图像中提取特征,以单独地或与光谱数据度量组合基于提取出的特征来计算指示疾病状态的一个或多个空间数据度量。在一些实施例中,计算设备被配置为使用第一图像来确定用于从相同或不同的成像设备产生第二图像的最适当的成像设备设置。在一些实施例中,计算设备还被配置为接收人口统计或其它医学信息,并基于人口统计或其它医学信息结合一个或多个光谱数据或空间数据度量来计算疾病状态的一个或多个另外的度量。
在一些实施例中,计算设备还被配置为计算用于空间或光谱数据的一个或多个质量保证度量并拒绝其中质量保证度量高于或低于预设质量保证阈值的数据或数据部分。在一些实施例中,该系统还包括一个或多个附加成像设备,诸如光学相干断层扫描、拉曼光谱或用于在一个或多个维度上测量眼底的其它设备,该计算设备还被配置为仅基于成像设备的输出或与其它计算的出疾病状态度量相结合来计算指示疾病状态的一个或多个附加度量。在一些实施例中,疾病状态的度量指示眼睛的淀粉样蛋白或tau状态,或阿尔茨海默病的不存在、存在或进展或发展的风险。在一些实施例中,机器学习或人工智能算法基于逻辑回归、决策树、随机森林、线性判别分析、神经网络(包括卷积神经网络)、朴素贝叶斯分类器、最近邻分类器或其它ML或AI技术中的一种或更多。
图18描绘了根据本公开的一个或多个实施例的示例性基于计算机的系统和平台800的框图。但是,实践一个或多个实施例可能不需要所有这些部件,并且可以在不脱离本公开的各种实施例的精神或范围的情况下对部件的布置和类型进行变化。在一些实施例中,说明性计算设备和示例性基于计算机的系统和平台800的说明性计算部件可以被配置为管理大量成员和/或并发事务,如本文详述的。在一些实施例中,示例性基于计算机的系统和平台800可以基于可扩展的计算机和/或网络体系架构,其并入了用于评估数据、高速缓存、搜索和/或数据库连接池化的各种策略。可扩展体系架构的示例是能够操作多个服务器的体系架构。
在一些实施例中,参考图18,示例性基于计算机的系统和平台800的成员计算设备802、成员计算设备803至成员计算设备804(例如,客户端)实际上可以包括能够通过网络(例如,云网络),诸如网络805,向和从另一个计算设备(诸如服务器806和807)、彼此等接收和发送消息的任何计算设备。在一些实施例中,成员设备802-804可以是个人计算机、多处理器系统、基于微处理器的或可编程的消费者电子器件、网络PC等。在一些实施例中,成员设备802-804内的一个或多个成员设备可以包括通常使用诸如蜂窝电话、智能电话、寻呼机、步话机、射频(RF)设备、红外线(IR)设备、CB、结合一个或多个前述设备的集成设备、或几乎任何移动计算设备等无线通信介质连接的计算设备。在一些实施例中,成员设备802-804内的一个或多个成员设备可以是能够使用诸如PDA、POCKET PC、可穿戴计算机、膝上型电脑、平板电脑、台式计算机、上网本、视频游戏设备、寻呼机、智能电话、超移动个人计算机(UMPC)和/或配备为通过有线和/或无线通信介质(例如,NFC、RFID、NBIOT、3G、4G、5G、GSM、GPRS、WiFi、WiMax、CDMA、卫星、ZigBee等)进行通信的任何其它设备的有线或无线通信介质进行连接的设备。在一些实施例中,成员设备802-804内的一个或多个成员设备可以包括可以运行一个或多个应用,诸如互联网浏览器、移动应用、语音呼叫、视频游戏、视频会议和电子邮件等。在一些实施例中,成员设备802-804内的一个或多个成员设备可以被配置为接收和发送网页等。在一些实施例中,本公开的示例性特别编程的浏览器应用可以被配置为接收和显示图形、文本、多媒体等,几乎采用任何基于web的语言,包括但不限于标准通用标记语言(SMGL),诸如超文本标记语言(HTML)、无线应用协议(WAP)、手持设备标记语言(HDML),诸如无线标记语言(WML)、WMLScript、XML、JavaScript等。在一些实施例中,成员设备802-804内的成员设备可以由Java、.Net、QT、C、C++和/或其它合适的编程语言特别编程。在一些实施例中,成员设备802-804内的一个或多个成员设备可以被特别编程包括或执行应用以执行各种可能的任务,诸如但不限于消息传递功能、浏览、搜索、播放、流传输或显示各种形式的内容,包括本地存储或上传的消息、图像和/或视频和/或游戏。
在一些实施例中,示例性网络805可以向耦合到它的任何计算设备提供网络访问、数据传输和/或其它服务。在一些实施例中,示例性网络805可以包括并实现至少一种专用网络体系架构,该网络体系架构可以至少部分地基于由例如但不限于全球移动通信系统(GSM)协会、互联网工程任务组(IETF)和全球微波接入互操作性(WiMAX)论坛设定的一种或多种标准。在一些实施例中,示例性网络805可以实现GSM体系架构、通用分组无线电服务(GPRS)体系架构、通用移动电信系统(UMTS)体系架构以及被称为长期演进(LTE)的UMTS演进中的一个或多个。在一些实施例中,示例性网络805可以包括和实现由WiMAX论坛定义的WiMAX体系架构作为替代方案或与上述中的一个或多个相结合。在一些实施例中,并且可选地,结合上文或下文描述的任何实施例,示例性网络805还可以包括例如局域网(LAN)、广域网(WAN)、互联网、虚拟LAN(VLAN)、企业LAN、第3层虚拟专用网(VPN)、企业IP网络或其任意组合中的至少一个。在一些实施例中,并且可选地,结合上文或下文描述的任何实施例,通过示例性网络805的至少一个计算机网络通信可以至少部分地基于多种通信模式,诸如但不限于:NFC、RFID、窄带物联网(NBIOT)、ZigBee、3G、4G、5G、GSM、GPRS、WiFi、WiMax、CDMA、卫星及其任意组合中的一种进行传输。在一些实施例中,示例性网络805还可以包括大容量存储装置,诸如网络附加存储装置(NAS)、存储区域网络(SAN)、内容交付网络(CDN)或其它形式的计算机或机器可读介质。
在一些实施例中,示例性服务器806或示例性服务器807可以是运行网络操作系统的web服务器(或一系列服务器),其示例可以包括但不限于Microsoft Windows Server、Novell NetWare或Linux。在一些实施例中,示例性服务器806或示例性服务器807可以用于和/或提供云和/或网络计算。虽然未在图18中示出,但在一些实施例中,示例性服务器806或示例性服务器807可以连接到外部系统,例如电子邮件、SMS消息传递、文本消息传递、广告内容提供商等。示例性服务器806的任何特征也可以在示例性服务器807中实现,反之亦然。
在一些实施例中,示例性服务器806和807中的一个或多个可以被特别编程为在非限制性示例中执行为认证服务器、搜索服务器、电子邮件服务器、社交网络服务服务器、SMS服务器、IM服务器、MMS服务器、交换服务器、照片共享服务服务器、广告提供服务器、金融/银行相关服务服务器、旅行服务服务器或任何类似的适合成员计算设备801-804的用户的基于服务的服务器。
在一些实施例中,并且可选地,结合上文或下文描述的任何实施例,例如,一个或多个示例性计算成员设备802-804、示例性服务器806和/或示例性服务器807可以包括特别编程的软件模块,其可以被配置为使用脚本语言、远程过程调用、电子邮件、推文、短消息服务(SMS)、多媒体消息服务(MMS)、即时消息传递(IM)、互联网中继聊天(IRC)、mIRC、Jabber、应用编程接口、简单对象访问协议(SOAP)方法、通用对象请求代理体系架构(CORBA)、HTTP(超文本传输协议)、REST(代表性状态转移)或其任意组合发送、处理和接收信息。
图19描绘了根据本公开的一个或多个实施例的另一个示例性的基于计算机的系统和平台900的框图。但是,实践一个或多个实施例可能不需要所有这些部件,并且可以在不脱离本公开的各种实施例的精神或范围的情况下对部件的布置和类型进行变化。在一些实施例中,所示的成员计算设备902a、成员计算设备902b至902n中的每一个至少包括计算机可读介质,诸如耦合到处理器910或闪存的随机存取存储器(RAM)908。在一些实施例中,处理器910可以执行存储在存储器908中的计算机可执行程序指令。在一些实施例中,处理器910可以包括微处理器、ASIC和/或状态机。在一些实施例中,处理器910可以包括介质或可以与介质通信,介质例如是计算机可读介质,其存储指令,该指令在由处理器910执行时,可以使处理器910执行本文所描述的一个或多个步骤。在一些实施例中,计算机可读介质的示例可以包括但不限于能够为诸如客户端902a的处理器910之类的处理器提供计算机可读指令的电子、光学、磁性或其它存储或传输设备。在一些实施例中,合适介质的其它示例可以包括但不限于软盘、CD-ROM、DVD、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其它磁性介质,或计算机处理器可以从中读取指令的任何其它介质。此外,各种其它形式的计算机可读介质可以向计算机(包括路由器、专用或公共网络、或其它传输设备或信道)有线和无线地传输或携带指令。在一些实施例中,指令可以包括来自任何计算机编程语言(包括例如C、C++、Visual Basic、Java、Python、Perl、JavaScript等)的代码。
在一些实施例中,成员计算设备902a至902n还可以包括多个外部或内部设备,诸如鼠标、CD-ROM、DVD、物理或虚拟键盘、显示器或其它输入或输出设备。在一些实施例中,成员计算设备902a至902n(例如,客户端)的示例可以是连接到网络906的任何类型的基于处理器的平台,诸如但不限于,个人计算机、数字助理、个人数字助理、智能电话、寻呼机、数字平板电脑、膝上型计算机、互联网电器和其它基于处理器的设备。在一些实施例中,成员计算设备902a至902n可以根据本文详述的一个或多个原理/方法用一个或多个应用特别编程。在一些实施例中,成员计算设备902a至902n可以在能够支持浏览器或启用浏览器的应用的任何操作系统(诸如MicrosoftTM、WindowsTM和/或Linux)上运行。在一些实施例中,所示的成员计算设备902a至902n可以包括例如执行浏览器应用(诸如Microsoft公司的Internet ExplorerTM、Apple Computer公司的SafariTM、Mozilla Firefox和/或Opera)的个人计算机。在一些实施例中,通过成员计算客户端设备902a至902n,用户912a、用户912b至912n可以通过示例性网络906彼此通信和/或与耦合到网络906的其它系统和/或设备通信。如图19中所示,示例性服务器设备904和913可以分别包括处理器905和处理器914,以及分别包括存储器917和存储器916。在一些实施例中,服务器设备904和913也可以耦合到网络906。在一些实施例中,一个或多个成员计算设备902a至902n可以是移动客户端。
在一些实施例中,示例性数据库907和915中的至少一个数据库可以是任何类型的数据库,包括由数据库管理系统(DBMS)管理的数据库。在一些实施例中,示例性DBMS管理的数据库可以被特别编程为控制相应数据库中数据的组织、存储、管理和/或检索到的引擎。在一些实施例中,示例性DBMS管理的数据库可以被特别编程为提供查询、备份和复制、实施规则、提供安全性、计算、执行更改和访问日志和/或自动化优化的能力。在一些实施例中,示例性DBMS管理的数据库可以选自Oracle数据库、IBM DB2、Adaptive ServerEnterprise、FileMaker、Microsoft Access、Microsoft SQL Server、MySQL、PostgreSQL和NoSQL实现。在一些实施例中,示例性DBMS管理的数据库可以被特别编程为根据本公开的特定数据库模型定义示例性DBMS中每个数据库的每个相应模式,该数据库模型可以包括分层模型、网络模型、关系模型、对象模型,或一些其它合适的组织,其可以产生一个或多个可应用的数据结构,包括字段、记录、文件和/或对象。在一些实施例中,示例性DBMS管理的数据库可以被特别编程为包括关于所存储的数据的元数据。
在一些实施例中,本公开的示例性发明性的基于计算机的系统/平台、示例性发明性的基于计算机的设备和/或示例性发明性的基于计算机的部件可以被特别配置为在云计算/体系架构925中操作,诸如但不限于:基础设施服务(IaaS)1110、平台即服务(PaaS)1108和/或使用web浏览器的软件即服务(SaaS)1106、移动app、瘦客户端、终端模拟器或其它端点1104。图20和21图示了云计算/(一个或多个)体系架构的示例性实施方式的示意图,其中本公开的示例性发明性的基于计算机的系统/平台、示例性发明性的基于计算机的设备和/或示例性发明性的基于计算机的部件可以被特别配置以操作。
在一些实施例中,可以将患者的病理信息与同一患者的个人病史进行比较以看到进展(消退)。患者的进展(消退)也可以与其他人群队列及其历史进展(消退)进行比较。
服务器可以通过一个或多个神经网络来实现机器学习算法。机器学习算法可以包括逻辑回归、变分自动编码、卷积神经网络或其它用于识别和辨别神经发生疾病相关病理的统计技术。机器学习算法还可以使用经过先验验证的光谱散射模型、其它散射模型或光学物理模型。神经网络可以包括多个层,其中一些是定义的,而其中一些是未定义的(或隐藏的)。神经网络是一种受监督的学习神经网络。
在一些示例中,神经网络可以包括神经网络输入层、一个或多个神经网络中间隐藏层和神经网络输出层。每个神经网络层包括多个节点(或神经元)。神经网络层的节点通常是串联的。给定神经网络层中每个节点的输出连接到后续神经网络层中一个或多个节点的输入。每个节点是逻辑编程单元,它执行激活函数(也称为传递函数),用于基于其输入、权重(如果有的话)和(一个或多个)偏置因子(如果有的话)来变换或操纵数据以生成输出。每个节点的激活函数响应特定的(一个或多个)输入、(一个或多个)权重和(一个或多个)偏置因子而产生特定的输出。每个节点的输入可以是标量、向量、矩阵、对象、数据结构和/或其它项或对其的引用。每个节点可以独立于其它节点存储其各自的激活函数、权重(如果有的话)和偏置因子(如果有的话)。在一些示例实施例中,神经网络输出层的一个或多个输出节点的决定可以使用评分函数和/或决策树函数使用先前确定的权重和偏置因子来计算或确定,如本领域所理解的。
在一些示例中,分类(第二神经网络的输出)可以是关于受试者是否具有神经发生病理、或神经发生病理的前兆、或针对神经发生病理的潜力进行预筛选的一个或多个结论,并且要求进一步调查。此类神经发生病理结论可以基于由神经网络分类的一种或多种病理,并且使用例如组合加权分数、记分卡或概率确定来确定或计算。例如,淀粉样蛋白β和Tau神经原纤维缠结的存在或概率分类可以导致神经发生病理的更高概率结论。在一些示例中,结论也可以基于患者生理学随时间的改变,例如通过与患者先前的光谱信息进行比较。在一些示例中,高光谱反射率信息也用作神经网络的输入信息,这进一步有助于对神经发生病理进行分类。
从前面的描述,显然可以对本公开的实施例进行变化和修改以将其应用于各种用途和条件。此类实施例也在以下权利要求的范围内。
本文对变量的任何定义中的元素列表的叙述包括将那个变量定义为任何单个元素或所列元素的组合(或子组合)。本文对实施例的叙述包括作为任何单个实施例或与任何其它实施例或其部分组合的实施例。
本说明书中提及的所有专利和出版物均通过引用并入本文,其程度与每个独立专利和出版物被具体和单独地指示为通过引用并入的程度相同。
Claims (32)
1.一种成像系统,包括:
光源,被配置为用光照亮眼睛的视网膜;
一个或多个成像设备,被配置为接收从视网膜返回的光以生成视网膜的一个或多个空间-光谱图像;以及
计算设备,被配置为接收视网膜的所述一个或多个空间-光谱图像、评估所述一个或多个空间-光谱图像并识别指示神经发生病理的一个或多个生物标志物。
2.如权利要求1所述的系统,其中所述一个或多个成像设备包括光谱传感器。
3.如权利要求2所述的系统,其中光谱传感器包括高光谱传感器或多光谱传感器。
4.如权利要求1所述的系统,其中神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化症、多发性硬化症、朊病毒病、运动神经元疾病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓性肌萎缩症(SMA)、脑淀粉样血管病(CAA)。
5.如权利要求1所述的系统,其中生物标志物包括淀粉样蛋白或Tau蛋白形成。
6.如权利要求1所述的系统,还包括视网膜查看设备,其中所述一个或多个成像设备和光源被集成到视网膜查看设备中。
7.如权利要求6所述的系统,其中视网膜查看设备是眼底相机。
8.如权利要求1所述的系统,其中所述一个或多个空间-光谱图像包括多个视网膜区域的光谱图像。
9.如权利要求8所述的系统,其中对于所述多个视网膜区域中的每个视网膜区域,所述一个或多个空间-光谱图像包括多个波长范围处的光谱图像。
10.如权利要求9所述的系统,其中光谱图像包括关于对应视网膜区域的空间信息。
11.如权利要求10所述的系统,其中空间信息包括对应视网膜区域中的纹理、形成和图案。
12.如权利要求1所述的系统,其中所述一个或多个空间-光谱图像的评估使用图像的逐像素分析。
13.一种成像系统,包括:
光源,被配置为用光照亮眼睛的视网膜;
一个或多个成像设备,被配置为接收从视网膜返回的光以生成视网膜的至少一个光谱图像和至少一个空间图像;以及
计算设备,被配置为接收视网膜的所述至少一个光谱图像和至少一个空间图像、评估图像并识别指示神经发生疾病的一个或多个生物标志物。
14.如权利要求13所述的系统,其中所述一个或多个成像设备包括被配置为生成所述至少一个空间图像的空间相机和被配置为生成所述至少一个光谱图像的高光谱相机。
15.如权利要求13所述的系统,其中所述一个或多个成像设备包括被配置为生成包括光谱图像和空间图像的图像的高光谱相机。
16.如权利要求13所述的系统,其中生物标志物包括淀粉样蛋白或Tau蛋白形成。
17.一种用于诊断神经发生疾病的方法,包括:
用光源用光照亮眼睛的视网膜;
由一个或多个成像设备生成至少一个空间-光谱图像,所述一个或多个成像设备被配置为接收从视网膜返回的光;
评估所述至少一个空间-光谱图像,该图像由被配置为从所述一个或多个成像设备接收所述至少一个空间-光谱图像的计算设备评估;以及
识别指示神经发生疾病的一个或多个生物标志物。
18.如权利要求17所述的方法,其中所述至少一个空间-光谱图像的评估使用图像的逐像素分析。
19.如权利要求17所述的方法,其中所述一个或多个成像设备包括光谱传感器。
20.如权利要求19所述的方法,其中光谱传感器包括高光谱传感器或多光谱传感器。
21.如权利要求17所述的方法,其中神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化、多发性硬化、朊病毒病、运动神经元病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓肌萎缩(SMA)、脑淀粉样血管病(CAA)。
22.如权利要求17所述的方法,其中生物标志物包括淀粉样蛋白或Tau蛋白形成。
23.一种用于诊断神经发生疾病的方法,包括:
由计算机设备获得包括来自视网膜的一个或多个区域的多个空间-光谱图像的视网膜图像马赛克;
由计算设备分析所述多个空间-光谱图像以识别指示神经发生病理的一个或多个生物标志物;以及
由计算设备生成指示生物标志物在视网膜的所述一个或多个区域中存在或不存在的数字表示。
24.如权利要求23所述的方法,还包括从数字表示预测神经发生病理的概率。
25.如权利要求23所述的方法,其中数字表示是覆盖在视网膜图像马赛克上的热图。
26.如权利要求23所述的方法,其中分析所述多个空间-光谱图像包括使用每个图像的逐像素分析。
27.如权利要求23所述的方法,其中所述多个空间-光谱图像由包括光谱传感器的一个或多个成像设备生成。
28.如权利要求27所述的方法,其中光谱传感器包括高光谱传感器或多光谱传感器。
29.如权利要求23所述的方法,其中神经发生病理选自阿尔茨海默病、帕金森病、肌萎缩侧索硬化、多发性硬化、朊病毒病、运动神经元病(MND)、亨廷顿病(HD)、脊髓小脑共济失调(SCA)、脊髓肌萎缩(SMA)、脑淀粉样血管病(CAA)。
30.如权利要求23所述的方法,其中生物标志物包含淀粉样蛋白或Tau蛋白形成。
31.一种成像系统,包括:
光源,被配置为用光照亮眼睛的视网膜;
一个或多个成像设备,被配置为接收从视网膜返回的光以生成视网膜的一个或多个空间-光谱图像;以及
计算设备,被配置为从视网膜的一个或多个区域获得包括所述一个或多个空间-光谱图像的视网膜图像马赛克;分析所述一个或多个空间-光谱图像以识别指示神经发生病理的一个或多个生物标志物;以及生成指示生物标志物在视网膜的所述一个或多个区域中的存在或不存在的数字表示。
32.如权利要求1、13和31中的任一项所述的系统,或如权利要求17和23中的任一项所述的方法,其中视网膜的一个或多个血管被分割,并且生物标志物沿着所述一个或多个血管或血管壁被识别。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062965080P | 2020-01-23 | 2020-01-23 | |
US62/965,080 | 2020-01-23 | ||
US202063059349P | 2020-07-31 | 2020-07-31 | |
US63/059,349 | 2020-07-31 | ||
PCT/US2021/014821 WO2021151046A1 (en) | 2020-01-23 | 2021-01-23 | Systems and methods for disease diagnosis |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115867182A true CN115867182A (zh) | 2023-03-28 |
Family
ID=76993211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180018522.2A Pending CN115867182A (zh) | 2020-01-23 | 2021-01-23 | 用于疾病诊断的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20230018494A1 (zh) |
EP (1) | EP4093263A4 (zh) |
JP (1) | JP2023513438A (zh) |
CN (1) | CN115867182A (zh) |
AU (1) | AU2021209954A1 (zh) |
CA (1) | CA3165710A1 (zh) |
WO (1) | WO2021151046A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115547481A (zh) * | 2021-06-29 | 2022-12-30 | 富联精密电子(天津)有限公司 | 疾病辨别模型训练方法、装置及计算机可读存储介质 |
CN113486857B (zh) * | 2021-08-03 | 2023-05-12 | 云南大学 | 一种基于YOLOv4的登高安全检测方法及系统 |
CN113850324B (zh) * | 2021-09-24 | 2022-08-16 | 郑州大学 | 一种基于Yolov4的多光谱目标检测方法 |
WO2023178049A1 (en) * | 2022-03-14 | 2023-09-21 | Genentech, Inc. | Predicting neurodegenerative diseases based on speech analyses |
TWI803254B (zh) | 2022-03-23 | 2023-05-21 | 國立中正大學 | 眼底影像之動靜脈辨識方法 |
WO2024003614A1 (en) * | 2022-06-29 | 2024-01-04 | Retispec Inc. | Systems and methods for retinal spectral imaging calibration phantom |
WO2024028697A1 (en) * | 2022-08-01 | 2024-02-08 | Alcon Inc. | Integrated analysis of multiple spectral information for ophthalmology applications |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100105098A1 (en) * | 2006-06-29 | 2010-04-29 | Peter Frederiske | Methods of Identifying Disease Biomarkers in the Lense of the Eye |
WO2010019515A2 (en) * | 2008-08-10 | 2010-02-18 | Board Of Regents, The University Of Texas System | Digital light processing hyperspectral imaging apparatus |
EP2788034B1 (en) * | 2011-12-09 | 2021-05-26 | Regents of the University of Minnesota | Hyperspectral imaging for early detection of alzheimer's disease |
AU2018372578A1 (en) * | 2017-11-27 | 2020-06-11 | Retispec Inc. | Hyperspectral image-guided raman ocular imager for Alzheimer's Disease pathologies |
WO2019136513A1 (en) * | 2018-01-11 | 2019-07-18 | Centre For Eye Research Australia | Method and system for quantifying biomarker of a tissue |
-
2021
- 2021-01-23 JP JP2022545065A patent/JP2023513438A/ja active Pending
- 2021-01-23 AU AU2021209954A patent/AU2021209954A1/en active Pending
- 2021-01-23 CN CN202180018522.2A patent/CN115867182A/zh active Pending
- 2021-01-23 EP EP21743828.2A patent/EP4093263A4/en active Pending
- 2021-01-23 WO PCT/US2021/014821 patent/WO2021151046A1/en unknown
- 2021-01-23 CA CA3165710A patent/CA3165710A1/en active Pending
-
2022
- 2022-07-20 US US17/869,534 patent/US20230018494A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230018494A1 (en) | 2023-01-19 |
WO2021151046A1 (en) | 2021-07-29 |
EP4093263A1 (en) | 2022-11-30 |
CA3165710A1 (en) | 2021-07-29 |
AU2021209954A1 (en) | 2022-09-01 |
JP2023513438A (ja) | 2023-03-31 |
EP4093263A4 (en) | 2024-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230018494A1 (en) | Systems and methods for disease diagnosis | |
An et al. | Glaucoma diagnosis with machine learning based on optical coherence tomography and color fundus images | |
US11896382B2 (en) | Hyperspectral image-guided ocular imager for alzheimer's disease pathologies | |
AU2014271202B2 (en) | A system and method for remote medical diagnosis | |
Quellec et al. | Optimal filter framework for automated, instantaneous detection of lesions in retinal images | |
Tampu et al. | Inflation of test accuracy due to data leakage in deep learning-based classification of OCT images | |
US20220400943A1 (en) | Machine learning methods for creating structure-derived visual field priors | |
WO2009154765A1 (en) | Systems and methods for hyperspectral imaging | |
KR101670433B1 (ko) | 피부 진단 및 관리를 위한 휴대용 분광 이미징 디바이스, 사용자 단말, 분광 이미지 분석 서버, 및 그 방법 | |
CN113613545A (zh) | 具有单次曝光多类型成像、改进的聚焦和改进的血管造影图像序列显示的患者调节的眼科成像系统 | |
KR102216051B1 (ko) | 안과 질환 모니터링 장치 및 방법 | |
US20230140881A1 (en) | Oct en face pathology segmentation using channel-coded slabs | |
Brancati et al. | Segmentation of pigment signs in fundus images for retinitis pigmentosa analysis by using deep learning | |
US20240127446A1 (en) | Semi-supervised fundus image quality assessment method using ir tracking | |
Sampson et al. | Evaluation of focus and deep learning methods for automated image grading and factors influencing image quality in adaptive optics ophthalmoscopy | |
Chung et al. | Label‐free histological analysis of retrieved thrombi in acute ischemic stroke using optical diffraction tomography and deep learning | |
WO2024115962A2 (en) | Evaluating spectropolarimetric data packages of an eye for markers of disease | |
Banbury et al. | Window into the mind: Advanced handheld spectroscopic eye-safe technology for point-of-care neurodiagnostic | |
Huang et al. | Detection of systemic cardiovascular illnesses and cardiometabolic risk factors with machine learning and optical coherence tomography angiography: A pilot study | |
Biswas | Evaluation of Deep Learning Models for the Detection of Diabetic Retinopathy with Retinal Fundus Images and Development of a Prescreening Tool | |
Bahr et al. | Deep Learning and Machine Learning Algorithms for Retinal Image Analysis in Neurodegenerative Disease: Systematic Review of Datasets and Models | |
WO2023203380A1 (en) | Spectropolarimetric imaging of the eye for disease diagnosis | |
Negi et al. | An Experimental Approach Pertaining To Transfer Learning Models For Classification Of Diabetic Retinopathy | |
Banbury et al. | Window into the mind | |
EP4356389A1 (en) | Medical data sharing using blockchain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |