JP2022516467A - 深層学習を使用した表面への2次元蛍光波伝播システムと方法 - Google Patents
深層学習を使用した表面への2次元蛍光波伝播システムと方法 Download PDFInfo
- Publication number
- JP2022516467A JP2022516467A JP2021537758A JP2021537758A JP2022516467A JP 2022516467 A JP2022516467 A JP 2022516467A JP 2021537758 A JP2021537758 A JP 2021537758A JP 2021537758 A JP2021537758 A JP 2021537758A JP 2022516467 A JP2022516467 A JP 2022516467A
- Authority
- JP
- Japan
- Prior art keywords
- image
- fluorescence
- sample
- microscope
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 97
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000000799 fluorescence microscopy Methods 0.000 claims abstract description 16
- 230000000644 propagated effect Effects 0.000 claims abstract description 13
- 238000001000 micrograph Methods 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 19
- 230000005284 excitation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 239000007788 liquid Substances 0.000 claims description 3
- 238000001574 biopsy Methods 0.000 claims description 2
- 210000001124 body fluid Anatomy 0.000 claims description 2
- 239000010839 body fluid Substances 0.000 claims description 2
- 230000001575 pathological effect Effects 0.000 claims description 2
- 239000000834 fixative Substances 0.000 claims 2
- 238000003384 imaging method Methods 0.000 abstract description 63
- 238000010586 diagram Methods 0.000 abstract 1
- 239000000523 sample Substances 0.000 description 177
- 210000002569 neuron Anatomy 0.000 description 102
- 239000011324 bead Substances 0.000 description 80
- 230000000875 corresponding effect Effects 0.000 description 71
- 238000012549 training Methods 0.000 description 68
- 230000000694 effects Effects 0.000 description 42
- 241000244206 Nematoda Species 0.000 description 34
- 238000012360 testing method Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 28
- 230000011218 segmentation Effects 0.000 description 26
- MPLHNVLQVRSVEE-UHFFFAOYSA-N texas red Chemical compound [O-]S(=O)(=O)C1=CC(S(Cl)(=O)=O)=CC=C1C(C1=CC=2CCCN3CCCC(C=23)=C1O1)=C2C1=C(CCC1)C3=[N+]1CCCC3=C2 MPLHNVLQVRSVEE-UHFFFAOYSA-N 0.000 description 21
- MHMNJMPURVTYEJ-UHFFFAOYSA-N fluorescein-5-isothiocyanate Chemical compound O1C(=O)C2=CC(N=C=S)=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 MHMNJMPURVTYEJ-UHFFFAOYSA-N 0.000 description 20
- 238000013526 transfer learning Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 17
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 16
- 229910052791 calcium Inorganic materials 0.000 description 16
- 239000011575 calcium Substances 0.000 description 16
- 239000002102 nanobead Substances 0.000 description 16
- 230000004075 alteration Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 15
- 230000001537 neural effect Effects 0.000 description 14
- 238000002474 experimental method Methods 0.000 description 11
- 230000008832 photodamage Effects 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 239000011325 microbead Substances 0.000 description 10
- 238000000386 microscopy Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 239000002245 particle Substances 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 7
- 238000010200 validation analysis Methods 0.000 description 7
- 206010034972 Photosensitivity reaction Diseases 0.000 description 6
- 238000013459 approach Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 208000007578 phototoxic dermatitis Diseases 0.000 description 6
- 231100000018 phototoxicity Toxicity 0.000 description 6
- 102000029749 Microtubule Human genes 0.000 description 5
- 108091022875 Microtubule Proteins 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 210000004688 microtubule Anatomy 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 102000007469 Actins Human genes 0.000 description 4
- 108010085238 Actins Proteins 0.000 description 4
- 101001092197 Homo sapiens RNA binding protein fox-1 homolog 3 Proteins 0.000 description 4
- 102100035530 RNA binding protein fox-1 homolog 3 Human genes 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- OKKJLVBELUTLKV-UHFFFAOYSA-N Methanol Chemical compound OC OKKJLVBELUTLKV-UHFFFAOYSA-N 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 239000008393 encapsulating agent Substances 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241000283690 Bos taurus Species 0.000 description 2
- HLFSDGLLUJUHTE-SNVBAGLBSA-N Levamisole Chemical compound C1([C@H]2CN3CCSC3=N2)=CC=CC=C1 HLFSDGLLUJUHTE-SNVBAGLBSA-N 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000013872 defecation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000002889 endothelial cell Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 229960001614 levamisole Drugs 0.000 description 2
- 210000003470 mitochondria Anatomy 0.000 description 2
- 230000002438 mitochondrial effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000005293 physical law Methods 0.000 description 2
- 210000001147 pulmonary artery Anatomy 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 229920000936 Agarose Polymers 0.000 description 1
- 241000244202 Caenorhabditis Species 0.000 description 1
- 241000244203 Caenorhabditis elegans Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000283283 Orcinus orca Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- BFMYDTVEBKDAKJ-UHFFFAOYSA-L disodium;(2',7'-dibromo-3',6'-dioxido-3-oxospiro[2-benzofuran-1,9'-xanthene]-4'-yl)mercury;hydrate Chemical compound O.[Na+].[Na+].O1C(=O)C2=CC=CC=C2C21C1=CC(Br)=C([O-])C([Hg])=C1OC1=C2C=C(Br)C([O-])=C1 BFMYDTVEBKDAKJ-UHFFFAOYSA-L 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002609 medium Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002161 motor neuron Anatomy 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1488—Methods for deciding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Dispersion Chemistry (AREA)
- Signal Processing (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
蛍光顕微鏡方法には、訓練された深層ニューラルネットワークが含まれる。サンプルの少なくとも1つの2D蛍光顕微鏡画像が、訓練された深層ニューラルネットワークに入力される。入力画像には、ピクセルごとに、入力画像の平面からサンプル内にユーザ定義または自動生成された表面への軸方向の距離を表すデジタル伝播行列(DPM)が付加される。訓練された深層ニューラルネットワークは、サンプルの蛍光出力画像を出力する。この画像は、ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている。この方法とシステムは、様々なイメージングモダリティを相互に接続し、様々なサンプル面で共焦点顕微鏡画像と一致する広視野蛍光画像の3D伝播を可能にする。この方法は、サンプル内の2Dまたは3D表面の画像の時間シーケンス(例えば、タイムラプスビデオ)を出力するために使用することができる。【選択図】図2A
Description
関連出願
[0001]本出願は、2019年10月8日出願の米国仮特許出願第62/912,537号と、2018年12月26日出願の第62/785,012号の優先権を主張するものであり、これらは参照によりその全体が本明細書に組み込まれる。優先権は、35U.S.C.119条およびその他の該当する法令に従って主張される。
[0001]本出願は、2019年10月8日出願の米国仮特許出願第62/912,537号と、2018年12月26日出願の第62/785,012号の優先権を主張するものであり、これらは参照によりその全体が本明細書に組み込まれる。優先権は、35U.S.C.119条およびその他の該当する法令に従って主張される。
技術分野
[0002]本技術分野は、一般に、サンプルまたは物質の蛍光画像を取得するためのシステムおよび方法に関する。より具体的には、本技術分野は、顕微鏡画像データを用いて蛍光波の伝搬および時間反転を支配する物理法則を本質的に学習する深層ニューラルネットワークを訓練することによるデジタル画像伝播フレームワークを用いて、2D蛍光画像をサンプル内のユーザが定義する3D面へと仮想的にリフォーカス(refocus)し、機械的スキャンやハードウェアを追加することなく、単一の2次元(2D)画像を用いて蛍光サンプルの3次元(3D)イメージングを実現する蛍光顕微鏡に関する。このフレームワークは、サンプルのドリフト、傾き、および他の収差を補正するのにも使用でき、すべてが単一の蛍光画像の取得後にデジタルで実行される。このフレームワークはまた、異なるイメージングモダリティを互いに相互接続し、単一の広視野蛍光画像を3Dリフォーカスして、様々なサンプル面で取得した共焦点顕微鏡画像にマッチさせることができる。
[0002]本技術分野は、一般に、サンプルまたは物質の蛍光画像を取得するためのシステムおよび方法に関する。より具体的には、本技術分野は、顕微鏡画像データを用いて蛍光波の伝搬および時間反転を支配する物理法則を本質的に学習する深層ニューラルネットワークを訓練することによるデジタル画像伝播フレームワークを用いて、2D蛍光画像をサンプル内のユーザが定義する3D面へと仮想的にリフォーカス(refocus)し、機械的スキャンやハードウェアを追加することなく、単一の2次元(2D)画像を用いて蛍光サンプルの3次元(3D)イメージングを実現する蛍光顕微鏡に関する。このフレームワークは、サンプルのドリフト、傾き、および他の収差を補正するのにも使用でき、すべてが単一の蛍光画像の取得後にデジタルで実行される。このフレームワークはまた、異なるイメージングモダリティを互いに相互接続し、単一の広視野蛍光画像を3Dリフォーカスして、様々なサンプル面で取得した共焦点顕微鏡画像にマッチさせることができる。
[0003]3次元(3D)蛍光顕微鏡イメージングは、生物医学および物理科学、さらには工学において、様々な用途をカバーするのに不可欠である。その幅広い重要性にも拘わらず、3Dサンプルの蛍光画像データを高スループットで取得することは、未だに顕微鏡研究の課題である。3D蛍光情報は通常、サンプルボリューム全体をスキャンすることで取得され、このとき3Dの各焦点面または点ごとに複数の2D蛍光画像/測定値が取得され、これが共焦点、2光子、ライトシート、または様々な超解像度顕微鏡技術の基礎を形成する。しかしながら、スキャンを用いるため、最適化されたスキャニングストラテジーや点像分布関数(PSF)エンジニアリングを用いても、ボリュームサンプルの画像取得速度とシステムのスループットは、カメラ/検出器のフレームレートの数分の一に制限される。さらに、異なるサンプル面/点での画像は同時に取得されないため、サンプルの蛍光の時間的変動は必然的に画像アーチファクトの原因となる。また、サンプルの一部がスキャンプロセス中に繰り返し励起されるため、照明の光毒性や蛍光の光退色も懸念される。
[0004]これらの課題のいくつかを克服するために、サンプルの3Dボリューム全体を検出器のフレームレートと同じ速度で画像化できる非走査型3D蛍光顕微鏡法も開発されている。これらの方法の1つは、蛍光光場顕微鏡法である。このシステムは通常、追加のマイクロレンズアレイを用いて、サンプル光線の2D角度情報と2D空間情報をイメージセンサピクセルにエンコードし、この記録された4D光場から3D焦点スタック画像をデジタルで再構成することができる。ただし、マイクロレンズアレイを使用すると空間サンプリングレートが低下するため、顕微鏡の横方向と軸方向の両方の解像度が犠牲になる。画像の解像度は3Dデコンボリューションや圧縮センシング技術によって改善できるが、これらの方法の成功は、サンプルおよび画像形成プロセスのフォワードモデルに関する様々な仮定に依存する。さらに、これらの計算手法は、画像再構成プロセスの一部としてハイパーパラメータ調整を繰り返し行うため、比較的時間がかかる。これに関連して、サンプルの深度情報を単一画像内の異なる平行位置にマッピングする多焦点顕微鏡法と呼ばれる方法も開発されている。しかしながら、この方法の3Dイメージング速度の向上には、イメージング解像度や視野(FOV)の低下という代償も伴い、サンプルボリューム内の実験的に事前定義された(固定された)焦点面のセットしか推測できない。別の代替案として、蛍光信号を光学的に相関させてフレネル相関ホログラムを形成し、干渉パターンで3Dサンプル情報をエンコードすることもできる。この計算手法では、欠落している位相情報を取得するために、サンプルボリュームイメージングのために複数の画像をキャプチャする必要がある。非常に重要なことに、上記すべての方法や他の多くの方法では、カスタマイズされた光学部品やハードウェアを標準の蛍光顕微鏡に追加する必要があり、大規模なアラインメントとキャリブレーション手順が必要となり、光学セットアップのコストと複雑性を増すだけでなく、潜在的な異常の原因となり、蛍光信号の光子効率を低下させる。
[0005]本書は、蛍光顕微鏡のデジタル画像伝播システムおよび方法を開示するものであり、顕微鏡画像データを用いて蛍光波伝搬と時間反転を支配する物理法則を本質的に学習する深層ニューラルネットワークを訓練し、機械的なスキャンや追加のハードウェアなしで、単一の2D画像を用いて蛍光サンプルの3Dイメージングを実現する。一実施形態において、深層畳み込みニューラルネットワークが、サンプルボリューム内のユーザ定義または自動生成された表面(2Dまたは3D)に2D蛍光画像を仮想的にリフォーカスするように訓練される。このデータ駆動型蛍光画像伝播フレームワークは、コヒーレント顕微鏡とインコヒーレント顕微鏡の間のギャップを埋め、イメージングシステムの物理モデルを必要とせず、反復的な検索やパラメータ推定を行うことなく、単一の2D蛍光画像をユーザ定義または自動生成された表面に迅速に伝播する。蛍光サンプルボリュームの迅速な3Dイメージングに加えて、サンプルおよび/または光学系に起因する様々な光学収差をデジタル補正するためにも使用できる。この深層学習ベースのアプローチは、本明細書では「Deep-Z」または「Deep-Z+」とも呼ばれ、標準的な蛍光顕微鏡のイメージング速度、空間分解能、視野、またはスループットを犠牲にすることなく、単一の2D広視野蛍光画像(または空間的に設計された点像分布関数を用いて取得された他の画像)を、サンプルボリューム内の2Dまたは3D表面にコンピュータでリフォーカスするために使用される。この方法はまた、複数の2D広視野蛍光画像を用いて、経時的な画像シーケンス(例えば、ムービーやタイムラプスビデオクリップ)を作成することもできる。
[0006]このデータ駆動型の計算顕微鏡Deep-Zフレームワークを用いて、単一の焦点面で取得した蛍光画像のタイムシーケンスを用いて線虫(Caenorhabditis elegans)のニューロン活動を3Dでイメージングしてフレームワークをテストしたところ、軸方向のスキャン、追加のハードウェア、または画像の解像度や速度のトレードオフなしで、顕微鏡の被写界深度をデジタル的に20倍に拡大することができた。さらに、この学習ベースのアプローチでは、サンプルのドリフト、傾き、および他の画像または光学収差を補正することができ、これらはすべて単一の蛍光画像の取得後にデジタルで実行される。この独自のフレームワークは、様々なイメージングモダリティを相互接続し、単一の広視野蛍光画像を3Dリフォーカスして、様々なサンプル面で取得された共焦点顕微鏡画像と一致させることが可能である。この深層学習ベースの3D画像リフォーカス方法は、標準的な3D蛍光顕微鏡技術に伴う光毒性、サンプルドリフト、収差、および焦点ぼけに関連する課題を軽減し、特に長時間にわたる3D生物学的サンプルのイメージングとトラッキングに変革をもたらす。
[0007]一実施形態では、蛍光顕微鏡の方法は、1以上のプロセッサを用いるソフトウェアによって実行される訓練された深層ニューラルネットワークを提供することを含む。サンプルの少なくとも1つの2次元蛍光顕微鏡入力画像が、訓練された深層ニューラルネットワークに入力され、各入力画像が、1以上のユーザ定義または自動生成された表面に付加または関連付けられる。ある特定の実施形態では、画像は、入力画像の平面からのサンプル内のユーザ定義または自動生成された表面の軸方向距離をピクセルごとに表すデジタル伝播行列(DPM)が付加される。訓練された深層ニューラルネットワークによって、サンプルの1以上の蛍光出力画像が生成または出力され、これは例えばDPMによって確立または定義されたユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされる。
[0008]一実施形態では、サンプルの2次元蛍光顕微鏡入力画像の時系列が、訓練された深層ニューラルネットワークに入力され、各画像は、ピクセルごとに、入力画像の平面からのサンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列(DPM)が付加され、サンプルの蛍光出力画像の時系列(例えば、タイムラプスビデオまたはムービー)が訓練された深層ニューラルネットワークから出力され、入力画像のDPMに対応するユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされる。
[0009]別の実施形態では、蛍光顕微鏡画像を出力するためのシステムは、画像処理ソフトウェアが実行されるコンピューティングデバイスを含み、当該画像処理ソフトウェアは、前記コンピューティングデバイスの1以上のプロセッサを用いて実行される訓練された深層ニューラルネットワークを含み、当該訓練された深層ニューラルネットワークは、(1)異なる深度で軸方向にフォーカスされ、異なるDPM(それぞれが、ピクセルごとに、ユーザ定義または自動生成された軸方向距離を表す)が付加された複数の蛍光画像と、(2)深層ニューラルネットワークのパラメータを確立するために使用される、対応するDPMによって定義された正しい/ターゲットのフォーカス深度でキャプチャされた対応するグラウンドトゥルース蛍光画像サンプルとの一致するペアを用いてトレーニングされ、前記画像処理ソフトウェアは、サンプルの1以上の2次元蛍光顕微鏡入力画像と、画像に付加または関連付けられた1以上のユーザ定義または自動生成された表面とを受信するように構成されている。例えば、各画像にDPMが付加されていてもよい。システムは、訓練された深層ニューラルネットワークから、例えばDPMによって確立された1以上のユーザ定義または自動生成された表面にデジタル伝播またリフォーカスされたサンプルの蛍光出力画像(またはムービーやタイムラプスビデオクリップ形式の複数の画像)を出力する。
[0010]一実施形態では、訓練された深層ニューラルネットワークは、(1)異なる深度で軸方向にフォーカスし、異なるDPMが付加された第1の顕微鏡モダリティの複数の蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲットの焦点深度で第2の異なる顕微鏡モダリティによってキャプチャされた対応するグラウンドトゥルース蛍光画像との一致するペアを用いて、敵対的生成ネットワーク(GAN)で訓練される。
[0011]一実施形態では、2次元画像を取得するために使用される蛍光顕微鏡は、光学セットアップ内に、軸方向(z方向)に空間的に設計された点像分布関数(PSF)を作成するためのハードウェア修正を含んでもよい。これは、例えば、光路(軸方向)に沿って配置された位相および/または振幅マスクを含み得る。二重らせんPSFは、設計されたPSFの1つの例である。さらに、蛍光顕微鏡は、広視野蛍光顕微鏡を含み得る。ライトシートシステムを含んでもよい。他の実施形態では、訓練された深層ニューラルネットワークへの入力画像または深層ニューラルネットワークのための訓練画像は、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を有する共焦点顕微鏡、二次高調波または高高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフ顕微鏡のいずれかの種類の顕微鏡を使用して得られる。
[0065]図1は、訓練された深層ニューラルネットワーク10を用いて、1つ以上のユーザ定義または自動生成された表面にデジタル伝播されたサンプル12(またはサンプル12内のオブジェクト)の1以上の蛍光出力画像40を生成するシステム2の一実施形態を示す。システム2は、1以上のプロセッサ102を含むコンピューティングデバイス100と、訓練された深層ニューラルネットワーク10を組み込んだ画像処理ソフトウェア104とを含む。コンピューティングデバイス100は、本明細書で説明するように、パーソナルコンピュータ、ラップトップ、タブレットPC、リモートサーバ、特定用途向け集積回路(ASIC)などを含み得るが、他の演算デバイス(例えば、1つ以上のグラフィックプロセッシングユニット(GPU)を組み込んだデバイス)を使用することもできる。
[0066]いくつかの実施形態では、一連のまたは時系列の出力画像40が生成され、例えば、サンプル12またはその中のオブジェクトのタイムラプスビデオクリップまたはムービーが生成される。訓練された深層ニューラルネットワーク10は、サンプル12の1以上の蛍光顕微鏡入力画像20(例えば、異なる時間に撮影された複数の画像)を受信する。サンプル12は、限定ではなく例示として、病理学的スライド、生検、体液、生物(生きているか固定されている)、細胞(生きているか固定されている)、組織(生きているか固定されている)、細胞または細胞内の特徴物、生物または他の微視的な物体を含む液体または液体のサンプルを含み得る。一実施形態では、サンプル12はラベルフリーであり得、サンプル12から放出される蛍光は、サンプル12内の内因性蛍光体や、周波数シフトした光の他の内因性エミッタ(例えば、自家蛍光)から発せられる。別の実施形態では、サンプル12は、1以上の外因性蛍光ラベルまたは他の外因性発光体で標識される。これら2つの組み合わせもまた企図されている。
[0067]1以上の入力画像20は、画像化デバイス110、例えば蛍光顕微鏡デバイス110を用いて取得される。いくつかの実施形態では、画像化デバイス110は、入力画像20を拡張された視野(FOV)にわたって提供する広視野蛍光顕微鏡110を含み得る。訓練された深層ニューラルネットワーク10は、ユーザ定義または自動生成された表面42(デジタル伝播行列(DPM)または他の追加されたデータ構造によって確立されたもの)にデジタル伝播された1以上の蛍光出力画像40を出力または生成する。ユーザ定義または自動生成された表面42は、2次元(2D)表面または3次元(3D)表面を含み得る。これは例えば、サンプル12内の異なる軸方向の深さの面を含み得る。ユーザ定義または自動生成された表面42はまた、湾曲したまたは他の3D表面を含み得る。いくつかの実施形態では、ユーザ定義または自動生成された表面42は、サンプルの傾き(例えば、傾斜面)、曲率、または他の光学収差を補正する表面であり得る。本明細書で説明されるように、DPMを含み得るユーザ定義または自動生成された表面42は、訓練された深層ニューラルネットワーク10に入力される入力画像20に(例えば、連結操作を通じて)追加されるか、他の方法で関連付けられる。訓練された深層ニューラルネットワーク10は、ユーザ定義または自動生成された表面42における出力画像40を出力する。
[0068]いくつかの実施形態では、訓練された深層ニューラルネットワーク10への入力画像20は、深層ニューラルネットワーク10を訓練するために使用されるグラウンドトゥルース(GT)画像と同じか実質的に同様の開口数(numerical aperture)および解像度を有し得る。他の実施形態では、入力画像は、グラウンドトゥルース(GT)画像と比較して開口数および解像度が低くてもよい。この後者の実施形態では、訓練された深層ニューラルネットワーク10は、仮想リフォーカスと、入力画像20の解像度の向上(例えば、超解像)の両方を実行する。この追加機能は、入力画像20の解像度を増加または改善するように訓練することによって、深層ニューラルネットワーク10に与えられる。
[0069]他の実施形態では、複数のユーザ定義または自動生成された表面42を組み合わせて、複数の出力画像40を用いてサンプル12のボリューム(3D)画像を作成することができる。したがって、訓練された深層ニューラルネットワーク10を用いて生成された出力画像40のスタックをマージまたは結合して、サンプル12のボリューム画像を作成することができる。また、ボリューム画像は時間の関数として生成され、例えば、時間経過に伴う動きを示すボリュームムービーまたはタイムラプスビデオクリップであってもよい。同様に、複数のユーザ定義または自動生成された表面42を用いて、入力画像20の生成に使用される顕微鏡110の被写界深度を拡張する拡張被写界深度(EDOF)を有する出力画像を作成することができる。このオプションでは、複数のDPM42を使用する複数の出力画像40をデジタル的に組み合わせて、サンプル12のEDOF画像が作成される。関連する実施形態では、1以上のDPM42を使用する少なくとも1つの出力画像40を用いて、サンプル12の焦点の改善された画像を作成する。
[0070]ある特定の実施形態では、訓練された深層ニューラルネットワーク10によって生成された出力画像40は、入力画像20の生成に使用されたのと同じイメージングモダリティのものである。例えば、蛍光顕微鏡110が入力画像20を取得するために使用された場合、出力画像40も、ユーザ定義または自動生成された表面42にリフォーカスされているものの、同じタイプの蛍光顕微鏡110から得られたように見えるものとなる。別の実施形態では、訓練された深層ニューラルネットワーク10によって生成された出力画像40は、入力画像20の生成に使用されたものとは異なるイメージングモダリティのものである。例えば、広視野蛍光顕微鏡110が入力画像20を取得するために使用された場合、出力画像40は、共焦点顕微鏡から取得されたものであって、ユーザ定義または自動生成された表面42にリフォーカスされたように見えることになる。
[0071]好ましい一実施形態では、訓練された深層ニューラルネットワーク10は、敵対的生成ネットワーク(GAN)として訓練され、図14に見られるように、生成器ネットワーク(G)および識別器ネットワーク(D)の2つの部分を含む。生成器ネットワーク(G)は、ダウンサンプリングパス44と、対称的なアップサンプリングパス46とを含む。ダウンサンプリングパス44では、ある特定の実装例では、5つのダウンサンプリングブロックがある。ダウンサンプリングパス44の各ブロックは、入力テンソルを出力テンソルにマッピングする2つの畳み込み層を含む。ダウンサンプリングパス44の第5のダウンサンプリングブロックは、アップサンプリングパス46に接続する。アップサンプリングパス46は、一実施形態では、それぞれが入力テンソルを出力テンソルにマッピングする2つの畳み込み層を含む4つのアップサンプリングブロックを含む。連続するアップサンプリングブロック間の接続は、画像ピクセルを2倍アップサンプリングするアップコンボリューション(畳み込み転置)ブロックである。最後のブロックは、チャネル(本明細書で説明される一実施形態では48)を1つの出力チャネルにマッピングする畳み込み層である。
[0072]識別器ネットワーク(D)は、6つの連続する畳み込みブロックで構成される畳み込みニューラルネットワークであり、それぞれのブロックが入力テンソルを出力テンソルにマッピングする。最後の畳み込みブロックの後、ここで説明するように、平均プーリング層が出力を平坦化し、パラメータの数を減らす。続いて、LReLU活性化関数をもつサイズ3072×3072の完全接続(FC)層と、シグモイド活性化関数をもつサイズ3072×1の別のFC層がある。最終出力は識別器(D)のスコアを表し、(0,1)の範囲となり、ここで0は偽を、1は真のラベルを表す。トレーニング中に、重みは初期化され(例えば、Xavierイニシャライザを用いて)、バイアスが0.1に初期化される。訓練された深層ニューラルネットワーク10は、訓練された深層ニューラルネットワーク10を組み込んだ画像処理ソフトウェア104を使用して、コンピューティングデバイス100を用いて実行される。本明細書で説明するように、画像処理ソフトウェア104は、任意の数のソフトウェアパッケージおよびプラットフォームを用いて実装することができる。例えば、訓練された深層ニューラルネットワーク10は、TensorFlowを用いて実装できるが、他のプログラミング言語(Python、C++など)を使用してもよい。本発明は、特定のソフトウェアプラットフォームに限定されない。
[0073]蛍光出力画像40は、コンピューティングデバイス100に付随するディスプレイ106に表示されてよいが、画像40は、任意の適切なディスプレイ(例えば、コンピュータモニタ、タブレットコンピュータ、モバイルコンピューティングデバイスなど)に表示されてもいことを理解されたい。入力画像20はまた、任意選択で、1以上の出力画像40とともに表示されてもよい。ディスプレイ106は、ユーザがシステム2の様々なパラメータと相互作用できるようにするグラフィカルユーザインターフェース(GUI)などを含み得る。例えばGUIは、ディスプレイ106に表示する画像の特定の時間シーケンスをユーザが定義または選択できるようにしてもよい。したがって、GUIは、ユーザが一連の画像40をクリップまたは編集して、ムービーまたはタイムラプスビデオクリップを作成できるようにする一般的なムービー作成ツールを含み得る。GUIはまた、ユーザが特定のユーザ定義面42を容易に定義できるようにしてもよい。例えば、GUIは、ユーザがサンプル12内の特定の平面または他の深さの表面を定義できるようにするノブ、スライドバーなどを含み得る。GUIはまた、ユーザが選択できるいくつかの事前定義された、または任意のユーザ定義の、または自動生成された表面42を有してもよい。これらには、GUIを用いて選択された、様々な深さの平面、様々な断面の平面、様々な傾きの平面、曲面、または他の3D表面を含み得る。また、サンプル12内の深さの範囲(例えば、サンプル12内のボリューム領域)を含み得る。GUIツールは、ユーザがサンプル12の深さに沿って容易にスキャンできるようにする。GUIはまた、回転、傾き補正などを含む、出力画像40を補強または調整するための様々なオプションを提供してもよい。好ましい一実施形態では、ユーザ定義または自動生成された表面42は、ピクセルごとに、入力画像20の平面からの所望のまたはターゲット表面の軸方向距離を表すデジタル伝播行列(DPM)42として形成される。他の実施形態では、画像処理ソフトウェア104が、1以上のユーザ定義または自動生成された表面42(例えば、DPM)を提案または提供することができる。例えば、画像処理ソフトウェア104は、1以上の光学収差を補正する1以上のDPM42を自動的に生成してもい。これには、サンプルドリフト、傾き、球面収差などの収差が含まれ得る。したがって、DPM42は、画像処理ソフトウェア104に実装されたアルゴリズムによって自動的に生成され得る。このようなアルゴリズムは、別個の訓練されたニューラルネットワークまたはソフトウェアを用いて実装することができ、蛍光画像20で入力される表面またはDPM42で初期推測を行うことで動作してもよい。ネットワークまたはソフトウェアの出力結果は、メトリック(シャープネスやコントラストなど)に従って分析される。次に、その結果を用いてDPM42の新しい表面が生成され、これが蛍光画像20とともに入力され、満足のいく結果に収束するまで(例えば、十分なシャープネスやコントラストが得られたり、最大の結果が得られるまで)上記のように分析される。画像処理ソフトウェア104は、グレディアルゴリズム(greedy algorithm)を用いて、例えば、画像のシャープネスおよび/またはコントラストを最大化する表面に基づいて、これらのDPM42を識別することができる。重要な点は、これらの補正は、サンプル12が撮像されている間ではなく、オフラインで行われることである。
[0074]GUIは、サンプル12内の1以上の移動または運動する物体の選択されたムービークリップまたはタイムラプスビデオを視聴する機能をユーザに提供し得る。1つの特定の実施形態では、それぞれが異なる焦点深度にあるムービークリップまたはタイムラプスビデオが同時にディスプレイ106に表示されてもよい。本明細書で説明するように、システム2のこの機能は、機械的な軸方向スキャンや関連する光学ハードウェアの必要性を排除するだけでなく、サンプル内の光毒性または光退色を大幅に低減して、縦方向の実験を可能にする(例えば、サンプル12への光子線量または光曝露の低減を可能にする)。さらに、仮想的に作成されたタイムラプスビデオ/ムービークリップは、互いに時間的に同期している(つまり、異なる深度の画像フレーム40は同じタイムスタンプを持つ)が、これは、サンプルボリュームの異なる部分の連続測定間に避けられない時間遅延があるため、スキャンベースの3Dイメージングシステムでは不可能である。
[0075]一実施形態では、システム2は、入力画像20と実質的にリアルタイムで画像40を出力することができる。すなわち、取得された入力画像20は、ユーザ定義または自動生成された表面とともに訓練された深層ニューラルネットワーク10に入力され、出力画像40は、実質的にリアルタイムで生成または出力される。別の実施形態では、入力画像20は、蛍光顕微鏡デバイス110で取得された後、メモリやローカル記憶装置(例えば、ハードドライブまたはソリッドステートドライブ)に格納され、その後にオペレータの都合に合わせて訓練された深層ニューラルネットワーク10にかけるようにしてもよい。
[0076](トレーニング画像に加えて)顕微鏡デバイス110で得られる入力画像20は、いくつかの異なるタイプの顕微鏡110を用いて取得または獲得してもよい。これには、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いた共焦点顕微鏡、二次高調波または高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ(ptychography)顕微鏡が含まれる。
[0077]実験
[0078]本明細書に記載のDeep-Zシステム2では、入力2D蛍光画像20(サンプル12のボリューム内の3D表面にデジタルリフォーカスされる)は、最初に、図1および2に見られるように、入力画像の平面からのターゲット表面の軸方向距離をピクセルごとに表すデジタル伝播行列(DPM)の形態でユーザ定義の表面42が付加される。Deep-Z画像処理ソフトウェア104は、(1)異なる深度で軸方向にフォーカスされ、異なるDPMが付加された様々な蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲットのフォーカス面でキャプチャされた対応する蛍光画像(すなわち、グラウンドトゥルース(GT)ラベル)との正確に一致するペアを用いて訓練された深層ニューラルネットワーク10を含む。仮定や物理モデルなしで実験画像データのみを使用するこの訓練プロセスを通じて、GANベースの訓練された深層ニューラルネットワーク10の生成ネットワークは、各DPMピクセルの値を軸方向のリフォーカス距離として解釈することを学習し、サンプル12のボリューム内でユーザによって定義された3D表面(すなわち、DPMまたは他のユーザ定義または自動生成された表面42)にデジタルリフォーカスされた同等の蛍光画像40を出力し、ここでは、ターゲット面に対する実際の軸方向の位置に応じて、サンプルの一部は焦点が合い、他の一部は焦点外となる。
[0078]本明細書に記載のDeep-Zシステム2では、入力2D蛍光画像20(サンプル12のボリューム内の3D表面にデジタルリフォーカスされる)は、最初に、図1および2に見られるように、入力画像の平面からのターゲット表面の軸方向距離をピクセルごとに表すデジタル伝播行列(DPM)の形態でユーザ定義の表面42が付加される。Deep-Z画像処理ソフトウェア104は、(1)異なる深度で軸方向にフォーカスされ、異なるDPMが付加された様々な蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲットのフォーカス面でキャプチャされた対応する蛍光画像(すなわち、グラウンドトゥルース(GT)ラベル)との正確に一致するペアを用いて訓練された深層ニューラルネットワーク10を含む。仮定や物理モデルなしで実験画像データのみを使用するこの訓練プロセスを通じて、GANベースの訓練された深層ニューラルネットワーク10の生成ネットワークは、各DPMピクセルの値を軸方向のリフォーカス距離として解釈することを学習し、サンプル12のボリューム内でユーザによって定義された3D表面(すなわち、DPMまたは他のユーザ定義または自動生成された表面42)にデジタルリフォーカスされた同等の蛍光画像40を出力し、ここでは、ターゲット面に対する実際の軸方向の位置に応じて、サンプルの一部は焦点が合い、他の一部は焦点外となる。
[0079]この独自の蛍光デジタルリフォーカスシステム2の成功を実証するために、線虫(C. elegans)のニューロンを、20×/0.75開口数(NA)の対物レンズを備えた標準的な広視野蛍光顕微鏡を用いて画像化し、ネイティブ深度を拡張した。この対物レンズの本来の被写界深度(DOF)(~1μm)を約20倍に拡大し、訓練された深層ニューラルネットワークを用いて単一の2D蛍光画像を焦点面に対して10~Δz=±10μmで軸方向にリフォーカスしたところ、同じ軸方向範囲内でサンプルを機械的にスキャンして得られた蛍光画像と非常によく一致した。同様の結果が、より高いNAの対物レンズ(40×/1.3NA)を用いても得られた。この深層学習ベースの蛍光画像リフォーカスシステム2を用いて、単一の焦点面で取得した蛍光画像のタイムシーケンスを用いて、線虫のニューロン活動の3Dトラッキングが±10μmの拡張DOFにわたって実証された。このように、サンプル12(またはサンプル12内のオブジェクト)の入力画像20の時系列を用いて、経時的な2Dおよび/または3Dトラッキングのためのタイムラプスビデオまたはムービーを生成することができる。
[0080]さらに、システム2によって可能になる追加の自由度のいくつかを強調するために、空間的に不均一なDPM42を用いて、2D入力蛍光画像をユーザ定義の3D表面にリフォーカスさせ、サンプルドリフト、傾き、球面収差などの収差を計算的に補正した。これらはすべて、蛍光画像の取得後に、標準的な広視野蛍光顕微鏡の光学ハードウェアに変更を加えることなく行った。
[0081]システム2の別の重要な特徴は、蛍光画像20のクロスモダリティデジタルリフォーカスを可能にすることであり、ここでは訓練された深層ニューラルネットワーク10が、異なる蛍光顕微鏡110モダリティによって得られたゴールドスタンダードラベル画像で訓練され、前記訓練された深層ニューラルネットワークが入力画像20をサンプルボリューム内の別の面にリフォーカスするが、このときに入力画像20と比較して異なる蛍光イメージングモダリティによって取得された同じ平面の画像と一致させるように訓練される。この関連フレームワークを、本明細書ではDeep-Z+と呼ぶ。この実施形態では、第1の顕微鏡モダリティを用いた入力画像20によって生成された出力画像40は、第2のタイプの顕微鏡モダリティで得られた同じサンプル12の顕微鏡画像と類似し、実質的に同等である。この独自の機能の概念実証を行うために、Deep-Z+の訓練された深層ニューラルネットワーク10を、広視野蛍光顕微鏡110と共焦点顕微鏡(図示せず)でそれぞれ取得された入力画像とラベル画像を用いて訓練し、このクロスモダリティDeep-Z+の出力で入力広視野蛍光画像20のデジタルリフォーカス画像40を盲目的に生成し、これが同じサンプル断面の共焦点顕微鏡画像と一致した。
[0082]様々な異なるイメージングモダリティがクロスモダリティ機能で動作することを理解されたい。例えば、第1の顕微鏡モダリティが蛍光顕微鏡(例えば、広視野蛍光)を含み、第2のモダリティが、超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を有する共焦点顕微鏡、第2高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィック顕微鏡のうちの1つを含み得る。
[0083]そのトレーニング後、深層ニューラルネットワーク10は固定のままで、追加されたDPMまたは他のユーザ定義面42は、ユーザが単一の2D蛍光画像を3D表面にリフォーカスし、迅速かつ非反復的な方法で所望のデジタルリフォーカスされた蛍光画像40を出力するための「深度調整ノブ」を提供する。蛍光顕微鏡法に加えて、Deep-Zフレームワークは他のインコヒーレントイメージングモダリティに適用可能であり、実際、単一の2Dインコヒーレント画像を用いてサンプルボリュームの3Dデジタルリフォーカスを実現することで、コヒーレント顕微鏡とインコヒーレント顕微鏡の間のギャップを埋める。システム2は、訓練された深層ニューラルネットワーク10の単一のフォワードパス操作を用いて、蛍光サンプルボリューム内の3D表面を別の3D表面に迅速に変換するための計算フレームワークを可能にするという点でさらに独特である。
[0084]Deep-Zを使用した蛍光画像のデジタルリフォーカス
[0085]本明細書に記載のシステム2および方法は、単一の強度のみの広視野蛍光画像20を、そのトレーニングの軸方向範囲内でユーザ定義の表面42にデジタル的にリフォーカスすることを可能にする。図2Aは、300nmの蛍光ビーズ(励起/発光:538nm/584nm)の単一の蛍光画像20を、DPM42によって定義される複数のユーザ定義面にデジタル伝播させることによって、この概念を実証している。対物レンズのNA(20×0.75NA)で定義される入力蛍光画像20のネイティブDOFは約1μmである。Deep-Zシステム2を用いて、この蛍光ビーズの画像を±10μmの軸方向範囲にわたってデジタルリフォーカスし、グラウンドトゥルース(GT)を形成する同じ関心領域(ROI)の機械的スキャンされた対応する画像と一致した。図2AのPSFは軸方向に非対称であり、これはDeep-Zによる入力画像のデジタル伝播に関してニューラルネットワーク10に方向性の手がかりを提供する。対称的なガウスビームとは異なり、軸方向に沿ったこのようなPSFの非対称性は、蛍光顕微鏡システムに遍在している。入力蛍光画像20をデジタルリフォーカスすることに加えて、Deep-Zシステム2はまた、対応する深度で測定された同じ物体の蛍光画像と比較して、その出力40で改善された信号対雑音比(SNR)を提供する(図7参照)。機械的にスキャンされたグラウンドトゥルースと比較したこのSNRの増加の核心は、訓練された深層ニューラルネットワーク10が、その訓練段階で一般化されなかった様々な画像ノイズのソースを拒絶する能力である。Deep-Zシステム2の出力パフォーマンスをさらに定量化するために、PSF分析を用いた。図2B、2Cは、約500×500μm2に分散した461個の個々の/単離されたナノビーズの横方向および軸方向の半値全幅(FWHM)値の両方のヒストグラムを示す。これらのヒストグラムの統計は互いに非常によく一致しており、単一の蛍光画像(N=1計測画像)から計算されたDeep-Zの出力画像40と、対応する軸方向にスキャンされたグラウンドトゥルース(GT)画像(N=41計測画像)との一致が確認された。この定量的な一致は、Deep-Zシステム2が画像データを通じて蛍光の3Dリフォーカスを間接的に学習したという事実を強調している。ただし、この学習された機能は、トレーニングデータセットによって定まる軸方向範囲内に限定され(例えば、この作業では±10μm)、このトレーニング範囲外では失敗する(この現象の定量化は図8参照)。もちろん、より広い軸方向範囲でトレーニングすれば、訓練された深層ニューラルネットワーク10の軸方向リフォーカスの範囲が改善される。
[0085]本明細書に記載のシステム2および方法は、単一の強度のみの広視野蛍光画像20を、そのトレーニングの軸方向範囲内でユーザ定義の表面42にデジタル的にリフォーカスすることを可能にする。図2Aは、300nmの蛍光ビーズ(励起/発光:538nm/584nm)の単一の蛍光画像20を、DPM42によって定義される複数のユーザ定義面にデジタル伝播させることによって、この概念を実証している。対物レンズのNA(20×0.75NA)で定義される入力蛍光画像20のネイティブDOFは約1μmである。Deep-Zシステム2を用いて、この蛍光ビーズの画像を±10μmの軸方向範囲にわたってデジタルリフォーカスし、グラウンドトゥルース(GT)を形成する同じ関心領域(ROI)の機械的スキャンされた対応する画像と一致した。図2AのPSFは軸方向に非対称であり、これはDeep-Zによる入力画像のデジタル伝播に関してニューラルネットワーク10に方向性の手がかりを提供する。対称的なガウスビームとは異なり、軸方向に沿ったこのようなPSFの非対称性は、蛍光顕微鏡システムに遍在している。入力蛍光画像20をデジタルリフォーカスすることに加えて、Deep-Zシステム2はまた、対応する深度で測定された同じ物体の蛍光画像と比較して、その出力40で改善された信号対雑音比(SNR)を提供する(図7参照)。機械的にスキャンされたグラウンドトゥルースと比較したこのSNRの増加の核心は、訓練された深層ニューラルネットワーク10が、その訓練段階で一般化されなかった様々な画像ノイズのソースを拒絶する能力である。Deep-Zシステム2の出力パフォーマンスをさらに定量化するために、PSF分析を用いた。図2B、2Cは、約500×500μm2に分散した461個の個々の/単離されたナノビーズの横方向および軸方向の半値全幅(FWHM)値の両方のヒストグラムを示す。これらのヒストグラムの統計は互いに非常によく一致しており、単一の蛍光画像(N=1計測画像)から計算されたDeep-Zの出力画像40と、対応する軸方向にスキャンされたグラウンドトゥルース(GT)画像(N=41計測画像)との一致が確認された。この定量的な一致は、Deep-Zシステム2が画像データを通じて蛍光の3Dリフォーカスを間接的に学習したという事実を強調している。ただし、この学習された機能は、トレーニングデータセットによって定まる軸方向範囲内に限定され(例えば、この作業では±10μm)、このトレーニング範囲外では失敗する(この現象の定量化は図8参照)。もちろん、より広い軸方向範囲でトレーニングすれば、訓練された深層ニューラルネットワーク10の軸方向リフォーカスの範囲が改善される。
[0086]次に、Deep-Zシステム2を、汎ニューロンタグRFPを発現するC.elegans線虫のニューロンをイメージングすることによってテストした。図3は、単一の広視野蛍光入力画像20からの線虫の異なる部分をDeep-Zベースでリフォーカスした場合のブラインドテスト結果を示す。Deep-Zシステム2を用いて、入力画像20内の区別できない蛍光ニューロンは異なる深度で焦点が合ったが、入力画像20上の他のいくつかの焦点の合ったニューロンは、3Dにおける真の軸方向位置に応じて焦点がぼけて背景に紛れた。図3に提供されたグラウンドトゥルース機械的スキャンとの断面比較を参照されたい(画像差分析については図9A~9Jも参照)。最適なパフォーマンスを得るために、このDeep-Zシステム2は、線虫本体と周囲の媒体の屈折特性とともに3DPSF情報を正確に学習するために、線虫のサンプル12を用いて特別に訓練された。Deep-Zシステム2を用いて、(線虫の単一の2D蛍光画像から)サンプル12の仮想3Dスタックと3D視覚化が約±10μmの軸方向範囲で生成された。同様の結果が、40×1.3NA対物レンズの下で画像化された線虫についても得られ、Deep-Zは約±4μmの軸範囲にわたって入力画像のリフォーカスに成功した(図10参照)。
[0087]Deep-Zシステム2は、イメージングシステムの固有の解像度、フレームレート、または光子効率を犠牲にすることなく、単一の2D蛍光画像20を用いて3Dサンプル12内の任意の平面の画像をデジタル的に再構成できるので、特に動的な(例えば、移動する)生物学的サンプル12のイメージングに有用である。この能力を実証するために、4匹の動く線虫12の動画を撮影し、この蛍光動画の各画像フレーム40を、Deep-Zで訓練された深層ニューラルネットワーク10を用いて様々な深度にデジタルリフォーカスした。これにより、同じサンプルボリュームの、それぞれが異なる深度(z深度など)にフォーカスされた動画を同時に再生する映像を作成することが可能になった。この独特な機能により、機械的な軸方向スキャンや関連する光学ハードウェアが不要になるだけでなく、サンプル内の光毒性または光退色が大幅に減少し、縦方向の実験が可能になる。さらに別の有利な機能は、従来のスキャンベースの3Dイメージングシステムでは不可能であった、異なる深度で時間的に同期されたタイムラプスビデオまたはムービークリップを同時に表示する能力である。線虫のニューロンの3Dイメージングに加えて、システム2は、例えば図11にあるように、ミトコンドリアやウシ肺動脈内皮細胞(BPAEC)内のF-アクチン構造のような、空間的に高密度の蛍光サンプル12の画像20のデジタルリフォーカスにも適している。
[0088]これまでに説明したように、ブラインドテストされたサンプル12は、同じタイプのサンプル12と同じ顕微鏡システム(すなわち、同じモダリティのイメージングデバイス110)を用いて訓練されたDeep-Zで訓練された深層ニューラルネットワーク10で推測された。システム2を、例えば、(1)異なるタイプのサンプル12を画像化する、(2)異なる顕微鏡システム110をイメージングに使用する、(3)異なる照明パワーまたはSNRを用いるなど、トレーニング画像セットと比較してテストデータの分布に変化が導入される様々なシナリオで評価した。結果(図17A、17B、18、19)および関連する分析は、これらの変化のいくつかに対するDeep-Zシステム2のロバスト性を明らかにしている。ただし、Deep-Zシステム2で最高のパフォーマンスを達成するための一般的な推奨事項として、テストフェーズで使用されると予想される、同じ顕微鏡イメージングデバイス/システム110および同じタイプのサンプルで取得されたトレーニング画像を使用して、ニューラルネットワーク10をトレーニングする必要がある(最初から、または図I7A、17B、18に示すように、トレーニングプロセスを大幅に促進する伝達学習を通じて)。
[0089]Deep-Zを使用したサンプルドリフトによるデフォーカス補正
[0090]Deep-Zシステム2は、画像20のキャプチャ後に、サンプルドリフトによるデフォーカスを補正することも可能である。20×/0.8NA対物レンズ(DOF~1μm)を有する広視野蛍光顕微鏡110で記録した移動する線虫の動画を生成した。線虫は、記録面から2~10μmデフォーカスしている。Deep-Zシステム2を用いて、入力動画の各画像フレーム20を10μmまでの異なる平面にデジタルリフォーカスし、このサンプルドリフトによるデフォーカスを補正することができる。このようなサンプルドリフトは、従来、画像のフォーカスを積極的に監視し、測定中にそれを補正することによって、例えば追加の顕微鏡を使用することによって補正されていた。一方、Deep-Zシステム2は、すでにキャプチャされた2D蛍光画像のサンプルドリフトを補正する可能性を提供する。
[0090]Deep-Zシステム2は、画像20のキャプチャ後に、サンプルドリフトによるデフォーカスを補正することも可能である。20×/0.8NA対物レンズ(DOF~1μm)を有する広視野蛍光顕微鏡110で記録した移動する線虫の動画を生成した。線虫は、記録面から2~10μmデフォーカスしている。Deep-Zシステム2を用いて、入力動画の各画像フレーム20を10μmまでの異なる平面にデジタルリフォーカスし、このサンプルドリフトによるデフォーカスを補正することができる。このようなサンプルドリフトは、従来、画像のフォーカスを積極的に監視し、測定中にそれを補正することによって、例えば追加の顕微鏡を使用することによって補正されていた。一方、Deep-Zシステム2は、すでにキャプチャされた2D蛍光画像のサンプルドリフトを補正する可能性を提供する。
[0091]Deep-Zを使用した線虫の3D機能イメージング
[0092]3D蛍光イメージングの重要なアプリケーションは、ニューロン活動の追跡である。例えば、異なる蛍光タンパク質を発現させた遺伝子組み換え動物は、それらのニューロン活動を明らかにするために、蛍光顕微鏡110を用いて日常的に画像化される。ニューロン活動を3Dで追跡するDeep-Zシステム2の有用性を強調するために、2つの蛍光チャネルを備えた20×/0.8NA対物レンズを用いて、線虫の蛍光ビデオを単一の焦点面(z=0μm)で約36Hzで約35秒間記録した。FITCはニューロン活動で、テキサスレッドはニューロン位置である。入力ビデオ画像フレーム20は、連続するフレーム間の線虫のわずかな体動を補正するために、互いに位置合わせ(registered)された(本明細書の方法欄に記載)。次に、取得した映像の各チャネルの各フレーム20を、Deep-Zでトレーニングした深層ニューラルネットワーク10を用いて、-10μmから10μmまでの一連の軸方向平面に0.5μmのステップサイズでデジタルリフォーカスし、取得したフレームごとに(出力画像40の)仮想3D蛍光画像スタックを生成した。記録された入力ビデオと、これらの仮想スタックのz軸に沿った最大強度投影(MIP)の映像を、比較映像として作成した。入力映像でデフォーカスされているニューロンは、蛍光チャネルの両方のDeep-Z出力でオンデマンドで明確にリフォーカスできる。これにより、単一の焦点面でキャプチャされた2D蛍光画像20の時間シーケンスから、個々のニューロン活動を3Dで正確に時空間追跡することができる。
[0092]3D蛍光イメージングの重要なアプリケーションは、ニューロン活動の追跡である。例えば、異なる蛍光タンパク質を発現させた遺伝子組み換え動物は、それらのニューロン活動を明らかにするために、蛍光顕微鏡110を用いて日常的に画像化される。ニューロン活動を3Dで追跡するDeep-Zシステム2の有用性を強調するために、2つの蛍光チャネルを備えた20×/0.8NA対物レンズを用いて、線虫の蛍光ビデオを単一の焦点面(z=0μm)で約36Hzで約35秒間記録した。FITCはニューロン活動で、テキサスレッドはニューロン位置である。入力ビデオ画像フレーム20は、連続するフレーム間の線虫のわずかな体動を補正するために、互いに位置合わせ(registered)された(本明細書の方法欄に記載)。次に、取得した映像の各チャネルの各フレーム20を、Deep-Zでトレーニングした深層ニューラルネットワーク10を用いて、-10μmから10μmまでの一連の軸方向平面に0.5μmのステップサイズでデジタルリフォーカスし、取得したフレームごとに(出力画像40の)仮想3D蛍光画像スタックを生成した。記録された入力ビデオと、これらの仮想スタックのz軸に沿った最大強度投影(MIP)の映像を、比較映像として作成した。入力映像でデフォーカスされているニューロンは、蛍光チャネルの両方のDeep-Z出力でオンデマンドで明確にリフォーカスできる。これにより、単一の焦点面でキャプチャされた2D蛍光画像20の時間シーケンスから、個々のニューロン活動を3Dで正確に時空間追跡することができる。
[0093]Deep-Zの出力画像40を用いてニューロンの活動を定量化するために、個々のニューロンのボクセルをテキサスレッドチャネル(ニューロン位置)を用いてセグメント化し、時間の経過に伴う各ニューロンセグメント内のFITCチャネル(ニューロン活動)の蛍光強度の変化、つまりΔF(t)-F0を追跡した。ここで、F(t)はニューロンの蛍光発光強度、F0はその時間平均である。図4Bに示すように、Deep-Z出力画像40を用いて、3Dの合計155個の個々のニューロンが分離された。ここで、色は各ニューロンの深さ(z位置)を表す。比較のために、図20bは、入力2D画像のみに適用された同じセグメンテーションアルゴリズムの結果を報告しており、ここでは深度情報なしで99個のニューロンが識別された。
[0094]図4Cは、最もアクティブな70個のニューロンの活動をプロットしたもので、これらのニューロンは、カルシウム活性パターンの類似性に基づいてクラスタC1~C3にグループ化された。Deep-Zを用いて推論された155個のニューロンすべての活動が、図12A~12Fに提供されている。図3Cは、クラスタC3のカルシウム活性がt=14秒で増加したのに対し、クラスタC2の活性は同様の時点で減少したことを報告している。これらのニューロンは、通常は互いに反相関する後方運動と前方運動をそれぞれ促進する運動ニューロンA型とB型に対応している可能性が非常に高い。クラスタC1は、線虫の中央に位置する比較的大きなサイズの2つの細胞がある。これらの細胞には、t=4、17、32秒に3つの同期した短いスパイクがあった。それらの3D位置とカルシウム活性パターンの規則性から、それらが排便システムの神経細胞または筋細胞であり、運動システムと協調して一定の間隔で排便を開始すると考えられる。
[0095]この3D追跡されたニューロン活動はすべて、実際にはサンプル12内の単一の焦点面で取得された入力2D蛍光画像シーケンス(すなわち画像20)に埋め込まれていたが、そこから容易に推測できるものではないことを強調しておきたい。Deep-Zシステム2と、サンプルボリューム内のユーザ定義の表面42への3Dリフォーカス機能により、機械的スキャン、追加ハードウェア、または解像度やイメージング速度のトレードオフを必要とせずに、2D顕微鏡の時間シーケンスを用いてニューロンの位置と活動が正確に追跡された。
[0096]Deep-Zシステム2は、純粋にデジタルリフォーカスによって時間的に同期した仮想イメージスタックを生成するため、例えば典型的には最大100フレーム/秒の短い映像を作成するストリームモードを用いて、イメージング速度をカメラのフレームレートの限界に合わせる(または改善させる)ことができる。この機会を強調するために、ライカSP8顕微鏡のカメラのストリームモードを用いて、動く線虫のニューロンの核(テキサスレッドチャネルの下)とニューロンのカルシウム活性(FITCチャネルの下)を10秒間モニタリングするために、2つのビデオを100fpsでキャプチャし、Deep-Zを用いて、これらのフレームから±10μmの軸方向深度範囲で仮想的にリフォーカスされた映像を生成した。
[0097]空間的に不均一なDPMを用いたDeep-Zベースの収差補正
[0098]一実施形態では、入力蛍光画像20をサンプルボリューム内の異なる平面にリフォーカスさせるために、トレーニングフェーズとブラインドテストの両方で均一なDPM42が使用された。ここで、Deep-Zで訓練された深層ニューラルネットワーク10が均一なDPM42で訓練されたとしても、テストフェーズでは、DPM42の一部として空間的に不均一なエントリを用いて、入力蛍光画像20をユーザ定義の3D表面にリフォーカスできることを強調しておきたい。この機能により、3D表面の蛍光画像を、対応するDPM42のピクセルマッピングによって定義される別の3D表面にデジタルリフォーカスすることができる。
[0098]一実施形態では、入力蛍光画像20をサンプルボリューム内の異なる平面にリフォーカスさせるために、トレーニングフェーズとブラインドテストの両方で均一なDPM42が使用された。ここで、Deep-Zで訓練された深層ニューラルネットワーク10が均一なDPM42で訓練されたとしても、テストフェーズでは、DPM42の一部として空間的に不均一なエントリを用いて、入力蛍光画像20をユーザ定義の3D表面にリフォーカスできることを強調しておきたい。この機能により、3D表面の蛍光画像を、対応するDPM42のピクセルマッピングによって定義される別の3D表面にデジタルリフォーカスすることができる。
[0099]このような独特の機能は、多くの用途の中でも、画像取得後の蛍光画像の異なる部分の同時オートフォーカス、光学系(および/またはサンプル)によって導入された収差の測定または評価、および所望の不均一なDPM42を適用してそのような収差を補正するのに有用である。Deep-Zシステム2によって実現するこの追加の自由度を例示するために、図5A~5Lは、オブジェクトごとに単一の2D蛍光画像を取得した後の、2つの異なるサンプルの平面傾斜および円筒曲率の補正を示す。図5Aは最初の測定を示し、蛍光ナノビーズサンプルの平面が対物レンズの焦点面に対して1.5°傾いていた。その結果、取得された生の蛍光画像(図5C)の左側と右側がぼやけ、図5Eに示すように、これらのナノビーズに対応する横方向のFWHM値が著しく広くなった。このサンプル傾斜を表す図5Bに見られるような不均一なDPM42を使用することによって、Deep-Zで訓練された深層ニューラルネットワーク10は、均一なDPM42を用いてトレーニングされただけであるにも拘わらず、ぼやけた入力画像20(図5C)に作用し、すべてのナノビーズに正確に焦点を合わせることができる(図5D)。ネットワーク出力画像で計算された横方向のFWHM値は、入力画像での中央値が約2.14μmであったのに対し(図5E)、中央値が約0.96μm(図5F)と単分散になった。同様に、図3は、図5Gは2回目の測定を示しており、ここではナノビーズを直径約7.2mmの円筒形の表面に分散させている。結果として、測定された生の蛍光画像は、図5Iに示すようにデフォーカス領域を示し、これらのナノビーズ画像のFWHM値はそれに応じて広がり(図5K)、中央値約2.41μmに対応する。一方、この円筒面を定義する不均一なDPM42(図5H)を使用すると、図5Iの収差は、Deep-Zで訓練された深層ニューラルネットワーク10を用いて補正され(図5J)、傾斜したサンプルの場合と同様に、ネットワーク出力画像で計算された横方向のFWHM値は、所望のように、中央値が約0.91μmと再び単分散になった(図5L)。
[00100]この手法の限界を評価するために、DPM42がアーチファクトを発生させずに持つことができる3D表面曲率を定量化した。これには、x方向に沿って横方向の周期がD=1、2、...、256ピクセル(ピクセルサイズ0.325μm)で、と軸方向の振動範囲が8μm(すなわち、入力面に対して正弦波の深さが-1μmから-9μmの範囲)の3D正弦波パターンからなる一連のDPM42を使用した。これらの3D正弦波DPM42のそれぞれは、Deep-Zネットワーク10に供給された入力蛍光画像20に付加された。次に、対応するDPM42によって定義された各正弦波3D表面でのネットワーク出力を、比較用のグラウンドトゥルース画像を構成する0.5μmのスキャンステップサイズで軸方向にスキャンされたzスタックを用いて3D補間された画像と比較した。図13A~13Fに要約されるように、Deep-Zネットワーク10は、変調の周期が>100ピクセル(すなわち、物体空間において>32μm)である場合、正弦波DPM42によって定義される3D表面に入力蛍光画像20を確実にリフォーカスさせることができる。周期が32μmよりも小さい、より高速に振動するDPM42の場合、対応する3D表面でのネットワーク出力画像40は、図13~13Fに報告されるスペクトル分析に示すように、これらの高周波数およびそれらの高調波でバックグラウンド変調を示す。これらの高調波アーチファクトとバックグラウンド変調は、32μmを超える横方向周期と8μmの軸方向範囲を持つ出力で正弦波3D表面を定義する低周波数DPM42では消失する。
[00101]蛍光画像のクロスモダリティ・デジタルリフォーカス:Deep-Z+
[00102]Deep-Zシステム2は、広視野蛍光顕微鏡画像20内のデフォーカスした3D特徴をユーザ定義表面へのデジタルリフォーカスを可能にする。同じ概念を用いて、入力蛍光画像20のクロスモダリティデジタルリフォーカスを実行することもでき、ここでは生成ネットワークGは、2つの異なる蛍光イメージングモダリティでキャプチャされた入力画像とラベル画像のペアを用いて訓練することができる(すなわち、ディープと呼ばれる)。その訓練後、Deep-Z+で訓練された深層ニューラルネットワーク10は、蛍光顕微鏡110によって取得された単一の入力蛍光画像20を3Dでユーザ定義の標的表面42にデジタルリフォーカスすることを学習するが、今回の出力40は、対応する高さ/平面で異なる蛍光イメージングモダリティによってキャプチャされた同じサンプル12の画像と一致する。この独自の機能を実証するために、Deep-Z+深層ニューラルネットワーク10を、対応する平面での広視野顕微鏡画像(入力として使用)と共焦点顕微鏡画像(グラウンドトゥルース(GT)ラベルとして使用)のペアを用いてトレーニングし、クロスモダリティ・デジタルリフォーカスを実行した。図6A~6Dは、このDeep-Z+システム2を用いてBPAECの微小管構造を画像化するためのブラインドテスト結果を示す。図6B~6Dにあるように、訓練されたDeep-Z+ネットワーク10は、入力広視野蛍光画像20を異なる軸方向距離にデジタルリフォーカスすると同時に、リフォーカス面におけるデフォーカスされた空間的特徴のいくつかを拒絶し、グラウンドトゥルース(GT)として機能する対応する面の共焦点画像と一致させる(図6C)。例えば、図6A~6CのROIの左下隅の微小管構造は、z=0.34μmのリフォーカス距離で顕著であったが、z=-0.46μmのリフォーカス距離ではこの軸方向距離でフォーカス外となったため、Deep-Z+ネットワーク10によってデジタル的に拒絶され(図6Bの上の画像)、同じ深さの共焦点顕微鏡の対応する画像と一致した。図6A~6Dにあるように、Deep-Z+システム2は、共焦点顕微鏡のセクショニング機能とその画像リフォーカスフレームワークを統合させる。図6Bおよび6Cはまた、Deep-Z+出力画像40のxzおよびyz断面を報告しており、ここでは微小管構造の軸方向分布が、広視野蛍光顕微鏡の軸方向スキャン画像と比較して著しくシャープであり、共焦点顕微鏡で得られる断面と非常によく一致し、そのトレーニングの目的に合致する。
[00102]Deep-Zシステム2は、広視野蛍光顕微鏡画像20内のデフォーカスした3D特徴をユーザ定義表面へのデジタルリフォーカスを可能にする。同じ概念を用いて、入力蛍光画像20のクロスモダリティデジタルリフォーカスを実行することもでき、ここでは生成ネットワークGは、2つの異なる蛍光イメージングモダリティでキャプチャされた入力画像とラベル画像のペアを用いて訓練することができる(すなわち、ディープと呼ばれる)。その訓練後、Deep-Z+で訓練された深層ニューラルネットワーク10は、蛍光顕微鏡110によって取得された単一の入力蛍光画像20を3Dでユーザ定義の標的表面42にデジタルリフォーカスすることを学習するが、今回の出力40は、対応する高さ/平面で異なる蛍光イメージングモダリティによってキャプチャされた同じサンプル12の画像と一致する。この独自の機能を実証するために、Deep-Z+深層ニューラルネットワーク10を、対応する平面での広視野顕微鏡画像(入力として使用)と共焦点顕微鏡画像(グラウンドトゥルース(GT)ラベルとして使用)のペアを用いてトレーニングし、クロスモダリティ・デジタルリフォーカスを実行した。図6A~6Dは、このDeep-Z+システム2を用いてBPAECの微小管構造を画像化するためのブラインドテスト結果を示す。図6B~6Dにあるように、訓練されたDeep-Z+ネットワーク10は、入力広視野蛍光画像20を異なる軸方向距離にデジタルリフォーカスすると同時に、リフォーカス面におけるデフォーカスされた空間的特徴のいくつかを拒絶し、グラウンドトゥルース(GT)として機能する対応する面の共焦点画像と一致させる(図6C)。例えば、図6A~6CのROIの左下隅の微小管構造は、z=0.34μmのリフォーカス距離で顕著であったが、z=-0.46μmのリフォーカス距離ではこの軸方向距離でフォーカス外となったため、Deep-Z+ネットワーク10によってデジタル的に拒絶され(図6Bの上の画像)、同じ深さの共焦点顕微鏡の対応する画像と一致した。図6A~6Dにあるように、Deep-Z+システム2は、共焦点顕微鏡のセクショニング機能とその画像リフォーカスフレームワークを統合させる。図6Bおよび6Cはまた、Deep-Z+出力画像40のxzおよびyz断面を報告しており、ここでは微小管構造の軸方向分布が、広視野蛍光顕微鏡の軸方向スキャン画像と比較して著しくシャープであり、共焦点顕微鏡で得られる断面と非常によく一致し、そのトレーニングの目的に合致する。
[00103]Deep-Zシステム2は、訓練された深層ニューラルネットワーク2を搭載し、単一の2D蛍光画像20を用いてサンプル12内の3Dリフォーカスを可能にする。このフレームワークは非反復的であり、トレーニングフェーズの後にハイパーパラメータの調整を必要としない。Deep-Zでは、ユーザはDPM42の各ピクセルのリフォーカス距離を指定することができ(トレーニングで使用された軸方向の範囲に従う)、蛍光画像20は、本明細書で報告された変換限界内で(例えば、図8および図13A~13Fを参照)、Deep-Zで訓練された深層ニューラルネットワーク10を介して対応する表面にデジタルリフォーカスできる。Deep-Zベースのシステム2は、サンプルボリューム内の蛍光物体の密度の変化(軸方向のリフォーカス距離の関数である限界まで)、入力画像の露光時間、および照明強度変調に対してもロバストである(詳細な結果については、図16A~16C、19A~19B、21A~2IH、22A~22D、23A~23Eおよび説明を参照)。距離はDPMで符号化され、畳み込みチャネルとしてモデル化されるので、均一なDPM42でネットワーク10を訓練することができ、それでも、例えばサンプルのドリフト、傾き、湾曲、またはその他の光学収差を補正するために、本明細書で報告されるように、推論段階で様々な非均一なDPM42を適用することができ、これによってイメージングシステムに追加の自由度をもたらす。
[00104]ディープラーニングは、顕微鏡画像の横方向および軸方向の解像度を高めるためのデコンボリューションを実行するのに非常に有効あることが最近実証されている。Deep-Zネットワーク10は、デジタルリフォーカスプロセスによって焦点の合った空間的特徴を選択的にデコンボリューションし(例えば、図11参照)、一方で焦点が合わなくなった他の特徴をコンボリューションし、ユーザ定義のDPM42に基づいて、焦点が合った特徴にコントラストをもたらす点で独特である。このDeep-Zフレームワークを通じて、コヒーレントイメージングとホログラフィのスナップショット3Dリフォーカス機能が、機械的スキャン、ハードウェアコンポーネントの追加、またはイメージングの解像度や速度のトレードオフなしに、インコヒーレント蛍光顕微鏡にもたらされる。これは、イメージング速度を大幅に向上させるだけでなく、サンプル12に対する光退色や光毒性の悪影響を低減する。軸方向の画像スタックが取得される広視野蛍光顕微鏡実験の場合、照明は標本またはサンプル12の厚さ全体にわたって蛍光体を励起し、サンプルボリューム内の特定のポイントの総露光量は、シングルパスのzスタック中に取得される撮像面(Nz)の数に比例する。対照的に、Deep-Zシステム2は、その軸方向のトレーニング範囲がサンプルの深さをカバーする場合、単一の画像取得ステップしか必要としない。したがって、Deep-Zシステム2によって実現する、サンプルボリューム内で画像化する必要のある軸方向面の数を減らすことは、サンプルへの光ダメージを減らすのに直接役立つ(例えば、図24A~24B参照)。
[00105]最後に、この方法で取得可能な軸方向の範囲は、記録された画像のSNRに依存すること、すなわちPSFが担持する深度情報がノイズフロアを下回る場合、正確な推論は困難な作業になることに留意されたい。可変SNRの下で事前トレーニングされたDeep-Zネットワークモデル10のパフォーマンスを検証するために、Deep-Zの推論を様々な露出条件でテストし(図16A~16C)、トレーニングデータに含まれていない広範囲の画像露出時間にわたって推論のロバスト性を明らかにした。Deep-Zシステム2を用いて、広視野蛍光画像のDOFが約20倍向上することが実証された。この軸方向のリフォーカス範囲は、実際には絶対的な制限ではなく、トレーニングデータの実用的な選択であり、PSFを軸方向に設計するなど、光学セットアップのハードウェア的な変更でさらに改善できる可能性がある。このようなアプローチでは、追加のハードウェアと高感度のアライメント/キャリブレーションが必要になるだけでなく、検出経路に追加の光学部品を挿入することによる光子損失を補償するために、より明るい蛍光色素も必要になる。
[00106]方法
[00107]サンプル準備
[00108]300nmの赤色蛍光ナノビーズを、MagSphere Inc.から購入し(アイテム番号PSF-300NM 0.3 UM RED)、メタノールで5,000倍に希釈し、希釈の前後に15分間超音波処理して、クラスタを分解した。平らな面と傾斜した面の蛍光ビーズサンプルでは、#1カバースリップ(22×22mm2、厚さ約150μm)を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプルの2.5μLの液滴をピペットでカバーガラスに移し、乾燥させた。曲面(円筒)上の蛍光ビーズサンプル12については、ガラス管(直径約7.2mm)を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプル12の2.5μLの液滴をガラス管の外面にピペットで移し、乾燥させた。
[00107]サンプル準備
[00108]300nmの赤色蛍光ナノビーズを、MagSphere Inc.から購入し(アイテム番号PSF-300NM 0.3 UM RED)、メタノールで5,000倍に希釈し、希釈の前後に15分間超音波処理して、クラスタを分解した。平らな面と傾斜した面の蛍光ビーズサンプルでは、#1カバースリップ(22×22mm2、厚さ約150μm)を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプルの2.5μLの液滴をピペットでカバーガラスに移し、乾燥させた。曲面(円筒)上の蛍光ビーズサンプル12については、ガラス管(直径約7.2mm)を十分に洗浄し、プラズマ処理した。その後、希釈したビーズサンプル12の2.5μLの液滴をガラス管の外面にピペットで移し、乾燥させた。
[00109]線虫のニューロンの構造イメージングは、AML18株で行った。AML18は遺伝子型wtfls3[rab-3p::NLS::GFP+rab-3p::NLS::tagRFP]を持ち、すべてのニューロンの核でGFPとtagRFPを発現する。機能イメージングには、wtfls5[rab-3p::NLS::GCaMP6s+rab-3p::NLS:TagRFP]を持つAML32株を用いた。これらの株菌はCaenorhabditis Genetics Center(CGC)から入手した。ワームを、OP50菌を播種した線虫増殖培地(NGM)で標準的な条件で培養した。イメージングのために、ワームをM9でプレートから洗い流し、3mMレバミゾールで麻酔した。次に、麻酔をかけたワームを、3%アガロースを播種したスライドにマウントした。動くワームを画像化するために、レバミゾールを省略した。
[00110]マルチラベルのウシ肺動脈内皮細胞(BPAEC)のスライド2枚:FluoCells準備スライド#1とFluoCells準備スライド#2をThermo Fisher社から入手した。これらの細胞は、異なる細胞構造と細胞小器官を発現するように標識されている。第1のスライドでは、ミトコンドリアにテキサスレッドを使用し、F-アクチン構造にFITCを用いている。第2のスライドは微小管にFITCを用いている。
[00111]蛍光画像の取得
[00112]ナノビーズ、C.elegans線虫の構造、およびBPAECサンプルの蛍光画像を、20×/0.75NA対物レンズ(UPLSAPO20X、オリンパスライフサイエンス)を用いて、倒立走査型顕微鏡(IX83、オリンパスライフサイエンス)で撮像した。130Wの蛍光光源(U-HGLGPS、オリンパスライフサイエンス)を100%の出力で使用した。テキサスレッドとFITCの2つのバンドパス光学フィルタセットを使用した。ビーズサンプルは、ビーズの入ったカバースリップを顕微鏡サンプルマウントに直接置いて撮影した。傾斜した表面のサンプルは、ビーズの入ったカバースリップを3D印刷されたホルダに置き、焦点面に対して1.5°傾けて撮影した。蛍光ビーズの入った円筒形のチューブ表面を、顕微鏡のサンプルマウントに直接配置した。これらの蛍光ビーズサンプルは、テキサスレッドフィルタセットを用いて画像化した。線虫のサンプルスライドを顕微鏡のサンプルマウントに置き、テキサスレッドフィルタセットを用いて画像化した。BPAECのスライドを顕微鏡サンプルマウントに置き、テキサスレッドとFITCフィルタセットを用いて画像化した。すべてのサンプルについて、走査型顕微鏡には電動ステージ(PROSCAN XY STAGE KIT FOR IX73/83)があり、サンプルを異なるFOVに移動させ、各位置で画像コントラストベースのオートフォーカスを実行した。電動ステージの制御には、MetaMorph(商標)顕微鏡自動化ソフトウェア(Molecular Devices,LLC)を使用した。それぞれの場所で、制御ソフトウェアは画像の標準偏差に基づいてサンプルのオートフォーカスを行い、0.5μmのステップサイズで-20μmから20μmまでzスタックを取得した。この画像スタックを、モノクロの科学計測用CMOSカメラ(ORCAフラッシュ4.0v2、浜松ホトニクス)で撮影し、非圧縮tiff形式、81面、各面2048×2048ピクセルで保存した。
[00112]ナノビーズ、C.elegans線虫の構造、およびBPAECサンプルの蛍光画像を、20×/0.75NA対物レンズ(UPLSAPO20X、オリンパスライフサイエンス)を用いて、倒立走査型顕微鏡(IX83、オリンパスライフサイエンス)で撮像した。130Wの蛍光光源(U-HGLGPS、オリンパスライフサイエンス)を100%の出力で使用した。テキサスレッドとFITCの2つのバンドパス光学フィルタセットを使用した。ビーズサンプルは、ビーズの入ったカバースリップを顕微鏡サンプルマウントに直接置いて撮影した。傾斜した表面のサンプルは、ビーズの入ったカバースリップを3D印刷されたホルダに置き、焦点面に対して1.5°傾けて撮影した。蛍光ビーズの入った円筒形のチューブ表面を、顕微鏡のサンプルマウントに直接配置した。これらの蛍光ビーズサンプルは、テキサスレッドフィルタセットを用いて画像化した。線虫のサンプルスライドを顕微鏡のサンプルマウントに置き、テキサスレッドフィルタセットを用いて画像化した。BPAECのスライドを顕微鏡サンプルマウントに置き、テキサスレッドとFITCフィルタセットを用いて画像化した。すべてのサンプルについて、走査型顕微鏡には電動ステージ(PROSCAN XY STAGE KIT FOR IX73/83)があり、サンプルを異なるFOVに移動させ、各位置で画像コントラストベースのオートフォーカスを実行した。電動ステージの制御には、MetaMorph(商標)顕微鏡自動化ソフトウェア(Molecular Devices,LLC)を使用した。それぞれの場所で、制御ソフトウェアは画像の標準偏差に基づいてサンプルのオートフォーカスを行い、0.5μmのステップサイズで-20μmから20μmまでzスタックを取得した。この画像スタックを、モノクロの科学計測用CMOSカメラ(ORCAフラッシュ4.0v2、浜松ホトニクス)で撮影し、非圧縮tiff形式、81面、各面2048×2048ピクセルで保存した。
[00113]線虫のニューロン活動の画像を、20×/0.8NA対物レンズ(HCPLAPO20x/0.80DRY、Leica Microsystems)と40×/1.3NA対物レンズ(HCPLAPO40x/1.30OIL、Leica Microsystems)を用いて、異なる走査型広視野蛍光顕微鏡(TCS SP8、Leica Microsystems)で撮像した。テキサスレッドとFITCの2つのバンドパス光学フィルタセットを使用した。画像は、モノクロの科学計測用CMOSカメラ(Leica-DFC9000GTC-VSC08298)で撮影した。麻酔をかけたワームの画像スタックをキャプチャするために、制御ソフトウェア(LASX、Leica Microsystems)で制御された電動ステージが、サンプルスライドを異なるFOVに移動させた。各FOVで、制御ソフトウェアは、中央の平面(z=0μm)を基準に-20μmから20μmまで、20×/0.8NA対物レンズ画像のステップサイズは0.5μm、40×/1.3NA対物レンズ画像のステップサイズは0.27μmでzスタックを撮影した。それぞれのz平面で、テキサスレッドチャネルとFITCチャネルの2つの画像を撮影した。動くワームの2Dビデオをキャプチャするために、制御ソフトウェアは、システムの最大速度でテキサスレッドチャネルとFITCチャネルを時分割で多重化したタイムラプスビデオを撮影した。これにより、両方のチャネルをイメージングした場合、カメラの最大フレームレートが10fpsの場合の平均フレームレートは約3.6fpsとなった。
[00114]BPAECの広視野および共焦点蛍光画像を、別の倒立走査型顕微鏡(TCS SP5、Leica Microsystems)でキャプチャした。画像は63×/1.4NA対物レンズ(HCPLAPO63×/1.40 OilCS2、Leica Microsystems)を用いて取得し、FITCフィルタセットを使用した。広視野画像は1380×1040ピクセル、12ビットのダイナミックレンジのCCDで記録し、共焦点画像は8ビットのダイナミックレンジ(1024×1024ピクセル)の光電子増倍管(PMT)で記録した。走査型顕微鏡は、サンプルを様々なFOVと深さに移動する電動ステージを有する。それぞれの場所で、軸方向に0.2μmの間隔で12枚の画像スタックを記録した。
[00115]画像の前処理とトレーニングデータの準備
[00116]キャプチャされた各画像スタックは、最初に「StackReg」という名前のImageJプラグインを用いて軸方向に位置合わせを行い、顕微鏡ステージの誤差によって生じる剛体のずれと回転を補正した。次に、「Extended Depth of Field」という名前の別のImageJプラグインを用いて、拡張被写界深度(EDF)画像を生成した。このEDF画像を、以下の3つのステップに従って、画像スタック全体を正規化するための参照画像として使用した:(1)三角形のしきい値を画像に用いて、背景と前景のピクセルを分離し、(2)EDF画像の背景ピクセルの平均強度を背景ノイズであると判断して差し引き、(3)EDF画像の強度を0-1にスケーリングし、ここでスケール係数を、背景の上の前景ピクセルの1%が1より大きくなる(飽和する)ように決定し、(4)スタック内の各画像を、この背景レベルで減算し、この強度スケール係数で正規化した。画像スタックのないテストデータには、EDF画像の代わりに入力画像にステップ(1)~(3)を適用した。
[00116]キャプチャされた各画像スタックは、最初に「StackReg」という名前のImageJプラグインを用いて軸方向に位置合わせを行い、顕微鏡ステージの誤差によって生じる剛体のずれと回転を補正した。次に、「Extended Depth of Field」という名前の別のImageJプラグインを用いて、拡張被写界深度(EDF)画像を生成した。このEDF画像を、以下の3つのステップに従って、画像スタック全体を正規化するための参照画像として使用した:(1)三角形のしきい値を画像に用いて、背景と前景のピクセルを分離し、(2)EDF画像の背景ピクセルの平均強度を背景ノイズであると判断して差し引き、(3)EDF画像の強度を0-1にスケーリングし、ここでスケール係数を、背景の上の前景ピクセルの1%が1より大きくなる(飽和する)ように決定し、(4)スタック内の各画像を、この背景レベルで減算し、この強度スケール係数で正規化した。画像スタックのないテストデータには、EDF画像の代わりに入力画像にステップ(1)~(3)を適用した。
[00117]トレーニングと検証のデータセットを準備するために、各FQVで、蛍光EDF画像に固定しきい値の測地線拡張を適用して、背景より上のサンプルの蛍光信号を含む領域を表すマスクを生成した。次に、カスタマイズされたグレディアルゴリズム(greedy algorithm)を用いて、このマスクをカバーする256×256ピクセルの最小領域セットを決定し、これらのトレーニング領域間で約5%の領域がオーバーラップするようにした。これらの領域の横方向の位置を用いて、画像スタックのそれぞれの高さで画像をトリミングし、各領域の中央の平面を最も標準偏差が高い平面に設定した。次に、この中央の平面の上の20個と、下の20個の平面をスタックの範囲として設定し、これらの41の平面のそれぞれから入力画像平面を生成した。データセットのサイズに応じて、この41面のうち約5~10面を、対応するターゲット平面としてランダムに選択し、約150~300の画像ペアを形成した。これらの画像ペアのそれぞれについて、面の位置に基づいてリフォーカス距離を決定した(すなわち、入力面からターゲット面までの差の0.5μm倍)。この数を繰り返すことにより、均一なDPM42が生成され、入力蛍光画像20に付加された。最終的なデータセットには、通常、約100,000の画像ペアが含まれている。これをそれぞれ85%のトレーニングデータセットと15%の検証データセットにランダムに分けた。トレーニングプロセス中に、画像を90°のランダムな倍数で反転または回転させることにより、各データポイントをさらに5倍に増量した。検証データセットは増量しなかった。テストデータセットは、トレーニングデータおよび検証データセットのFOVと重複しないサンプルFOVを用いた個別の測定から切り出された。
[00118]Deep-Zネットワークアーキテクチャ
[00119]Deep-Zネットワークは、最小二乗GAN(LS-GAN)フレームワークによって形成され、図14に示すように、生成器(G)と識別器(D)の2つの部分で構成される。生成器(G)は畳み込みニューラルネットワーク(CNN)であり、ダウンサンプリングパス44および対称的なアップサンプリングパス46で構成される。ダウンサンプリングパス44には、5つのダウンサンプリングブロックがある。各ブロックには、次の式で入力テンソルxkを出力テンソルxk+1にマッピングする2つの畳み込み層が含まれている:
[00120]
[00121]ここで、ReLU[.]は正規化線形関数操作を表し、CONV{.}は畳み込み演算子(バイアス項を含む)を表す。CONVの下付き文字は、畳み込み層のチャネル数を示し、ダウンサンプリングパスに沿って、それぞれレベルk=1、2、3、4、5の場合、k1=25,72,144,288,576、k2=48,96,192,384,768となる。式(1)の「+」記号は残りの接続を表す。入力テンソルxkにゼロパディングを用いて、入力テンソルと出力テンソルの間のチャネル番号の不一致を補正した。2つの連続するダウンサンプリングブロック間の接続は、2×ダウンサンプリングを実行するための2×2ピクセルのストライドを持つ2×2最大プーリング層である。5番目のダウンサンプリングブロックは、アップサンプリングパスに接続する。これについては次に詳しく説明する。
[00119]Deep-Zネットワークは、最小二乗GAN(LS-GAN)フレームワークによって形成され、図14に示すように、生成器(G)と識別器(D)の2つの部分で構成される。生成器(G)は畳み込みニューラルネットワーク(CNN)であり、ダウンサンプリングパス44および対称的なアップサンプリングパス46で構成される。ダウンサンプリングパス44には、5つのダウンサンプリングブロックがある。各ブロックには、次の式で入力テンソルxkを出力テンソルxk+1にマッピングする2つの畳み込み層が含まれている:
[00120]
[00121]ここで、ReLU[.]は正規化線形関数操作を表し、CONV{.}は畳み込み演算子(バイアス項を含む)を表す。CONVの下付き文字は、畳み込み層のチャネル数を示し、ダウンサンプリングパスに沿って、それぞれレベルk=1、2、3、4、5の場合、k1=25,72,144,288,576、k2=48,96,192,384,768となる。式(1)の「+」記号は残りの接続を表す。入力テンソルxkにゼロパディングを用いて、入力テンソルと出力テンソルの間のチャネル番号の不一致を補正した。2つの連続するダウンサンプリングブロック間の接続は、2×ダウンサンプリングを実行するための2×2ピクセルのストライドを持つ2×2最大プーリング層である。5番目のダウンサンプリングブロックは、アップサンプリングパスに接続する。これについては次に詳しく説明する。
[00122]アップサンプリングパス46には、対応する4つのアップサンプリングブロックがあり、各ブロックには、次の式で入力テンソルyk+1を出力テンソルykにマッピングする2つの畳み込み層が含まれている:
[00123]
[00124]ここで、CAT(.)演算子は、チャネル方向に沿ったテンソルの連結を表し、CAT(xk+1,yk+1)は、対応するレベルk+1のアップサンプリングパスのテンソルyk+1にダウンサンプリングパスからテンソルxk+1を追加する。k3およびk4で表される畳み込み層のチャネル数は、それぞれk=1、2、3、4のアップサンプリングパスに沿ってk3=72、144、288、576およびk4=48,96,192,384である。連続するアップサンプリングブロック間の接続は、画像ピクセルを2倍にアップサンプリングするアップコンボリューション(畳み込み転置)ブロックである。最後のブロックは、48チャネルを1つの出力チャネルにマッピングする畳み込み層である(図14参照)。
[00123]
[00124]ここで、CAT(.)演算子は、チャネル方向に沿ったテンソルの連結を表し、CAT(xk+1,yk+1)は、対応するレベルk+1のアップサンプリングパスのテンソルyk+1にダウンサンプリングパスからテンソルxk+1を追加する。k3およびk4で表される畳み込み層のチャネル数は、それぞれk=1、2、3、4のアップサンプリングパスに沿ってk3=72、144、288、576およびk4=48,96,192,384である。連続するアップサンプリングブロック間の接続は、画像ピクセルを2倍にアップサンプリングするアップコンボリューション(畳み込み転置)ブロックである。最後のブロックは、48チャネルを1つの出力チャネルにマッピングする畳み込み層である(図14参照)。
[00125]識別器は、6つの連続する畳み込みブロックで構成される畳み込みニューラルネットワークであり、各ブロックは、所与のレベルiで、入力テンソルziを出力テンソルzi+1にマッピングする:
[00126]
[00127]ここで、LReLUは、傾きが0.01のLeaky Rectified Linear Unit演算子を表す。畳み込み演算子の下付き文字はチャネル数を表し、畳み込みブロックi=1、2、3、4、5、6の場合、それぞれi1=48,96,192,384,768,1536、i2=96,192,384,768,1536,3072である。
[00126]
[00127]ここで、LReLUは、傾きが0.01のLeaky Rectified Linear Unit演算子を表す。畳み込み演算子の下付き文字はチャネル数を表し、畳み込みブロックi=1、2、3、4、5、6の場合、それぞれi1=48,96,192,384,768,1536、i2=96,192,384,768,1536,3072である。
[00128]最後の畳み込みブロックの後、平均プーリング層が出力を平坦化し、パラメータの数を3072に減らす。続いて、LReLU活性化関数を持つサイズ3072×3072の完全接続(FC)層と、シグモイド活性化関数を持つサイズ3072×1の別のFC層がある。最終出力は識別器スコアを表し、(0,1)内に収まる。ここで、0は偽を表し、1は真のラベルを表す。
[00129]すべての畳み込みブロックは、3×3ピクセルの畳み込みカーネルサイズを用い、特に明記されていない限り、1ピクセルのパディングを複製する。すべての畳み込みのストライドは1×1ピクセルであるが、式(3)の2番目の畳み込みだけが、2×2ピクセルのストライドを持ち、識別器パスで2×ダウンサンプリングを実行する。重みはXavierイニシャライザで初期化され、バイアスは0.1に初期化される。
[00130]Deep-Zネットワークのトレーニングとテスト
[00131]Deep-Zネットワーク10は、付加されたDPM42によって与えられた情報を用いて、入力画像20をユーザ定義の平面にデジタルリフォーカスすることを学習する。トレーニングフェーズでは、生成器G(.)の入力データの大きさは256×256×2であり、ここで第1のチャネルは蛍光画像、第2のチャネルはユーザ定義のDPMである。G(.)のターゲットデータの大きさは256×256で、DPMで指定された表面での対応する蛍光画像を表す。識別器D(.)の入力データの大きさは256×256であり、これは生成器の出力または対応するターゲットz(i)のいずれかであり得る。トレーニングフェーズ中に、ネットワークは以下に規定されるように、生成器損失LGおよび識別器損失LDを繰り返し最小化する:
[00132]
[00133]
[00134]
ここで、Nは各バッチで使用される画像の数(例えば、N=20)、G(x(i))は入力x(i)の生成器出力、z(i)は対応するターゲットラベル、D(.)は識別器、MAE(.)は平均絶対誤差(mean absolute error)である。αはLGのGAN損失とMAE損失の正則化パラメータである。トレーニングフェーズでは、α=-0.02が選択された。トレーニングの安定性と最適なパフォーマンスのために、適応モメンタムオプティマイザ(Adam)を用いてLGとLDの両方を最小化し、LGとLDの学習率はそれぞれ10-4と3×10-5とした。各反復で、生成器損失の6回の更新と識別器損失の3回の更新を実行した。検証セットは50回の反復ごとにテストされ、検証セットでMAE損失が最小になるネットワークが(ブラインドテストされる)最適なネットワークとして選択された。
[00131]Deep-Zネットワーク10は、付加されたDPM42によって与えられた情報を用いて、入力画像20をユーザ定義の平面にデジタルリフォーカスすることを学習する。トレーニングフェーズでは、生成器G(.)の入力データの大きさは256×256×2であり、ここで第1のチャネルは蛍光画像、第2のチャネルはユーザ定義のDPMである。G(.)のターゲットデータの大きさは256×256で、DPMで指定された表面での対応する蛍光画像を表す。識別器D(.)の入力データの大きさは256×256であり、これは生成器の出力または対応するターゲットz(i)のいずれかであり得る。トレーニングフェーズ中に、ネットワークは以下に規定されるように、生成器損失LGおよび識別器損失LDを繰り返し最小化する:
[00132]
[00133]
[00134]
ここで、Nは各バッチで使用される画像の数(例えば、N=20)、G(x(i))は入力x(i)の生成器出力、z(i)は対応するターゲットラベル、D(.)は識別器、MAE(.)は平均絶対誤差(mean absolute error)である。αはLGのGAN損失とMAE損失の正則化パラメータである。トレーニングフェーズでは、α=-0.02が選択された。トレーニングの安定性と最適なパフォーマンスのために、適応モメンタムオプティマイザ(Adam)を用いてLGとLDの両方を最小化し、LGとLDの学習率はそれぞれ10-4と3×10-5とした。各反復で、生成器損失の6回の更新と識別器損失の3回の更新を実行した。検証セットは50回の反復ごとにテストされ、検証セットでMAE損失が最小になるネットワークが(ブラインドテストされる)最適なネットワークとして選択された。
[00135]テストフェーズでは、トレーニングが完了すると、生成器ネットワーク(G)のみがアクティブになる。したがって、最終的に訓練された深層ニューラルネットワーク10は、生成器ネットワーク(G)のみを含む。GPUのグラフィックメモリによって制限され、テストされた最大の画像FOVは1536×1536ピクセルであった。画像は0~1の範囲に正規化されているのに対し、リフォーカス距離は約-10~10(μm単位)のスケールであるため、Deep-Zネットワークのトレーニングとテストの前にDPMエントリを10で割って-1~1の範囲にし、画像とDPM行列のダイナミックレンジを互いに類似させた。
[00136]ネットワークはTensorFlowを用いて実装され、Intel Core i7-8700Kの6コア3.7GHzのCPUと32GBのRAMを搭載したPCで、Nvidia GeForce1080Ti GPUを用いて実行された。平均して、トレーニングには約40万回の反復(約50エポックに相当)に約70時間を要する。トレーニング後、ネットワーク推論時間は、同じPCで512×512ピクセルの画像の場合は約0.2秒、1536×1536ピクセルの画像の場合は約1秒であった。
[00136]蛍光ビーズの横方向および軸方向のFWHM値の測定
[00138]蛍光ビーズサンプルの横方向のFWHMを測定するために、画像にしきい値を実行して、連結成分を抽出した。次に、これらの連結成分の重心の周りに30×30ピクセルの個々の領域を切り出した。これらの個々の領域のそれぞれに対して2Dガウスフィットを行い、Matlab(MathWorks,Inc)のlsqcurvefitを用いて以下の関数に一致させた:
[00139]
[00138]蛍光ビーズサンプルの横方向のFWHMを測定するために、画像にしきい値を実行して、連結成分を抽出した。次に、これらの連結成分の重心の周りに30×30ピクセルの個々の領域を切り出した。これらの個々の領域のそれぞれに対して2Dガウスフィットを行い、Matlab(MathWorks,Inc)のlsqcurvefitを用いて以下の関数に一致させた:
[00139]
[00142]ここで、Δx=Δy=0.325μmは、オブジェクト平面上の蛍光画像の有効ピクセルサイズであった。続いて、すべての閾値設定されたビーズの横方向のFWHM値についてヒストグラムを生成した(例えば、図2A~2Cではn=461、図5A~5Lではn>750)。
[00143]ビーズサンプルの軸方向のFWHM値を測定するために、デジタルリフォーカスまたは機械的にスキャンされた軸方向の画像スタックのいずれかから、各ビーズのy=ycで81ステップのx-z方向に沿ったスライスを切り出した。以下の関数に一致するように、切り出した各スライスに対して別に2Dガウスフィットを行った:
[00148]画質評価
[00149]ネットワーク出力画像Ioutを、(1)平均二乗誤差(MSE)、(2)二乗平均平方根誤差(RMSE)、(3)平均絶対誤差(MAE)、(4)相関係数、(5)構造的類似性指数(SSIM)、の5つの異なる基準を用いて対応するグラウンドトゥルース画像IGTを参照して評価した。MSEは、最も広く使用されているエラーメトリックの1つであり、次のように定義される:
[00150]
[00151]ここで、NxとNyは、それぞれxとy方向のピクセル数を表す。MSEの平方根がRMSEになる。MSEと比較して、MAEは2ノルムの差ではなく、1ノルムの差(絶対差)を使用しており、有意な異常値のピクセルの影響を受けにくくなる。
[00152]
[00149]ネットワーク出力画像Ioutを、(1)平均二乗誤差(MSE)、(2)二乗平均平方根誤差(RMSE)、(3)平均絶対誤差(MAE)、(4)相関係数、(5)構造的類似性指数(SSIM)、の5つの異なる基準を用いて対応するグラウンドトゥルース画像IGTを参照して評価した。MSEは、最も広く使用されているエラーメトリックの1つであり、次のように定義される:
[00150]
[00151]ここで、NxとNyは、それぞれxとy方向のピクセル数を表す。MSEの平方根がRMSEになる。MSEと比較して、MAEは2ノルムの差ではなく、1ノルムの差(絶対差)を使用しており、有意な異常値のピクセルの影響を受けにくくなる。
[00152]
[00156]上記のこれらの基準は、グラウンドトゥルース(GT)と比較したネットワーク出力の誤差を定量化するために使用できるが、2つの画像間で認識される類似性の強力な指標ではない。SSIMは、次のように定義される画像の構造的類似性を評価することにより、この欠点に対処することを目的とする:
[00157]
[00158]ここで、σoutとσGTはそれぞれIoutとIGTの標準偏差であり、σout、GTは2つの画像間の相互分散である。
[00157]
[00158]ここで、σoutとσGTはそれぞれIoutとIGTの標準偏差であり、σout、GTは2つの画像間の相互分散である。
[00159]C.elegans線虫のニューロン活動の追跡と定量化
[00160]線虫のニューロン活動追跡ビデオを、2つの蛍光チャネル(FITC、続いてテキサスレッド、次にFITCなど)を時分割多重化することによってキャプチャした。緑色のチャネルがFITC(ニューロンの活動)、赤色のチャネルがテキサスレッド(ニューロンの核)となるように、隣接するフレームを組み合わせた。後続のフレームは、ワームのわずかな体動を補正するために、Matlab(MathWorks,Inc)の射影変換を用いた特徴ベースの位置合わせツールボックスを用いて位置合わせした。各入力ビデオフレームには、-10μmから10μmまでの伝播距離を0.5μmのステップサイズで表すDPM42が付加され、Deep-Zネットワーク10(このイメージングシステム用に特別にトレーニングされたもの)でテストし、ビデオの各フレームについて仮想軸方向画像スタックを生成した。
[00160]線虫のニューロン活動追跡ビデオを、2つの蛍光チャネル(FITC、続いてテキサスレッド、次にFITCなど)を時分割多重化することによってキャプチャした。緑色のチャネルがFITC(ニューロンの活動)、赤色のチャネルがテキサスレッド(ニューロンの核)となるように、隣接するフレームを組み合わせた。後続のフレームは、ワームのわずかな体動を補正するために、Matlab(MathWorks,Inc)の射影変換を用いた特徴ベースの位置合わせツールボックスを用いて位置合わせした。各入力ビデオフレームには、-10μmから10μmまでの伝播距離を0.5μmのステップサイズで表すDPM42が付加され、Deep-Zネットワーク10(このイメージングシステム用に特別にトレーニングされたもの)でテストし、ビデオの各フレームについて仮想軸方向画像スタックを生成した。
[00161]個々のニューロンを位置特定するために、赤チャネルスタック(テキサスレッド、ニューロン核)を時間シーケンスの中央値強度で投影した。この投影された中央値強度スタックの極大値が各ニューロンの重心となり、各ニューロンのボクセルをWatershedセグメンテーションでこれらの重心からセグメント化し、各ニューロンの3D空間ボクセルマスクを生成した。合計155個のニューロンが分離された。次に、各ニューロンの空間マスク内の緑チャネル(FITC、ニューロン活動)の最も明るい100個のボクセルの平均を、各時間枠tおよび各ニューロンi=1,2,...,155のカルシウム活動強度Fi(t)として計算した。次に、各ニューロンの微分活動ΔF(t)=F(t)-F0を計算し、ここでF0はF(t)の時間平均である。
[00162]各ΔF(t)の標準偏差を閾値設定して70個の最も活性な細胞を選択し、スペクトルクラスタリングアルゴリズムを用いて、カルシウム活性パターンの類似性(図12B)に基づいて、さらなるクラスタリングを行った。カルシウム活性パターンの類似性は以下のように規定した:
[00164]ニューロンiとjについて、類似性マトリックスSが生成された(図12C)。このガウス類似度関数の標準偏差はσ=1.5であり、類似度グラフの近傍の幅を制御する。スペクトルクラスタリングは、重み行列Wと次数行列Dの差として定義される類似性行列Sから生成されたグラフラプラシアンLの固有値問題を解決する。すなわち:
[00165]
[00166]ここで、
[00167]
[00168]
である。
[00165]
[00166]ここで、
[00167]
[00168]
である。
[00169]クラスタの数は固有ギャップヒューリスティックを用いて選択した。これは、(一般的な固有値問題Lv=λDvを解くことにより)固有値が大幅に跳ね上がる固有ギャップの前の最大の一般固有値の指標であり、これをk=3と決定した(図12D参照)。次に、対応する最初のk=3固有ベクトルを行列として結合し、その行を標準的なk-meansクラスタリングを用いてクラスタリングし、その結果、図12Eに示すカルシウム活性パターンの3つのクラスタと、図12Eに示す再配置された類似性行列を生成した。
[00170]広視野画像と共焦点画像のクロスモダリティアラインメント
[00171]広視野/共焦点ペアの各スタックは、最初に自己整合され、正規化された。次に、ImageJの「Image Stitching」プラグインを用いて、個々のFOVをつなぎ合わせた。次に、Matlab(MathWorks,Inc)で行われる射影変換による特徴ベースの位置合わせを用いて、つなぎ合わせた広視野および共焦点EDF画像の共同位置合わせ(co-registration)を行った。次に、この推定変換を用いて、つなぎ合わせた共焦点EDF画像を、つなぎ合わせたスタックとともに広視野の対応物と一致するように歪ませた(warped)(図15A)。続いて、広視野画像と歪んだ共焦点画像の重なり合わない領域を削除した。次に、上記のグレディアルゴリズムを用いて、残りのつなぎ合わせた広視野画像とそれに対応する歪んだ共焦点画像から、256×256ピクセルの空でない領域を切り出した。そして、切り出した領域の各ペアに同じ特徴ベースの位置合わせを適用して、細かい位置合わせを行った。このステップにより、広視野画像と、それに対応する共焦点画像との間に横方向の良好な対応が得られた(図15B)。
[00171]広視野/共焦点ペアの各スタックは、最初に自己整合され、正規化された。次に、ImageJの「Image Stitching」プラグインを用いて、個々のFOVをつなぎ合わせた。次に、Matlab(MathWorks,Inc)で行われる射影変換による特徴ベースの位置合わせを用いて、つなぎ合わせた広視野および共焦点EDF画像の共同位置合わせ(co-registration)を行った。次に、この推定変換を用いて、つなぎ合わせた共焦点EDF画像を、つなぎ合わせたスタックとともに広視野の対応物と一致するように歪ませた(warped)(図15A)。続いて、広視野画像と歪んだ共焦点画像の重なり合わない領域を削除した。次に、上記のグレディアルゴリズムを用いて、残りのつなぎ合わせた広視野画像とそれに対応する歪んだ共焦点画像から、256×256ピクセルの空でない領域を切り出した。そして、切り出した領域の各ペアに同じ特徴ベースの位置合わせを適用して、細かい位置合わせを行った。このステップにより、広視野画像と、それに対応する共焦点画像との間に横方向の良好な対応が得られた(図15B)。
[00172]軸方向スキャンのステップサイズは0.2μmに固定されたが、広視野スタックと共焦点スタックの軸方向の基準ゼロ点を一致させる必要がある。この軸方向の基準ゼロ点を決定するために、各深度の画像を、構造類似性指数(SSIM)を用いて同じ領域のEDF画像と比較し、焦点曲線を得た(図I5C)。この焦点曲線のなかで、SSIM値が最も高い4つのポイントで2次多項式フィットを行い、フィットのピークを基準ゼロ点とした(図15C)。次に、広視野および共焦点スタックの高さを、軸方向の対応する基準ゼロ点で中心に合わせた。入力として使用される広視野画像ごとに、4つの共焦点画像がターゲットとしてスタックからランダムに選択され、それらのDPMが、共焦点画像と対応する広視野画像の中心の高さの値の軸方向の差に基づいて計算された。
[00173]コードの可用性(Code availability)
[00174]この作業で報告された深層学習モデルは、TensorFlowで公開されている標準ライブラリとスクリプトを用いている。カスタム作成されたFijiベースのプラグインを通じて、訓練されたネットワークモデルが(いくつかのサンプルテスト画像とともに)次の対物レンズに提供された:Leica HC PL APO20×/0.80DRY(TxRdおよびFITCチャネルでトレーニングされた2つの異なるネットワークモデル)、Leica HC PL APO40×/1.30OIL(TxRdチャネルでトレーニング)、オリンパスUPLSAPO20X-0.75NA(TxRdチャネルでトレーニング)。このカスタム作成されたプラグインとモデルは、リンク(http://bit.ly/deep-z-gitとhttp://bit.ly/deep-z)で公開されている。これらはすべて参照により本書に組み込まれる。
[00174]この作業で報告された深層学習モデルは、TensorFlowで公開されている標準ライブラリとスクリプトを用いている。カスタム作成されたFijiベースのプラグインを通じて、訓練されたネットワークモデルが(いくつかのサンプルテスト画像とともに)次の対物レンズに提供された:Leica HC PL APO20×/0.80DRY(TxRdおよびFITCチャネルでトレーニングされた2つの異なるネットワークモデル)、Leica HC PL APO40×/1.30OIL(TxRdチャネルでトレーニング)、オリンパスUPLSAPO20X-0.75NA(TxRdチャネルでトレーニング)。このカスタム作成されたプラグインとモデルは、リンク(http://bit.ly/deep-z-gitとhttp://bit.ly/deep-z)で公開されている。これらはすべて参照により本書に組み込まれる。
[00175]下部画像露出分析のための画像取得とデータ処理
[00176]トレーニング画像データは、蛍光励起光源の出力を25%(32.5mW)に設定し、露光時間をそれぞれ10msと100msに設定したことを除いて、ここで報告されているマイクロビーズサンプルと同じ20×/0.75NA対物レンズで画像化された300nm赤色蛍光ビーズサンプルを用いてキャプチャされた。10msと100msの露光時間でキャプチャされた画像データセットを用いて、2つの別々のDeep-Zネットワーク10をトレーニングした。各トレーニング画像セットには約100,000の画像ペア(入力とグラウンドトゥルース)が含まれ、各ネットワークは約50回のエポックでトレーニングされた。
[00176]トレーニング画像データは、蛍光励起光源の出力を25%(32.5mW)に設定し、露光時間をそれぞれ10msと100msに設定したことを除いて、ここで報告されているマイクロビーズサンプルと同じ20×/0.75NA対物レンズで画像化された300nm赤色蛍光ビーズサンプルを用いてキャプチャされた。10msと100msの露光時間でキャプチャされた画像データセットを用いて、2つの別々のDeep-Zネットワーク10をトレーニングした。各トレーニング画像セットには約100,000の画像ペア(入力とグラウンドトゥルース)が含まれ、各ネットワークは約50回のエポックでトレーニングされた。
[00177]テスト画像データは、露光時間が3msから300msまで変化させた以外は、同じ設定でキャプチャされた。トレーニング画像とテスト画像は、同じ前処理アルゴリズムを用いて正規化された。画像の位置合わせ後、入力画像は、サンプルの前景ピクセルと背景ピクセルを分離するために、三角しきい値法を用いて同様に最初にしきい値処理した。背景ピクセル値の平均を背景の蛍光レベルとし、画像全体から減算した。その後、前景ピクセルの1%が飽和する(1より上となる)ように画像を正規化した。この前処理ステップでは、画像の切り取りや量子化は行わなかった。これらの前処理された画像(単精度フォーマット)は、トレーニングやブラインドテストのためにネットワークに直接送られた。
[00178]Deep-Zを使用した時間変調信号の再構成
[00179]トレーニングデータは、蛍光光源の出力を25%(32.5mW)、露光時間100msに設定したことを除いて、先に報告したマイクロビーズサンプル(例えば、図5)と同じ、テキサスレッドフィルタセットを備えた20×/0.75NA対物レンズを用いて300nm赤色蛍光ビーズについてキャプチャした。
[00179]トレーニングデータは、蛍光光源の出力を25%(32.5mW)、露光時間100msに設定したことを除いて、先に報告したマイクロビーズサンプル(例えば、図5)と同じ、テキサスレッドフィルタセットを備えた20×/0.75NA対物レンズを用いて300nm赤色蛍光ビーズについてキャプチャした。
[00180]テストデータは、単一の2D平面(#1カバースリップにピペット)に配置された300nm赤色蛍光ビーズの画像で構成され、1秒周期の正弦波パターンに従ってLEDコントローラの出力電流を0~1.2Aに変調する関数発生器(SDG2042X、Siglent)で変調されるLEDコントローラ(LEDD1B、Thorlabs)によって駆動される外部発光ダイオード(M530L3-C1、Thorlabs)を用いてキャプチャした。テキサスレッドフィルタと100msの露光時間を使用した。同じFOVを、インフォーカス面(z=0μm)と5つのデフォーカス面(z=2、4、6、8、10μm)でキャプチャした。各面で、2秒のビデオ(すなわち変調の2周期)を毎秒20フレームでキャプチャした。その後、デフォーカスした平面の各フレームを、訓練されたDeep-Zネットワーク10を用いて仮想的にリフォーカスし、デジタル的に焦点面(z=0μm)に到達させた。z=0μmでキャプチャされたサンプルFOV内の297個の個々のビーズの蛍光強度の変化を、2秒の時間ウィンドウで追跡した。同じ297個のビーズを、仮想的にリフォーカスした5つのタイムラプスシーケンスを用いて(Deep-Z出力を用いて)時間の関数として追跡した。各ビーズの強度曲線を、0から1の間で正規化した。これらの297個の正規化された曲線に対応する平均および標準偏差を、図19A~19Bにプロットした。
[00181]ニューロンのセグメンテーション分析
[00182]図20A、20D、20Gのニューロンの位置を、2つの異なる方法(例えば、Deep-Zと機械的にスキャンされたグラウンドトゥルース)からのニューロンのペアを最初に照合することで比較した。セグメント化されたニューロンの2つのグループ(Ω1、Ω2)のマッチングは、空間座標で表され、以下のように2部グラフの最小コストマッチング問題として考えられる:
[00183]
[00184]
[00185]
[00186]
[00187]ここで、xe=1は、ニューロンの2つのグループ(Ω1、Ω2)間のエッジが一致に含まれることを表す。エッジe=(u1、u2)のコストは、u1∈Ω1、u2∈Ω2の間のマンハッタン距離、すなわちce=|x1-x2|+|y1-y2|+|z1-z2|に基づいて定義される。この問題は完全にユニモジュラ条件を満たすため、上記の整数制約xe∈{0,1}は、最適解を変えずに線形制約x≧0に緩和することができ、問題はMatlab関数linporgを使用した線形計画法により解決した。その後、ペアになった各ニューロン間の距離を計算し、それらの分布をプロットした。
[00182]図20A、20D、20Gのニューロンの位置を、2つの異なる方法(例えば、Deep-Zと機械的にスキャンされたグラウンドトゥルース)からのニューロンのペアを最初に照合することで比較した。セグメント化されたニューロンの2つのグループ(Ω1、Ω2)のマッチングは、空間座標で表され、以下のように2部グラフの最小コストマッチング問題として考えられる:
[00183]
[00184]
[00185]
[00186]
[00187]ここで、xe=1は、ニューロンの2つのグループ(Ω1、Ω2)間のエッジが一致に含まれることを表す。エッジe=(u1、u2)のコストは、u1∈Ω1、u2∈Ω2の間のマンハッタン距離、すなわちce=|x1-x2|+|y1-y2|+|z1-z2|に基づいて定義される。この問題は完全にユニモジュラ条件を満たすため、上記の整数制約xe∈{0,1}は、最適解を変えずに線形制約x≧0に緩和することができ、問題はMatlab関数linporgを使用した線形計画法により解決した。その後、ペアになった各ニューロン間の距離を計算し、それらの分布をプロットした。
[00188]より低い画像露出でのDeep-Z仮想リフォーカス機能
[00189]可変露光条件下(信号対雑音比、SNRに直接影響する)で事前トレーニングされたDeep-Zネットワークモデルの一般化パフォーマンスをさらに検証するために、10msと100msの露光時間でキャプチャされたマイクロビーズ画像を用いて2つのDeep-Zネットワークを訓練し、これらの訓練されたネットワークはそれぞれDeep-Z(10ms)とDeep-Z(100ms)として示し、3msから300msの間で変化する露光時間の下でキャプチャされたデフォーカス画像を仮想的にリフォーカスするために、その性能をブラインドテストした。これらのブラインドテストの結果の例を図16Aに示し、入力ビーズ画像は-5.0、3.0、および4.5μmでデフォーカスされている。露光時間が短いと、ビット深度が浅くなるため、ノイズと画像の量子化エラーによって入力画質が低下した。図16Aに示すように、Deep-Z(100ms)モデルは、10msの露光時間に下るまで入力画像をうまくリフォーカスできる。しかし、Deep-Z(100ms)モデルでは、3msの露光時間で取得された入力画像の焦点を仮想的にリフォーカスできず、背景ノイズのあるぼやけた出力画像となった。他方、Deep-Z(10ms)モデルは、図16A~16Cに示すように、3msの露光時間でキャプチャされた入力画像をうまくリフォーカスできる。興味深いことに、Deep-Z(10ms)モデルは、長い露光時間で取得された入力画像のパフォーマンスがわずかに低下する。例えば、300msの露光時間で取得された入力画像は、図16Aの最後の行に示すように、出力画像においてわずかにぼやけている。これらの観察は、図16B、16Cにおいて、Deep-Z出力画像で計算された画像化されたマイクロビーズの中央値FWHM値をリフォーカス距離の関数として定量化することによってさらに確認される。この分析では、Deep-Z(100ms)モデルが、約[-1μm,1μm]の狭いデフォーカスウィンドウの外側で3msの露光時間でキャプチャされた画像を正常にリフォーカスできないことが確認された(図16Bを参照)。一方、Deep-Z(10ms)モデルは、3msの露光時間でキャプチャされた入力画像に対するリフォーカス性能が向上していることが分かる(図16G)。これらの結果は、テスト画像の予想露光時間に比較的近い露光時間で取得された画像を用いてDeep-Zモデルをトレーニングすることが、推論を成功させるために重要であることを示している。別の重要な観察は、Deep-Z出力画像40は、図7について述べたように、ニューラルネットワークのトレーニングフェーズ中にノイズが全体的に十分に一般化されないため、グラウンドトゥルース画像と比較して背景ノイズも拒絶することである。
[00189]可変露光条件下(信号対雑音比、SNRに直接影響する)で事前トレーニングされたDeep-Zネットワークモデルの一般化パフォーマンスをさらに検証するために、10msと100msの露光時間でキャプチャされたマイクロビーズ画像を用いて2つのDeep-Zネットワークを訓練し、これらの訓練されたネットワークはそれぞれDeep-Z(10ms)とDeep-Z(100ms)として示し、3msから300msの間で変化する露光時間の下でキャプチャされたデフォーカス画像を仮想的にリフォーカスするために、その性能をブラインドテストした。これらのブラインドテストの結果の例を図16Aに示し、入力ビーズ画像は-5.0、3.0、および4.5μmでデフォーカスされている。露光時間が短いと、ビット深度が浅くなるため、ノイズと画像の量子化エラーによって入力画質が低下した。図16Aに示すように、Deep-Z(100ms)モデルは、10msの露光時間に下るまで入力画像をうまくリフォーカスできる。しかし、Deep-Z(100ms)モデルでは、3msの露光時間で取得された入力画像の焦点を仮想的にリフォーカスできず、背景ノイズのあるぼやけた出力画像となった。他方、Deep-Z(10ms)モデルは、図16A~16Cに示すように、3msの露光時間でキャプチャされた入力画像をうまくリフォーカスできる。興味深いことに、Deep-Z(10ms)モデルは、長い露光時間で取得された入力画像のパフォーマンスがわずかに低下する。例えば、300msの露光時間で取得された入力画像は、図16Aの最後の行に示すように、出力画像においてわずかにぼやけている。これらの観察は、図16B、16Cにおいて、Deep-Z出力画像で計算された画像化されたマイクロビーズの中央値FWHM値をリフォーカス距離の関数として定量化することによってさらに確認される。この分析では、Deep-Z(100ms)モデルが、約[-1μm,1μm]の狭いデフォーカスウィンドウの外側で3msの露光時間でキャプチャされた画像を正常にリフォーカスできないことが確認された(図16Bを参照)。一方、Deep-Z(10ms)モデルは、3msの露光時間でキャプチャされた入力画像に対するリフォーカス性能が向上していることが分かる(図16G)。これらの結果は、テスト画像の予想露光時間に比較的近い露光時間で取得された画像を用いてDeep-Zモデルをトレーニングすることが、推論を成功させるために重要であることを示している。別の重要な観察は、Deep-Z出力画像40は、図7について述べたように、ニューラルネットワークのトレーニングフェーズ中にノイズが全体的に十分に一般化されないため、グラウンドトゥルース画像と比較して背景ノイズも拒絶することである。
[00190]また、Deep-Zのノイズ性能は、例えば、顕微鏡のフーリエ面に位相マスクを挿入することによって、顕微鏡の点像分布関数(PSF)を操作して、拡張された被写界深度にまたがるように設計することで、理想的には蛍光信号収集経路に沿った光子損失を増やすことなくさらに強化できる可能性がある。例えば、位相および/または振幅マスクを、顕微鏡110の光路(軸方向)に沿って配置することができる。二重らせんPSFは、設計されたPSFの1つの例である。さらに、蛍光顕微鏡110は、広視野蛍光顕微鏡110を含んでもよい。顕微鏡110はまた、ライトシートシステムを含んでもよい。
[00191]サンプルおよびイメージングシステムの変化に対するDeep-Zのロバスト性
[00192]これまでの結果では、ブラインドテストされたサンプル12を、同じタイプのサンプル12および同じ顕微鏡システム110を用いて訓練されたDeep-Zネットワーク10を用いて推測した。ここでは、例えば(1)画像化されるサンプル12の種類が異なる、(2)イメージングに使用される顕微鏡システム110が異なる、(3)照明出力やSNRが異なるなど、トレーニング画像セットと比較してテストデータの分布に変化が導入されるような、異なるシナリオでのDeep-Zのパフォーマンスについて説明する。
[00192]これまでの結果では、ブラインドテストされたサンプル12を、同じタイプのサンプル12および同じ顕微鏡システム110を用いて訓練されたDeep-Zネットワーク10を用いて推測した。ここでは、例えば(1)画像化されるサンプル12の種類が異なる、(2)イメージングに使用される顕微鏡システム110が異なる、(3)照明出力やSNRが異なるなど、トレーニング画像セットと比較してテストデータの分布に変化が導入されるような、異なるシナリオでのDeep-Zのパフォーマンスについて説明する。
[00193]最初の項目に関して、訓練されたサンプルタイプ12とテストされたサンプルタイプ12の分布の間に高い類似性がある場合、ネットワーク出力のパフォーマンスは同等であると予想される。図17A、17Bに報告されているように、tagRFPで標識された線虫ニューロン核の画像を仮想的にリフォーカスするように訓練されたDeep-Zネットワーク10が、GFP標識された線虫ニューロン活動の画像を仮想的にリフォーカスするようにブラインドテストされた。異なるモデル欄の出力画像の結果は、GFP標識されたニューロン活動画像に特化して訓練された最適モデル(同じモデル列)の出力画像や、機械的にスキャンされたグラウンドトゥルース(GT)画像と非常によく似ており、同じサンプルのグラウンドトゥルース画像に関して、2つの出力画像セットの相関係数にわずかな違いがみられた。C.elegans線虫の異なる系統の画像でブラインドテストしたDeep-Zモデルの有効性についても、同様の結論が導き出されると考えられる。
[00194]一方、トレーニングサンプルの種類とその光学的特徴がテストサンプルと大幅に異なる場合、Deep-Zのパフォーマンスに顕著な違いが見られることがある。例えば、図17Bに示すように、300nmのビーズで訓練されたDeep-Zネットワーク10は、典型的に1~5μmのサイズの線虫のニューロン核の画像を部分的にリフォーカスすることしかできず、したがってナノビーズのみを含む訓練画像データセットでは十分に表されない。この制限は、1つのタイプのサンプル(例えば、この例ではナノビーズ)で訓練されたネットワーク10をネットワークの重みの初期化として使用し、ニューロン核を含む新しい画像を用いてDeep-Zネットワーク10をさらに訓練する転移学習プロセスによって改善できる。最適なモデルに到達するのに約40,000回の反復(約60時間)を要するゼロからの開始(例えば、ランダム化された初期化)と比較して、転移学習は、わずか約4,000回の反復(約6時間)で最適なモデルを達成してニューロン核画像のリフォーカスに成功するのに寄与し、これは最適なモデルの性能に一致する(図17A、17Bの転移学習列)。この転移学習アプローチは、例えば約500~1,000回の反復で新しい画像データを用いて改良された以前のモデルを使用して、異なるタイプの線虫の画像化にも適用することができる。転移学習のもう1つの利点は、使用するトレーニングデータが少ないことである。例えば、今回のケースでは、最適モデルに使用した元のトレーニングデータの20%のみを転移学習に使用している。
[00195]第2の項目に関して、すなわち、画像化に使用される顕微鏡システム110の変化の可能性も、事前に訓練されたネットワークモデルの推論性能に悪影響を与え得る。事前にトレーニングされたDeep-Zネットワークにとって困難なシナリオの1つは、開口数(NA)を変更した別の対物レンズを用いてテスト画像がキャプチャされた場合であり、これにより3DPSFプロファイルが直接変更され、特に深度方向に沿ってDeep-Zで学習された特徴から逸脱する。サンプルタイプの変化と同様に、イメージングシステムパラメータの違いが小さい場合、以前にトレーニングされたDeep-Zネットワーク10を用いて、別の顕微鏡でキャプチャされた画像をある程度仮想的にリフォーカスできると予想される。図18はこのシナリオの例を示し、20×/0.75NA対物レンズを備えたオリンパスIX81顕微鏡を用いて撮影した線虫のニューロン核の画像を用いて訓練されたDeep-Zネットワーク10を、20×/0.8NA対物レンズを備えたライカSP8顕微鏡でキャプチャした画像でブラインドテストを行った。別の言い方をすれば、2つの異なる会社によって製造された2つの異なる顕微鏡が使用され、トレーニングフェーズとテストフェーズの間でNAがわずかに変更されている。図18に示すように、最適モデルと比較して、仮想リフォーカスの結果のほとんどは成功している。ただし、これらのイメージングパラメータの変更により、仮想的にリフォーカスされた画像内のニューロンが異なるモデル出力列でいくつか誤って配置され、最適なDeep-Zネットワーク出力と異なるモデル出力の相関係数に約0.02~0.06のわずかな違いが生じた(どちらも2つの異なる顕微鏡システムを用いて取得された対応するグラウンドトゥルース画像に関して計算した)。前述したように、転移学習を用いて、オリンパスIX81顕微鏡(20×/0.75NA対物レンズ)でトレーニングされた最初のDeep-Zモデルを初期化し、ライカSP8顕微鏡(20×/0.8NA対物レンズ)でキャプチャした新しい画像データセットに対して、さらに約2,000回の反復を行うことで、これらの結果をさらに改善することもできる。前の例と同様に、図18では、最適モデルに使用された元のトレーニングデータの20%を転移学習に使用した。
[00196]3番目の項目について、照明出力は、露光時間と蛍光体の効率とともに、入力画像のダイナミックレンジとSNRという2つの主要な要素に寄与する。前処理ステップで背景の蛍光を除去し、三角形閾値に基づく正規化ステップも含まれるため、入力画像は常に類似の信号範囲に再正規化され、したがって、照明出力に関連するダイナミックレンジの変化はDeep-Zネットワーク10の主要な課題とならない。さらに、前に詳述したように、堅牢な仮想リフォーカスは、大幅に低いSNR、すなわちはるかに短い露光時間で取得された入力画像を使用して達成することができる(図16A~16Cを参照)。これらの結果および対応する分析は、Deep-Zネットワーク10が、入力画像のダイナミックレンジおよびSNRで観察される変化に対してかなりロバストであることを明らかにしている。これを拡大すると、テスト画像の予想露光時間と比較的近い露光時間で取得された画像を用いてDeep-Zネットワーク10をトレーニングすることが、Deep-Zネットワーク10の様々な用途に推奨される。実際、同じ結論が一般的に当てはまり、Deep-Zネットワーク10の推論結果で最高のパフォーマンスを達成するには、ニューラルネットワーク10を、テストフェーズで使用されると予想されるのと同じ顕微鏡システム110と同じタイプのサンプル12で取得したトレーニング画像を用いてトレーニングする必要がある(ゼロから、またはトレーニングプロセスを大幅に促進する転移学習を通じて)。
[00197]Deep-Zを用いた時間変調信号の再構成
[00198]Deep-Zネットワーク10の一般化機能をさらに検証するために、時間的に変化する外部励起によってマイクロビーズの蛍光を時間とともに変調させる実験を行った。図19Aは、毎秒20フレームのフレームレートで2秒間にわたって追跡した焦点面(z=0μm)における297個の個々のマイクロビーズの時間変調信号を、それらの正規化された平均値と標準偏差でプロットしたものである。この曲線は、入力励起光と同様の変調パターンを示しているが、蛍光の非線形応答により、完全な正弦曲線からわずかにずれている。標準偏差は、各ポイントでの平均信号の約1.0%であった。Deep-Zネットワーク10のブラインド推論をテストするために、図19Aの後続のエントリは、同じ視野(FOV)に対応する同じ量を報告しているが、デフォーカス面(z=2、4、6、8、10μm)でキャプチャされ、固定の信号強度でキャプチャされた画像でトレーニングされたDeep-Zネットワーク10を使用して焦点面(z=0μm)に仮想リフォーカスされる。仮想リフォーカス画像(z=2、4、6、8、10μm)を用いて計算された平均曲線は、インフォーカス画像(z-0μm)と非常によく一致したが、標準偏差は仮想リフォーカス距離の増加とともにわずかに増加し、仮想リフォーカス距離z=2、4、6、8、10μmの場合、それぞれ平均信号の約1.0%、1.1%、1.7%、1.9%、および2.1%であった。
[00198]Deep-Zネットワーク10の一般化機能をさらに検証するために、時間的に変化する外部励起によってマイクロビーズの蛍光を時間とともに変調させる実験を行った。図19Aは、毎秒20フレームのフレームレートで2秒間にわたって追跡した焦点面(z=0μm)における297個の個々のマイクロビーズの時間変調信号を、それらの正規化された平均値と標準偏差でプロットしたものである。この曲線は、入力励起光と同様の変調パターンを示しているが、蛍光の非線形応答により、完全な正弦曲線からわずかにずれている。標準偏差は、各ポイントでの平均信号の約1.0%であった。Deep-Zネットワーク10のブラインド推論をテストするために、図19Aの後続のエントリは、同じ視野(FOV)に対応する同じ量を報告しているが、デフォーカス面(z=2、4、6、8、10μm)でキャプチャされ、固定の信号強度でキャプチャされた画像でトレーニングされたDeep-Zネットワーク10を使用して焦点面(z=0μm)に仮想リフォーカスされる。仮想リフォーカス画像(z=2、4、6、8、10μm)を用いて計算された平均曲線は、インフォーカス画像(z-0μm)と非常によく一致したが、標準偏差は仮想リフォーカス距離の増加とともにわずかに増加し、仮想リフォーカス距離z=2、4、6、8、10μmの場合、それぞれ平均信号の約1.0%、1.1%、1.7%、1.9%、および2.1%であった。
[00199]この取得された一連の画像に基づいて、1つおきのフレームをとって新しいビデオを形成した。そうすることで、ダウンサンプリングされたビデオは元の2秒のビデオが1秒に圧縮され、2倍の周波数(2Hz)で変調されたビーズのグループを形成した。このダウンサンプリングされたビデオを繰り返し、8ピクセル(2.6μm)の横方向のシフトで、フレームごとに元のビデオに戻した。図19Bは、これらの追加された画像に対するDeep-Zネットワーク10出力を示し、これは同じ出力画像シーケンスで別々にマスクされた、元の変調周波数1Hz(第1行)および2倍の変調周波数2Hz(第2行)を有する297対のビーズに対応している。この分析により、Deep-Zの出力が正弦波照明をよく追跡し、図19Aと同じように、1列目で報告されたインフォーカスの基準時間変調に厳密に従っていることが示された。異なるデフォーカス面の入力および出力FOVから切り取られた、これらの1Hzおよび2Hzエミッタの6つのペアを含む関心領域の例を示すビデオも作成した。
[00200]C.elegans線虫のニューロンセグメンテーションの比較
[00201]Deep-Zネットワーク10が実際に、拡張された被写界深度にわたって仮想リフォーカスすることによってより多くのニューロンをセグメント化するのに役立つことを説明するために、図20Aに見られるように、入力2D画像に同じセグメンテーションアルゴリズムを適用した結果では、セグメンテーションアルゴリズムは、深度情報なしで99個のニューロンを検出した(図20B参照)。比較すると、(単一の入力画像から計算される)Deep-Zの出力画像スタックにより、155個のニューロンの検出が可能になり(図20Cと図4B参照)、各ニューロンの深度位置も予測された(色分けで示す)。この場合、ニューロンの活動を追跡するために2Dビデオを使用したため、このサンプルには走査型顕微鏡で取得した対応する3D画像スタックがなかったことに留意されたい。
[00201]Deep-Zネットワーク10が実際に、拡張された被写界深度にわたって仮想リフォーカスすることによってより多くのニューロンをセグメント化するのに役立つことを説明するために、図20Aに見られるように、入力2D画像に同じセグメンテーションアルゴリズムを適用した結果では、セグメンテーションアルゴリズムは、深度情報なしで99個のニューロンを検出した(図20B参照)。比較すると、(単一の入力画像から計算される)Deep-Zの出力画像スタックにより、155個のニューロンの検出が可能になり(図20Cと図4B参照)、各ニューロンの深度位置も予測された(色分けで示す)。この場合、ニューロンの活動を追跡するために2Dビデオを使用したため、このサンプルには走査型顕微鏡で取得した対応する3D画像スタックがなかったことに留意されたい。
[00202]軸方向の機械的スキャンを用いてキャプチャされたグラウンドトゥルース3D画像スタックとの比較をよりよく説明するために、2D入力画像から同じアルゴリズム用いて計算された別の線虫のセグメンテーション結果と、対応するDeep-Z仮想画像スタックと、機械的にスキャンされたグラウンドトゥルース画像スタック(0.5μmの軸方向間隔で41個の深さで取得)を示す(図20D~20I)。入力画像から得られたセグメンテーション結果(図20E)と比較して、Deep-Zで生成された仮想画像スタックを用いて得られたセグメンテーション結果(図20F)は、33個のニューロンが追加で検出され、合計128個のニューロンの正しい3D位置も予測された。グラウンドトゥルースの機械的スキャンされた3D画像スタック(図20I)と比較して、Deep-Zで生成した仮想スタックでは、セグメンテーションアルゴリズムで認識したニューロンの数が18個減少した。これらのニューロンは、ほとんどがワームの頭部内にあり、ニューロンの密度が高く、復元とセグメント化が比較的困難である。胴体や尾などのワームのまばらな領域では、ニューロンはほぼ正しくセグメント化されており、機械的スキャンされた3D画像スタック(41個の軸方向スキャンで構成)を用いて得られた結果と一致した。セグメント化されたニューロンの深度位置(色分けで示す)も、グラウンドトゥルースの機械的スキャンされた3D画像スタックを用いて測定された対応する深度とよく一致した。
[00203]サンプルの密度の高い領域(ワームの頭など)でのDeep-Zネットワークベースのニューロンセグメンテーションのパフォーマンスを向上させるために、複数の入力画像を取得して自由度を高め、各Deep-Z入力画像のスタックを仮想的にリフォーカスされた画像スタックを他の画像とマージして、高密度の関心領域内で失われたニューロンの一部を回復させることが可能である。機械的スキャンされた3D画像スタックと比較しても、これは依然として大幅に高速であり、標本ボリュームを画像化するために取得する必要のある画像は少なくてよい。例えば、図20Hでは、Deep-Zによって作成された2つの仮想画像スタックをマージしたセグメンテーションの結果が示されている。どちらも-10μm~10μmにまたがり、それぞれz=0μmとz=4μmで取得した2つの異なる入力画像から生成されている。
[00204]マージは、2つの画像スタックの最大ピクセル値を取得することによって実行した。この場合のセグメンテーションアルゴリズムでは、N=148個のニューロンが識別され(図20FのN=128個から改善された)、この結果はグラウンドトゥルース軸方向スキャン結果(図20IのN=146)によく一致する。この比較にさらに光を当てるべく、まったく同じ画像データセットに別のセグメンテーションアルゴリズムを使用した。TrackMateという名前のDoGセグメンテーション方法を使用した結果、Deep-Zネットワーク10の出力には146個のニューロン、ターゲット画像スタック(機械的スキャンされたもの)には177個のニューロン、Deep-Zマージスタック(入力画像として2つの軸平面のみを使用)には179個のニューロンが得られ、Deep-Zの結果と機械的スキャンされた画像スタックで得られた結果がほぼ一致した。2つの異なるニューロンセグメンテーションアルゴリズムの比較は、ニューロンセグメンテーション自体にいくらかの不整合があることも示している(つまり、単一のグラウンドトゥルースメソッドがない可能性がある)。これらの結果は、ニューロンイメージングにおいてDeep-Zネットワーク10の応用可能性に関する概念実証研究と見なされるべきであることに留意すべきである。Deep-Zは、Deep-Zネットワーク10とその出力画像40を最大限に活用してmワームや他のモデル生物の神経活動を正確かつ効率的に追跡するために必要な画像平面の数を減らすことができる、将来の深層学習ベースのニューロンセグメンテーションアルゴリズムを共同で最適化するフロントエンドモジュールとして使用できる可能性がある。この場合のセグメンテーション結果は20×/0.8NA対物レンズを使用していることにも留意されたい。提示のアプローチは、より高いNAの対物レンズを使用すれば、ワームの頭部領域でより良い結果が得られる可能性がある。しかし、より高いNAの対物レンズを用いて機械的スキャンした画像スタックと最先端のニューロンセグメンテーションアルゴリズムを使用しても、各実験でワーム体内のすべてのニューロンを正確に識別できるものではない。
[00205]Deep-Z推論におけるサンプル密度の影響
[00206]蛍光エミッタが互いに近すぎたり、あるFOV内で1つの特徴の強度が他の特徴よりもはるかに弱かったりすると、仮想的にリフォーカスされたDeep-Z画像40の強度分布がグラウンドトゥルース(GT)から逸脱する可能性がある。これにさらに光をあてるべく、実験データから得られた数値シミュレーションを用いて、(1)個々の300nmの蛍光ビーズを含む平面蛍光画像を横方向にシフトさせ、(2)このシフトさせた画像の強度を元の強度に対して比率(0.2~1.0)で減衰させ、(3)この減衰させシフトされた特徴を元の画像に戻す作業を行った(これの説明については、図21A-21B参照)。空間的に不変のインコヒーレントPSFに基づいて、実験データから導出されたこの数値シミュレーションは、互いに信号強度が異なり、互いの距離も変化する2つの蛍光オブジェクトのセットがあるイメージングシナリオを表している。結果として得られたデフォーカス距離の異なる画像(図21Bを参照)は、平面状のビーズサンプルを用いて訓練されたDeep-Zネットワークによって、実質的に正しい焦点面に仮想的にリフォーカスされた。図21B~21Hは、例えば横方向に1~15ピクセル、軸方向に0~10μmのデフォーカスのあるビーズ対の様々な例を示し、その強度比は0.2~1.0に及んでいる。
[00206]蛍光エミッタが互いに近すぎたり、あるFOV内で1つの特徴の強度が他の特徴よりもはるかに弱かったりすると、仮想的にリフォーカスされたDeep-Z画像40の強度分布がグラウンドトゥルース(GT)から逸脱する可能性がある。これにさらに光をあてるべく、実験データから得られた数値シミュレーションを用いて、(1)個々の300nmの蛍光ビーズを含む平面蛍光画像を横方向にシフトさせ、(2)このシフトさせた画像の強度を元の強度に対して比率(0.2~1.0)で減衰させ、(3)この減衰させシフトされた特徴を元の画像に戻す作業を行った(これの説明については、図21A-21B参照)。空間的に不変のインコヒーレントPSFに基づいて、実験データから導出されたこの数値シミュレーションは、互いに信号強度が異なり、互いの距離も変化する2つの蛍光オブジェクトのセットがあるイメージングシナリオを表している。結果として得られたデフォーカス距離の異なる画像(図21Bを参照)は、平面状のビーズサンプルを用いて訓練されたDeep-Zネットワークによって、実質的に正しい焦点面に仮想的にリフォーカスされた。図21B~21Hは、例えば横方向に1~15ピクセル、軸方向に0~10μmのデフォーカスのあるビーズ対の様々な例を示し、その強度比は0.2~1.0に及んでいる。
[00207]これらの異なる入力画像に対するDeep-Z推論のパフォーマンスを定量化するために、図21C~21Hでは、実質的にリフォーカスされた平面における144対の薄暗いビーズと明るいビーズの平均強度比を、横方向シフト量(d)と薄暗いビーズと明るいビーズの強度比の関数としてプロットしており、最大10μmの様々なデフォーカス距離もカバーしている。この図の各パネルでは、2つのビーズ間の最小解像可能距離を十字記号「x」で示している。図21C~21Hは、デフォーカス距離が大きく、比率が小さいほど、ビーズペアが正確に解像するためにわずかに大きな横方向シフト量が必要であることを明らかにしている。
[00208]次に、軸方向のオクルージョンの影響を調べたが、これは解決がより難しい場合がある。このために、実験データから得られた新しい数値シミュレーションを作成し、ここでは平面的な蛍光ビーズの画像スタックを軸方向にシフトし、異なる強度比で対応する元の画像スタックに戻した(図22の説明を参照)。推論タスクを正確に表すために、深層ネットワーク10は、軸方向に重なり合うオブジェクトを含む拡張データセットを用いた転移学習によって訓練された。図22Aは、それぞれz=0およびz=8μmに位置する一対のビーズに対するDeep-Zの結果を示す。ネットワーク10は、これらの2つのビーズを別々にリフォーカスすることに成功し、z=0μmおよびz=8μmでz軸に沿った2つの強度最大値を推論し、シミュレートされた機械的スキャンされた画像スタック(グラウンドトゥルース)と非常によく一致した。図22C、22Dは、それぞれ仮想的にリフォーカスされたDeep-Z画像スタックとシミュレーションされたグラウンドトゥルース画像スタックの両方について、z=8μmに対応するサンプルFOV内の144個の個々のビーズ対について、上部(すなわち、暗い方)のビーズと下部のビーズ(すなわち、元のスタック内のビーズ)の強度比の平均をプロットしたものである。図22C、22Dの結果は類似しており、正確な強度比の値に若干の差異がある。この結果は、3D畳み込みニューラルネットワークアーキテクチャを使用することで、さらに改善される可能性がある。
[00209]Deep-Zの3Dネットワーク推論に対する軸方向のリフォーカス距離と蛍光サンプルの密度の影響をさらに理解するために、粒子密度の異なる3Dビーズサンプルに対応する追加のイメージング実験を行い、ここでは様々な濃度の2.5μLの赤色蛍光ビーズ(300nm)溶液を、スライドガラス上の10μLのProLong Gold退色防止封入剤(P10144、ThermoFisher)と混合して調整した。薄いカバースリップでサンプルを覆った後、サンプルは自然に3Dサンプルボリュームになり、300nmの蛍光ビーズが軸方向に約20~30μmに広がった。異なるビーズ密度に対応する異なるサンプルを、テキサスレッドチャネルを用いて20×/0.75NA対物レンズを用いて軸方向にスキャンした。最適なパフォーマンスを得るために、Deep-Zネットワークは、サンプルの1つからキャプチャされた6つの画像スタック(2048×2048ピクセル)を用いて、転移学習でトレーニングされた(元のビーズネットワークで初期化)。ブラインドテストには、54の重複しない画像スタック(1536×1536ピクセル)を使用した。各画像スタック内で、ステップサイズ0.5μmで±10μmの範囲にある41の軸方向平面をグラウンドトゥルース(機械的スキャンしたもの)として使用し、中央の平面(z=0μm)をDeep-Zへの入力画像として使用した。これで、グラウンドトゥルース(GT)画像と同じ深度範囲にわたる、仮想的にリフォーカスされた出力画像スタック40が生成された。しきい値処理が、グラウンドトゥルースとDeep-Z出力画像スタックに適用され、しきい値処理後の各接続領域は300nmのビーズを表している。図23Aは、入力画像20と、グラウンドトゥルース画像スタック(GT)の最大強度投影(MIP)、ならびにブラインドテストに使用したいくつかの重複しないサンプル領域に対応するDeep-Zネットワークの出力画像40スタックを示す。粒子濃度が低い場合(0.5×106μL-1未満)、Deep-Z出力画像40スタックの結果は、軸方向のデフォーカスが±10μmのトレーニング範囲で機械的スキャンされたグラウンドトゥルース(GT)の結果と非常によく一致する。粒子濃度が高くなると、Deep-Zネットワークの出力は、個々のビーズをすべてリフォーカスして回収する能力が徐々になくなり、蛍光ビーズのカウントが少なくなる。
[00210]実際、Deep-Zネットワーク10のこのリフォーカス能力は、蛍光物体の濃度に依存するだけでなく、リフォーカス軸方向距離にも依存する。これを定量化するために、図23B~23Eは、機械的にスキャンされたグラウンドトゥルース画像スタックと、Deep-Z仮想リフォーカス画像40スタックを用いて測定された蛍光粒子密度とを、軸方向のデフォーカス距離、すなわち入力平面(z=0μm)からそれぞれ±2.5μm、±5μm、±7.5μm、±10μmの関数としてプロットしたものである。例えば、±2.5μmの仮想リフォーカス範囲では、Deep-Z出力画像40スタック(z=:0μmで単一の入力画像を使用)は、テストされた最高のサンプル密度(約4x106μL-1)でもグラウンドトゥルース(GT)の結果と厳密に一致する。一方で、より大きな仮想リフォーカス距離では、Deep-Zは蛍光ビーズのカウントが幾分か不足する(例えば、図23C~22Eを参照)。これはまた、前に報告した分析結果(例えば、図21A、21B、22A~22D)とも一致しており、サンプル中のビーズ密度が増加すると、軸方向のオクルージョンが発生し、Deep-Zの仮想リフォーカスの忠実度に部分的に影響が生じる。
[00211]本明細書に提示されたこれらの例では、トレーニング画像データは、Deep-Zネットワーク10にとって不利となる、テストデータに存在する粒子の信号強度の強い変動または軸方向のオクルージョンを含んでいなかった。しかしながら、正しいタイプのサンプル12(テストサンプル12のタイプとその3D構造に一致)でトレーニングされたDeep-Zネットワーク10では、トレーニング画像が自然に関連する3D構造を含み、テストサンプルで予想される特徴分布をより適切に表すので、ブラインド推論と仮想リフォーカスのパフォーマンスのタスクが容易になる。
[00212]Deep-Zによる光損傷の低減
[00213]Deep-Zネットワーク10の別の利点は、サンプル12への光損傷の減少である。光損傷は、生細胞イメージングにおける蛍光顕微鏡のアプリケーションにおいて困難なトレードオフをもたらし、これは、例えば縦断実験において取得できる画像数に実際上の制限を課す。光退色および/または光毒性などの光損傷の特定の性質は、サンプルのpHおよび酸素レベル、温度、蛍光体の密度や光安定性などの他の多くの要因の中でも、照明波長、ビームプロファイル、露光時間に依存する。照明設計のいくつかの戦略が、光損傷の影響を減らすために実証されている。例えば、露光制御顕微鏡(controlled light exposure microscopy:CLEM)や予測焦点照明のように標本に照射される照明強度を調整したり、選択的平面照明顕微鏡のように励起経路と放出経路を分離することがある。
[00213]Deep-Zネットワーク10の別の利点は、サンプル12への光損傷の減少である。光損傷は、生細胞イメージングにおける蛍光顕微鏡のアプリケーションにおいて困難なトレードオフをもたらし、これは、例えば縦断実験において取得できる画像数に実際上の制限を課す。光退色および/または光毒性などの光損傷の特定の性質は、サンプルのpHおよび酸素レベル、温度、蛍光体の密度や光安定性などの他の多くの要因の中でも、照明波長、ビームプロファイル、露光時間に依存する。照明設計のいくつかの戦略が、光損傷の影響を減らすために実証されている。例えば、露光制御顕微鏡(controlled light exposure microscopy:CLEM)や予測焦点照明のように標本に照射される照明強度を調整したり、選択的平面照明顕微鏡のように励起経路と放出経路を分離することがある。
[00214]軸方向の画像スタックを取得する広視野蛍光顕微鏡実験の場合、照明は、対物レンズの焦点面で画像化される位置に拘わらず、標本12の厚さ全体にわたって蛍光体を励起する。例えば、サンプルの厚さが励起ビームの焦点ボリュームに比べて比較的薄いと仮定すると、サンプルボリューム全体が各軸方向画像取得ステップで均一に出てくる。これは、サンプルボリューム内の特定のポイントの総露光量が、zスタックのシングルパスで取得されるイメージングプレーンの数(Nz)に副次的に比例することを意味する。対照的に、Deep-Zシステム2は、軸方向のトレーニング範囲がサンプルの深さをカバーしている場合、単一の画像取得ステップしか必要としない。サンプルが厚い場合や高密度である場合、図20Hに示すように、Deep-Z推論の改善のために1より多い入力画像を必要とする可能性がある。この場合、2つの入力画像を用いると、線虫の頭部領域のニューロン核をより適切に分解できた。したがって、Deep-Zによって可能になる、サンプルボリューム内で画像化する必要のある軸方向の平面数を減らすことは、サンプルへの光損傷を減らすのに直接役立つ。
[00215]この利点をさらに説明するために、蛍光ビーズ(直径300nm、ProLong Gold退色防止封入剤に埋め込まれた)を含むサンプルを、深さ20μmの範囲(0.5μmステップサイズ)にNz=41の軸方向平面で180回の繰り返しサイクルで3Dイメージングする追加の実験を行った。合計で約30分かかった。ナノビーズの平均蛍光信号は、イメージングサイクルの終わりに元の値の約80%まで減衰した(図24Aを参照)。比較すると、同様の仮想画像スタックを生成するために、Deep-Zシステム2は単一の入力画像20を取得するだけでよく、180回の繰り返しサイクルの合計イメージング時間は約15秒となり、Deep-Zで生成された仮想画像スタックの平均蛍光信号は、同じ数の画像化サイクルの間に目に見える減衰を示さない(図24Bを参照)。専用の退色防止封入剤を使用しない可能性がある生サンプルのイメージングでは、蛍光信号の減衰は、光損傷と光退色により、図24Aと比較してより急激になると考えられるが、Deep-Zを使用すると、特に縦方向のイメージング実験中に、これらの悪影響を大幅に減らすことができる。
[00216]Deep-Zネットワーク10をライトシート顕微鏡へ適用すると、間にDeep-Zの3D推論を用いて2つの連続するライトシート間の軸方向分離を増加させることにより、サンプル12内のイメージング平面の数を減らすために使用できる。一般に、Nzの削減は、軸方向スキャン中に必要なハードウェアとソフトウェアの同期時間を考慮すると、光損傷の影響を減らすのに役立つが、例えばアークバーナーが照明源として使用される場合、追加の時間オーバーヘッドが発生する。この照明のオーバーヘッドは、オン/オフ遷移時間がはるかに速いLEDを照明に使用するとほとんど排除できる。Deep-Zシステム2は、蛍光顕微鏡における標準的な光損傷のトレードオフを実質的に回避し、設定された特定の光損傷しきい値に対して照明強度を増加させ、Deep-Zを用いて取得された画像の軸方向の数を減らすことで相殺できるため、高速でのイメージングやSNRの向上を可能にする。以下の文献(および補足情報)は、参照により本明細書に組み込まれる:Wu,Yら、Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning, Nat Methods 16, 1323-1331 (2019) doi:10.1038/s41592-019-0622-5。
[00217]本発明の実施形態を図示、説明したが、本発明の範囲から逸脱することなく、様々な修正を行うことができる。したがって、本発明は、添付の特許請求の範囲およびそれらの同等物を除いて、限定されるべきではない。
Claims (52)
- 蛍光顕微鏡方法において、
1以上のプロセッサを使用してソフトウェアによって実行される訓練済みの深層ニューラルネットワークを提供するステップと、
前記訓練された深層ニューラルネットワークに、サンプルの少なくとも1つの2次元蛍光顕微鏡入力画像を入力するステップであって、前記少なくとも1つの入力画像には、ピクセルごとに、前記入力画像の平面からの前記サンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列(DPM)が付加されている、ステップと、
前記訓練された深層ニューラルネットワークから前記サンプルの少なくとも1つの蛍光出力画像を出力するステップであって、この画像は、前記DPMによって規定された前記ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている、ステップとを含むことを特徴とする方法。 - 前記訓練された深層ニューラルネットワークからの複数のDPMを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルのボリューム画像を作成する、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの複数のDPMを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの拡張被写界深度(EDOF)画像を作成する、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの少なくとも1つのDPMを用いた少なくとも1つの蛍光出力画像を用いて、前記サンプルのフォーカス改善画像を作成する、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、任意のユーザ定義または自動生成された3D表面上に前記サンプルの画像を作成する、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記入力画像の取得に用いた顕微鏡の被写界深度を拡張する、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームへの光子線量または露光の低減が可能である、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームの光退色の低減が可能である、請求項1に記載の方法。
- サンプルの2次元蛍光顕微鏡入力画像の時間シーケンスが、前記訓練された深層ニューラルネットワークに入力され、ここで各画像には、ピクセルごとに、前記入力画像の平面から前記サンプル内のユーザ定義または自動生成された表面の軸方向距離を表すデジタル伝播行列(DPM)が付加されており、前記サンプルの蛍光出力画像の時間シーケンスが前記訓練された深層ニューラルネットワークから出力され、これは前記入力画像のDPMに応じて前記ユーザ定義または自動生成された表面にデジタル伝播されている、請求項1に記載の方法。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像の時間シーケンスのうちの1つまたは複数が組み合わされて、サンプルボリュームのタイムラプスビデオを作成する、請求項9に記載の方法。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像の時間シーケンスのうちの1つまたは複数が組み合わされて、任意のユーザ定義または自動生成された3D表面上の前記サンプルのタイムラプスビデオを作成する、請求項9に記載の方法。
- 前記サンプルの2次元蛍光顕微鏡入力画像の時間シーケンスは、カメラでストリームまたはビデオモードを使用するカメラで取得され、前記サンプルの蛍光出力画像の時間シーケンスは、前記2次元蛍光顕微鏡入力画像と比較して同じか改善されたフレームレートを有する、請求項9に記載の方法。
- 前記ユーザ定義または自動生成された表面は、前記サンプル内に位置する平面、曲面、任意の表面、または軸方向深度範囲を含む、請求項1~12のいずれか一項に記載の方法。
- 前記サンプルは、生体、固定生物、生細胞、固定細胞、生組織、固定組織、病理学的スライド、生検、液体、体液、または他の微細オブジェクトのうちの少なくとも1つを含む、請求項1~12のいずれか一項に記載の方法。
- 少なくとも1つの入力画像が、空間的に操作された点像分布関数(spatially engineered point spread function)を用いて取得される、請求項1~12のいずれか一項に記載の方法。
- 前記訓練された深層ニューラルネットワークは、(1)異なる深度で軸方向に集束され、異なるDPMが付加された複数の蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲット焦点深度でキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致する対を用いて、敵対的生成ネットワーク(GAN)で訓練される、請求項1~12のいずれか一項に記載の方法。
- 前記1以上のユーザ定義または自動生成された表面はそれぞれ2次元平面を規定している、請求項1~12のいずれか一項に記載の方法。
- 前記1以上のユーザ定義または自動生成された表面はそれぞれ傾斜面または曲面を規定している、請求項1~12のいずれか一項に記載の方法。
- 前記1以上のユーザ定義または自動生成された表面はそれぞれ任意の3次元表面を規定している、請求項1~12のいずれか一項に記載の方法。
- 前記DPMが空間的に均一である、請求項1~12のいずれか一項に記載の方法。
- 前記DPMが空間的に不均一である、請求項1~12のいずれか一項に記載の方法。
- 前記入力画像は、グラウンドトゥルース画像と同じか実質的に同様の開口数および解像度を有する、請求項1~12のいずれか一項に記載の方法。
- 前記入力画像は、グラウンドトゥルース画像と比較して、開口数が少なく、解像度が低く、前記訓練された深層ニューラルネットワークは、蛍光入力画像の仮想リフォーカスと超解像の両方を学習し実行する、請求項1~12のいずれか一項に記載の方法。
- 超解像度顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いる共焦点顕微鏡、第二高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡のいずれかの種類の顕微鏡を使用して、前記訓練された深層ニューラルネットワークへの入力画像が取得される、および/または、前記訓練された深層ニューラルネットワークが訓練される、請求項1~12のいずれか一項に記載の方法。
- 前記2次元顕微鏡入力画像は第1のタイプの蛍光顕微鏡モダリティで得られ、前記蛍光出力画像は第2のタイプの蛍光顕微鏡モダリティで得られた同じサンプルの蛍光顕微鏡画像に類似し、実質的に同等である、請求項1~12のいずれか一項に記載の方法。
- 前記サンプルの2次元蛍光顕微鏡入力画像が広視野画像を含み、前記蛍光出力画像が同じサンプルの共焦点顕微鏡画像に類似し、実質的に同等である、請求項1~12のいずれか一項に記載の方法。
- 前記訓練された深層ニューラルネットワークが、(1)異なる深度で軸方向に集束され、異なるDPMが付加された第1の顕微鏡モダリティの複数の蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲットの焦点深度で第2の異なる顕微鏡モダリティでキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致するペアを用いて敵対的生成ネットワーク(GAN)で訓練される、請求項1~12のいずれか一項に記載の方法
- 前記第1の顕微鏡モダリティが広視野蛍光顕微鏡モダリティを含み、前記第2の異なる顕微鏡モダリティが、超解像顕微鏡、共焦点顕微鏡、単一光子または多光子励起蛍光を用いた共焦点顕微鏡、第2高調波または高次高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡、のいずれかタイプの顕微鏡を含む、請求項27に記載の方法。
- 前記少なくとも1つの2次元蛍光顕微鏡入力画像が、操作された点像分布関数(engineered point spread function)を含む蛍光顕微鏡によって得られる、請求項1~12のいずれか一項に記載の方法。
- 前記サンプル内の異なる軸方向平面または表面で取得された2以上の入力画像が、少なくとも前記サンプルの1つの蛍光出力画像を出力するように訓練された別個の訓練された深層ニューラルネットワークに同時に入力され、この出力画像は、前記入力画像とともに同じ深層ニューラルネットワークに入力される前記DPMによって定義された、ユーザ定義または自動生成された表面にデジタル伝播またはリフォーカスされている、請求項1~12のいずれか一項に記載の方法。
- 画像処理ソフトウェアが実行されるコンピューティングデバイスを含む蛍光顕微鏡画像を出力するためのシステムであって、前記画像処理ソフトウェアは、前記コンピューティングデバイスの1以上のプロセッサを用いて実行される訓練された深層ニューラルネットワークを含み、前記訓練された深層ニューラルネットワークは、(1)異なる深度で軸方向に焦点が合い、ピクセルごとに、それぞれユーザ定義または自動生成された表面の軸方向距離を表す異なるデジタル伝播マトリックス(DPM)が付加された複数の蛍光画像と、(2)対応するDPMによって定義された正しい/ターゲット焦点深度でキャプチャされた対応するグラウンドトゥルース蛍光画像と、の一致したペアを用いて訓練され、前記画像処理ソフトウェアは、対応するDPMが付加された1以上の2次元蛍光顕微鏡入力を受信し、前記深層ニューラルネットワークから前記サンプルの1以上の蛍光出力画像であって前記付加されたDPMによって定義された1以上のユーザ定義または自動生成された表面にデジタル伝播された画像を出力するように構成されていることを特徴とするシステム。
- 前記訓練された深層ニューラルネットワークからの複数のDPMを用いた複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの拡張被写界深度(EDOF)画像を作成する、請求項31に記載のシステム。
- 前記訓練された深層ニューラルネットワークからの少なくとも1つのDPMを使用する少なくとも1つの蛍光出力画像を用いて、前記サンプルのフォーカス改善画像を作成する、請求項31に記載のシステム。
- 前記コンピューティングデバイスは、パーソナルコンピュータ、ラップトップ、タブレット、サーバ、ASIC、または1以上のグラフィックスプロセッシングユニット(GPU)のうちの少なくとも1つを含む、請求項31に記載のシステム。
- 前記入力画像が、グラウンドトゥルース画像と同じか実質的に同様の開口数および解像度を有する、請求項31に記載のシステム。
- 前記入力画像は、グラウンドトゥルース画像と比較して、開口数が少なく、解像度が低く、前記訓練された深層ニューラルネットワークは、蛍光入力画像の仮想リフォーカスおよび超解像の両方を学習し実行する、請求項31に記載のシステム。
- 深層ニューラルネットワークを訓練するために使用される入力画像は、超解像度顕微鏡、共焦点顕微鏡、単一光子または多焦点顕微鏡光子励起蛍光、二次高調波または高高調波発生蛍光顕微鏡、ライトシート顕微鏡、構造化照明顕微鏡、計算顕微鏡、プティコグラフィ顕微鏡、のタイプの顕微鏡のうちの1つを使用することによって得られる、請求項31に記載のシステム。
- 前記深層ニューラルネットワークが均一なDPMを用いて訓練され、前記1以上のユーザ定義または自動生成された表面が1以上の任意の3次元表面を含む、請求項31に記載のシステム。
- 前記訓練されたニューラルネットワークの出力蛍光画像がデジタル的に組み合わされて、前記サンプルの3次元ボリューム画像および/またはタイムラプスビデオを作成する、請求項31に記載のシステム。
- 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記サンプルの任意のユーザ定義または自動生成された3D表面上の画像および/またはタイムラプスビデオを作成する、請求項31に記載のシステム。
- 前記訓練された深層ニューラルネットワークからの複数の蛍光出力画像がデジタル的に組み合わされて、前記入力画像を出力するのに用いられた顕微鏡の被写界深度を拡張する、請求項31に記載のシステム。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームへの光子線量または露光の低減が可能である、請求項31に記載のシステム。
- 前記訓練された深層ニューラルネットワークからの蛍光出力画像は、サンプルボリュームの光退色の低減が可能である、請求項31に記載のシステム。
- 前記少なくとも1つの入力画像は、空間的に操作された点像分布関数(PSF)を用いて取得される、請求項31に記載のシステム。
- 前記画像処理ソフトウェアが、それぞれが少なくとも1つの対応するDPMが付加された前記サンプルの蛍光顕微鏡入力画像の時間シーケンスを受信し、前記訓練された深層ニューラルネットワークから、前記入力画像の付加されたDPMによって定義されたユーザ定義または自動生成された表面にデジタル伝播された前記サンプルの蛍光出力画像の時間シーケンスを出力するように構成されている、請求項31に記載のシステム。
- 前記ユーザ定義または自動生成された表面が2次元表面を含む、請求項45に記載のシステム。
- 前記ユーザ定義または自動生成された表面が、任意の3次元表面またはボリュームを含む、請求項45に記載のシステム。
- 前記1以上の蛍光出力画像をマージして、前記サンプルのタイムラプスボリュームビデオを形成する、請求項31に記載のシステム。
- 前記サンプルの1以上の蛍光顕微鏡入力画像を取得するように構成された蛍光顕微鏡をさらに具える、請求項31に記載のシステム。
- 前記蛍光顕微鏡が、3Dに操作された点像分布関数を作成するための、光路に沿って配置された位相および/または振幅マスクをさらに含む、請求項49に記載のシステム。
- 空間的に操作された点像分布関数が二重らせん点像分布関数を含む、請求項44に記載のシステム。
- 前記蛍光顕微鏡が、ライトシートベースの顕微鏡システムを含む、請求項49に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862785012P | 2018-12-26 | 2018-12-26 | |
US62/785,012 | 2018-12-26 | ||
US201962912537P | 2019-10-08 | 2019-10-08 | |
US62/912,537 | 2019-10-08 | ||
PCT/US2019/068347 WO2020139835A1 (en) | 2018-12-26 | 2019-12-23 | Systems and methods for two-dimensional fluorescence wave propagation onto surfaces using deep learning |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022516467A true JP2022516467A (ja) | 2022-02-28 |
Family
ID=71129807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021537758A Pending JP2022516467A (ja) | 2018-12-26 | 2019-12-23 | 深層学習を使用した表面への2次元蛍光波伝播システムと方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11946854B2 (ja) |
EP (1) | EP3903092A4 (ja) |
JP (1) | JP2022516467A (ja) |
CN (1) | CN113383225A (ja) |
WO (1) | WO2020139835A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12020165B2 (en) | 2018-11-15 | 2024-06-25 | The Regents Of The University Of California | System and method for transforming holographic microscopy images to microscopy images of various modalities |
JP2022516467A (ja) | 2018-12-26 | 2022-02-28 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 深層学習を使用した表面への2次元蛍光波伝播システムと方法 |
WO2021095256A1 (ja) * | 2019-11-15 | 2021-05-20 | オリンパス株式会社 | 画像処理システム、画像処理方法、及び、プログラム |
US11422355B2 (en) | 2020-07-22 | 2022-08-23 | Sartorius Bioanalytical Instruments, Inc. | Method and system for acquisition of fluorescence images of live-cell biological samples |
JP7505116B2 (ja) | 2020-08-21 | 2024-06-24 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル病理画像についてのマルチスキャナにおける相違の深層学習を使用した補正 |
DE102020123668A1 (de) * | 2020-09-10 | 2022-03-10 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren |
US11915360B2 (en) | 2020-10-20 | 2024-02-27 | The Regents Of The University Of California | Volumetric microscopy methods and systems using recurrent neural networks |
CN112036381B (zh) * | 2020-11-03 | 2021-03-09 | 中山大学深圳研究院 | 视觉跟踪方法、视频监控方法及终端设备 |
EP3996035A1 (en) * | 2020-11-05 | 2022-05-11 | Leica Microsystems CMS GmbH | Methods and systems for training convolutional neural networks |
EP4275034A1 (en) * | 2021-01-07 | 2023-11-15 | The United States of America, as represented by The Secretary, Department of Health and Human Services | Systems and methods for producing isotropic in-plane super-resolution images from line-scanning confocal microscopy |
US20220351347A1 (en) * | 2021-02-25 | 2022-11-03 | California Institute Of Technology | Computational refocusing-assisted deep learning |
CN114022730B (zh) * | 2021-10-28 | 2023-08-15 | 中国科学院光电技术研究所 | 一种基于自监督学习神经网络的点目标相位检索方法 |
CN114387196A (zh) * | 2021-12-24 | 2022-04-22 | 汉姆德(宁波)智能医疗科技有限公司 | 超分辨显微镜欠采样图像的生成方法、装置 |
CN115100033B (zh) * | 2022-05-20 | 2023-09-08 | 浙江大学 | 一种荧光显微图像超分辨重建方法和装置以及计算设备 |
CN115220211B (zh) * | 2022-07-29 | 2024-03-08 | 江南大学 | 基于深度学习和光场成像的显微成像系统及方法 |
WO2024097060A1 (en) * | 2022-11-03 | 2024-05-10 | PathAI, Inc. | Systems and methods for deep learning model annotation using specialized imaging modalities |
CN116630313B (zh) * | 2023-07-21 | 2023-09-26 | 北京航空航天大学杭州创新研究院 | 一种荧光成像检测系统及其方法 |
US11983874B1 (en) | 2023-07-25 | 2024-05-14 | Pramana, Inc. | Imaging device and a method for image generation of a specimen |
CN117169501B (zh) * | 2023-11-03 | 2023-12-29 | 南通康盛医疗器械有限公司 | 一种手术器械表面微生物动态检测系统 |
CN117953005A (zh) * | 2024-02-03 | 2024-04-30 | 浙江荷湖科技有限公司 | 一种基于仿真的快速宽场钙成像神经元提取方法及系统 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7219085B2 (en) * | 2003-12-09 | 2007-05-15 | Microsoft Corporation | System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit |
US7567252B2 (en) * | 2003-12-09 | 2009-07-28 | Microsoft Corporation | Optimizing performance of a graphics processing unit for efficient execution of general matrix operations |
US7623726B1 (en) * | 2005-11-30 | 2009-11-24 | Adobe Systems, Incorporated | Method and apparatus for using a virtual camera to dynamically refocus a digital image |
JP5354938B2 (ja) * | 2007-05-02 | 2013-11-27 | オリンパス株式会社 | 蛍光顕微鏡装置 |
HUP1200018A2 (en) * | 2012-01-11 | 2013-07-29 | 77 Elektronika Mueszeripari Kft | Method of training a neural network, as well as a neural network |
JP2016507078A (ja) * | 2013-01-25 | 2016-03-07 | ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨーク | 被写界深度3dイメージングslm顕微鏡 |
US9581798B2 (en) * | 2013-07-22 | 2017-02-28 | Fundacio Institut De Ciencies Fotoniques | Light sheet-based imaging device with extended depth of field |
WO2017053592A1 (en) | 2015-09-23 | 2017-03-30 | The Regents Of The University Of California | Deep learning in label-free cell classification and machine vision extraction of particles |
US10460231B2 (en) * | 2015-12-29 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus of neural network based image signal processor |
US9971966B2 (en) | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
CN106846463B (zh) * | 2017-01-13 | 2020-02-18 | 清华大学 | 基于深度学习神经网络的显微图像三维重建方法及系统 |
US10733755B2 (en) * | 2017-07-18 | 2020-08-04 | Qualcomm Incorporated | Learning geometric differentials for matching 3D models to objects in a 2D image |
WO2019103909A1 (en) | 2017-11-21 | 2019-05-31 | The Regents Of The University Of California | Portable microscopy device with enhanced image performance using deep learning and methods of using the same |
US11514325B2 (en) | 2018-03-21 | 2022-11-29 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
CN112106061A (zh) | 2018-03-30 | 2020-12-18 | 加利福尼亚大学董事会 | 使用深度学习对未标记荧光图像进行数字染色的方法和系统 |
US11222415B2 (en) | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
CN112352158A (zh) | 2018-06-04 | 2021-02-09 | 加利福尼亚大学董事会 | 用于水样的无标记分析的能够深度学习的便携式成像流式细胞仪 |
US20210264214A1 (en) | 2018-07-19 | 2021-08-26 | The Regents Of The University Of California | Method and system for digital staining of label-free phase images using deep learning |
EP3867637A4 (en) | 2018-10-18 | 2022-01-05 | The Regents Of The University Of California | DEVICE AND METHOD FOR LABELLESS DETECTION BASED ON MOTILITY OF MOTILE OBJECTS IN A FLUID SAMPLE |
US12020165B2 (en) | 2018-11-15 | 2024-06-25 | The Regents Of The University Of California | System and method for transforming holographic microscopy images to microscopy images of various modalities |
JP2022516467A (ja) | 2018-12-26 | 2022-02-28 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | 深層学習を使用した表面への2次元蛍光波伝播システムと方法 |
KR20210155397A (ko) | 2019-04-22 | 2021-12-22 | 더 리전트 오브 더 유니버시티 오브 캘리포니아 | 딥 러닝 기반 컬러 홀로그램 현미경검사를 위한 시스템 및 방법 |
US11262286B2 (en) | 2019-04-24 | 2022-03-01 | The Regents Of The University Of California | Label-free bio-aerosol sensing using mobile microscopy and deep learning |
WO2021003369A1 (en) | 2019-07-02 | 2021-01-07 | The Regents Of The University Of California | Magnetically modulated computational cytometer and methods of use |
-
2019
- 2019-12-23 JP JP2021537758A patent/JP2022516467A/ja active Pending
- 2019-12-23 EP EP19906217.5A patent/EP3903092A4/en active Pending
- 2019-12-23 CN CN201980091190.3A patent/CN113383225A/zh active Pending
- 2019-12-23 WO PCT/US2019/068347 patent/WO2020139835A1/en unknown
- 2019-12-23 US US17/418,782 patent/US11946854B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11946854B2 (en) | 2024-04-02 |
EP3903092A4 (en) | 2022-02-16 |
WO2020139835A1 (en) | 2020-07-02 |
US20220058776A1 (en) | 2022-02-24 |
CN113383225A (zh) | 2021-09-10 |
EP3903092A1 (en) | 2021-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022516467A (ja) | 深層学習を使用した表面への2次元蛍光波伝播システムと方法 | |
Wu et al. | Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning | |
de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
Mandracchia et al. | Fast and accurate sCMOS noise correction for fluorescence microscopy | |
US11222415B2 (en) | Systems and methods for deep learning microscopy | |
Wu et al. | Bright-field holography: cross-modality deep learning enables snapshot 3D imaging with bright-field contrast using a single hologram | |
US9952422B2 (en) | Enhancing the resolution of three dimensional video images formed using a light field microscope | |
EP3881137B1 (en) | System and method for transforming holographic microscopy images to microscopy images of various modalities | |
US20230085827A1 (en) | Single-shot autofocusing of microscopy images using deep learning | |
WO2020063895A1 (en) | Apparatus and method for fast volumetric fluorescence microscopy using temporally multiplexed light sheets | |
US20220205919A1 (en) | Widefield, high-speed optical sectioning | |
US11915360B2 (en) | Volumetric microscopy methods and systems using recurrent neural networks | |
US10830701B2 (en) | Scanned line angular projection microscopy | |
Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
Wang et al. | Deep learning achieves super-resolution in fluorescence microscopy | |
Boland et al. | Improving axial resolution in Structured Illumination Microscopy using deep learning | |
Ning et al. | Deep self-learning enables fast, high-fidelity isotropic resolution restoration for volumetric fluorescence microscopy | |
Christensen et al. | ML-SIM: a deep neural network for reconstruction of structured illumination microscopy images | |
US20230296516A1 (en) | Ai-driven signal enhancement of sequencing images | |
Danek | Graph cut based image segmentation in fluorescence microscopy | |
Zhang et al. | High-throughput, high-resolution registration-free generated adversarial network microscopy | |
Boland et al. | Improving axial resolution in SIM using deep learning | |
Bentolila et al. | Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning | |
Woo et al. | High-throughput high-dynamic range imaging by spatiotemporally structured illumination | |
US20230260096A1 (en) | Ai-driven enhancement of motion blurred sequencing images |