CN118103751A - 分辨率增强成像 - Google Patents
分辨率增强成像 Download PDFInfo
- Publication number
- CN118103751A CN118103751A CN202280067406.4A CN202280067406A CN118103751A CN 118103751 A CN118103751 A CN 118103751A CN 202280067406 A CN202280067406 A CN 202280067406A CN 118103751 A CN118103751 A CN 118103751A
- Authority
- CN
- China
- Prior art keywords
- optical
- imaging system
- image
- imaging
- optical transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 553
- 230000003287 optical effect Effects 0.000 claims abstract description 685
- 238000005286 illumination Methods 0.000 claims abstract description 359
- 230000009466 transformation Effects 0.000 claims abstract description 307
- 238000000034 method Methods 0.000 claims abstract description 178
- 230000010354 integration Effects 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims description 122
- 230000033001 locomotion Effects 0.000 claims description 89
- 238000001514 detection method Methods 0.000 claims description 72
- 230000005855 radiation Effects 0.000 claims description 67
- 239000000758 substrate Substances 0.000 claims description 59
- 108020004707 nucleic acids Proteins 0.000 claims description 38
- 102000039446 nucleic acids Human genes 0.000 claims description 38
- 150000007523 nucleic acids Chemical class 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 30
- 238000003491 array Methods 0.000 claims description 26
- 238000000926 separation method Methods 0.000 claims description 25
- 230000001427 coherent effect Effects 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 238000012163 sequencing technique Methods 0.000 claims description 18
- 230000005284 excitation Effects 0.000 claims description 17
- 230000000295 complement effect Effects 0.000 claims description 10
- 238000000799 fluorescence microscopy Methods 0.000 claims description 10
- 230000010363 phase shift Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000004065 semiconductor Substances 0.000 claims description 8
- 229910044991 metal oxide Inorganic materials 0.000 claims description 6
- 150000004706 metal oxides Chemical class 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- 238000002073 fluorescence micrograph Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 65
- 230000000670 limiting effect Effects 0.000 description 63
- 239000000523 sample Substances 0.000 description 45
- 239000011324 bead Substances 0.000 description 27
- 210000004027 cell Anatomy 0.000 description 21
- 238000000386 microscopy Methods 0.000 description 20
- 210000001747 pupil Anatomy 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000012491 analyte Substances 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004088 simulation Methods 0.000 description 10
- 238000010226 confocal imaging Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 102100025222 CD63 antigen Human genes 0.000 description 8
- 101000934368 Homo sapiens CD63 antigen Proteins 0.000 description 8
- 238000001914 filtration Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 239000012472 biological sample Substances 0.000 description 7
- 238000004624 confocal microscopy Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000010287 polarization Effects 0.000 description 7
- 239000007787 solid Substances 0.000 description 7
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 238000010870 STED microscopy Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004907 flux Effects 0.000 description 6
- -1 microtiter plates Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004621 scanning probe microscopy Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000003153 chemical reaction reagent Substances 0.000 description 4
- 238000000576 coating method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000008832 photodamage Effects 0.000 description 4
- 229920000642 polymer Polymers 0.000 description 4
- 239000011148 porous material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 239000000499 gel Substances 0.000 description 3
- 150000002739 metals Chemical class 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005693 optoelectronics Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 210000002381 plasma Anatomy 0.000 description 3
- 229920002401 polyacrylamide Polymers 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 210000003296 saliva Anatomy 0.000 description 3
- 230000002269 spontaneous effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 2
- 102000053602 DNA Human genes 0.000 description 2
- 229920002307 Dextran Polymers 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 239000004793 Polystyrene Substances 0.000 description 2
- 206010036790 Productive cough Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 210000001124 body fluid Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 239000005289 controlled pore glass Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000003722 extracellular fluid Anatomy 0.000 description 2
- 210000003608 fece Anatomy 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005499 meniscus Effects 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000000399 optical microscopy Methods 0.000 description 2
- 229920002223 polystyrene Polymers 0.000 description 2
- 229920002477 rna polymer Polymers 0.000 description 2
- 239000000377 silicon dioxide Substances 0.000 description 2
- 150000003384 small molecules Chemical class 0.000 description 2
- 210000003802 sputum Anatomy 0.000 description 2
- 208000024794 sputum Diseases 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 210000001138 tear Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 description 1
- 229920000936 Agarose Polymers 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000004677 Nylon Substances 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 229920003171 Poly (ethylene oxide) Polymers 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000001772 blood platelet Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 239000005388 borosilicate glass Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229920002678 cellulose Polymers 0.000 description 1
- 239000001913 cellulose Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 210000003022 colostrum Anatomy 0.000 description 1
- 235000021277 colostrum Nutrition 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 229920001577 copolymer Polymers 0.000 description 1
- 238000002408 directed self-assembly Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- LNBHUCHAFZUEGJ-UHFFFAOYSA-N europium(3+) Chemical compound [Eu+3] LNBHUCHAFZUEGJ-UHFFFAOYSA-N 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 239000005350 fused silica glass Substances 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 210000003780 hair follicle Anatomy 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 210000004251 human milk Anatomy 0.000 description 1
- 235000020256 human milk Nutrition 0.000 description 1
- 239000000017 hydrogel Substances 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000004914 menses Anatomy 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000003097 mucus Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 229920001778 nylon Polymers 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 229920000620 organic polymer Polymers 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000005298 paramagnetic effect Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 229920002620 polyvinyl fluoride Polymers 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002966 serum Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000002522 swelling effect Effects 0.000 description 1
- 210000001179 synovial fluid Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000003685 thermal hair damage Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 210000004916 vomit Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
- 229910052727 yttrium Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N2021/6417—Spectrofluorimetric devices
- G01N2021/6419—Excitation at two or more wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
- G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/02—Mechanical
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Immunology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本文公开了将以下各项组合的系统和方法：(i)使用第一光学变换来产生被引导到被成像物体的图案化照明，使得由所述物体反射、透射、散射或发射的光包括关于所述物体的原本不会获得的高分辨率空间信息；以及(ii)使用第二光学变换，所述第二光学变换在时间延迟和积分(TDI)图像传感器处生成分辨率增强的光学图像，所述分辨率增强的光学图像包括由于所述图案化照明而包含在所述光中的所述高分辨率信息的全部或一部分。
Description
相关申请的交叉引用
本申请要求2021年10月4日提交的美国临时专利申请No.63/262,081的优先权利益，所述专利申请的内容以引用方式整体并入本文。
技术领域
本公开总体上涉及用于分辨率增强成像的方法和系统，并且更具体地涉及用于为生物测定应用(例如，核酸检测和测序应用)执行分辨率增强成像的方法和系统。
背景技术
用于光学检查和基因组测序的高性能成像系统被设计成最大限度地提高成像通量、信噪比(SNR)、图像分辨率和图像对比度，这些是许多成像应用的关键品质因数。例如，在基因组测序中，高分辨率成像使得能够在流动池表面上使用克隆扩增的核酸分子的更高堆积密度，这反过来又可以实现更高通量的测序(就每个测序反应周期调用的碱基数量而言)。然而，当尝试增加成像通量同时尝试提高在较高放大倍率下解析小图像特征的能力时可能出现的问题是可用于成像的光子数量减少。例如，在基于荧光成像的测序中，当荧光团用于标记与流动池表面相连的核酸分子时，高分辨率成像实际上可以减少流动池表面区域(例如，特征)中存在的被成像的荧光团总数，从而导致产生更少的光子。尽管可以例如通过在较长时间段上积分来采集可接受的图像(例如，具有足够的信噪比来解析感兴趣的特征的图像)来解决该问题，但是该方法可能对图像数据采集速率、成像通量和整体测序反应周期时间具有不利影响。
常规成像系统的图像分辨率因为衍射而被限制为由面向物体的成像光学器件的有效数值孔径(NA)和被成像的光的波长决定的值。近年来，开发出了一些成像技术(例如，受激发射耗尽显微术(STED)、光激活定位显微术(PALM)、随机光学重建显微术(STORM)、可逆饱和光学荧光跃迁显微术(RESOLFT)等)，所述成像技术可用于采集超过衍射受限图像分辨率的图像。然而，这些方法通常具有较低的成像通量(并且在许多情况下需要专门的荧光团)，因此排除了它们在高速成像应用中的使用。
可用于采集图像分辨率更适度但仍显著增加的图像的其他成像技术(例如，共焦显微术、结构化照明显微术(SIM)和图像扫描显微术(ISM))利用图案化照明。然而，鉴于所获得的分辨率的适度增加(例如，由于在共焦显微术的情况下使用针孔孔隙作为空间滤波器)，这些技术要么遭受信号的显著损失，要么需要采集多个图像并随后对分辨率增强图像进行计算重建(从而显著增加图像采集时间、成像系统复杂性以及结构化照明显微术(SIM)和图像扫描显微术(ISM)的计算开销)。必须采集多个图像通常还会具有不良影响，即，每次图像采集时都会累积读取噪声(或数字化噪声)。
时间延迟和积分(TDI)成像通过将图像形成信号累积到二维固定传感器像素阵列上来实现高通量成像与高SNR的组合，在被成像的物体相对于成像系统移动或反之亦然时，所述二维固定传感器像素阵列使所采集的图像信号与所述物体的运动同步地从像素阵列中的一个像素行移位到下一行。与常规成像系统的情况一样，TDI成像系统的图像分辨率是衍射受限的。因此，仍然需要能够进行高通量成像同时保持高图像分辨率、高SNR和高图像对比度的成像系统。
发明内容
本文公开了将以下各项组合的系统和方法：(i)使用第一光学变换来产生被引导到被成像物体的图案化照明，使得由所述物体反射、透射、散射或发射的光包括关于所述物体的原本不会获得的高分辨率空间信息；以及(ii)使用第二光学变换，所述第二光学变换在时间延迟和积分(TDl)图像传感器处生成分辨率增强的光学图像，所述分辨率增强的光学图像包括由于所述图案化照明而包含在所述光中的所述高分辨率信息的全部或一部分。可以采集所得的分辨率增强的图像，而无需改变用于产生第一光学变换和第二光学变换的光学变换装置的配置、位置或取向，无需进行额外的数字处理，或者在一些情况下，使用与常规的分辨率增强成像方法相比计算复杂度大幅降低的数字处理。所有这些因素都有助于成像系统的简单性和高通量。
在一个示例性实现方式中，所公开的系统和方法利用光学光子重新分配(OPRA)与时间延迟和积分(TDI)成像的新颖组合来提供物体的高通量和高信噪比(SNR)图像，同时还提供增强的图像分辨率。所公开的系统和方法提供了增强的图像分辨率而不会损害成像通量和高SNR，这是通过将无源光学变换装置并入到成像系统的照明和检测光学路径两者中使用TDI成像来实现。在一些实施方案中，与使用缺少一个或多个无源光学变换装置的在其他方面相同的成像系统采集的图像相比，本文描述的系统和方法提供增强的图像分辨率(例如，增强的原始图像分辨率)。在一些实施方案中，在单次扫描中获得分辨率增强的图像，而不需要采集或重新组合多个图像。在一些实施方案中，需要很少数字处理或不需要数字处理就能产生分辨率增强的图像。
在一些实施方案中，本文提供的系统和方法可以是独立的系统或者可以并入到预先存在的成像系统中。在一些实施方案中，成像系统可用于对例如生物分析物、非生物分析物、合成分析物、细胞、组织样品或其任何组合进行成像。
本文公开了成像系统，所述成像系统包括：成像装置，所述成像装置包括：照明单元，所述照明单元包括光学耦合到第一光学变换装置的辐射源，其中所述第一光学变换装置对从所述辐射源接收到的光束应用第一光学变换以生成照明图案，所述照明图案被引导到物体的对应区域；投影单元，所述投影单元接收由所述物体反射、透射、散射或发射的光并将它引导到检测单元，其中所述投影单元被配置为在限定的传播角范围内接受所述光；检测单元，所述检测单元包括一个或多个图像传感器，所述一个或多个图像传感器被配置用于时间延迟和积分(TDI)成像并且光学耦合到第二光学变换装置，其中所述第二光学变换装置对从所述投影单元接收到的光应用第二光学变换；其中通过所述第一光学变换生成的所述照明图案致使被所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的所述投影单元接受的所述光中；并且其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及致动器，所述致动器被配置为在扫描所述物体的全部或一部分期间产生所述成像装置与所述物体之间的相对移动，其中所述相对移动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器采集所述物体的全部或一部分的扫描图像。
在一些实施方案中，所述照明图案包括多个光强度最大值，并且所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过衍射受限空间分辨率的横向空间分辨率。
在一些实施方案中，由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
在一些实施方案中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
在一些实施方案中，所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。在一些实施方案中，所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
在一些实施方案中，所述成像系统仅包括在成像期间其位置、相对取向和光学性质保持静态的部件，但以下各者除外：(i)被配置为产生所述成像装置与所述物体之间的相对运动的所述致动器；以及(ii)自动聚焦系统的部件。
在一些实施方案中，所述第二光学变换装置是无损光学变换装置。在一些实施方案中，从所述投影单元接收到的进入所述第二光学变换装置的所述光的至少40％、50％、60％、70％、80％、90％、95％或99％到达所述一个或多个图像传感器。
在一些实施方案中，所述致动器还包括可移动台，所述可移动台机械地联接到所述物体以支撑所述物体、使所述物体相对于所述成像装置旋转、或相对于所述成像装置平移所述物体、或其任何组合。
在一些实施方案中，所述辐射源包括相干源、部分相干源、非相干源或其任何组合。
在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述成像装置与所述物体之间的所述相对移动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
在一些实施方案中，在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。在一些实施方案中，所述照明图案中的所述多个光强度最大值中的任两个之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍至100倍。
在一些实施方案中，所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。在一些实施方案中，所述第二光学变换装置包括微透镜阵列，并且其中所述照明图案中的所述多个光强度最大值与所述微透镜阵列中的微透镜之间存在1:1对应。在一些实施方案中，所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。在一些实施方案中，所述规则排列是六边形图案。在一些实施方案中，所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。在一些实施方案中，所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。在一些实施方案中，所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。在一些实施方案中，所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。在一些实施方案中，通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
在一些实施方案中，所述成像装置被配置为执行荧光成像，并且其中所述照明单元被配置为提供处于两个或更多个激发波长的激发光。在一些实施方案中，所述成像装置被配置为执行荧光成像，并且其中所述检测单元被配置为检测处于两个或更多个发射波长的荧光。
在一些实施方案中，所述成像系统还包括同步单元，所述同步单元被配置为控制所述成像装置与所述物体的所述相对移动与所述一个或多个图像传感器的所述时间延迟积分(TDI)的同步。
在一些实施方案中，所述物体包括用于执行核酸测序的流动池或基片。在一些实施方案中，所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
在一些实施方案中，所述第二光学变换装置不是衍射光栅。在一些实施方案中，所述成像系统还包括补偿器，所述补偿器被配置为校正所述第二光学变换装置的非平面度。在一些实施方案中，所述成像系统还包括位于所述一个或多个图像传感器上或前面的一个或多个针孔孔隙阵列，其中所述针孔孔隙阵列被配置为减少所述成像系统的点扩散函数中的伪影。
本文还公开了对物体成像的方法，所述方法包括：用光束照射第一光学变换装置，其中所述第一光学变换装置被配置为对所述光束应用第一光学变换以产生照明图案，所述照明图案通过投影单元的面向物体的光学部件投影到所述物体上；将由所述物体反射、透射、散射或发射并且由所述投影单元的所述面向物体的光学部件接受的光引导到第二光学变换装置，其中所述第二光学变换装置被配置为对由所述投影单元接受的所述光应用第二光学变换并且将它中继到被配置用于时间延迟和积分(TDI)成像的一个或多个图像传感器；其中通过所述第一光学变换产生的所述照明图案致使由所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的投影单元接受的所述光中；并且其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及相对于所述面向物体的光学部件扫描所述物体或相对于所述物体扫描所述面向物体的光学部件，其中在所述扫描期间所述物体与所述面向物体的光学部件的相对运动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器中的每一个采集所述物体的全部或一部分的扫描图像。
在一些实施方案中，所述照明图案包括多个光强度最大值，并且所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
在一些实施方案中，由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。
在一些实施方案中，由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
在一些实施方案中，所述投影单元接受的所述光无显著损耗地通过所述第二光学变换装置。在一些实施方案中，所述投影单元接受的通过所述第二光学变换装置的所述光是所述投影单元接受的到达所述第二光学变换装置的所述光的至少30％、40％、50％、60％、70％、80％、90％、95％、98％或99％。
在一些实施方案中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，并且其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
在一些实施方案中，所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。在一些实施方案中，所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
在一些实施方案中，用于执行所述方法的成像系统仅包括在成像期间保持静态的部件，但以下各者除外：(i)被配置为产生所述成像系统与所述物体之间的相对运动的致动器；以及(ii)自动聚焦系统的部件。
在一些实施方案中，所述投影单元接收的并且进入所述第二光学变换装置的所述光的至少40％、50％、60％、70％、80％、90％、95％或99％到达所述一个或多个图像传感器。
在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述面向物体的光学部件与所述物体之间的所述相对运动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
在一些实施方案中，在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。在一些实施方案中，所述照明图案中的所述多个光强度最大值中的任两个光强度最大值之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍至100倍。
在一些实施方案中，所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。在一些实施方案中，所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。在一些实施方案中，所述规则排列是六边形图案。在一些实施方案中，所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。在一些实施方案中，所述规则排列是交错的。在一些实施方案中，所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。在一些实施方案中，所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。在一些实施方案中，所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。在一些实施方案中，所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。在一些实施方案中，通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
在一些实施方案中，所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机或单光子雪崩二极管(SPAD)阵列。
在一些实施方案中，所述扫描图像包括荧光图像，并且其中照明步骤包括提供处于两个或更多个激发波长的激发光。在一些实施方案中，所述扫描图像包括荧光图像，并且其中所述一个或多个图像传感器被配置为检测处于两个或更多个发射波长的荧光。
在一些实施方案中，所述物体包括用于执行核酸测序的流动池或基片。在一些实施方案中，所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
以引用的方式并入
本说明书中提到的所有出版物、专利和专利申请通过引用整体并入本文，其程度如同每个单独出版物、专利或专利申请具体地和单独地被指示为以引用的方式整体并入。如果本文中的术语与并入的参考文献中的术语发生冲突，则以本文中的术语为准。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考以下阐述说明性实施方案(其中利用了本发明的原理)的详细描述和附图将更好地理解本发明的特征和优点，在所述附图中：
图1示出了根据一些实施方案的光学变换成像系统100的示例框图。
图2示出了根据一些实施方案的光学变换成像系统200的示例示意图，所述光学变换成像系统具有以反射几何结构配置的辐射源，所述辐射源耦合到将辐射能量引导到投影单元的镜筒透镜。根据一些实施方案，成像系统的检测单元被示出为具有将由物体反射、散射或发射并从投影模块接收到的辐射能量耦合到图像传感器的单个光学中继器。
图3A和图3B示出了光学变换成像系统300的示例示意图，所述光学变换成像系统具有以透射几何结构配置的辐射源，所述辐射源与系统的检测单元共享镜筒透镜。在图3A中，第二光学变换装置308包括在检测单元313中。在图3B中，第二光学变换装置318改为包括在投影单元312中。根据一些实施方案，检测单元被示出为利用中继透镜收集从采取反射几何结构的物体反射的辐射能量。
图4示出了根据一些实施方案的光学变换成像系统400的示例示意图，所述光学变换成像系统具有以反射几何结构配置的辐射源，所述辐射源耦合到将辐射能量引导到投影单元的镜筒透镜。
图5示出了光学变换成像系统500的示例光学示意图，所述光学变换成像系统具有采取透射几何结构的辐射源，所述辐射源光学耦合到将辐射源引导到投影单元中的镜筒透镜。根据一些实施方案，成像系统的检测单元512由镜筒透镜507表示，所述镜筒透镜将从物体反射、散射或发射的辐射能量耦合到与传感器相邻设置的第二光学变换装置508。
图6A至图6E示出了根据一些实施方案的示例光学变换成像系统的特征。图6A示出了由TDI成像系统中的单个中心像素记录的从点源发射的照明强度。图6B示出了由TDI成像系统的几个单独像素(包括离轴像素)记录的从点源发射的照明强度。图6C示出了具有光学变换装置的成像系统的示例示意图，所述光学变换装置对位于物体(例如，点发射源)的第一图像平面处的图像进行重新缩放并将其中继到第二图像平面。图6D提供了常规TDI成像系统(左)中的像素和共焦TDI成像系统(例如，使用单个对准针孔来阻挡所有其他图像传感器像素接收光)(右)中的单个中心像素如何记录从点源发射的照明强度的概念示例。图6E提供了由TDI成像系统中的多个像素(包括离轴像素)记录的照明强度的概念示例，以及使用光学变换装置来重新引导和重新分配光子对成像系统的有效点扩散函数的影响。
图7A至图7C示出了根据所公开的成像系统的一些实现方式使用的光学变换装置的一个非限制性示例的几何结构和外形尺寸。具体地说，图7A和图7B示出了根据一些实施方案的分别包括微透镜的交错和/或倾斜重复图案的示例性微透镜阵列(MLA)光学变换装置。图7C示出了根据一些实施方案的嵌入在反射掩模中的MLA，所述反射掩模可以放置在光学变换成像系统的光学路径中以生成照明光图案。
图8A示出了由光学变换成像系统生成的图案化照明的示例。图8B示出了根据所公开的成像系统的一些实现方式的空间积分强度在被扫描物体上的对应的均匀分布。
图9A至图9B示出了根据一些实施方案的由不具有第二光学变换装置(图9A)和具有并入成像系统中的第二光学变换装置(图9B)的光学变换成像系统生成的示例性扫描强度数据。
图10A至图10C示出了根据一些实现方式的由光学变换成像系统生成的照明光图案的示例以及成像系统采集物体的图像数据时的对应扫描方向。具体地说，图10A示出了由呈多阵列配置的微透镜阵列光学变换装置生成的交错照明光图案。图10B和图10C示出了相对于光学变换成像系统的扫描方向的线形图案照明阵列的非限制性示例(其中图10C示出了多个照明阵列的堆叠)。
图11示出了根据所公开的成像系统的一些实现方式的具有以反射几何结构配置的辐射源的光学变换成像系统中的激发光学路径的示例示意图。在图11中，示出了由辐射源1102提供的照明光1104的路径。
图12A至图12B示出了具有以反射几何结构配置的辐射源的光学变换成像系统的示例示意图，所述反射几何结构对应于图11所示的示例。图12A示出了在照明路径中包括一个微透镜阵列(例如，1110)的系统的发射光学路径，所述微透镜阵列产生照明光图案1112(示出于图11中)以照射物体1122。图12B示出了具有两个微透镜阵列的示例(例如，照明路径中的第一微透镜阵列1110和发射路径中的第二微透镜阵列1220)。
图13提供了示出根据本文描述的一些实现方式的对物体成像的示例方法的流程图。
图14提供了根据本文描述的一些实现方式的由光学变换TDI成像系统提供的分辨率提高的示例。
图15示出了不同成像方法中的信号与分辨率之间的关系。
图16提供了根据本公开的一个或多个示例的计算装置的非限制性示意图。
图17A至图17D提供了可用于实施光子重新分配以提高分辨率的光学设计策略的非限制性示例。图17A：用于与光子重新分配的数字方法一起使用的非退扫描光学设计。图17B：与光子重新分配的数字方法一起使用的退扫描光学设计。图17C：用于实施光学光子重新分配的重新扫描光学设计。图17D：用于实施光学光子重新分配的替代重新扫描光学设计。
图18A提供了用于并入有TDI相机的CoSI显微镜的紧凑设计的非限制性示例。
图18B至图18E分别提供了针对图18A中描绘的CoSI显微镜的投影到样品平面上的照明光的图案(图18B)、用于第一微透镜阵列(MLA1)的相位图案(图18C)、用于第二微透镜阵列(MLA2)的相位图案(图18D)以及投影到光瞳平面上的照明光的图案(图18E)的示例。
图18F提供了微透镜阵列与TDI相机结合使用来实现光子重新分配同时补偿移动样品与相机之间的线性运动的示意图。
图18G和图18H分别提供了共焦显微镜和CoSI显微镜的在x和y方向上的标准化系统PSF的图的非限制性示例。
图19A至图19C提供了本文所描述的CoSI显微镜的系统PSF的模拟结果的非限制性示例。图19A：系统PSF的FWHM随着零级功率而变的图的非限制性示例。图19B：照明图案的峰均强度比随着零级功率而变的图的非限制性示例。图19C：系统PSF的FWHM随着零级功率和光子重新分配系数两者而变的图的非限制性示例。
图20A提供了针对光子重新分配系数α的不同值的模拟系统PSF的非限制性示例。
图20B提供了标准化系统PSF的峰值随着光子重新分配系数α而变的图的非限制性示例。
图21A提供了在CoSI显微镜中照明均匀度随着MLA的取向而变的非限制性示例图。
图21B提供了针对0.0度的MLA取向角的照明图案(上图)以及平均照明强度随着样品上的距离而变的图(下图)的非限制性示例。
图21C提供了针对6.6度的MLA取向角的照明图案(上图)以及平均照明强度随着样品上的距离而变的图(下图)的非限制性示例。
图22A至图22B提供了针对不同MLA取向角的系统PSF图的非限制性示例。图22A：取向角＝6.6°。图22B：取向角＝6.0°。
图23A提供了示出了对于具有23μm间隔的MLA，MLA2的横向位移对系统PSF(被绘制为x-y平面上的2D投影)的预测影响。
图23B提供了在图18A所示的CoSI显微镜中系统PSF FWHM(在x方向上)随着MLA2位移而变的非限制性示例图。
图24A至图24C示出了横向分辨率、系统PSF和标准化系统PSF峰值强度的公差分析结果随着长焦距MLA2与相机传感器之间的间隔距离而变的非限制性示例。图24A：横向分辨率(在x和y上平均的系统PSF FWHM)随着间隔距离误差而变的图。图24B：系统PSF的标准化峰值强度随着间隔距离误差而变的图。图24C：2D系统PSF随着间隔距离而变的图。
图25A至图25C示出了横向分辨率、系统PSF和标准化系统PSF峰值强度的公差分析结果随着短焦距MLA2与相机传感器之间的间隔距离而变的非限制性示例。图25A：横向分辨率(在x和y上平均的系统PSF FWHM)随着间隔距离误差而变的图。图25B：系统PSF的标准化峰值强度随着间隔距离误差而变的图。图25C：2D系统PSF随着间隔距离而变的图。
图26A提供了限定直径的针孔孔隙内的标准化功率随着针孔直径而变的非限制性示例图。
图26B提供了限定直径的针孔孔隙内的功率比随着针孔直径而变的非限制性示例图。
图26C提供了在没有伽玛校正的情况下(伽玛＝1)依据针孔孔径直径绘制的系统PSF的非限制性示例。
图26D提供了在具有伽玛校正的情况下(伽玛＝0.4)依据针孔孔径直径绘制的系统PSF的非限制性示例。
图27示出了CoSI系统的非限制性示意图。
图28示出了CoSI(上图)与宽场(下图)成像可实现的分辨率的非限制性比较。
图29A和图29B提供了CoSI和宽场成像可实现的分辨率的非限制性示例。图29A示出了通过CoSI(上图)和宽场(下图)成像实现的分辨率的图。图29B示出了通过CoSI(上图)和宽场(下图)成像获得的示例图像。
图30A示出了旋转物体的TDI成像的非限制性示例。
图30B和图30C示出了经由物镜倾斜(图30B)以及物镜和镜筒透镜倾斜(图30C)进行放大倍率调整的非限制性示例。
图30D示出了视场(FOV)上的可变放大倍率的非限制性示例。
图30E和图30F提供了示出通过调整光学系统的工作距离来产生放大倍率梯度的非限制性示例。图30E提供了计算出的放大倍率随着工作距离位移而变的图。图30F提供了在物镜与镜筒透镜之间的距离缩短的情况下计算出的放大倍率随着工作距离位移而变的图。
具体实施方式
本文公开了将以下各项组合的系统和方法：(i)使用第一光学变换来产生被引导到被成像物体的图案化照明，使得由所述物体反射、透射、散射或发射的光包括关于所述物体的原本不会获得的高分辨率空间信息；以及(ii)使用第二光学变换，所述第二光学变换在时间延迟和积分(TDl)图像传感器处生成分辨率增强的光学图像，所述分辨率增强的光学图像包括由所述图案化照明捕获的高分辨率空间信息的全部或一部分。可以采集所得的分辨率增强的图像，而无需改变用于产生第一光学变换和第二光学变换的光学变换装置的配置、位置或取向，无需进行额外的数字处理，或者在一些情况下，使用与常规的分辨率增强成像方法相比计算复杂度大幅降低的数字处理。所有这些因素都有助于所公开的成像系统的简单性和高通量。
在一个非限制性实现方式中，所公开的系统和方法将光学光子重新分配(OPRA)与时间延迟和积分(TDI)成像组合以使用不具有活动部件的系统提供物体的高通量和高信噪比(SNR)图像，同时还提供大视场(FOV)和增强的图像分辨率。所公开的系统和方法通过将无源光学变换装置并入成像系统的照明和检测光学路径两者中并且通过使被成像的物体与成像系统之间的相对运动与TDI图像采集过程同步来提供增强的图像分辨率，而不损害使用TDI成像实现的成像通量和高SNR。在一些情况下，与使用缺少一个或多个无源光学变换装置的在其他方面相同的成像系统采集的图像所获得的分辨率相比，本文描述的系统和方法提供增强的图像分辨率(例如，增强的原始图像分辨率)。在一些情况下，在单次扫描中获得分辨率增强的图像，而不需要采集或重新组合多个图像。在一些情况下，需要很少数字处理或不需要数字处理就能产生分辨率增强的图像。这有利地增加了成像应用的吞吐率。
例如，在一些情况下，所公开的成像系统包括：成像装置，所述成像装置包括：照明单元，所述照明单元包括光学耦合到第一光学变换装置的辐射源，其中所述第一光学变换装置对从所述辐射源接收到的光束应用第一光学变换以生成照明图案，所述照明图案被引导到物体的对应区域；投影单元，所述投影单元接收由所述物体反射、透射、散射或发射的光并将它引导到检测单元，其中所述投影单元被配置为在限定的传播角范围内接受所述光；检测单元，所述检测单元包括一个或多个图像传感器，所述一个或多个图像传感器被配置用于时间延迟和积分(TDI)成像并且光学耦合到第二光学变换装置，其中所述第二光学变换装置对从所述投影单元接收到的光(即，由物体反射、透射、散射或发射的光)应用第二光学变换；其中通过所述第一光学变换生成的所述照明图案致使被所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的所述投影单元接受的所述光中；并且其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及致动器，所述致动器被配置为在扫描所述物体的全部或一部分期间产生所述成像装置与所述物体之间的相对移动，其中所述相对移动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器中的每一者采集所述物体的全部或一部分的扫描图像。
在一些情况下，所述照明图案包括多个光强度最大值，并且所述第二光学变换装置被定位成使得所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。换句话说，在所述扫描期间的任何给定时间点，所述第二光学变换装置对由所述物体反射、透射、散射或发射的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述物体反射、透射、散射或发射的光的性质和在该时间点投影在物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行物体的扫描所需的时间段内对来自多个瞬时经修改光学图像的信号进行积分。在一些情况下，光学变换装置(例如，微透镜阵列(MLA)、衍射光学元件(例如，衍射光栅)、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)或针孔阵列)是系统的无源(或静态)部件，即，其位置和/或取向在图像采集过程期间不会改变。在一些情况下，光学变换装置被配置为使得由物体反射、透射、散射或发射并进入第二光学变换装置的光的至少40％、50％、60％、70％、80％、90％、95％或99％到达一个或多个图像传感器。
在第二非限制性实现方式中，所公开的系统和方法将替代光学变换与时间延迟和积分(TDI)成像组合以使用不具有活动部件的系统提供物体的高通量和高信噪比(SNR)图像，同时还提供大视场(FOV)和增强的图像分辨率。该实现是结构化照明显微术(SIM)概念的概括，已知SIM会相对于衍射受限成像系统提供分辨率增强。所公开的方法和系统与SIM的不同之处在于在单遍中收集图像信息，从而不需要像常规SIM中要求的那样采集和重新组合一连串图像。该方法与TDI成像的兼容性支持高通量、高SNR成像，并且只需要对原始图像进行计算简单和开销不大的处理。
在该第二非限制性实现方式中，通过第一光学变换装置(例如，一个或多个相位掩模或强度掩模)生成的照明图案由在物镜的数值孔径(NA)和照明波长支持的最大频率处的谐波调制光强度的区域组成。所述图案由具有不同取向的谐波调制的几个区域组成，使得通过照明图案扫描的物体的每个点在样品平面上在所有方向上顺序地且均匀地经历调制。另选地，所述图案可以由谐波调制强度组成，所述谐波调制强度的取向与一个或多个所选方向(即，被选择来在所述平面中沿着特定方向(例如，连接阵列形物体中的最近邻居的方向)提高分辨率)对准。
第二光学变换装置包括例如一个或多个谐波调制的相位掩模或谐波调制的振幅掩模，其空间频率和取向与每个区域中的第一光学变换装置的空间频率和取向匹配。在一些情况下，第二光学变换装置与第一光学变换装置互补(例如，相移了90度)。与TDI图像移位同步的物体扫描在图像平面中生成一组图像，该组图像对应于SIM成像所需的谐波调制的不同相移。在常规TDI中，调制将会随着时间推移进行平均，得到衍射受限图像。相反，所公开的系统和方法保存并重新组合以不同相移获得的图像，将每个图像路由到频率空间的适当区域。因此，对于所公开的系统和方法，所需的一组SIM图像是使用单遍TDI采集并且以类似方式重新组合，而不需要计算开销。可以通过傅里叶重新加权来由原始扫描图像重建最终的高分辨率图像，傅里叶重新加权是计算成本低廉的操作。值得注意的是，对于所公开的方法，由于接近同时的图像采集和类似的重新组合，常规SIM显微术的关键困难之一，即，在采集整组图像期间需要保持样本对齐，得到明显缓解。
在一些情况下，本文提供的系统和方法可以是独立的系统或者可以并入到预先存在的成像系统中。在一些情况下，成像系统可用于对例如生物分析物、非生物分析物、合成分析物、细胞、组织样品或其任何组合进行成像。
虽然本发明的各种实施方案已在本文示出和描述，但是本领域技术人员将显而易见的是，此类实施方案仅以举例的方式提供。在不偏离本发明的情况下本领域技术人员可以进行各种变型、变化和替换。应当理解，可以使用本文描述的发明的实施方案的各种替代方案。
定义：除非另有定义，否则本文使用的所有技术术语、符号和其他技术和科学术语或术语学旨在具有与所要求保护的主题所属领域的普通技术人员通常理解的含义相同的含义。在一些情况下，为了清楚和/或便于参考的目的，本文定义了具有通常所理解的含义的术语，并且将此类定义并入本文不应必然理解为表示与本领域通常所理解的含义相比具有实质性的区别。
贯穿本申请，各种实施方案可以按范围格式来呈现。应当理解的是，按范围格式描述仅仅是为了方便和简洁，并且不应当理解为对本公开的范围的不灵活的限制。因此，范围的描述应当被认为是明确地公开了所有可能的子范围以及该范围内的各个数值，不管是否明确地叙述了特定数值或特定子范围。例如，诸如1至6的范围的描述应当被认为明确地公开了诸如1至3、1至4、1至5、2至4、2至6、3至6等子范围以及该范围内的各个数值，例如1、2、3、4、5和6。不管范围有多大，这都适用。
范围可在本文中表达为自“约”一个特定值起和/或至“约”另一个特定值止。术语“约”和“大约”应大体上表示给定值或值范围的可接受的误差或变化程度，诸如，与给定值或值范围相差在百分之20(％)之内、在15％之内、在10％之内或在5％之内的误差或变化程度。
除非上下文另外明确规定，否则如在本说明书和权利要求书中所用，单数形式“一”和“所述”包括复数个提及物。例如，术语“样品”包括多个样品，包括其混合物。
术语“确定”、“测量”、“评估”、“评定”、“测定”和“分析”在本文中经常可互换使用以指测量的形式。这些术语包括确定元素是否存在(例如，检测)。这些术语可以包括定量、定性或定量和定性测定。评定可以是相对的，也可以是绝对的。“检测...的存在”除了根据上下文确定某物是否存在之外还可以包括确定某物存在的量。
使用绝对或顺序术语，例如“将会”、“将不会”、“将”、“不会”、“必须”、“不得”、“首先”、“一开始”、“下一步”、“随后”、“之前”、“之后”、“最后”和“最终”并不意味着限制本文公开的系统和方法的范围，而是意味着是示例性的。
本文描述的任何系统、方法、软件、组合物和平台都是模块化的并且不限于顺序步骤。因此，诸如“第一”和“第二”之类的术语不一定暗示优先级、重要性顺序或动作顺序。
如本文所用，术语“生物样品”一般是指从受试者身上取得的样品。生物样品可以直接或间接从受试者身上获得。可以经由任何合适的方法从受试者身上获得样品，包括但不限于吐痰、拭子、抽血、活组织检查、获得排泄物(例如尿液、粪便、痰、呕吐物或唾液)、切除、刮擦和穿刺。样品可以包括体液，例如但不限于血液(例如，全血、红细胞、白血球或白细胞、血小板)、血浆、血清、汗液、泪液、唾液、痰、尿液、精液、粘液、滑液、母乳、初乳、羊水、胆汁、骨髓、间质液或细胞外液、或脑脊液。例如，通过穿刺方法获得的体液样品包括血液和/或血浆。此类样品可以包括细胞和/或无细胞核酸材料。另选地，样品可以从任何其他来源获得，包括但不限于血液、汗液、毛囊、颊组织、眼泪、月经、粪便或唾液。生物样品可以是组织样品，例如肿瘤活组织检查。样品可以从本文提供的任何组织获得，包括但不限于皮肤、心脏、肺、肾、乳腺、胰腺、肝脏、肠、脑、前列腺、食道、肌肉、平滑肌、膀胱、胆囊、结肠或甲状腺。生物样品可以包括一种或多种细胞。生物样品可以包括一种或多种核酸分子，例如一种或多种脱氧核糖核酸(DNA)和/或核糖核酸(RNA)分子(例如，包含在细胞内或不包含在细胞内)。核酸分子可以包含在细胞内。另选地或另外地，核酸分子可以不包含在细胞内(例如，无细胞核酸分子)。
如本文所使用的，术语“光学装置”是指包括一个、两个、三个、四个、五个、六个、七个、八个、九个、十个或多于十个光学元件或部件(例如，透镜、镜子、棱镜、分束器、滤光片、衍射光栅、孔径等，或其任何组合)的装置。
如本文所使用的，术语“光学变换装置”是指用于对光束应用光学变换(例如，以促成强度、相位、波长、带通、偏振、椭圆率、空间分布等的变化，或其任何组合)的光学装置。
如本文所使用的，术语“无损”当应用于光学装置时表示当光束穿过光学装置或从光学装置反射时，不存在光强度的显著损失。对于无损光学装置，被光学装置透射或反射的光的强度具有入射光的强度的至少80％、85％、90％、95％、98％或99％。
如本文所使用的，术语“支撑物”或“基片”通常是指其上可固定分析物或试剂(例如核酸分子)的任何固体或半固体物品。核酸分子可以被合成、附着、连接或以其他方式固定。核酸分子可以通过任何方法固定在基片上，包括但不限于物理吸附、通过离子键或共价键形成或其组合。分析物或试剂(例如，核酸分子)可以直接固定到基片上。分析物或试剂可以间接固定到基片上，例如经由一个或多个中间支撑物或基片。在一个示例中，分析物(例如，核酸分子)被固定到珠子(例如，支撑物或基片)，该珠子被固定到基片。基片可以是2维的(例如，平面2D结构)或3维的。在一些情况下，基片可以是流动池的部件和/或可以包括在测序仪器内或适于被测序仪器接纳。基片可以包括聚合物、玻璃或金属材料。基片的示例包括膜、平面基片、微量滴定板、珠子(例如磁珠)、过滤器、试纸、载玻片、盖玻片和试管。基片可以包括有机聚合物，例如聚苯乙烯、聚乙烯、聚丙烯、聚氟乙烯、聚环氧乙烷和聚丙烯酰胺(例如，聚丙烯酰胺凝胶)，以及它们的共聚物和接枝物。基片可包括乳胶或葡聚糖。基片也可以是无机的，例如玻璃、二氧化硅、金、可控孔径玻璃(CPG)或反相二氧化硅。支撑物的构造可以是例如珠子、球体、微粒、颗粒、凝胶、多孔基质或基片的形式。在一些情况下，基片可以是单个固体或半固体制品(例如，单个微粒)，而在其他情况下，基片可以包括多个固体或半固体制品(例如，微粒的集合)。基片可以是平面的、基本上平面的或非平面的。基片可以是多孔的或无孔的，并且可以具有溶胀或不溶胀的特性。基片可被成形为包括一个或多个孔、凹陷或其他容器、器皿、特征或位置。多个基片可以在各种位置处按阵列配置。基片可以是可寻址的(例如，用于试剂的机器人递送)，或者可以通过检测方法进行寻址，例如通过激光照射和共焦或偏转光收集进行扫描。例如，基片可以与检测器光学和/或物理通信。另选地，基片可以与检测器物理分离一定距离。基片可以被配置为相对于轴线旋转。所述轴线可以是穿过基片中心的轴线。所述轴线可以是偏心轴线。基片可以被配置为以任何有用的速度旋转。基片可以被配置为经历相对于第一纵向轴线和/或第二纵向轴线的相对位置的变化。
如本文中所描述的，术语“珠子”通常是指任何形状和尺寸的固体支撑物、树脂、凝胶(例如水凝胶)、胶体或微粒。珠子可以包括任何合适的材料，例如玻璃或陶瓷、一种或多种聚合物和/或金属。合适的聚合物的示例包括但不限于尼龙、聚四氟乙烯、聚苯乙烯、聚丙烯酰胺、琼脂糖、纤维素、纤维素衍生物或葡聚糖。合适的金属的示例包括顺磁性金属，例如铁。珠子可以是磁性的或非磁性的。例如，珠子可以包括带有一个或多个磁性标记的一种或多种聚合物。磁珠可以使用电磁力来操纵(例如，在位置之间移动或物理地约束到给定位置，例如反应容器例如流动池室的给定位置)。珠子可以具有一个或多个不同的尺寸，包括直径。珠子的尺寸(例如，珠子的直径)可以小于约1mm、0.1mm、0.01mm、0.005mm、1μm、0.1μm、0.01μm、1nm，或可以在约1nm至约100nm的范围内、在约100nm至约1μm的范围内、在约1μm至约100μm的范围内，或在约1mm至约100mm的范围内。
本文所使用的小节标题仅出于组织性目的并且不解释为限制所描述的主题。
分辨率增强或超分辨率成像
近年来，人们开发了通过各种物理机制克服衍射极限的许多方法，例如受激发射耗尽显微术(STED)、光激活定位显微术(PALM)、随机光学重建显微术(STORM)、可逆饱和光学荧光跃迁显微术(RESOLFT)等。然而，这些方法通常具有较低的通量，因此排除了它们在高速成像应用中的使用，并且在许多情况下，这些方法需要专门的荧光团。利用图案化照明的方法提供了更快且更通用的框架，允许适度但显著地提高分辨率，例如共焦显微术、结构化照明显微术(SIM)和图像扫描显微术(ISM)。
先前的出版物描述了TDI与多焦共焦显微术的结合，其中大量固定照明点被投影到样本上，并使用针孔阵列对所得图像进行空间滤波以使用单遍TDI来产生共焦图像。这种方法能够实现具有亚衍射受限分辨率的高通量成像，并且不需要计算开销。然而，其显著缺点是由于分辨率的适度增加而导致信号急剧减少，这是共焦显微术的固有限制。这个缺点在图像扫描显微术(ISM)和结构照明显微术(SIM)中得到了解决，但这两种方法需要采集多个图像，并随后对分辨率增强图像进行计算重建，与常规TDI成像相比，这显著增加了成像系统的复杂性并显著降低了通量。
另一种基于图案化照明使用的成像模式是ISM的变体，其中最终图像直接在图像传感器上生成，无需计算开销。这些技术被广泛称为重新扫描共焦显微术、光学光子(或像素)重新分配显微术(OPRA)或即时SIM。在这些技术中，通过扫描镜的布置或使用改进的旋转盘，将从样本发出的光重新光学路由到图像平面中的适当位置，从而实现分辨率的提高。然而，虽然这些技术中的一些技术以相对较高的帧速率提供分辨率增强的图像，但它们主要适用于小视场的成像，并且不容易与TDI等扫描成像模式兼容。因此，如上所述，仍然需要能够将TDI成像的高通量和SNR与使用图案化照明可实现的分辨率增强结合在一起的成像系统、装置和方法。
成像速度、信噪比(SNR)、图像分辨率之间的权衡是许多成像应用(例如，核酸测序、小分子或分析物检测、体外细胞生物系统、合成和有机基片分析等)的关键因素。在一些情况下，当针对给定属性优化成像系统时，可能会影响到其他属性。例如，专注于将成像分辨率提高到超出衍射限制的当前成像系统和方法(例如，受激发射损耗显微术(STED)、光激活定位显微术(PALM)、随机光学重建显微术(STORM)、可逆饱和光学荧光跃迁显微术(RESOLFT)等)确实能够产生图像分辨率超过衍射限制的图像，但成像通量低(例如，图像采集时间长和/或视场小)，这限制了它们在需要高速成像的应用中的适用性。本公开提出了能够同时提高成像速度、SNR和图像分辨率的系统和方法。
光学变换成像系统
本文提供了将光学光子重新分配显微术(OPRA)与时间延迟和积分(TDI)成像相结合的成像系统，以实现高通量、高信噪比(SNR)成像，同时还提供增强的图像分辨率。光学光子重新分配显微术(OPRA)是一种光学技术，用于实现增强的图像分辨率，而不需要以前通常应用于图像扫描显微术(ISM)等方法的基于计算机的方法来在扫描期间以计算方式将在任何时间点检测到的光强度重新分配到发射器的对应的最可能位置(Roth等人(2013)，“Optical photon reassignment microscopy(OPRA)”,Optical Nanoscopy 2:5)。OPRA是ISM(如上所述)的改进。与ISM一样，它是一种不排斥光的方法，因此能够生成高SNR图像。然而，它也不需要数字处理，而是只需要采集单个图像，从而最大限度地减少了技术噪音。
在TDI成像中，图像传感器(例如，时间延迟和积分(TDI)电荷耦合装置(CCD))被配置为通过具有多行光敏元件(像素)来捕获移动物体的无模糊的图像，所述多行光敏元件与图像在光敏元件阵列上的运动同步地对信号进行积分并将信号移位到相邻的光敏元件行。图像包括对应于例如在曝光期间在每个图像传感器像素中累积的光电荷的数值的模拟或数字信号的矩阵。在每个时钟周期(通常大约1到10微秒)期间，每个图像传感器像素中累积的信号被移动到相邻像素(例如，在“线移位”TDI传感器中逐行移动)。最后一行像素连接到读出电子设备，并且图像的其余部分移位一行。被成像的物体的运动与时钟周期和图像移位同步，使得物体中的每个点在其穿过视场时被成像到图像中的同一点上(即，不存在运动模糊)。图像传感器(或TDI相机)要么连续曝光，要么线移位可能与曝光间隔交替。图像中的每个点都会累积N个时钟周期的信号，其中N是图像传感器中活动像素行的数量。在扫描持续时间内对信号进行积分的能力提供了低光水平下的高灵敏度成像。
本文描述的成像系统通过使用光学变换装置(和其他光学部件)的新颖组合来组合这些技术，以产生用于对物体成像的结构化照明图案，以重新路由和重新分配由物体反射、透射、散射或发射的光，以及将重新路由和重新分配的光投影到被配置用于TDI成像的一个或多个图像传感器上。本文公开的OPRA和TDI的组合允许使用静态光学变换装置，所述静态光学变换装置具有以下优点：(i)比类OPRA系统的现有实现方式简单得多，以及(ii)实现宽视场且因此具有非常高的成像通量(类似于或超过常规TDI系统的通量)。所公开的成像系统可被配置为执行荧光、反射、透射、暗场、相位衬度、微分干涉衬度、双光子、多光子、单分子定位或其他类型的成像。
在一些情况下，所公开的成像系统可以是独立的成像系统。另选地或另外地，在一些情况下，所公开的成像系统或其部件模块可以被配置为预先存在的成像系统的附加件。
所公开的成像系统可用于对各种物体或样品中的任何一种进行成像。例如，所述物体可以是有机或无机物体、或其组合。有机物体可以包括细胞、组织、核酸、缀合到珠子上的核酸、缀合到表面上的核酸、缀合到支撑结构上的核酸、蛋白质、小分子分析物、如本文别处描述的生物样品或其任何组合。物体可以包括基片，所述基片包含固定于其上的一种或多种分析物(例如，有机的、无机的)。所述物体可以包括本文别处描述的任何基片，例如平面或基本上平面的基片。基片可以是有纹理的基片，例如物理或化学图案化的基片，以将至少一个区域与另一区域区分开。所述物体可以包括具有可单独寻址位置的阵列的基片。可单独寻址的位置可以对应于基片的图案化或纹理化的点或区域。在一些情况下，分析物或分析物簇(例如，克隆扩增的核酸分子群体，任选地固定到珠子)可以固定在可单独寻址位置处，使得可单独寻址位置的阵列包括固定于其上的分析物阵列或分析物簇。本文描述的成像系统和方法可以被配置为以高通量、高SNR和高分辨率来对固定在基片上的分析物阵列或分析物簇内的各个分析物或各个分析物簇之间的光学信号进行空间解析。在任一个时间点，当物体被照射时，并非扫描的FOV内的所有可单独寻址的位置都会发射光(例如，荧光)信号。也就是说，对于给定时间点，物体上和被照射的FOV内的至少一个可单独寻址的位置将不会发射光信号(例如，荧光强度)。
在一些情况下，所公开的成像系统可以与核酸测序平台一起使用，核酸测试平台的非限制性示例描述于PCT国际专利申请公开No.WO 2020/186243中，所述公开通过引用方式整体并入本文中。
图1提供了根据本公开的成像系统框图的非限制性示例。在一些情况下，成像系统100可以包括照明单元102、投影单元120、物体定位系统130、物体132、检测单元140或其任何组合。在一些情况下，照明单元102、投影单元120、物体定位系统130和检测单元140或其任何组合可以作为单独光学单元或模块而被容纳。在一些情况下，照明单元102、投影单元120、物体定位系统130和检测单元140可以作为单个光学单元或模块而被容纳。
在一些情况下，照明单元102可以包括光源104、第一光学变换装置106、任选光学器件108或其任何组合。在一些情况下，光源(或辐射源)104可以包括相干源、部分相干源、非相干源或其任何组合。在一些情况下，光源包括相干源，并且相干源可以包括一个激光器或多个激光器。在一些情况下，光源包括非相干源，并且非相干源可以包括发光二极管(LED)、激光驱动光源(LDLS)、放大自发发射(ASE)源、超发光光源或其任何组合。
在一些情况下，第一光学变换装置106被配置为对从光源104接收到的光束应用光学变换(例如，空间变换)以产生图案化照明，并且可以包括以下各者中的一者或多者：微透镜阵列(MLA)、衍射元件(例如，衍射光栅)、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)、针孔阵列或其任何组合。
在一些情况下，第一光学变换装置包括可以从由光源或辐射源产生的光束生成贝塞尔子束阵列的多个光学元件。在一些情况下，第一光学变换装置可以包括可以生成贝塞尔子束阵列的多个单独元件。光学变换装置可以包括被配置为将光源变换成照明图案的任何其他光学部件。
在一些情况下，照明图案可以包括不重叠的强度峰值阵列或多个强度峰值。在一些情况下，照明图案可以包括多个二维照明点或形状。在一些情况下，照明图案可以包括这样的图案，其中照明图案强度最大值之间的间隔与对应强度峰值的半高全宽(FWHM)值的比率等于指定的值。在一些情况下，例如，照明图案强度最大值之间的间隔与对应强度峰值的半高全宽(FWHM)值的比率可以是1、2、3、4、5、10、15、20、30、40、50、60、70、80、90或100。
在一些情况下，光学变换装置可以生成照明点或形状之间的不均匀间隔，以适应被成像物体的线性或非线性运动。在一些情况下，例如，非线性运动可以包括圆周运动。用于使用光学系统与物体(例如，基片)之间的相对运动的线性和非线性图案来连续地扫描基片的各种光学配置和系统描述于国际专利公开No.WO2020/186243中，所述公开通过引用整体并入本文中。
在一些情况下，照明单元2的任选光学器件108可以包括一个或多个平凸透镜、双凸透镜、平凹透镜、双凹透镜、带通光学滤波器、低通光学滤波器、高通光学滤波器、陷波光学滤波器、四分之一波片、二分之一波片或其任何组合。在一些情况下，照明单元102与投影单元120光学耦合，使得图案化照明110a被引导到投影单元。
在一些情况下，投影单元120可以包括面向物体的光学器件124、额外光学器件122或其任何组合。在一些情况下，面向物体的光学器件124可以包括显微镜物镜、多个显微镜物镜、透镜阵列或其任何组合。在一些情况下，投影单元120的额外光学器件122可以包括一个或多个二向色镜、分束器、偏振敏感分束器、平凸透镜、双凸透镜、平凹透镜、双凹透镜、带通光学滤波器、低通光学滤波器、高通光学滤波器、陷波光学滤波器、四分之一波片、二分之一波片或其任何组合。在一些情况下，投影单元120光学耦合到物体132，使得图案化照明光110b被引导到物体132，并且由物体132反射、透射、散射或发射的光112a被引导回投影单元120并且被中继112b到检测单元140。
在一些情况下，物体定位系统130可以包括一个或多个致动器(例如，线性平移台、二维平移台、三维平移台、圆形旋转台或其任何组合)，所述致动器被配置为支撑物体132并且相对于投影单元120移动物体(或反之亦然)。在一些情况下，一个或多个致动器与(i)包括照明单元102、投影单元120和检测单元140的光学组件或其各个部件和/或(ii)被成像的物体132光学、电学和/或机械耦合，以在扫描期间实现物体与光学组件或其各个部件之间的相对运动。在一些情况下，物体定位系统130可以包括内置编码器，所述内置编码器被配置为将物体定位系统130的绝对或相对移动中继到例如系统控制器(未示出)或检测单元140。
在一些情况下，物体132可以包括例如生物样品、生物基片、耦合到基片的核酸、耦合到基片的生物分析物、耦合到基片的合成分析物或其任何组合。
在一些情况下，检测单元140可以包括第二光学变换装置142、一个或多个图像传感器144(例如，1、2、3、4或多于4个图像传感器)、任选光学器件148或其任何组合。在一些情况下，第二光学变换元件142可以包括微透镜阵列(MLA)、衍射元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)、针孔阵列或其任何组合。在一些情况下，一个或多个图像传感器144可以包括时间延迟积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机或单光子雪崩二极管(SPAD)阵列。在一些情况下，时间延迟和积分电路可以直接集成到相机或图像传感器中。在一些情况下，时间延迟和积分电路可以在相机或图像传感器的外部。在一些情况下，任选光学器件148可以包括一个或多个平凸透镜、双凸透镜、平凹透镜、双凹透镜、带通光学滤波器、低通光学滤波器、高通光学滤波器、陷波光学滤波器、四分之一波片、二分之一波片或其任何组合。
如上所述，照明单元102可以光学耦合到投影单元120。在一些情况下，照明单元102可以发射由投影单元120接收的照明光110a。投影单元120可以将照明光110b引导向物体132。在物体132与照明光110b之间的相互作用之后，物体可以吸收、散射、反射、透射(在其他光学配置中)、折射或发射光(112a)或其任何组合。从物体112a发出的被引导向投影单元120的光可以被引导112b到检测单元140。
在操作期间，投影单元120可以将(从照明单元102接收的)照明图案引导到物体132，并且接收从物体132反射、透射、散射、发射或以其他方式接收的所得照明图案(本文也称为“反射照明图案”)并将所述照明图案引导到检测单元140。
光学变换成像系统配置
图1所示的系统100的光学元件及其配置可以改变，同时仍实现高通量、高SNR和分辨率增强的成像。光学系统的变型可以共享光学路径，无论在各个级处有或没有额外光学元件(例如，中继光学器件)，所述光学路径都将光配置为从辐射源(例如，辐射源被配置为输出光)传播到第一光学变换装置以执行第一变换以生成照明图案，该照明图案被引导到物体，该物体发射光(例如，从物体或物体平面输出的光)的反射、透射、散射或发射图案，所述图案随后被引导到第二光学变换装置以执行第二变换以在一个或多个图像传感器处生成图像。如下文将描述的，可以使用光学投影单元的光学元件(例如，二向色镜和物镜)的各种配置中的任一种来将照明图案引导到物体和引导出物体。在一些情况下，光从物体的至少一部分输出或由物体的至少一部分输出。因此，本公开的光学成像系统可以至少包括辐射源、第一光学变换装置、第二光学变换装置和检测器。
图2至图5中示出了可以以增强的分辨率执行物体的高通量、高SNR成像的成像系统光学配置的非限制性示例。在一些情况下，成像系统光学配置可以包括以下各者之间的替代光学路径：(i)照明单元(或图案照明源)光学组件相对于投影单元(或图案照明投影仪)光学组件，(ii)投影单元光学组件相对于检测单元光学组件，或(iii)照明单元光学组件相对于检测单元光学组件。在一些情况下，替代光学路径可以包括图案照明源、投影光学组件、检测单元或其任何组合的替代几何光学路径。替代光学路径可以包括图案照明源、投影光学组件和检测单元中的光学部件的替代集合和/或这些部件的替代排序。在一些情况下，替代光学路径可以提供在较低成像系统成本、复杂性、鲁棒性、可调谐性、模块化或其任何组合方面的优点。
在一些示例中，图案照明源可以相对于投影光学组件采取透射光学几何结构(例如参见图3A、图3B和图5)或反射光学几何结构(例如参见图2和图4)。在一些情况下，投影光学组件的二向色镜可以包括有涂层的表面，所述有涂层的表面根据图案照明源相对于投影光学组件的光学几何结构提供来自图案照明源的光的透射或反射。
图2示出了根据本公开的示例成像系统200，所述示例成像系统可以包括相对于投影光学组件213采取反射几何结构的图案照明源212。在一些情况下，图案照明源212可以包括辐射源201、一个、两个或多于两个额外的光学部件(例如，202、203)和第一光学变换装置204。在一些情况下，一个、两个或多于两个额外的光学部件(例如，202、203)可以用于修改输入辐射201的光束形状或直径。在一些情况下，一个或多个额外光学元件可以包括平凸透镜、平凹透镜、双凸透镜、双凹透镜、正弯月形透镜、负弯月形透镜、轴锥透镜或其任何组合。在一些情况下，一个或多个光学元件可以被配置为减小或增大输入辐射的直径。另选地，一个或多个光学元件可以将输入辐射光束形状变换成贝塞尔、平顶或高斯光束形状。另外，一个或多个额外光学元件可以被配置为使输入辐射会聚、发散或形成准直光束。在图2所示的示例中，光学元件202和203是被配置为伽利略扩束器的两个透镜，以增加初始输入辐射的光束直径以填充第一光学变换装置204的视场。在一些情况下，一个或多个额外光学元件可以被配置为将输入辐射的强度分布变换成任何期望的形状。
在一些情况下，投影光学组件213可以包括第一二向色镜208、镜筒透镜209以及将图案化照明引导到物体220的物镜210。在一些情况下，检测单元211可以包括第二光学变换装置207、镜筒透镜205和一个或多个传感器206。在一些情况下，镜筒透镜205接收从物体发射或以其他方式接收的照明图案并经由投影光学组件213将照明图案引导到传感器206。与投影光学组件213的镜筒透镜209结合的镜筒透镜205可以被配置为提供从物体220发射或接收并中继到传感器206的照明图案的更高放大倍率。在一些情况下，检测单元211的一个或多个图像传感器206被配置用于时间延迟和积分(TDI)成像。
在一些情况下，成像系统200(或本文描述的任何其他成像系统配置)可以包括自动聚焦(AF)机构(未示出)。AF光束可以被配置为提供反馈以调整物镜相对于被成像的物体的位置，或反之亦然。在一些情况下，AF光束可以与图案照明源212光学路径同轴。在一些情况下，可以使用第二二向色镜(未示出)将AF光束与图案照明源结合，所述第二二向色镜反射AF光束并将图案照明源辐射传输到被成像的物体。
在一些情况下，成像系统200(或本文描述的任何其他成像系统配置)可以包括控制器。在一些情况下，控制器(或控制模块)可以被配置为例如同步单元，所述同步单元控制成像系统(或投影光学组件)与物体之间的相对移动与一个或多个图像传感器的时间延迟积分(TDI)的同步。在一些情况下，控制器可以被配置为控制图案化照明单元的部件(例如，光源、空间光调制器(SLM)、电子快门等)、投影光学组件、图案化照明检测器(例如，被配置用于TDI成像的一个或多个图像传感器等)、物体定位系统(例如，用于在物体和投影光学组件之间产生相对运动的一个或多个致动器)、图像采集过程、采集后图像处理等。在一些情况下，使用检流镜来扫描物体的全部或一部分(例如，以实现TDI成像)。在一些情况下，由检流镜执行的扫描可用于提供物体与投影光学组件之间的表观相对运动。
图3A示出了用于成像系统300的额外光学配置，其中图案化照明源311相对于投影单元312(例如，投影光学组件)采取透射几何结构。在一些情况下，图案照明源311可以包括辐射源322、平凸透镜(301、302)和第一光学变换装置303。在一些情况下，投影光学组件312可以包括二向色镜305、镜筒透镜306和物镜307，所述物镜将照明图案引导到物体320并且收集从物体反射、散射或发射的光。在一些情况下，检测单元313可以包括第二光学变换装置308、镜筒透镜309以及一个或多个图像传感器310。在一些情况下，投影光学组件的二向色镜305、镜筒透镜306和物镜307可以被配置为接收来自图案照明源311的图案化照明并将图案化照明引导到物镜307，以及接收从物体反射、散射或发射的图案化光并将图案化引导到检测单元313。在一些情况下，检测单元313的一个或多个图像传感器310被配置用于时间延迟和积分(TDI)成像。
图3B示出了用于成像系统300的又一种光学配置，其中图案化照明源311相对于投影光学组件312采取透射几何结构。同样，图案照明源311可以包括辐射源322、平凸透镜(301、302)和第一光学变换装置303。投影光学组件312可以包括二向色镜305、第二光学变换装置318、镜筒透镜306和物镜307，所述物镜将照明图案引导到物体320并且收集从物体反射、散射或发射的光。在此配置中，检测单元313包括镜筒透镜309和一个或多个图像传感器310，第二光学变换装置318已经移动到投影光学组件312。在一些情况下，检测单元313的一个或多个图像传感器310被配置用于时间延迟和积分(TDI)成像。
图4示出了用于成像系统400的光学配置，其中图案化照明源424相对于投影单元425(例如，投影光学组件)采取反射几何结构。成像系统400还被示出为具有共享的单个镜筒透镜421，所述镜筒透镜被配置为将辐射源414耦合到投影单元425并且将反射、散射或发射的辐射能量引导到成像系统的检测单元423。成像系统的检测单元被示出为将来自投影模块中的共享的单个镜筒透镜的反射光、散射光或发射光耦合到与检测单元图像传感器相邻的第二光学变换元件419。在一些情况下，图案照明源424可以包括辐射源414、平凸透镜(415、416)和第一光学变换装置417。在一些情况下，投影单元425可以包括二向色镜420、镜筒透镜421和物镜422，所述物镜被配置为将图案化照明引导到物体430。在一些情况下，检测单元423可以包括第二光学变换装置419和一个或多个图像传感器418。在一些情况下，投影单元425的二向色镜420、镜筒透镜421和物镜422可以被配置为从图案照明源424接收图案化照明并将图案化照明引导到被成像的物体430以及接收由物体反射、散射或发射的图案化光并将图案化光引导到检测单元423。在一些情况下，检测单元423的一个或多个图像传感器418被配置用于时间延迟和积分(TDI)成像。
图5示出了用于成像系统500配置的示例光学配置，其中图案化照明源511相对于投影光学组件513采取透射几何结构。在一些情况下，图案照明源511可以包括辐射源501、平凸透镜(502，503)以及第一光学变换装置504。在一些情况下，投影光学组件513可以包括二向色镜506、镜筒透镜505和物镜510，所述物镜被配置为将图案化照明光引导到物体520。在一些情况下，检测单元512可以包括第二光学变换装置508、镜筒透镜507以及一个或多个图像传感器509。在一些情况下，投影光学组件513的二向色镜506、镜筒透镜505和物镜510可以被配置为从图案照明源511接收图案化照明并将图案化照明引导到被成像的物体520以及接收由物体反射、散射或发射的图案化光并将图案化光引导到检测单元512。在一些情况下，检测单元512的一个或多个图像传感器509被配置用于时间延迟和积分(TDI)成像。
在本文描述的任何成像系统配置的一些情况下，光学变换装置(或光学变换元件)中的一者或两者可以倾斜和/或旋转以允许以可变像素尺寸收集信号信息(例如，以增加SNR，但代价可能是分析要求增加)。光学变换元件中的一者或两者可以倾斜和/或旋转以减轻运动模糊。
在一些情况下，运动模糊可能是由穿过成像系统FOV的不同线速度引起的，如图30A所示。在物体和成像系统之间的相对运动包括以位于成像系统的视场之外的旋转轴为中心的旋转运动的此类情况下，主要的技术挑战是由以下事实引起的：在半径r1(对应于图像传感器的最内侧)和半径r2(对应于图像传感器的最外侧)处，待成像的物体(例如旋转的晶片)在图像采集时间期间移动了不同距离(分别是S1和S2)(参见图30A)。TDI传感器只能以单一速度移动，因此只能在传感器中的一个位置处匹配圆形物体的移动速度。这通常被优化，使得传感器的中心与物体的运动匹配(例如，中心，r1/2+r2/2)。在CoSI中，在样品平面处(例如，在晶片的表面处)，最佳成像系统将增加照明峰值的密度，并且也增加y轴上的照明宽度，从而在保持检测器上的收集到的荧光光子数量的同时减小照明的峰值强度。因此，可以增加S2和S1的值并且也可以增加(S2-S1)的值。
补偿这种相对运动的一种策略是将运动分成线性(平移)运动分量和旋转运动分量。替代策略是使用楔形计数器扫描，其中可以通过例如改变图像传感器(例如相机)视场中的工作距离来产生放大倍率梯度。例如，由放大倍率比(即，在传感器的外径处的放大倍率与在传感器的内径处的放大倍率的比)表征的放大倍率梯度，所述放大倍率比由放大倍率比＝(S2/S1)＝(r2/r1)＝1+(FOV/r1)给出，其中FOV＝r2–r1可用于补偿相对运动。举例来说，如果FOV为2.6mm并且r1＝60mm，则S2与S1之间的放大倍率比约为1.04。
对于具有典型沙姆弗拉格(Scheimpflug)布局的成像系统(参见图30B)，可以通过倾斜物镜(OB)来在r1和r2处实现不同的放大倍率(如通过相机观察到的)。现代显微镜通常是无限远校正的，包括物镜和镜筒透镜，并且或多或少是远心的(即，无论物体在视场中的距离或位置如何，都具有或多或少恒定的放大倍率)。在图30B中，在物体(例如，样品)上的点r1处的放大倍率是M1＝T1/WD1，而在位置r2处则为M2＝T2/WD2(其中WD是物镜与样品之间的工作距离)。通过倾斜物镜，我们可以调整比率M2/M1。在示例性显微镜中，工作距离必须增加或减少约0.1mm，以便实现2.5％的放大倍率变化(参见下面的示例5)。在一些情况下(参见图30C)，沙姆弗拉格布局可以通过包括镜筒透镜(TL)来扩展。在此类情况下，可以有意增加或减少物镜(OB)与镜筒透镜(TL)之间的距离，以打破远心度并在整个视场中产生放大倍率梯度。如图所示，通过缩短物镜与镜筒透镜之间的距离并使工作距离移位0.1mm，可以在视场中实现5％的放大倍率变化(参见下面的示例5)。
补偿该相对运动的另一种策略是在倾斜的图像传感器之前插入倾斜的透镜(参见图30D)。在图30D中，D1是倾斜传感器与倾斜透镜之间的距离，D2是倾斜透镜与原始图像平面之间的距离，并且Δd是D2–D1。如果透镜的焦距为f，则倾斜透镜上的放大倍率可以确定为：其中α′类似于光子重新分配系数α的概念。
如果α′被设为1，则D2将为0(因此Δd将为0)，这意味着传感器和透镜将叠加。如果D2为0.04f，则α′将为1/1.04并且Δd将为0.0015f。FOV的一个边缘与另一个边缘之间的相对放大倍率变化可以被确定为：
在一些情况下，传感器和透镜以相同的角度倾斜(如果是这样，则不会有可变的放大倍率)。在一些情况下，传感器和透镜以不同的角度倾斜(例如，分别是β1和β2)。在一些情况下，β1可以是至少约0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1、2、3、4、5、6、7、8、9或10度。在一些情况下，β2可以是至少约1、2、3、4、5、6、7、8、9、10、15或20度。本领域技术人员将认识到，β1和β2各自可以是其相应范围内的任何值，例如，约0.54度和约11度。
因此，在一些情况下，所公开的成像系统可以被配置为通过使用被配置为将基本上运动不变的光信号递送到一个或多个光学传感器(例如，图像传感器)的可倾斜物镜来将由物体透射、反射或发射的光重新引导到一个或多个光学传感器(例如，图像传感器)。在一些情况下，将由物体透射、反射或发射的光重新引导到一个或多个光学传感器还包括使用可倾斜镜筒透镜和/或可倾斜图像传感器。在一些情况下，可倾斜物镜、镜筒透镜和/或图像传感器可以使用例如压电致动器来致动。
在一些情况下，当图像传感器位于与旋转轴相距不同距离(例如，不同半径)处时，用于在视场中产生放大倍率梯度的物镜、镜筒透镜和/或图像传感器的倾斜角度可能不同。在一些情况下，物镜、镜筒透镜和/或图像传感器的倾斜角度可各自独立地在约±0.1至约±10度的范围内。在一些情况下，物镜、镜筒透镜和/或图像传感器的倾斜角度可各自独立地为至少±0.1度、±0.2度、±0.4度、±0.6度、±0.8度、±1.0度、±2.0度、±3.0度、±4.0度、±5.0度、±6.0度、±7.0度、±8.0度、±9.0度或±10.0度。本领域技术人员将认识到，倾斜角度可以独立地为该范围内的任何值，例如约±1.15度。
在一些情况下，物镜与镜筒透镜之间的标称距离可以在约150mm至约250mm的范围内。在一些情况下，物镜与镜筒透镜之间的标称距离可以是至少150mm、160mm、170mm、180mm、190mm、200mm、210mm、220mm、230mm、240mm或250mm。本领域技术人员将认识到，物镜与镜筒透镜之间的标称距离可以是该范围内的任何值，例如约219mm。在一些情况下，物镜与镜筒透镜之间的距离可以相对于它们的标称间隔距离增加或减少至少约±5mm、±10mm、±15mm、±20mm、±25mm、±30mm、±35mm、±40mm、±45mm、±50mm、±55mm、±60mm、±65mm、±70mm、±75mm或±80mm。本领域技术人员将认识到，物镜与镜筒透镜之间的距离可以增加或减少达该范围内的任何值，例如约±74mm。
在一些情况下，工作距离可以增加或减少至少±0.01mm、±0.02mm、±0.03mm、±0.04mm、±0.05mm、±0.06mm、±0.07mm、±0.08mm、±0.09mm、±0.10mm、±0.20mm、±0.40mm、±0.60mm、±0.80mm、±1.00mm、±1.20mm、±1.40mm、±1.60mm、±1.80mm、±2.00mm、±2.20mm、±2.40mm、±2.60mm、±2.80mm或±3.00mm。本领域技术人员将认识到，工作距离可以是该范围内的任何值，例如约±1.91mm。
在一些情况下，视场中的放大倍率变化可以是至少约±0.2％、±0.4％、±0.6％、±0.8％、±1.0％、±1.2％、±1.4％、±1.6％、±1.8％、±2.0％、±2.2％、±2.4％、±2.6％、±2.8％、±3.0％、±3.2％、±3.4％、±3.6％、±3.8％、±4.0％、±4.2％、±4.4％、±4.6％、±4.8％、±5.0％、±5.2％、±5.4％、±5.6％、±5.8％或±6.0％。本领域技术人员将认识到，视场中的放大倍率变化可以是该范围内的任何值，例如约±0.96％。
在一些情况下，在本文描述的任何成像系统配置中，第二光学变换装置(例如，第二微透镜阵列)的位置可以变化。例如，在一些情况下，第二MLA可以直接定位(例如，安装)在图像传感器上。在一些情况下，第二MLA可以位于平移台或可移动支座上，使得可以调整其相对于图像传感器的位置(例如，其与传感器的间隔距离，或者其相对于传感器的横向位移)。在一些情况下，第二MLA与图像传感器之间的距离小于10mm、1mm、100μm、50μm、25μm、15μm、10μm、5μm或1μm，或其中的范围内的任何值。第二MLA相对于传感器的位置可以由MLA的焦距确定(即，第二MLA可以定位成使得最终光子重新分配系数在期望的范围内)。光子重新分配系数被确定为比率L1/L2，其中L1是第二MLA的焦距并且L2是第二MLA2到传感器平面的有效距离(例如参见图18F或图27)。例如，在一些情况下，第二MLA的焦距在1μm与1000μm之间、在50μm与1000μm之间、在5μm与50μm之间、或在15μm与25μm之间，或其中范围内的任何值。例如，第二MLA可以具有约20μm的焦距。
在本文描述的任何成像系统配置的一些情况下，所述系统还可以包括用于调整用于照明或激发的激光线的宽度的线聚焦光学器件。例如，可以使聚焦激光的线宽变宽，以便降低峰值照明强度并避免物体的光损伤或热损伤，而可以使聚焦激光线的线宽变窄，以便减少运动引起的模糊)。对于包含荧光团(例如，在许多测序应用中使用的荧光团)的物体来说，光损伤尤其成问题。
图案化照明和光学变换成像
如图1所示，本文公开的成像系统可以包括照明单元(或图案照明源)102，所述照明单元提供来自光源(或辐射源)104的光并且使用第一光学变换装置106对其进行光学变换以产生图案化照明，所述图案化照明聚焦于待成像的物体132上。第二光学变换装置142用于对从物体的至少一部分反射、透射、散射或发射(取决于成像系统的光学配置和所使用的成像模式)的图案化光应用第二光学变换并且将所述图案化光中继到被配置用于时间延迟和积分(TDI)成像的一个或多个图像传感器144。
图6A至图6E示出了本文描述的光学变换成像系统的特征。图6A示出了由TDI成像系统中的单个像素记录的从点源发射的照明强度(假设所发射的光被阻挡而不能到达所有其他像素，例如，通过在图像传感器前面使用单个对准的共焦针孔)。所记录的强度分布的照明强度峰值与图像平面中x＝0处的单个像素的位置一致。所记录的照明强度分布的宽度指示成像系统光学器件的点扩散函数(PSF)(即，描述成像系统对点源或点物体的响应的函数)。对于离轴像素，TDI图像中照明强度峰值的位置相对于物体平面中峰值的位置偏移了nx0，其中0<x0<a，a是像素尺寸，并且n是像素数量(从x＝0的中心位置算起)。
图6B示出了由TDI成像系统的几个单独像素(包括离轴像素)记录的从点源发射的照明强度。如上所述，由离轴像素记录的强度峰值的位置相对于物体平面中峰值的实际位置偏移了因数n x0。针对-2xo、-xo、0、+xo和+2xo位置处的像素示出的光强度分布的示例假设TDI成像系统的点扩散函数通过高斯描述。
图6C示出了具有光学变换装置(例如，缩倍器)的TDI成像系统(左)的示例示意图，所述光学变换装置对位于物体(例如，点源)的第一图像平面处的图像进行重新缩放并将其中继到位于图像传感器处的第二图像平面。如图6C所示(右)，光学变换单元(在该示例中，缩小透镜或透镜阵列)收集入射于第一图像平面(所述第一图像平面可以包括虚拟图像)上的光子，并且对它们进行重新引导和重新分配以在第二图像平面处形成直立的重新缩放的图像(按因数M＝1–(xo/δ)来重新缩放)，所述第二图像平面对准来自各个像素的即时“图像”并对所述即时图像进行积分并校正照明强度峰值的位置的空间偏移δ，所述空间偏移原本是图像传感器的离轴像素可能观察到的。
图6D提供了具有聚焦激光照明的TDI成像系统(左)(使用与照明束对准的单个针孔，阻挡所有图像传感器像素而只留下一个来接收光(右))如何记录从点源发射的照明强度的概念示例。每个图中的垂直段表示TDI图像中的像素。X描述扫描系统的位置，Y是图像平面坐标(与扫描方向上的传感器像素坐标相同)，并且S是所得TDI图像中像素的位置(在该简化图示中，图像是一维的)。该图显示了X、Y和S之间的关系，以及随那些坐标而变的单独发射器的强度分布。椭圆形形状表示在扫描期间记录的发射光强度I(x)＝h(x)*g(y–x)，其中h(x)是照明点扩散函数，并且g(x)是检测点扩散函数。在右图中，以y＝0为中心且边界为y＝±a/2的倾斜区域表示y＝0处的物理图像传感器像素。所述倾斜区域与表示发射光强度的椭圆形形状的交集是允许到达中心图像传感器像素的发射光的分数。对于共焦TDI成像系统，由于使用光学变换装置(即，在该非限制性示例中是单个对准针孔)来防止光到达离轴图像传感器像素，所得图像强度分布(右)与常规TDI成像系统的图像强度分布(左)相比具有较窄宽度(即，较高的空间分辨率)。
图6E提供了由TDI成像系统中的多个像素(包括离轴像素)记录的照明强度的概念示例，以及使用光学变换装置来重新引导和重新分配光子对成像系统的有效点扩散函数的影响。椭圆形形状表示在扫描期间记录的发射光强度I(x)＝h(x)*g(y–x)，其中h(x)是照明点扩散函数，并且g(x)是检测点扩散函数。在左图中，以y＝0为中心且边界为y＝±a/2的中间倾斜区域表示y＝0处的物理图像传感器像素。所述中间倾斜区域与表示发射光强度的椭圆形形状的交集是允许到达中心图像传感器像素的发射光的分数。同样，两个额外的倾斜区域表示两个对称放置的离轴像素，并且倾斜区域与表示发射光强度的椭圆形形状的交集是到达两个对称放置的离轴图像传感器像素的发射光的分数。每个物理像素收集与一些光强度分布对应的信号，所述光强度分布中的某一峰值相对于物体平面中的发射强度峰值具有不同的空间偏移。常规TDI成像系统会累积(求和)来自图像传感器中的所有物理像素的信号，从而导致分辨率下降。在缺少补偿光学变换装置的情况下，由三个像素记录的图像强度分布相对于彼此偏移(左下)，并且加到一起形成比单独分布更宽的总体分布。将光收集限制为仅一个物理像素可提供共焦分辨率，但代价是损失大部分光并降低图像的信噪比(SNR)。更好的解决方案是补偿空间偏移。如果使用光学变换装置(例如，按因数M＝1–(xo/δ)来压缩光沿Y轴的分布的倍缩光学元件)，则由三个图像传感器像素记录的光强度分布被对准(右下)并组合以形成所记录的强度分布，所述强度分布具有比在没有光学变换装置时获得的宽度更窄的宽度(即，更高的空间分辨率)。
从数学上讲，这种光学补偿技术可以用照明和检测光学器件的点扩散函数(PSF)的相对缩放来描述。扫描期间记录的图像强度分布(或发射光强度分布)由下式给出：
I(x,y)＝h(x)·g(y-x)
其中h(x)是照明PSF，并且g(y-x)是检测PSF。用于补偿图像中的强度峰值与物体平面处的照明分布中的强度峰值之间的空间偏移的光学变换装置可以例如在Y方向上应用缩小倍率m，使得y→my，其中0<m<1。图像强度分布随后由下式给出：
I(x,y)→I’(x,y)＝h(x)·g(my–x)
或者，就扫描坐标而言，s＝y–x：
PSF(s)∝∫I′(s，x)dx
其中z＝(1–m)x。更一般地说，
其中
h′(z)＝h((-z)/(1-m))
g′(z/m)＝h(z/m)
并且是卷积算子。此方法中成像系统的PSF是按因数(1-m)缩放的照明点扩散函数h和按因数m缩放的检测点扩散函数g的卷积。PSF决定成像系统的分辨率，并且与共焦成像系统(例如，衍射受限的常规成像系统)的点扩散函数(和图像分辨率)相当或更好。
当将结构化照明(图案化照明)与TDI成像结合使用时，同样的考虑因素也适用。在一些情况下，图案照明源可以包括用于生成结构化照明(或图案化照明)的光学变换装置。图7A至图7C示出了根据所公开的成像系统的一些实现方式使用的光学变换装置的一个非限制性示例的几何结构和外形尺寸。图7A示出了包括各个微透镜700的交错矩形重复图案701的示例性微透镜阵列(MLA)(例如，其中该多个行中的一行在垂直方向上与该多个行中的紧邻的前一行交错)。在图7A的非限制性示例中，每个矩形重复图案包括呈六边形密堆积配置的多个微透镜。在一些情况下，每个重复图案中的多个微透镜可以以任何规则或不规则的堆积配置来堆积。在一些情况下，多个微透镜的规则排列被配置为在相邻微透镜之间提供相等的间隔。在一些情况下，MLA可以包括矩形图案(例如，如图7A所示，710a、710b和710c)的多个重复，所述重复各自相对于前一个重复偏移(交错)例如一行微透镜、两行微透镜、三行微透镜等。在一些情况下，微透镜的行和列可以例如与TDI图像传感器中的像素的行和列的x和y坐标对准，使得MLA装置中的微透镜列与像素列之间的角度为零度。
图7B示出了包括各个微透镜703的倾斜矩形重复图案704的示例性微透镜阵列(MLA)。在图7B的非限制性示例中，每个矩形重复图案包括呈六边形密堆积配置的多个微透镜。在一些情况下，每个重复图案中的多个微透镜可以以任何规则或不规则的堆积配置来堆积。在一些情况下，MLA可以包括矩形图案的多个重复，所述多个重复各自相对于例如TDI图像传感器中的像素的行和列的x和y坐标倾斜(或旋转)，使得MLA装置中的微透镜列与像素列之间的角度702是例如约0.5至45度的指定角度。
图7C示出了根据所公开的成像系统的一些实现方式的嵌入在反射掩模706中的MLA 705，所述反射掩模可以放置在光学变换成像系统的光学路径中以生成照明光图案。在一些情况下，反射掩模可以由铬、铝、金、银、其他金属或合金、或其任何组合构成。
在一些示例中，多个微透镜可以包括多个球面微透镜、非球面微透镜或其任何组合。在一些情况下，MLA可以包括具有正或负光功率的多个微透镜。在一些情况下，MLA可以被配置为使得行与扫描或交叉扫描方向对准。在一些情况下，扫描方向可以与由微透镜的列数限定的MLA的长度对准。另选地，交叉扫描方向可以与由微透镜的行数限定的MLA的宽度对准。
图8A示出了由光学变换成像系统生成的图案化照明(以微米为单位的x和y轴单位)的示例，所述光学变换成像系统包括例如倾斜的六边形图案微透镜阵列(其中包括规则图案的多个行中的每一行是倾斜的)，以产生图案化照明。图8B示出了根据所公开的成像系统的一些实现方式的空间积分照明强度804(以相对强度为单位)在被扫描物体(以微米为单位的x轴单位)上的对应均匀分布。
图9A至图9B示出了根据所公开的成像系统的一些实现方式的由不具有第二光学变换装置(图9A)以及具有并入成像系统中的第二光学变换装置(图9B)(用于补偿图像中的强度峰值与物体平面中的图案化照明峰值之间的空间偏移)的光学变换成像系统生成的示例性扫描强度数据随像素坐标而变。如可以看出，图9B中的图像的分辨率与在没有使用第二光学变换装置时在图9A中获得的图像分辨率相比明显提高。
图10A至图10C示出了根据所公开的成像系统的一些实现方式的由光学变换成像系统生成的照明光图案的示例以及成像系统采集物体的图像数据时的对应扫描方向。参看图10A，成像系统可以被配置为沿着所指示的扫描方向(如图所示，向上)扫描物体。所述物体可以是例如平面或基本上平面的基片。在一些情况下，成像系统可以生成交错阵列照明图案并将其投影到物体上。照明图案可以包括不重叠照明峰值的阵列。可以选择照明图案，使得物体平面中的每个点被一系列照明峰值照射。当发生平移时，无论是通过移动物体还是通过移动照明图案，或者两者兼而有之，每个强度峰值沿着扫描方向轴线穿过物体平面。图10A示出了由包括呈多阵列配置(例如，阵列1 1002、阵列2 1004等)的微透镜阵列的光学变换装置生成的交错照明图案。可以使用多阵列配置来例如确保TDI图像传感器完全被用于生成图像的变换光填充。在一些情况下，可以使用呈多阵列配置的不同阵列来例如产生不同的照明图案、包括不同照明波长的照明图案和/或包括不同偏振的照明图案。
图10B和图10C示出了与光学变换成像系统的扫描方向对准的线形图案照明阵列1010的非限制性示例(其中图10C示出了多个照明阵列的堆叠，即，变换元件包括具有特定图案的子阵列序列)。
由于图案化照明的照射而由物体反射、透射、散射或发射的光图案(例如，“反射光图案”、“发射光图案”等)经过变换(例如，通过第二光学变换装置)以产生表示物体的最大似然图像的强度分布。在一些情况下，图像平面中的每个点可以由基本上一维(1d)的强度分布来表示(即，照明图案可以由细长照明点(线段)组成，所述细长照明点只在与线段正交的方向上提供分辨率优势)。在一些情况下，图像平面中的每个点可以被重新路由到表示物体平面上的对应发射坐标的最大似然位置的不同坐标。在一些情况下，由物体发射并在图像平面处接收的光图案可以被重新路由以形成二维(2d)强度分布，所述分布表示物体平面上的对应发射坐标的最大似然2d分布。在一些情况下，一连串照明图案可用于产生在单次扫描期间使用的更大照明图案。在一些情况下，一连串照明图案可以在一连串扫描中循环，并且它们的信号和相应的变换被累积，以生成单个分辨率增强的图像。也就是说，可以累积在每个位置处和/或由每个照明图案生成的信号。在一些情况下，可以选择照明图案，使得当扫描通过视场时，物体的每个点都接收到与物体的其他点基本上相同的照明强度的时间积分(即，相同的总照明光曝露)(例如参见图8B)。
在一些示例中，成像系统可以通过照明图案来照射物体，所述照明图案包括处于成像系统物镜NA和照明光波长支持的最大频率处的谐波调制强度的区域。所述图案可以由具有不同取向的谐波调制光的几个区域组成，使得被引导到物体的照明图案中的每个照明点可以顺序地在物体平面上在所有方向上均匀地经历调制。另选地，照明图案可以包括与一个或多个所选方向对准的谐波调制强度。在一些情况下，可以选择方向以在物体平面中沿着特定方向提高分辨率(例如，连接阵列形物体中的最近邻居的方向)。
在一些情况下，成像系统可以被配置为生成谐波调制的照明强度图案(例如，由第一光学变换装置(或照明掩模)生成的正弦调制的照明强度图案)并且可以用于在单遍扫描中以增强的分辨率对物体成像，而不需要由多个图像在计算上重建分辨率增强的图像。在一些情况下，成像系统可以包括第二光学变换装置(例如，谐波调制相位掩模或谐波调制振幅掩模(或检测掩模))，其空间频率和取向与照明图案的每个区域中的谐波调制强度的空间频率和取向匹配。在一些情况下，检测掩模可以包括与照明掩模互补的掩模(即，相对于照明掩模相移90度的掩模)。在一些情况下，当使用谐波调制强度照明图案来扫描物体并采集一连串“即时”图像时(即，在单遍扫描过程中呈现给传感器的多个光学图像；在扫描期间的每个点时，物体相对于照明图案和第二光学变换装置处于不同位置，因此这些“即时”图像不同并且并不只是同一图像的移位版本)，通过该一连串“即时”图像的模拟相位解调来生成分辨率增强的图像，而不需要计算密集型资源。在一些情况下，可以使用计算成本低廉的傅立叶重新加权技术通过模拟相位解调来重建分辨率增强的图像。
在一些示例中，成像系统可以包括处理由一个或多个图像传感器捕获的图像的方法。在一些情况下，由物体反射、透射、散射或发射的光子的位置可能无法准确地映射到一个或多个图像传感器上的相应位置。在一些情况下，可以重新映射或重新分配光子以精确地确定从物体反射的光子的位置。在一些情况下，荧光分子(或其他光信号源)的最大似然位置可以是例如物体平面中的激光束中心点与图像平面中的对应光子检测中心点之间的中间。共焦成像中的光子重新分配描述于例如以下各者中：Sheppard等人的Super-resolution in Confocal Imaging,International Journal for Light and ElectronOptics(1988)；Sheppard等人的Super resolution by image scanning microscopyusing pixel reassignment,Optics Letters(2013)；以及Azuma和Kei的Super-resolution spinning-disk confocal microscopy using optical photonreassignment,Optics Express 23(11):15003-15011；以上各者通过引用方式整体并入本文中。
示例性光学变换成像系统配置
图11提供了根据所公开的成像系统的一些实现方式的具有按反射几何结构配置的辐射源的光学变换成像系统的激发光学路径的非限制性示意图。在图11中，示出了由辐射源1102提供的照明光1104的光学路径。从辐射源1102(例如，激光器)开始，照明光1104通过光学部件1108(例如，被配置为扩束器的两个平凸透镜)从镜子1106反射到第一光学变换装置1110(例如，微透镜阵列)以在中间焦平面1114处产生图案化照明1112。然后，图案化照明作为图案化光束1118从二向色镜1116反射并且通过物镜1120(例如，复合物镜)聚焦到物体1122上。物体1122相对于光学组件沿着方向1124平移，所述方向与TDI图像传感器1132中的光电子电荷转移方向1134对准以在图像中防止物体模糊。在一些情况下，光学组件可以相对于物体平移，以便产生沿方向1124的相对运动。物体1122响应于图案化光束1118的照射而发出的光被物镜1120收集并穿过二向色镜1116到达镜筒透镜1130，所述镜筒透镜将光成像到TDI图像传感器1132上，如参看图12A更详细地描述。
图12A提供了光学变换成像系统的发射光学路径的示意图，所述光学变换成像系统具有按反射几何结构配置的辐射源1102并且包括在照明路径中的仅一个微透镜阵列(例如，1110)和额外光学部件(例如，镜子1106和透镜1108)，所述微透镜阵列和额外光学部件产生照明光图案1112(示出于图11中)以照射物体1122。图案化光1104由物体1122响应于被照射而发出，并且被物镜1120收集、透射穿过二向色镜1116并聚焦在图像平面1210(它可以是虚拟图像平面)上。入射在图像平面1210上的光子通过镜筒透镜1130中继并聚焦到图像平面1212上，这与TDI图像传感器1132的定位一致。物体1122相对于光学组件沿着方向1124平移，所述方向与TDI图像传感器1132中的光电子电荷转移方向1134对准以在图像中防止物体模糊。在一些情况下，光学组件可以相对于物体平移，以便产生沿方向1124的相对运动。
与图12A相反，图12B提供了光学变换成像系统的发射光学路径的示意图，所述光学变换成像系统包括两个微透镜阵列(例如，在照明路径中的第一微透镜阵列1110和在发射路径中的第二微透镜阵列1220)。在一些情况下，第一微透镜阵列1110也可以是衍射光栅。同样，如在图12A中，成像系统包括按反射几何结构配置的辐射源1102，并且还包括在照明路径中的第一微透镜阵列(例如，1110)和额外光学部件(例如，镜子1106和透镜1108)，所述第一微透镜阵列和额外光学部件产生照明光图案1112(示出于图11中)以照射物体1122。图案化光1104(例如，多个信号强度最大值)由物体1122的全部或一部分响应于被照射而发出，并且被物镜1120收集、透射穿过二向色镜1116和第二微透镜阵列1220并聚焦在图像平面1210’(它可以是虚拟图像平面)上。入射在图像平面1210’上的光子通过镜筒透镜1130中继并聚焦到图像平面1212’上，这与TDI图像传感器1132的定位一致。物体1122相对于光学组件沿着方向1124平移，所述方向与TDI图像传感器1132中的光电子电荷转移方向1134对准以在图像中防止物体模糊。在一些情况下，光学组件可以相对于物体平移，以便产生沿方向1124的相对运动。
图12B中的插图提供了包括微透镜阵列1220中的单个微透镜的发射光学路径的一部分的分解图。入射光1222通过单个微透镜重新聚焦(例如，重新引导)1224到图像平面1210’上的点1226处，与在缺少第二微透镜阵列1220的情况下(例如，微透镜阵列1220将重新路由和重新分配从物体接收到的光)光1228将会聚焦到的图像平面1210上的点1230(距微透镜光轴1240的距离为Y)相比，点1226在空间上相对于微透镜光轴1240偏离了距离M·Y(其中M是缩倍因数)。因此，第二光学变换装置(即，该非限制性示例中的第二微透镜阵列1220)补偿了对于缺少第二光学变换装置的在其他方面相同的成像系统中的TDI图像传感器中的各个像素将会观察到的空间偏移(以及对应的图像分辨率损失)。在一些情况下，第二光学变换装置(即，第二微透镜阵列1220)可以补偿对于响应于被照射而从物体1122的至少一部分输出的多个信号强度最大值将会观察到的空间偏移(以及对应的图像分辨率损失)。
图案化照明光学组件
如关于图1所示的示例性成像系统(以及本文描述的其他成像系统配置，例如参见图2、图3A、图3B、图4、图5、图11、图12A和图12B)所描述的，照明单元102(或图案化照明光学组件)可以包括光源(或辐射源)104和第一光学变换装置106以及额外光学器件108或其任何组合。
在一些情况下，照明单元可以包括一个或多个光源或辐射源，例如1、2、3、4或多于4个光源或辐射源。在一些情况下，一个或多个光源或辐射源可以是一个激光器、一组激光器、非相干源或其任何组合。在一些情况下，非相干源可以是基于等离子体的光源。在一些情况下，一个或多个光源或辐射源可以提供具有一个或多个特定波长的辐射以供外源对比荧光染料吸收。另外，一个或多个光源或辐射源可以提供具有特定波长的辐射以用于内源荧光、自发荧光、磷或其任何组合。在一些情况下，一个或多个光源或辐射源可以提供连续波、脉冲、Q开关、线性调频、调频、调幅、谐波或其任何组合的输出光或辐射。
在本文描述的任何成像系统配置中，一个或多个光源(或辐射源等)可产生中心波长范围从约400纳米(nm)至约1,500nm或其任何范围的光。在一些情况下，中心波长可以是约400nm、500nm、600nm、700nm、800nm、900nm、1,000nm、1,100nm、1,200nm、1,300nm、1,400nm或1,500nm。本领域技术人员将认识到，中心波长可以是该范围内的任何值，例如约633nm。
在本文描述的任何成像系统配置中，一个或多个光源(或辐射源)单独地或与一个或多个光学部件(例如，光学滤波器和/或二向色分束器)组合可以产生具有在±2nm、±5nm、±10nm、±20nm、±40nm、±80nm或更大的带宽内的指定中心波长的光。本领域技术人员将认识到，所述带宽可以具有该范围内的任何值，例如，±18nm。
在本文描述的任何成像系统配置中，第一和/或第二光学变换装置可以包括以下各者中的一者或多者：微透镜阵列(MLA)、衍射元件(例如，衍射光栅)、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)、针孔阵列或其任何组合。
在一些情况下，在本文描述的任何成像系统配置中的第一和/或第二光学变换装置可以包括微透镜阵列(MLA)。在一些情况下，MLA光学变换装置可以包括配置为多个行和列的多个微透镜700或703，例如图7A至图7B中所见。
在一些情况下，MLA可以包括约200列至约4,000列微透镜或其任何范围。在一些情况下，MLA可以包括至少约200列、400列、600列、800列、1,000列、1,200列、1,500列、1,750列、2,000列、2,200列、2,400列、2,600列、2,800列、3,000列、3,250列、3,500列、3,750列或4,000列微透镜。在一些情况下，MLA可以包括至多约200列、400列、600列、800列、1,000列、1,200列、1,500列、1,750列、2,000列、2,200列、2,400列、2,600列、2,800列、3,000列、3,250列、3,500列、3,750列或4,000列微透镜。本领域技术人员将认识到，MLA可以包括该范围内的任何数量的列，例如约2,600列。在一些情况下，MLA中的列数可以由光瞳平面的尺寸(例如，光瞳平面中的像素的数量和组织)决定。
在一些情况下，MLA可以包括约2行至约50行微透镜或其任何范围。在一些情况下，MLA可以包括至少约2行、4行、6行、8行、10行、12行、14行、16行、18行、20行、22行、24行、26行、28行、30行、32行、34行、36行、38行、40行、42行、44行、46行、48行或50行微透镜。在一些情况下，MLA可以包括至多约2行、4行、6行、8行、10行、12行、14行、16行、18行、20行、22行、24行、26行、28行、30行、32行、34行、36行、38行、40行、42行、44行、46行、48行或50行微透镜。本领域技术人员将认识到，MLA可以包括该范围内的任何数量的行，例如约32行。在一些情况下，微透镜的行和列的上述值及其范围可以颠倒。
在一些情况下，MLA可以包括微透镜图案(例如，交错的矩形或倾斜的六边形图案)，所述微透镜图案可以包括约4mm至约100mm或其任何范围的长度。在一些情况下，MLA中的微透镜图案的长度可以是至少约4mm、8mm、12mm、16mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm或100mm。在一些情况下，MLA中的微透镜图案的长度可以是至多约4mm、8mm、12mm、16mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm或100mm。本领域技术人员将认识到，MLA中的微透镜图案可以具有该范围内的任何值的长度，例如约78mm。在一些情况下，可以根据期望的放大倍率来确定MLA中的微透镜图案的长度。例如，MLA中的微透镜图案的长度可以是2.6mm×放大倍率。
在一些情况下，MLA中的微透镜图案(例如，交错的矩形或倾斜的六边形图案)可以包括约100μm至约1500μm或其任何范围的宽度。在一些情况下，MLA中的微透镜图案的宽度可以是至多约100μm、150μm、200μm、约250μm、300μm、约350μm、约400μm、450μm或500μm。在一些情况下，MLA中的微透镜图案(例如，交错的矩形或倾斜的六边形图案)的宽度可以是至少约100μm、150μm、200μm、250μm、300μm、350μm、400μm、450μm或500μm。本领域技术人员将认识到，MLA中的微透镜图案可以具有该范围内的任何值的宽度，例如约224μm。在一些情况下，可以根据期望的放大倍率来确定MLA图案的宽度，例如，50μm x放大倍率(即，类似于MLA中的微透镜图案的长度的确定)。
在一些示例中，MLA中的微透镜的倾斜六边形图案可以相对于MLA的垂直轴倾斜角度702。例如，可以通过下式来确定倾斜六边形图案的MLA的角度(θ)：
其中N是如上所述的倾斜六边形图案中的微透镜的行数。
在一些情况下，倾斜六边形图案MLA的角度(θ)可以被配置为约0.5度至约45度或其任何范围。在一些情况下，倾斜六边形图案MLA的角度(θ)可以被配置为至多约0.5、1、1.5、2、2.5、3、3.5、4、4.5、5、5.5、6、6.5、7、7.5、8、8.5、9、9.5、10、10.5、11、11.5、12、12.5、13、13.5、14、14.5、15、20、25、30、35、40或45度。在一些情况下，倾斜六边形图案MLA的角度(θ)可以被配置为至少约0.5、1度、1.5、2、约2.5、约3、约3.5、约4、约4.5、约5、5.5、6、6.5、7、7.5、8、8.5、9、9.5、10、10.5、11、11.5、12、12.5、13、13.5、14、14.5、15、20、25、30、35、40或45度。本领域技术人员将认识到，倾斜六边形图案MLA的角度(θ)可以具有该范围内的任何值，例如约4.2度。在一些情况下，倾斜六边形图案的角度(θ)可以被配置为生成在交叉扫描方向上照明峰值之间具有均匀间隔的照明图案。
在一些情况下，MLA还可以由间距、微透镜直径、数值孔径(NA)、焦距或其任何组合来表征。在一些情况下，多个微透镜中的微透镜可以具有约5微米(μm)至约40μm或其任何范围的直径。在一些情况下，多个微透镜中的微透镜的直径可以是至多约5μm、10μm、15μm、20μm、25μm、30μm、35μm或40μm。在一些情况下，多个微透镜中的微透镜的直径可以是至少约5μm、10μm、15μm、20μm、25μm、30μm、35μm或40μm。本领域技术人员将认识到，微透镜的直径可以具有该范围内的任何值，例如约28μm。在一些情况下，MLA中的多个微透镜中的每个微透镜具有相同的直径。在一些情况下，MLA中的多个微透镜中的至少一个微透镜具有与多个微透镜中的另一微透镜不同的直径。
在一些情况下，相邻微透镜之间的距离可以称为MLA的间距。在一些情况下，MLA的间距可以是约10μm至约70μm或其任何范围。在一些情况下，MLA的间距可以是至少约10μm、15μm、20μm、25μm、30μm、35μm、40μm、45μm、50μm、55μm、60μm、65μm或70μm。在一些情况下，MLA的间距可以是至多约10μm、15μm、20μm、25μm、30μm、35μm、40μm、45μm、50μm、55μm、60μm、65μm或70μm。本领域技术人员将认识到，MLA中的相邻微透镜之间的距离可以具有该范围内的任何值，例如约17μm。
在一些情况下，所公开的系统的一个或多个微透镜阵列中的各个透镜的间距(或间隔)可以变化，以便改变照明峰值强度位置之间的距离并且另外可以调整(例如，增加)成像系统的横向分辨率。在一些情况下，例如，可以通过增加一个或多个微透镜阵列的各个透镜之间的间距来提高成像系统的横向分辨率。
在一些情况下，MLA中的微透镜的数值孔径(NA)可以是约0.01至约2.0或其任何范围。在一些情况下，MLA中的微透镜的数值孔径可以是至少0.01、0.05、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、1.0、1.5、1.6、1.7、1.8、1.9或2.0。在一些情况下，MLA中的微透镜的数值孔径可以是至多2.0、1.9、1.8、1.7、1.6、1.5、1.4、1.3、1.2、1.1、1.0、0.9、0.8、0.7、0.6、0.5、0.4、0.3、0.2、0.1、0.05或0.01。在一些情况下，MLA中的微透镜的NA可以是约0.04、0.05、0.06、0.07、0.08、0.09、0.1、0.11或0.12。本领域技术人员将认识到，MLA中的微透镜的NA可以具有该范围内的任何值，例如约0.065。
在一些情况下，为微透镜阵列规格指定更严格的制造公差(例如，对各个微透镜形状、间距、数值孔径和/或阵列中微透镜行和列之间的间隔的更严格的制造公差)可以提高成像性能，例如通过消除例如照明PSF中的星形图案或其他非对称特征等伪影，所述伪影会导致相邻物体(例如相邻测序珠)之间的串扰。在一些情况下，MLA间距的可容忍变化是±20％，并且焦距的可容忍变化是±15％(例如参见分别关于图23A和图23B和图24A至图25C的示例3)。
在一些情况下，使用位于图像传感器上或前面的针孔孔隙阵列，例如，对在光学路径中位于图像传感器上游的微透镜阵列(MLA)中的微透镜阵列进行镜像的针孔孔隙阵列，可以用于最小化或消除系统PSF中的伪影(参见示例3)。在一些情况下，针孔孔隙阵列可以包括与MLA中的微透镜的数量相等的数量的孔隙。在一些情况下，针孔孔隙阵列中的孔隙可以以与用于MLA中的微透镜相同的图案和相同的间距定位。
在一些情况下，孔隙阵列中的针孔孔隙可以具有范围从约0.1μm至约2.0μm的直径。在一些情况下，孔隙阵列中的针孔孔隙的直径可以是至少0.1μm、0.15μm、0.2μm、0.25μm、0.3μm、0.35μm、0.4μm、0.45μm、0.5μm、0.55μm、0.6μm、0.65μm、0.7μm、0.75μm、0.8μm、0.85μm、0.9μm、0.95μm、1.0μm、1.05μm、1.1μm、1.15μm、1.2μm、1.25μm、1.3μm、1.35μm、1.4μm、1.45μm、1.5μm、1.55μm、1.6μm、1.65μm、1.7μm、1.75μm、1.8μm、1.85μm、1.9μm、1.95μm或2.0μm。在一些情况下，孔隙阵列中的针孔孔隙的直径可以是至多2.0μm、1.95μm、1.9μm、1.85μm、1.8μm、1.75μm、1.7μm、1.65μm、1.6μm、1.55μm、1.5μm、1.45μm、1.4μm、1.35μm、1.3μm、1.25μm、1.2μm、1.15μm、1.1μm、1.05μm、1.0μm、0.95μm、0.9μm、0.85μm、0.8μm、0.75μm、0.7μm、0.65μm、0.6μm、0.55μm、0.5μm、0.45μm、0.4μm、0.35μm、0.3μm、0.25μm、0.2μm、0.15μm、0.1μm。本领域技术人员将认识到，孔隙阵列中的针孔孔隙的直径可以是该范围内的任何值，例如约1.26μm。
投影光学组件
如关于图1所示的示例性成像系统(以及本文描述的其他成像系统配置，例如参见图2、图3A、图3B、图4、图5、图11、图12A和图12B)所描述，投影单元120(或投影光学组件)被配置为将图案化照明引导到被成像的物体，并且接收将被引导到检测器的反射、透射、散射或发射光。在一些情况下，投影光学组件可以包括二向色镜、面向物体的光学元件以及一个或多个中继光学部件或其任何组合。
在一些示例中，投影光学组件可以包括二向色镜，所述二向色镜被配置为透射一个波长范围内的图案化光并反射另一波长范围内的图案化光。在一些情况下，二向色镜可以包括可以反射或透射特定带宽的辐射能量的一个或多个光学涂层。二向色镜的成对透射和反射范围的非限制性示例包括425-515nm和325-395nm、454-495nm和375-420nm、492-510nm和420-425nm、487-545nm和420-475nm、520-570nm和400-445nm、512-570nm和440-492nm、512-570nm和455-500nm、520-565nm和460-510nm、531-750nm和480-511nm、530-595nm和470-523nm、537-610nm和470-523nm、550-615nm和480-532nm、567-620nm和490-550nm、575-650nm和500-560nm、587-650nm和500-565nm、587-650nm和500-565nm、592-660nm和540-582nm、592-660nm和540-582nm、612-675nm和532-585nm、608-700nm和525-588nm、619-680nm和540-590nm、647-710nm和575-626nm、620-720nm和570-646nm、667-725nm和585-650nm、673-740nm和600-652nm、686-745nm和615-669nm、692-760nm和590-667nm、705-780nm和630-684nm，以及765-860nm和675-737nm。
在一些情况下，二向色镜可以具有约10mm至约250mm或其任何范围的长度。在一些情况下，二向色镜的长度可以是至少约10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、100mm、150mm、200mm或250mm。在一些情况下，二向色镜的长度可以是至多约10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、100mm、150mm、200mm或250mm。本领域技术人员将认识到，二向色镜可以是该范围内的任何长度，例如54mm。
在一些情况下，二向色镜可以具有约10mm至约250mm或其范围的宽度。在一些情况下，二向色镜的宽度可以是至少约10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、100mm、150mm、200mm或250mm。在一些情况下，二向色镜的宽度可以是至多约10mm、20mm、约30mm、约40mm、约50mm、约60mm、约70mm、约80mm、约100mm、约150mm、约200mm或约250mm。本领域技术人员将认识到，二向色镜可以是该范围内的任何宽度，例如22mm。
在一些情况下，二向色镜可以包含熔融石英、硼硅酸盐玻璃或其任何组合。二向色镜可以针对实验中使用的特定类型的荧光团或染料进行定制。二向色镜可以由能够并且被配置为将来自图案照明源的照明图案引导到物体并且将从物体反射的图案引导到检测单元的一个或多个光学元件(例如，光学分束器或涂层、波片等)替代。
在一些情况下，投影光学组件可以包括面向物体的光学部件，所述面向物体的光学部件被配置为将照明图案引导到物体并且接收由物体反射、透射、散射或发射的光。在一些情况下，面向物体的光学器件可以包括物镜或透镜阵列。在一些情况下，物镜可以具有约0.2至约2.4的数值孔径。在一些情况下，物镜可以具有至少约0.2、0.4、0.6、0.8、1、1.2、1.4、1.6、1.8、2、2.2或2.4的数值孔径。在一些情况下，物镜可以具有至多约0.2、0.4、0.6、0.8、1、1.2、1.4、1.6、1.8、2、2.2或2.4的数值孔径。本领域技术人员将认识到，物镜可以具有该范围内的任何数值孔径，例如1.33。
在一些情况下，物镜孔径可以由覆盖物镜孔径的总可用区域的照明图案填充，同时保持照明图案的良好分离的强度峰值。在一些情况下，投影光学组件的镜筒透镜或中继光学器件可以被配置为将图案化照明中继到物镜孔径以填充物镜孔径的总可用区域，同时保持良好分离的照明强度峰值。
检测单元
如关于图1所示的示例性成像系统(以及本文描述的其他成像系统配置，例如参见图2、图3A、图3B、图4、图5、图11、图12A和图12B)所描述的，检测单元140(或图案化照明检测器)可以包括第二光学变换装置142、被配置用于执行TDI成像的一个或多个图像传感器144、任选光学器件148或其任何组合。
在本文描述的任何成像系统配置中，如图1所示，检测单元可以包括一个或多个图像传感器144。在一些情况下，一个或多个图像传感器可以包括时间延迟和积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机、单光子雪崩二极管(SPAD)阵列，或其任何组合。在一些情况下，检测单元可以包括一个或多个图像传感器，所述图像传感器被配置为检测可见光、近红外光、红外光或其任何组合中的光子。在一些情况下，两个或更多个图像传感器中的每一个可以被配置为检测相同波长范围内的光子。在一些情况下，两个或更多个图像传感器中的每一个可以被配置为检测不同波长范围内的光子。
在本文描述的任何成像系统配置中，一个或多个图像传感器可以各自包括约256个像素至约65,000个像素。在一些情况下，图像传感器可以包括至少256个像素、512个像素、1,024个像素、2,048个像素、4,096个像素、8,192个像素、16,384个像素、32,768个像素或65,536个像素。在一些情况下，图像传感器可以包括至多256个像素、512个像素、1,024个像素、2,048个像素、4,096个像素、8,192个像素、16,384个像素、32,768个像素或65,536个像素。本领域技术人员将认识到，图像传感器可以具有该范围内的任何数量的像素，例如2,048个像素。
在本文描述的任何成像系统配置中，一个或多个图像传感器可以具有约1微米(μm)至约7μm的像素尺寸。在一些情况下，传感器可以具有至少约1μm、2μm、3μm、4μm、5μm、6μm或7μm的像素尺寸。在一些情况下，传感器可以具有至多约1μm、2μm、3μm、4μm、5μm、6μm或7μm的像素尺寸。本领域技术人员将认识到，物镜可以具有该范围内的任何像素尺寸，例如约1.4μm。
在本文描述的任何成像系统配置中，一个或多个图像传感器可以在范围从约1纳秒(ns)至约1毫秒(ms)的TDI时钟周期(或积分时间)内操作。在一些情况下，TDI时钟周期可以是至少1ns、10ns、100ns、1微秒(μs)、10μs、100μs、1ms、10ms、100ms或1s。本领域技术人员将认识到，TDI时钟周期可以具有该范围内的任何值，例如约12ms。在本文描述的任何成像系统配置中，一个或多个传感器可以包括TDI传感器，所述TDI传感器包括用于在图像采集期间对电荷进行积分的多个级。例如，在一些情况下，一个或多个TDI传感器可以包括至少64级、至少128级、至少256级。在一些情况下，一个或多个TDI传感器可以被分成两个或更多个(例如，2、3、4或多于4个)平行子传感器，所述多个平行子传感器可以顺序地被触发以减少运动引起的图像模糊，其中顺序触发之间的时间延迟与待成像的样品与所述一个或多个TDI传感器之间的相对运动速率成正比。
在本文描述的任何成像系统配置中，所述系统可以被配置为用范围从约0.1毫秒(ms)至约100秒的扫描时间来采集一个或多个图像。在一些情况下，图像采集时间(或扫描时间)可以是至少0.1ms、1ms、10ms、100ms、1微秒(μs)、10μs、100μs、1s、10s或100s。在一些情况下，图像采集时间(或扫描时间)可以具有本段中描述的值范围内的任何值，例如2.4s。
在本文描述的任何成像系统配置中，包括在检测单元中的任选光学器件可以包括多个中继透镜、多个镜筒透镜、多个光学滤波器或其任何组合。在一些情况下，成像系统的传感器像素尺寸和放大倍率可以被配置为允许对传感器成像平面处的光学光强度进行充分采样。在一些情况下，充分的采样可能接近或显著超过奈奎斯特采样频率。
在本文描述的任何成像系统配置中，第二光学变换装置142可以包括以下各者中的一者或多者：微透镜阵列(MLA)、衍射元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)、针孔阵列或其他变换元件等。第二光学变换装置可以将由第一光学变换装置106生成的照明图案以及从物体反射、透射、散射或发射的图案化光变换为不重叠的强度峰值的阵列。在一些情况下，第二光学变换装置142可以包括与图案照明源102中的第一光学变换装置106互补的光学变换装置。在一些情况下，第一光学变换装置和第二光学变换装置可以是相同类型的光学变换装置(例如，微透镜阵列)。在一些情况下，互补的第一光学变换装置和第二光学变换装置可以共享共同的特性，例如本文别处描述的第一光学变换装置106的特性。
所公开的成像系统的第一光学变换装置可以被配置为应用第一变换以生成可以由第二光学变换装置进一步变换的照明图案。与不使用这些光学变换装置生成的物体的图像相比，由第一光学变换装置和第二光学变换装置进行的第一变换和第二变换可以生成物体的分辨率增强的图像。在图9A和图9B的比较中可以看出由于包括这些光学变换装置而导致的分辨率增强，这些图示出了使用两个光学变换装置生成的物体的图像(图9B)和只使用第一光学变换装置生成的物体的图像(图9A)。
在本文描述的任何成像系统配置中，如图1所示的检测单元140可以被配置为使得一个或多个图像传感器144检测具有范围从约400纳米(nm)至约1,500nm或其任何范围的一个或多个中心波长的光。在一些情况下，中心波长可以是至少约400nm、500nm、600nm、700nm、800nm、900nm、1,000nm、1,100nm、1,200nm、1,300nm、1,400nm或1,500nm。在一些情况下，中心波长可以是至多约400nm、500nm、600nm、700nm、800nm、900nm、1,000nm、1,100nm、1,200nm、1,300nm、1,400nm或1,500nm。本领域技术人员将认识到，物镜可以具有该范围内的任何像素尺寸，例如约703nm。
在本文描述的任何成像系统配置中，一个或多个图像传感器单独地或与一个或多个光学部件(例如，光学滤波器和/或二向色分束器)组合可以检测具有在±2nm、±5nm、±10nm、±20nm、±40nm、±80nm或更大的带宽内的指定中心波长的光。本领域技术人员将认识到，所述带宽可以具有该范围内的任何值，例如±18nm。
在本文描述的任何成像系统配置中，到达一个或多个图像传感器的由物体反射、透射、散射或发射的光的量是进入检测单元的所述反射、透射、散射或发射光的至少40％、50％、60％、70％、80％或90％。
在本文公开的任何成像系统配置中，成像通量(就每秒可以成像(或“读取”)的可区分特征或位置的数量来说)可以在约106次读取/秒至约1010次读取/秒的范围内。在一些情况下，成像通量可以是至少约106、至少5x 106、至少107、至少5x 107、至少108、至少5x108、至少109、至少5x 109或至少1010次读取/秒。本领域技术人员将认识到，成像通量可以是该范围内的任何值，例如约2.13x 109次读取/秒。
在本文描述的任何成像系统配置中，所述成像系统能够对信号进行积分并且采集与通过缺少第二光学变换装置的在其他方面相同的成像系统采集的图像中的信噪比(SNR)相比信噪比(SNR)增加的扫描图像。在一些情况下，使用所公开的成像系统采集的扫描图像展现出的信噪比(SNR)相对于使用缺少第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的信噪比增加了大于20％、40％、60％、80％、100％、120％、140％、160％、180％、200％、300％、400％、500％、600％、700％、800％、900％、1,000％、1,200％、1,400％、1,600％、1,800％、2,000％或2500％。在一些情况下，使用所公开的成像系统采集的扫描图像展现出的信噪比(SNR)相对于使用缺少第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的信噪比增加了至少2x、3x、4x、5x、6x、7x、8x、9x或10x。
在本文描述的任何成像系统配置中，所述成像系统能够对信号进行积分并且采集与通过缺少第二光学变换装置的在其他方面相同的成像系统采集的图像中的图像分辨率相比图像分辨率增加的扫描图像。在一些情况下，使用所公开的成像系统采集的扫描图像展现出的图像分辨率相对于使用缺少第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的图像分辨率增加了约10％、20％、30％、40％、50％、60％、70％、80％、90％、100％、125％、150％、1275％、200％、225％、250％、275％、300％或多于300％。在一些情况下，使用所公开的成像系统采集的扫描图像展现出的图像分辨率相对于使用缺少第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的图像分辨率增加了至少1.2x、至少1.5x、至少2x或至少3x。
在一些情况下，使用所公开的成像系统采集的扫描图像展现出的图像分辨率优于0.6(以λ/NA为单位的有效点扩散函数的FWHM)、优于0.5、优于0.45、优于0.4、优于0.39、优于0.38、优于0.37、优于0.36、优于0.35、优于0.34、优于0.33、优于0.32、优于0.31、优于0.30、优于0.29、优于0.28、优于0.27、优于0.26、优于0.25、优于0.24、优于0.23、优于0.22、优于0.21或优于0.20。本领域技术人员将认识到，使用所公开的成像系统采集的扫描图像展现出的图像分辨率可以是该范围内的任何值，例如约0.42(以λ/NA为单位的有效点扩散函数的FWHM)。
物体定位系统
在本文描述的任何成像系统配置中，如图1所示的物体定位系统130可以包括一个或多个致动器，例如，线性平移台、二维平移台、三维平移台、圆形旋转台或其任何组合，所述致动器被配置为支撑物体132并且相对于投影单元120移动物体(或反之亦然)。
在一些情况下，一个或多个致动器可以被配置为使物体(或投影光学组件)移动了约0.1mm至约250mm或其任何范围的距离。在一些情况下，一个或多个致动器可以被配置为使物体(或投影光学组件)移动了至少0.1mm、0.5mm、1mm、2mm、4mm、6mm、8mm、10mm、20mm、30mm、40mm、50mm、60mm、70mm、80mm、90mm、100mm、110mm、120mm、130mm、140mm、150mm、160mm、170mm、180mm、190mm、200mm、210mm、220mm、230mm、240mm或250mm。在一些情况下，一个或多个致动器可以被配置为使物体(或投影光学组件)移动了至多约250mm、240mm、230mm、220mm、210mm、200mm、190mm、180mm、170mm、160mm、150mm、140mm、130mm、120mm、110mm、100mm、90mm、80mm、70mm、60mm、50mm、40mm、30mm、20mm、10mm、8mm、6mm、4mm、2mm、1mm、0.5mm或0.1mm。本领域技术人员将认识到，一个或多个致动器可以被配置为使物体(或投影光学组件)移动了具有该范围内的任何值的距离，例如约127.5mm。
在一些情况下，一个或多个致动器可以以约20nm至约500nm或其任何范围的分辨率行进。在一些情况下，致动器可以以至少约20nm、40nm、60nm、80nm、100nm、150nm、200nm、250nm、300nm、350nm、400nm或500nm的分辨率行进。在一些情况下，致动器可以以至多约20nm、40nm、60nm、80nm、100nm、150nm、200nm、250nm、300nm、350nm、400nm或500nm的分辨率行进。本领域技术人员将认识到，致动器可以以该范围内的任何值的分辨率行进，例如约110nm。
在一些情况下，一个或多个致动器可以被配置为以约1mm/s至约220mm/s或其任何范围的速率平移物体(或投影光学组件)。在一些情况下，一个或多个致动器可以被配置为以至少约1mm/s、20mm/s、40mm/s、60mm/s、80mm/s、100mm/s、120mm/s、140mm/s、160mm/s、约180mm/s、约200mm/s或约220mm/s的速率平移物体(或投影光学组件)。在一些情况下，一个或多个致动器可以被配置为以至多约1mm/s、20mm/s、40mm/s、60mm/s、80mm/s、100mm/s、120mm/s、140mm/s、160mm/s、180mm/s、200mm/s或220mm/s的速率平移物体(或投影光学组件)。本领域技术人员将认识到，一个或多个致动器可以被配置为以该范围内的任何值的速率平移物体(或投影光学组件)，例如约119mm/s。
成像方法
在一些示例中，本文公开了利用本文描述的成像系统对物体成像的方法。在一些情况下，利用本文描述的成像系统对物体成像可以提供高通量、高SNR成像，同时保持增强的成像分辨率。在一些情况下，对物体成像的方法可以包括：(a)通过辐射源照射第一光学变换装置；(b)对来自辐射源的光进行变换以生成照明图案；(c)将照明图案投影到投影光学组件，所述投影光学组件被配置为接收来自第一光学变换装置的照明图案并将所述照明图案引导到所述物体；(d)由第二光学变换装置接收所述照明图案从所述物体的反射；(e)通过第二光学变换装置对照明图案进行变换以生成变换后的照明图案；(f)用一个或多个图像传感器来检测变换后的照明图案，其中所述图像传感器被配置用于时间延迟和积分(TDI)成像，并且其中照明图案相对于物体移动和/或物体相对于照明图案移动。照明图案和/或物体可以经由一个或多个致动器来移动。例如，致动器可以是上面附有物体的线性台。另选地，致动器可以是旋转的。
在一些情况下，使用所公开的成像系统对物体成像可以包括：用光束照射第一光学变换装置，由第一光学变换装置对光束应用第一光学变换以产生照明图案，通过面向物体的光学部件将照明图案提供到物体上，将由物体反射、透射、散射或发射(例如，从物体输出)的光引导到第二光学变换装置，由第二光学变换装置对由物体反射、透射、散射或发射(例如，从物体输出)的光应用第二光学变换并将其中继到被配置用于时间延迟和积分(TDI)成像的一个或多个图像传感器；以及相对于面向物体的光学部件来扫描物体，或相对于物体来扫描面向物体的光学部件，其中在扫描期间物体与面向物体的光学部件的相对运动与一个或多个图像传感器进行的时间延迟和积分(TDI)成像同步，使得一个或多个图像传感器中的每一者采集物体的全部或一部分的扫描图像。在一些情况下，照明图案在物体上扫描，其中扫描图案与一个或多个图像传感器进行的TDI成像同步，以采集物体的全部或一部分的扫描图像。在一些情况下，扫描的速度和方向与TDI成像同步。在一些情况下，扫描包括移动照明图案、移动物体或两者。
图13提供了示出根据本文描述的一些实现方式的对物体1300成像的示例方法的流程图。在步骤1302中，使用第一光学变换装置对由辐射源提供的光进行变换以生成包括多个照明强度峰值的照明图案。在步骤1304中，将图案化照明引导到被成像的物体(例如，使用投影光学组件)，其中每个照明强度峰值(或照明强度最大值)被引导到物体上的对应点或位置。在步骤1306中，收集物体响应于被图案化照明照射而反射、透射、散射或发射的光并将所述光引导到第二光学变换装置，所述第二光学变换装置对收集到的光应用第二光学变换并以补偿在缺少第二光学变换装置的在其他方面相同的成像系统中的TDI图像传感器的每个单独图像传感器像素将会观察到的空间偏移的方式来重新路由和重新分配(即，第二光学变换装置产生变换后的光学图像)。在步骤1308中，变换后的光学图像聚焦在被配置用于TDI成像的一个或多个图像传感器上，所述一个或多个图像传感器检测光信号并对光信号进行积分以采集物体的分辨率增强的图像。在与步骤1308中的图像采集并行执行的步骤1310中，使用致动器来相对于照明图案(和成像光学器件)移动物体或相对于物体移动照明图案(和成像光学器件)，使得物体的相对移动与一个或多个TDI图像传感器中累积的光电子的像素到像素转移同步，并且对从物体上的每个点发出的光进行检测和积分以产生分辨率增强的高SNR图像。
在一些情况下，在一次扫描中仅可以对物体的一部分成像。在一些情况下，例如通过执行一连串扫描来采集一连串图像，其中物体在扫描之间在一个或两个维度上平移了视场(FOV)的全部或一部分，并且该一连串扫描彼此对准以产生具有更大总FOV的物体的复合图像。
计算装置和系统
图16示出了根据本公开的一个或多个示例的计算装置的示例。装置1600可以是连接到网络的主计算机。装置1600可以是客户端计算机或服务器。如图16所示，装置1600可以是任何合适类型的基于微处理器的装置，诸如个人计算机、工作站、服务器或手持式计算装置(便携式电子装置)诸如电话或平板电脑。所述装置可以包括例如处理器1610、输入装置1620、输出装置1630、存储装置1640和通信装置1660中的一者或多者。输入装置1620和输出装置1630可以大体上对应于上述的那些，并且它们可以与计算机连接或集成。
输入装置1620可以是提供输入的任何合适的装置，诸如触摸屏、键盘或小键盘、鼠标或语音识别装置。输出装置1630可以是为用户提供输出的任何合适的装置，诸如触摸屏、触觉装置或扬声器。
存储装置1640可以是提供存储的任何合适的装置，诸如电存储器、磁存储器或光存储器，包括RAM、高速缓存、硬盘驱动器或可移动存储盘。通信装置1660可以包括能够通过网络发射和接收信号的任何合适的装置，诸如网络接口芯片或装置。计算机的部件可以以任何合适的方式连接，诸如经由物理总线1670或无线地连接。
可以存储在存储器/存储装置1640中并由处理器1610执行的软件1650可以包括例如体现本公开的功能性的程序(例如，如在如上所述的装置中体现的)。
软件1650还可以存储在任何非暂态计算机可读存储介质内和/或在任何非暂态计算机可读存储介质内传输，以供指令执行系统、设备或装置使用或与其结合使用，例如上述那些，所述指令执行系统、设备或装置可以从指令执行系统、设备或装置获取与软件相关联的指令并执行指令。在本公开的上下文中，计算机可读存储介质可以是任何介质，诸如存储装置1640，其可以包含或存储由指令执行系统、设备或装置使用或与其结合使用的程序。
软件1650还可以在任何传输介质内传播，以供指令执行系统、设备或装置使用或与其结合使用，例如上述那些，所述指令执行系统、设备或装置可以从指令执行系统、设备或装置获取与软件相关联的指令并执行指令。在本公开的上下文中，传输介质可以是能够传达、传播或传输程序以供指令执行系统、设备或装置使用或与其结合使用的任何介质。传输可读介质可以包括但不限于电、磁、光、电磁或红外有线或无线传播介质。
装置1600可连接到网络，所述网络可以是任何合适类型的互连通信系统。网络可实施任何合适的通信协议并且可通过任何合适的安全协议来保护。网络可包括可实施网络信号的发射和接收的任何合适布置的网络链路，诸如无线网络连接、T1或T3线路、电缆网络、DSL或电话线。
装置1600可实施适合在网络上操作的任何操作系统。软件1650可用任何合适的编程语言诸如C、C++、Java或Python编写。在各种实施方案中，体现本公开的功能的应用程序软件可按不同配置来部署，诸如按客户端/服务器布置或通过Web浏览器作为例如基于Web的应用程序或Web服务。
示例
示例1–两个发射器成像的分辨率增强
图14提供了根据本文描述的一些实现方式的由光学变换TDI成像系统提供的分辨率提高的示例。示出了使用常规TDI成像(左上)、共焦TDI成像(例如，包括与TDI图像传感器中的中心像素对准的单个针孔的共焦成像系统；中上)和如本文所述的重新缩放的TDI成像系统(包括第二光学变换装置，例如，微透镜阵列，以重新缩放照明PSF和检测PSF)(右上)成像的两个紧密间隔的点发射器的热图(即，图像强度随激光束坐标(X)和图像平面坐标(Y)而变的模拟图)。绘制了常规TDI成像系统(左下)、共焦TDI成像系统(中下)和重新缩放TDI成像系统(右下)的对应图像强度分布。可以看出，重新缩放的TDI成像系统能够产生具有与使用共焦TDI成像系统获得的图像分辨率相当(或更好)的图像分辨率的图像，并且共焦TDI成像系统和重新缩放的TDI成像系统均产生具有比使用常规TDI成像系统获得的图像分辨率明显更高的图像分辨率的图像。此外，重新缩放的TDI图像具有比使用共焦TDI成像获得的图像更高的信号(以及SNR和对比度的相应提高)(参见强度分布图的相对强度尺度)，因为大部分的发射光被后一种仪器中的针孔挡住了。
示例2–图像分辨率与成像技术
图15示出了不同成像方法中的信号与分辨率之间的关系。图15中的左图提供了共焦成像系统的图像分辨率(以λ/NA为单位的有效点扩散函数的FWHM)与孔隙尺寸(以艾里单位为单位，即，其中艾里单位是衍射受限艾里图案的中心最大峰值周围的第一零强度环的直径)的图以及信号强度(相对于最大信号)与孔隙尺寸(以艾里单位为单位)的图。可以看出，使用共焦成像系统可以实现的图像分辨率在对应于约1.25艾里单位的孔隙尺寸处达到了约0.52的最大值，然后达到稳定状态。使用共焦成像系统可以实现的信号强度最初随着孔隙尺寸增加而急剧增加，但随后对于大于约1.25艾里单位的孔隙增加得很慢。
图15的右图提供了常规成像、共焦成像和所公开的光学变换成像系统的理论相对信号强度与图像分辨率的图。常规成像系统受到衍射的限制，在最大信号强度下，图像分辨率在该尺度下只能达到约0.54。共焦成像系统能够实现约0.52(在较大孔隙处)至约0.38(在小孔隙处)的图像分辨率，但信号强度相应地显著损失。本文描述的光学变换成像系统能够实现小于约0.35的图像分辨率，同时保持高信号强度。
示例3–共焦结构化照明(CoSI)荧光显微术
高分辨率和快速速度对于光学显微术中高通量成像的一些应用至关重要。由于可用的数值孔径(NA)选项，光学显微术的空间分辨率受到限制，即使使用像差可以忽略不计的光学元件也是如此。光子重新分配(也称为“像素重新分配”)已被证明超越常规光学分辨率限制，从而能够解析生物成像中原本难以可视化的精细结构。本示例描述了共焦结构化照明(CoSI)荧光显微术，这个概念结合了光子重新分配方法(用于增强的分辨率)、多焦点照明方法(用于并行成像)和时间延迟积分(TDI)相机(用于使用减少的辐照度来快速成像以最小化敏感样品和染料的光损伤)。计算机模拟表明，按对应于“点”物体的信号的半高全宽(FWHM)测量的横向分辨率可以提高了约1.6倍。也就是说，通过实施CoSI，被成像物体(例如，表面上的珠子)的FWHM从0.48μm减小到约0.3μm。实验数据表明，在0.2μm直径的珠子的图像中，横向分辨率提高了1.35倍，FWHM从0.54μm减小到0.4μm。
共焦显微术：在典型共焦显微镜中，总体3D强度系统点扩散函数(PSF)由下式给出：
此处，表示3D卷积，Hi和Hd分别是照明PSF和检测PSF，并且P表示共焦针孔，所述共焦针孔被假设为无限薄，表达为：
P(x2,y2,z2)＝D(x2，y2)δ(z2) (2)
实际上，由于在P的定义中存在δ(z2)(狄拉克δ函数)，因此在x-y平面中只需要实施2D卷积。在物镜的后焦平面上均匀照明的情况下，强度PSF由下式决定：
其中ν和u是无量纲径向坐标和轴向坐标：
此处，λ是光的波长(λi和λd分别是用于检测路径的照明和荧光的中心波长)，l是物镜的有效焦距，并且a是光瞳孔径的半径。
如果共焦针孔同轴并且无限小，那么P变成了三维的狄拉克δ函数，从而产生理想系统PSF，由下式给出：
H全部＝HiHd (5)
如果无限小的共焦针孔离轴放置，那么系统PSF由下式给出：
H全部＝Hi(x2，y2，z2)Hd(x2-Δx，y2-Δy，z2) (6)
其中Δx和Δy是针孔相对于光轴的偏移。
如果根据方程式(6)绘制了具有离轴小共焦针孔的共焦显微镜的PSF(假设照明波长为0.623μm，中心荧光发射波长为0.670μm，物镜数值孔径为0.72，以及共焦针孔的位移为0.2338μm)，则所得系统PSF的峰值约为α＝共焦针孔的位移的0.46(0.11μm是共焦轨迹中的峰值的偏移，而0.2338μm是检测轨迹的峰值)。与具有同轴小共焦针孔的共焦显微镜相比，半高全宽(FWHM)提高到0.316μm，而检测PSF为0.48μm并且照明PSF为0.44μm。
光子重新分配和CoSI：有多种策略可用于实施光子重新分配以提高分辨率。这些策略属于两个主要类别：数字方法(例如，如图17A和图17B所示)和光学方法(例如，如图17C和图17D所示)。这些图中所示的每个光学系统都可以包括光源(例如，激光器；未图示)、一个或多个扫描仪1702和1704(例如，检流镜)、一个或多个二向色镜(DM)1710、至少一个物镜(OB)1712、至少一个2D相机以及一个或多个额外透镜(例如，场透镜、镜筒透镜等)。在一些情况下，光学系统(例如图17D中所示)可以包括一个或多个微透镜阵列(MLA)或其他光学变换装置1706和1708。
用于光子重新分配的数字方法通常很慢。对于非退扫描(图17A；检测到的光不被用于在样品上扫描照明光的扫描仪(例如，检流镜)退扫描)和退扫描策略(图17B；检测到的光被用于扫描照明光的同一个扫描仪退扫描)，采集并处理每个扫描点的2D图像，并且以数字方式实施重新分配。对于重新扫描策略(图17C和图17D)，以光学方式重新分配光子。光学光子重新分配速度很快，但这种速度可能会以增加硬件复杂性为代价。图17C所示的系统在每个循环中扫描样品上的单个点，而图17D所示的系统在相同的时间扫描样品上的多个照明光焦点(在该示例中，通过使用微透镜阵列1706生成)，从而以更快的速度进行并行成像(经由微透镜阵列1708的位置调整来执行光学光子重新分配)。这些方法包括在样品上扫描照明光、退扫描、然后重新扫描检测到的光，这可能实施起来比较复杂。例如，它们可能需要至少一对扫描透镜(例如，与图17C和图17D中的扫描仪1702和1704相邻的透镜)以将x扫描光和y扫描光中继到物镜的后焦平面，并且设计和制造用于大视场(FOV)的扫描镜对可能是具有挑战性的。事实上，光学系统中的每个中继器都增加了系统的复杂性和成本。此外，可能难以将扫描照明光和退扫描检测到的光的主扫描仪(例如，图17C和图17D中的检流镜1702)与将检测到的光重新扫描到相机的辅扫描仪(例如，图17C和图17D中的检流镜1704)匹配。
为了实现精确的光学光子重新分配，相机和样品通常必须保持相对彼此静止。因此，除了重新扫描之外，对于非静止样品实现该目标的一种策略还可以是以与样品匹配的速度移动相机，这大大简化了成像系统。该方法还可与TDI相机的使用兼容，以补偿样品与相机之间的恒定、线性相对运动。匹配相机和样品运动还利用了TDI相机增加成像通量同时减少所需辐照度级的能力。
在非退扫描共焦显微镜(图17A)中，相机前面的强度分布是：
U(x2，y2，x1，y1)＝∫∫Hi(x0-x1，y0-y1)S(x0，y0)Hd(xo-x2，yo-y2)dx0dy0 (7)
其中(x1,y1)是照明光的扫描位置，并且(x0,y0)和(x2,y2)分别是样品平面和相机平面上的坐标。样品上的照明点的中心(x1,y1)处发出的光的主光线到达相机空间中的(x1,y1)，假设从样品到相机的放大倍率是1x(并且忽略负号)。到达(x2,y2)的光子偏离主光线一段距离(xd＝x2-x1,yd＝y2-y1)。那些光子应重新分配到位置[xr＝(1-α)x1+αx2,yr＝(1-α)y1+αy2]。对样品上的扫描位置(x1,y1)进行积分得到：
U(xr，yr)＝∫∫H全部(x0-xr，yo-yr)S(x0，y0)dx0dy0 (9)
此处：
H全部(x，y)＝∫∫Hi[x-αxd，y-αyd]Hd[x+(1-α)xd，y+(1-α)yd]dxddyd (10)
并且将对扫描位置(x1,y1)的积分替换为对(xd,yd)的积分。方程式(10)表明了光子重新分配系统的最终PSF是缩放后的照明PSF与检测PSF之间的卷积。如果α＝0.5，则系统PSF简化为：
其中表示卷积运算。
3D的系统PSF由下式给出：
H全部(x，y，z)＝∫∫Hi[x-αxd，y-αyd，z]Hd[x+(1-α)xd，y+(1-α)yd，z]dxddyd (12)
请注意，卷积仅发生在x-y平面中，并且H全部(x,y,z)包括z方向上的乘法。
模拟结果：方程式(12)使得能够通过光子重新分配来直接估计系统PSF。但是，它没有考虑使用多焦点照明模式时检测到的信号中潜在的串扰。因此，整个系统的模拟考虑了傅里叶光学，以更准确地预测实际系统性能。
横向分辨率：图18A示出了并入有TDI相机的CoSI显微镜的紧凑设计的非限制性示例。去除扫描仪和光学中继器可以显著降低系统的复杂性和成本。请注意，图18A所示的光学路径中不存在用于执行光学扫描的机械部件。样品与相机传感器之间的相对运动由TDI机构补偿，所述TDI机构以与样品运动匹配的速度在传感器上移动积分电荷。通过使用微透镜阵列(MLA1)或衍射光学元件(DOE)产生多焦点(或结构化)照明图案并通过镜筒透镜和物镜将所述照明图案投影到样品平面上。第二MLA(MLA2)执行光子重新分配。
在本次模拟中，系统的放大倍率被设为21.1x，物镜的NA是0.72，MLA1和MLA2的间距是23μm，并且MLA1和MLA2的焦距分别是340μm和170μm。光子重新分配系数α被设为0.44(L1/L2)。激发波长为0.623μm，并且发射波长为0.670μm。与宽视场显微镜相比，横向分辨率总体提高了～1.6倍(0.48μm/0.3μm)。
图18B至图18E分别提供了MLA1的相位图案(图18B)、投影到样品平面上的照明光的图案(图18C)、MLA2的相位图案(图18D)和投影到光瞳平面上的照明光的图案(图18E)的非限制性示例。此处，λ是相位差与波长(例如，用于成像系统中的照明的波长)的比率。MLA的间距被设计成使得在光瞳平面(或物镜的后焦平面)上，仅允许由MLA1产生的零级和一级衍射图案穿过物镜(参见图18E；白色圆圈表示该视图中的光瞳直径)。一级图案靠近光瞳孔径的边界以最大化照明分辨率，根据方程式(10)，这又有利于最终系统PSF。在一些情况下，可以调整光瞳平面上的峰值强度位置，例如，通过使用MLA1产生的照明强度的二级图案而不是零级或一级图案。MLA/DOE具有三个功能：(1)实现光子重新分配(参见图18F，该图示出了MLA2和相机的横截面图；L1是MLA2与相机传感器之间的标称距离，并且L2是MLA2的焦距)，(2)提供并行成像以实现快速成像通量；以及(3)与具有无限小共焦针孔(CoSI中的～0.29μm对比共焦系统中的0.316μm)的共焦显微镜相比进一步提高系统的横向分辨率。
图18G提供了宽场显微镜的在x方向(上轨迹)和y方向(下轨迹)上的标准化系统PSF的图(FWHMX＝0.478μm；FWHMY＝0.477μm；x方向的图相对于y方向的图偏离了0.5个单位)。图18H提供了CoSI显微镜的在x方向(上轨迹)和y方向(下轨迹)上的标准化系统PSF的图(FWHMX＝0.275μm；FWHMY＝0.296μm；同样，x方向的图相对于y方向的图偏离了0.5个单位)。从这些图中可以看出，CoSI系统预计将提供更窄的点扩散函数和更高的横向分辨率。
光瞳平面上的零级功率：MLA或DOE的零级和/或一级衍射图案可以投影到光瞳平面上(例如，通过调整焦距)。如果使用MLA，则零级图案包含光瞳孔径内总功率的约76％。通过使用定制设计的DOE，人们可以调整零级图案中包含的功率。随着零级功率变小，系统PSF的FWHM也提高，而样品上的照明图案的峰均强度比也增加。如果峰值辐照度过高，则荧光染料可能接近其饱和水平，可能会引发光损伤，和/或可能会引发其他损伤机制，例如，由于过热。因此，可能需要在横向分辨率与峰均强度比之间进行权衡。但只要辐照度在安全区内，零级功率就应该最小化。
图19A至图19C示出了这些趋势。图19A提供了系统PSF的FWHM(在x方向(上轨迹)和y方向(下轨迹)上)随着零级功率(作为光瞳孔径内的总功率的百分数)而变的图的非限制性示例。图19B提供了照明图案的峰均强度比随着零级功率而变的图的非限制性示例。图19C提供了FWHM随着零级功率和光子重新分配系数两者而变的图的非限制性示例。在本次模拟中，系统的放大倍率为21.1x，物镜的NA是0.72，MLA1和MLA2的间距是23μm，并且MLA1和MLA2的焦距分别是340μm和170μm。激发波长为0.623μm，并且发射波长为0.670μm。
轴向分辨率：轴向FWHM随着光子重新分配系数α而变。如果α在范围[0.4,0.5]内，则轴向FWHM减小了1.3分之一(例如，2.6μm/2μm＝1.3)。图20A提供了针对光子重新分配系数α的不同值在x、y和z方向上(投影到x-z平面上)的模拟系统PSF的非限制性示例。图20B提供了标准化系统PSF的峰值随着光子重新分配系数α而变的图的非限制性示例。模拟参数与针对图18A至图18H和图19A至图19C描述的结果描述的那些模拟参数相同。
MLA的取向：MLA的取向影响样品处的照明均匀度。图21A提供了照明均匀度(被定义为(Imax–Imin)/(Imax+Imin)，其中Imax和Imin分别是照明图案中的最大和最小光强度)随着MLA的取向而变的图的非限制性示例，并且示出了为了实现高对比度图案化照明而应该避免的角度，例如，接近0°、30°、60°等。在本次模拟中，假设使用87级的TDI相机，像素尺寸是5μm，并且样品到相机的放大倍率是21.1x。其他模拟参数与针对图18A至图18H和图19A至图19C描述的结果的那些模拟参数相同。
图21B提供了针对0.0度的MLA取向角(例如，第二光学变换元件相对于图像传感器像素阵列的x轴和y轴没有倾斜或旋转)的照明图案(上图)以及平均照明强度随着样品上的距离而变的图(下图)的非限制性示例。
图21C提供了针对6.6度的MLA取向角(例如，第二光学变换元件的倾斜)的照明图案(上图)以及平均照明强度随着样品上的距离而变的图(下图)的非限制性示例。如参看图7B所描述的，MLA相对于TDI图像传感器中的像素行和列的x和y坐标倾斜。
MLA取向和PSF测量的注意事项：在典型光学显微镜中，可以采集小直径的良好分离的珠子的3D图像，所述小直径明显小于由系统的3D PSF确定的衍射极限分辨率。对于给定系统3D PSF从珠子的图像中测量出的珠子的尺寸(例如，x-y平面中的横向FWHM，或z轴上的轴向FWHM)通常被称为系统的分辨率。尽管这种关系通常也适用于此处描述的CoSI系统，但在某些极端条件下它可能会失败。在图22A(MLA2焦距＝85μm；光子重新分配系数α＝0.18；MLA取向角＝6.6°；FWHMX＝0.146μm；FWHMY＝0.284μm)和图22B(MLA2焦距＝85μm；光子重新分配系数α＝0.18；MLA取向角＝6.0°；FWHMX＝0.280μm；FWHMY＝0.281μm)中描绘了系统PSF图的非限制性示例。MLA取向角是指MLA重复图案的倾斜度(例如参见图7C)，其中第一MLA和第二MLA倾斜了相同的量。尽管在用于生成图22A中的图的一组假设下x方向上的预测FWHM是0.146μm，但是系统无法在该尺度下解析结构(例如，分辨率存在人为的明显增加，但没有揭示真实的结构)。这是由于使用过高光子重新分配而产生的伪影(请注意在图22A所示的下轨迹中明显看到的肩部)，这可以通过调整微透镜阵列的取向角来解决(例如，通过使用图22B中的MLA取向角6.0°)。
第二MLA的横向未对准：图23A示出了对于具有23μm间距的MLA来说MLA2的横向位移对系统PSF(绘制为x-y平面上的2D投影)的预计影响，并且表明高达约±4μm至5μm(例如，MLA间距的±20％)的横向未对准仍应提供良好的成像性能。图23B提供了在图18A所描绘的CoSI显微镜中系统PSF FWHM(在x方向上)随着MLA2位移而变的图的非限制性示例。横向FWHM恶化了约10％，横向未对准是4μm至5μm。
MLA2与相机之间的距离的公差分析：系统PSF取决于相机传感器与MLA2之间的距离以及其相对平面度(或平行度)，因此重要的是，要理解需要哪种公差级别才能精确地设置该距离。所需的公差取决于系统的放大倍率和MLA2的焦距。图24A至图24C示出了横向分辨率、系统PSF和标准化系统PSF峰值强度的公差分析结果随着长焦距MLA2与相机传感器之间的间隔距离而变的非限制性示例(从样品到相机的放大倍率是21.1，MLA2焦距＝170μm。L2＝220μm并且L1＝96μm(MLA2与相机传感器之间的标称距离))。图24A：横向分辨率(在x和y上平均的系统PSF FWHM)随着MLA2与相机之间的距离而变的图。图24B：系统PSF的标准化峰值强度随着MLA2与相机之间的距离误差而变的图。图24C：2D系统PSF随着相对于标称位置(Δz＝0)在z方向上MLA2与相机之间的间隔距离(Δz)而变的图。请注意，如果相机传感器与MLA2之间的距离小于标称值，则与相反方向相比，系统PSF降低更多。对于放大倍率为21.1x并且MLA2焦距＝170μm的系统，约±25μm的间隔距离误差(由图24C中的垂直虚线表示)仍保持大于峰值PSF强度的90％。
如果MLA2和传感器的外形已知(或可以测量)，那么原则上可以使用补偿器(例如，具有适当厚度轮廓的一片玻璃或MLA2基片)来补偿MLA2和相机传感器的非平面度(或非平行度)。在半导体领域，晶片上的涂层厚度的公差可以得到很好的控制，只要涂层的整体厚度不是太厚。因此，半导体制造技术可以允许制造适当的补偿器元件。
图25A至图25C示出了横向分辨率、系统PSF和标准化系统PSF峰值强度的公差分析结果随着短焦距MLA2与相机传感器之间的间隔距离而变的非限制性示例(从样品到相机的放大倍率是21.1，MLA2焦距＝85μm。L2＝110μm并且L1＝48μm(MLA2与相机传感器之间的标称距离))。图25A：横向分辨率(在x和y上平均的系统PSF FWHM)随着MLA2与相机之间的距离而变的图。图25B：系统PSF的标准化峰值强度随着MLA2与相机之间的距离误差而变的图。图25C：2D系统PSF随着相对于标称位置(Δz＝0)在z方向上MLA2与相机之间的间隔距离(Δz)而变的图。相对于标称间隔距离的间隔距离误差的可接受范围为约-10μm至20μm(由图25C中的垂直虚线表示)，在该范围内，PSF强度保持为大于其峰值的90％。
星形图案伪影及其减轻：为了避免可能导致染料饱和与样品中分子的潜在损坏的高峰值辐照度，将尽可能紧密堆积的照明光焦点投影到样品上同时使各个照明点保持为衍射极限或甚至低于衍射极限可能是有益的。允许通过光瞳孔径的最大衍射图案级数是一级，这又决定了照明光焦点在样品处可能实现的最小可能间距。然而，间距越小，相邻子束之间发生串扰的可能性就越大(在微透镜阵列中的相邻透镜中出现)，从而在所得图像中产生伪影，例如星形图案。通过使用位于传感器之上或前面的针孔阵列可以减轻此类伪影。
图26A提供了限定直径的孔隙内的标准化功率随着传感器上的针孔直径而变的图的非限制性示例。图26B提供了限定直径的孔隙内的功率比随着传感器上的针孔直径而变的图的非限制性示例。图26C提供了在没有伽玛校正的情况下(伽玛＝1)依据针孔直径绘制的系统PSF的非限制性示例。图26D提供了在伽玛＝0.4的情况下根据针孔直径绘制的系统PSF的非限制性示例。有意使图像饱和以更清楚地显示星形图案伪影。图26A和图26B中的曲线的平直部分是由使用相对较大的采样像素(样品上的0.06μm)来加速模拟而导致的模拟误差引起。在基线上--不使用任何针孔--0.57um直径孔隙(FWHM＝0.29μm)内递送的功率是最大值的～82％，这与艾里斑的功率(在理想条件下，包含总功率的～85％)相当。在应用针孔之后，递送的功率可以增加超过90％(例如，参见图26B，其中相机传感器上的针孔的直径具有0.57um直径)。在可以收集到的功率量与星形图案的形成(即，这样可能导致有效分辨率的减小，例如，由于相邻星形图案之间的串扰)之间存在权衡。实际上，可以容忍一定量的星形图案以便实现可接受的功率比(例如，最大值的至少80％)。
示例4–CoSI概念验证
实验结果：用于演示CoSI概念验证的实验设置示出于图27中(MLA1＝第一微透镜阵列；MLA2＝第二微透镜阵列；M1–M8＝镜子；BE＝扩束器；DM＝二向色镜；镜筒＝镜筒透镜；f_镜筒＝镜筒透镜焦距；OB＝物镜；f_OB＝物镜焦距)。实验设置中使用了现成的MLA。这些现成的MLA需要使用两个中继器(例如，图27中的“中继器1”和“中继器2”)。在替代示意图中，可以通过使用放大倍率相配的MLA来去除这些中继器。在图27中，MLA1(第一光学变换元件)和MLA2(第二光学变换元件)包括微透镜的六边形规则排列，间距为45μm并且焦距为340μm。该实验设置用于对Bangs珠(Bangs Laboratories公司，印第安纳州费希尔斯)(例如，荧光铕(III)纳米粒子)成像以将CoSI成像与宽场成像(例如，缺少第二光学变换装置的在其他方面相同的成像系统)进行比较。图28示出了同一物体在多个z位置(例如，物镜的焦平面与物体之间的距离)处通过CoSI(上图)和通过宽场(WF)成像(下图)获得的0.4μm Bangs珠的示例图像。CoSI图像在每个z水平上都清楚地显示出提高的分辨率，即便是对于聚集的Bangs珠(即，明亮的白点)也是如此。
对于图29A和图29B，对0.2μm Bangs珠成像。在图29A中，示出了珠信号FWHM随着z轴偏移而变的图。线2902a–2902f(CoSI)和2906a–2906f(WF)表示扫描方向上的珠信号的平均FWHM值，并且线2904a–2904f(CoSI)和2908a–2908f(WF)表示与扫描方向正交的方向上的平均FWHM值。每个被成像的场为40μm，轴向步长为0.3μm，并且横向像素尺寸为0.1366μm。对于图29A的图中的每个数据点，根据至少100个Bangs珠的FWHM来确定所绘制的FWHM。平均来说，CoSI相对于宽场成像模式使图像分辨率从0.54μm提高到0.4μm(1.35x)。
示例5–使用放大倍率梯度来校正相对运动
补偿旋转运动的一种方法(例如，其中旋转的晶片通过固定相机成像)是在相机的图像传感器的视场中产生放大倍率梯度。图30A示出了楔形计数器扫描的概念。在用于采集图像的相机曝光时间期间，晶片在径向位置r1(例如，传感器的最内侧边缘)处移动了距离S1并且在径向位置r2(例如，传感器的最外侧边缘)处移动了距离S2。通过在相机的视场中产生放大倍率梯度来实现楔形计数器扫描，使得r2处的放大倍率与r1处的放大倍率的比(放大倍率比，MR)由MR＝S2/S1＝r2/r1＝1+(FOV/r1)给出，其中FOV是沿着x轴(径向轴线)的视场。假设FOV为1.6mm并且r2＝60mm，那么r2与r1处的放大倍率的比是MR＝1.03。
图30B和图30C提供了包括用于通过改变工作距离来产生和调整放大倍率梯度的可倾斜光学元件的光学设计的非限制性示意图。图30B示出了具有倾斜物镜(OB)和倾斜相机传感器的典型沙姆弗拉格光学显微镜设计。r1处的放大倍率M1由M1＝T1/WD1给出，其中T1为物镜与相机传感器之间的距离，并且WD1为位置r1处的工作距离(即，被成像的物体与物镜之间的间隔距离)，而位置r2处的放大倍率M2由M2＝T2/WD2给出，其中T2为物镜与相机传感器之间的标称距离，并且WD2为位置r2处的工作距离。通过倾斜物镜和/或相机，可以调整比率M2/M1。图30C示出了包括物镜、镜筒透镜和相机的沙姆弗拉格光学显微镜设计的扩展，其中物镜、镜筒透镜和/或相机是可倾斜的。图30B和图30C中所示的光学配置中示出的倾斜角度对于相机传感器的给定径向位置是静止的，但在相机位于不同半径处时将会进行调整。
图30E和图30F提供了示出通过调整光学系统的工作距离来产生放大倍率梯度的额外示例。此处，物镜和镜筒透镜的焦距分别是12.3mm和193.7mm。标称放大倍率为15.75×。图30E提供了计算出的放大倍率随着工作距离位移而变的图。在物镜与镜筒透镜之间的标称距离处(例如，当在4-f系统配置中物镜的后焦平面与镜筒透镜的前焦平面重叠时；例如，194mm+12.3mm＝206.3mm)，系统或多或少是远心的。将工作距离减少0.1μm因此只会导致放大倍率变化约1.025倍。为了打破光学设计的远心性，可以有意地减少或增加镜筒透镜与物镜之间的距离。图30F提供了在物镜与镜筒透镜之间的距离减小了50mm的情况下计算出的放大倍率随着工作距离位移而变的图。在这种情况下，将工作距离减少0.1mm会导致放大倍率变化约1.06倍。
示例性实施方案
其中提供的实施方案为：
1.一种成像系统，所述成像系统包括：
成像装置，所述成像装置包括：
照明单元，所述照明单元包括光学耦合到第一光学变换装置的辐射源，其中所述第一光学变换装置对从所述辐射源接收到的光束应用第一光学变换以生成照明图案，所述照明图案被引导到物体的对应区域；
投影单元，所述投影单元接收由所述物体反射、透射、散射或发射的光并将它引导到检测单元，其中所述投影单元被配置为在限定的传播角范围内接受所述光；
检测单元，所述检测单元包括一个或多个图像传感器，所述一个或多个图像传感器被配置用于时间延迟和积分(TDI)成像并且光学耦合到第二光学变换装置，其中所述第二光学变换装置对从所述投影单元接收到的光应用第二光学变换；
其中通过所述第一光学变换生成的所述照明图案致使被所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的所述投影单元接受的所述光中；并且
其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及
致动器，所述致动器被配置为在扫描所述物体的全部或一部分期间产生所述成像装置与所述物体之间的相对移动，其中所述相对移动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器采集所述物体的全部或一部分的扫描图像。
2.如实施方案1所述的成像系统，其中所述照明图案包括多个光强度最大值，并且其中所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
3.如实施方案1或实施方案2所述的成像系统，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。
4.如实施方案1至3中任一项所述的成像系统，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过衍射受限空间分辨率的横向空间分辨率。
5.如实施方案1至4中任一项所述的成像系统，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出相对于由类似的衍射受限成像系统获得的图像提高了1.2倍、1.5倍、2倍或3倍以上的横向空间分辨率。
6.如实施方案1至5中任一项所述的成像系统，其中由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
7.如实施方案6所述的成像系统，其中所述至少一个扫描图像展现出的所述信噪比(SNR)相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的信噪比增加了高达300％。
8.如实施方案1至7中任一项所述的成像系统，其中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
9.如实施方案8所述的成像系统，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够使用极大似然统计方法根据从所述投影单元接收到的所述光的性质和在所述给定时间点投影在所述物体上的所述已知照明图案推断出。
10.如实施方案9所述的成像系统，其中所述经修改光学图像是通过利用以下各项作为输入的数学公式来描述：(i)由缺少所述第二光学变换装置的在其他方面相同的成像系统采集的所述物体的光学图像；以及(ii)在所述给定时间点投影在所述物体上的已知照明图案。
11.如实施方案10所述的成像系统，其中所述数学公式包括计算以下各项的乘积：(i)由缺少所述第二光学变换装置的在其他方面相同的成像系统采集的所述物体的所述光学图像的图像强度；以及(ii)在所述给定时间点投影在所述物体上的所述已知照明图案的光强度。
12.如实施方案9所述的成像系统，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质、在所述给定时间点投影在所述物体上的所述已知照明图案以及关于所述物体的额外先前信息来推断出。
13.如实施方案1至12中任一项所述的成像系统，其中所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
14.如实施方案1至13中任一项所述的成像系统，其中所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
15.如实施方案1至14中任一项所述的成像系统，其中所述第一光学变换装置和所述第二光学变换装置为同一类型的光学变换装置。
16.如实施方案1至15中任一项所述的成像系统，其中所述成像系统仅包括在成像期间其位置、相对取向和光学性质保持静态的部件，但以下各者除外：(i)被配置为产生所述成像装置与所述物体之间的相对运动的所述致动器；以及(ii)自动聚焦系统的部件。
17.如实施方案1至16中任一项所述的成像系统，其中所述第二光学变换装置是无损光学变换装置。
18.如实施方案1至17中任一项所述的成像系统，其中从所述投影单元接收到的进入所述第二光学变换装置的所述光的至少40％、至少50％、至少60％、至少70％、至少80％、至少90％、至少95％或至少99％到达所述一个或多个图像传感器。
19.如实施方案1至18中任一项所述的成像系统，其中所述致动器还包括可移动台，所述可移动台机械地联接到所述物体以支撑所述物体、使所述物体相对于所述成像装置旋转、或相对于所述成像装置平移所述物体、或其任何组合。
20.如实施方案1至19中任一项所述的成像系统，其中所述辐射源包括相干源、部分相干源、非相干源或其任何组合。
21.如实施方案20所述的成像系统，其中所述相干源包括一个激光器或多个激光器。
22.如实施方案20所述的成像系统，其中所述非相干源包括发光二极管(LED)、激光驱动光源(LDLS)、放大自发发射(ASE)源、超发光光源或其任何组合。
23.如实施方案1至22中任一项所述的成像系统，其中所述照明单元还包括设置在所述辐射源与所述第一光学变换装置之间或在所述第一光学变换装置与所述投影单元之间的第一多个光学元件。
24.如实施方案23所述的成像系统，其中所述第一多个光学元件被配置为调节所述光束，并且其中所述调节包括调整所述光束的尺寸、位置、方向、准直、偏振、椭圆率、空间滤波、光谱滤波或其任何组合。
25.如实施方案1至24中任一项所述的成像系统，其中所述检测单元还包括设置在所述第二光学变换装置与所述一个或多个图像传感器之间或在所述第二光学变换装置与所述投影单元之间的第二多个光学元件。
26.如实施方案25所述的成像系统，其中所述第二多个光学元件被配置为在由所述物体反射、透射、散射或发射的所述光到达所述一个或多个图像传感器之前对所述光进行调节，并且其中所述调节包括调整所述光束的尺寸、位置、方向、准直、偏振、椭圆率、空间滤波、光谱滤波或其任何组合。
27.如实施方案1至26中任一项所述的成像系统，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述成像装置与所述物体之间的所述相对移动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
28.如实施方案1至27中任一项所述的成像系统，其中在扫描期间对被引导到所述物体的照明图案化光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。
29.如实施方案2至28中任一项所述的成像系统，其中所述照明图案中的所述多个光强度最大值中的任两个之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍或100倍。
30.如实施方案1至29中任一项所述的成像系统，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。
31.如实施方案2至30中任一项所述的成像系统，其中所述第二光学变换装置包括微透镜阵列，并且其中所述照明图案中的所述多个光强度最大值与所述微透镜阵列中的微透镜之间存在1:1对应。
32.如实施方案30或实施方案31所述的成像系统，其中所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。
33.如实施方案30至32中任一项所述的成像系统，其中所述规则排列重复预定次数。
34.如实施方案30至32中任一项所述的成像系统，其中所述规则排列包括一个或多个二维格子图案。
35.如实施方案30至32中任一项所述的成像系统，其中所述规则排列是规则图案或正方形图案。
36.如实施方案30至32中任一项所述的成像系统，其中所述规则排列是六边形图案。
37.如实施方案30至36中任一项所述的成像系统，其中所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。
38.如实施方案30至37中任一项所述的成像系统，其中所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。
39.如实施方案38所述的成像系统，其中所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
40.如实施方案39所述的成像系统，其中α在约1度与约45度之间。
41.如实施方案30至40中任一项所述的成像系统，其中所述规则排列被配置为在所述微透镜阵列(MLA)的两个或更多个微透镜之间提供相等间隔。
42.如实施方案1至41中任一项所述的成像系统，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括多个球面微透镜、非球面微透镜或其任何组合。
43.如实施方案1至42中任一项所述的成像系统，其中所述第一光学变换装置或所述第二光学变换装置包括一微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括具有正或负光功率的多个微透镜。
44.如实施方案1至43中任一项所述的成像系统，其中所述第一光学变换装置或所述第二光学变换装置包括一微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)中的每个微透镜的数值孔径为至少0.01、至少0.05、至少0.1、至少0.5、至少1、至少1.5或至少2。
45.如实施方案1至29中任一项所述的成像系统，其中所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。
46.如实施方案45所述的成像系统，其中所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。
47.如实施方案45或实施方案46所述的成像系统，其中所述第一光学变换装置和所述第二光学变换装置包括多个谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。
48.如实施方案45至47中任一项所述的成像系统，其中通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
49.如实施方案1至48中任一项所述的成像系统，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机或单光子雪崩二极管(SPAD)阵列。
50.如实施方案1至49中任一项所述的成像系统，其中所述一个或多个图像传感器具有在约0.1微米与20微米之间的像素尺寸。
51.如实施方案1至50中任一项所述的成像系统，所述成像系统还包括自动聚焦模块，所述自动聚焦模块包括确定所述成像装置相对于所述物体的相对位置的至少一个传感器，并且其中所述自动聚焦模块耦合到所述致动器并且被配置为动态地调整所述成像系统以提供最佳图像分辨率。
52.如实施方案51所述的成像系统，其中所述自动聚焦模块对所述成像系统的所述动态调整包括面向物体的光学元件相对于所述物体的定位。
53.如实施方案1至52中任一项所述的成像系统，其中所述投影单元包括面向物体的光学元件、二向色镜、分束器、多个中继光学器件、微透镜阵列(MLA)或其任何组合。
54.如实施方案53所述的成像系统，其中所述面向物体的光学元件包括一个物镜、多个物镜、透镜阵列或其任何组合。
55.如实施方案54所述的成像系统，其中所述面向物体的光学元件包括一个物镜或多个物镜，所述物镜的数值孔径为至少0.3、至少0.4、至少0.5、至少0.6、至少0.7、至少0.8、至少0.9、至少1.0、至少1.1、至少1.2、至少1.3、至少1.4、至少1.5、至少1.6、至少1.7或至少1.8。
56.如实施方案1至55中任一项所述的成像系统，其中所述成像装置被配置为执行荧光成像、反射成像、透射成像、暗场成像、相位衬度成像、微分干涉衬度成像、双光子成像、多光子成像、单分子定位成像或其任何组合。
57.如实施方案1至56中任一项所述的成像系统，其中所述成像装置包括常规的时间延迟和积分(TDI)系统、照明变换装置和检测变换装置，所述检测变换装置能够机械地附接到所述常规的TDI成像系统而无需对所述常规的TDI成像系统进行进一步修改，或仅对所述常规的TDI成像系统进行最小程度的修改。
58.如实施方案1至57中任一项所述的成像系统，其中所述一个或多个图像传感器中的对应像素组在从约1ns至约1ms的预定时间段内连续地对信号进行积分，然后在扫描期间将所述信号传递到相邻的像素组。
59.如实施方案1至58中任一项所述的成像系统，其中扫描是在约0.1ms至约100s的预定时间段内完成。
60.如实施方案1至59中任一项所述的成像系统，其中所述成像装置被配置为执行荧光成像，并且其中所述照明单元被配置为提供处于两个或更多个激发波长的激发光。
61.如实施方案1至60中任一项所述的成像系统，其中所述成像装置被配置为执行荧光成像，并且其中所述检测单元被配置为检测处于两个或更多个发射波长的荧光。
62.如实施方案1至61中任一项所述的成像系统，所述成像系统还包括同步单元，所述同步单元被配置为控制所述成像装置与所述物体的所述相对移动与所述一个或多个图像传感器的所述时间延迟积分(TDI)的同步。
63.如实施方案1至62中任一项所述的成像系统，其中单独的扫描包括在所述相对移动的方向上在所述物体的整个长度上对所述物体进行成像。
64.如实施方案1至62中任一项所述的成像系统，其中单独的扫描包括对所述物体的一部分成像，并且通过在扫描之间将所述物体相对于所述成像装置平移了所述成像系统的视场(FOV)的全部或一部分来执行连续扫描以产生所述物体的一连串图像。
65.如实施方案64所述的成像系统，所述成像系统还包括使所述一连串图像倾斜以产生所述物体的单个复合图像。
66.如实施方案1至65中任一项所述的成像系统，其中所述物体包括用于执行核酸测序的流动池或基片。
67.如实施方案66所述的成像系统，其中所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
68.如实施方案1至67中任一项所述的成像系统，其中所述第二光学变换装置不是衍射光栅。
69.如实施方案1至68中任一项所述的成像系统，其中所述第二光学变换装置不是针孔阵列。
70.一种对物体成像的方法，所述方法包括：
用光束照射第一光学变换装置，其中所述第一光学变换装置被配置为对所述光束应用第一光学变换以产生照明图案，所述照明图案通过投影单元的面向物体的光学部件投影到所述物体上；
将由所述物体反射、透射、散射或发射并且由所述投影单元的所述面向物体的光学部件接受的光引导到第二光学变换装置，其中所述第二光学变换装置被配置为对由所述投影单元接受的所述光应用第二光学变换并且将它中继到被配置用于时间延迟和积分(TDI)成像的一个或多个图像传感器；
其中通过所述第一光学变换生成的所述照明图案致使由所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的投影单元接受的所述光中；并且
其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及
相对于所述面向物体的光学部件扫描所述物体或相对于所述物体扫描所述面向物体的光学部件，其中在所述扫描期间所述物体与所述面向物体的光学部件的相对运动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器中的每一个采集到所述物体的全部或一部分的扫描图像。
71.如实施方案70所述的方法，其中所述照明图案包括多个光强度最大值，并且其中所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
72.如实施方案70或实施方案71所述的方法，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。
73.如实施方案70至72中任一项所述的方法，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过衍射受限空间分辨率的横向空间分辨率。
74.如实施方案70至73中任一项所述的方法，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出相对于由类似的衍射受限成像系统获得的图像提高了1.2倍、1.5倍、2倍或3倍以上的横向空间分辨率。
75.如实施方案70至74中任一项所述的方法，其中由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
76.如实施方案75所述的方法，其中所述至少一个扫描图像展现出的所述信噪比(SNR)相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像的信噪比增加了高达300％。
77.如实施方案70至76中任一项所述的方法，其中所述投影单元接受的所述光无显著损耗地通过所述第二光学变换装置。
78.如实施方案70至77中任一项所述的方法，其中所述投影单元接受的通过所述第二光学变换装置的所述光是所述投影单元接受的到达所述第二光学变换装置的所述光的至少30％、至少40％、至少50％、至少60％、至少70％、至少80％、至少90％、至少95％、至少98％或至少99％。
79.如实施方案70至78中任一项所述的方法，其中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
80.如实施方案79所述的方法，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够使用极大似然统计方法根据从所述投影单元接收到的所述光的性质和在所述给定时间点投影在所述物体上的所述已知照明图案推断出。
81.如实施方案79所述的方法，其中所述经修改光学图像是通过利用以下各项作为输入的数学公式来描述：(i)由缺少所述第二光学变换装置的在其他方面相同的成像系统采集的所述物体的光学图像；以及(ii)在所述给定时间点投影在所述物体上的已知照明图案。
82.如实施方案81所述的方法，其中所述数学公式包括计算以下各项的乘积：(i)由缺少所述第二光学变换装置的在其他方面相同的成像系统采集的所述物体的所述光学图像的图像强度；以及(ii)在所述给定时间点投影在所述物体上的所述已知照明图案的光强度。
83.如实施方案79所述的方法，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质、在所述给定时间点投影在所述物体上的所述已知照明图案以及关于所述物体的额外先前信息来推断出。
84.如实施方案70至83中任一项所述的方法，其中所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
85.如实施方案70至84中任一项所述的方法，其中所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
86.如实施方案70至85中任一项所述的方法，其中所述第一光学变换装置和所述第二光学变换装置为同一类型的光学变换装置。
87.如权利要求70至86中任一项所述的方法，其中用于执行所述方法的成像系统仅包括在成像期间保持静态的部件，但以下各者除外：(i)被配置为产生所述成像系统与所述物体之间的相对运动的致动器；以及(ii)自动聚焦系统的部件。
88.如实施方案70至87中任一项所述的方法，其中由所述投影单元接收并进入所述第二光学变换装置的所述光的至少40％、至少50％、至少60％、至少70％、至少80％、至少90％、至少95％或至少99％到达所述一个或多个图像传感器。
89.如实施方案70至88中任一项所述的方法，其中所述光束由辐射源提供，并且其中所述辐射源包括相干源、部分相干源、非相干源或其任何组合。
90.如实施方案89所述的方法，其中所述辐射源包括相干源，并且所述相干源包括一个激光器或多个激光器。
91.如实施方案89所述的方法，其中所述辐射源包括非相干源，并且所述非相干源包括发光二极管(LED)、激光驱动光源(LDLS)、放大自发发射(ASE)源、超发光光源或其任何组合。
92.如实施方案70至91中任一项所述的方法，所述方法还包括调整所述光束的尺寸、位置、方向、准直、偏振、椭圆率、空间滤波、光谱滤波或其任何组合。
93.如实施方案70至92中任一项所述的方法，所述方法还包括调整从所述投影单元接收并通过所述第二光学变换装置中继到所述一个或多个图像传感器的光的尺寸、位置、方向、准直、偏振、椭圆率、空间滤波、光谱滤波或其任何组合。
94.如实施方案70至93中任一项所述的方法，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述面向物体的光学部件与所述物体之间的所述相对运动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
95.如实施方案70至94中任一项所述的方法，其中在扫描期间对被引导到所述物体的照明图案化光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。
96.如实施方案71至95中任一项所述的方法，其中所述照明图案中的所述多个光强度最大值中的任两个光强度最大值之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍至100倍。
97.如实施方案70至96中任一项所述的方法，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。
98.如实施方案71至97中任一项所述的方法，其中所述第二光学变换装置包括微透镜阵列，并且其中所述照明图案中的所述多个光强度最大值与所述微透镜阵列中的微透镜之间存在1:1对应。
99.如实施方案97或实施方案98所述的方法，其中所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。
100.如实施方案97至99中任一项所述的方法，其中所述规则排列重复预定次数。
101.如实施方案97至99中任一项所述的方法，其中所述规则排列包括一个或多个二维格子图案。
102.如实施方案97至99中任一项所述的方法，其中所述规则排列是规则图案或正方形图案。
103.如实施方案97至99中任一项所述的方法，其中所述规则排列是六边形图案。
104.如实施方案97至103中任一项所述的方法，其中所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。
105.如实施方案97至104中任一项所述的方法，其中所述规则排列是交错的。
106.如实施方案97至105中任一项所述的方法，其中所述微透镜阵列包括多个行，其中所述多个行中的每一行在垂直于所述面向物体的光学部件相对于所述物体的移动或所述物体相对于所述面向物体的光学部件的移动的方向上相对于所述多个行中的前一行交错。
107.如实施方案106所述的方法，其中所述多个行中的行在垂直方向上相对于所述多个行中的紧邻的前一行交错。
108.如实施方案97至107中任一项所述的方法，其中所述规则排列被配置为在所述微透镜阵列中的微透镜之间提供相等间隔。
109.如实施方案97至108中任一项所述的方法，其中所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。
110.如实施方案109所述的方法，其中所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
111.如实施方案110所述的方法，其中α在约1度与约45度之间。
112.如实施方案97至111中任一项所述的方法，其中所述规则排列被配置为在所述微透镜阵列(MLA)的两个或更多个微透镜之间提供相等间隔。
113.如实施方案70至112中任一项所述的方法，其中所述照明图案包括强度峰阵列。
114.如实施方案113所述的方法，其中所述强度峰阵列中的每个强度峰是不重叠的。
115.如实施方案70至114中任一项所述的方法，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括多个球面微透镜、非球面微透镜或其任何组合。
116.如实施方案70至115中任一项所述的方法，其中所述第一光学变换装置或所述第二光学变换装置包括一微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括具有正或负光功率的多个微透镜。
117.如实施方案70至116中任一项所述的方法，其中所述第一光学变换装置包括一微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)中的每个微透镜的数值孔径为至少0.01、至少0.05、至少0.1、至少0.5、至少1、至少1.5或至少2。
118.如实施方案70至96中任一项所述的方法，其中所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。
119.如实施方案118所述的方法，其中所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。
120.如实施方案118或实施方案119所述的方法，其中所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。
121.如实施方案118至120中任一项所述的方法，其中通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
122.如实施方案70至121中任一项所述的方法，其中所述一个或多个图像传感器在用于执行扫描的时间过程中连续地累积图像形成信号。
123.如实施方案70至122中任一项所述的方法，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机或单光子雪崩二极管(SPAD)阵列。
124.如实施方案70至123中任一项所述的方法，其中所述一个或多个图像传感器具有在约0.1微米与20微米之间的像素尺寸。
125.如实施方案70至124中任一项所述的方法，所述方法还包括动态地调整面向物体的光学部件的焦点以提供最佳图像分辨率。
126.如实施方案125所述的方法，其中所述焦点的所述动态调整包括调整所述面向物体的光学部件相对于所述物体的位置。
127.如实施方案125或实施方案126所述的方法，其中所述面向物体的光学部件包括一个物镜、多个物镜、透镜阵列或其任何组合。
128.如实施方案125至127中任一项所述的方法，其中所述面向物体的光学部件包括一个物镜或多个物镜，所述物镜的数值孔径为至少0.3、至少0.4、至少0.5、至少0.6、至少0.7、至少0.8、至少0.9、至少1.0、至少1.1、至少1.2、至少1.3、至少1.4、至少1.5、至少1.6、至少1.7或至少1.8。
129.如实施方案70至128中任一项所述的方法，其中所述第一光学变换装置包括在第一照明单元中。
130.如实施方案70至129中任一项所述的方法，其中所述第二光学变换装置包括在检测单元中。
131.如实施方案70至130中任一项所述的方法，其中所述扫描图像包括荧光图像、反射图像、透射图像、暗场图像、相位衬度图像、微分干涉衬度图像、双光子图像、多光子图像、单分子定位图像或其任何组合。
132.如实施方案70至131中任一项所述的方法，其中所述扫描图像包括荧光图像，并且其中所述照明包括提供处于两个或更多个激发波长的激发光。
133.如实施方案70至132中任一项所述的方法，其中所述扫描图像包括荧光图像，并且其中所述一个或多个图像传感器被配置为检测处于两个或更多个发射波长的荧光。
134.如实施方案70至133中任一项所述的方法，其中单独的扫描包括在所述相对运动的方向上在所述物体的整个长度上对所述物体进行成像。
135.如实施方案70至134中任一项所述的方法，其中单独的扫描包括对所述物体的一部分成像，并且通过在扫描之间将所述物体相对于所述面向物体的光学部件平移了所述面向物体的光学部件的视场(FOV)的全部或一部分来执行连续扫描以产生所述物体的一连串图像。
136.如实施方案135所述的方法，所述成像系统还包括使所述一连串图像倾斜以产生所述物体的单个复合图像。
137.如实施方案70至136中任一项所述的方法，其中所述物体包括用于执行核酸测序的流动池或基片。
138.如实施方案137所述的方法，其中所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
139.如实施方案1至69中任一项所述的成像系统，所述成像系统还包括补偿器，所述补偿器被配置为校正所述第二光学变换装置的非平面度。
140.如实施方案1至69中任一项或权利要求139所述的成像系统，所述成像系统还包括位于所述一个或多个图像传感器上或前面的一个或多个针孔孔隙阵列，其中所述针孔孔隙阵列被配置为减少所述成像系统的点扩散函数中的伪影。
141.一种如图18A中所描绘的成像系统。
142.一种如图27中所描绘的成像系统。
143.一种成像系统，所述成像系统被配置为相对于图29A中所描绘的宽场(WF)成像提高分辨率。
虽然本发明的优选实施方案已在本文示出和描述，但是本领域技术人员将显而易见的是，此类实施方案仅以举例的方式提供。并不希望本发明受限于说明书内提供的具体示例。虽然已经参考上述说明书描述了本发明，但是本文中的实施方案的描述和图示并不意味着被解释为限制意义。在不偏离本发明的情况下本领域技术人员现将进行各种变型、变化和替换。此外，应理解，本发明的所有方面不限于本文所述的具体描述、配置或相对比例，其可取决于各种条件和变量。应当理解，可将本文描述的发明的实施方案的各种替代方案用于实施本发明。因此，预期本发明还应覆盖任何这样的替代、修改、变化或等同物。希望以下权利要求限定本发明的范围并且这些权利要求及其等同物范围内的方法和结构因此被涵盖。
Claims (65)
1.一种成像系统，所述成像系统包括：
成像装置，所述成像装置包括：
照明单元，所述照明单元包括光学耦合到第一光学变换装置的辐射源，其中所述第一光学变换装置对从所述辐射源接收到的光束应用第一光学变换以生成照明图案，所述照明图案被引导到物体的对应区域；
投影单元，所述投影单元接收由所述物体反射、透射、散射或发射的光并将它引导到检测单元，其中所述投影单元被配置为在限定的传播角范围内接受所述光；
检测单元，所述检测单元包括一个或多个图像传感器，所述一个或多个图像传感器被配置用于时间延迟和积分(TDI)成像并且光学耦合到第二光学变换装置，其中所述第二光学变换装置对从所述投影单元接收到的光应用第二光学变换；
其中通过所述第一光学变换生成的所述照明图案致使被所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的所述投影单元接受的所述光中；并且
其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及
致动器，所述致动器被配置为在扫描所述物体的全部或一部分期间产生所述成像装置与所述物体之间的相对移动，其中所述相对移动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器采集所述物体的全部或一部分的扫描图像。
2.如权利要求1所述的成像系统，其中所述照明图案包括多个光强度最大值，并且其中所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
3.如权利要求1或权利要求2所述的成像系统，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。
4.如权利要求1至3中任一项所述的成像系统，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过衍射受限空间分辨率的横向空间分辨率。
5.如权利要求1至4中任一项所述的成像系统，其中由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
6.如权利要求1至5中任一项所述的成像系统，其中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
7.如权利要求1至6中任一项所述的成像系统，其中所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
8.如权利要求1至7中任一项所述的成像系统，其中所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
9.如权利要求1至8中任一项所述的成像系统，其中所述成像系统仅包括在成像期间其位置、相对取向和光学性质保持静态的部件，但以下各者除外：(i)被配置为产生所述成像装置与所述物体之间的相对运动的所述致动器；以及(ii)自动聚焦系统的部件。
10.如权利要求1至9中任一项所述的成像系统，其中所述第二光学变换装置是无损光学变换装置。
11.如权利要求1至10中任一项所述的成像系统，其中从所述投影单元接收到的进入所述第二光学变换装置的所述光的至少40％、至少50％、至少60％、至少70％、至少80％、至少90％、至少95％或至少99％到达所述一个或多个图像传感器。
12.如权利要求1至11中任一项所述的成像系统，其中所述致动器还包括可移动台，所述可移动台机械地联接到所述物体以支撑所述物体、使所述物体相对于所述成像装置旋转、或相对于所述成像装置平移所述物体、或其任何组合。
13.如权利要求1至12中任一项所述的成像系统，其中所述辐射源包括相干源、部分相干源、非相干源或其任何组合。
14.如权利要求1至13中任一项所述的成像系统，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述成像装置与所述物体之间的所述相对移动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
15.如权利要求1至14中任一项所述的成像系统，其中在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。
16.如权利要求2至15中任一项所述的成像系统，其中所述照明图案中的所述多个光强度最大值中的任两个之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍至100倍。
17.如权利要求1至16中任一项所述的成像系统，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。
18.如权利要求2至17中任一项所述的成像系统，其中所述第二光学变换装置包括微透镜阵列，并且其中所述照明图案中的所述多个光强度最大值与所述微透镜阵列中的微透镜之间存在1:1对应。
19.如权利要求17或权利要求18所述的成像系统，其中所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。
20.如权利要求17至19中任一项所述的成像系统，其中所述规则排列是六边形图案。
21.如权利要求17至20中任一项所述的成像系统，其中所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。
22.如权利要求17至21中任一项所述的成像系统，其中所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。
23.如权利要求22所述的成像系统，其中所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
24.如权利要求1至17中任一项所述的成像系统，其中所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。
25.如权利要求24所述的成像系统，其中所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。
26.如权利要求24或权利要求25所述的成像系统，其中所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。
27.如权利要求24至26中任一项所述的成像系统，其中通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
28.如权利要求1至27中任一项所述的成像系统，其中所述成像装置被配置为执行荧光成像，并且其中所述照明单元被配置为提供处于两个或更多个激发波长的激发光。
29.如权利要求1至28中任一项所述的成像系统，其中所述成像装置被配置为执行荧光成像，并且其中所述检测单元被配置为检测处于两个或更多个发射波长的荧光。
30.如权利要求1至29中任一项所述的成像系统，所述成像系统还包括同步单元，所述同步单元被配置为控制所述成像装置与所述物体的所述相对移动与所述一个或多个图像传感器的所述时间延迟和积分(TDI)的同步。
31.如权利要求1至30中任一项所述的成像系统，其中所述物体包括用于执行核酸测序的流动池或基片。
32.如权利要求31所述的成像系统，其中所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
33.如权利要求1至32中任一项所述的成像系统，其中所述第二光学变换装置不是衍射光栅。
34.如权利要求1至33中任一项所述的成像系统，所述成像系统还包括补偿器，所述补偿器被配置为校正所述第二光学变换装置的非平面度。
35.如权利要求1至34中任一项所述的成像系统，所述成像系统还包括位于所述一个或多个图像传感器上或前面的一个或多个针孔孔隙阵列，其中所述针孔孔隙阵列被配置为减少所述成像系统的点扩散函数中的伪影。
36.一种对物体成像的方法，所述方法包括：
用光束照射第一光学变换装置，其中所述第一光学变换装置被配置为对所述光束应用第一光学变换以产生照明图案，所述照明图案通过投影单元的面向物体的光学部件投影到所述物体上；
将由所述物体反射、透射、散射或发射并且由所述投影单元的所述面向物体的光学部件接受的光引导到第二光学变换装置，其中所述第二光学变换装置被配置为对由所述投影单元接受的所述光应用第二光学变换并且将它中继到被配置用于时间延迟和积分(TDI)成像的一个或多个图像传感器；
其中通过所述第一光学变换生成的所述照明图案致使由所述投影单元接受的所述光包括关于所述物体的高分辨率空间信息，所述高分辨率空间信息将不会包含在由缺少所述第一光学变换装置的类似成像装置中的投影单元接受的所述光中；并且
其中所述第二光学变换在所述一个或多个图像传感器处生成光学图像，所述光学图像包括所述高分辨率空间信息的全部或一部分；以及
相对于所述面向物体的光学部件扫描所述物体或相对于所述物体扫描所述面向物体的光学部件，其中在所述扫描期间所述物体与所述面向物体的光学部件的相对运动与所述时间延迟和积分(TDI)成像同步，使得所述一个或多个图像传感器中的每一个采集到所述物体的全部或一部分的扫描图像。
37.如权利要求36所述的方法，其中所述照明图案包括多个光强度最大值，并且其中所述第二光学变换补偿所述照明图案中的所述多个光强度最大值与将通过各个图像传感器像素测量的多个信号强度最大值之间的空间偏移，所述各个图像传感器像素相对于使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的扫描图像中的所述光强度最大值在横向上偏移，所述第二光学变换由此使得能够采集比将使用缺少所述第二光学变换装置的在其他方面相同的成像系统采集的图像分辨率高的扫描图像。
38.如权利要求36或权利要求37所述的方法，其中由所述一个或多个图像传感器中的至少一者生成的所述扫描图像展现出超过缺少所述第二光学变换装置的在其他方面相同的成像系统的横向空间分辨率的横向空间分辨率。
39.如权利要求36至37中任一项所述的方法，其中由所述一个或多个图像传感器中的至少一者采集的所述扫描图像展现出与缺少所述第二光学变换装置的在其他方面相同的成像系统的信噪比(SNR)相比增加的信噪比(SNR)。
40.如权利要求36至39中任一项所述的方法，其中所述投影单元接受的所述光无显著损耗地通过所述第二光学变换装置。
41.如权利要求36至40中任一项所述的方法，其中所述投影单元接受的通过所述第二光学变换装置的所述光是所述投影单元接受的到达所述第二光学变换装置的所述光的至少30％、40％、50％、60％、70％、80％、90％、95％、98％或99％。
42.如权利要求36至41中任一项所述的方法，其中，在所述扫描期间的任何给定时间点，所述第二光学变换装置对从所述投影单元接收到的光重新路由和重新分配以向所述一个或多个图像传感器呈现所述物体的经修改光学图像，并且其中所述经修改光学图像表示所述物体的空间结构，所述空间结构能够根据从所述投影单元接收到的所述光的性质和在该时间点投影在所述物体上的已知照明图案推断出，并且其中所述一个或多个图像传感器在执行所述物体的所述扫描所需的时间段内对来自多个经修改光学图像的信号进行积分。
43.如权利要求36至42中任一项所述的方法，其中所述第一光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
44.如权利要求36至43中任一项所述的方法，其中所述第二光学变换装置包括选自由微透镜阵列(MLA)、衍射光学元件、数字微镜装置(DMD)、相位掩模、振幅掩模、空间光调制器(SLM)和针孔阵列组成的组中的一个或多个部件。
45.如权利要求36至44中任一项所述的方法，其中用于执行所述方法的成像系统仅包括在成像期间保持静态的部件，但以下各者除外：(i)被配置为产生所述成像系统与所述物体之间的相对运动的致动器；以及(ii)自动聚焦系统的部件。
46.如权利要求36至45中任一项所述的方法，其中所述投影单元接收的并且进入所述第二光学变换装置的所述光的至少40％、50％、60％、70％、80％、90％、95％或99％到达所述一个或多个图像传感器。
47.如权利要求36至46中任一项所述的方法，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机，或包括图像采集的TDI模式的一个或多个相机，并且其中所述面向物体的光学部件与所述物体之间的所述相对运动与所述一个或多个图像传感器中的线移位或图像移位同步以便在图像采集期间将运动模糊降至最少。
48.如权利要求36至47中任一项所述的方法，其中在扫描期间对被引导到所述物体的照明图案光强度的积分导致在所述物体的每个位置处对照明光的总曝露大致相同。
49.如权利要求37至48中任一项所述的方法，其中所述照明图案中的所述多个光强度最大值中的任两个光强度最大值之间的间隔距离是对应的强度峰值分布的半高全宽(FWHM)的至少1倍至100倍。
50.如权利要求36至49中任一项所述的方法，其中所述第一光学变换装置或所述第二光学变换装置包括微透镜阵列(MLA)，并且其中所述微透镜阵列(MLA)包括两个或更多个微透镜的规则排列。
51.如权利要求50所述的方法，其中所述微透镜阵列中的每个微透镜被配置为缩小从所述投影单元接收到的所述光中的对应子束。
52.如权利要求50至51中任一项所述的方法，其中所述规则排列是六边形图案。
53.如权利要求50至52中任一项所述的方法，其中所述规则排列包括微透镜的相邻行或列之间的微透镜位置偏移。
54.如权利要求50至53中任一项所述的方法，其中所述规则排列是交错的。
55.如权利要求50至54中任一项所述的方法，其中所述规则排列到包括所述物体的物体平面上的投影相对于所述相对移动的方向旋转。
56.如权利要求55所述的方法，其中所述规则排列到包括所述物体的所述物体平面上的所述投影相对于所述相对移动的方向旋转了角度θ，并且其中θ经过选择以导致所述照明图案在扫描内进行积分时在所述物体上的每个点处提供均一的总曝光。
57.如权利要求36至49中任一项所述的方法，其中所述第一光学变换装置和所述第二光学变换装置包括具有不同取向的多个谐波调制的相位掩模或谐波调制的振幅掩模。
58.如权利要求57所述的方法，其中所述第二光学变换装置的空间频率和取向与所述第一光学变换装置的空间频率和取向匹配。
59.如权利要求57或权利要求58所述的方法，其中所述第一光学变换装置和所述第二光学变换装置包括谐波调制的相位掩模，并且其中所述第二光学变换装置相对于所述第一光学变换装置具有相移。
60.如权利要求57至59中任一项所述的方法，其中通过应用傅里叶重新加权过程来由所述一个或多个图像传感器采集的所述扫描图像重建最终的高分辨率图像。
61.如权利要求36至60中任一项所述的方法，其中所述一个或多个图像传感器包括一个或多个时间延迟和积分(TDI)相机、电荷耦合装置(CCD)相机、互补金属氧化物半导体(CMOS)相机或单光子雪崩二极管(SPAD)阵列。
62.如权利要求36至61中任一项所述的方法，其中所述扫描图像包括荧光图像，并且其中所述照明包括提供处于两个或更多个激发波长的激发光。
63.如权利要求36至62中任一项所述的方法，其中所述扫描图像包括荧光图像，并且其中所述一个或多个图像传感器被配置为检测处于两个或更多个发射波长的荧光。
64.如权利要求36至63中任一项所述的方法，其中所述物体包括用于执行核酸测序的流动池或基片。
65.如权利要求64所述的方法，其中所述流动池或基片包括至少一个表面，并且其中所述至少一个表面包括多个单核酸分子或克隆扩增的核酸簇。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163262081P | 2021-10-04 | 2021-10-04 | |
| US63/262,081 | 2021-10-04 | ||
| PCT/US2022/077551 WO2023060091A1 (en) | 2021-10-04 | 2022-10-04 | Enhanced resolution imaging |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118103751A true CN118103751A (zh) | 2024-05-28 |
Family
ID=85804738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280067406.4A Pending CN118103751A (zh) | 2021-10-04 | 2022-10-04 | 分辨率增强成像 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240255428A1 (zh) |
| EP (1) | EP4413410A1 (zh) |
| CN (1) | CN118103751A (zh) |
| WO (1) | WO2023060091A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117222090B (zh) * | 2023-07-18 | 2024-07-19 | 中国人民解放军国防科技大学 | 可调节高空间分辨率的平面等离子体速度测量系统及方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19908883A1 (de) * | 1999-03-02 | 2000-09-07 | Rainer Heintzmann | Verfahren zur Erhöhung der Auflösung optischer Abbildung |
| JP2004363085A (ja) * | 2003-05-09 | 2004-12-24 | Ebara Corp | 荷電粒子線による検査装置及びその検査装置を用いたデバイス製造方法 |
| US8362431B2 (en) * | 2005-03-15 | 2013-01-29 | Mount Holyoke College | Methods of thermoreflectance thermography |
| JP2008175686A (ja) * | 2007-01-18 | 2008-07-31 | Tokyo Seimitsu Co Ltd | 外観検査装置及び外観検査方法 |
| US7714996B2 (en) * | 2007-01-23 | 2010-05-11 | 3i Systems Corporation | Automatic inspection system for flat panel substrate |
| WO2014059318A1 (en) * | 2012-10-12 | 2014-04-17 | Thorlabs, Inc. | Time delay and integration scanning using a ccd imager |
-
2022
- 2022-10-04 WO PCT/US2022/077551 patent/WO2023060091A1/en active Application Filing
- 2022-10-04 EP EP22879430.1A patent/EP4413410A1/en active Pending
- 2022-10-04 CN CN202280067406.4A patent/CN118103751A/zh active Pending
-
2024
- 2024-04-01 US US18/623,877 patent/US20240255428A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4413410A1 (en) | 2024-08-14 |
| WO2023060091A1 (en) | 2023-04-13 |
| US20240255428A1 (en) | 2024-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11604342B2 (en) | Microscopy devices, methods and systems | |
| JP6934856B2 (ja) | 複数の対象面を同時にイメージングする光シート顕微鏡 | |
| US9470883B2 (en) | High-resolution scanning microscopy | |
| US7274446B2 (en) | Method and arrangement for the deep resolved optical recording of a sample | |
| JP6580310B2 (ja) | 高分解能走査顕微鏡 | |
| JP5999121B2 (ja) | 共焦点光スキャナ | |
| JP2019520574A (ja) | ハイパースペクトルイメージング方法および装置 | |
| US7903247B2 (en) | Method and microscope for high spatial resolution examination of samples | |
| US8946619B2 (en) | Talbot-illuminated imaging devices, systems, and methods for focal plane tuning | |
| CN109632735B (zh) | 光学超分辨显微成像系统及成像方法 | |
| US20240255428A1 (en) | Enhanced resolution imaging | |
| KR101300733B1 (ko) | 다중 병렬 공초점 시스템 | |
| US10191263B2 (en) | Scanning microscopy system | |
| JP2012237647A (ja) | 多焦点共焦点ラマン分光顕微鏡 | |
| US20180164564A1 (en) | Assembly and method for beam shaping and for light sheet microscopy | |
| US20130250088A1 (en) | Multi-color confocal microscope and imaging methods | |
| KR20220074886A (ko) | 초고해상도 이미징을 위한 고속 스캐닝 시스템 | |
| WO2013176549A1 (en) | Optical apparatus for multiple points of view three-dimensional microscopy and method | |
| CN107209360B (zh) | 图像取得装置以及图像取得方法 | |
| JPWO2018190339A1 (ja) | 収差補正方法及び光学装置 | |
| JP7420793B2 (ja) | ライン焦点を生成するように構成された共焦点レーザー走査顕微鏡 | |
| WO2024076573A2 (en) | Enhanced resolution imaging | |
| US11156818B2 (en) | Flexible light sheet generation by field synthesis | |
| JP2015138091A (ja) | 走査型レーザ顕微鏡 | |
| CN116097147A (zh) | 用于获得样品的光学切片图像的方法和适用于这种方法的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |