CN113950701A - 用于检测组织中的术中造影剂的成像系统 - Google Patents
用于检测组织中的术中造影剂的成像系统 Download PDFInfo
- Publication number
- CN113950701A CN113950701A CN202080042980.5A CN202080042980A CN113950701A CN 113950701 A CN113950701 A CN 113950701A CN 202080042980 A CN202080042980 A CN 202080042980A CN 113950701 A CN113950701 A CN 113950701A
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- cell
- tissue sample
- microscopy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 239
- 239000002872 contrast media Substances 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 claims abstract description 164
- 230000003287 optical effect Effects 0.000 claims abstract description 138
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000001574 biopsy Methods 0.000 claims abstract description 18
- 238000001356 surgical procedure Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 353
- 210000001519 tissue Anatomy 0.000 claims description 226
- 238000000386 microscopy Methods 0.000 claims description 116
- 238000010801 machine learning Methods 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 51
- 238000001069 Raman spectroscopy Methods 0.000 claims description 49
- ZGXJTSGNIOSYLO-UHFFFAOYSA-N 88755TAZ87 Chemical compound NCC(=O)CCC(O)=O ZGXJTSGNIOSYLO-UHFFFAOYSA-N 0.000 claims description 45
- 229960002749 aminolevulinic acid Drugs 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 35
- 238000001218 confocal laser scanning microscopy Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000005286 illumination Methods 0.000 claims description 20
- 238000000338 in vitro Methods 0.000 claims description 20
- 238000002271 resection Methods 0.000 claims description 20
- 238000000482 two photon fluorescence microscopy Methods 0.000 claims description 20
- 238000002073 fluorescence micrograph Methods 0.000 claims description 18
- 238000001727 in vivo Methods 0.000 claims description 17
- 230000001427 coherent effect Effects 0.000 claims description 15
- LWXYOERUKGQNKQ-IQDTYCCDSA-N 4-[2-[(1E,3E,5E,7Z)-7-[3-[6-[4-[(1R,4R,5aR,8aS,9R,12S,17aS,18S,20aS,21R,24S,27S,30S,33S,36S,39S,42S,45S,48S,51S,54R,59R,62S,65S,74S,77R,80S,86S,92S)-9-[[(2S)-2-amino-4-methylsulfanylbutanoyl]amino]-39,62-bis(3-amino-3-oxopropyl)-24-benzyl-5a-[[(1S)-4-carbamimidamido-1-carboxybutyl]carbamoyl]-48,51,86,92-tetrakis(3-carbamimidamidopropyl)-17a,20a,33-tris(carboxymethyl)-27,30-bis[(1R)-1-hydroxyethyl]-74-[(4-hydroxyphenyl)methyl]-36-(1H-imidazol-4-ylmethyl)-45-methyl-8a-(2-methylpropyl)-12,42-bis(2-methylsulfanylethyl)-a,3,7a,10,10a,13,15a,18a,19,21a,22,25,28,31,34,37,40,43,46,49,52,61,64,70,73,76,79,82,85,88,91,94,97-tritriacontaoxo-2a,3a,6,7,12a,13a,56,57-octathia-2,6a,9a,11,14,16a,19a,20,22a,23,26,29,32,35,38,41,44,47,50,53,60,63,69,72,75,78,81,84,87,90,93,96,99-tritriacontazahexacyclo[57.41.10.84,54.421,77.014,18.065,69]docosahectan-80-yl]butylamino]-6-oxohexyl]-1,1-dimethylbenzo[e]indol-2-ylidene]hepta-1,3,5-trienyl]-1,1-dimethylbenzo[e]indol-3-ium-3-yl]butane-1-sulfonate Chemical compound CSCC[C@H](N)C(=O)N[C@H]1CSSC[C@@H]2NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC(O)=O)NC(=O)[C@@H]3CSSC[C@@H]4NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H]5CCCN5C(=O)CNC(=O)[C@H](Cc5ccc(O)cc5)NC(=O)[C@H](CSSC[C@H](NC(=O)[C@@H]5CCCN5C(=O)[C@H](CCSC)NC1=O)C(=O)N[C@@H](Cc1ccccc1)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](Cc1c[nH]cn1)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N3)NC(=O)[C@H](CCCCNC(=O)CCCCCN1\C(=C/C=C/C=C/C=C/C3=[N+](CCCCS([O-])(=O)=O)c5ccc6ccccc6c5C3(C)C)C(C)(C)c3c1ccc1ccccc31)NC(=O)CNC(=O)[C@H](CCCNC(N)=N)NC(=O)CNC(=O)[C@H](CCCNC(N)=N)NC(=O)CNC(=O)CNC(=O)[C@H](CSSC[C@H](NC(=O)[C@H](CC(C)C)NC4=O)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)NC2=O LWXYOERUKGQNKQ-IQDTYCCDSA-N 0.000 claims description 12
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 claims description 9
- 210000005013 brain tissue Anatomy 0.000 claims description 8
- 230000002380 cytological effect Effects 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 8
- ZJTJUVIJVLLGSP-UHFFFAOYSA-N lumichrome Chemical compound N1C(=O)NC(=O)C2=C1N=C1C=C(C)C(C)=CC1=N2 ZJTJUVIJVLLGSP-UHFFFAOYSA-N 0.000 claims description 8
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 102000004169 proteins and genes Human genes 0.000 claims description 7
- 108090000623 proteins and genes Proteins 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 150000002632 lipids Chemical class 0.000 claims description 6
- 108020004707 nucleic acids Proteins 0.000 claims description 6
- 102000039446 nucleic acids Human genes 0.000 claims description 6
- 150000007523 nucleic acids Chemical class 0.000 claims description 6
- 210000000481 breast Anatomy 0.000 claims description 5
- 210000004072 lung Anatomy 0.000 claims description 5
- 210000002307 prostate Anatomy 0.000 claims description 5
- 210000004923 pancreatic tissue Anatomy 0.000 claims description 4
- 230000001413 cellular effect Effects 0.000 abstract description 8
- 210000004027 cell Anatomy 0.000 description 199
- 239000000523 sample Substances 0.000 description 113
- 230000005284 excitation Effects 0.000 description 47
- 238000003708 edge detection Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 19
- 206010028980 Neoplasm Diseases 0.000 description 17
- 230000035945 sensitivity Effects 0.000 description 12
- 208000003174 Brain Neoplasms Diseases 0.000 description 11
- 239000000835 fiber Substances 0.000 description 10
- 230000003595 spectral effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000000799 fluorescence microscopy Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 102000004190 Enzymes Human genes 0.000 description 6
- 108090000790 Enzymes Proteins 0.000 description 6
- 125000004122 cyclic group Chemical group 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000009977 dual effect Effects 0.000 description 6
- 238000012632 fluorescent imaging Methods 0.000 description 6
- 239000002245 particle Substances 0.000 description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 239000002105 nanoparticle Substances 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 239000002096 quantum dot Substances 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- KSFOVUSSGSKXFI-GAQDCDSVSA-N CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O Chemical compound CC1=C/2NC(\C=C3/N=C(/C=C4\N\C(=C/C5=N/C(=C\2)/C(C=C)=C5C)C(C=C)=C4C)C(C)=C3CCC(O)=O)=C1CCC(O)=O KSFOVUSSGSKXFI-GAQDCDSVSA-N 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 229950003776 protoporphyrin Drugs 0.000 description 4
- 206010018338 Glioma Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 125000003636 chemical group Chemical group 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000002189 fluorescence spectrum Methods 0.000 description 3
- 230000005283 ground state Effects 0.000 description 3
- 238000011503 in vivo imaging Methods 0.000 description 3
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 3
- 229960004657 indocyanine green Drugs 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000005304 optical glass Substances 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 101710164760 Chlorotoxin Proteins 0.000 description 2
- 208000032612 Glial tumor Diseases 0.000 description 2
- 108091005804 Peptidases Proteins 0.000 description 2
- 239000002202 Polyethylene glycol Substances 0.000 description 2
- 239000004365 Protease Substances 0.000 description 2
- 102100037486 Reverse transcriptase/ribonuclease H Human genes 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- QPAKKWCQMHUHNI-GQIQPHNSSA-N chlorotoxin Chemical compound C([C@H]1C(=O)NCC(=O)N2CCC[C@H]2C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@H]2CSSC[C@H]3C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@H]4CSSC[C@@H](C(N[C@@H](CCSC)C(=O)N5CCC[C@H]5C(=O)N[C@@H](CSSC[C@@H](C(=O)N1)NC(=O)[C@H](CCCCN)NC(=O)CNC(=O)[C@H](CCCNC(N)=N)NC(=O)CNC(=O)[C@H](CCCCN)NC(=O)CNC(=O)CNC(=O)[C@H](CSSC[C@H](NC(=O)[C@H](CC(C)C)NC2=O)C(=O)N[C@@H](CCCNC(N)=N)C(N)=O)NC4=O)C(=O)N[C@@H](CC=1C=CC=CC=1)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC=1N=CNC=1)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CCCCN)C(=O)N3)=O)NC(=O)[C@@H](N)CCSC)C1=CC=C(O)C=C1 QPAKKWCQMHUHNI-GQIQPHNSSA-N 0.000 description 2
- 229960005534 chlorotoxin Drugs 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013188 needle biopsy Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 229920001223 polyethylene glycol Polymers 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001685 thyroid gland Anatomy 0.000 description 2
- 210000004881 tumor cell Anatomy 0.000 description 2
- WDVIDPRACNGFPP-QWRGUYRKSA-N (2s)-2-[[(2s)-6-amino-2-[[2-[(2-aminoacetyl)amino]acetyl]amino]hexanoyl]amino]-5-(diaminomethylideneamino)pentanoic acid Chemical compound NCC(=O)NCC(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CCCN=C(N)N)C(O)=O WDVIDPRACNGFPP-QWRGUYRKSA-N 0.000 description 1
- 229950010481 5-aminolevulinic acid hydrochloride Drugs 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 108090000625 Cathepsin K Proteins 0.000 description 1
- 102000004171 Cathepsin K Human genes 0.000 description 1
- 108090000624 Cathepsin L Proteins 0.000 description 1
- 102000004172 Cathepsin L Human genes 0.000 description 1
- 108090000613 Cathepsin S Proteins 0.000 description 1
- 102100035654 Cathepsin S Human genes 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- MGIODCZGPVDROX-UHFFFAOYSA-N Cy5-bifunctional dye Chemical compound O=C1CCC(=O)N1OC(=O)CCCCCN1C2=CC=C(S(O)(=O)=O)C=C2C(C)(C)C1=CC=CC=CC(C(C1=CC(=CC=C11)S([O-])(=O)=O)(C)C)=[N+]1CCCCCC(=O)ON1C(=O)CCC1=O MGIODCZGPVDROX-UHFFFAOYSA-N 0.000 description 1
- 229910052691 Erbium Inorganic materials 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000408551 Meza Species 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000001237 Raman spectrum Methods 0.000 description 1
- 206010039491 Sarcoma Diseases 0.000 description 1
- 229910052769 Ytterbium Inorganic materials 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000000862 absorption spectrum Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000000270 basal cell Anatomy 0.000 description 1
- 238000012984 biological imaging Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005274 electronic transitions Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- UYAHIZSMUZPPFV-UHFFFAOYSA-N erbium Chemical compound [Er] UYAHIZSMUZPPFV-UHFFFAOYSA-N 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000001723 extracellular space Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000001917 fluorescence detection Methods 0.000 description 1
- 238000000166 fluorescence laser scanning microscopy Methods 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000001499 laser induced fluorescence spectroscopy Methods 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- JITOKQVGRJSHHA-UHFFFAOYSA-M monosodium methyl arsenate Chemical group [Na+].C[As](O)([O-])=O JITOKQVGRJSHHA-UHFFFAOYSA-M 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 230000006337 proteolytic cleavage Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 210000005084 renal tissue Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- NAWDYIZEMPQZHO-UHFFFAOYSA-N ytterbium Chemical compound [Yb] NAWDYIZEMPQZHO-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0012—Surgical microscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0068—Confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K49/00—Preparations for testing in vivo
- A61K49/001—Preparation for luminescence or biological staining
- A61K49/0013—Luminescence
- A61K49/0017—Fluorescence in vivo
- A61K49/0019—Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules
- A61K49/0021—Fluorescence in vivo characterised by the fluorescent group, e.g. oligomeric, polymeric or dendritic molecules the fluorescent group being a small organic molecule
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
- A61B10/02—Instruments for taking cell samples or for biopsy
- A61B10/0233—Pointed or sharp biopsy instruments
- A61B10/0283—Pointed or sharp biopsy instruments with vacuum aspiration, e.g. caused by retractable plunger or by connected syringe
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/32—Surgical cutting instruments
- A61B2017/320052—Guides for cutting instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
- A61B2090/395—Visible markers with marking agent for marking skin or other tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
- A61K49/00—Preparations for testing in vivo
- A61K49/001—Preparation for luminescence or biological staining
- A61K49/0013—Luminescence
- A61K49/0017—Fluorescence in vivo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/65—Raman scattering
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0064—Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/35—Non-linear optics
- G02F1/37—Non-linear optics for second-harmonic generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Epidemiology (AREA)
Abstract
描述了系统和方法，该系统和方法用于使用高分辨率光学切片成像模式的组合以通过识别造影剂的细胞分布来提供组织样本中造影剂的分布的定量测量。在一些情况下，该系统和方法可用于术中环境下以引导活检或外科手术。
Description
交叉引用
本申请要求2019年4月12日提交的美国临时申请号62/833,553的权益，该临时申请通过引用并入本文。
发明内容
本文公开了用于对组织样品进行成像的系统，包括：a)第一光学子系统，所述第一光学子系统配置为使用第一光学切片成像模式获取所述组织样品内细胞相关造影剂的分布的高分辨率图像；b)第二光学子系统，所述第二光学子系统配置为使用第二光学切片成像模式获取组织样品形态的高分辨率图像，其中所述第一光学子系统和所述第二光学子系统配置为对所述组织样品内的相同光学平面进行成像；c)处理器，所述处理器配置为运行图像解译算法，所述图像解译算法处理使用所述第一光学切片成像模式和所述第二光学切片成像模式之一或两者获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量与使用第一成像模式获取的所述图像中的所述单个细胞的位置相对应的位置处的信号来输出从所述细胞相关造影剂得到的信号的定量测量。在一些实施方案中，所述第一光学切片成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。在一些实施方案中，所述第二光学切片成像模式包括受激拉曼散射显微术、相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术。在一些实施方案中，所述第一光学子系统和所述第二光学子系统配置为具有小于10μm的轴向分辨率。在一些实施方案中，所述第一光学子系统和所述第二光学子系统配置为具有小于5μm的横向分辨率。在一些实施方案中，所述第一光学子系统进一步配置为在两个或更多个检测波长范围中获取高分辨率图像。在一些实施方案中，所述两个或更多个检测波长范围中的第一检测波长范围包括所述细胞相关造影剂的发射峰；所述两个或更多个检测波长范围中的第二检测波长范围不包括所述细胞相关造影剂的发射峰；以及图像解译算法进一步处理使用所述第一检测波长获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和通过背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在与使用所述第二检测波长范围获取的所述图像中的所述单个细胞的位置相对应的位置处测量的。在一些实施方案中，所述第二光学切片成像模式包括受激拉曼散射显微术，并在对应于脂质分子的CH2-振动的2,850cm-1的波数处获取所述图像。在一些实施方案中，还在对应于蛋白质和核酸分子的CH3-振动的2,930cm-1的波数处获取图像。在一些实施方案中，从细胞相关造影剂得到的信号包括荧光信号、磷光信号或它们的任何组合。在一些实施方案中，细胞相关造影剂包含与荧光团、量子点、纳米颗粒或磷光体偶联的抗体。在一些实施方案中，细胞相关造影剂包含荧光酶底物。在一些实施方案中，细胞相关造影剂包含荧光素、5-ALA、BLZ-100或LUM015。在一些实施方案中，细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光且第二发射波长包括短于600nm的波长。在一些实施方案中，图像解译算法包括Canny边缘检测算法、Canny-Deriche边缘检测算法、一阶梯度边缘检测算法、二阶微分边缘检测算法、相位相干边缘检测算法、图像分割算法以及强度阈值算法、强度聚类算法、基于强度直方图算法、特征识别算法、图形识别算法、广义霍夫变换算法、圆形霍夫变换算法、傅里叶变换算法、快速傅里叶变换算法、小波分析算法、自相关算法或它们的任何组合。在一些实施方案中，图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。在一些实施方案中，图像解译算法包括人工智能或机器学习算法。在一些实施方案中，图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。在一些实施方案中，所述图像解译算法确定从所述细胞相关造影剂得到的信号的总强度或平均强度。在一些实施方案中，所述图像解译算法确定从用于单个细胞的所述细胞相关造影剂得到的所述信号是否高于用于对比阳性细胞的指定阈值水平。在一些实施方案中，所述图像解译算法输出所述组织样品的图像内的对比阳性细胞的总数、所述组织样品的图像内的对比阳性细胞的密度、所述组织样品的图像内的对比阳性细胞的百分比，或它们的任何组合。在一些实施方案中，所述图像解译算法还基于使用所述第二光学切片成像模式获得的所述图像输出细胞性分数。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
本文还公开了用于组织样品的细胞分辨率成像的方法，该方法包括：a)使用第一成像模式获取所述组织样品内的细胞相关造影剂的分布的高分辨率光学切片图像；b)使用第二成像模式获取与(a)在所述组织样品内的光学焦平面相同的组织样品形态的高分辨率光学切片图像；和c)使用图像解译算法处理使用所述第一成像模式和所述第二成像模式之一或两者获取的图像，该图像解译算法识别单个细胞并确定所述单个细胞的位置，并通过测量与使用所述第一成像模式获取的所述图像中的所述单个细胞的位置相对应的位置处的信号、以细胞分辨率来输出从所述细胞相关造影剂得到的信号的定量测量。在一些实施方案中，所述第一成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。在一些实施方案中，所述第二成像模式包括受激拉曼散射显微术、相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术。在一些实施方案中，使用所述第一成像模式和所述第二成像模式获取的图像具有小于10μm的轴向分辨率。在一些实施方案中，使用所述第一成像模式和所述第二成像模式获取的图像具有小于5μm的横向分辨率。在一些实施方案中，所述方法进一步包括使用所述第一成像模式在两个或更多个检测波长范围内获取图像。在一些实施方案中，所述两个或更多个检测波长范围中的第一检测波长范围包括所述细胞相关造影剂的发射峰；所述两个或更多个检测波长范围中的第二检测波长范围不包括所述细胞相关造影剂的发射峰；以及图像解译算法进一步处理使用所述第一检测波长获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和通过背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在与使用所述第二发射波长范围获取的所述图像中的所述单个细胞的位置相对应的位置处测量的。在一些实施方案中，所述第二成像模式包括受激拉曼散射显微术，并在对应于脂质分子的CH2-振动的2,850cm-1的波数处获取所述图像。在一些实施方案中，还在对应于蛋白质和核酸分子的CH3-振动的2,930cm-1的波数处获取图像。在一些实施方案中，从细胞相关造影剂得到的信号包括荧光信号、磷光信号或它们的任何组合。在一些实施方案中，细胞相关造影剂包含与荧光团、量子点、纳米颗粒或磷光体偶联的抗体。在一些实施方案中，细胞相关造影剂包含荧光酶底物。在一些实施方案中，细胞相关造影剂包含荧光素、5-ALA、BLZ-100或LUM015。在一些实施方案中，细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光且第二发射波长包括短于600nm的波长。在一些实施方案中，图像解译算法包括Canny边缘检测算法、Canny-Deriche边缘检测算法、一阶梯度边缘检测算法、二阶微分边缘检测算法、相位相干边缘检测算法、图像分割算法、以及强度阈值算法、强度聚类算法、基于强度直方图算法、特征识别算法、图形识别算法、广义霍夫变换算法、圆形霍夫变换算法、傅里叶变换算法、快速傅里叶变换算法、小波分析算法、自相关算法或它们的任何组合。在一些实施方案中，图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。在一些实施方案中，图像解译算法包括人工智能或机器学习算法。在一些实施方案中，图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，所述机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。在一些实施方案中，所述图像解译算法确定从所述细胞相关造影剂得到的信号的总强度或平均强度。在一些实施方案中，所述图像解译算法确定从用于单个细胞的所述细胞相关造影剂得到的所述信号是否高于用于对比阳性细胞的指定阈值水平。在一些实施方案中，所述图像解译算法输出所述组织样品的图像内的对比阳性细胞的总数、所述组织样品的图像内的对比阳性细胞的密度、所述组织样品的图像内的对比阳性细胞的百分比，或它们的任何组合。在一些实施方案中，所述图像解译算法还基于使用所述第二光学切片成像模式获得的所述图像输出细胞性分数。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，所述方法在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
本文公开了一种用于对组织样品进行成像的系统，该系统包括：a)高分辨率光学切片显微镜，该高分辨率光学切片显微镜配置为获取所述组织样品的图像；和b)处理器，该处理器配置为运行图像解译算法，所述图像解译算法检测通过所述高分辨率光学切片显微镜获取的所述图像中的单个细胞，并输出从细胞相关造影剂得到的信号的定量测量。在一些实施方案中，所述高分辨率光学切片显微镜包括双光子荧光显微镜、共焦荧光显微镜、光片显微镜或结构光照明显微镜。在一些实施方案中，高分辨率光学切片显微镜具有小于10μm的轴向分辨率。在一些实施方案中，高分辨率光学切片显微镜具有小于5μm的横向分辨率。在一些实施方案中，高分辨率光学切片显微镜配置为在两个或更多个发射波长范围中获取图像。在一些实施方案中，所述两个或更多个检测波长范围中的第一发射波长范围包括所述细胞相关造影剂的发射峰；所述两个或更多个检测波长范围中的第二发射波长范围不包括所述细胞相关造影剂的发射峰；以及图像解译算法处理使用所述第一检测波长范围获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和使用背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在与使用所述第二发射波长范围获取的所述图像中的对应位置处测量的。在一些实施方案中，从细胞相关造影剂得到的信号包括荧光信号、磷光信号或它们的任何组合。在一些实施方案中，细胞相关造影剂包含与荧光团、量子点、纳米颗粒或磷光体偶联的抗体。在一些实施方案中，细胞相关造影剂包含荧光酶底物。在一些实施方案中，细胞相关造影剂包含荧光素、5-ALA、BLZ-100或LUM015。在一些实施方案中，细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光且第二发射波长包括短于600nm的波长。在一些实施方案中，图像解译算法包括Canny边缘检测算法、Canny-Deriche边缘检测算法、一阶梯度边缘检测算法、二阶微分边缘检测算法、相位相干边缘检测算法、图像分割算法、以及强度阈值算法、强度聚类算法、基于强度直方图算法、特征识别算法、图形识别算法、广义霍夫变换算法、圆形霍夫变换算法、傅里叶变换算法、快速傅里叶变换算法、小波分析算法、自相关算法或它们的任何组合。在一些实施方案中，图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。在一些实施方案中，图像解译算法包括人工智能或机器学习算法。在一些实施方案中，图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，机器学习算法包括人工神经网络算法、网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。在一些实施方案中，从所述细胞相关造影剂得到的所述信号的定量测量包括与所述图像中的一个或多个单个细胞相关的造影剂的量的测量。在一些实施方案中，从所述细胞相关造影剂得到的所述信号的定量测量包括图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比或它们的任何组合的测量。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
本文公开了用于对组织样品进行成像的方法，该方法包括：a)获取所述组织样品的高分辨率光学切片图像；和b)使用图像解译算法处理所述图像，所述图像解译算法检测所述图像中的单个细胞并输出从一个或多个单个细胞的位置处的细胞相关造影剂得到的信号的定量测量。在一些实施方案中，所述第一高分辨率光学切片图像使用双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术获取。在一些实施方案中，所述第一成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。在一些实施方案中，获取的图像具有小于10μm的轴向分辨率。在一些实施方案中，获取的图像具有小于5μm的横向分辨率。在一些实施方案中，从细胞相关造影剂得到的信号包括荧光信号、磷光信号或它们的任何组合。在一些实施方案中，细胞相关造影剂包含与荧光团、量子点、纳米颗粒或磷光体偶联的抗体。在一些实施方案中，细胞相关造影剂包含荧光酶底物。在一些实施方案中，细胞相关造影剂包含荧光素、5-ALA、BLZ-100或LUM015。在一些实施方案中，图像解译算法包括Canny边缘检测算法、Canny-Deriche边缘检测算法、一阶梯度边缘检测算法、二阶微分边缘检测算法、相位相干边缘检测算法、图像分割算法、以及强度阈值算法、强度聚类算法、基于强度直方图算法、特征识别算法、图形识别算法、广义霍夫变换算法、圆形霍夫变换算法、傅里叶变换算法、快速傅里叶变换算法、小波分析算法、自相关算法或它们的任何组合。在一些实施方案中，图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。在一些实施方案中，图像解译算法包括人工智能或机器学习算法。在一些实施方案中，图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，所述机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。在一些实施方案中，所述图像解译算法确定从所述细胞相关造影剂得到的信号的平均强度。在一些实施方案中，图像解译算法确定用于每一个单个细胞中的所述信号是否高于用于对比阳性细胞的指定阈值水平。在一些实施方案中，图像解译算法输出图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比，或它们的任何组合。在一些实施方案中，图像解译算法输出细胞性分数。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
本文公开了用于检测组织样品中的细胞相关光学造影剂的方法，该方法包括：a)在第一发射波长范围处获取所述组织样品的第一高分辨率光学切片图像，所述第一发射波长范围包括所述细胞相关造影剂的发射峰，b)在第二发射波长范围处获取所述组织样品的第二高分辨率光学切片图像，所述第二发射波长范围不包括所述细胞相关造影剂的发射峰；和c)将伪彩色算法应用于第一图像和第二图像以生成所述组织样品的多彩色图像，所述多彩色图像便于人类解译。在一些实施方案中，第一高分辨率光学切片图像和第二高分辨率光学切片图像使用双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术获取。在一些实施方案中，使用所述第一发射波长范围获取的图像通过图像解译算法进一步处理以识别单个细胞及所述单个细胞的位置，并输出图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比或它们的任何组合。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，所述方法在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
本文还公开了用于引导外科切除的方法，该方法包括：a)使用第一成像模式获取所述组织样品内的细胞相关造影剂的分布的高分辨率光学切片图像；b)使用第二成像模式获取所述组织样品的相同光学焦平面的组织样品形态的高分辨率光学切片图像；和c)使用图像解译算法处理使用所述第一成像模式和所述第二成像模式之一或两者获取的图像，该图像解译算法识别单个细胞并确定所述单个细胞的位置，并通过测量与使用所述第一成像模式获取的所述图像中的所述单个细胞的位置相对应的位置处的信号、以细胞分辨率来输出从所述细胞相关造影剂得到的信号的定量测量。
本文公开了用于引导外科切除的方法，该方法包括：a)获取组织样品的高分辨率光学切片图像；和b)使用图像解译算法处理所述图像，所述图像解译算法检测所述图像中的单个细胞并输出从一个或多个单个细胞的位置处的细胞相关造影剂得到的信号的定量测量。
本文公开了用于引导外科切除的方法，该方法包括：a)在第一发射波长范围处获取所述组织样品的第一高分辨率光学切片图像，所述第一发射波长范围包括细胞相关造影剂的发射峰，b)在第二发射波长范围处获取所述组织样品的第二高分辨率光学切片图像，所述第二发射波长范围不包括所述细胞相关造影剂的发射峰；和c)将伪彩色算法应用于第一图像和第二图像以生成所述组织样品的多彩色图像，所述多彩色图像便于人类解译。
对于本文公开的任何方法，在一些实施方案中，至少一种成像模式的图像是使用双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术而获取的。在一些实施方案中，使用至少第二成像模式获取的图像是使用受激拉曼散射显微术、相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术而获取的。在一些实施方案中，所述组织样品是脑组织样品、乳腺组织样品、肺组织样品、胰腺组织样品或前列腺组织样品。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，用于处理使用第一成像模式或第二成像模式获取的图像的图像解译算法输出所述图像内的对比阳性细胞的总数、所述图像内的对比阳性细胞的密度、所述图像内的对比阳性细胞的百分比或它们的任何组合。在一些实施方案中，用于处理使用第一成像模式或第二成像模式获取的图像的图像解译算法包括机器学习算法。在一些实施方案中，机器学习算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，所述机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。
本文公开了用于引导外科切除的方法，该方法包括：a)使用双光子荧光显微术获取组织样品内的细胞相关造影剂的分布的高分辨率光学切片图像；b)使用受激拉曼散射显微术获取所述组织样品的相同光学焦平面内的组织样品形态的高分辨率光学切片图像；和c)使用图像解译算法处理使用受激拉曼散射获取的图像，该图像解译算法识别单个细胞并确定所述单个细胞的位置，并通过测量与使用双光子荧光获取的所述图像中的所述单个细胞的位置相对应的位置处的信号、以细胞分辨率来输出从所述细胞相关造影剂得到的信号的定量测量。
本文公开了用于引导外科切除的方法，该方法包括：a)使用双光子荧光获取组织样品的高分辨率光学切片图像；和b)使用图像解译算法处理所述图像，所述图像解译算法检测所述图像中的单个细胞并以细胞分辨率输出从一个或多个单个细胞位置处的细胞相关造影剂得到的信号的定量测量。
本文公开了用于引导外科切除的方法，该方法包括：a)在第一发射波长范围处获取所述组织样品的第一高分辨率光学切片双光子荧光图像，所述第一发射波长范围包括细胞相关造影剂的发射峰，b)在第二发射波长范围处获取所述组织样品的第二高分辨率光学切片双光子荧光图像，所述第二发射波长范围不包括所述细胞相关造影剂的发射峰；和c)将伪彩色算法应用于第一双光子荧光图像和第二双光子荧光图像以生成所述组织样品的多彩色图像，所述多彩色图像便于人类解译。
在本文公开的任何方法中，在一些实施方案中，至少一种成像模式的图像是使用共焦荧光显微术、光片显微术或结构光照明显微术代替双光子荧光显微术而获取的。在一些实施方案中，使用至少第二成像模式获取的图像是使用相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术代替受激拉曼散射显微术而获取的。在一些实施方案中，所述组织样品是脑组织样品、乳腺组织样品、肺组织样品、胰腺组织样品或前列腺组织样品。在一些实施方案中，在体内获取组织样品的图像。在一些实施方案中，在体外获取组织样品的图像。在一些实施方案中，用于处理使用双光子荧光获取的图像的图像解译算法输出所述图像内的对比阳性细胞的总数、所述图像内的对比阳性细胞的密度、所述图像内的对比阳性细胞的百分比或它们的任何组合。在一些实施方案中，用于处理使用双光子荧光或受激拉曼散射获取的图像的图像解译算法包括机器学习算法。在一些实施方案中，机器学习算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。在一些实施方案中，所述机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。在一些实施方案中，机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些实施方案中，利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。在一些实施方案中，所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。
援引并入
本说明书中提及的所有出版物、专利和专利申请通过引用整体并入本文，其程度如同每个单独的出版物、专利或专利申请被具体地和单独地指示通过引用整体并入本文。如果本文中的术语与并入参考文献中的术语发生冲突，则以本文中的术语为准。
附图说明
本发明的新颖特征在所附权利要求中具体阐述。通过参考下文的利用了本发明的原理的说明性实施方案的详细描述和附图，将获得对本发明的特征和优点的更好理解，在附图中：
图1A提供了在去除神经胶质瘤的外科手术期间脑组织的可见光图像的非限制性实例。
图1B提供了图1A中显示的脑组织的荧光图像的非限制性实例，其中5-氨基乙酰丙酸(5-ALA)HCl已被用作造影剂，以更好地可视化和引导神经胶质瘤的去除。
图2提供了高分辨率光学显微镜的示意图，该高分辨率光学显微镜将对组织形态进行成像的受激拉曼散射(SRS)显微术与对荧光造影剂的分布进行成像的双光子荧光(2P)显微术相结合。
图3A提供了给药5-ALA作为造影剂的脑肿瘤组织样本的双光子荧光图像的非限制性实例。
图3B提供了图3A示出的脑肿瘤组织样本在处理图像以识别图像中的单个细胞之后的双光子荧光图像的非限制性实例。
图4A提供了给药5-ALA作为造影剂的患者的活检组织的体外双光子荧光图像的非限制性实例。
图4B提供了没有给药造影剂的患者的活检组织的体外双光子荧光图像的非限制性实例。
图5提供了给药5-ALA作为造影剂的脑组织样本的双光子荧光发射光谱的非限制性实例。
图6提供了给药5-ALA的组织样本(右图)获得的单光子荧光发射光谱(左图)的非限制性实例。
图7提供了在受激拉曼和双光子荧光过程中发生的能级图和基态到振动或电子态跃迁的示意图。
图8A提供了脑癌组织样品的受激拉曼散射图像的非限制性实例。
图8B提供了双光子荧光图像的非限制性实例，该双光子荧光图像显示了与图8A中描述的相同脑癌组织样品中造影剂(5-ALA)的分布。
图9A显示了图8A的受激拉曼散射图像中细胞核或细胞(圆圈)的自动检测。
图9B显示了以图8B中示出的图像中检测到的细胞核或细胞为中心的特定细胞区域(圆圈)内荧光强度的自动测量。
图10A提供了包括二向色滤光器的双通道非扫描检测器设计(dual-channel,non-descanned detector design)的第一视图，该二向色滤光器用于分离发射带并将信号导向不同的光电倍增管(PMT)，该光电倍增管(PMT)可以单独滤光以检测特定的发射带。
图10B提供了图10A中显示的双通道非扫描检测器设计的第二视图。
具体实施方式
在手术时识别肿瘤组织对于做出适当的手术决定和对患者实现最大安全切除是至关重要的。近年来，术中荧光造影剂(诸如荧光素、5-氨基乙酰丙酸(5-ALA)(NXDevelopment Corp，Lexington，KY)、BLZ-100(Blaze Bioscience,Inc.，Seattle WA)和LUM015(Lumicell，Inc.，Newton，MA)已获得认可和普及。这些造影剂通常在术前(例如，口服或注射)给予，且可以用传统的荧光手术显微镜观察(例如Zeiss OPMI Pentero 800(Carl Zeiss Meditec,Inc.，Dublin,CA)、Leica PROvido-FL560(Leica MicrosystemsInc.，Buffalo Grove,IL)或Synaptive Modus V(Synaptive Medical，Totonto，ON))。图1A提供了在去除神经胶质瘤的外科手术期间用5-ALA治疗的脑组织的可见光图像的实例。图1B示出了相应的荧光图像。在目前的实践中，外科医生将切除所有荧光组织。
本领域众所周知的这种方法的局限性包括：(i)肿瘤边缘处有限的敏感性，在肿瘤边缘处由于肿瘤细胞数量低，造影剂积累的浓度可能是低的，和(ii)由于自体荧光背景信号、非特异性染色和非均匀递送导致的有限特异性。
为了克服这些限制，本文公开的方法和系统在新鲜组织样品中使用高分辨率光学成像，在体外或者体内，以近乎实时地分辨手术室中细胞或亚细胞水平的染料分布。这种方法依赖于光学切片来对新鲜组织样品进行成像。可用于在不物理地解剖组织的情况下使厚组织样品中的荧光造影剂可视化的合适的高分辨率光学成像技术包括但不限于双光子荧光(2P)显微术、共焦荧光显微术(CM)、光片显微术(LSM)和结构光照明显微术(SIM)。这种成像模式依赖于光学切片来抑制离焦信号，并且可以具有等于或优于10微米的轴向分辨率和等于或优于5微米的横向分辨率，即足够的分辨率对细胞和亚细胞特征进行成像。体外方法可能是获得最佳图像质量和灵敏度的优选的方法。体内方法从临床工作流程的角度来看可能是优选的，因为它们不需要组织活检。
定义：除非另有定义，否则本文所用的所有技术术语具有与本公开所属领域的普通技术人员通常理解的相同含义。
如本说明书和所附权利要求书中所用，单数形式“一个”、“一种”和“所述”包括复数指代，除非上下文另外清楚地指明。除非另有说明，否则本文中对“或”的任何指代均旨在涵盖“和/或”。
如本文所用，术语“约”某数字是指该数字加上或减去该数字的10％。当用于某范围的上下文中时术语“约”是指该范围减去其最小值的10％并加上其最大值的10％。
组织样品：在一些情况下，所公开的系统和方法可用于表征本领域技术人员已知的多种组织样品中的任一个。实例包括但不限于结缔组织、上皮组织、肌肉组织、肺组织、胰腺组织、乳腺组织、肾组织、肝组织、前列腺组织、甲状腺组织和神经组织样品。在一些情况下，组织样品可以来自植物或动物的任何器官或成分。在一些情况下，组织样品可以来自人体的任何器官或其他成分，包括但不限于脑、心脏、肺、肾脏、肝脏、胃、膀胱、肠、骨骼肌、平滑肌、乳腺、前列腺、胰腺、甲状腺等。在一些情况下，组织样品可以包括从表现出异常或疾病(例如，肿瘤或癌症(例如，肉瘤、癌、神经胶质瘤等)的患者收集的样品。
组织样品收集：从个体获得组织样本的程序是本领域公知的。例如，用于抽取和处理诸如来自针吸活检、芯针活检或外科活检的组织样本的程序是众所周知的，并且可用于获得组织样品以使用所公开的系统和方法进行分析。通常，为了收集这样的组织样本，将细的空心针插入诸如肿瘤块的块中，或者通过外科手术暴露该块以对该组织进行采样，在染色之后，将在显微镜下检查该组织。
造影剂：在一些情况下，所公开的方法和系统包括使用造影剂来增强和/或区分组织样品的图像中的肿瘤组织、良性组织和恶性组织的外观。如本文所用，术语“造影剂”和“光学造影剂”可互换使用。如本文所用，术语“荧光造影剂”和“磷光造影剂”是指在适当激发时分别发射荧光或磷光的光学造影剂的子集。荧光造影剂的实例包括但不限于5-氨基乙酰丙酸盐酸盐(5-ALA)、BLZ-100和LUM015。在一些情况下，所公开的方法和系统包括对从造影剂(例如，细胞相关造影剂)得到的信号的测量，该信号可以是由造影剂本身或由造影剂代谢或处理形式产生的信号。
5-ALA是一种在细胞内代谢形成荧光原卟啉IX(PPIX)分子的化合物。5-ALA的外源性应用使得PPIX在肿瘤细胞和上皮组织中高度选择性积累。PPIX通过蓝光激发(在约405nm和442nm处的激发最大值)并以红色发射(在约630nm和690nm处的发射最大值)(参见，例如，Wang等人(2017)，“Enhancement of 5-aminolevulinic acid-based fluorescencedetection of side population-defined glioma stem cells by iron chelation”，Nature Scientific Reports 7:42070)。
BLZ-100包含与吲哚菁绿(ICG)偶联的肿瘤配体氯毒素(CTX)，并已显示出作为脑肿瘤等的靶向造影剂的潜力(参见，例如，Butte等人(2014),“Near-infrared imaging ofbrain tumors using the Tumor Paint BLZ-100to achieve near-complete resectionof brain tumors”,Neurosurg Focus 36(2):E1)。BLZ-100通常在约780nm的近红外线中激发(宽ICG吸收峰集中在约800nm处)，具有宽荧光发射光谱(在约810nm–830nm处具有发射最大值)几乎与吸收光谱重叠。
LUM015是一种蛋白酶激活成像剂，该LUM015包含通过Gly-Gly-Lys-Arg(GGRK)肽与20-kD聚乙二醇(PEG)连接的市售荧光猝灭剂分子
和花青染料5(Cy5)荧光团。完整分子是光学无活性的，但在被组织蛋白酶K、L或S等蛋白水解切割后，释放猝灭剂以产生光学活性片段(参见，例如，Whitley等人(2016)“A mouse-human phase 1co-clinicaltrial of a protease-activated fluorescent probe for imaging cancer”，ScienceTranslational Medicine 8(320)pp.320ra4)。Cy5-标记的片段在约650nm处具有荧光激发峰，在670nm处具有发射峰。
可以使用本领域技术人员已知的多种技术中的任一种将荧光剂施用至组织样品，以用于在体外成像，例如，通过将造影剂溶液作为染色试剂施用至组织切片。可以使用本领域技术人员已知的多种技术中的任一种将造影剂施用给受试者(例如，患者)，以用于在体内成像，所述技术包括但不限于口服、静脉注射等，其中所述技术的选择可能取决于特定的造影剂。
对于本文公开的任何成像方法和系统，组织样本在一些情况下可以用一种或多种光学造影剂染色。例如，在一些情况下，组织样品可以用一种、两种、三种、四种或多于四种不同的光学造影剂染色。
如上所述，在一些情况下，一种或多种光学造影剂可以包括发射荧光信号的荧光造影剂。在一些情况下，一种或多种光学造影剂可包括发射磷光信号的磷光造影剂。在一些情况下，一种或多种光学造影剂可以包括与组织样品中的细胞特异性结合的造影剂。在一些情况下，一种或多种光学造影剂可以包括与一种或多种特定类型的细胞(例如，“靶”细胞)特异性结合的造影剂。在一些情况下，一种或多种光学造影剂可以包含例如与荧光团、量子点、纳米颗粒或磷光体偶联的抗体。在一些情况下，细胞相关造影剂可包含设计成靶向表达特定酶的细胞类型的荧光酶底物。
术中使用：在一些情况下，公开的方法和系统可以在手术中使用，例如，以引导外科手术、识别用于执行活检的位置或确定切除是否完成。在一些情况下，所公开的系统可以在手术室环境中使用以提供实时或接近实时的体内成像能力和对执行外科手术的外科医生的指导。
高分辨率光学切片荧光和相关成像显微术：可用于在不物理地解剖组织的情况下使厚组织样品中的荧光造影剂的分布可视化的合适的高分辨率光学成像技术包括但不限于双光子荧光(2P或TPE)显微术、三光子荧光(3P)显微术、共焦荧光显微术(CFM)、光片显微术(LSFM)和结构光照明显微术(SIM)。一般来说，这些技术依赖于例如激发双光子荧光所需的激发激光束的共焦光学器件和/或紧密聚焦以及用于实现能够对厚组织样品进行光学切片成像的小景深的其他光学过程。这些技术中的一些与其他光发射模式(例如，磷光和荧光)兼容。
双光子荧光显微术：双光子(2P)荧光显微术是一种荧光成像技术，其中通过染料分子吸收两个激发光子激发电子跃迁，产生单个发射光子的发射，该单个发射光子的波长比激发光的波长更短。双光子荧光显微术通常使用近红外(NIR)激发光，这最小化组织样本中的散射。多光子吸收过程还抑制了背景信号(由于与组织样品的非线性相互作用，这将荧光的激发主要限制在焦平面)并有助于增加组织穿透深度(厚度可高达约一毫米)。除了更深的组织穿透外，双光子激发还具有高效光检测和减少光漂白的优点(参见，例如，Denk等人，(1990)，"Two-Photon Laser Scanning Fluorescence Microscopy",Science 248:4951:73–76)。
共焦荧光显微术：共焦荧光显微术(CFM)是一种CFM通过主动抑制来自离焦平面的激光诱导荧光信号来提供三维光学分辨率的成像技术。这通常是通过在检测器前面使用针孔来实现的，使得来自焦点对准平面的光被显微镜物镜成像并通过针孔，而来自离焦平面的光在很大程度上被针孔阻挡(参见，例如，Combs(2010)“Fluorescence Microscopy:AConcise Guide to Current Imaging Methods”，Curr.Protocols in Neurosci.50(1):2.1.1–2.1.14；Sanai等人，(2011)，“Intraoperative confocal microscopy in thevisualization of 5-aminolevulinic acid fluorescence in low-grade gliomas”,J.Neurosurg.115(4):740-748；Liu等人(2014)，“Trends in Fluorescence Image-guidedSurgery for Gliomas”,Neurosurgery 75(1):61-71)。
光片荧光显微术：光片荧光显微术(LSFM)使用光平面(通常通过扩展激光束以充满柱面透镜和/或狭缝孔径而产生)来光学切片并以亚细胞分辨率观察组织，并且允许在透明组织内的深处成像。因为组织暴露于薄片光线，所以与宽场荧光显微技术、共焦显微技术或多光子显微技术相比，光漂白和光毒性被最小化(参见，例如，Santi(2011)，“LightSheet Fluorescence Microscopy:A Review”，J.of Histochem.&Cytochem.59(2):129-138；Meza等人，(2015)，“Comparing high-resolution microscopy techniques forpotential intraoperative use in guiding low-grade glioma resections”，Lasersin Surg.And Med.47(4):289-295；Glaser等人，(2017)，“Light-sheet microscopy forslide-free non-destructive pathology of large clinical specimens”，Nat BiomedEng.1(7):0084)。
结构光照明显微术：结构光照明显微术(SIM)是一种通过将激发光的单空间频率栅格图案投影到样本上，在传统的宽视场显微镜中获得光学切片的方法。例如，对在栅格的三个空间位置处拍摄的图像进行处理以产生与使用共焦显微镜获得的图像相似的光学截面图像(参见，例如，尼尔(Neil)等人(1997)，“Method of Obtaining Optical SectioningBy Using Structured Light In A Conventional Microscope”，Optics Lett.22(24):1905-1907)。
高分辨率光学切片非荧光成像显微术：适用于组织形态成像的高分辨率光学切片非荧光成像显微术包括但不限于：受激拉曼散射(SRS)显微术、相干反斯托克斯拉曼散射(CARS)显微术、共焦反射(CR)显微术、二谐波发生(SHG)显微术和三次谐波发生(THG)显微术。一般来说，这些技术依赖于激发SRS、CARS、SHG或THG散射或发射所需的激发激光束的紧密聚焦，以实现能够对厚组织样品进行光学切片成像的小景深。
受激拉曼散射(SRS)显微术：受激拉曼散射(SRS)显微术是一种提供未处理的组织样品的快速、无标记、高分辨率的显微成像的成像技术。SRS显微术需要两个在时间上重叠的激光脉冲序列，使得时间失配小于脉冲持续时间(例如，小于100fsec)，并且空间重叠小于焦斑大小(例如，小于100nm)。由该对空间和时间同步的激光脉冲序列在样本中诱导的受激拉曼散射成像能够基于对应于例如脂质分子CH2-振动(2,850cm-1)或蛋白质和核酸分子的CH3-振动(2,930cm-1)的振动频率(或波数)的图像采集来映射组织样品内的不同分子成分(参见，例如，Freudiger等人，(2008)，“Label-Free Biomedical Imaging with HighSensitivity by Stimulated Raman Scattering Microscopy”，Science 322：1857-186；和Orringer等人，(2017)，“Rapid Intraoperative Histology of Unprocessed SurgicalSpecimens via Fibre-Laser-Based Stimulated Raman Scattering Microscopy”，Nature Biomed.Eng.1:0027)。
相干反斯托克斯拉曼散射(CARS)显微术：相干反斯托克斯拉曼散射(CARS)显微术是一种无标记成像技术，CARS可通过显示由样本的分子组分引起的特征固有振动对比在样本(例如，组织样品)中形成结构的图像(参见，例如，Camp等人，(2014)，“High-speedcoherent Raman fingerprint imaging of biological tissues”，Nat.Photon.8，627–634；和Evans等人，(2007)，“Chemically-selective imaging of brain structures withCARS microscopy”，Opt.Express.15，12076–12087)。该技术使用两个高功率激光器来照射样本，其中第一激光器的频率通常保持不变，第二激光器的频率经过调整，使两个激光器之间的频率差等于感兴趣的拉曼-激活模式的频率。CARS比常规的拉曼散射强几个数量级。
共焦反射(CR)显微术：在反射模式而不是荧光模式下操作的情况下，使用共焦显微镜执行以利用共焦光学器件的光学切片能力的共焦反射显微术可用于对未染色的组织或用反射光的探针标记的组织进行成像。例如，近红外共焦激光扫描显微术使用紧密聚焦在组织中的特定点上的相对低功率的激光束。仅检测到从焦平面背向散射的光，对比度由组织微观结构的折射率的自然变化引起。(参见，例如，Gonzalez等人，(2002)，“Real-time,in vivo confocal reflectance microscopy of basal cell carcinoma”，J.Am.Acad.Dermatol.47(6):869-874)。
二次谐波产生(SHG)显微术：SHG显微术是一种非荧光多光子成像技术，SHG利用二次谐波产生、非线性光学过程，其中给定波长的两个激发光子与包含非中心对称结构的材料相互作用，并“转换”以形成发射光子，该发射光子具有激发光的波长的一半。激发二次谐波光通常需要聚焦到紧密焦平面点的激光源，并且对由此产生的光进行成像能够获取生物组织(包括，例如，胶原纤维)的高分辨率光学切片图像(参见，例如，Bueno等人，(2016)，“Second Harmonic Generation Microscopy:A Tool for Quantitative Analysis ofTissues”，第5章Microscopy and Analysis，Stefan Stanciu，Ed.，InTech Open)。
三次谐波产生(THG)显微术：THG显微术也是一种非荧光多光子成像技术，THG结合了无标记成像和将信号生成限制在扫描激光的焦点上的优点。三次谐波产生是三个激发光子与物质相互作用以产生单个发射光子的过程，该单个发射光子的波长是激发光的三分之一。它允许生物组织中折射率失配的高分辨率光学切片成像(参见，例如，Dietzel(2014)，“Third harmonic generation microscopy”，Wiley Analytical Science，Imaging andMicroscopy，2014年11月11日)。
用于细胞相关造影剂的定性和定量检测的多光谱和/或多模式成像方法和系统：所公开的成像方法和系统包括使用多光谱和/或多模式体内或体外成像的新组合，以检测在组织样品内光学造影剂(例如细胞相关荧光造影剂)的分布，并提供由所述光学造影剂产生的信号的定性和/或定量测量(参见，例如，Yue等人(2011)，“Multimodal nonlinearoptical microscopy”，Laser and Photonics Review 5(4):496-512中对传统多模式成像技术的回顾(a review of conventional multimodal imaging techniques))。所公开的多光谱和/或多模式成像方法和系统通过使用图像解译算法校正背景信号(例如，自发荧光背景和/或高荧光颗粒)并解析细胞或亚细胞水平的测量信号而提供对光学造影剂产生的信号的更准确的定量测量。在细胞或亚细胞水平上解析和测量由细胞相关光学造影剂产生的信号的意想不到的能力(部分原因是通过使用新型双波长光纤激光器系统实现了改善的检测灵敏度(如美国专利号8,792,156；美国专利号9,104,030；和美国专利号US 9,634,454中所述)和改善的图像对比度)使得在定量上显著改进。在一些情况下，所公开的多光谱和/或多模式成像方法和系统允许叠加图像，例如，双光子荧光图像和受激拉曼散射图像，以提供增强的对比度和/或生成有助于直接人类解译的伪彩色图像。
在第一方面中，所公开的成像方法(和配置为执行所述方法的系统)可以包括使用高分辨率光学切片显微术技术，包括但不限于双光子显微术、共焦荧光显微术、光片显微术或结构光照明显微术，以使用一个、两个或多于两个的激发波长(或在一个、两个或多于两个的激发波长范围内)、在一个、两个或多于两个检测波长(或在一个、两个或多于两个的检测波长范围内)处获取图像。所公开的成像方法(和配置为执行所述方法的系统)随后应用图像解译算法以基于尺寸、形状、图案或强度检测对比阳性细胞并排除背景信号(例如，基于尺寸、形状、图案或强度的高荧光颗粒)，以提供细胞相关造影剂产生的信号的定量测量，其中信号的定量测量在细胞水平上解析。下面将更详细地描述该实施方案的具体实例。在一些情况下，图像解译算法可以提供从与一种或多种光学造影剂相关的一种或多种信号得到的定性和/或定量测量。例如，在一些情况下，图像解译算法可能会提供“细胞性分数”，例如，确定细胞(或细胞核)的数量。结果也可以呈现为成像的组织样品的每单位面积的密度。在一些情况下，图像解译算法可以提供从所述细胞相关造影剂得到的平均信号。在一些情况下，图像解译算法可以在减去在整个图像上平均的背景信号之后提供对比阳性细胞的平均信号。在一些情况下，图像解译算法可以提供信号大于特定信号阈值的细胞数量，该特定信号阈值限定了对比阳性细胞。在一些情况下，图像解译算法可以提供图像中对比度阳性的细胞总数的百分比。在一些情况下，公开的方法和系统可以在外科手术中使用，以识别用于执行活检的位置或用于确定切除是否完成。
在第二个方面，公开的方法(和配置为执行所述方法的系统)结合使用第一光学切片高分辨率显微术(例如，2P、CFM、LSM或SIM)(即，第一成像模式)和第二光学切片高分辨率显微术(例如，SRS、CARS、CR、SHG或THG)(即，第二成像模式)的一种或多种造影剂的细胞成像，用于在组织样品的相同光学焦平面中对组织形态进行成像，而与一种或多种造影剂的存在无关。然后，仪器使用图像解译算法来处理图像，以基于使用第二成像模式获取的一个或多个图像提供一个或多个单个细胞的位置和/或区域，并基于在对应于一个或多个细胞的一个或多个位置和/或区域处使用第一模式获取的一个或多个图像，提供组织样品中的一种或多种造影剂产生的信号的定量测量，使得在细胞水平解析信号的定量测量。下面将更详细地描述该实施方案的具体实例。在一些情况下，仪器使用图像解译算法来处理图像，以基于使用第一成像模式获取的一个或多个图像提供一个或多个单个细胞的位置和/或尺寸，并基于在对应于一个或多个细胞的一个或多个位置和/或区域处使用第一模式获取的一个或多个图像，提供组织样品中的一种或多种造影剂产生的信号的定量测量。在一些情况下，定量测量可以从在对应于一个或多个细胞的一个或多个位置和/或区域处的一种或多种造影剂产生的信号得到，或可以从在对应于一个或多个细胞的一个或多个位置和/或区域处使用第二成像模式获取的图像得到的信号(例如，SRS信号)得到，或者可以从一种或多种造影剂产生的信号和从在对应于一个或多个细胞的一个或多个位置和/或区域处使用第二成像模式获取的图像得到的信号的组合中得到。在一些情况下，图像解译算法可以提供从与一种或多种光学造影剂相关的信号得到的定性和/或定量测量。例如，在一些情况下，图像解译算法可以提供：(i)如上所述的“细胞性分数”，(ii)从细胞相关造影剂得到的平均信号，(iii)在减去整个图像上平均的背景信号后对比阳性细胞的平均信号,(iv)信号大于限定对比阳性细胞的特定信号阈值的细胞数，(v)图像中对比阳性细胞总数的百分比，或它们的任何组合。在一些情况下，公开的方法和系统可以在外科手术中使用，以识别用于执行活检的位置或用于确定切除是否完成。
在第三方面，成像系统可以是，例如，多通道成像显微镜，该成像系统同时获取造影剂的发射波长处的第一图像和造影剂发射波长外的第二图像，然后将多通道发射信号提供给图像解译算法，该图像解译算法基于测量的光谱特性(例如，通过使用在第二图像中获取的信号数据对第一图像进行比率化或阈值化，(例如，在对应于在第一图像中检测到的一个或多个细胞的位置处)或以其他方式通过从第二图像确定的背景值校正第一图像中测量的信号)，检测第一图像中的细胞并抑制非特异性背景信号(例如，自发荧光背景或高荧光颗粒)。在一些情况下，可以基于对多通道图像数据应用伪彩色算法来创建多色图像(例如，通过将造影剂相关信号指定为红色，并将背景信号指定为绿色)以简化图像的人类解译。后一种方法可以避免对计算机辅助解译算法的需要。下面将更详细地描述所公开的成像方法和系统的该实施方案的实例。
图像获取参数：对于本文公开的任何成像方法和系统，组织样品的图像可以使用多种图像获取参数设置来获取，图像获取参数设置包括但不限于有效图像分辨率、所使用的激发波长的数量、获取图像处的发射波长的数量，在特定时间段内获取的图像数量，用于获取的图像的不同成像模式的数量，将该图像获取参数设置随后进行处理和/或组合以：(i)创建多彩色或增强对比度图像，以便于例如肿瘤组织(如果存在于组织样品中)的图像解译和识别，和/或(ii)基于从一种或多种细胞相关造影剂得到的一种或多种信号和/或从第二种成像模式(例如非荧光成像模式，诸如SRS)得到的信号生成定量测量。
在一些情况下，所公开的成像系统可以包括激光扫描系统，例如通过在成像系统的光学焦平面上扫描或光栅化激光点而在二维中获取图像的系统，且发射或散射光(例如，两个光子荧光或受激拉曼散射光)通过光学系统被引导到一个或多个光电探测器(例如，光电倍增管、雪崩光电二极管、固态近红外探测器等)。在一些情况下，如果成像系统包括两个或更多个光电探测器，则这两个或更多个探测器可以是相同类型或可以是不同类型。在一些情况下，两个或更多个不同类型的检测器在尺寸(直径或横截面积)、积分时间、信噪比、灵敏度等方面不同。
在一些情况下，所公开的成像系统可以包括利用一个或多个图像传感器或照相机的激光扫描系统。例如，在一些情况下，所公开的成像系统可以包括一个、两个、三个、四个或多于四个的图像传感器或照相机。在一些情况下，例如，如果成像系统包括两个或更多个图像传感器或照相机，则该图像传感器或照相机在像素尺寸、像素数、暗电流、信噪比、检测灵敏度等方面可以是相同或不同的。因此，由两个或更多个图像传感器或照相机获取的图像可以具有不同的图像分辨率。在一些情况下，一个或多个图像传感器可以具有约0.5兆像素、1兆像素、2兆像素、4兆像素、6兆像素、8兆像素、10兆像素、20兆像素、50兆像素、80兆像素、100兆像素、200兆像素、500兆像素或1000兆像素(或这些值所跨越的范围内的任何像素数)的像素数。在一些情况下，给定图像传感器内的像素尺寸可以为约20μm、10μm、5μm、3.5μm、2μm、1μm、0.5μm或0.1μm(或这些值所跨越的范围内的任何像素尺寸)。在一些情况下，一个或多个图像传感器或照相机可以配置为对单独像素组进行分箱(bin)以改变由此获取的图像的有效分辨率。
在一些情况下，所公开的成像系统(扫描系统或基于图像传感器的系统)可以配置为针对一个或多个特定的激发波长、发射波长和/或成像模式中的每一个获取单个图像。在一些情况下，所公开的系统可以配置为针对一个或多个指定的激发波长、发射波长和/或成像模式中的每一个来获取2、3、4、5、6、7、8、9、10、20、30、40、50、60、70、80、90、100或多于100个图像(或此范围内的任意数量的图像)。在一些情况下，所公开的系统可以配置为针对一个或多个指定的激发波长、发射波长和/或成像模式中的每一个获取视频数据。
在一些情况下，所公开的成像系统可以配置为针对一个或多个指定的激发波长、发射波长和/或成像模式中的每一个在指定时间段内获取一个或多个图像。例如，在一些情况下，所公开的系统可以被配置为针对一个或多个指定的激发波长、发射波长和/或成像模式中的每一个、每0.1毫秒、1毫秒、10毫秒、20毫秒、30毫秒、40毫秒、50毫秒、60毫秒、70毫秒、80毫秒、90毫秒、100毫秒、200毫秒、300毫秒、400毫秒、500毫秒、600毫秒、700毫秒、800毫秒、900毫秒、1秒、2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒、20秒、30秒、40秒、50秒、1分钟、2分钟、3分钟、4分钟、5分钟、6分钟、7分钟、8分钟、9分钟、10分钟、20分钟、30分钟、40分钟、50分钟、1小时、2小时、3小时、4小时、5小时、6小时、7小时、8小时、9小时、10小时(或该范围内的任何时间段)获取一个或多个图像。在一些情况下，所公开的系统可以配置为针对一个或多个指定的激发波长、发射波长和/或成像模式中的每一个获取视频数据。
在一些情况下，所公开的成像系统可以配置为使用约1毫秒、5毫秒、10毫秒、25毫秒、50毫秒、75毫秒、100毫秒、250毫秒、500毫秒、750毫秒、1秒、2秒、3秒、4秒、5秒、6秒、7秒、8秒、9秒、10秒、20秒、30秒、40秒、50秒、60秒或多于60秒(或这些值所跨越的范围内的任何曝光时间、图像捕获时间或积分时间)的曝光时间(或积分时间或图像捕获时间)来获取图像。
在一些情况下，包括但不限于利用双光子荧光成像的情况，可以使用一种、两种、三种、四种或多于四种的不同激发波长(或波长范围)来获取图像。在一些情况下，可以使用约360nm、380nm、400nm、420nm、440nm、460nm、480nm、500nm、520nm、540nm、560nm、580nm、600nm、620nm、640nm、660nm、680nm、700nm、720nm、740nm、760nm、780nm、800nm、820nm、840nm、860nm、880nm、900nm、920nm、940nm、960nm、980nm、1000nm、1020nm、1040nm、1060nm、1080nm、1100nm、1120nm、1140nm、1160nm、1180nm或1200nm的激发光来获取图像，其中将通常基于用于染色组织样品的光学造影剂的选择来选择所用的一个或多个激发波长。在一些情况下，一个、两个、三个、四个或多于四个激发波长的光可由一个、两个、三个、四个或多于四个激光器或其他光源提供。在一些情况下，可以使用光学玻璃滤光器、带通滤光器、干涉滤光器、长通滤光器、短通滤光器、二向色反射器、单色器或它们的任何组合来选择激发波长(或波长范围)。
在一些情况下，包括但不限于利用双光子荧光成像的情况，可以获取一种、两种、三种、四种或多于四种的不同发射(或检测)波长(或发射(或检测)波长范围)的图像。在一些情况下，可以获取在约360nm、380nm、400nm、420nm、440nm、460nm、480nm、500nm、520nm、540nm、560nm、580nm、600nm、620nm、640nm、660nm、680nm、700nm、720nm、740nm、760nm、780nm、800nm、820nm、840nm、860nm、880nm、900nm、920nm、940nm、960nm、980nm、1000nm、1020nm、1040nm、1060nm、1080nm、1100nm、1120nm、1140nm、1160nm、1180nm或1200nm处发射的光的图像，其中通常基于用于染色组织样品的光学造影剂的选择来选择所用的一个或多个检测(发射)波长。在一些情况下，可以使用光学玻璃滤光器、带通滤光器、干涉滤光器、长通滤光器、短通滤光器、二向色反射器、单色器或它们的任何组合来选择发射(或检测)波长(或发射(或检测)波长范围)。
在一些情况下，可以使用激发和/或发射(检测)波长范围来获取图像，该波长范围包括约10nm、20nm、30nm、40nm、50nm、60nm、70nm、80nm、90nm、100nm或多于100nm的带宽。在一些情况下，可以使用光学玻璃滤光器、带通滤光器、干涉滤光器、长通滤光器、短通滤光器、二向色反射器、单色器或它们的任何组合来选择用于激发和/或发射波长范围的带通。
在一些情况下，由所公开的成像系统获取的图像的横向分辨率可以小于20μm、15μm、10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、2μm、1μm、0.5μm或0.25μm。在一些情况下，所公开的成像系统的横向分辨率可能受到聚焦激光点的尺寸的限制。
在一些情况下，由所公开的成像系统获取的图像的轴向分辨率可以小于50μm、20μm、15μm、10μm、9μm、8μm、7μm、6μm、5μm、4μm、3μm、3μm、1μm或0.5μm。在一些情况下，所公开的成像系统的轴向分辨率可能受到聚焦激光点的尺寸的限制。在一些情况下，所公开的成像系统的轴向分辨率可能受到共焦光学系统中的针孔孔径的直径的限制。
在一些情况下，所公开的成像系统配置为针对两种或更多种成像模式在相同焦平面处获取组织样品的图像。在一些情况下，如果两种不同成像模式的焦平面彼此偏移小于10μm、小于9μm、小于8μm、小于7μm、小于6μm、小于5μm、小于4μm、小于3μm、小于2μm、小于1μm、小于0.5μm或小于0.25μm，则两种不同成像模式的焦平面可以被认为式“相同的”(或共面的)。
在一些情况下，包括但不限于利用SRS成像的那些情况，可以在对应于不同化学基团的拉曼位移的一个或多个选定波数(或波数光谱范围)处获取图像。在一些情况下，可以在一个、两个、三个、四个或多于四个的不同波数(或波数光谱范围)处获取图像。对应于特定化学基团的拉曼位移的波数范围的实例包括但不限于表1所列的那些。
表1不同化学基团的拉曼位移数据的实例
在一些情况下，包括但不限于那些使用SRS成像的情况，可以在跨越约100cm-1到约3000cm-1的光谱范围内获取图像。在一些情况下，可以在跨越至少100cm-1、至少125cm-1、至少150cm-1、至少200cm-1、至少250cm-1、至少300cm-1、至少350cm-1、至少400cm-1、至少450cm-1、至少500cm-1、至少550cm-1、至少600cm-1、至少650cm-1、至少700cm-1、至少750cm-1、至少800cm-1、至少900cm-1、至少1000cm-1、至少1100cm-1、至少1200cm-1、至少1300cm-1、至少1400cm-1、至少1500cm-1、至少1750cm-1、至少2000cm-1、至2250cm-1、至少2500cm-1、至少2750cm-1或至少3000cm-1的光谱范围内获取图像。在一些情况下，可以在跨越至多3000cm-1、至多2750cm-1、至多2500cm-1、至多2250cm-1、至多2000cm-1、至多1750cm-1、至多1500cm-1、至多1400cm-1、至多1300cm-1、至多1200cm-1、至多1100cm-1、至多1000cm-1、至多900cm-1、至多800cm-1、至多750cm-1、至多700cm-1、至多650cm-1、至多600cm-1、至多550cm-1、至多500cm-1、至多450cm-1、至多400cm-1、至多350cm-1、至多300cm-1、至多250cm-1、至多200cm-1或至多150cm-1的光谱范围内获取图像。在一些情况下，可以使用跨越例如约250cm-1的光谱范围获取图像。本领域技术人员将理解，可以在落入由这些值(例如，从约200cm-1的范围到约760cm-1的范围)中的任何一个限定的任何范围内的任何位置的光谱范围获取图像。
多光谱和/或多模式成像系统组件：对于本文描述的任何实施方案，所公开的成像系统可以包括一个或多个激发光源(例如，固态激光器、光纤激光器等)、一个或多个图像传感器或光电检测器(例如，光电倍增管、雪崩光电二极管、固态近红外检测器、电荷耦合设备(CCD)传感器或照相机、CMOS图像传感器或照相机等)、一个或多个扫描镜或平移台以及额外的光学组件(例如物镜、用于准直、聚焦和/或成像激发和/或发射光束的额外的透镜、反射镜、棱镜、滤光器、有色玻璃滤光器、窄带干涉滤光器、宽带干涉滤光器、二向色反射镜、衍射光栅、单色仪、孔、光纤、光波导等或它们的任何组合)。在一些情况下，所公开的成像系统可以包括一个、两个、三个、四个或多于四个的激光器，这些激光器提供一个、两个、三个、四个或多于四个的激发波长的激发光。在一些情况下，一个、两个、三个、四个或多于四个的激发波长的激发光可以通过用于组织样品成像的物镜(例如，通过使用反射镜、二向色反射器或分束器的适当组合)而传送到光学焦平面。在一些情况下，一个、两个、三个、四个或多于四个的激发波长的激发光可以使用不包括用于样品成像的物镜的光路而传送到光学焦平面。在一些情况下，所公开的成像系统配置为对组织样品内的相同光学平面(或焦平面)的两种或更多种成像模式获取图像。在一些情况下，所公开的成像系统配置为对组织样品内的相同视场的两种或更多种成像模式获取图像。在一些情况下，所公开的成像系统可以包括一个或多个处理器或计算机，如下文将更详细地讨论的。在一些情况下，设计用于使用第一种成像模式(例如，SRS成像或2P成像)获取图像的仪器可以修改为使用第二成像模式(例如，分别为2P成像或SRS成像)同时或连续获取图像。
Orringer等人(2017)，“Rapid intraoperative histology of unprocessedsurgical specimens via fibre-laser-based stimulated Raman scatteringmicroscopy”，Nature Biomed.Eng.1:0027中已经描述了受激拉曼散射(SRS)成像系统的非限制性示例。完全集成的SRS成像系统包括五个主要组件：(1)具有电动平台的光纤耦合显微镜；(2)双波长光纤激光器模块；(3)激光控制模块；(4)显微镜控制模块；以及(5)用于图像获取、显示和处理的计算机。双波长光纤激光器的设计采用了两种主要光纤增益介质、铒和镱的不同频率与拉曼光谱的高波数区域重叠的事实。SRS成像所需的两个同步窄带激光脉冲序列是通过从单个光纤振荡器得到的宽带超连续谱进行窄带滤波以及随后在各自的增益介质中放大而生成的。基于保偏组件的全光纤系统的开发大大改善了之前非保偏实现的激光稳定性。为了能够以与固态激光器所能达到的信噪比相当的信噪比实现高速诊断质量成像(例如，在每个波长约2秒内获得1兆像素图像)，在40MHz激光脉冲重复率和2皮秒变换限制的激光脉冲持续时间下，对于固定波长790nm泵浦光束(pump beam)，将激光输出功率缩放至约120mW，且对于在从1,010nm到1,040nm的整个调谐范围上的可调谐斯托克斯光束，将激光输出功率缩放至约150mW。开发定制激光控制器电子设备以使用微控制器严格控制激光系统的操作设置。基于自动平衡检测的噪声消除方案被用来进一步改善图像质量，在自动平衡检测中，对激光束的一部分进行采样以提供激光噪声的测量，该激光噪声可以被实时减去。在一些情况下，诸如所描述的SRS成像系统的系统可以被修改，以通过提供至少一个适当波长的额外的激发激光器和至少一个额外的图像传感器或照相机来同时或连续采集例如双光子荧光图像，其中至少一个额外的激发光束和发射的双光子荧光使用二向色反射器、分束器等的组合与SRS成像系统耦合。
图像处理和图像解译：在一些情况下，所公开的成像方法可以包括使用图像处理和/或图像解译算法以用于处理获取的图像并提供从与一种或多种细胞相关造影剂得到的信号和/或从非荧光成像模式得到的信号的定性和/或定量测量。在一些情况下，图像处理和/或图像解译算法可以处理使用第一成像模式(例如，第一光学切片成像模式)获取的图像，以识别细胞并确定该细胞的位置。在一些情况下，图像处理和/或图像解译算法可以处理使用与第一成像模式不同的第二成像模式(例如，第二光学切片成像模式)获取的图像，以识别细胞并确定该细胞的位置。在一些情况下，图像处理和/或图像解译算法可以处理使用第一成像模式和第二成像模式之一或两者而获取的图像，以识别细胞并确定该细胞的位置。
在一些情况下，图像解译算法可以包括本领域技术人员已知的多种常规图像处理算法中的任何一种。实例包括但不限于Canny边缘检测方法、Canny-Deriche边缘检测方法、一阶梯度边缘检测方法(例如，索贝尔算子)、二阶微分边缘检测方法、相位一致性(相位相干性)边缘检测方法、其他图像分割算法(例如，强度阈值、强度聚类方法、基于强度直方图的方法等)、特征和模式识别算法(例如，用于检测任意形状的广义霍夫变换、圆形霍夫变换等)和数学分析算法(例如，傅里叶变换、快速傅里叶变换、小波分析、自相关等)或它们的任何组合。在一些情况下，此类图像处理算法可用于基于例如特征尺寸、形状、图案、强度或它们的任何组合来检测图像内的单个细胞。
在一些情况下，图像解译算法可以包括训练的人工智能或机器学习算法，例如，以进一步改进图像处理和/或图像解译算法的能力，以基于定性和/或定量测量来识别图像中的单个细胞和/或区分正常和非正常组织(例如，肿瘤组织)，该定性和/或定量测量源自从一种或多种造影剂得到的信号和/或从非荧光成像模式得到的信号。各种机器学习算法中的任何一种都可以用于实现所公开的方法和系统。实例包括但不限于监督学习算法、无监督学习算法、半监督学习算法、深度学习算法或它们的任何组合。在一些情况下，机器学习算法可以包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。
作为非限制性实例，在一些情况下，用于进一步改进图像处理和/或图像解译算法的能力以识别图像内的单个细胞和/或区分正常组织和非正常组织(例如，肿瘤组织)的机器学习算法可以包括人工神经网络(ANN)，例如，深度学习算法。人工神经网络通常包括一组互连的“节点”(或“神经元”)组，这些“节点”(或“神经元”)组成多层。通常的ANN架构可以包括输入层、至少一个或多个隐藏层和输出层。ANN可以包括任意总数的层和任意数量的隐藏层，其中隐藏层用作训练特征提取器，该训练特征提取器将输入数据集映射到输出值或输出值集。如上所述，神经网络的每一层包括多个节点。节点接收输入，该输入直接来自输入数据(例如，原始图像数据和/或预处理图像数据)或前一层节点的输出，且该节点执行特定运算，例如求和运算。在一些情况下，从输入到节点的连接与权重(或权重因子)相关联。在一些情况下，例如，节点可能会将所有输入对的乘积xi和与它们相关的权重wi相加。在一些情况下，权重和会被偏差b抵消。在一些情况下，神经元的输出可以使用阈值或激活函数f进行门控，该激活函数可能是线性或非线性函数。激活函数可以是例如修正线性单元(rectified linear unit，ReLU)激活函数或其他函数，诸如饱和双曲正切函数、恒等式(identity)、二进制阶梯函数、logistic函数、反正切函数、softsign函数、参数化修正线性单元、指数线性单元、softPlus函数、bent identity函数、softExponential函数、正弦曲线函数(Sinusoid function)、正弦函数(Sine function)、高斯函数或sigmoid函数，或它们的任意组合。
可以在训练阶段使用一个或多个训练数据集“教授”或“学习”神经网络的权重因子、偏差值和阈值或其他计算参数。例如，可以使用来自训练数据集(例如，原始图像数据和/或预处理图像数据)的输入数据和梯度下降或反向传播方法来训练参数，使得ANN计算的一个或多个输出值(例如，包括肿瘤组织的给定组织样品的分类)与训练数据集中包含的实例一致。
在一些情况下，机器学习算法可以使用一个或多个训练数据集进行训练，这些训练数据集包括例如已存档的组织病理学组织样本(例如，福尔马林固定的组织样本或新鲜冷冻的组织样本)获取的成像数据、新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。在一些情况下，可以利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新训练数据集。在一些情况下，两个或更多个系统部署在不同位点，并且训练数据集任选地存在于在基于云的数据库中，和/或通过网络连接连续地、周期性地或随机地更新。
如上所述，在一些情况下，图像解译算法提供“细胞性分数”，例如，确定成像样本的每单位面积上识别的细胞(或细胞核)的数量。在一些情况下，图像解译算法提供从细胞相关造影剂得到的平均信号。在一些情况下，图像解译算法在减去在整个图像上平均的背景信号之后提供对比阳性细胞的平均信号。在一些情况下，图像解译算法提供信号大于特定信号阈值的细胞数量，该特定信号阈值限定了对比阳性细胞。在一些情况下，图像解译算法提供图像中对比度阳性的细胞总数的百分比。如上所述，在一些情况下，图像解译算法可以配置为基于从一种或多种细胞相关造影剂得到的一种或多种信号和/或从第二成像模式(例如，非荧光成像模式，诸如SRS或本文所述的其他非荧光成像模式之一)得到的信号生成定量测量。
在一些情况下，本公开的成像方法和系统可以包括使用伪彩色算法以转换使用一种或多种成像模式中的任一种获取的图像以生成多彩色图像，该多彩色图像提供例如组织结构的增强的对比度，提供例如肿瘤组织的增强的检测，和/或促进人类对图像的解译。在一些情况下，使用伪彩色算法来转换使用一种或多种成像模式中的任一种获取的图像可以促进人类对一种或多种图像的解译，而无需实施额外的图像解译算法。在一些情况下，然后可以组合从使用一种或多种成像模式中的任何一种获取的图像生成的伪彩色图像(例如，经受线性或非线性代数运算)以提供例如组织结构的增强的对比度，提供例如肿瘤组织的增强的检测，和/或促进人类对图像的解译。
软件和计算机可读介质：所公开的算法(或计算机实现的方法)的各个方面可以被认为是“产品”或“制品”，例如，“计算机程序或软件产品”，通常以存储在一种类型的计算机可读介质中的处理器可执行代码和/或相关联的数据的形式，其中处理器可执行代码包括在执行本文公开的一种或多种方法时用于控制计算机或计算机系统的多个指令。因此，本文公开的是包括编码指令集(即，软件)的计算机可读介质(“计算机程序或软件产品”)，当由处理器执行时，该编码指令集引导处理器执行一系列逻辑步骤以执行本文公开的任何方法。例如，本文公开的是包括编码指令集(即，软件)的计算机可读介质(“计算机程序或软件产品”)，当由处理器执行时，该编码指令集引导处理器执行一系列逻辑步骤以：(i)使用本文公开的一种或多种成像模式获取图像，(ii)对获取的图像执行手动、半自动或自动处理以识别图像中的一个或多个单个细胞，(iii)对获取的图像执行进一步手动、半自动或自动处理以在一个或多个单个细胞位置处提取从细胞相关造影剂得到的信号的定量测量，(iv)对获取的图像执行进一步手动、半自动或自动处理以在一个或多个单个细胞的一个或多个位置处提取从相同组织样品的非荧光图像得到的信号的定量测量，或(v)它们的任何组合。
处理器可执行(或机器可执行)代码可以存储在光存储单元中，该光存储单元例如包括诸如光盘、CD-ROM、DVD或蓝光光盘的光学可读介质。处理器可执行代码可以存储在电子存储单元中或硬盘上，该电子存储单元为诸如存储器(例如，只读存储器、随机存取存储器、闪存)。“存储”型介质包括计算机、计算机系统等或其相关模块的任何或所有有形存储器，诸如各种半导体存储器芯片、光驱、磁带驱动器、磁盘驱动器等，它们可以在任何时间为编码本文公开的方法和算法的软件提供非暂时性存储。
全部或部分的软件代码有时可以通过互联网或各种其他电信网络进行通信。例如，此类通信可以将软件从一台计算机或处理器加载到另一台计算机或处理器中，例如，从管理服务器或主机加载至应用服务器的计算机平台。因此，可用于传送软件编码指令的其他类型的介质包括光波、电波和电磁波，诸如跨越本地设备之间的物理接口、通过有线和光固话网络以及通过各种大气电信链路使用的那些波。承载这种波(诸如有线或无线链路、光链路等)的物理元件也被认为是传送用于执行本文公开的方法的软件编码指令的介质。
计算机处理器：在一些情况下，所公开的成像系统可以包括一个或多个处理器或计算机，这些处理器或计算机被单独或共同编程以根据本文公开的方法提供仪器控制和/或图像处理功能。一个或多个处理器可以包括硬件处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元或计算平台。一个或多个处理器可以包括多种合适的集成电路(例如，专用集成电路(ASIC)或现场可编程门阵列(FPGA))、微处理器、新兴的下一代微处理器设计(例如基于忆阻器的处理器)、逻辑器件等的任何一种。尽管参考处理器描述了本公开内容，但是也可以应用其他类型的集成电路和逻辑装置。处理器可以具有任何合适的数据运算能力。例如，处理器可执行512位、256位、128位、64位、32位或16位数据运算。一个或多个处理器可以是单核或多核处理器，或者配置为用于并行处理的多个处理器。
在一些情况下，用于实施所公开的成像方法的一个或多个处理器或计算机可以是较大计算机系统的一部分和/或可以在通信接口的帮助下可操作地耦合到计算机网络(“网络”)以促进数据的传输和共享。网络可以是局域网、内联网和/或外联网、与因特网通信的内联网和/或外联网或因特网。网络在一些情况下是电信和/或数据网络。网络可以包括一个或多个计算机服务器，这些计算机服务器在一些情况下能够分布式计算，例如云计算。在一些情况下，在计算机系统的帮助下，网络可以实现对等网络，这使耦合到计算机系统的设备能够充当客户端或服务器。
在一些情况下，所公开的成像系统还可以包括用于与一个或多个其他成像系统和/或外围设备(诸如数据存储和/或电子显示适配器)进行通信的存储器或存储器位置(例如，随机存取存储器、只读存储器、闪存等)、电子存储单元(例如硬盘)、通讯接口(例如，网络适配器)。
在一些情况下，数据存储单元存储文件，诸如驱动程序、库和保存的程序。存储单元还可以存储用户数据，例如，在测试或使用所公开的成像系统期间获取的用户特定偏好、用户特定程序以及图像数据。在一些情况下，计算机系统或网络可以包括位于计算机系统外部的一个或多个额外的数据存储单元，诸如位于通过内联网或因特网与计算机系统通信的远程服务器上的数据存储单元。
实施例
提供这些实施例仅用于说明目的，而不是限制本文提供的权利要求的范围。
实施例1-给药5-ALA的脑组织的双光子荧光成像
我们使用了图2显示的组合2P/SRS显微镜的2P成像模式，分别具有波长为790nm和1020nm的两个激发光束，以及一个640nm/80nm带通检测滤光器，以对5-ALA作为造影剂给药的脑肿瘤组织的体外样品进行成像(图3A)。图3B示出了图3A中示出的脑肿瘤组织样本在处理图像以识别图像(圆圈)中的单个细胞之后的相同双光子荧光图像。据我们所知，这是第一次基于5-ALA在组织中观察单个癌细胞，并构成检测灵敏度的突破。我们能够解析单个细胞并发现造影剂积累在细胞质中并且不会穿透细胞核。
我们还发现，还可以看到单个高荧光颗粒(图3A)。令我们惊讶的是，这些在来自未给药5-ALA的组织的对照样本中仍然可见，因此这被归因于自发荧光背景。
当用我们双光子显微镜将评估扩展到人体组织样品的体内成像(例如，图4A；给药5-ALA的患者的脑组织)时，我们经历了类似的出乎意料的非特异性对比机制，其中在来自未给药5-ALA对比剂的患者的组织样品中也检测到640nm荧光信号(图4B)。具体来说，在图4B中可以看出，图4A中可见的细胞相关荧光信号和一般“浑浊”在没有给予造影剂的患者中是不可见的，但是荧光颗粒在两种情况下都是可见的。
这令人惊讶，因为这种非特异性在以前使用常规(单光子荧光)外科显微镜对造影剂进行成像的工作中是没有被公开的。事实上，美国FDA基于显示出优异灵敏度的数据已经批准这种造影剂用于临床。我们假设这种非特异性可能是由于已知的特异性较低的双光子激发的性质。我们研究了给药5-ALA的脑肿瘤组织样品的双光子发射光谱，并发现5-ALA的特征光谱峰(620nm和650nm之间)确实存在于大且光谱上宽的背景信号的顶部(图5)上。
因此，我们开始使用单光子共焦荧光显微镜对样品进行成像。当使用开放的针孔(图6，右)，即，在没有显著的光学切片的情况下，对样品进行成像，我们重新获得了造影剂的极好特异性，其中发射峰是可见的，而没有大且光谱上宽的背景(图6，左)。然而，当我们关闭针孔以产生对厚的未切片组织样品内的单细胞成像所需的光学切片时(即，减少景深)，这种光谱特异性丧失，只有光谱上宽的颗粒可见，正如在双光子图像中观察到的那样。我们假设这可能是由于在焦平面处单光子激发中发现的增强的光脱色，其中光子通量最高，与背景信号相比，造影剂的脱色速度必须更快。因此，与宏观成像(例如，使用传统的手术显微镜)相反，使用2P成像的造影剂(如5-ALA)的细胞成像面临这样的困境，即2P成像可以提供对单个对比阳性细胞成像的灵敏度，但本质上特异性较低，而1P成像在焦平面上经受光脱色，因此经受有限的灵敏度或降低的成像速度。在任何一种情况下，对图像平均荧光强度的测量都不会提供图像中肿瘤负荷的准确读数。
实施例2-用于增强灵敏度和特异性的双模式成像
该实施例将SRS显微术和2P显微术结合以对组织形态进行成像以及用对荧光造影剂的分布进行成像(图2)。双波长光纤激光系统(在例如，1020nm和790nm处产生的光)用于激发样品并使用光电检测器(PD)检测传输中的SRS信号。在用滤光器阻挡激发光后，我们还用第二光电检测器(例如，光电倍增管(PMT))检测反射中的2P信号。通过用计算机控制的振镜扫描镜使激光焦点逐点扫描通过样本来获取图像。在这种多模式显微镜中，可以同时获取SRS和2P图像。
这两种技术的能级在图7中显示。在SRS中，如果能量差与分子振动的能量差相匹配，则基于泵浦光子(图7，左，向上箭头)和斯托克斯光子(图7，左，向下箭头)的受激激发，将分子从基态激发到振动态。在2P中，造影剂的电子态通过同时吸收两个光子(例如，两个泵浦光子，或两个斯托克斯光子，或一个泵浦光子和一个斯托克斯光子)(图7，右，向上箭头)而被激发，并且分子随后弛豫回到基态，同时发射可以被检测的荧光光子(图7，右，向下箭头)。
图8A中的图像显示了脂质的CH2-振动频率(例如，2850cm-1)处脑癌组织样品的SRS图像。在此波数下，图像具有细胞质和细胞间隙的阳性信号，细胞核是暗色(由于缺乏脂质)。该对比可以用于基于使用包括例如图像中的特征的尺寸、形状、图案和/或信号强度的信息对细胞核的识别来确定地识别细胞。有利的是：在蛋白质和核酸的CH3-振动频率(例如在2930cm-1)处对相同组织进行成像，以提供原子核的额外的对比度。SRS成像通道独立于造影剂(2P荧光)成像通道。其他无标签成像方法，诸如CARS、CR或THG，也可用作SRS的替代成像方式。
图8B中的图像显示了如上所述在与图8A相同的位置获取的5-ALA造影剂分布的2P荧光显微镜图像。比较两幅图像显示，基于SRS图像识别的一些但不是所有细胞在荧光通道中也具有阳性细胞信号。
成像系统可以使用自动图像处理来从SRS图像(图9A，圆圈)确定细胞核或细胞的位置和/或尺寸，以测量单个细胞区域(图9B，圆圈)内的荧光强度，以提供对由细胞相关造影剂产生的荧光信号的测量。还可以确定选定区域内的荧光信号是否高于特定阈值水平，并提供特定细胞对造影剂是阳性还是阴性的二进制输出。这允许确定图像中对比阳性细胞的百分比的定量测量。
在一些情况下，所公开的成像系统可以提供波数为2,850cm-1和2,930cm-1的高分辨率光学切片拉曼图像。除了这些图像之外，所公开的成像系统可以提供一个或多个荧光通道(发射波长范围)的高分辨率光学切片图像。使用拉曼数据，图像解译算法能够在空间上识别细胞的特征并确定细胞性分数。将这些度量和数据与作为图像解译算法输入的荧光通道相结合，创建了使荧光数据与拉曼数据相关联的度量集。这些度量的实例包括但不限于识别的细胞数量、与阳性荧光相关的细胞数量、与阳性荧光相关的细胞百分比、阳性荧光细胞与阴性荧光细胞之比以及比率阳性荧光细胞与总细胞之比，或它们的任何组合。
实施例3-双波长荧光成像
在该实施例中，成像系统是一个多通道2P显微镜，该多通道2P显微镜同时获取在造影剂的发射波长(例如，对于5-ALA，在640nm±40nm处)处的第一荧光图像和在造影剂发射波长外(例如，对于5-ALA，在<600nm处)的第二荧光图像作为非特异性背景的测量。然后可以将多通道发射信号提供给图像处理或图像解译算法，并基于造影剂特异性和背景信号的测量光谱特性(例如，通过比率或阈值)抑制非特异性背景信号。如上所述，可以基于将伪彩色算法应用于多通道图像数据来创建多彩色图像以促进实时或接近实时的图像的人类解译。
图10A和图10B中示出了用于收集两个不同发射波长范围的荧光信号的双通道非扫描(外部)检测器设计的实例，其中二向色滤光器用于分离发射带并将信号引导至两个光电倍增管(PMT)，这两个光电倍增管(PMT)被单独过滤以检测各自的发射带。这种设计可以扩展到包括额外的检测器(>2)，以进一步提高灵敏度和特异性。
虽然本文已经示出和描述了本发明的优选实施方案，但是对于本领域技术人员来说，显然这些实施方案仅作为示例的方式而提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和替换。应当理解，在实践本发明时，可以以任何组合的方式采用本文描述的本发明实施方案的各种替代方案。以下权利要求旨在限定本发明的范围，并且由此涵盖在这些权利要求范围内的方法和结构及其等同物。
Claims (94)
1.一种用于对组织样品进行成像的系统，其包括：
a)第一光学子系统，其配置为使用第一光学切片成像模式获取所述组织样品内细胞相关造影剂的分布的高分辨率图像；
b)第二光学子系统，其配置为使用第二光学切片成像模式获取组织样品形态的高分辨率图像，其中所述第一光学子系统和所述第二光学子系统配置为对所述组织样品内的相同光学平面进行成像；和
c)处理器，其配置为运行图像解译算法，所述图像解译算法处理使用所述第一光学切片成像模式和所述第二光学切片成像模式之一或两者获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量与使用所述第一成像模式获取的所述图像中的所述单个细胞的位置相对应的位置处的信号来输出从所述细胞相关造影剂得到的信号的定量测量。
2.根据权利要求1所述的系统，其中所述第一光学切片成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。
3.根据权利要求1或权利要求2所述的系统，其中所述第二光学切片成像模式包括受激拉曼散射显微术、相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术。
4.根据权利要求1至3中任一项所述的系统，其中所述第一光学子系统和所述第二光学子系统配置为具有小于10μm的轴向分辨率。
5.根据权利要求1至4中任一项所述的系统，其中所述第一光学子系统和所述第二光学子系统配置为具有小于5μm的横向分辨率。
6.根据权利要求1至5中任一项所述的系统，其中所述第一光学子系统进一步配置为在两个或更多个检测波长范围中获取高分辨率图像。
7.根据权利要求6所述的系统，其中：
所述两个或更多个检测波长范围中的第一检测波长范围包括所述细胞相关造影剂的发射峰；
所述两个或更多个检测波长范围中的第二检测波长范围不包括所述细胞相关造影剂的发射峰；以及
所述图像解译算法进一步处理使用所述第一检测波长获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和通过背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在与使用所述第二检测波长范围获取的所述图像中的所述单个细胞的位置相对应的位置处测量的。
8.根据权利要求3至7中任一项所述的系统，其中所述第二光学切片成像模式包括受激拉曼散射显微术，并在对应于脂质分子的CH2-振动的2,850cm-1的波数处获取所述图像。
9.根据权利要求8所述的系统，其中还在对应于蛋白质和核酸分子的CH3-振动的2,930cm-1的波数处获取图像。
10.根据权利要求1至9中任一项所述的系统，其中所述细胞相关造影剂包括荧光素、5-ALA、BLZ-100或LUM015。
11.根据权利要求6至10中任一项所述的系统，其中所述细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光，且第二发射波长包括短于600nm的波长。
12.根据权利要求1至11中任一项所述的系统，其中所述图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。
13.根据权利要求1至12中任一项所述的系统，其中所述图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。
14.根据权利要求13所述的系统，其中所述机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据，或它们的任何组合。
15.根据权利要求14所述的系统，其中利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。
16.根据权利要求1至15中任一项所述的系统，其中所述图像解译算法确定从所述细胞相关造影剂得到的信号的总强度或平均强度。
17.根据权利要求1至16中任一项所述的系统，其中所述图像解译算法确定从用于单个细胞的所述细胞相关造影剂得到的所述信号是否高于用于对比阳性细胞的指定阈值水平。
18.根据权利要求17所述的系统，其中所述图像解译算法输出所述组织样品的图像内的对比阳性细胞的总数、所述组织样品的图像内的对比阳性细胞的密度、所述组织样品的图像内的对比阳性细胞的百分比或它们的任何组合。
19.根据权利要求18所述的系统，其中所述图像解译算法还基于使用所述第二光学切片成像模式获得的所述图像输出细胞性分数。
20.根据权利要求1至19中任一项所述的系统，其中在体内获取所述组织样品的图像。
21.根据权利要求1至19中任一项所述的系统，其中在体外获取所述组织样品的图像。
22.根据权利要求1至21中任一项所述的系统，其中所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
23.一种用于组织样品的细胞分辨率成像的方法，所述方法包括：
a)使用第一成像模式获取所述组织样品内的细胞相关造影剂的分布的高分辨率光学切片图像；
b)使用第二成像模式获取与(a)在所述组织样品内的光学焦平面相同的光学焦平面内的组织样品形态的高分辨率光学切片图像；和
c)使用图像解译算法处理使用所述第一成像模式和所述第二成像模式之一或两者获取的图像，该图像解译算法识别单个细胞并确定所述单个细胞的位置，并通过测量与使用所述第一成像模式获取的所述图像中的所述单个细胞的位置相对应的位置处的信号、以细胞分辨率来输出从所述细胞相关造影剂得到的信号的定量测量。
24.根据权利要求23所述的方法，其中所述第一成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。
25.根据权利要求23或权利要求24所述的方法，其中所述第二成像模式包括受激拉曼散射显微术、相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术。
26.根据权利要求23至25中任一项所述的方法，其中使用所述第一成像模式和所述第二成像模式获取的图像具有小于10μm的轴向分辨率。
27.根据权利要求23至26中任一项所述的方法，其中使用所述第一成像模式和所述第二成像模式获取的图像具有小于5μm的横向分辨率。
28.根据权利要求23至27中任一项所述的方法，所述方法进一步包括使用所述第一成像模式在两个或更多个检测波长范围内获取图像。
29.根据权利要求28所述的方法，其中：
所述两个或更多个检测波长范围中的第一检测波长范围包括所述细胞相关造影剂的发射峰；
所述两个或更多个检测波长范围中的第二检测波长范围不包括所述细胞相关造影剂的发射峰；以及
所述图像解译算法进一步处理使用所述第一检测波长获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和通过背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在与使用所述第二发射波长范围获取的所述图像中的所述单个细胞的位置相对应的位置处测量的。
30.根据权利要求25至29中任一项所述的方法，其中所述第二成像模式包括受激拉曼散射显微术，并在对应于脂质分子的CH2-振动的2,850cm-1的波数处获取所述图像。
31.根据权利要求30所述的方法，其中还在对应于蛋白质和核酸分子的CH3-振动的2,930cm-1的波数处获取图像。
32.根据权利要求23至31中任一项所述的方法，其中所述细胞相关造影剂包括荧光素、5-ALA、BLZ-100或LUM015。
33.根据权利要求28至32中任一项所述的方法，其中所述细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光且第二发射波长包括短于600nm的波长。
34.根据权利要求23至33中任一项所述的方法，其中所述图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。
35.根据权利要求23至34中任一项所述的方法，其中所述图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。
36.根据权利要求35所述的方法，其中所述机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据或它们的任何组合。
37.根据权利要求36所述的方法，其中利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。
38.根据权利要求23至37中任一项所述的方法，其中所述图像解译算法确定从所述细胞相关造影剂得到的信号的总强度或平均强度。
39.根据权利要求23至38中任一项所述的方法，其中所述图像解译算法确定从用于单个细胞的所述细胞相关造影剂得到的所述信号是否高于用于对比阳性细胞的指定阈值水平。
40.根据权利要求39所述的方法，其中所述图像解译算法输出所述组织样品的图像内的对比阳性细胞的总数、所述组织样品的图像内的对比阳性细胞的密度、所述组织样品的图像内的对比阳性细胞的百分比或它们的任何组合。
41.根据权利要求40所述的方法，其中所述图像解译算法还基于使用所述第二光学切片成像模式获得的所述图像输出细胞性分数。
42.根据权利要求23至41中任一项所述的方法，其中在体内获取所述组织样品的图像。
43.根据权利要求23至41中任一项所述的方法，其中在体外获取所述组织样品的图像。
44.根据权利要求23至43中任一项所述的方法，其中所述方法在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
45.一种用于对组织样品进行成像的系统，其包括：
a)高分辨率光学切片显微镜，其配置为获取所述组织样品的图像；和
b)处理器，其配置为运行图像解译算法，所述图像解译算法检测通过所述高分辨率光学切片显微镜获取的所述图像中的单个细胞，并输出从细胞相关造影剂得到的信号的定量测量。
46.根据权利要求45所述的系统，其中所述高分辨率光学切片显微镜包括双光子荧光显微镜、共焦荧光显微镜、光片显微镜或结构光照明显微镜。
47.根据权利要求45至46中任一项所述的系统，其中所述高分辨率光学切片显微镜配置为在两个或更多个发射波长范围中获取图像。
48.根据权利要求47所述的系统，其中：
所述两个或更多个发射波长范围中的第一检测波长范围包括所述细胞相关造影剂的发射峰；
所述两个或更多个发射波长范围中的第二检测波长范围不包括所述细胞相关造影剂的发射峰；以及
所述图像解译算法处理使用所述第一检测波长范围获取的图像以识别单个细胞并确定所述单个细胞的位置，并通过测量所述单个细胞的位置处的所述信号和使用背景值校正所述信号来输出从所述细胞相关造影剂得到的所述信号的定量测量，所述背景值是在使用所述第二检测波长范围获取的所述图像中的对应位置处测量的。
49.根据权利要求45至48中任一项所述的系统，其中所述细胞相关造影剂包括荧光素、5-ALA、BLZ-100或LUM015。
50.根据权利要求47至49中任一项所述的系统，其中所述细胞相关造影剂包括5-氨基乙酰丙酸(5-ALA)，其中第一发射波长范围包括640nm的光且第二发射波长包括短于600nm的波长。
51.根据权利要求45至50中任一项所述的系统，其中所述图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任意组合来检测单个细胞。
52.根据权利要求45至51中任一项所述的系统，其中所述图像解译算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们任意组合。
53.根据权利要求52所述的系统，其中所述机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据或它们的任何组合。
54.根据权利要求45至53中任一项所述的系统，其中从所述细胞相关造影剂得到的所述信号的定量测量包括与所述图像中的一个或多个单个细胞相关的造影剂的量的测量。
55.根据权利要求45至54中任一项所述的系统，其中从所述细胞相关造影剂得到的所述信号的定量测量包括图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比或它们的任何组合的测量。
56.根据权利要求45至55中任一项所述的系统，其中在体内获取所述组织样品的图像。
57.根据权利要求45至55中任一项所述的系统，其中在体外获取所述组织样品的图像。
58.根据权利要求45至57中任一项所述的系统，其中所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
59.一种用于对组织样品进行成像的方法，所述方法包括：
a)获取所述组织样品的高分辨率光学切片图像；和
b)使用图像解译算法处理所述图像，所述图像解译算法检测所述图像中的单个细胞并输出从一个或多个单个细胞的位置处的细胞相关造影剂得到的信号的定量测量。
60.根据权利要求59所述的方法，其中所述高分辨率光学切片图像使用双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术获取。
61.根据权利要求59至60中任一项所述的方法，其中所述第一成像模式包括双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术。
62.根据权利要求59至61中任一项所述的方法，其中所述细胞相关造影剂包括荧光素、5-ALA、BLZ-100或LUM015。
63.根据权利要求59至62中任一项所述的方法，其中所述图像解译算法基于图像特征尺寸、形状、图案、强度或它们的任何组合来检测单个细胞。
64.根据权利要求59至63中任一项所述的方法，其中所述图像解译算法包括人工智能或机器学习算法。
65.根据权利要求64所述的方法，其中所述机器学习算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。
66.根据权利要求64至65中任一项所述的方法，其中所述机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据或它们的任何组合。
67.根据权利要求59至66中任一项所述的方法，其中所述图像解译算法确定从所述细胞相关造影剂得到的信号的平均强度。
68.根据权利要求59至67中任一项所述的方法，其中所述图像解译算法确定用于每一个单个细胞中的所述信号是否高于用于对比阳性细胞的指定阈值水平。
69.根据权利要求68所述的方法，其中所述图像解译算法输出图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比或它们的任何组合。
70.根据权利要求59至69中任一项所述的方法，其中所述图像解译算法输出细胞性分数。
71.根据权利要求59至70中任一项所述的方法，其中在体内获取所述组织样品的图像。
72.根据权利要求59至71中任一项所述的方法，其中在体外获取所述组织样品的图像。
73.根据权利要求59至72中任一项所述的方法，其中所述方法在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
74.一种用于检测组织样品中的细胞相关光学造影剂的方法，所述方法包括：
a)在第一发射波长范围处获取所述组织样品的第一高分辨率光学切片图像，所述第一发射波长范围包括所述细胞相关造影剂的发射峰，
b)在第二发射波长范围处获取所述组织样品的第二高分辨率光学切片图像，所述第二发射波长范围不包括所述细胞相关造影剂的发射峰；和
c)将伪彩色算法应用于第一图像和第二图像以生成所述组织样品的多彩色图像，所述多彩色图像便于人类解译。
75.根据权利要求74所述的方法，其中所述第一高分辨率光学切片图像和所述第二高分辨率光学切片图像使用双光子荧光显微术、共焦荧光显微术、光片显微术或结构光照明显微术获取。
76.根据权利要求74或75所述的方法，其中通过图像解译算法进一步处理使用所述第一发射波长范围获取的图像以识别单个细胞及所述单个细胞的位置，并输出图像内的对比阳性细胞的总数、图像内的对比阳性细胞的密度、图像内的对比阳性细胞的百分比或它们的任何组合。
77.根据权利要求74至76中任一项所述的方法，其中在体内获取所述组织样品的图像。
78.根据权利要求74至77中任一项所述的方法，其中在体外获取所述组织样品的图像。
79.根据权利要求74至78中任一项所述的方法，其中所述系统在外科手术期间用于识别用于执行活检的位置或用于确定切除是否完成。
80.一种用于引导外科切除的方法，所述方法包括：
a)使用双光子荧光显微术获取组织样品内的细胞相关造影剂的分布的高分辨率光学切片图像；
b)使用受激拉曼散射显微术获取所述组织样品的相同光学焦平面内的组织样品形态的高分辨率光学切片图像；和
c)使用图像解译算法处理使用受激拉曼散射获取的图像，所述图像解译算法识别单个细胞并确定所述单个细胞的位置，并通过测量与使用双光子荧光获取的所述图像中的所述单个细胞的位置相对应的位置处的信号、以细胞分辨率来输出从所述细胞相关造影剂得到的信号的定量测量。
81.一种用于引导外科切除的方法，所述方法包括：
a)使用双光子荧光获取组织样品的高分辨率光学切片图像；和
b)使用图像解译算法处理所述图像，所述图像解译算法检测所述图像中的单个细胞并以细胞分辨率输出从一个或多个单个细胞位置处的细胞相关造影剂得到的信号的定量测量。
82.一种用于引导外科切除的方法，所述方法包括：
a)在第一发射波长范围处获取所述组织样品的第一高分辨率光学切片双光子荧光图像，所述第一发射波长范围包括细胞相关造影剂的发射峰，
b)在第二发射波长范围处获取所述组织样品的第二高分辨率光学切片双光子荧光图像，所述第二发射波长范围不包括所述细胞相关造影剂的发射峰；和
c)将伪彩色算法应用于所述第一双光子荧光图像和所述第二双光子荧光图像以生成所述组织样品的多彩色图像，所述多彩色图像便于人类解译。
83.根据权利要求80至82中任一项所述的方法，其中至少一种成像模式的图像是使用共焦荧光显微术、光片显微术或结构光照明显微术代替双光子荧光显微术而获取的。
84.根据权利要求80至83中任一项所述的方法，其中使用至少第二成像模式获取的图像是使用相干反斯托克斯拉曼散射显微术、共焦反射显微术、二次谐波产生显微术或三次谐波产生显微术代替受激拉曼散射显微术而获取的。
85.根据权利要求80至84中任一项所述的方法，其中所述组织样品是脑组织样品、乳腺组织样品、肺组织样品、胰腺组织样品或前列腺组织样品。
86.根据权利要求80至85中任一项所述的方法，其中在体内获取所述组织样品的图像。
87.根据权利要求80至86中任一项所述的方法，其中在体外获取所述组织样品的图像。
88.根据权利要求80至87所述的方法，其中用于处理使用双光子荧光获取的图像的图像解译算法输出所述图像内的对比阳性细胞的总数、所述图像内的对比阳性细胞的密度、所述图像内的对比阳性细胞的百分比或它们的任何组合。
89.根据权利要求80至88中任一项所述的方法，其中用于处理使用双光子荧光或受激拉曼散射获取的图像的图像解译算法包括机器学习算法。
90.根据权利要求89所述的方法，其中所述机器学习算法包括有监督机器学习算法、无监督机器学习算法、半监督机器学习算法或它们的任何组合。
91.根据权利要求89或权利要求90所述的方法，其中所述机器学习算法包括人工神经网络算法、深度卷积神经网络算法、深度循环神经网络、生成对抗网络、支持向量机、层次聚类算法、高斯过程回归算法、决策树算法、逻辑模型树算法、随机森林算法、模糊分类器算法、k均值算法、期望最大化算法、模糊聚类算法或它们的任何组合。
92.根据权利要求89至91中任一项所述的方法，其中所述机器学习算法使用训练数据集来训练，所述训练数据集包括为已存档组织病理学组织样本获取的成像数据、为新鲜组织病理学组织样本获取的成像数据或它们的任何组合。
93.根据权利要求92所述的方法，其中利用由已部署用于相同或不同位点的两个或更多个系统而获取的成像数据来连续地、周期性地或随机地更新所述训练数据集。
94.根据权利要求93所述的方法，其中所述两个或更多个系统部署在不同位点，并且所述训练数据集通过网络连接连续地、周期性地或随机地更新。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962833553P | 2019-04-12 | 2019-04-12 | |
| US62/833,553 | 2019-04-12 | ||
| PCT/US2020/027830 WO2020210746A1 (en) | 2019-04-12 | 2020-04-10 | Imaging system for detection of intraoperative contrast agents in tissue |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113950701A true CN113950701A (zh) | 2022-01-18 |
Family
ID=72750906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080042980.5A Pending CN113950701A (zh) | 2019-04-12 | 2020-04-10 | 用于检测组织中的术中造影剂的成像系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220087532A1 (zh) |
| EP (1) | EP3953898A4 (zh) |
| JP (1) | JP7482894B2 (zh) |
| CN (1) | CN113950701A (zh) |
| WO (1) | WO2020210746A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114813695A (zh) * | 2022-03-08 | 2022-07-29 | 华南师范大学 | 基于拉曼散射光谱和定量相位的双模态成像系统、方法 |
| CN117982167A (zh) * | 2024-04-03 | 2024-05-07 | 南京大学 | 基于微米造影剂的二次谐波聚焦器 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2022219444A1 (en) | 2021-02-09 | 2023-09-21 | Adiuvo Diagnostics Private Limited | Fluorescence-based detection of problematic cellular entities |
| EP4381474A1 (en) * | 2021-08-04 | 2024-06-12 | Oncomedics | Cell counting method and method for determining the efficacy of a drug candidate |
| WO2023028032A1 (en) * | 2021-08-24 | 2023-03-02 | The General Hospital Corporation | Intravascular dual-modality oct and multichannel nirf inflammation imaging |
| CN115541578B (zh) * | 2022-09-28 | 2023-10-24 | 佐健(上海)生物医疗科技有限公司 | 一种高通量超分辨宫颈细胞病理切片快速扫描分析系统 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9825267D0 (en) | 1998-11-19 | 1999-01-13 | Medical Res Council | Scanning confocal optical microscope system |
| CA2563459A1 (en) * | 2003-04-18 | 2004-11-04 | Medispectra, Inc. | Systems for identifying, displaying, marking, and treating suspect regions of tissue |
| DE102009012874B4 (de) * | 2009-03-12 | 2017-08-17 | Carl Zeiss Microscopy Gmbh | Mikroskop, insbesondere Laser Scanning Mikroskop |
| US9634454B1 (en) | 2012-01-17 | 2017-04-25 | President And Fellows Of Harvard College | Laser illumination systems and methods for dual-excitation wavelength non-linear optical microscopy and micro-spectroscopy systems |
| US8792156B1 (en) | 2012-01-17 | 2014-07-29 | President And Fellows Of Harvard College | Laser illumination systems and methods for dual-excitation wavelength non-linear optical microscopy and micro-spectroscopy systems |
| AU2014265382B2 (en) * | 2013-05-15 | 2017-04-13 | The Administrators Of The Tulane Educational Fund | Microscopy of a tissue sample using structured illumination |
| JP6804065B2 (ja) | 2015-09-25 | 2020-12-23 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガンＴｈｅ Ｒｅｇｅｎｔｓ Ｏｆ Ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ Ｏｆ Ｍｉｃｈｉｇａｎ | コヒーレントラマンイメージング用生検装置 |
| WO2017139649A2 (en) | 2016-02-12 | 2017-08-17 | Massachusetts Institute Of Technology | Method and apparatus for imaging unsectioned tissue speciments |
| WO2018125925A1 (en) * | 2016-12-27 | 2018-07-05 | The Regents Of The University Of Michigan | Laser emission based microscope |
| RU2652732C1 (ru) | 2016-12-30 | 2018-04-28 | Общество с ограниченной ответственностью "СЕВЕН САНС" | Устройство и способ для безопасного позиционирования коронарного стента в коронарных артериях |
| JP6819445B2 (ja) | 2017-04-27 | 2021-01-27 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
| WO2018218150A1 (en) * | 2017-05-26 | 2018-11-29 | President And Fellows Of Harvard College | Systems and methods for high-throughput image-based screening |
| AU2018313841B2 (en) | 2017-08-09 | 2023-10-26 | Allen Institute | Systems, devices, and methods for image processing to generate an image having predictive tagging |
| US11545237B2 (en) * | 2017-09-26 | 2023-01-03 | Visiongate, Inc. | Morphometric genotyping of cells in liquid biopsy using optical tomography |
| US11419499B2 (en) * | 2018-01-19 | 2022-08-23 | The Regents Of The University Of California | Optical coherence tomography for cancer screening and triage |
-
2020
- 2020-04-10 EP EP20788187.1A patent/EP3953898A4/en active Pending
- 2020-04-10 WO PCT/US2020/027830 patent/WO2020210746A1/en unknown
- 2020-04-10 JP JP2021559799A patent/JP7482894B2/ja active Active
- 2020-04-10 CN CN202080042980.5A patent/CN113950701A/zh active Pending
-
2021
- 2021-10-01 US US17/491,844 patent/US20220087532A1/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114813695A (zh) * | 2022-03-08 | 2022-07-29 | 华南师范大学 | 基于拉曼散射光谱和定量相位的双模态成像系统、方法 |
| CN117982167A (zh) * | 2024-04-03 | 2024-05-07 | 南京大学 | 基于微米造影剂的二次谐波聚焦器 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220087532A1 (en) | 2022-03-24 |
| JP2022526650A (ja) | 2022-05-25 |
| EP3953898A1 (en) | 2022-02-16 |
| WO2020210746A1 (en) | 2020-10-15 |
| EP3953898A4 (en) | 2023-01-11 |
| JP7482894B2 (ja) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7482894B2 (ja) | 組織における術中造影剤の検出のための撮像システム | |
| Pence et al. | Clinical instrumentation and applications of Raman spectroscopy | |
| US7945077B2 (en) | Hyperspectral microscope for in vivo imaging of microstructures and cells in tissues | |
| Austin et al. | Raman technologies in cancer diagnostics | |
| Kuzmin et al. | Third harmonic generation imaging for fast, label-free pathology of human brain tumors | |
| US9289128B2 (en) | In vivo flow cytometry based on cellular autofluorescence | |
| Marcu | Fluorescence lifetime techniques in medical applications | |
| Andresen et al. | Infrared multiphoton microscopy: subcellular-resolved deep tissue imaging | |
| US20070178067A1 (en) | System and method for cytological analysis by raman spectroscopic imaging | |
| US9345389B2 (en) | Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure | |
| US20060281068A1 (en) | Cytological methods for detecting a disease condition such as malignancy by Raman spectroscopic imaging | |
| Gibson et al. | Multiphoton microscopy for ophthalmic imaging | |
| US20060253261A1 (en) | Digitizing biology | |
| US20120200850A1 (en) | Cytological methods for detecting a condition such as transplant efficiency by raman spectroscopic imaging | |
| WO2016041062A1 (en) | Apparatus and method for producing a spectrally resolved image of a fundus of a subject | |
| Pradere et al. | Two‐photon optical imaging, spectral and fluorescence lifetime analysis to discriminate urothelial carcinoma grades | |
| Mehidine et al. | Multimodal imaging to explore endogenous fluorescence of fresh and fixed human healthy and tumor brain tissues | |
| Yan et al. | Portable LED-induced autofluorescence spectroscopy for oral cancer diagnosis | |
| Meyer et al. | Toward an all-optical biopsy | |
| Zhang et al. | Advances in optical microscopy revolutionize the practice of surgical pathology with rapid and non-destructive tissue assessment | |
| WO2007011571A2 (en) | Digitizing biology | |
| Xiang et al. | Quantitative multiphoton imaging of cell metabolism, stromal fibers, and keratinization enables label-free discrimination of esophageal squamous cell carcinoma | |
| Browning et al. | Illuminating the optical properties of an LED-based spectral light source for hyperspectral endoscopy | |
| Wood et al. | Optimal feature selection applied to multispectral fluorescence imaging | |
| US20240192120A1 (en) | Systems and methods for preparing imaging and analyzing cytologic samples |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |