CN116529770A - 生成数字染色图像的成像方法和系统、训练人工智能系统的训练方法和非暂时性存储介质 - Google Patents
生成数字染色图像的成像方法和系统、训练人工智能系统的训练方法和非暂时性存储介质 Download PDFInfo
- Publication number
- CN116529770A CN116529770A CN202180076072.2A CN202180076072A CN116529770A CN 116529770 A CN116529770 A CN 116529770A CN 202180076072 A CN202180076072 A CN 202180076072A CN 116529770 A CN116529770 A CN 116529770A
- Authority
- CN
- China
- Prior art keywords
- image
- staining
- training
- probe
- undyed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 title claims abstract description 50
- 238000010186 staining Methods 0.000 title claims abstract description 46
- 238000003384 imaging method Methods 0.000 title claims abstract description 39
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 19
- 238000003860 storage Methods 0.000 title claims abstract description 6
- 239000000523 sample Substances 0.000 claims abstract description 66
- 238000000386 microscopy Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000001131 transforming effect Effects 0.000 claims description 16
- 238000007447 staining method Methods 0.000 claims description 13
- 238000000399 optical microscopy Methods 0.000 claims description 11
- 238000001069 Raman spectroscopy Methods 0.000 claims description 9
- 238000012014 optical coherence tomography Methods 0.000 claims description 6
- 230000007170 pathology Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000002135 phase contrast microscopy Methods 0.000 claims description 5
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000000799 fluorescence microscopy Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000003364 immunohistochemistry Methods 0.000 claims description 3
- 102000006306 Antigen Receptors Human genes 0.000 claims description 2
- 108010083359 Antigen Receptors Proteins 0.000 claims description 2
- 238000010521 absorption reaction Methods 0.000 claims description 2
- 238000001344 confocal Raman microscopy Methods 0.000 claims description 2
- 230000002269 spontaneous effect Effects 0.000 claims description 2
- 238000003325 tomography Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 21
- 230000000712 assembly Effects 0.000 description 7
- 238000000429 assembly Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000001727 in vivo Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010166 immunofluorescence Methods 0.000 description 3
- 230000004660 morphological change Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 108700011259 MicroRNAs Proteins 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 238000007901 in situ hybridization Methods 0.000 description 2
- 239000002679 microRNA Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000003753 real-time PCR Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 108700003860 Bacterial Genes Proteins 0.000 description 1
- 238000000018 DNA microarray Methods 0.000 description 1
- 238000001712 DNA sequencing Methods 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000003115 biocidal effect Effects 0.000 description 1
- 239000011176 biofiber Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000011846 endoscopic investigation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007403 mPCR Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 244000052769 pathogen Species 0.000 description 1
- 238000007388 punch biopsy Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 231100000027 toxicology Toxicity 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011277 treatment modality Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
一方面，本发明涉及一种用于从未染色的组织生物组织探针(50)的物理图像(50')生成生物组织探针(50)的数字染色图像(51')的成像方法，其中生物组织探针(50)的物理图像(50')是通过同步多模态显微术(53)获得的。另一方面，本发明涉及一种用于训练要在这种方法中使用的人工智能系统的训练方法。此外，本发明涉及一种用于生成生物组织探针(50)的数字染色图像(51')和/或用于训练人工智能系统的系统。该系统包括用于执行所述方法中的至少一种的处理单元。此外，本发明涉及一种包含指令的非暂时性存储介质，所述指令当由计算机执行时，使计算机执行所述方法。
Description
技术领域
本申请涉及生物组织探针的数字染色图像。更具体地，它涉及一种用于从未染色的生物组织探针生成生物组织探针的数字染色图像的成像方法，一种用于训练在这种方法中使用的人工智能系统的训练方法，一种用于生成生物组织探针的数字染色图像和/或用于训练人工智能系统的系统，以及一种包含指令的非暂时性存储介质。
背景技术
在例如WO 2017/146813 A1的文件中已知生物组织探针的数字染色图像的概念。该文件公开的方法包括获得包含用光学显微技术照明的生物细胞的输入图像的数据并使用神经网络处理数据。图像处理系统由用于生成多种类型的虚拟染色图像的染色细胞神经网络和用于处理染色细胞图像数据的细胞特征神经网络组成。准确地说，是提取或生成表征细胞的细胞特征。
WO 2019/172901 A1公开了一种机器学习预测器模型，该模型被训练以从未染色或用H&E(苏木精和伊红)染色的输入图像生成对用特殊染色剂(例如IHC(免疫组织化学)染色剂)染色的组织样品的外观的预测。该模型可以被训练来预测多种不同组织类型和特殊染色类型的特殊染色图像。
上述两份文件中公开的方法使用必须彼此精确对准的成对图像。这需要相当大的努力，而且实际上也是不可能实现的。这是因为对同一组织切片进行成像需要付出很多努力，而且甚至很可能会发生轻微的形态变化。在许多情况下，还使用覆盖切片，其中一个被染色，一个不被染色；这些切片可以有相当大的形态差异。
此外，WO 2019/191697 A1公开了一种基于深度学习的数字染色方法，该方法能够基于使用荧光显微镜获取的自荧光图像，从标签或无染色样品中获得数字/虚拟染色的显微图像。
在一些科学文献中，讨论了数字染色的一般概念，例如，
-Rivenson,Y.,Wang,H.,Wei,Z.et al.Virtual histologicalstaining ofunlabelled tissue-autofluorescence images via deep learning.
Nat Biomed Eng 3,466–477(2019).
https://doi.org/10.1038/s41551-019-0362-y；
-Rana A,Lowe A,Lithgow M,et al.Use of Deep Learning toDevelop andAnalyze Computational Hematoxylin and Eosin Staining ofProstate Core BiopsyImages for Tumor Diagnosis.JAMA Netw Open.
2020；3(5):e205111.doi:10.1001/jamanetworkopen.2020.5111；以及
-Navid Borhani,Andrew J.Bower,Stephen A.Boppart,andDemetri Psaltis,“Digital staining through the application of deep neuralnetworks to multi-modal multi-photon microscopy,”Biomed.Opt.
Express 10,1339-1350(2019)。
现有技术中的大多数参考文献在基础光学显微术中仅使用一种单一成像模态。在WO 2019/191697 A1中，提到该方法可以受益于各种成像模态，例如荧光显微术、非线性显微术等。但是，现有技术中使用的系统需要顺序成像。因此，不同模态的处理时间相加，使得可以显示或进一步评估图像的帧速率相当低。此外，不同成像模态的空间配准是一个主要的技术难点，这在Borhani等人的上述文章中提到了。
发明内容
因此，本申请的一个目的是提供用于生成数字染色图像的改进方法和系统，其中克服或至少减少了现有技术的缺点。特别地，当使用不同的模态时，所述方法和系统允许更短的处理时间，并且可以显示或进一步评估图像的帧速率得到降低。
此外，该过程优选地不需要精确对齐的图像对来训练组织染色神经网络。此外，提高了图像质量。此外，优选地避免了在着色过程中可能导致伪影或形态变化的图像对的细微差异，否则会误导以后的诊断。
在第一方面，本发明涉及一种用于从未染色的生物组织探针的物理图像生成生物组织探针的数字染色图像的成像方法。所述成像方法包括以下步骤
G1)通过光学显微术获得未染色的生物组织探针的物理图像，
G2)通过使用人工智能系统从物理图像生成数字染色图像，其中该系统被训练以预测通过物理染色方法对探针进行染色可获得的数字染色图像。
在上面步骤的列举中，字母“G”表示“生成”的意思。
根据本发明的第一方面，步骤G1)包括通过同步多模态显微术获得未染色的探针的物理图像。换句话说，同时使用两种或更多种显微模态以获得未染色探针的物理图像。
使用同步多模态显微术可以缩短不同模态的处理时间。此外，可以使得显示或进一步评估图像的帧速率降低。此外，可以快速获得覆盖几个数量级的不同长度尺度的图像。此外，不需要不同成像模态的空间配准。此外，在本发明的一些实施例中，该过程不需要精确对齐的图像对。这可能会在测试图像生成和预处理领域带来巨大优势，因为可以避免非常复杂且计算量大的图像配准算法。此外，由于多模态显微术获得的图像比传统显微术获得的图像包含更多信息，因此图像质量得到改善。此外，在一些实施例中，可以避免在物理着色过程中误导的伪影或形态变化。
在一些现有技术研究中已经确定，使用自体荧光图像的H&E染色是可能的。然而，目前预计染色质量会随着图像信息的增加而提高。这种图像信息的增加是通过使用根据本发明的多模态成像方法实现的。人眼已经可以看出，某些模态不包含H&E染色的重要信息。关于基于抗原抗体反应的免疫组织化学，使用额外的成像模态将带来更好的染色质量——尤其是考虑到众多不同的标记类型也在不断发展。通过获得所研究组织的同步多模态图像，可以更好地可视化和量化快速细胞内和细胞水平的代谢过程。
步骤G1)可以在体外，即在患者体外执行；为此，组织探针可能已经在以前的步骤中被切除，其可以是也可以不是根据本发明的方法的一部分。可替代地，组织探针的物理图像可以在体内，即在患者体内获得。
欧洲专利申请EP 20188187.7以及从该申请中获得优先权的任何可能的后续专利申请中公开了可用于同步多模态显微术的多模态显微系统和相关方法。这些申请关于多模态显微系统的公开内容通过引用并入本申请。具体细节将在下面明确公开，但通过引用包含不限于这些明确细节。
具体地，当在体内执行步骤G1)时，这可以用活检针来完成，活检针可以形成上述申请中提到的扫描单元，这将在下面进一步解释。活检针使用户能够以反向散射方式在体内应用所述模态，即，从组织生成的信号被收集并通过所述生物光纤针传输回检测单元。
优选地，该方法包括在显示装置上显示数字染色图像的进一步步骤G3)。该数字染色图像类似于已在上述染色方法之一中进行物理染色的探针图像。受过训练的人(特别地病理学家)因此可以基于他/她在解释已经物理染色的组织方面的经验来推导出组织的特性。例如，受过训练的人可以从显示的图像中检测到肿瘤或疾病的进展或消退。此外，通过将上述成像方法与光谱相结合，可以及早检测患者对治疗的反应。此外，可以可视化对特定治疗方式的动态响应。
显示装置可以布置在所述成像方法使用的多模态显微系统附近，或者它可以布置成远离它。
除了或者替代在显示装置上显示数字染色图像，数字染色图像的解释可以由同一或额外的人工智能系统执行。这个人工智能系统也可以以一种已知的方式进行训练(但不是在数字染色图像的背景下)。
在第二方面，本发明还涉及用于训练人工智能系统以用于如上所述的成像方法的训练方法。所述训练方法包括以下步骤
T1)获得大量图像对，每对包括
-通过光学显微术获得的未染色的生物组织探针的物理图像，和
-以物理染色方法获得的所述探针的染色图像，
T2)在所述图像对的基础上，训练人工智能系统从所述未染色的探针的物理图像预测数字染色图像，所述数字染色图像可通过所述染色方法对探针进行染色而获得。
在上面步骤的列举中，字母“T”表示“训练”的意思。
根据本发明的第二方面，步骤T1)包括通过同步多模态显微术获得未染色探针的物理图像。
当以这种方式训练人工智能系统时，它可以用于在上述成像方法中从未染色的生物组织探针生成生物组织探针的数字染色图像。
物理染色方法本身可以是已知的并且可以是选自由以下组成的组中的病理学科中使用的方法：组织学，特别地免疫组织学，特别地免疫组织化学；细胞学；血清学；微生物学；分子病理学；克隆性分析；PARR(抗原受体重排的PCR)；和分子遗传学。组织学包括上述H&E(苏木精和伊红)方法。“分子病理学”学科在本文中被理解为分子生物学、生物化学、蛋白质组学和遗传学的原理、技术和工具在诊断医学中的应用。其中包括免疫荧光(IF)、原位杂交(ISH)、microRNA(miRNA)分析、数字病理成像、毒理学基因组评估、定量聚合酶链反应(qPCR)、多重PCR、DNA微阵列、原位RNA测序、DNA测序、基于抗体的免疫荧光组织测定、病原体的分子谱分析以及细菌基因的抗菌素耐药性分析。
同步多模态显微术可以包括选自由以下组成的组中的至少两种不同的模态：双光子激发荧光、双光子自体荧光、荧光寿命成像、自体荧光寿命成像、二次谐波生成、三次谐波生成、非相干/自发拉曼散射、相干反斯托克斯拉曼散射(CARS)、宽带或多重CARS、受激拉曼散射、相干拉曼散射、受激发射损耗(STED)、非线性吸收、共焦拉曼显微镜、光学相干断层扫描(OCT)、单光子/线性荧光成像、明场成像、暗场成像、三光子、四光子、二次谐波生成、三次谐波生成、四次谐波生成、相差显微术、光声(或同义光声)技术，如单倍频和多倍频光谱光声成像、光声层析成像、光声显微术、光声遥感及其变体。
所有上述成像技术都可以应用于体内、离体、活组织或切除组织，包括任何合适的内窥镜技术。
细胞核和其中包含的DNA表现出低自体荧光，但主要在紫外线范围内吸收。然而，细胞核及其DNA对于许多诊断目的很重要。为了克服这个缺点，至少一种模态可以是相差显微模态。在本申请的上下文中，相差显微术(其本身已知)应被理解为一种光学显微技术，其将穿过透明样品的光的相移转换为图像中的亮度变化。相移本身是不可见的，但在显示为亮度变化时变得可见。相差显微模态的优势在于，与其他几种成像模态相比，细胞核及其DNA可以更清晰地显示。这大大促进了AI技术在本申请中的应用。上述光声技术也特别适用，因为在这些技术中应用的光被细胞核和/或其内部的分子高度吸收。
人工智能系统可以包含至少一个神经网络，特别地包括卷积神经网络(CNN)和/或生成对抗网络(GAN)，例如Cycle-GAN，它使用未染色的生物组织探针的物理图像作为输入来提供相应的数字染色图像作为输出。神经网络可以将图像空间中的图像和通过多模态显微术获得的图像变换成特征空间中的相应图像，特别地变换成特征空间中的向量或矩阵。优选地，特征空间中的向量或矩阵具有比图像空间中的图像低的维数。从特征空间中的图像，可以得到数字染色图像。
例如，可以使用类似于在Ronneberger等人的U-Net:Convolutional Networksfor Biomedical Image Segmentation(可从https://arxiv.org/pdf/1505.04597.pdf获得)中公开的神经网络。特别地，神经网络可以应用以下已知原理中的一个或多个：数据增强，特别地当只有很少的数据可用时；下采样和/或上采样，特别地如Ronneberger等人文章中所公开的；和加权损失。
作为神经网络的替代方案，还可以想到对图像执行逐像素或逐区域着色，例如通过已知的分类算法，例如随机森林模型(Random Forrest)。然而，即使本发明包括这样的替代方案，目前认为这样的算法更复杂并且提供较低质量的图像。
与现有技术中已知的方法相反，在本发明中，可以对未精确对齐的图像进行训练。这可以通过训练架构来实现，该架构优选地不同于成像方法中使用的成像架构并且可以包含至少一个仅用于训练的神经网络组件。
该方法可以包含Zhu等人的Unpaired Image-to-Image Translation usingCycle-Consistent Adversarial Networks(可从https://arxiv.org/pdf/1703.10593.pdf获得)中提出的方法的改编，该文章公开了生成器-鉴别器网络：在本发明的优选实施例中，在训练期间，所变换的图像，在这种情况下是数字染色图像，被重新变换为物理染色探针的输入图像。最后，重新变换后的图像和原始图像应该尽可能一致。
更详细地，步骤T2)中的训练可以包括第一序列的步骤：
T2.U.1)通过第一图像到特征变换将图像空间中的初级未染色训练图像，即通过多模态显微术从未染色的探针获得的未染色初级训练图像，变换成特征空间中的第一向量或矩阵；
T2.U.2)通过第一特征到图像变换将来自特征空间的第一向量或矩阵变换成图像空间中的数字染色图像；
T2.U.3)通过第二图像到特征变换将来自图像空间的数字染色图像变换成特征空间中的第二向量或矩阵；
T2.U.4)通过第二特征到图像变换将特征空间中的第二向量或矩阵变换成次级未染色图像；
T2.U.5)将次级未染色图像与初级未染色训练图像进行比较；
当所述比较产生预定义范围之外的差异时，可以修改所述变换和重新变换，并且可以重复步骤T2.U.1)到T2.U.4)和可选的T2.U.5)。
此外，训练可以包括第二序列的步骤
T2.S.1)通过第二图像到特征变换将图像空间中的初级染色训练图像，即通过多模态显微术从物理染色探针获得的初级染色训练图像，变换成特征空间中的第一向量或矩阵；
T2.S.2)通过第二特征到图像变换将来自特征空间的第一向量或矩阵变换成图像空间中的数字未染色图像；
T2.U.3)通过第一图像到特征变换将来自图像空间的数字未染色图像变换成特征空间中的第二向量或矩阵；
T2.U.4)通过第一特征到图像变换将特征空间中的第二向量或矩阵变换成次级染色图像；
T2.S.5)将次级染色图像与初级染色训练图像进行比较。
这里同样地，当所述比较产生预定义范围之外的差异时，可以修改所述变换和重新变换，并且可以重复步骤T2.S.1)到T2.S.4)和可选的T2.S.5)。
在以上步骤的列举中，字母“U”表示“未染色”，“S”表示“染色”。
然而，用于变换和重新变换的神经网络与Zhu等人公开的神经网络相反。上述鉴别器通过将标注数据(ground truth)与数字染色图像进行比较并对其进行评估来接管对图像合理性的评估。与从Zhu等人或从GAN-based Virtual Re-Staining:A PromisingSolution for Whole Slide Image Analysis(可从Zhaoyang u等人的文件,https://arxiv.org/pdf/1901.04059.pdf获得)已知的架构不同，本发明中的输入未染色图像和输出数字染色图像具有不同数量的模态。由于这会对身份丢失(identity loss)造成问题，因此需要修改以用于本发明。
根据模态图像的质量，可以执行去噪和反卷积形式的预处理以确保彩色图像最终满足期望的要求。这种预处理可以通过使用自监督图像去噪神经网络，例如类似于在Kobayashi等人的文章Image Deconvolution via Noise-Tolerant Self-SupervisedInversion(可从https://arxiv.org/pdf/2006.06156v1.pdf获得)中描述的神经网络来完成。
在某些情况下，即使图像对精确对齐，连续组织切片和/或重新嵌入的组织探针之间仍可能存在一些轻微的形态差异，这可能会对数字染色图像的质量产生负面影响。在这些情况下，可以使用Cycle-GAN。由于Cycle-GAN的训练通常会产生不稳定性，因此可以使用基于配准图像的训练和逐像素比较。这允许训练一般着色。在连续训练的过程中，可以减少逐像素相关性的影响，并且可以训练出稳定的Cycle-GAN。
另一方面，本发明还涉及一种用于生成生物组织探针的数字染色图像和/或用于训练人工智能系统的系统。该系统包括：
-光学显微系统，用于通过同步多模态显微术获得生物组织探针的物理图像，
-数据存储器，用于存储大量图像对，每对包括：
-通过光学显微术获得的生物组织探针的物理图像，和
-以物理染色方法获得的所述探针的染色图像，
-处理单元，用于执行：
-如上所述的成像方法，和/或
-如上所述的训练方法。
使用该系统，可以执行上述方法。
在该系统中，可以使用如在欧洲专利申请EP 20188187.7和从该申请获得优先权的任何可能的后续专利申请中公开的光学显微系统。更详细地，该系统可以包括包含至少一个电气和/或光学基本组件的至少一个第一基本单元、包含至少一个扫描组件的至少一个扫描单元和包含至少一个检测组件的至少一个检测单元。至少一个第一基本单元可以包括至少两个电气和/或光学基本组件。至少一个扫描单元可以包括至少两个扫描组件。至少一个检测单元可以包括至少两个检测组件。
扫描单元和/或检测单元可以自由移动，特别地具有六个自由度。扫描单元和/或检测单元可以经由至少一条柔性连接线，特别地至少一条光学连接线和/或至少一条电连接线连接到第一基本单元。至少一个基本组件、至少一个扫描组件和至少一个检测组件可以可操作地彼此耦合，使得至少一个基本组件和/或至少一个扫描组件和/或至少一个检测组件可以联合使用，特别地同时可用于多于一种模态。换言之，三个单元(基本单元、扫描单元、检测单元)中的两个组件可以与余下单元中的同一个组件或同一组组件结合使用。
在另一方面，本发明还涉及包含指令的非暂时性存储介质，当在计算机上执行这些指令时，使计算机执行如上所述的方法。
附图说明
下面将参考以下附图解释本发明的详细实施例和进一步的优点，其中
图1示出了该方法的示意图；
图2示出了用于执行该方法的系统的示意图；
图3示出了包含细胞核的生物组织的几个图像。
具体实施方式
图1中的示意图示出了图像空间I中的图像70、70'、特征空间F中的特征向量71、71'以及这些图像和向量之间的变换72、73、72'和73'。根据本发明，变换72、73、72'和73'由神经网络获得。
根据图1的上半部分，通过第一图像到特征变换72将通过多光子显微术从未染色探针获得的初级图像70变换成特征空间F中的第一向量71(步骤T2.U.1)。通过第一特征到图像变换72'，将第一向量71变换成图像空间I中的数字染色图像70'(步骤T2.U.2)。在生成方法中，这些数字染色图像70'显示在监视器60上。在训练期间，通过第二图像到特征变换73将图像空间I中的数字染色图像70'变换成特征空间F中的第二向量71'(步骤T2.U.3)。随后，通过第二特征到图像变换73'将第二向量71'变换成次级未染色图像70”(步骤T2.U.4)。神经网络要被训练或已经被训练，使得左侧的初级未染色图像70类似于右侧的次级图像70(步骤T2.U.5)。
根据图1的下半部分，通过第二图像到特征变换73将通过多光子显微术从染色探针获得的初级图像70'变换成特征空间F中的第一向量71'(步骤T2.S.1)。通过第二特征到图像变换73'，将第一向量71'变换成图像空间I中的数字未染色图像70”(步骤T2.S.2)。然后通过第一图像到特征变换72将图像空间I中的数字染色图像70'变换成特征空间F中的第二向量71(步骤T2.S.3)。随后，通过第一特征到图像变换将第二向量71'变换成次级染色图像(步骤T2.S.4)。神经网络要被训练或已经被训练，使得左侧的初级染色图像70'类似于右侧的次级图像70(步骤T2.S.5)。
在根据图2的实施例中，组织探针50(例如快速切片、冷冻切片、固定切片、新鲜切片或整块组织，例如来自穿孔活组织检查)被布置在载玻片(未示出)上。然后使用如上述欧洲专利申请EP 20188187.7中公开的多模态显微系统对其进行扫描。
更具体地，图2所示的多模态显微系统1包括第一基本单元2(以下简称基本单元2)、扫描单元4和检测单元5。
基本单元2包含几个用于不同模态的光源：激光源14、用于荧光成像的光源15、用于拉曼散射的激光器16、用于光学相干断层扫描(OCT)的光源17、放大器泵浦激光器18和白光源19。基本单元2另外包括电子部件23、软件24和电源25。
扫描单元4包含几个扫描组件：光放大器20、传输/扫描光学器件21和激发发射滤波器22。每个光源14、15、16、17、18、19经由单独的柔性连接线6(例如光纤电缆)连接到扫描单元4。因此，每个光源14、15、16、17、18、19可操作地连接到同一组扫描组件20、21、22，以便可以为与光源14、15、16、17、18、19相关联的不同模态提供该单组扫描组件20、21、22。
扫描单元4还包括用于将分析光引导到探针50的物镜12。更详细地，物镜12以这样的方式布置在扫描单元4中，使得从探针发射的信号通过物镜12往回传输。滤波器22被布置成使得从探针50发射的信号通过所述滤波器22被滤波。扫描单元4还通过电缆29连接到基本单元2，电缆29为扫描单元4供电并且控制扫描单元4。
检测单元5与扫描单元4可操作地连接并且包含若干检测组件：滤波检测器7、单光子计数器8、光谱仪9、光功率计10和荧光相机11。扫描单元4和检测单元5可以六个自由度自由移动。每个检测组件7、8、9、10、11经由单独的柔性连接线28(例如光纤电缆)连接到扫描单元4。因此，每个检测组件7、8、9、10、11可操作地连接到同一组扫描组件20、21、22，以便可以为与检测组件7、8、9、10、11相关联的不同模态提供该单组扫描组件20、21、22。可替代地，从光源17发出的光可以直接发射到探针50上。检测单元5也经由电缆30连接到基本单元2，电缆30为检测单元5供电并控制检测单元5。
系统1还包括切换单元3，其允许根据所选择的模态选择性地将从探针50发射的信号传输到检测单元5。
在图3中，显示了生物探针的几个图像。探针是3μm厚的人体皮肤样品，嵌入石蜡中。其中，左图示出了已被H&E物理染色的探针。该图像是使用20x NA 0.75显微镜获得的。细胞核52清晰可见。中间的图示出了数字染色图像，其中无法识别所有细胞核；只有它们的位置用52'标记。这可以通过在本发明的方法中使用至少一种相衬模态来实现。
Claims (13)
1.一种用于从未染色的生物组织探针(50)的物理图像(70')生成生物组织探针(50)的数字染色图像(70')的成像方法，包括以下步骤：
G1)通过光学显微术获得未染色的生物组织探针(50)的物理图像(70)，
G2)通过使用人工智能系统从所述物理图像(70)生成数字染色图像(70')，其中所述系统被训练以预测通过物理染色方法对所述探针(50)进行染色可获得的数字染色图像(70')，
其特征在于，
步骤G1)包括通过同步多模态显微术获得未染色的探针(50)的物理图像(70)。
2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：
G3)在显示装置(60)上显示所述数字染色图像(70')。
3.一种用于训练人工智能系统以用于根据前述权利要求中任一项所述的成像方法的训练方法，包括以下步骤：
T1)获得大量图像对(70，70')，每对包括
-通过光学显微术获得的未染色的生物组织探针(50)的物理图像(70)，和
-以物理染色方法获得的所述探针(50)的染色图像(70')，
T2)在所述图像对(70，70')的基础上，训练所述人工智能系统从所述未染色的探针(50)的物理图像(70)预测数字染色图像(70')，所述数字染色图像(70')是通过所述染色方法对所述探针(50)进行染色而可获得的，
其特征在于，
步骤T1)包括通过同步多模态显微术获得所述未染色的探针(50)的物理图像(70)。
4.根据前述权利要求中任一项所述的方法，其中，所述物理染色方法是选自由以下组成的组中的病理学科中使用的方法：组织学，特别地免疫组织学，特别地免疫组织化学；细胞学；血清学；微生物学；分子病理学；克隆性分析；PARR(抗原受体重排的PCR)；和分子遗传学。
5.根据前述权利要求中任一项所述的方法，其中，所述人工智能系统包含至少一个神经网络，特别地卷积神经网络和/或生成对抗网络(GAN)，其使用未染色的生物组织探针(50)的物理图像(70)作为输入来提供相应的数字染色图像(70')作为输出。
6.根据权利要求5所述的方法，其中，所述神经网络将图像空间(I)中的图像(70，70')和通过多模态显微术获得的图像(70，70')变换成特征空间(F)中的相应图像(71，71')，特别地变换成所述特征空间(F)中的向量(71)或矩阵。
7.根据权利要求6所述的方法，其中，步骤T2)中的训练包括：
-第一序列的步骤
T2.U.1)通过第一图像到特征变换(72)将图像空间(I)中的初级未染色训练图像(70)，即通过多模态显微术从未染色的探针(50)获得的未染色初级训练图像(70)，变换成所述特征空间(F)中的第一向量(71)或矩阵；
T2.U.2)通过第一特征到图像变换(72')将来自所述特征空间(F)的第一向量(71)或矩阵变换成所述图像空间(I)中的数字染色图像(70')；
T2.U.3)通过第二图像到特征变换(73)将来自所述图像空间(I)的数字染色图像(70')变换成所述特征空间(F)中的第二向量(71')或矩阵；
T2.U.4)通过第二特征到图像变换(73')将所述特征空间(F)中的第二向量(71')或矩阵变换成次级未染色图像(70”)；
T2.U.5)将所述次级未染色图像(70”)与所述初级未染色训练图像(70)进行比较；
-第二序列的步骤
T2.S.1)通过所述第二图像到特征变换(73)将所述图像空间(I)中的初级染色训练图像(70')，即通过多模态显微术从物理染色探针(50)获得的初级染色训练图像(70')，变换成所述特征空间(F)中的第一向量(71')或矩阵；
T2.S.2)通过所述第二特征到图像变换(73')将来自所述特征空间(F)的第一向量(71')或矩阵变换成所述图像空间(I)中的数字未染色图像(70”)；
T2.U.3)通过所述第一图像到特征变换(72)将来自所述图像空间(I)的数字未染色图像(70”)变换成所述特征空间(F)中的第二向量(71)或矩阵；
T2.U.4)通过所述第一特征到图像变换(72')将所述特征空间(F)中的第二向量(71)或矩阵变换成次级染色图像(70)；
T2.S.5)将所述次级染色图像(70)与所述初级染色训练图像(70')进行比较。
8.根据权利要求5至7中任一项所述的方法，其中，所述神经网络包括：
-用于预测数字染色图像(70')的成像架构，所述数字染色图像(70')是通过物理染色方法对所述探针(50)进行染色而可获得的，以及
-用于训练所述神经网络的训练架构，
其中，所述训练架构不同于所述成像架构，特别地包含仅用于训练所述神经网络的至少一个网络组件。
9.根据权利要求8所述的方法，其中，所述训练架构包括生成器-鉴别器网络。
10.根据前述权利要求中任一项所述的方法，其中，未染色的探针(50)的输入图像(70)和所述数字染色图像(70')具有不同数量的模态。
11.根据前述权利要求中任一项所述的方法，其中，所述同步多模态显微术包括选自由以下组成的组中的至少两种不同的模态：双光子激发荧光、双光子自体荧光、荧光寿命成像、自体荧光寿命成像、二次谐波生成、三次谐波生成、非相干/自发拉曼散射、相干反斯托克斯拉曼散射(CARS)、宽带或多重CARS、受激拉曼散射、相干拉曼散射、受激发射损耗(STED)、非线性吸收、共焦拉曼显微镜、光学相干断层扫描(OCT)、单光子/线性荧光成像、明场成像、暗场成像、三光子、四光子、二次谐波生成、三次谐波生成、四次谐波生成、相差显微术、诸如单倍频和多倍频光谱光声成像的光声技术、光声层析成像、光声显微术、光声遥感。
12.一种用于生成生物组织探针(50)的数字染色图像(70)和/或用于训练人工智能系统的系统，所述系统包括：
-光学显微系统(1)，用于通过同步多模态显微术获得生物组织探针(50)的物理图像(70)，
-数据存储器，用于存储大量图像对，每对包括：
-通过同步多模态显微术获得的未染色的生物组织探针(50)的物理图像(70)，和
-以物理染色方法获得的所述探针(50)的染色图像(70')，
-处理单元，用于执行：
-根据权利要求1和2中任一项所述的成像方法，和/或
-根据权利要求3至11中任一项所述的训练方法。
13.一种包含指令的非暂时性存储介质，所述指令当由计算机执行时，使所述计算机执行根据权利要求1至11中任一项所述的方法，特别地在根据权利要求12所述的系统中。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20208574.2A EP4002267A1 (en) | 2020-11-19 | 2020-11-19 | Imaging method and system for generating a digitally stained image, training method for training an artificial intelligence system, and non-transitory storage medium |
| EP20208574.2 | 2020-11-19 | ||
| PCT/EP2021/082249 WO2022106593A1 (en) | 2020-11-19 | 2021-11-19 | Imaging method and system for generating a digitally stained image, training method for training an artificial intelligence system, and non-transitory storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116529770A true CN116529770A (zh) | 2023-08-01 |
Family
ID=73497560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180076072.2A Pending CN116529770A (zh) | 2020-11-19 | 2021-11-19 | 生成数字染色图像的成像方法和系统、训练人工智能系统的训练方法和非暂时性存储介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20240020955A1 (zh) |
| EP (2) | EP4002267A1 (zh) |
| JP (1) | JP2023549613A (zh) |
| KR (1) | KR20230109657A (zh) |
| CN (1) | CN116529770A (zh) |
| WO (1) | WO2022106593A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972124B (zh) * | 2022-07-29 | 2022-10-28 | 自然资源部第三地理信息制图院 | 一种遥感图像亮度自适应均衡方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9971966B2 (en) | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
| CN117456023A (zh) | 2018-03-07 | 2024-01-26 | 威里利生命科学有限责任公司 | 对组织切片图像的虚拟染色 |
| US11893739B2 (en) | 2018-03-30 | 2024-02-06 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
-
2020
- 2020-11-19 EP EP20208574.2A patent/EP4002267A1/en not_active Withdrawn
-
2021
- 2021-11-19 US US18/253,069 patent/US20240020955A1/en active Pending
- 2021-11-19 JP JP2023530277A patent/JP2023549613A/ja active Pending
- 2021-11-19 WO PCT/EP2021/082249 patent/WO2022106593A1/en active Application Filing
- 2021-11-19 KR KR1020237018828A patent/KR20230109657A/ko unknown
- 2021-11-19 EP EP21816385.5A patent/EP4248401A1/en active Pending
- 2021-11-19 CN CN202180076072.2A patent/CN116529770A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240020955A1 (en) | 2024-01-18 |
| EP4248401A1 (en) | 2023-09-27 |
| KR20230109657A (ko) | 2023-07-20 |
| EP4002267A1 (en) | 2022-05-25 |
| JP2023549613A (ja) | 2023-11-28 |
| WO2022106593A1 (en) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rivenson et al. | Virtual histological staining of unlabelled tissue-autofluorescence images via deep learning | |
| JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
| JP2023508284A (ja) | ディープラーニングを使用した顕微鏡画像のデジタル的染色のための方法及びシステム | |
| Rivenson et al. | Deep learning-based virtual histology staining using auto-fluorescence of label-free tissue | |
| You et al. | Real-time intraoperative diagnosis by deep neural network driven multiphoton virtual histology | |
| Lim et al. | Light sheet fluorescence microscopy (LSFM): past, present and future | |
| CN116529770A (zh) | 生成数字染色图像的成像方法和系统、训练人工智能系统的训练方法和非暂时性存储介质 | |
| WO2021198252A1 (en) | Virtual staining logic | |
| US20200372652A1 (en) | Calculation device, calculation program, and calculation method | |
| Velicky et al. | Saturated reconstruction of living brain tissue | |
| WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning | |
| WO2021198247A1 (en) | Optimal co-design of hardware and software for virtual staining of unlabeled tissue | |
| WO2021198241A1 (en) | Multi-input and/or multi-output virtual staining | |
| EP4027182A1 (en) | Lightsheet fluorescence microscopy for a plurality of samples | |
| Husna et al. | Multi-modal image cytometry approach–from dynamic to whole organ imaging | |
| Gouzou et al. | Applications of machine learning in time-domain fluorescence lifetime imaging: a review | |
| Dai et al. | Exceeding the limit for microscopic image translation with a deep learning-based unified framework | |
| Pirone et al. | Beyond fluorescence: advances in computational label-free full specificity in 3D quantitative phase microscopy | |
| Husna et al. | Reprint of “Multi-modal image cytometry approach–From dynamic to whole organ imaging” | |
| US20230134734A1 (en) | Customizing virtual stain | |
| US20240135544A1 (en) | Method and system for digital staining of label-free fluorescence images using deep learning | |
| Hutmacher et al. | and Florian Ströhl | |
| WO2021198243A1 (en) | Method for virtually staining a tissue sample and a device for tissue analysis | |
| Wang et al. | Real-time targeted illumination in widefield microscopy achieves confocal quality neuronal images | |
| Sakakura et al. | Label-free imaging of collagen fibers in tissue slices using phase imaging with computational specificity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |