CN117425915A - 用于生成虚拟染色图像的显微镜系统和方法 - Google Patents

用于生成虚拟染色图像的显微镜系统和方法 Download PDF

Info

Publication number
CN117425915A
CN117425915A CN202280036166.1A CN202280036166A CN117425915A CN 117425915 A CN117425915 A CN 117425915A CN 202280036166 A CN202280036166 A CN 202280036166A CN 117425915 A CN117425915 A CN 117425915A
Authority
CN
China
Prior art keywords
image
segmentation mask
microscope
staining
processing model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280036166.1A
Other languages
English (en)
Inventor
亚历山大·弗赖塔格
马蒂亚斯·艾布尔
克里斯蒂安·孔格尔
安塞尔姆·布拉赫曼
丹尼尔·哈泽
曼努埃尔·阿姆托尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN117425915A publication Critical patent/CN117425915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一种用于生成图像处理模型(M)以根据显微镜图像(20)计算出实际染色图像(30)的计算机实施方法，该方法包括使用至少包括以下内容的训练数据(T)对图像处理模型(M)进行训练(15)：作为图像处理模型(M)输入数据的显微镜图像(20)；使用采集的化学染色图像(60)形成的目标图像(50)；以及区分需要染色的图像区域(71、72)和不需要染色的图像区域(72)的预定义分割掩膜(70)。训练图像处理模型(M)，通过优化用于采集虚拟染色图像(30)与目标图像(50)之间差异的染色奖励/损失函数(LSTAIN)，以根据输入显微镜图像(20)计算出虚拟染色图像(30)。将预定义分割掩膜(70)考虑在图像处理模型(M)的训练(15)内，以补偿化学染色图像(60)中的误差。

Description

用于生成虚拟染色图像的显微镜系统和方法
技术领域
本公开涉及一种显微镜系统，一种生成虚拟染色图像的计算机实施方法，以及一种生成根据显微镜图像计算出虚拟染色图像的图像处理模型的计算机实施方法。
背景技术
尤其是在生物样本的分析中，染色法被广泛用于使样本的某些结构可见。在组织化学方法中，样本是通过添加染料制备的，染料集中在例如某些细胞器或组织结构。碱性染料可吸附在如酸性细胞结构像是细胞核中的DNA上，从而使染色的结构于采集的图像中从背景或其他结构中更加突出。在荧光染色中，荧光团在适当的激发光照射后会发出可测量的探测光。荧光团可以天然地存在于样本中，也可以在样本制备过程中添加。例如，在转染染色中，DNA或RNA被导入细胞，并通过表达形成荧光团。利用这种化学染色的图像在本公开中也被称为化学染色图像。在转染染色中，某些细胞器被形成的荧光团染色因而变得更加可见。
虽然化学染色方法有利于提高某些结构的可见度，但也同样具有相应的缺点。样本制备工艺尤其是染料本身会对样本造成相当大的压力。光学显微镜中的照明会对样本造成额外的压力并致使如光漂白或光毒性。此外，化学染色并不总是可靠的。例如，可能会发生荧光团从待染色的结构中渗出。该需要染色的结构之外的其他样本区域也进而染色。尤其是在荧光图像的情况下，干扰源也会导致意外的染色/荧光区域。例如，盖片或样本载体上的棉絮在荧光图像中可见。在转染染色中，将特定的DNA或RNA序列导入细胞进行染色，转染率通常达不到100％。因此，一些细胞不表达荧光团，也就在荧光图像中并不可见。
虚拟染色技术的开发尤其是为了避免染色方法对细胞造成的压力。在这种情况下，无需使用染色方法即可采集显微镜图像，例如相位对比图像，然后图像处理模型根据其计算出虚拟染色图像。
这些方法在如EP3553165A1,US9,786,050B2,US10,013,760B2中进行了描述，以及在：
克里斯琴森(Christiansen，)，埃里克(Eric)等人，“计算机标记(：预测未标记图像中的荧光标签”("InSilicoLabeling:PredictingFluorescentLabelsinUnlabeledImages")，2018年，《细胞》173期，792-803，2018年4月19日，爱思唯尔(Elsevier)，doi:https://doi.org/10.1016/j.cell.2018.03.040
奥孔科沃(Ounkomol)、查特温(Chawin)等人，“透射光显微镜三维荧光图像的无标签预测”("Label-freepredictionofthree-dimensionalfluorescenceimagesfromtransmittedlightmicroscopy")，bioRxiv预印本(bioRxivpreprint)，2018年5月23日，https://doi.org/10.1101/289504为形成图像处理模型，训练数据通常采用包括显微镜图像(如未染色的相位对比图像)和与前者局部相应进行登记的化学染色图像(如荧光图像)。在图像处理模型的训练过程中，显微镜图像可用作输入数据，化学染色图像可用作目标图像(真实值)。在训练后，图像处理模型能够根据显微镜图像计算出与化学染色图像相应的虚拟染色图像。
如上所述，染色方法并不总是可靠的，训练数据中的化学染色图像也包含相应的误差，尤其是结构区域被错误染色或仅被微弱染色或根本未被染色。如果图像处理模型使用此类训练数据进行学习，那么模型可能生成质量中等的虚拟染色图像。用户几乎不可能或根本不可能对训练数据中的化学染色图像进行手动校正。即使可以通过旨在根据输入图像计算分割掩膜的模型(如通过在错误未染色的细胞器周围绘制轮廓)对训练中提供的分割掩膜进行简单的手动校正，但不可能如此简单地对化学染色图像进行手动校正。因而，已知的虚拟染色技术产生的质量亟待提高。
作为背景信息，这里要提到一种利用条件生成对抗网络根据输入图像计算输出图像的方法：
伊索拉(Isola)、菲力普(Phillip)等人，“条件对抗性网络的图像到图像翻译”("Image-to-ImageTranslationwithConditionalAdversarialNetworks")，arXiv：1611.07004v3[cs.CV]2018年11月26日
一种根据显微镜图像计算分割掩膜的训练方法也可以获取自：
阿尔瓦伦加(Alvarenga)，拉夫劳伦(Lauren)，奥林巴斯发现博客(OlympusDiscoveryBlog)，2020年9月2日，“使用TruAI技术进行无标签细胞核检测的视频介绍"("AVideoIntroductiontoLabel-FreeNucleusDetectionwithTruAITechnology")，https://www.olympus-lifescience.com/en/discovery/a-video-introduction-to-label-free-nucleus-detection-with-truai-technology/
然而，在生物细胞的二进制分割掩膜中无法辨别亚细胞结构，例如DNA位于细胞内的位置。因而分割掩膜并不适用于化学或虚拟染色图像。
因此，产生了能够提供显微样本的高质量染色图像同时避免染色方法对样本造成压力的持续需求。
发明内容
本发明的目的是提出一种显微镜系统和方法，能够以尽可能高的质量生成显微样本的染色图像，并将样本受到的压力降至最低。
通过具有权利要求20特征的显微镜系统和具有权利要求1或17特征的方法，可以实现这一目的。
本发明的一个实施方式涉及一种计算机实施方法，用于生成根据显微镜图像计算出虚拟染色图像的图像处理模型。该方法包括使用训练数据对图像处理模型进行训练。训练数据包括：作为图像处理模型的输入数据的显微镜图像；使用采集的化学染色图像形成的目标图像，其局部相应于显微镜图像进行登记，并包含染色图像区域；以及预定义分割掩膜，用于至少区分需要染色的图像区域和不需要染色的图像区域。通过优化用于采集虚拟染色图像与目标图像之间的差异的奖励/损失函数(下称：染色奖励/损失函数)，训练图像处理模型以根据输入的显微镜图像计算出虚拟染色图像。在训练图像处理模型时，将预定义分割掩膜考虑在内，以补偿化学染色图像中的误差。
为化学染色图像提供高质量的分割掩膜较为简单。尤其是无论是手动还是自动方式，分割掩膜都可以相对容易地进行校正。虽然部分化学染色图像包含染色误差，但可以获得或生成质量更高的分割掩膜，以避免再出现化学染色图像中的染色误差。因此，可以利用分割掩膜来补偿化学染色图像中的误差。这样就可以学习到一个模型，以尤为可靠和准确地通过计算对显微图像中给定的样本结构进行染色。由于通过预定义分割掩膜进行了误差校正，由学习到的图像处理模型输出的图像的质量原则上甚至可以高于采集到的化学染色图像的质量。在推理阶段(完成训练后执行图像处理模型)，只需要相位对比图像等显微镜图像就可以生成与化学染色图像相对应的虚拟染色图像，不需要采集化学染色图像。因而可以避免化学染色和/或激发光对样本造成的压力。原则上，只需采用更简单或更便宜的显微镜设计即可，样本的制备工艺也有可能得到简化。可以避免化学染色图像中的典型错误，例如导言中描述的不完全转染，从而生成质量极高的图像。另一个优点是，还可以使用已知的化学染色图像分析工具(例如，以自动方式计数或测量生物细胞或细胞器)来分析生成的虚拟染色图像。
本发明的另一个实施方式涉及生成图像处理模型的计算机实施方法在完成训练后的实施，也就是说，在推理模式下，要处理至少一个在训练中没有看过的显微镜图像。因此，本实施方式涉及一种用于生成虚拟染色图像的计算机实施方法，其中，获取显微镜图像；通过根据本发明生成图像处理模型的方法形成的图像处理模型，使用显微镜图像计算出虚拟染色图像。
本发明还涉及一种显微镜系统，该系统带有一个用于采集图像的显微镜和一个配置为执行本发明所述的计算机实施方法的计算设备。
本发明的另一方面最终涉及一种计算机程序，该程序包含指令，用于当计算机执行所述程序时使计算机执行根据本发明的计算机实施方法。
可选的实施方式
根据本发明的显微镜系统和根据本发明的方法的变型是从属权利要求的目的，并在以下描述中解释。
染色奖励/损失函数
在机器学习方法中，通过对目标函数的迭代优化来学习模型。在本公开内容中，目标函数被称为奖励/损失函数，可以包括待最大化的奖励函数和/或待最小化的损失函数。染色奖励/损失函数是采集图像处理模型输出的虚拟染色图像与相应的目标图像之间差异的奖励/损失函数。在损失函数中，这种差异要最小化，而在奖励函数中，虚拟染色图像和相关目标图像之间的相关性要最大化。在本发明的不同变型中，在计算染色奖励/损失函数时还会利用到分割掩膜，将在下文中进行更详细的说明。
利用分割掩膜实现可变权重
通常可以在训练中以不同方式使用预定义分割掩膜，以防止图像处理模型学习重现化学染色图像中包含的误差。
在图像处理模型的训练过程中，尤其是当根据化学染色图像和/或染色奖励/损失函数形成目标图像时，可将预定义分割掩膜考虑在内。
尤其是，基于预定义分割掩膜，通过对虚拟染色图像和目标图像之间于不同图像区域的不同差异分配权重，可将预定义分割掩膜考虑在染色奖励/损失函数中的可变权重。因此，不同图像区域进入染色奖励/损失函数的程度不同。通过预定义分割掩膜，可以自动为不同图像区域分配权重。对于一对虚拟染色图像和相应的目标图像，通过相应的预定义分割掩膜确定权重。对于训练数据中的其他配对，由分别所相应的预定义分割掩膜产生其他权重。
对于化学染色图像中的图像区域，如果与相应的预定义分割掩膜中局部对应的图像区域之间存在偏差，则可定义较弱的权重。例如，如果在相应的预定义分割掩膜中指定一个在化学染色图像中已染色的图像区域不需要染色(即作为背景)，则可以给予该图像区域较弱的权重。这可以减少化学染色图像中的"渗出"对训练的影响：在渗出中，荧光团、染料或其他导致染色的物质从需要化学染色的样本结构中渗漏到周围区域。因此，在化学染色图像中，周围区域会被染色，而预定义分割掩膜会将周围区域指定为不染色区域，即不需要染色。在计算奖励/损失函数时，该周围区域的图像区域的权重系数小于其他图像区域，例如权重系数为0或小于1，而其他图像区域的权重系数可以为1。权重系数也可以定义为化学染色图像中该图像区域的强度或亮度的函数，其中，强度越大，权重系数越小。在渗出较强的情况下，权重系数相应地会特别低。而且，通过这些权重规则，可以补偿化学染色图像中意外染色的伪影的影响。例如，样本载体上的棉絮会产生强烈的荧光信号，从而导致化学染色图像中的染色图像区域。在预定义分割掩膜中，这些棉絮的图像区域被记录为"不需要染色"，因此在图像处理模型的训练中不包括棉絮的图像区域，或者只在较少程度上包括棉絮的图像区域。
此外，还可以基于相应的化学染色图像中局部对应的图像区域的染色强度(例如荧光强度)，定义任一预定义分割掩膜中的被指定为待染色的图像区域的权重。如果相应的化学染色图像中的染色强度较弱，则权重较低。也可以预先设定染色强度的阈值，只有当染色强度低于阈值时，权重才会降低。这就解决了样本结构染色较弱的问题(染色曝光不足)。该模型不会学习以虚拟生成意外的染色曝光不足。这样就减少了此类低质量的图像区域对学习过程的贡献。
在上文所述的变型中，包含误差的化学染色图像可直接用作目标图像，而误差的影响可通过权重来减少。另外，也可以通过预定义分割掩膜对化学染色图像进行修改，以形成目标图像，从而实现误差补偿。下文将对此进行详细介绍。
利用分割掩膜形成目标图像
在图像处理模型的训练过程中，也可以将预定义分割掩膜考虑在内，借助分割掩膜改变或删除化学染色图像中所给定的图像区域，以形成目标图像。
例如，如果在相应的预定义分割掩膜中局部对应的图像区域被指定为不染色，即不需要染色，则可以对化学染色图像中的至少染色图像区域进行删除或计算地脱色，以根据化学染色图像和相应的预定义分割掩膜生成(经掩盖的)目标图像。例如，在样本染色过度(染色曝光过度)或样本载体上有棉絮时，就会出现这种情况。
在样本区域出现不理想的染色曝光不足时，也可以借助分割掩膜进行图像调整。只要图像区域在分割掩膜中被标记为染色(需要染色)，但化学染色图像中的相应图像区域的强度低于预定义阈值，就可以识别这种情况。例如，强度可以定义为图像区域中所有图像像素的亮度总和或平均亮度，其中图像区域的边界由分割掩膜定义。如果识别出这种不理想的弱染色样本区域，可将相应的图像区域切去或删除。这样可以避免对训练产生负面影响，因为剩余的图像内容仍可用于训练，从而保留大量可用的训练数据。
显微镜图像和化学染色图像
化学染色图像可以理解为由显微镜采集的样本图像，其中至少有一种染料在样本中可见，而这种染料在显微镜图像中不可见或仅在较小程度上可见。染料可以是人工添加的，也可以是样本中天然存在的。根据染料类型的不同，有只在激发后才可见的染料例如荧光染料，或者在简单观察时就已经可见的染料。在显微镜图像和化学染色图像中分析的样本在两幅图像中可以是相同的，尽管由于成像技术的原因，在显微镜图像中染料不可见或仅微弱可见。例如，可以荧光图像的形式采集化学染色图像，显微镜图像可以是相位对比图像。在这种情况下，相位对比图像中荧光团不可见。在其他情况下，先采集显微镜图像，然后添加染料，再采集化学染色图像。除荧光团外，染料原则上也可以是任何发色团。通过明视野染色法，可以以透射光或反射光的形式采集化学染色图像。根据染料的不同，也可以采集暗视野图像。更一般地说，显微镜图像和化学染色图像的不同之处仅在于成像技术和/或在采集两幅图像之间的样本制备工艺。化学染色图像中的修饰词"化学"意在与虚拟染色图像区分开来。在虚拟染色图像中，染色是通过计算(虚拟)添加的，而在化学染色图像中，染色是由于样本而存在的，即由于样本的物理或化学特性而存在的。也就是说，并不是绝对需要进行特殊的化学处理。化学染色图像也可以理解为具有特定对比度的图像。特定对比度可以以上述染料为条件，并且在显微镜图像中较弱或不包含。例如，特定的对比度可以由特定的荧光团或荧光通道产生，而这种荧光团或荧光通道在显微镜图像中无法辨别或仅在较小程度上可以辨别。
显微镜图像和局部互相对应的化学染色图像各自登记，即一个样本点在两幅图像中具有相同的图像坐标。
显微镜图像原则上可以是用显微镜生成的任何图像，尤其是明视野图像、相位对比图像或DIC图像(微分干涉图像)。也可以是比化学染色图像少一个荧光通道的荧光图像，因而在虚拟染色图像中增加缺少的荧光通道。可以减少荧光激发光对样本造成的压力。
训练数据还可以包括与每个显微镜图像相应的一个以上的化学染色图像。例如，同一样本的不同染色可以在多个化学染色图像中呈现出来。在这种情况下，可分别根据可见染料的不同而不同，提供多个预定义分割掩膜。也可以将多个分别为二进制掩膜的预定义分割掩膜组合成一个使用两种以上不同像素值的分割掩膜。使用此类训练数据学习的图像处理模型，可以根据输入显微镜图像并行生成多个与训练中使用的化学染色图像相对应的虚拟染色图像作为输出。
预定义分割掩膜
一般认为，分割掩膜是指以不同方式指定不同图像结构的图像。例如，不同的像素值可以代表不同的图像结构；尤其是，一个像素值可以表示要需染色的图像区域，而另一个像素值可以表示背景，即不需要染色的图像区域。因此，分割掩膜可以尤其是二进制掩膜。分割掩膜或语义分割掩膜也可以由两个以上不同的像素值组成，以区分不同的样本结构。如果每幅显微镜图像都使用多幅不同的化学染色图像(例如不同的荧光图像)，这样做尤其有利。
训练中提供的分割掩膜原则上可以以任何方式生成，尤其是根据相应的化学染色图像和/或相应的显微镜图像生成。生成方式可以是自动、手动或半自动。例如，可以根据化学染色图像生成分割掩膜，然后由用户手动校正。在手动校正之前，分割图像区域与化学染色图像的染色图像区域局部对应。在校正分割图像区域时，会添加细胞器等的图像区域，这些区域转染失败，因此在化学染色图像中缺少染色。因此，预定义分割掩膜的分割图像区域与化学染色图像的染色图像区域不同。因此，在本公开内容中，被分割的图像区域也被称为需要染色的图像区域。用户可以很容易地对分割掩膜进行校正，而在化学染色图像中，错误的图像区域无法校正或用户无法轻易校正。在简单的情况下，可以通过像素与预定义阈值的比较来生成化学染色图像。或者，也可以为此使用机器学习的分割模型。
当预定义分割掩膜不会再现相应的化学染色图像的误差时，本发明不同变型的优点就变得尤为明显。例如，误差可能是由不属于待分析样本的棉絮和/或其他污染物或伪影造成的，这些污染物或伪影在化学染色图像中显示为染色图像区域。局部对应的图像区域可以在预定义分割掩膜中作为不被染色的图像区域。例如，可以通过手动校正自动生成的分割掩膜来实现这一点。
除了手动校正分割掩膜，也可以运行伪影检测程序来生成预定义分割掩膜。伪影检测程序配置为根据形状和/或大小将分割掩膜中的染色区域归类为伪影。例如，拉长的棉絮通常与生物细胞或细胞器的形状和大小不同。被归类为伪影的图像区域会被伪影检测程序作为不需要染色的图像区域登记在分割掩膜中。以这种方式修改的分割掩膜可用作预定义分割掩膜。伪影检测程序可以是机器学习的伪影检测模型。伪影检测模型的训练数据可包括作为输入数据的根据化学染色图像自动提取的分割掩膜。人工校正的分割掩膜可作为真实值或目标图像纳入伪影检测模型的训练数据中。或者，也可以将伪影检测模型设计为异常检测器。还可以根据自动生成的分割掩膜或相应的化学染色图像创建典型图像特征分布，并识别分布中的异常值。异常值相应的图像区域可自动在分割掩膜中登记为不需要染色的图像区域。或者，异常值的图像区域可以显示给用户，用户可以选择是否将这些图像区域作为需要染色的图像区域或不需要染色的图像区域登记到分割掩膜中。识别异常值的图像特征可以是化学染色图像中的亮度或对比度等。在自动计算的分割掩膜中，图像特征可以是分割对象的大小、形状和/或偏心率等。这样就可以将圆形细胞或细胞器，与如较小的灰尘颗粒或图像噪声的其他物体，或较大的非圆形棉絮区分开来。另外，用户还可以设定分割对象的尺寸和形状规格，以便基于此与伪影进行区分。在用户手动选择或确认了一定数量的伪影之后，可以自动搜索进一步的训练数据，以寻找类似的伪影。然后，这些伪影的图像区域可显示给用户确认，或直接在相应的分割掩膜中显示为不需要染色。
训练数据可以包括每个化学染色图像的一个预定义分割掩膜。或者，预定义分割掩膜只适用于部分化学染色图像，因此所述的训练步骤适用于这部分训练数据，而对于另一部分训练数据，则不进行所述误差补偿。
为了提供预定义分割掩膜，还可以首先对部分化学染色图像手动生成分割掩膜，或在自动生成后进行手动校正。然后，本发明的计算机程序可以在考虑到手动生成/校正的分割掩膜的情况下，为剩余的化学染色图像自动生成分割掩膜。例如，可以自动搜索与在分割掩膜中手动登记或根据自动计算的分割掩膜删除的对象所相似的对象。这样，就能以自动化的方式对符合人工规范的分割掩膜进行修改。然后，可选择要求用户验证自动生成的分割掩膜，其中只有被归类为正确的分割掩膜才会包含在训练数据中。
根据本发明，显微镜系统的计算设备可配置为向用户显示显微镜图像、相应的化学染色图像和输入工具，用户可通过输入工具绘制、校正或验证相应的分割掩膜。然后，这些分割掩膜将被用作训练中的预定义分割掩膜。因此，这些分割掩膜的生成使用户能够以简单的方式指定对化学染色图像的校正。另一方面，用户几乎不可能直接对化学染色图像进行校正，例如通过手动修改荧光信号或其他染色。因此，在分割掩膜的帮助下，可以对化学染色图像进行有效的指定(尤其是手动)校正。用于此目的的输入工具可以包括一个软件，用户可以通过该软件在自动生成的分割掩膜和/或叠加在化学染色图像上的图像层中进行分割，尤其是通过计算机鼠标或触摸屏。
图像处理模型额外计算分割掩膜
可选的，对图像处理模型进行训练，使其根据输入显微镜图像不仅计算虚拟染色图像，还计算出分割掩膜。在训练过程中，使用待优化的目标函数(以下简称：分割奖励/损失函数)，该函数采集图像处理模型计算出的分割掩膜与预定义分割掩膜之间的差异。通过优化分割奖励/损失函数，使得模型预测的分割掩膜与预定义分割掩膜达到基本一致。
这增强了图像处理模型的功能。此外，通过计算或预测分割掩膜，还可以计算出质量更高的染色图像。例如，在训练中使用了另一个待优化的目标函数(以下简称：一致性奖励/损失函数)，该函数用于采集图像处理模型计算出的虚拟染色图像与图像处理模型计算出的分割掩膜之间的一致性。一致性奖励/损失函数会对不充分的一致性进行惩罚，从而在训练中迭代地消除不充分的一致性。如果图像处理模型在虚拟染色图像中预测出一个具有强染色(如强荧光)的图像区域，而在预测的分割掩膜中局部对应的图像区域没有染色，则会对这种不一致性进行惩罚。如果在虚拟染色图像中存在染色较弱的图像区域，而在预测的分割掩膜中该图像区域被指定为染色区域，则同样会通过一致性奖励/损失函数进行惩罚。
一致性奖励/损失函数的另一个优点是，当图像处理模型打算根据输入的显微镜图像计算出分割掩膜和虚拟染色图像时，使其能在完成训练后提供一致的结果。
如果图像处理模型的目的是根据输入的显微镜图像计算出多个虚拟染色图像，则可将其设计为计算出相同数量的分割掩膜。为此，训练数据包括多个不同的化学染色图像，以及每一显微镜图像的预定义分割掩膜。
除了一致性奖励/损失函数之外，还可以通过使用图像处理模型的特殊结构时的分割计算来提高虚拟染色图像的计算质量。这种结构可以例如是编码器-解码器结构，其中相同的编码器和不同的解码器用于分割和计算虚拟染色图像。编码器接收显微镜图像作为输入，并根据其计算出特征向量。将特征向量输入到一个根据其计算出分割掩膜的解码器中，与另一个根据其计算虚拟染色图像的解码器中。由于希望快速获得高质量的分割训练结果，编码器应相对快速地得到良好训练，这也有利于虚拟染色图像的计算。
当图像处理模型要根据同一显微镜图像计算出不同的虚拟染色图像时，也可以使用编码器-解码器结构，例如上文所述的多个荧光通道。为了计算不同的虚拟染色图像，可以使用不同的解码器，但使用相同的编码器。这样可以获得更高质量的结果，尤其是因为可以使用更多的训练数据来调整编码器。
上述奖励/损失函数可以在训练中一起优化，尤其是同时优化。因此，染色奖励/损失函数、分割奖励/损失函数和一致性奖励/损失函数可以一起优化。这样就能提高预测虚拟染色图像的质量和可靠性。
自动编码器
可选的，还可以通过自动编码器的进一步分支补充图像处理模型。在这种情况下，不仅要训练图像处理模型根据输入的显微镜图像计算出虚拟染色图像和可选的分割掩膜，而且还要训练自动编码器以计算出重建显微镜图像。重建显微镜图像是一种结果图像，其理想目的是与输入显微镜图像相对应。
如上所述，图像处理模型可包括编码器-解码器结构。在这种情况下，相同的编码器与不同的解码器配合使用，以计算虚拟染色图像、计算分割掩膜和重建显微镜图像。因此，图像处理模型的上述功能是在共同训练中学习的。自动编码器功能的增加对编码器的设计产生了积极影响。这也相应地有利于分割掩膜和虚拟染色图像的计算。
如果图像处理模型的设计是为了作为自动编码器根据输入的显微镜图像计算出重建显微镜图像，那么在推理阶段(即完成训练之后)实施该模型会带来更多优势。如果现在将待分析的显微镜图像输入图像处理模型，则可以基于显微镜图像和重建显微镜图像之间的差异，对显微镜图像是否适合图像处理模型进行分类。当输入的显微镜图像属于训练中使用的显微镜图像的统计分布时，该差异较小。另一方面，如果训练中没有使用类似的显微镜图像，则差异会很大，因此该显微镜图像不适合图像处理模型的风险很高，即可能无法被正确处理。在这种情况下，可以在生成染色图像的同时发出警告。另外，也可以规定只有在显微镜图像被自动编码器归类为合适的情况下，才输出虚拟染色图像。
后续训练
前述的训练方法特别有利于提供高质量的分割掩膜。这通常需要人工操作，而人工校正的分割掩膜数量有限，因此训练数据的数量也有限。因此，最好能在不增加人工工作量的情况下使用更多的训练数据。这可以通过后续训练来实现，在后续训练中，通过前述训练形成的图像处理模型将得到进一步完善。这涉及到上述图像处理模型的变型之一，其中，图像处理模型除了能够计算至少一个染色图像外，还能够计算至少一个分割掩膜。
训练完成后，可对图像处理模型进行后续训练，其中，在后续训练中(尤其是单独训练)，对图像处理模型中生成虚拟染色图像的部分进行进一步训练；另一方面，在后续训练中，对图像处理模型中生成计算出的分割掩膜的部分保持不变。在后续训练中，可以使用由作为输入数据的显微镜图像和采集的化学染色图像组成的训练数据，但尤其不能使用预定义分割掩膜。在后续训练中，图像处理模型会为每个输入的显微镜图像生成一个计算出的分割掩膜。这将用于补偿化学染色图像中的误差。为了该目的，可以选用先前训练中所述的预定义分割掩膜。例如，在计算染色奖励/损失函数时，可以使用计算的分割掩膜定义图像区域的权重。另外，也可以如同前文对预定义分割掩膜所描述的，根据计算出的分割掩膜对化学染色图像的图像区域进行脱色或删除。
在另一个变型中，后续训练的训练数据还包括预定义分割掩膜，但这些掩膜是未经检查的，例如，是自动创建而没有经过人工校正的。因此，这些预定义分割掩膜可能包含误差，可以通过图像处理模型计算的分割掩膜进行校正。如同对预定义分割掩膜所描述的，校正后的分割掩膜将用于补偿化学染色图像中的误差。
另外，还可以将未经人工检查的(自动生成的)预定义分割掩膜与图像处理模型为后续训练所计算出的分割掩膜进行比较。如果后者之间的差异超过了预定义的阈值，则自动生成的预定义分割掩膜可能形成自包含误差的化学染色图像。如果超过阈值，将相应的图像从后续训练的训练数据中删除。这样就能确保后续训练只使用高质量的图像。同时，也无需人工操作。
在后续训练中，可以使用待优化的一致性奖励/损失函数，该函数采集图像处理模型计算出的虚拟染色图像与图像处理模型计算出的分割掩膜之间的一致性。通过一致性奖励/损失函数，可以迭代地获得虚拟生成图像中的染色图像区域与计算出的分割掩膜中的局部对应的染色图像区域。这就利用了一个事实，即由于之前的训练，图像处理模型应该能够计算出准确的分割掩膜。如果在后续训练中，样本结构在化学染色图像中错误地未被染色，则可通过计算出的分割掩膜和一致性奖励/损失函数进行补偿。
由于图像处理模型能够生成高质量的计算分割掩膜，因此没有必要对大量的训练数据进行人工校正分割掩膜。因此，可用的训练数据(显微镜图像和相应的化学染色图像)可细分为第一组和第二组，其中人工校正的分割掩膜只提供给第一组。人工校正的分割掩膜用于图像处理模型的(第一次)训练，以补偿化学染色图像中的误差。另一方面，对于第二组训练数据，图像处理模型计算出的分割掩膜用于补偿化学染色图像中的误差。尤其是在这些情况下，后续训练中使用的显微镜图像和相应化学染色图像的数量可以大于前一次训练中使用的显微镜图像和相应化学染色图像的数量。因此，即使使用了大量的训练数据，用户的手动操作工作量也很低，而这正是获得高质量结果所需要的。
推理阶段：利用计算出的分割掩膜
训练完成后，在本发明的不同变型中，图像处理模型能够根据输入的显微镜图像生成至少一幅虚拟染色图像和至少一幅相应的分割掩膜。根据用户的选择，可以只显示虚拟染色图像、只显示计算的分割掩膜或两者都显示。此外，还可以通过将虚拟染色图像和相应的计算出的分割掩膜进行叠加，尤其是通过像素相乘或其他计算方法，计算出精细虚拟染色图像。通过叠加，虚拟染色图像中在分割掩膜中染色(登记为需要染色)的图像区域会被更大程度地染色，而根据分割掩膜不染色(不需要染色)的图像区域则不会被更大程度地染色。例如，分割掩膜可以由像素值为1的不需要染色的图像区域和像素值大于1的需要染色的图像区域组成。尤其是当图像处理模型预测出的虚拟染色图像中，某些样本结构仅表现出不够强烈的染色时，如果相应的预测分割掩膜将该样本结构的图像区域指定为染色，则可对这种情况进行补偿。
一般特征
显微镜系统是指由至少一台计算设备和一台显微镜组成的设备。显微镜尤其可以理解为光学显微镜、X射线显微镜、电子显微镜或宏观显微镜。
计算设备可以是显微镜的物理部分，也可以单独布置在显微镜附近或与显微镜保持一定距离的位置。计算设备也可以分散设计。它通常可以由电子设备和软件的任意组合构成，尤其包括计算机、服务器、云计算系统或一个或多个微处理器或图形处理器。计算设备还可配置为控制样本镜头、概览镜头、图像采集、样本台和/或其他显微镜组件。
样本可以是任何样本，例如生物细胞或细胞部件、材料样本或岩石样本、电子元件和/或液体中的物体。
显微镜用于成像，尤其是显微镜图像和/或化学染色图像。在某些情况下，显微镜仅用于采集显微镜图像，如相位对比图像，而不用于采集化学染色图像，如荧光图像。在这种情况下，可通过执行已训练的图像处理模型，采用显微镜生成与化学染色图像相对应的虚拟染色图像，而无需使用采集化学染色图像的设备。
这里引用的显微镜图像原则上可以是显微镜采集的任何原始图像，也可以是经过处理的图像。处理后的图像可以来自一个或多个原始图像或已经预处理过的显微镜图像。例如，显微镜图像可以是透视变换图像和/或由多个原始图像拼接而成，其中原始图像显示的样本区域在横向上彼此错开(图像拼接)。相反，显微镜图像也可以是用显微镜生成的图像的一部分。显微镜图像也可以通过调整亮度、对比度或色调值来计算。显微镜图像可以尤其是概览图像或样本图像，也可以由它们衍生而来。概览图像可以理解为由概览镜头采集的图像，概览镜头可以与显微镜的样本镜头一起使用，通过样本镜头采集样本区域的放大图像(样本图像)。概览镜头可以安装在固定的设备框架上，例如显微镜支架，也可以安装在可移动的部件上，例如样本台、聚焦驱动设备或物镜转轮。获取图像尤其包括从存储器中加载现有图像或使用镜头采集图像。上述说明经适当变通后也可适用于化学染色图像。
单数的描述包括"正好1"和"至少1"两种情况。例如，将显微镜图像输入图像处理模型的描述包括输入一个或至少一个显微镜图像的可能性。多个显微镜图像的共同输入可能是有利的，例如，对于由多个显示不同深度样本层的显微镜图像组成的图像堆栈(z-stack)的输入，或者对于连续采集的显示相同样本区域的多个显微镜图像的输入。
目标图像可以理解为图像处理模型训练中使用的图像，图像处理模型的输出(虚拟染色图像)旨在与该图像近似。近似是通过奖励/损失函数实现的，该函数定义了如何评估图像处理模型的输出与目标图像之间的差异。差异评估可以按像素进行，也可以通过比较更抽象的图像描述(如边缘轮廓)来进行。目标图像是利用采集的化学染色图像形成的，也就是说，目标图像实际上可以是采集的化学染色图像，或者目标图像可以通过对采集的化学染色图像的进一步处理生成。如前所述，进一步处理可包括使用预定义分割掩膜进行计算等。
图像处理模型可以理解为一种机器学习模型，它至少接收图像数据作为输入数据，并根据其计算出至少一个输出图像。本公开中描述的学习模型指的是通过使用训练数据的学习算法学习到的模型。例如，这些模型可以分别包括一个或多个卷积神经网络(CNN)，它们接收至少一个显微镜图像形式的图像或由此衍生的图像作为输入。在监督学习过程中，为每个显微镜图像指定各自的注释/标签，如上所述，该注释/标签包括化学染色图像，以及在不同的实施方式中包括预定义分割掩膜。通过学习算法，利用训练数据定义机器学习模型的模型参数。为此，可以优化预定的目标函数，例如，可以使损失函数最小化。修改模型参数值是为了使损失函数最小化，损失函数可以通过梯度下降和反向传播等方法计算。就CNN而言，模型参数尤其包括CNN不同层卷积矩阵的项。不直接相连的层可以选择通过所谓的"跳接"连接，即一层的输出不仅传输到紧接着的一层，而且还传输到另一层。其他深度神经网络模型架构也是可行的。
本发明中作为附加设备特征描述的特性，在按预期实施时也会产生本发明方法的变型。相反，显微镜系统也可以配置为执行所述方法的变型。尤其是，计算设备可以配置为执行所述方法变型。计算设备还可以包括所述计算机程序。虽然在某些变型中使用了现成的训练模型，但本发明的进一步变型是通过执行相应的训练步骤产生的。
附图说明
下面将参照附图描述本发明的进一步效果和特点：
图1示意性地显示了本发明的显微镜系统的一个示例实施方式；
图2示意性地显示了显微镜图像与化学染色图像；
图3示意性地显示了显微镜图像与化学染色图像的更多示例；
图4示意性地显示了本发明地方法地一个示例实施方式的流程；
图5示意性地显示了根据本发明的方法的不同示例实施方式对权重掩膜的计算；
图6示意性地显示了本发明的方法的另一个示例实施方式的流程；
图7示意性地显示了本发明的方法的另一个示例实施方式的流程；
图8示意性地显示了根据本发明的方法的不同示例实施方式的编码器-解码器结构的图像处理模型M的设计；
图9示意性地显示了本发明的方法的另一个示例实施方式的流程；
图10示意性地说明了根据本发明的方法的不同示例实施方式生成预定义分割掩膜的流程；
图11示意性地说明了根据本发明的方法的另一个示例实施方式生成预定义分割掩膜的流程；
图12示意性地显示了本发明的方法的另一个示例实施方式的流程。
具体实施方式
下面将参照各图描述不同的示例实施方式。通常，相似的元件和以相似方式发挥作用的元件用相同的参考标记表示。
图1
图1显示了根据本发明的显微镜系统100的一个示例实施方式。显微镜系统100包括一台计算设备10和一台显微镜1，在例图中，显微镜1是一台光学显微镜，但原则上可以是任何类型的显微镜。显微镜1包括一个支架2，通过该支架支撑显微镜的其他组件。后者尤其包括：照明设备5；物镜更换器/转轮3，在例图中物镜4安装在其上；样本台6，带有用于固定样本载体7的固定架；以及显微镜镜头8。当物镜4旋转到显微镜的光路中时，显微镜镜头8接收来自样本所在的样本区域的检测光，以采集显微镜图像。样本可以是任何物体、液体或结构。显微镜1还可选配一个附加的概览镜头9，用于采集样本环境的概览图像。因此，概览图像尤其可以显示样本载体7或其一部分。概览镜头9的视场9A比采集样本图像时的视场大。在例图中，概览镜头9通过一面镜子9B观察样本载体7。镜子9B安装在物镜转轮3上，可以代替物镜4使用。在本实施方式的变型中，可以省略镜子，或者采用不同的镜子布置方式或不同的偏转元件。计算设备10包括一个可选的触摸屏12，除其他外，使用该触摸屏可以手动绘制分割掩膜或手动校正自动生成的分割掩膜。计算设备10还包括一个计算机程序11，该程序具有一个图像处理模型，用于处理至少一个显微镜图像，即样本图像或概览图像。下面将参照图2更详细地描述这种显微镜图像以及化学染色图像，例如可以选择使用显微镜1采集到的图像。
图2
图2显示了显微镜1采集的显微镜图像20，如图所示，该图像可以是样本图像。但原则上，显微镜图像也可以是概览图像。在例图中，显微镜图像20是生物样本的相位对比图像，该样本包括多个细胞器，通常还包括其他结构或细胞。显微镜图像也可以通过其他成像技术形成，例如通过微分干涉对比(DI C)、宽视场透射光成像或共聚焦图像。在例图中，样本结构21相对模糊可见。因此，为了更清晰地分析样本结构21，通常需要采集化学染色图像60'。例如，在样本中加入可吸收染料，可以得到荧光图像或透射光图像。在图2中，纯粹示意性地显示了化学染色图像60'：染色区域61用虚线勾勒，而不染色区域62则构成剩余的图像内容。不言而喻的是，标准的成像技术并不会产生虚线轮廓，而是会产生染色区域61与不染色区域62间的颜色或信号对比。根据成像技术的不同，图2所示的图像60'也可以是显微镜图像和化学染色图像的叠加，例如相位对比图像和荧光图像的叠加。在化学染色图像60'中，某些细胞器的轮廓比显微镜图像20更清晰。与显微镜图像20相比，化学染色区域61内还可看到更多或其他细节。
虽然化学染色图像60'具有一定的优势，但也可能涉及较高的设备支出、较长的样本制备时间和/或较高的样本压力(如染料或激发光)。此外，化学染色也可能出错。化学染色图像60'显示的是所有细胞器都被正确染色的理想情况。但在某些染色技术中，所有需要染色的结构实际上并不总是被染色。例如，在转染过程中，DNA或RNA被导入，荧光团被表达。如果对样本中的某些细胞未能做到这一点，那么所有需要染色的结构都不会发出荧光信号。当染料从化学染色的结构中溢出，从而意外染色周围区域时，就会产生另一个问题。这种情况在化学染色图像60中以纯示意方式显示。除了有意染色的图像区域61外，染料意外从细胞结构中溢出的图像区域65也会被染色。有关显微镜图像和相关化学染色图像的更多示例，请参考下图。
图3
图3示意性地显示了多个显微镜图像20，在本情况中，这些图像是相位对比图像，分别包含一个或多个细胞器，作为需要染色的样本结构21的示例。
图3还显示了相应的化学染色图像60，在这种情况下，这些图像是荧光图像，局部相应于相位对比图像进行登记。所有样本结构21都应在荧光图像中染色，例如通过转染染色。然而，在图示的情况下，某些样本结构21的染色过程失败，因此化学染色图像60中的染色区域61仅包括样本结构21的某些位置。相反，即使其他图像区域66的位置上也具有需要染色的样本结构21，其并没有被染色，因而是不染色图像区域62的一部分。
在此背景下，本发明提供了一种计算机实施方法，以根据显微镜图像计算地生成与化学染色图像60相对应的染色图像(虚拟染色图像)。正如下文更详细地解释的那样，化学染色的缺点，例如化学染色图像60中显示的错误染色，可以由此克服。
图4
图4示意性地说明了根据本发明用于生成图像处理模型M的计算机实施方法的一个示例实施方式。图1中提到的计算设备10或计算机程序11就是为执行此方法而设计的。
该方法包括一个学习过程15，其中图像处理模型M是通过机器学习使用训练数据T学习的，即模型的模型参数值是通过训练数据T反复定义的。图4举例说明了其中一幅显微镜图像20，以及相应的化学染色图像60和相应的分割掩膜70。
显微镜图像20形成图像处理模型M的输入数据，模型M据此分别计算出输出图像(虚拟染色图像30)。虚拟染色图像30包括染色图像区域31和不染色图像区域32。本例中的目标图像50正是化学染色图像60，包括染色图像区域61和不染色图像区域62。一般来说，目标图像50也可以是根据化学染色图像60计算出的图像。需要优化的目标函数在这里称为染色奖励/损失函数L染色(LSTAIN)，它采集目标图像50与根据模型参数当前值计算的虚拟染色图像30之间的差异。例如，染色奖励/损失函数L染色可以是一个损失函数，当虚拟染色图像30和目标图像50之间的偏差越大时，该函数输出的值就越大。偏差可以通过像素差或其他测量方法来采集，例如所谓的感知损失。通过反向传播修改模型参数值，从而减小用模型参数计算的虚拟染色图像30与目标图像50之间的偏差。
在传统方法中，不采取进一步措施，通过学习模型，基本上可以根据显微镜图像20预测出与化学染色图像60相对应的图像。然而，化学染色图像60存在染色误差，如图2所述：尤其是，染料从两个染色区域61泄漏到周围区域，因此两个图像区域65意外地被染色。训练数据T的质量不佳会对图像处理模型M的预测质量产生相应的影响。
另一方面，本发明可以在很大程度上弥补化学染色图像60中误差的影响。为此，本发明使用了分割掩膜70，例如通过不同的像素值来标记各像素是属于需要染色的图像区域71，还是属于不需要染色的图像区域72。分割掩膜70是为训练15预先定义的，因此称为预定义分割掩膜70。例如，为了生成预定义分割掩膜70，可以先通过分割程序根据化学染色图像60计算出分割掩膜，然后由用户进行手动校正，例如校正意外染色的图像区域65。这样就可以提供高质量的分割掩膜70，在训练15中用于补偿化学染色图像60中的误差。
在一个实施方式中，分割掩膜70用于染色奖励/损失函数L染色的权重。这意味着目标图像50的图像区域在不同程度上被分配权重，即虚拟染色图像30和目标图像50之间于不同图像区域的差异的权重不同。权重W可以设计成权重掩膜等形式，为每个像素分配一个具体的权重系数W1、W2。这些像素与虚拟染色图像30和目标图像50中的像素局部对应。权重掩膜W可乘以目标图像50或虚拟染色图像30或染色奖励/损失函数L染色中的相应项，后者表示来自目标图像50和虚拟染色图像30的像素。借助各自的预定义分割掩膜70，为每对虚拟染色图像30和相应目标图像50计算各自的权重或权重掩膜W。权重掩膜W可以通过使用预定义分割掩膜70和以自动方式(例如通过阈值比较)根据化学染色图像60形成的分割掩膜进行计算来定义。如果这两个分割掩膜中的像素值一致(即两个分割掩膜在将像素分类为染色或不染色时一致)，则对该像素分配权重系数W2，例如可以是1。化学染色图像60中被错误染色的图像区域65通常在自动创建的分割掩膜中被归类为染色，而分割掩膜70中局部对应的图像区域75则被指定为不染色(不需要染色)。因此，对该图像区域65的像素分配较小的权重系数W1。因此，与化学染色图像60的其余图像区域相比，被错误染色的图像区域65对染色奖励/损失函数L染色结果的贡献较小。
除了两个不同的权重系数W1和W2，原则上可以使用任意多个不同的权重系数。如果两个分割掩膜如上所述不同，则可以定义一个权重系数，例如，该系数越小，化学染色图像60中像素的染色强度就越大。因此，被错误染色的图像区域65的权重系数越小，其染色强度就越大。
通过在染色奖励/损失函数L染色中考虑预定义分割掩膜70，可以学习到一个不会复制化学染色图像60中的误差的模型。而是，图像处理模型M输出虚拟染色图像30，在其中，相应化学染色图像60中的错误染色区域65不会被染色。因此，预先训练好的图像处理模型M能够计算出质量特别高的虚拟染色图像30，而与标准的化学染色方法相比，错误染色的风险更低。同时，在仅采集显微镜图像20的情况下，可避免样本受到化学染色所产生的压力的影响。
下图描述了化学染色图像60中的另一种错误染色情况，以及根据本发明的变型对这种错误染色的补偿。
图5
图5显示了训练数据T的另一幅化学染色图像60”和相应的预定义分割掩膜70。在本示例中，化学染色图像60”中多个细胞器被染色，同时没有染料从细胞中渗出，因此染色区域61的形状正确。然而，在图像区域66中，一个细胞器错误地没有被化学染色。在图5中，该图像区域66周围没有虚线轮廓表示染色缺失。相反，在预定义分割掩膜70中，与图像区域66中局部对应的图像区域76被指定为需要染色区域71。
在本示例中，为了定义权重掩膜W，首先以自动方式根据化学染色图像60”计算出分割掩膜80，例如，通过对化学染色图像60”的每个像素进行阈值比较或借助分割计算机程序。分割掩膜80指定染色图像区域81和不染色图像区域82。
权重掩膜W是根据分割掩膜70和80之间的差异计算得出的，例如：
W＝1-(分割掩膜70-分割掩膜80)2
其次，平方项可以归一化，使其最大值为1(或最大值介于0和1之间)，而权重掩膜W的最小值至少为0(或至少大于0小于1)。
在示例中，通过权重掩膜W，对于化学染色图像60”中缺少染色的图像区域66，与分配权重W2的其余图像内容相比，用较小的权重系数W1赋予较小的权重。
因此，通过预定义分割掩膜70，可以同时考虑错误化学染色区域和化学染色缺失的情况。
不必须要通过化学染色图像计算分割掩膜80以确定权重掩膜。相反，预定义分割掩膜70也可以直接用于化学染色图像60”的计算。在这种情况下，化学染色图像60”中的染色强度，例如图像亮度或荧光通道的像素值，会被考虑在内。分割掩膜70可以使用染色强度进行计算，从而得到连续的权重系数。当预定义分割掩膜70指定相应图像区域71需要染色时，染色强度越大，权重系数就越高。反之，当预定义分割掩膜70指定相应图像区域72不需要染色时，染色强度越大，权重系数越低。
权重掩膜W的使用方法如下：首先，计算目标图像50中的像素与相应的虚拟染色图像30中局部对应的像素之间的差值。例如，两个像素的值分别为20和30，差值为10。然后将该差值乘以局部对应的像素或权重掩膜的权重值，例如乘以0.5的权重值，得出对于染色奖励/损失函数L染色的贡献值为0.5*10＝5。数学上类似的另一种替代方案是，在进入染色奖励/损失函数L染色之前，首先对采用图像处理模型M当前模型参数值计算出的虚拟染色图像30进行修改。为此，不是使用虚拟染色图像30中的一个像素，而是使用该像素与目标图像50中局部对应的像素的叠加，其中权重值表示两个像素叠加的比例。根据上述数值，将虚拟染色图像中数值为20的像素与目标图像中数值为30的像素叠加，其中叠加的权重值为0.5，因此新的像素值为25。现在形成与目标图像30中的像素的值的差值形成，再次得到5。在此示例中，在输入染色奖励/损失函数L染色之前，对整个虚拟生成图像进行如下的计算：
(1-权重掩膜)*虚拟生成图像+权重掩膜*目标图像
在图像数据进入染色奖励/损失函数L染色之前，除了虚拟染色图像30，也可以通过修改目标图像50来改变这种变型实施方式。上述说明适用的条件是，虚拟染色图像和目标图像相关的说明互换。在训练过程中，不一定要通过权重或权重掩膜W来考虑预定义分割掩膜70，下图对此有更详细的说明。
图6
图6示意性地说明了根据本发明用于生成图像处理模型M的计算机实施方法的另一个示例实施方式。
本示例与图4的不同之处在于使用了预定义分割掩膜70。在这种情况下，后者用于处理相应的化学染色图像60以根据其形成目标图像50。对于荧光图像等形式的化学染色图像60，可通过分割掩膜70处理来自染料(荧光团)的信号。如果化学染色图像60中的图像区域65显示了来自染料的信号，而相应的预定义分割掩膜70中对应的图像区域75不显示染色，则可以对图像区域65进行处理以生成目标图像50。例如，可以减少或移除图像区域65的信号。尤其是可以将该图像区域65的荧光通道设为零，从而使该图像区域或多色化学染色图像60其中一个颜色通道的值为零。或者，也可以将图像区域65切除使该图像区域65不参与训练15。通过这些方法还可以避免化学染色图像60的错误染色区域65对图像处理模型M的训练15产生负面影响。
在本示例实施方式中，染色奖励/损失函数L染色不必须要包括不同图像区域的权重。不过，也可选的如图4的示例提供这种权重。参见图5所述，权重可用于化学染色图像60中染色缺失的情况。
图7
图7示意性地说明了根据本发明用于生成图像处理模型M的计算机实施方法的另一个示例实施方式。
图7的示例实施方式可以包括参照图4或图6所描述的特征。此外，预定义分割掩膜70还用于训练图像处理模型M，以使其根据输入的显微镜图像20计算出分割掩膜40。因此，图像处理模型M会为每个输入的显微镜图像20生成两个输出图像，即虚拟染色图像30和计算出的分割掩膜40。在学习过程15中，通过反向传播等方式反复调整模型参数值，直到预定义分割掩膜70与计算出的分割掩膜40之间的差值最小为止。通过高级训练，分割掩膜40中的染色图像区域41和不染色图像区域42，与预定义分割掩膜70中的对应图像区域71、72基本对应。
在训练15中还使用了另一个待优化的目标函数，在下文中称为一致性奖励/损失函数L一致性(LCONS)，它采集两个输出图像(虚拟染色图像30和计算出的分割掩膜40)之间的一致性。一致性应最大化，任何偏差或不一致应最小化。当分割掩膜40中的染色区域41与虚拟染色图像30的染色区域31局部一致时，一致性最大。染色区域31和41的偏差越大，一致性就越低。在计算一致性时，例如可以根据虚拟染色图像30以自动方式计算分割掩膜，最简单的方法是通过阈值比较，然后确定与分割掩膜40的像素对应关系。这种对应关系代表了一致性奖励/损失函数L一致性的简单实现。
有利的是，可以通过提供分割掩膜40补充图像处理模型M的功能。两个输出图像之间的一致性是这里的一个重要特征，这也是与现有技术中独立训练的分割模型的不同之处。并且这种方法也为虚拟染色图像30带来了优势：在训练15的过程中，分割能相对较快地提供良好的结果，而一致性奖励/损失函数L一致性则有助于适当调整模型参数值以计算虚拟染色图像30。由计算出的分割掩膜40带来的更多优势将参考下图进行描述。
图8
图8示意性地说明了根据本发明不同示例实施方式的图像处理模型M的设计。图像处理模型M具有编码器-解码器结构，其中编码器E接收显微镜图像20作为输入并根据其计算出特征向量F。特征向量F输入解码器D1以据此生成虚拟染色图像30。特征向量F还被输入到解码器D2中以据此生成计算出的分割掩膜40。因此，图像处理模型M使用相同的编码器E来计算虚拟染色图像30和分割掩膜40。分割训练过程因而对虚拟染色训练过程产生直接的积极影响。
需要说明的是，染色奖励/损失函数L染色影响编码器E和解码器D1，而分割奖励/损失函数L分割(LSEG)影响编码器E和解码器D2。
可选的，还可以通过自动编码器A的功能补充图像处理模型M。自动编码器由编码器E和用于接收编码器E生成的特征向量F的解码器D3组成。解码器D3的输出图像应当与输入的显微镜图像20相对应，因此被称为重建显微镜图像29。为此，在训练过程中对自动编码器A的奖励或损失函数进行了优化。自动编码器A的训练有助于编码器在训练过程中特别快速地生成有意义的特征向量F，其以编码形式再现了输入显微图像20的相关特征，摆脱了随机图像噪声等干扰。
训练完成后自动编码器A还具有其他优势。如果将需要染色的显微镜图像输入图像处理模型M，自动编码器A可以评估需要染色的显微镜图像是否适合正确处理。如果需要染色的显微镜图像属于训练中见过的显微镜图像20的统计分布，则自动编码器A将成功重构出与需要染色的显微镜图像高度对应的显微镜图像。反之，如果对应性较低，则该显微镜图像可能也不适合由图像处理模型M进行染色。
图9
图9示意性地显示了根据本发明的计算机实施方法的另一个示例实施方式的流程，该方法用于生成根据本发明的图像处理模型。
图7说明了图像处理模型M在训练15之后的后续训练16的步骤。
通过图7所示的训练15，图像处理模型M能够根据显微镜图像20计算出高质量的虚拟染色图像30和相应的分割掩膜40。将高质量的预定义分割掩膜70用于该训练15，可能需要更多的人工校正。尤其是人工校正限制于实际可用的分割掩膜70或训练数据T的数量。如果有更多的训练数据，可能会得到更准确的结果。然而，后续训练16在不增加人工工作量的情况下实现了这一目标。
在后续训练16中，显微镜图像20和相应的化学染色图像60用作训练数据T2。不过，训练数据T2不包括(手动校正的)预定义分割掩膜70。根据训练15确定的模型参数值开始，采用训练数据T2进一步训练图像处理模型M。不过，在后续训练16中，只修改图像处理模型M中计算虚拟染色图像30的部分。另一方面，图像处理模型M中计算分割掩膜40的部分在后续训练16中保持不变。在图8所示的模型结构中，解码器D1在后续训练16中进行训练，而编码器E和解码器D2保持不变。
如前所述的一致性奖励/损失函数L一致性可在后续训练16中再次使用，其目标是使计算出的分割掩膜40与虚拟染色图像30保持一致。可以较快地学会高质量的分割。因此，在后续训练16中，分割掩膜40应能非常可靠地指示出要虚拟染色的区域，并可用于训练图像处理模型M中计算虚拟染色图像30的部分。
此外，在后续训练16中，图像处理模型M计算出的分割掩膜40可以取代之前训练15中的预定义分割掩膜70。因此，计算出的分割掩膜40可用来补偿化学染色图像60中的误差。这可以通过染色奖励/损失函数L染色的权重和/或通过对化学染色图像60的修改来实现，以根据其形成目标图像50。有关在图4-7的训练15中使用预定义分割掩膜70的说明，经适当变通后，可适用于在后续训练16中使用计算出的分割掩膜40。
在后续训练16中，除了一致性奖励/损失函数L一致性之外，还可以通过计算出的分割掩膜40对虚拟染色图像30进行掩膜或处理。也就是说，可以使用分割掩膜40中标记为染色或不染色的图像区域41、42来修改虚拟染色图像30。这种情况与预定义分割掩膜70和化学染色图像60的情况相同。在这种情况下，可以在虚拟染色图像30经过掩膜或处理后，计算虚拟染色图像30和相应目标图像50之间的染色奖励/损失函数L染色。
在实际应用中，在开始训练15和后续训练16之前，可将可用的训练数据分为用于训练15的第一组训练数据T和用于后续训练16的第二组(第二)训练数据T2。当训练数据T的数量小于训练数据T2的数量时，只需适度的人工操作就能获得特别好的结果。然后为训练数据T中的化学染色图像生成分割掩膜并进行人工校正，以生成预定义分割掩膜70。而训练数据T2则不需要这样的人工操作。因此，可以学习到一个能够生成质量特别高的染色图像30的图像处理模型M。
图10
图10说明了如何形成预定义分割掩膜70'。该示例涉及化学染色图像90的情况，其中染色图像区域不仅来自样本91，还来自棉絮93，棉絮93可能存在于盖片或样本载体上。尤其是在荧光图像形式的化学染色图像90中，棉絮93会发出应当与样本91的信号区分开来的强烈信号。根据染色技术的不同，其他伪影92如灰尘颗粒、水滴、划痕、指纹或其他污染物也会产生干扰信号。
图10所示的化学染色图像90'也仅是示意图。染色区域在此用深色或黑色表示。在荧光图像的情况下，图示对应于与显微镜图像的组合，例如与明视野或相位对比图像的组合。
图像94是化学染色图像90'和分割灰尘颗粒或伪影92的图像区域92A的叠加。图像95是化学染色图像90'和分割棉絮93的图像区域93A的叠加。图像区域92A和93A的分割可以自动计算或手动绘制，例如使用图1中的触摸屏。图像区域92A和93A的分割结果用于生成高质量的分割掩膜70'。
在分割掩膜70'中，只有化学染色图像90'中样本93的图像区域71被指定为需要染色的图像区域(此处用轮廓表示)，而所有其他图像区域72被指定为背景或"不需要染色的"图像区域。分割掩膜70'可以形成二进制掩膜，其中图像区域71和72由两个不同的像素值标识。由于对图像94和95进行了分割，棉絮或其他伪影的图像区域92A和93A现在可以被登记为分割掩膜70'中不染色图像区域72的一部分。
如果在图像处理模型M的训练15中使用了分割掩膜70'，那么就可以学习一个模型以计算虚拟染色图像，其中，棉絮、灰尘颗粒和其他伪影的图像区域不会根据具有可见的棉絮、灰尘颗粒或其他伪影的输入显微镜图像而染色。因此，在所有样本区域都被正确染色且没有染料意外渗漏到周围区域的情况下，也可以采用本发明的变型，以减少灰尘或棉絮等伪影的影响。
如果分割掩膜70'的形成是部分由人工完成的，那么所述的通过训练15和后续训练16的两部分训练方法是合适的。不过，根据不同的应用，也可以全自动生成分割掩膜70、70'，详见下图。
图11
图11说明了如何根据化学染色图像90自动计算出高质量的分割掩膜97然后将其用作图像处理模型训练中的预定义分割掩膜70、70'。
首先，将化学染色图像90输入分割程序S1由其计算分割掩膜96。分割程序S1可以是机器学习的分割模型，也可以是通过阈值比较和/或寻找封闭形状等方式计算分割掩膜96的经典编程算法。
在分割掩膜96中，图像区域71被指定为前景/染色，而其余图像区域72被指定为背景/不染色。图像区域71还包括棉絮93和污染物或其他伪影92的图像区域。
现在，分割掩膜96被输入到伪影检测程序S2中，该程序检测棉絮93和其他伪影92的图像区域，并将其从分割掩膜96中移除，以生成校正分割掩膜97。伪影检测程序S2可以根据分割图像区域71的形状和/或大小，决定各图像区域71是被归类为样本还是伪影。这可以通过经典算法或机器学习模型来实现。机器学习模型可以使用训练图像来学习，训练图像包括与作为输入数据的分割掩膜96相对应的图像，以及与作为目标数据的修正分割掩膜97相对应的手动生成的图像。或者，也可以在无监督学习过程中训练模型，以检测异常情况。在这种情况下，模型只接收正确形成的分割掩膜或其部分作为输入数据，这样，一块棉絮或其他伪影的图像区域93A、92A就会被预先训练好的模型识别为异常。然后，异常图像区域可被移除或标记为不需要染色。
如上所述，分割掩膜可以改进虚拟染色图像。原则上，这些图像在质量上会优于化学染色图像，而无需对样本施加压力，也无需花费化学染色所需的设备。下文将介绍如何使用现成的图像处理模型。
图12
图12显示了根据本发明生成虚拟染色图像的方法的一个示例实施方式。在这种情况下，图像处理模型M在推理阶段使用，即在完成上述训练后，处理不属于训练数据的显微镜图像20。
首先，获取显微镜图像20，例如，从存储器中加载或由图1中的显微镜采集。
然后，图像处理模型M根据显微镜图像20计算出虚拟染色图像30和分割掩膜40。
可选择将虚拟染色图像30和分割掩膜40一起用于计算，以生成精细虚拟染色图像110。例如，当分割掩膜中局部对应的区域指定一个染色图像区域41时，两幅图像的适当相乘可放大染色图像区域31中的信号。可根据用户的选择显示虚拟染色图像30、分割掩膜40和/或精细虚拟染色图像110。
参照不同图示描述的变型可以相互组合。所描述的实施方式纯粹是说明性的，在所附权利要求书的范围内可以有不同的变型。
参考标记列表
1 显微镜
2 支架
3 物镜转轮
4 (显微镜)物镜
5 照明设备
6 样本台
7 样本载体
8 显微镜镜头
9 概览镜头
9A 概览镜头的视场
9B 镜子
10 计算设备
11 计算机程序
12 触摸屏
15 训练
16 后续训练
20 显微镜图像
21 样本结构
29 重建显微镜图像
30 虚拟染色图像
31 图像30中的染色图像区域
32 图像30中的不染色图像区域
40 计算/预测出的分割掩膜
41 分割掩膜40中的染色图像区域
42 分割掩膜40中的不染色图像区域
50 目标图像
60,60',60” 化学染色图像
61 化学染色图像中的染色图像区域
62 化学染色图像中的不染色图像区域
65 化学染色图像中的错误染色图像区域
66 化学染色图像中的染色缺失
70,70' 预定义分割掩膜
71 分割掩膜70中的染色/需要染色图像区域
72 分割掩膜70中的不染色/不需要染色图像区域
75 分割掩膜70中局部对应于错误染色图像区域65的图像区域
76 分割掩膜70中局部对应于错误不染色图像区域66的图像区域
80 分割掩膜
81 分割掩膜80中的染色图像区域
82 分割掩膜80中的不染色图像区域
90 污染情况下的化学染色图像
91 样本
92 灰尘颗粒，伪影
92A 灰尘颗粒/伪影的分割图像区域
93 棉絮
93A 一块棉絮的分割图像区域
94 分割灰尘颗粒/颗粒的图像
95 分割棉絮的图像
96 化学染色图像90的分割掩膜
97 校正分割掩膜
100 显微镜系统
110 精细虚拟染色图像
A 自动编码器
D1,D2,D3 解码器
E 编码器
F 编码器E生成的特征向量
L一致性一致性奖励/损失函数
L分割分割奖励/损失函数
L染色染色奖励/损失函数
M 图像处理模型
T 用于学习图像处理模型M的训练数据
W 权重
W1,W2 权重系数

Claims (22)

1.一种生成根据显微镜图像(20)计算出虚拟染色图像(30)的图像处理模型(M)的计算机实施方法，包括：
使用至少包括以下内容的训练数据(T)对图像处理模型(M)进行训练(15)：
-作为图像处理模型(M)的输入数据的显微镜图像(20)，
-使用采集的化学染色图像(60)形成的目标图像(50)，其局部相应于显微镜图像(20)进行登记；
其中，通过优化用于采集虚拟染色图像(30)与目标图像(50)之间的差异的染色奖励/损失函数(LSTAIN)，训练图像处理模型(M)以根据输入的显微镜图像(20)计算出虚拟染色图像(30)；
其特征在于，
训练数据(T)还包括预定义分割掩膜(70)，其中，预定义分割掩膜(70)区分需要染色的图像区域(71)和不需要染色的图像区域(72)；
其中，在图像处理模型(M)的训练(15)中将预定义分割掩膜(70)考虑在内，以补偿化学染色图像(60)中的误差。
2.根据权利要求1所述的计算机实施方法，其特征在于，
其中，根据化学染色图像(60)形成目标图像(50)时和/或在染色奖励/损失函数(LSTAIN)中，将预定义分割掩膜(70)考虑在内。
3.根据权利要求1或2所述的计算机实施方法，其特征在于，还包括：
基于预定义分割掩膜(70)，通过对虚拟染色图像(30)和目标图像(50)之间于不同图像区域的不同差异分配权重，将预定义分割掩膜(70)考虑在染色奖励/损失函数中的可变权重。
4.根据权利要求3所述的计算机实施方法，其特征在于，
其中，对于在任一化学染色图像(60)中的染色图像区域(65)，如果在相应的预定义分割掩膜(70)中局部对应的图像区域(75)被指定为不需要染色，则赋予更低的权重。
5.根据权利要求3或4所述的计算机实施方法，其特征在于，
其中，基于在相应的化学染色图像(60)中的局部对应的图像区域(66)的染色强度，定义任一预定义分割掩膜(70)中的被指定为需要染色的图像区域(76)的权重(W)，其中，当染色强度更弱时，权重(W)更低。
6.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
在相应的预定义分割掩膜(70)中的局部对应的图像区域(75)被指定为不需要染色时，对化学染色图像(60)中的染色图像区域(65)进行删除或计算地脱色，以根据化学染色图像(60)和相应的预定义分割掩膜(70)生成目标图像(50)。
7.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
其中，不属于待分析样本(91)且在化学染色图像(60)中作为染色图像区域出现的棉絮(93)或其他伪影(92)的图像区域(93A、92A)，在预定义分割掩膜(70')中登记为不需要染色的图像区域(72)。
8.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
运行伪影检测程序(S2)以生成预定义分割掩膜(70，70')，
其中，伪影检测程序(S2)将分割掩膜(96)中需要染色的区域(92A、93A)基于其形状和大小分类为伪影，以及，
其中，伪影检测程序(S2)将在分割掩膜(96)中被分类为伪影的图像区域(92A、93A)登记为不需要染色的图像区域(72)。
9.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
其中，训练图像处理模型(M)以根据输入的显微镜图像(20)计算虚拟染色图像(30)与分割掩膜(40)，
其中，在训练(15)中使用待优化的分割奖励/损失函数(LSEG)，其采集图像处理模型(M)计算出的分割掩膜(40)与预定义分割掩膜(70)之间的差异。
10.根据前述任一项权利要求所述的计算机实施方法，其特征在于，还包括：
其中，在训练(15)中使用待优化的一致性奖励/损失函数(LCONS)，其采集由图像处理模型(M)计算出的虚拟染色图像(30)与由图像处理模型(M)计算出的分割掩膜(40)之间的一致性。
11.根据权利要求9或10所述的计算机实施方法，其特征在于，还包括：
其中，图像处理模型(M)包括编码器-解码器结构，在其中使用相同的编码器(E)与不同的解码器(D1、D2)，以计算虚拟染色图像(30)与计算出的分割掩膜(40)。
12.根据权利要求10或权利要求11(当其从属于权利要求10时)所述的计算机实现方法，其特征在于，
其中，在训练(15)中，染色奖励/损失函数(LSTAIN)、分割奖励/损失函数(LSEG)和一致性奖赏/损失函数(LCONS)一同优化。
13.根据权利要求9-12中任一项所述的计算机实施方法，其特征在于，
其中，训练图像处理模型(M)以根据输入显微镜图像(20)计算虚拟染色图像(30)和分割掩膜(40)，并使其作为自动编码器(A)计算出与输入显微镜图像(20)所对应的重建显微镜图像(29)；
其中，图像处理模型(M)包括编码器-解码器结构，在其中使用相同的编码器(E)和不同的解码器(D1、D2、D3)，以计算虚拟染色图像(30)、计算出的分割掩膜(40)和重建显微镜图像(29)。
14.根据权利要求9-13中任一项所述的计算机实施方法，其特征在于，
其中，在完成训练(15)之后，对图像处理模型(M)进行后续训练(16)，其中，在后续训练(16)中：
-只进一步训练图像处理模型(M)中生成虚拟染色图像(30)的部分，而图像处理模型(M)中生成计算出的分割掩膜(40)的部分在后续训练(16)中保持不变；
-训练数据(T2)包括显微镜图像(20)和采集的化学染色图像(60)，但不使用预定义分割掩膜(70)；
-图像处理模型(M)为每个显微镜图像(20)生成计算出的分割掩膜(40)；
-计算出的分割掩膜(40)用于补偿化学染色图像(60)中的误差。
15.根据权利要求14所述的计算机实施方法，其特征在于，
其中，在后续训练(16)中使用待优化的一致性奖励/损失函数(LCONS)，其采集由图像处理模型(M)计算出的虚拟染色图像(30)与由图像处理模型(M)计算出的分割掩膜(40)之间的一致性。
16.根据权利要求14或15所述的计算机实施方法，其特征在于，
其中，后续训练(16)中使用的显微镜图像(20)和相应的化学染色图像(60)的数量大于先前训练(15)中使用的显微镜图像(20)和相应的化学染色图像(60)的数量。
17.一种用于生成虚拟染色图像(30)的计算机实施方法，其特征在于，包括：
获取显微镜图像(20)；
通过根据前述权利要求中任一项生成的图像处理模型(M)，使用显微镜图像(20)计算虚拟染色图像(30)。
18.根据权利要求17所述的计算机实施方法(当其从属于权利要求9-16中的任一项时)，其特征在于，
其中，还通过图像处理模型(M)根据输入显微镜图像(20)形成计算出的分割掩膜(40)；
其中，通过将虚拟染色图像(30)与计算出的分割掩膜(40)相乘，计算出精细虚拟染色图像(110)。
19.根据权利要求17所述的计算机实施方法(当其从属于权利要求13时)，其特征在于，其中，图像处理模型(M)作为自动编码器(A)，根据显微镜图像(20)计算出重建显微镜图像(29)；
其中，基于显微镜图像(20)和重建显微镜图像(29)之间的差异，将显微镜图像(20)分类为适用于图像处理模型(M)。
20.显微镜系统，其特征在于，包括
用于图像采集的显微镜(1)；以及
计算设备(10)，其配置为用于执行根据前述权利要求任一项所述的计算机实施方法。
21.根据权利要求20所述的显微镜系统，其特征在于，
其中，计算设备(10)被配置为向用户显示显微镜图像(20)、相应的化学染色图像(60)和输入工具，用户通过输入工具绘制、校正或验证相应的分割掩膜，其中，将所述分割掩膜用作训练(15)中的预定义分割掩膜(70)。
22.一种计算机程序，包括指令，用于当计算机执行所述程序时使计算机执行根据权利要求1-19中任一项所述的方法。
CN202280036166.1A 2021-06-02 2022-05-30 用于生成虚拟染色图像的显微镜系统和方法 Pending CN117425915A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102021114291.1A DE102021114291A1 (de) 2021-06-02 2021-06-02 Mikroskopiesystem und Verfahren zum Erzeugen eines virtuell eingefärbten Bildes
DE102021114291.1 2021-06-02
PCT/EP2022/064649 WO2022253775A1 (de) 2021-06-02 2022-05-30 Mikroskopiesystem und verfahren zum erzeugen eines virtuell eingefärbten bildes

Publications (1)

Publication Number Publication Date
CN117425915A true CN117425915A (zh) 2024-01-19

Family

ID=82258478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280036166.1A Pending CN117425915A (zh) 2021-06-02 2022-05-30 用于生成虚拟染色图像的显微镜系统和方法

Country Status (3)

Country Link
CN (1) CN117425915A (zh)
DE (1) DE102021114291A1 (zh)
WO (1) WO2022253775A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786050B2 (en) 2013-03-15 2017-10-10 The Board Of Trustees Of The University Of Illinois Stain-free histopathology by chemical imaging
KR102231545B1 (ko) 2016-12-06 2021-03-23 후지필름 가부시키가이샤 세포 화상 평가 장치 및 세포 화상 평가 제어 프로그램
US11783603B2 (en) * 2018-03-07 2023-10-10 Verily Life Sciences Llc Virtual staining for tissue slide images

Also Published As

Publication number Publication date
WO2022253775A1 (de) 2022-12-08
DE102021114291A1 (de) 2022-12-08

Similar Documents

Publication Publication Date Title
JP7022203B2 (ja) 組織画像からのアーチファクト除去
JP6086949B2 (ja) 色原体分離に基づく画像解析の方法
CN111051955B (zh) 通过使用卷积神经网络来标识利用数字全息显微镜所获取的细胞图像的品质
US10591402B2 (en) Image processing apparatus, image processing method, and image processing program
CN108475328B (zh) 用于实时化验监测的系统和方法
WO2008079590A1 (en) Method for forming an optimally exposed image of cytological specimen
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
WO2013072816A1 (en) Image processing
JP6345001B2 (ja) 画像処理方法および画像処理装置
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
US20220392028A1 (en) Microscopy System and Method for Generating Stylized Contrast Images
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
US11037294B2 (en) Image processing device, image processing method, and computer-readable recording medium
CN117425915A (zh) 用于生成虚拟染色图像的显微镜系统和方法
JP2021078356A (ja) 細胞解析装置
CN117425919A (zh) 用于生成虚拟染色图像的显微镜系统和方法
Dai et al. Exceeding the limit for microscopic image translation with a deep learning-based unified framework
CN116309099A (zh) 用于减少图像光晕的显微镜系统和方法
CN117765532B (zh) 基于共聚焦显微图像的角膜朗格汉斯细胞分割方法和装置
CN114359115B (zh) 一种提高缺陷检测准确性的方法、计算机设备及可读介质
JP7215418B2 (ja) 画像処理装置及び画像処理方法並びにこれを用いた病理診断支援システム
CN117236462A (zh) 评估虚拟处理映射的一致性的方法、训练具有处理模型的机器学习系统的方法、机器学习系统、计算机程序产品和图像处理系统
Zhou et al. Texture and exposure awareness based refill for HDRI reconstruction of saturated and occluded areas
JP2021126074A (ja) 染色画像生成システム、染色画像生成方法および染色画像生成プログラム
CN117635525A (zh) 用于测试图像处理模型的敏感度的显微镜系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination