CN114236804A - 用于生成概览图像的显微镜系统和方法 - Google Patents

用于生成概览图像的显微镜系统和方法 Download PDF

Info

Publication number
CN114236804A
CN114236804A CN202111049757.6A CN202111049757A CN114236804A CN 114236804 A CN114236804 A CN 114236804A CN 202111049757 A CN202111049757 A CN 202111049757A CN 114236804 A CN114236804 A CN 114236804A
Authority
CN
China
Prior art keywords
overview
original
image
machine learning
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111049757.6A
Other languages
English (en)
Inventor
曼努埃尔·阿姆托尔
丹尼尔·哈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN114236804A publication Critical patent/CN114236804A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

显微镜系统包括显微镜(1)和计算设备(20)，其被配置为控制显微镜(1)以捕获(S1)显示具有不同捕获参数(p)的样本环境的多个原始概览图像(11‑15)。计算设备(20)包括用使用训练原始概览图像(T)训练的机器学习模型(M)，其接收(S2)原始概览图像(11‑15)作为输入并从中生成(S4)是或者定义概览图像(30)的输出。描述了一种用于生成概览图像的相应方法。

Description

用于生成概览图像的显微镜系统和方法
技术领域
本公开涉及一种用于生成概览图像的显微镜系统和方法。
背景技术
自动化在现代显微镜系统中发挥着越来越重要的作用。例如，以很大程度上自动化的方式通过显微镜系统对待分析的样本识别，定位并进行初始分析。为此，为用户提供一个概览/导航图，其中用户可以选择一个位置，而后电动样本台可以自动移动至该位置，以使分析具有更高的放大率的位置。通过基于所识别的样本或所识别的样本载体定义电动显微镜组件的允许运动区域，自动样本识别也可用于达到预防碰撞的目的。自动聚焦或自动粗聚焦也是可取的。
目前，使用概览图像在完成这些任务过程中是关键的。因此，通用显微镜系统包括显微镜，该显微镜被配置为捕获样本环境的原始概览图像(RAW概览图像，raw overviewimage)。原始概览图像可以直接或在经过图像处理之后用作概览图像。为了能够以最佳可靠性实现上述目标，最佳图像质量是重要的。特别地，通过可变环境和测量条件获得最佳图像质量是复杂的。除其他外，由于来自显微镜系统光源以外的来源的环境光，照明条件可能会有很大的差异。可以使用的不同类型的样本载体和样本，它们在原始概览图像中的可见性方面差异很大，代表了进一步的挑战。
申请人已经描述了捕获和处理原始概览图像的显微镜系统，例如，在DE102017109698 A1，DE 102013006994 A1，DE 102019113540，DE 102019114117以及DE102019131678中。
发明内容
提供一种显微镜系统和一种方法，其使得在不同的环境和测量条件下提供样本环境的最佳质量概览图像成为可能，可以被认为是本发明的一个目的。
该目的显微镜系统和方法来实现。
根据本发明，前述内容中描述的类型的显微镜系统包括计算设备，该计算设备被配置为控制显微镜以捕获多个原始概览图像，以展示具有不同捕获参数的样本环境。计算设备包括由训练原始概览图像训练的机器学习模型，其接收原始概览图像作为输入并从中生成一个输出，该输出是或者定义概览图像。
在根据本发明的用于生成概览图像的方法中，通过具有不同捕获参数的显微镜的概览相机捕获样本环境的多个原始概览图像。原始概览图像被输入到由训练概览图像训练的机器学习模型中。机器学习模型从中生成一个输出，该输出是或定义概览图像。
合适的捕获参数可以取决于许多因素，例如样本类型，样本载体和照明/环境条件。由于这些因素通常提前无法具有足够的精确度被知道，或者只能为考虑精确度而手动努力或使用补充设备或更复杂的设备，通常提前不知道合适的捕获参数。通过捕获具有不同捕获参数的多个原始概览图像，可以在非常不同的情况下获取至少一个合适的概览图像。通过各种不同类型的原始概览图像难以实现原始概览图像的自动选择或处理以输出高质量的概览图像。特别是，合适的评估标准可以根据应用而变化。另一方面，根据本发明利用由训练概览图像训练的机器学习模型提供了重要的优势：通过训练原始概览图像，可以涵盖广泛的不同类型的原始概览图像，特别地，其可以有关于样本类型，样本载体或照明/环境条件方面的不同。通过提供的训练原始概览图像在学习模型中确定了合适的判定标准，而没有必要为图像处理程序中的多个影响因素指定显式规则。因此，本发明的显微镜系统和方法可以评估或处理捕获的原始概览图像，以用于广泛的不同场景，以便输出高质量的概览图像。
可选实施例
根据本发明的显微镜系统和根据本发明的方法的有利变体是从属权利要求的目的，并且在以下描述中解释。
机器学习模型的输入和输出
机器学习模型的输出可以是概览图像本身或用于定义概览图像的规范。特别地，该规范可以是从多个原始概览图像中用作概览图像的原始概览图像的选择，或者是如何通过预定算法或预定表从多个原始概览图像计算概览图像的一个规范。例如，该输出可以是用于每一原始概览图像的评估或分数，于是具有最高分数的原始概览图像被选择作为概览图像。可替代地，具有最高分数的原始概览图像可以叠加到概览图像中。因此，在变体实施例中，机器学习模型或特别地，在通用的计算设备被设计来选择原始概览图像的一个作为概览图像或通过组合至少两个原始概览图像或通过选择要组合的至少两个原始概览图像以产生概览图像。
原始概览图像可以单独输入作为输入，例如，当要为每个原始概览图像计算得分作为输出时。或者，所有原始概览图像都可以共同构成输入。这允许机器学习模型去比较，例如，各个原始概览图像的分数或在计算中应用此类分数，从而直接输出概览图像。如果多个或所有原始概览图像共同构成输入，则机器学习模型可以替代地直接计算和输出概览图像而无需计算分数。通过在机器学习模型的神经网络中处理原始概览图像，输出概览图像不必是，例如，输入原始概览图像的简单线性组合，而是也可以由输入原始概览图以更复杂的方式形成。
捕获原始概览图像的参数
使用不同的捕获参数生成多个原始概览图像，其通常可以理解为表示任何不同的显微镜设置或可用操作模式。特别地，捕获参数可以涉及：
-光偏振：例如，可以使用线性偏振照明光，其中偏振方向根据原始概览图像而不同。还可以使用具有椭圆形或圆形偏振的光线。
-照明光和/或检测光的光波长：特别地，显微镜样本可包括不同的元素(例如生物细胞或细胞器，电子或半导体组件)，其可见性显著地依赖波长。
-照明设置，照明强度，照明角度和染料激发，特别是荧光或磷光激发。
-软件设置：原始概览图像可以由算法生成。例如，可以使用不同的灵敏度生成多个或全部原始概览图像，其中仅通过它们计算的不同参数化生成灵敏度，而任何硬件设置保持不变。
-捕获模式或对比法：特别地，原始概览图像就所使用的照明模式不同；例如，可以通过宽场显微镜，高斯光片照明显微镜(Gaussian lightsheet microscopy)，贝塞尔光片照明显微镜(Bessel lightsheet microscopy)，STED照明显微镜或共聚焦显微镜捕获图像。
-相机灵敏度，曝光时间或不同的饱和水平可以导致原始概览图像的不同图像亮度。
在确定如何从原始概览图像中选择或形成概览图像时，可以使用捕获参数的知识。稍后将更详细地描述该过程。
样本区域评估
原则上，关于将哪些原始概览图像合并到概览图像中的决定基于每个原始概览图像的整个图像内容。然而，在实践中，当在显微镜系统中使用概览图像时，概览图像中的样本区域更为重要的。用户作出的任何判断都将基于样本区域的描述。样本区域可以经受图像处理和分析步骤，例如自动聚焦，使得概览图像的这部分中的图像质量特别相关。另一方面，对于图像背景，例如，样本载体外部的区域或盖玻片区域外部的区域，图像质量较差也可以是可接受的。甚至可以有利于抑制图像背景的图像细节，例如，借助于与样本区域相比较暗的显示器和/或具有较低对比度的显示器。
机器学习模型可以设计用于识别原始概览图像中的样本区域，特别是用于上述目的。机器学习模型可选地设计成通过评估原始概览图像中的各个样本区域来选择将使用的原始概览图像中的哪一个使用作为概览图像或用于概览图像。特别地，对各个样本区域的评估可以涉及相关图像区域的图像质量。例如，可以选择样本区域具有最佳图像质量的原始概览图像作为概览图像。特别地，选择可以仅基于样本区域。在样本载体之外的图像质量较差的原始概览图像，例如，过载因而对比度低，然而，仍然可以选择作为概览图像，当其样本区域具有比其他原始概览图像中样本区域更高的图像质量。
为了定位样本区域，机器学习模型可以被设计为在一个，多个或全部的原始概览图像中执行分割。分割结果表明将哪些图像区域识别为样本区域。例如，分割结果可以是分割/二进制掩模，其中某个像素值表明该像素属于样本区域，且另一个像素值表明相应的像素不属于样本区域。没有必要为每个原始概览图像重新计算分割掩模，也可以执行分割掩模的单个计算，其随后同样地用于所有的原始概览图像。还可以使用从多个或所有原始概览图像形成的输入图像来确定分割，例如通过一起添加/叠加原始概览图像。在这种情况下的分割是一个语义分割，其中将某种含义(语义标签)分配给分割掩码的区域，特别是，与有问题的区域是否是样本区域相关的含义。进一步的分级语义分割也可以区分不同的样本类型。例如，不同的样本元素，例如细胞器，可以通过语义分割，以及随后评估或权重不同将其与其他样本元素区分开。
机器学习模型可以包括分割机器学习模型，实例分割机器学习模型或检测机器学习模型。在实例分割机器学习模型的情况下，不同的样本区域在同一图像中彼此区分。这使得可以对样本区域进行不同的评估或权重。利用检测机器学习模型，可以检测概览图像中是否包括某个样本类型，然后还可以确定其位置。
计算设备或机器学习模型可以基于于例如过载，欠载，图像噪声，亮度值的频率分布和/或对比度相关的评估标准来确定每个样本区域的评估。如果仅评估样本区域，则相应地，无论例如，非常明亮的盖玻片边缘是否过载或图像噪声水平是否在较暗的背景中非常高都是无关紧要的。相反，可以识别样本区域接收最佳质量评估的原始概览图像。
当从原始概览图像确定概览图像时，机器学习模型可以可选地利用上下文数据。当在原始概览图像中确定和/或评估样本区域时，还可以考虑上下文数据，并描述以下一个或多个特征：
-原始概览图像中的样本类型或样本载体类型：例如，可以提前知道与不同样本类型或样本载体类型有关的几何信息，这可以用于分割或在原始概览图像中检测对象。也可以提前知道哪些照明参数或图像捕获参数适用于不同的样本类型，从而基于该知识来选择作为原始概览图像或用于概览图像。可以预先或首先确定在原始概览图像中显示哪种样本类型或样本载体类型，例如通过以下内容描述的分类(机器学习)模型来确定。其他测量结果还可以提供关于在原始概览图像中显示或潜在显示的样本类型或样本载体类型的信息。
-原始概览图像所属的实验类型：上下文数据可以在捕获原始概览图像的上下文中涉及实验。特别地，实验可以在捕获和评估原始概览图像之后开始。例如，可以从实验的类型推断出样本类型或样本载体类型。
-捕获参数：对于每个原始概览图像，可以表明捕获后者的捕获参数，其中，特别地，可能是前述捕获参数。了解捕获参数意味着，除其他事项外，关于原始概览图像中的不同样本类型的信息是可用的，可以运用于样本区域的位置。还可以考虑滤波器设置或样本台设置作为上下文数据。
样本类型或样本载体类型识别
了解样本类型和/或样本载体类型可以有助于在所述样本区域的评估中或甚至独立于这种评估。机器学习模型可以设计成识别样本载体类型和/或在一个或多个原始概览图像中由样本载体支持的样本类型。机器学习模型可以包括训练好的分类模型用于此目的。一个或多个原始概览图像-或可选地一个原始概览图像的组合，从原始概览图像的图像片段或基于原始概览图像的图像处理结果，例如分割掩码-被馈送到分类模型。输出是分类结果，其至少区分，例如，在流体样本和组织切片或染色和未被染色的组织切片和/或电子或半导体部件。关于样本载体类型，可以例如，至少在腔室载玻片，微量滴定板，具有盖玻片或培养皿的玻片之间进行辨别。在该步骤中通常不会发生样本或样本载体的定位。
机器学习模型或计算设备可以被配置为根据所识别的样本类型或样本载体类型选择是否以及如何使用不同的原始概览图像作为概览图像或用于概览图像。
计算设备可选地被配置为访问预定的评估表，该评估表包含基于至少一个捕获参数和样本类型或样本载体类型的评估。当计算设备接收关于原始概览图像的捕获参数的信息并且当如前述内容确定样本类型或样本载体类型时，可以从评估表中读出对应的每个原始概览图像的评估。基于评估，选择原始概览图像中的哪一个作为或用于概览图像。
训练机器学习模型
机器学习模型的训练可以作为监督学习过程发生。因此，每个训练原始概览图像标有指示对应训练原始概览图像的评估的注释。可以手动指定评估，并且包括，例如，预定范围内的分数，例如1至10。通过训练，(给定)学习算法可以使用训练原始概览图像调整机器学习模型的模型参数值。为此，学习算法包括优化方法和要优化的目标函数，例如最大化的奖励函数或最小化的损失函数。损失函数描述了基于输入训练原始概览图像使用当前模型参数值计算的机器学习模型的输出与关联注释之间的偏差。根据损失函数的当前结果，通过优化方法迭代地修改模型参数值，例如，通过反向传播和(随机)梯度下降。
如果将未知的原始概览图像输入到已经训练好的机器学习模型中，则后者从中计算出输出，其理想地对应于训练原始概览图像的注释，即，特别是评估具有，例如分数在1至10之间。概览图像随后从基于评估的原始概览图像中形成。例如，选择具有最高分的原始概览图像。或者，组合具有最高分数的多个原始概览图像，在这种情况下，分数也可以用作权重。
或者，可以通过无监督的训练来使机器学习模型学习。在这种情况下，使用未注释的训练原始概览图像。例如，可以仅使用已由用户分类为高质量的原始概览图像作为训练原始概览图像。机器学习模型学习以这种方式识别此类图像。如果未知的原始概览图像被输入到训练好的机器学习模型中，则后者可以输出对未知原始概览图像是否以及在多大程度上类似于高质量训练原始概览图像的评估。
还可以实现部分监督的训练，其中训练原始概览图像仅一部分是带有注释的或强化学习。
一般特征
显微镜系统应理解为包括至少一个计算设备和显微镜的装置。原则上，显微镜可以理解为具有放大能力的任何测量设备，特别是光学显微镜，X射线显微镜，电子显微镜，宏观镜或具有放大能力的其他一些设计的图像捕获设备。
计算设备可以设计成是显微镜的组成部分，单独布置在显微镜附近，或者布置在在距显微镜任意距离处的远程位置。计算设备还可以设计成分散的，并经由数据链路与显微镜通信。它通常可以通过电子和软件的任何组合形成，并且具体地，包括计算机，服务器，基于云的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制显微镜相机，图像捕获，样本台驱动和/或其他显微镜组件。
根据本发明的计算机程序包括当所述方法变体由计算机执行时导致执行所述方法变体之一的命令。特别地，计算机程序可以包括命令，通过该命令可以实现关于计算设备所描述的过程。
机器学习模型可以由例如一个或多个神经网络形成，并且特别地，包括CNN(卷积神经网络)。在这种情况下，模型参数值包括卷积矩阵的条目。除了CNN之外的深度神经网络的模型架构也是可能的。
除了具有以更高放大率捕获采样区域图像的样本相机之外，还可以提供用于捕获原始概览图像的概览相机。或者，可以使用一个和相同的相机，其中捕获原始概览图像和更放大的样本图像使用不同的目标或光学系统。原始概览图像一旦被相机捕获，可以立即馈送到机器学习模型，或者在馈送到机器学习模型之前首先从一个或多个图像计算。原始概览图像覆盖一个区域，该区域包含并围绕样本通常定位的位置，且在本公开中被指定为样本环境。原始概览图像可以与其视场相对应，特别是通过相同的相机连续捕获。在相应的视场的情况下，每个原始概览图像覆盖了样本环境的相同区域。如上所述，可以叠加占用不同原始概览图像中相同位置的像素(例如，每个原始概览图像的左上角的像素)，以便形成概览图像的相应像素。还可以使用部分不同或重叠视场捕获原始概览图像。样本可以理解为本公开中的任何对象，流体或结构。
当根据本发明的方法按照预期实施时，已被描述为附加装置特征的本发明的特征也产生根据本发明的方法的变体。相反，显微镜系统也可以被配置为执行所描述的方法变体。特别地，计算设备可以被配置为执行所描述的方法变体并且输出用于执行所描述的方法步骤的命令。计算设备还可以包括所描述的计算机程序。在本发明的进一步的实施例中，机器学习模型可以由经典图像处理算法代替。特别地，后者可以设计为使用所描述的评估标准，例如图像噪声或对比度，来计算评估。
附图说明
以下参考附件的示意图描述了本发明的其他优点和特征：
图1是本发明的显微镜系统的示例实施例的示意图；
图2是根据本发明的示例实施例的原始概览图像的示意图；
图3是本发明的方法的示例实施例的示意图；
图4是本发明示例实施例的机器学习模型训练的示意图；
图5是本发明方法的进一步例实施例的过程的示意图；
图6是本发明方法的进一步示例实施例的过程的示意图；
图7是本发明方法的进一步示例实施例的过程的示意图；以及
图8是本发明方法的进一步示例实施例的过程的示意图。
具体实施方式
以下参考附图描述不同的示例实施例。通常，类似元素和以类似方式作用的元素由相同的引用指定。
图1
图1示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备20和显微镜1，显微镜1是所示示例中的光学显微镜，但原则上可以是任何类型的显微镜。显微镜1包括支架2，通过该支架2支撑其他显微镜组件。具体的，后者可以包括：物镜旋转器/转轮3，在图示的示例中其上安装了物镜4；具有用于保持样本载体7的固定框架6和显微镜相机8的样本台5。如果物镜4已经旋转以位于显微镜光路中，则显微镜相机8接收来自由样本载体7支撑的一个或多个样本的检测光以捕获样本图像。
显微镜1还包括用于捕获样本环境的概览图像的概览相机9。因此，特别地，概览图像可以示出样本载体7或其一部分。概览相机9的视场9A大于捕获样本图像时的视场。在所示示例中，概览相机9经由反射镜9B观察样本载体7。反射镜9B布置在物镜旋转器3上并且可以被选择来代替物镜4。在该实施例的变体中，反射镜或一些其他偏转元件也可以布置在不同的位置。可替代地，概览相机9也可以被布置为在没有反射镜9B的情况下直接观察样本载体7。原则上，当通过物镜旋转器3选择不同的物镜，特别是宏观物镜，用于捕获概览图像时，显微镜相机8也可以构成概览相机。
计算设备20旨在基于多个捕获的原始概览图像输出高质量概览图像。为此，计算设备20被配置为控制显微镜1以捕获具有不同捕获参数的多个原始概览图像。原始概览图像通过不同的捕获参数彼此不同，例如不同的曝光时间，照明光强度，照明波长或滤波器设置。
概览图像的计算通过由计算设备20执行的计算机程序80发生，如下述参考其他附图更详细地描述。
图2
图2示意性地示出了不同的原始概览图像11-15。后者分别显示相同的样本环境，并用不同的捕获参数捕获。为了清楚起见，所有原始概览图像11-15中都没有表明参考符号，但是原始概览图像11-15均在其视场中对应，并且因此显示相同的场景。原始概览图像11-15因捕获参数而异，例如照明强度或曝光时间，在原始概览图像11中最大并朝向原始概览图像15逐渐降低。在一个或更多的样本区域10中，每个原始概览图像11-15示出，显微镜样本位于样本载体7上的在盖玻片下。盖玻片边缘17在原始概览图像11-15中显得明亮。盖玻片外的区域被指定为背景16，其中固定框架6可选地也可以被认为是背景16的一部分。
如在所示示例中的原始概览图像12中，根据样本类型，样本通常在介质或高照明强度可见。在原始概览图像11特别亮的样本区域10相反过饱和/过载，其中样本的细节丢失。在较暗的原始概览图像13-15中，在样本区域10中的细节不可识别，并且更难以从样本载体7分开样本。盖玻片边缘17通常在原始概览图像中比样本区域10显得更光明亮并且容易过载，该情况特别是在更亮的原始概览图像11和12中。盖玻片边缘17在最暗的原始概览图像15中的图示示例中最佳地可见。
以下参考其他附图描述对原始概览图像11-15的评估。
图3
图3示意性地示出了根据本发明的示例方法用于基于多个原始概览图像11-15生成概览图像30的过程。
首先，在步骤S1中，具有不同捕获参数的显微镜系统100捕获多个原始概览图像11-15。在步骤S2中，原始概览图像11-15被输入到机器学习模型M。如步骤S3通过计算每个原始概览图像11-15的评估K1-K5来训练机器学习模型M以确定概览图像以确定概览图像11-15并在步骤S4中输出评估K1-K5。
评估K1-K5确定如何从原始概览图像11 15生成概览图像。为此，在所示示例中的步骤S5中，确定来自k1-k5的最高或最佳评估，在这种情况下K2，属于原始概览图像12。选择具有最佳评估的原始概览图像，即原始概览图像12，被选择作为概览图像30。因此，机器学习模型M的输出定义了选择原始概览图像11-15的一个作为概览图像30。
机器学习模型M可以可选地考虑上下文数据i，其与原始概览图像11-15的单个原始概览图像或所有原始概览图像11-15相似。上下文数据i可以将例如捕获参数，样本类型或样本载体类型相关联。
机器学习模型M的计算步骤基于模型参数值，例如机器学习模型M的卷积神经网络的卷积矩阵的条目。模型参数值使用悬链数据定义，如下列的更详细的详细说明。
图4
图4示意性地示出了机器学习模型M的监督训练过程。提供多个训练原始概览图像T，其可以与所描述的原始概览图像相同。针对每个训练原始概览图像T指定(手动)注释A，例如通过1和10之间的分数评估相应的训练原始概览图像T。机器学习模型M基于当前模型参数值计算来自每个输入的训练原始概览图像T的的输出K。输出K和相应的注释A被馈送到目标函数，这里是一个损失函数L。损失函数L量化输出k偏离注释A的程度。优化函数o使用损失函数L适应机器学习模型M模型参数值，例如通过反向传播和梯度下降。在完成培训后，机器学习模型M生成与注释A非常类似的输出K。
可以选择注释A，例如，根据评估标准，该评估标准用于在各个训练原始概览图像T的样本区域中的图像质量多高，而样本区域之外的图像质量被忽略。特别地，过载，欠载，噪声，亮度值的频率分布和/或对比度可以用作图像质量的量度。使用这些注释A，机器学习模型M还学习以基本上根据样本区域计算输出k的方式评估或处理原始概览图像，这在这种情况下由机器学习模型M离散地识别。
可选地，除了训练原始概览图像T之外，还可以在训练中馈送上下文数据i到机器学习模型M，其可以涉及，如已经提到的，样本类型，样本载体类型或捕获参数。如果上下文数据i以这种方式构成了训练数据的一部分，那么机器学习模型M就会通过其模型参数学习考虑上下文数据。
图5
图5示意性地示出了根据本发明的用于基于多个原始概览图像11-15生成概览图像30的的另一示例方法的过程。
该实施例通过机器学习模型M使用输出评估K1至K5的方式与图3的示例不同。在图5所示的示例中，确定评估K1-K5最高的原始概览图像作为概览图像30。相反，在步骤S6中，将两个或更多的原始概览图像11-15一起添加或叠加以便形成概览图像30，其中评估K1-K5用作权重。例如，可以一起添加具有两个最佳评估的原始概览图像，其中它们各自的评估构成权重。
图6
图6示意性地示出了根据本发明的用于基于多个原始概览图像11-15生成概览图像30的另一示例方法的过程。在这种情况下，原始概览图像11-15被共同输入到机器学习模型M中，直接输出概览图像30，而不是输出评估。概览图像30可以，根据机器学习模型M的训练，选择其中一个原始概览图像11-15，多个原始概览图像11-15的线性组合或基于概览图像11-15计算的更复杂的组合。机器学习模型M的架构可以包括，例如，一个或多个CNN，其生成多个输入图像的映射至一个输出图像上。
图7
图7示意性地示出了根据本发明的用于基于多个原始概览图像11-15生成概览图像30的另一示例方法的过程。
在该示例中，机器学习模型M包括两个机器学习模型M1和M2。机器学习模型M1是分割模型，其在步骤S7中接收一个或多个原始概览图像11-15，并从中计算分割掩模21。分割掩模21在原始概览图像11-15之一内标记样本区域10。机器学习模型M1可以选择利用上下文数据i。
通过分割掩模21选择原始概览图像11-15的样本区域10。例如，这可以在步骤S8中，通过原始概览图像11-15每个分割掩模21的逐个像素乘法发生，其中，在分割掩模21中，样本区域10之外的所有像素值为零。
如此处理的原始概览图像被馈送到机器学习模型M2，其可以设计如图3或图5的机器学习模型M。然而，与图3或图5中所示的情况不同，机器学习模型M2仅接收来自原始概览图像11-15的样本区域10的图像信息。从该信息来看，在步骤S9中机器学习模型M2计算评估K1-K5，其从而仅基于各个样本区域10。在步骤S4中输出评估K1-K5，然后执行上面描述的步骤S5。在变体中，步骤S5可以由上述步骤S6代替。
图8
图8示意性地示出了根据本发明的用于基于多个原始概览图像11-15生成概览图像30另一示例方法的的过程。
一个或多个原始概览图像11-15被馈送到机器学习模型M3，机器学习模型M3是一个被训练的分类模型，以便在不同的样本类型之间区分，例如染色组织部分和未破坏的组织部分。在步骤S10中，机器学习模型M3计算所确定的样本R的规范并输出相同的，步骤S4。所确定的样本类型R适用于所有原始概览图像11-15。
根据原始概览图像11-15查询或估计捕获原始概览图像11-15所用的捕获参数P1-P5。
评估表B中，其中评估KAA至KMN用于表明目前在步骤S11中使用的针对不同样本类型RA至RN和捕获参数PA至PM。基于相关的捕获参数P1-P5和所确定的样本类型R，从评估表B中读出用于各个原始概览图像11-15的相应的评估K1至K5。然后可以执行上述步骤S5或S6，以提供概览图像。
所描述的示例实施例纯粹是说明性的，并且可以在所附权利要求的范围内可以实现相同的变体。特别地，可以在描述步骤之前，之间或之后添加图像处理步骤。例如，可以在输入所描述的机器学习模型中之前，通过经典图像处理算法或诸如特征提取器的另一机器学习模型，首先处理原始概览图像。
参考列表
1 显微镜
2 支架
3 物镜旋转器
4 显微镜物镜
5 样本台
6 固定框架
7 样本载体
8 显微镜相机
9 概览相机
9A 概览相机的视场
9B 反射镜
10 样本区域
11-15 原始概览图像
16 背景
17 盖玻片边缘
20 计算设备
21 分割掩模
30 概览图像
80 计算机程序
100 显微镜系统
A 训练原始概览图像的注释
B 评估表
i 上下文数据
K,K1-K5 评估
KAA-KMM 评估
L 损失函数
M,M1,M2 机器学习模型
M3 机器学习模型/分类模型
O 优化函数
P1-P5 捕获参数
PA-PM 捕获参数
R 样本类型
S1-S11 方法的步骤
T 训练原始概览图像

Claims (14)

1.显微镜系统
使用显微镜(1)，其被配置为捕获样本环境的原始概览图像(11-15)；
其特征在于
计算设备(20)，其被配置为控制显微镜(1)以捕获(S1)多个示出了具有不同捕获参数(P)的样本环境的原始概览图像(11-15)；
其中计算设备(20)包括采用训练原始概览图像(T)训练的机器学习模型(M)，其中机器学习模型(M)接收(S2)原始概览图像(11-15)作为输入并从中生成(S4)是或定义概览图像(30)的输出。
2.根据权利要求1所述的显微镜系统，
其中每个训练原始概览图像(T)采用表明对应训练原始概览图像(T)评估的注释(A)标记，由此机器学习模型(M)被设计为每个输入原始概览图像(11-15)生成评估(K1-K5)作为输出。
3.根据权利要求1所述的显微镜系统，
其中机器学习模型(M)被设计为选择原始概览图像(11-15)之一作为概览图像(30)。
4.根据权利要求1所述的显微镜系统，
其中，机器学习模型(M)被设计为通过组合原始概览图像(11-15)中的至少两个来生成概览图像(30)。
5.根据权利要求1所述的显微镜系统，
其中，机器学习模型(M)被设计为识别(S7，S8)原始概览图像(11-15)中的采样区域(10)并执行(S9)各个原始概览图像(11-15)中样本区域(10)的评估(K1-K5)，其中计算设备(20)或机器学习模型(M)被配置为基于评估(K1-K5)进行选择(S5)，将原始概览图像(11-15)中的哪一个用作或用于概览图像(30)。
6.根据权利要求5所述的显微镜系统，
其中，选择仅基于样本区域(10)。
7.根据权利要求1所述的显微镜系统，
其中，机器学习模型(M，M1)被设计为执行(S7)语义分割，以便在原始概览图像(11-15)中定位样本区域(10)。
8.根据权利要求1所述的显微镜系统，
其中计算设备(20)被配置为基于与过载，欠载，噪声，亮度值的频率分布和/或对比度有关的评估标准来确定每个样本区域(10)的评估(K1-k5)。
9.根据权利要求1所述的显微镜系统，
其中，当从原始概览图像(11-15)确定概览图像(30)时，特别是在原始概览图像(11-15)中确定和/或评估样本区域(10)时，用与以下一个或多个特征相关的上下文数据(i)：
-样本类型(R)或样本载体类型；
-原始概览图像(11-15)所属的实验类型；
-捕获参数(P)；
-来自一个或多个其他原始概览图像(11-15)的信息；
-整个图像特征的分类结果；以及
-来自其他捕获模式的信息。
10.根据权利要求1所述的显微镜系统，
其中，机器学习模型(M)被设计为从一个或多个原始概览图像(11-15)识别显示样本的样本类型(R)；以及
其中机器学习模型(M)或计算设备(20)被配置为根据所识别的样本类型(R)来选择，原始概览图像(11-15)中的哪一个用作或用于概览图像(30)。
11.根据权利要求10所述的显微镜系统，
其中，机器学习模型(M)包括用于识别样本类型(R)的训练好的分类模型(M3)。
12.根据权利要求1至11中的任一显微镜系统，
其中，机器学习模型(M，M3)被设计为确定输入原始概览图像(11-15)的样本类型(R)；其中，计算设备(20)被配置为：
-根据至少一个捕获参数(p)和样本类型(r)访问包含评估(KAA-KMN)的预定评估表(b)；
-接收有关原始概览图像(11-15)的捕获参数(P)的信息；
-根据其捕获参数(P)和来自评估表(B)确定的样本类型(R)读出原始概览图像(11-15)的评估(K1-K5)；和
-基于读出的评估(K1-K5)，选择(S5，S6)，原始概览图像(11-15)中的哪一个用作或用于概览图像(30)。
13.一种生成概览图像的方法，包括
通过显微镜(1)的概览相机(9)，采用不同的捕获参数(P)捕获(S1)原始概览图像(11-15)；
将原始概览图像(11-15)输入使用训练原始概览图像(T)训练的机器学习模型(M)，
其中机器学习模型(M)从其生成(S4)是或定义概览图像(30)的输出。
14.具有命令的计算机程序，当计算机执行时，执行权利要求13的方法。
CN202111049757.6A 2020-09-09 2021-09-08 用于生成概览图像的显微镜系统和方法 Pending CN114236804A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020123505.4A DE102020123505A1 (de) 2020-09-09 2020-09-09 Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123505.4 2020-09-09

Publications (1)

Publication Number Publication Date
CN114236804A true CN114236804A (zh) 2022-03-25

Family

ID=80266604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111049757.6A Pending CN114236804A (zh) 2020-09-09 2021-09-08 用于生成概览图像的显微镜系统和方法

Country Status (3)

Country Link
US (1) US11985415B2 (zh)
CN (1) CN114236804A (zh)
DE (1) DE102020123505A1 (zh)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101520068B1 (ko) 2008-12-16 2015-05-13 삼성전자 주식회사 다중영상 합성장치 및 그 방법
BR112013032938B1 (pt) * 2011-09-16 2021-06-29 Ave Science & Technology Co., Ltd Dispositivo e métodos para realizar análise morfológica para eritrócitos
JP6045355B2 (ja) 2013-01-11 2016-12-14 オリンパス株式会社 画像処理装置、顕微鏡システム、及び画像処理プログラム
DE102013006994A1 (de) 2013-04-19 2014-10-23 Carl Zeiss Microscopy Gmbh Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop
CN104299213A (zh) 2014-09-30 2015-01-21 西安邮电大学 一种基于低动态图像的细节特征合成高动态图像的方法
DE102015114015A1 (de) * 2015-08-24 2017-03-02 Carl Zeiss Ag Maschinelles lernen
US9870623B2 (en) 2016-05-14 2018-01-16 Google Llc Segmenting content displayed on a computing device into regions based on pixels of a screenshot image that captures the content
DE102017109698A1 (de) 2017-05-05 2018-11-08 Carl Zeiss Microscopy Gmbh Bestimmen von Kontextinformation für Wechselkomponenten eines optischen Systems
DE102017111718A1 (de) 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
TW201947536A (zh) 2018-05-08 2019-12-16 華晶科技股份有限公司 影像處理方法及影像處理裝置
US11625816B2 (en) 2018-06-11 2023-04-11 Sony Interactive Entertainment Inc. Learning device, image generation device, learning method, image generation method, and program
CA3122853A1 (en) * 2018-12-18 2020-06-25 Pathware Inc. Computational microscopy based-system and method for automated imaging and analysis of pathology specimens
DE102019113540A1 (de) 2019-05-21 2020-11-26 Carl Zeiss Microscopy Gmbh Lichtmikroskop mit automatischer Fokussierung
DE102019114012A1 (de) 2019-05-24 2020-11-26 Carl Zeiss Microscopy Gmbh Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
DE102019114117B3 (de) 2019-05-27 2020-08-20 Carl Zeiss Microscopy Gmbh Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
KR20220068990A (ko) 2019-09-24 2022-05-26 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
JP2022550413A (ja) * 2019-10-02 2022-12-01 メモリアル スローン ケタリング キャンサー センター マルチクラス画像セグメンテーションのための深層多重倍率ネットワーク
JP2021064860A (ja) 2019-10-11 2021-04-22 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
DE102019131678A1 (de) 2019-11-22 2021-05-27 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Verarbeiten von Mikroskopbildern

Also Published As

Publication number Publication date
DE102020123505A1 (de) 2022-03-10
US20220078340A1 (en) 2022-03-10
US11985415B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
US11226280B2 (en) Automated slide assessments and tracking in digital microscopy
US8878923B2 (en) System and method for enhanced predictive autofocusing
US20200371333A1 (en) Microscopy method, microscope and computer program with verification algorithm for image processing results
US20100272334A1 (en) Microscope System, Specimen Observation Method, and Computer Program Product
JP5461630B2 (ja) 合焦位置を決定する方法及びビジョン検査システム
EP3353712B1 (en) Automated stain finding in pathology bright-field images
US11854196B2 (en) System and method for real time assay monitoring
US11769236B2 (en) Microscopy system and method for generating an HDR image
US11594051B2 (en) Microscope system and projection unit
JP2014203038A (ja) 分析装置、分析プログラム及び分析システム
EP1947441B1 (en) Apparatus for determining positions of objects contained in a sample
CN114236804A (zh) 用于生成概览图像的显微镜系统和方法
WO2018198253A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
CN114994895A (zh) 用于试样的光片显微镜检测的方法和装置
US20230175963A1 (en) Method of analyzing a mixed fluorescence response of a plurality of fluorophores, fluorescence analyzer, fluorescence microscope and computer program
CN116309099A (zh) 用于减少图像光晕的显微镜系统和方法
JP2014059448A (ja) 顕微鏡システムおよび顕微鏡観察方法
WO2009047726A1 (en) Method, device, and computer program product for segmenting an image of an area

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination