CN117635523A - 显微镜系统和生成处理显微镜数据的机器学习模型的方法 - Google Patents

显微镜系统和生成处理显微镜数据的机器学习模型的方法 Download PDF

Info

Publication number
CN117635523A
CN117635523A CN202311068745.7A CN202311068745A CN117635523A CN 117635523 A CN117635523 A CN 117635523A CN 202311068745 A CN202311068745 A CN 202311068745A CN 117635523 A CN117635523 A CN 117635523A
Authority
CN
China
Prior art keywords
data
microscope
training
clusters
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311068745.7A
Other languages
English (en)
Inventor
M·阿姆托尔
D·哈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN117635523A publication Critical patent/CN117635523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

在计算机实现的方法中，使用包含显微镜数据(F、G)的数据集(D)来训练用于处理显微镜数据的机器学习的模型(M)。计算数据集(D)在特征空间(Z)中的嵌入(E)。分析嵌入(E)以便为模型(M)的训练(25)确定训练设计规范(50)。训练(25)被定义为训练设计规范(50)的函数，并且随后被实施，由此模型(M)被配置为从待处理的显微镜数据(J)计算处理结果(60)。

Description

显微镜系统和生成处理显微镜数据的机器学习模型的方法
技术领域
本公开涉及一种显微镜系统和一种生成用于处理显微镜数据的机器学习模型的计算机实现的方法。
背景技术
在现代显微镜系统中，机器学习模型的作用的重要性持续增加，特别是在图像处理和数据评估领域。机器学习模型被用于例如自动定位样品或用于自动样品分析，例如以便通过分割测量生物细胞覆盖的面积或自动对细胞的数量进行计数。学习模型还被用于虚拟染色样品结构或用于图像增强，例如用于降噪、分辨率增强或伪影去除。
在许多情况下，显微镜用户用他们自己的数据来训练这样的模型。由申请人开发的显微镜软件允许用户使用他们自己的数据来进行训练过程，而无需机器学习领域的专业知识。这很重要，因为它有助于确保模型适合于用户处理的图像类型。也有人努力使包含新显微镜数据的训练过程最大可能程度地自动化。
模型训练的实施对模型的最终质量具有决定性的影响。质量明显受到例如所选择的模型架构或复杂度、训练的超参数、用于训练的数据集的准备以及将数据集划分为训练和验证数据的影响。如果训练以很大程度上自动化的方式执行，则有必要在最大可能的程度上自动地适当定义这些因素。然而，迄今为止，为了获得高质量的模型，有经验的专家必须进行大量的工作。
例如，将数据集手动划分为训练和验证数据需要相当多的经验，但与基于简单标准定义的自动划分相比，能够获得更高质量的结果，例如，使用数据集的每第十个图像作为验证图像。这种简单划分的使用可以容易地导致模型中的偏差和过度拟合，当使用验证数据测试模型时，这种偏差和过度拟合不一定被识别。例如，机器学习模型旨在区分不同类型的细菌。在不同的测量日期分别捕获与这些类型的细菌之一相关的显微镜图像。然而，捕获的显微镜图像的噪声特征随测量日期的不同而不同。因此，可能发生的是，该模型基于图像的噪声特征(而不是基于细菌的外观)来学习辨别细菌的类型，因为有可能通过噪声特征来完美地辨别测量日期以及因此辨别细菌的类型。如果验证数据从整个数据集中随机地抽取，则验证将产生非常好的结果，尽管模型已学习到数据的不正确解释，并且模型不太可能能够正确地识别其他显微镜图像中的细菌类型(具有不同的噪声特征)。
模型复杂度通常由专家手动定义。尽管用于定义复杂度和其他训练参数的自动方法是已知的，例如AutoML，但是这些方法需要高成本和长时间的测试训练运行，以便能够将不同训练的模型变量相互比较，从而定义训练参数。有关AutoML方法的更多信息，请参见：Xin He et al,,arXiv:1908.00709v6[cs.LG]16Apr.2021,"AutoML:A Survey of theState-of-the-Art"。
训练数据中的异常值也会损害模型质量。例如，在分类任务中，异常值可以是具有不正确类别名称的显微镜图像。训练数据中的异常值通常根本无法被识别。原则上，可以在训练之后通过将预测与基本事实注释进行比较来识别异常值。然而，为了通过这种比较来识别异常值，模型必须还没有记住错误注释的数据，以便基于该数据做出预测。因此，异常值的识别通常需要相当大的努力并且可靠性有限。
参考X.Glorot等人的“(2010):Understanding the difficulty of trainingdeep feedforward neural networks”作为背景信息。本文描述了训练和验证神经网络的典型步骤。它还解释了可如何确定例如学习率以及模型的激活函数的设计和参数的适用值。
在减少要学习的模型参数的数量方面和在模型参数相互独立方面的显著改进描述于：HAASE,Daniel；AMTHOR,Manuel“的“Rethinking depthwise separableconvolutions:How intra-kernel correlations lead to improved MobileNets",arXiv:2003.13549v3[cs.CV]13Jul 2020”。
作为进一步的背景，还可以参考Laurens van der Maaten,Geoffrey Hinton的“Visualizing Data using t-SNE"in Journal of Machine Learning Research 9(2008)2579-2605”,以及Laurens van der Maaten“的“Accelerating t-SNE using Tree-BasedAlgorithms，Journal of Machine Learning Research 15(2014)1-21”,以及等人的“Current Projection Methods-Induced Biases at SubgroupDetection for Machine-Learning Based Data-Analysis of Biomedical Data，Int.J.Mol.Sci.2020,21,79；doi:10.3390/ijms21010079”。这些文章描述了可如何以更容易解释的方式表示数据集。为此，采用了t分布随机邻居嵌入。
在Ekin D.Cubuk，，等人的“AutoAugment:Learning Augmentation Strategiesfrom Data,arXiv:1805.09501v3[cs.CV]11Apr.2019”中描述了自动数据增强的方法。通过增强，训练数据集的图像或其他数据被略微地修改，以便从中生成进一步的训练数据。在自动增强中，增强策略使用可用的数据来推导。用可用的数据训练已知的模型，以便用基于随机验证样品的强化学习方法来学习最优策略。因此，在将数据集划分为训练和验证数据时会遇到相同的缺点，因为验证数据在这里可能有偏差。也不可能直接地从数据推导出策略，因此数据增强所涉及的工作量可能很大。
发明内容
可以认为本发明的目的是提供一种显微镜系统和方法，该方法基于给定的数据集为模型确定适用的训练，从而以尽可能高的质量和尽可能低的错误率来进行捕获的显微镜数据的处理。
这个目的通过具有独立权利要求的特征的显微镜系统和方法来实现。
在根据本发明的用于生成用于处理显微镜数据的机器学习模型的计算机实现的方法中，获得包含显微镜数据的数据集用于训练模型。计算数据集在特征空间中的嵌入，即显微镜数据或从显微镜数据推导的数据在低维特征空间中的嵌入。分析嵌入，以便为模型的训练确定训练设计规范。随后根据训练设计规范来定义模型的训练。然后实施训练，由此模型被配置为能够从待处理的显微镜数据计算处理结果。
根据本发明的显微镜系统包括用于图像捕获的显微镜和被配置为执行根据本发明的计算机实现的方法的计算设备。显微镜特别地可以被配置为捕获显微镜数据或从中获得显微镜数据的原始数据。
根据本发明的计算机程序包括命令，当程序由计算机执行时，导致根据本发明的方法的执行。
本发明使得(特别是自动地)基于在低维特征空间中训练数据的嵌入，已经在训练之前识别与训练相关的因素成为可能。
这与引言中提到的AutoML方法形成对比，在AutoML方法中，将模型的多个不同训练的变型相互比较，这需要运行几次耗时且计算量大的训练。例如，本发明允许基于数据集的超参数的推荐，而AutoML仅基于训练模型确定超参数的推荐。因此，用AutoML的超参数优化可能在验证中遇到偏差，特别是当执行的数据集划分成训练和验证数据不理想时。本发明还允许对训练数据的准备做出推荐，特别是对于训练和验证数据的划分，这用AutoML是不可能的。与本发明相比，用AutoML也不可能发现数据集中的异常值。
可选的实施例
根据本发明的显微镜系统和根据本发明的方法的变型是从属权利要求的主题，并在下面的描述中解释。
数据集
数据集包括显微镜数据，其中至少一部分旨在用作模型的训练和验证数据。
显微镜数据指的是显微镜的测量数据或由此计算的数据。例如，显微镜数据可以是显微镜图像，其通常可以理解为图像数据，特别是图像堆栈或体数据。
显微镜图像或通常的数据集的数据被用作用于待训练的模型的输入数据。在监督训练的情况下，数据集还包括每个显微镜图像的注释，例如目标图像、一个或多个类别标签或分割掩码。注释被用作训练中的计算目标或基础事实。对于部分监督的训练，也可以使用仅部分注释的显微镜数据。可选地，数据集还可以包括情境信息，这将在后面更详细地解释。在无监督训练的情况下，数据集不需要包括注释。
数据集的嵌入
数据集的显微镜数据可以在嵌入中表示为例如特征空间中的点云。特征空间中的点在下文中被称为嵌入的数据点，并且表示数据集的显微镜图像(或者更一般地，数据集的数据对象)。可选地，可以为数据集的显微镜数据，例如，为显微镜图像(从而为嵌入的数据点)提供注释和/或情境信息。在嵌入的计算中不需要考虑注释和可选的情境信息，由此它们对嵌入的数据点在特征空间中的位置没有直接影响。
可选地，嵌入可以被可视化，以便于半自动数据分析。在这种情况下，嵌入显示在屏幕上，并且向用户提供用于选择数据点的输入选项。如果用户选择数据点，将显示相关联的显微镜数据。嵌入的数据点不一定必须表示为可视化中的点；相反，也有可能显示例如相关联的显微镜图像的缩略图。因此，嵌入的数据点通过其在特征空间中相对于其他嵌入的数据点的坐标来表征，而可选的显示可以采取不同的形式。
计算数据集的至少一个嵌入
数据集在特征空间中的嵌入可以以基本上已知的方式来计算。通过降维方法，高维数据集被转换成例如二维或三维数据集(嵌入)。降维旨在尽可能地保留高维数据的重要内容。
计算嵌入可以可选地发生在多个步骤中，其中首先从显微镜图像或者一般来说从数据集的数据对象中提取特征向量。然后将特征向量嵌入在(降维的)特征空间中。
例如，可以首先将数据集的显微镜图像/数据对象输入到机器学习的特征提取器中。一般来说，特征提取器将输入映射到降维的输出，然后从每个显微镜图像计算特征向量。特征向量可以在特征空间中表示或嵌入特征空间中。因此，特征空间不必由特征向量来扩展，而是可以具有比嵌入所带来的特征向量更低的维度。在相关文献中已充分地描述了通过深度神经网络实现的特征提取器。特征提取器(提取模型)可以用数据集和/或其他数据来训练，并且为数据集中的每个数据对象运行，以便计算相关联的特征向量。为了加速特征提取，可以像Blueprint Separable Convolutions(如上所述，由HAASE,Daniel；AMTHOR,Manuel描述于“Rethinking depthwise separable convolutions:How intra-kernelcorrelations lead to improved MobileNets,arXiv:2003.13549v3[cs.CV]13Jul2020”)使用分离的卷积核。
例如，可以通过随机邻居嵌入(SNE)，特别是通过t分布随机邻居嵌入(t-SNE)来计算嵌入。SNE的输入数据可以是数据集的显微镜数据，例如显微镜图像，或者从中推导的特征向量。在SNE中，显微镜图像对之间或特征向量之间的距离(例如高维欧几里德距离)首先被转换成条件概率，其表示显微镜图像对之间或特征向量对之间的相似性。这里使用了概率分布，在标准SNE的情况下，其具有高斯分布的形式，在t-SNE的情况下，其具有学生的t-分布的形式。第一和第二显微镜图像或特征向量之间的相似性被表示为第一显微镜图像/特征向量从概率分布将第二显微镜图像/特征向量抽取作为其邻居的条件概率。概率分布以第一显微镜图像/特征向量为中心，并且随显微镜图像/特征向量与第一显微镜图像/特征向量的距离增加而变小。因此，条件概率越小，两个显微镜图像/特征向量彼此越不相似。如果考虑另一对，则使用以该对显微镜图像/特征向量为中心的概率分布。在降维的特征空间中为相关联的嵌入的数据点定义相应的条件概率，其中概率分布指示降维的特征空间中的距离。对于数据对，这个条件概率的值应该等于前面提到的两个显微镜图像/特征向量接近的条件概率的值。在SNE方法中，这两个条件概率之间的误差被最小化，例如通过最小化Kullback-Leibler散度之和，以便计算嵌入。
在引言中引用的文章中描述了t-SNE和更一般的SNE方法的示例实现，即在Laurens van der Maaten,Geoffrey Hinton的“Visualizing Data using t-SNE，Journalof Machine Learning Research 9(2008)2579-2605”中；以及在Laurens van der Maaten“的“Accelerating t-SNE using Tree-Based Algorithms，Journal of MachineLearning Research 15(2014)1-21”中。这些文章的内容在此全部通过引用并入本文。本公开中使用的数据集对应于文章中的数据集X＝{x1，x2，…，xn}，因此数据集的显微镜数据对应于变量x1，x2，…，xn。计算的嵌入在文章中指的是Y＝{y1，y2，…，yn}。因此，嵌入的数据点对应于值y1，y2，…，yn之一。在这些出版物中使用的距离范数，特别是欧几里德距离，将被理解为示例，即可以使用其他距离范数来代替。
因此，嵌入方法产生特征空间，特征空间原则上可以具有小于数据集的原始数据的维度的任何维度。特征空间可以被选择为二维或三维的，以便于表示。
嵌入可以涉及整个数据集，或者特别是对于大型数据集，仅涉及数据集的一部分。
t-SNE通常仅用于可视化的目的，之后需要人工解释。相比之下，通过稍后更详细描述的分析过程，本发明能够为模型的训练得出推论，特别是关于要实现的模型的最佳复杂度、数据划分和增强的推论。也有可能以自动的方式从t-SNE嵌入中识别异常值。
t-SNE或其他嵌入方法的输入数据可以是数据集的显微镜数据，特别是显微镜图像的像素值。替代地，从显微镜数据中提取的特征可以形成输入数据。例如，可以通过预训练的CNN和/或Fisher矢量编码来进行提取。也有可能提取和分析其他特征，例如分割掩模。
也可以采用其他方法代替SNE或t-SNE来将输入数据变换或投影到嵌入中。例如，可以使用自动编码器或一些其他有瓶颈结构的机器学习模型。这些模型可以通过使用通用数据集、使用与所讨论的数据集的应用领域相似的数据或者原则上使用数据集本身来学习。瓶颈层创建输入数据的压缩低维表示。由瓶颈层输出的数据因此可以用作嵌入。替代地，可以采用主成分分析(PCA)或独立成分分析(ICA)。非负矩阵分解(NMS)也是可能的，其中矩阵由总共有较少参数的矩阵的乘积来近似，这同样带来了维度的降低。一般的无损或有损压缩方法也是可能的，因为数据集的数据量由此被呈现为接近实际的香农熵。有损压缩还可以过滤掉通常不旨在对预测机器学习模型有贡献的噪声。前述方法的输出可以是嵌入；替代地，前述方法也可以在SNE或t-SNE之前被利用作为特征提取器。在后一种情况下，用于所述方法之一(例如压缩方法)的输入数据由显微镜数据构成，并且由此计算的输出数据被输入到计算嵌入的SNE/t-SNE中。
通过嵌入的分析定义训练设计规范
基于数据集的至少一个嵌入来识别训练设计规范，其中训练设计规范与模型的训练的设计相关，特别是模型的架构或复杂度、训练数据的准备、数据集到训练和验证数据的划分或训练的超参数的定义。术语“训练设计规范”的单数和复数形式在本公开中可以理解为同义词。
通过嵌入的分析来定义训练设计规范。特别地，在分析中可以识别嵌入的数据点的聚类。也可以对聚类的同质性进行评估。同质性评估可以与聚类的数据点的类别标签相关。替代地或额外地，同质性评估还可以与特征空间中嵌入的数据点的数据点云的空间同质分布相关。
下面解释了不同的训练设计规范以及用于从嵌入确定这些训练设计规范的相关联的分析过程。
基于嵌入将数据集划分为训练和验证数据
所提供的数据集必须被分成训练数据和验证数据，这在某种意义上被理解为数据集的一部分显微镜数据(例如显微镜图像)被用作模型的训练数据，而另一部分显微镜数据被用作验证数据。训练数据用于迭代地调整模型的参数值，例如通过优化目标函数，其中通过梯度下降计算参数修改。另一方面，验证数据仅用于评估模型的质量，而不用于通过例如梯度下降方法计算参数修改。
在常规过程中，数据集被随机地或根据不考虑数据内容的简单规则分成训练数据和验证数据，例如规定例如数据集的每第十个显微镜图像(every tenth microscopeimage)被分配为验证图像的规则。
另一方面，用本发明可以推荐将数据集划分为训练和验证数据作为训练设计规范，其中划分基于嵌入特征空间中的数据点的布置来确定。嵌入的数据点可选地包括注释或类别标签。考虑嵌入的数据点的布置允许有意义和可靠的验证。
为了确定划分，嵌入的分析可以包括嵌入的数据点的聚类的识别。聚类可以被理解为多个数据点的组或集合，数据点彼此之间的距离小于这些相同的数据点到不属于该聚类的其他数据点的距离。
有可能确定聚类是否由具有相应类别标签的数据点同质地形成。同质可以理解为该聚类中所有数据点的至少95％或至少98％具有相同的类别标签。例如，每个类别可以有一个或多个同质聚类。在同质聚类的情况下，从多个聚类或每个聚类中选择(例如随机抽取)用于验证数据的数据点。为训练数据选择剩余的数据点，以便从每个聚类选择用于训练数据的数据点。这可以特别地防止选择聚类的所有数据点作为验证数据，由此整个聚类(其数据在结构上不同于其他聚类的数据)将不可用于模型参数值的调整。如果用于验证数据的数据点从每个聚类(或者从例如所有聚类的至少80％)选择，这可能实现特别有信息的验证，因为验证覆盖了大部分结构上不同的数据集。
选择用于训练或验证数据的“数据点”或者将数据点分配为训练或验证数据旨在被理解为属于该数据点的显微镜数据被选择作为训练或验证数据。因此，输入到模型中的不是嵌入的数据点，而是相关联的显微镜数据。
换句话说，在同质的聚类的情况下，其相关联的嵌入的数据点覆盖不同聚类或所有聚类的显微镜数据被选为验证数据。在这种情况下，选择其相关联的嵌入的数据点覆盖所有聚类的显微镜数据作为训练数据。
相比之下，当建立不同质(非同质)的聚类时，即当聚类的数据点具有不同的类别标签时，可以推荐对训练和验证数据的不同划分。例如，当用不同的显微镜捕获显微镜数据并且不同显微镜的显微镜数据在结构方式上不同时，例如由于不同的噪声行为、不同的照明特征或者由于在捕获的图像中可见的诸如样品载体或样品载体支架的部件，这可能发生。由于这种类型的偏差，不同显微镜的显微镜数据形成不同的聚类。如果数据点根据它们的类别标签在聚类内被分离，则数据集可能仍然适合于模型的训练。稍后将描述不同的情况，在这些情况下，不同质的聚类适合于或者不适合于训练。这取决于偏差的类型和影响，在某些情况下，这使得模型难以甚至不可能进行类别检测。在非同质的聚类的情况下，可以将数据集划分为训练和验证数据，从而选择其中一个聚类的数据点(特别是该聚类的所有数据点)作为验证数据，而不选择该聚类的数据点作为训练数据。相反，来自多个其他聚类的数据点仅用于训练数据，而不用于验证数据。基于数据的这种划分，验证数据允许关于模型的可推广性有意义的声明。如果在没有特定的聚类的数据的情况下训练的模型可以在验证中正确地预测该聚类的类别标签，则可以假定良好的可推广性，同时偏差的影响(对于在推断阶段待分析的显微镜数据是未知的)似乎没有不适当地损害类别检测。另一方面，如果偏差极大地损害了类别检测，则可以用验证数据建立相应较差的模型质量。在训练和验证数据的不同划分的情况下，该验证声明将不可能可靠：例如，如果训练数据包括来自每个聚类的数据点，那么如果训练持续足够长的时间，则训练数据的偏差将最终被模型记住。因此，验证数据总是建议模型质量高。该偏差实际上对模型的分类结果有很强的影响，但仍未被检测到。尽管基于验证数据确定了高模型质量，但是在推断阶段有不同偏差的显微镜数据的分析将因此导致错误结果。
数据集到训练和验证数据的适当的划分的确定可以与下面描述的数据集的适用性的确定相组合。
通过对嵌入的分析来确定数据集的适用性
可以基于数据集的嵌入来估计数据集是否适合于模型的训练。确定的适用性指示可以作为训练设计规范输出。
首先，在嵌入的分析中识别有注释/类别标签的嵌入的数据点的聚类。然后进行分析以确定聚类是否由具有相应类别标签的数据点同质地形成。如果是这种情况，则肯定数据集对于模型的训练的适用性。
对于非同质的聚类，如果数据点根据它们在聚类内的类别标签不可分离，即，如果具有相应类别标签的数据点在聚类内不可与具有不同类别标签的数据点分离，则可以否定数据集的适用性。关于聚类内的数据点，“可分离”可以理解为对于每个类别标签，特征空间中的连续区域分别包括类别标签的所有数据点。例如，当不同注释的数据点随意混合在聚类内时，情况并非如此。
替代地或额外地，聚类内的数据点根据它们的类别标签是可分离的情况下，可以根据类别分离规则的可推广性来肯定或否定适用性。如果类别分离规则的可推广性被肯定，则提供了适用性。例如，根据数据点的类别标签来分离数据点的类别分离规则可以从多个(但不是所有)聚类的数据点推导出。因此，类别分离规则定义了特征空间中的不同区域，通过这些区域，具有相应类别标签的数据点与具有不同类别标签的数据点分离。当类分离规则也适用于未用于确定类分离规则的另一个聚类的数据点时，可推广性被肯定。
基于可推广性，有可能区分是否存在仍然允许类别分离的偏差，或者是否存在使根据类别分离数据点不可能的显著偏差。
基于嵌入将所提供的数据集划分为训练和验证数据的评估
可能已经提供了数据集到训练和验证数据的划分。数据集的划分可以由用户手动确定，也可以由自动化过程确定。可以使用嵌入来测试或评估已经提供的数据集划分的适用性。
嵌入的分析可以如前面参考基于嵌入确定数据集的划分所描述的那样发生。
特别地，可以首先确定是否存在同质的聚类。在具有相应类别标签的数据点的同质的聚类的情况下，如果验证数据包括来自至少多个聚类，特别是来自所有聚类的数据点，并且如果训练数据包括来自所有聚类的数据点，则所提供的划分的适用性被肯定。
额外地或替换地，在非同质的聚类的情况下，可以规定，取决于是否存在非同质的聚类，非同质的聚类的数据点仅被选择用于验证数据而不是用于训练数据，所提供的划分被分类为适用的。可以规定，在肯定的情况下，适用性被肯定。上面参考基于嵌入的数据集的划分给出了关于适用性的更详细的解释。
基于嵌入的数据集的异常值的确定
在本公开中，异常值被理解为与正确的预期数据显著不同的不正确的数据。异常值可能由测量误差导致，例如当在没有实际测量对象的情况下捕获空白图像时。异常值也可能由不准确的数据注释导致，例如，当用户给显微镜图像分配不正确的类别标签时。
数据集的一个或多个异常值可以被识别并指示为训练设计规范。例如，在嵌入的可视化中，已被识别为异常值的嵌入的数据点可以被标记并且可选地被列出。
可以通过分析嵌入来识别异常值，其中根据数据点在嵌入中的位置将数据点识别为异常值。识别为异常值也可以根据可选的注释来发生。如果数据点距离直接相邻的数据点比给定的阈值更远，则数据点可以特别地被识别为异常值。阈值可以选择为其他数据点之间距离的函数。例如，可以确定嵌入中直接相邻的数据点之间的平均距离，并且可以将阈值设定为平均距离的预定倍数。如果提供了类别标签，那么如果数据点离具有相同类别标签的直接相邻的数据点比给定阈值更远，则具有特定类别标签的数据点可以被识别为异常值。
替代地或额外地，如果具有给定类别标签的数据点位于具有不同类别标签的数据点的(同质的)聚类内，则具有给定类别标签的数据点可以被识别为异常值。当例如聚类中所有数据点的至少95％或98％具有相应的注释时，聚类可以被分类为同质的。具有不同注释的数据点可以被归类为这种同质的聚类内的异常值。
可以自动地从数据集去除或从训练或验证数据排除识别的异常值。替代地，可以向用户显示识别的异常值，以便检查例如手动分配的注释。可选地自动生成对修改的注释的推荐，其中相邻数据点的注释被提议作为修改的注释。当由于错误的手动注释，数据点在其他同质的聚类内时，这样的推荐特别有意义。
基于嵌入定义训练超参数
还可以通过至少一个嵌入的分析将超参数定义为训练设计规范。
超参数或训练超参数被理解为与训练过程或模型结构相关的参数。与模型权重不同，超参数不用于输入数据的处理。用例如AutoML方法中已知的用于定义超参数的传统方法，有必要进行多个计算密集且耗时的测试训练运行。相比之下，基于嵌入定义超参数节省了时间。
训练超参数可以是例如：学习率(即，定义模型权重的值在梯度下降方法中被修改到什么程度的参数)、直到训练结束的训练步骤的数量或权重的衰减行为(权重衰减)。在权重衰减的情况下，一个或多个超参数描述了，在训练期间，例如在给定数量的训练步骤之后，模型权重的学习值在数量上分别减少(即，它们的绝对值减少)到什么程度。这旨在防止过度拟合训练数据。
训练超参数的规划或超参数的值的变化也可以形成训练设计规范。例如，规划由在训练过程中依次使用的多个学习率构成，例如在给定数量的训练步骤之后或根据训练或验证损失。
下面讨论定义超参数的不同方法。
超参数：训练步骤的数量
直到训练结束的训练步骤的数量可以被定义为训练超参数。为此，确定特征空间中嵌入的数据点的复杂度和/或同质性。发现复杂度越高——或者相反同质性越低——选择的训练步骤的数量就越高。
例如，如果不同类别的聚类彼此非常接近，如果聚类的分离具有很强的非线性形式，如果作为整体的嵌入由许多分散的聚类以复杂的方式形成，和/或如果聚类具有复杂的形式，则相对长的训练可能是必要的。
基于嵌入定义模型复杂度或模型架构
待训练的模型的模型架构和/或模型复杂度也可以被推荐作为训练设计规范。模型可以包括显微镜数据被输入到其中的特征提取器和特征提取器的输出被输入到其中的至少一个后续模型部分。
为了确定适用的模型复杂度，可以使用不同复杂度的特征提取器。还可以使用具有不同架构的多个特征提取器来确定适用的模型架构。用每个特征提取器从数据集的显微镜数据分别计算一组特征向量。不同复杂度的特征提取器可以是机器学习的网络，这些网络例如在(卷积)层的数量上不同，或者通常在待学习的模型参数的数量上不同。称为ResNet-10、ResNet-34和ResNet-50的网络是一个示例，这些网络的层的数量不同。
接下来，从每组特征向量分别计算嵌入，即每个特征提取器一个嵌入。
基于不同类别的嵌入的数据点的分离且基于嵌入的数据点的聚类，将嵌入相互比较，以便选择特征提取器之一。理想地选择能够充分的类别分离，但不会不必要地复杂的特征提取器。
如果不同类别的聚类重叠，如果聚类具有分散的、空间模糊的边界和/或如果聚类是分散的，特征提取器很可能不够复杂。许多没有重叠的特别紧凑的聚类可以指示过度拟合，因此在特征提取器中过于复杂。当相同类别的数据点分别形成不与其他类别的聚类重叠的几个紧凑的聚类时，提供了适当的模型复杂度。
推荐将选择的特征提取器用作模型的一部分。推荐可以被自动地采纳，或者例如在用户批准后被采纳。
在所描述的实施例的变型中，首先使用单个特征提取器，并且评估相关联的嵌入，以确定所使用的特征提取器是否过于复杂、不够复杂或者就其复杂度而言合适。如上所述，这种评估可以基于聚类和基于类别分离来进行。如果评估指示不够复杂，则接下来使用更复杂的特征提取器，反之亦然。重复该过程，直到找到具有合适的复杂度的特征提取器。
数据选择：平衡来自不同聚类的数据
不同类型数据的平衡在训练数据中是重要的，以便能够进行稳健的训练。在不平衡的情况下，例如当具有特定类别标签的数据代表性不足时，该类别可能不被模型良好地学习，或者甚至可能被忽略。
为了创建平衡，可以从数据集去除某些显微镜数据，或者不被选择用于训练和验证数据。使用嵌入来检查平衡：嵌入的数据点的不同聚类应该具有大约相同的尺寸，其中尺寸被理解为每个聚类的数据点的数量。
在每个聚类的数据点的数量不同的情况下，为训练数据选择数据点，使得每个聚类的所选的数据点的数量彼此接近。“彼此近似”旨在被理解为聚类尺寸的差异小于由嵌入的所有数据点给出的原始聚类尺寸。尺寸接近可以特别地发生，使得聚类在它们的数据点的数量上最多相差10％或20％。也可以对验证数据进行选择，通过该选择，每个聚类所使用的数据点的数量在聚类之间最多变化10％或20％。
平衡也可以作为每个类别的聚类的数量的函数而发生。每个类别的数据点的数量应该相同，例如在+/-20％的精度范围内。如果第一类别的数据点比第二类别的数据点形成更多的聚类，则第一类别的聚类应该比第二类别的聚类包含更少的数据点。
在所述实施例的变型中，通过定义在训练中使用显微镜数据的不同概率或频率，而不是通过训练数据的数据点的特定选择，来实现平衡。可以为这些数据点分配较小的在训练中使用相关联的显微镜数据的概率或频率，而不是减少聚类的数据点的数量。
推荐基于嵌入放大数据集
基于嵌入中数据点的分布，可以推荐将具有某些特征的新显微镜数据添加到数据集，特别是合并具有这些特征的新显微镜数据。这些特征可以特别地与诸如照明或检测设定的捕获参数，或者对比度类型、样品类型或样品准备类型相关。
当聚类中的数据点的数量小于给定的最小值时，可以推荐扩大数据集。在这种情况下，该聚类的显微镜数据代表性不足，并且可以推荐将与其类别和可选的元信息相对应的新显微镜图像合并到过于小的聚类的那些数据点。
额外地或替代地，如果确定具有相同类别标签的类别的数据点形成多个彼此间隔开的聚类，并且有可能将聚类与已知不导致聚类分离的情境信息相关联，则可以推荐数据集的扩展/扩大。在这种情况下，可以推荐为该类别的其他显微镜数据提供用于情境信息的不同的值。在不同的聚类根据情境信息的差异出现的意义上，可以理解前述的相关性。假设所有其他情境信息(例如样品类型和对比方法)是相同的，则这种分离不应发生，例如，当情境信息指定捕获显微镜数据的显微镜用户或捕获显微镜数据的测量日期时。
还可以考虑聚类之间的距离来推荐数据集的扩展。例如，在相同或相似类型的不同测量设备的情况下，相关联的数据点应该形成共同聚类或者至少相邻或接近的聚类。因此，在聚类之间距离大的情况下，推荐添加来自其他测量设备的显微镜数据。
额外地或替代地，当不同类别的聚类之间的边界区域被分类为扩散或模糊时，可以推荐扩展。这些聚类可能分别是同质的，但在边界区域内不可能进行充分的类别的分离。在这种情况下，可以推荐提供更多类似于边界区域的显微镜数据的显微镜数据。如果某些情境信息是边界区域的数据点的特征，推荐添加具有该情境信息的显微镜数据。
当聚类非常紧凑时，即，特征空间中的聚类的测量值小于预定的最小值，或者小于与其他聚类的平均尺寸的预定比率，也可以推荐数据集的扩展。
在嵌入中不能充分分离的类别或类别的数据点可以被识别并可选地显示给用户。为此，嵌入中的数据点的分布可以用于确定一个类别的数据点的聚类是否与另一个类别的数据点的聚类重叠。在这种情况下，出现相关联的数据点或类别以及不满足充分的分离性的警告的输出。
基于嵌入的数据增强推荐
嵌入中数据点的分布可以用于推荐或评估增强。增强表示计算过程，通过该计算过程，从数据集的显微镜数据生成新的显微镜数据。增强推荐可以与某些数据点和/或增强的强度相关。在增强中，以可定义的强度执行一个或多个数学操作，例如仿射变换，如图像旋转、图像失真或缩放。
如果聚类在嵌入中过于紧凑和孤立，则可以推荐增强该聚类的显微镜数据，以增加数据方差并降低过度拟合的可能性。
也可以首先以已知的方式进行增强，以便随后计算嵌入，嵌入也包括通过增强生成的额外的显微镜数据。根据前述标准来分析该嵌入，以便做出关于适用的增强的声明。
可以在嵌入的表示中标记由增强生成的数据，以便能够评估增强对聚类的影响。如果作为增强的结果，聚类的扩展变得过于大或过于分散，则应该降低所使用的增强的强度。
情境信息/元信息
数据集还可以包括与显微镜数据相关的情境信息。显微镜数据可以特别地是显微镜图像，其中为多个或每个显微镜图像提供至少一条情境信息。情境信息可以涉及或指示例如以下中的一个或多个：
显微镜数据的捕获的(日历)日期；用于捕获显微镜数据的显微镜系统和显微镜设定；使用的样品载体；被分析样品的类型；显微镜数据中描述的样品的样品准备；关于显微镜数据所属的患者的信息；
将数据集预先划分为训练和验证数据；
类别身份；关于表示显微镜图像的显微镜数据配准并且在捕获或显示特征上不同于显微镜图像的分割掩码或图像。
在前述分析步骤中可以考虑情境信息。例如，可以将同质的聚类的数据点划分为训练和验证数据，使得训练和验证数据分别包含具有不同情境信息的值的相同的同质的聚类的数据点，其中情境信息的值可以指定例如为其捕获显微镜图像的不同患者。这确保了所使用的数据的更大的多样性。
如果为数据集的显微镜数据提供了注释和情境信息，则可以分析数据集的嵌入，以确定具有相应的注释的嵌入的数据点是否形成根据给定条情境信息的值的不同的聚类。如果是这种情况，则可以输出指令，即给定的情境信息应与显微镜数据一起输入到模型中(在训练和推断阶段)。例如，情境信息可以指示所使用的显微镜部件的类型或具体型号，例如所使用的DIC滑块的类型(DIC：差分干涉对比度)或所使用的照明单元。另一方面，如果嵌入没有表现出根据所述条情境信息的任何聚类，则该情境信息似乎不太相关，并且在模型的训练中不必考虑。
用于分析嵌入的机器学习的分析模型
可选地，嵌入可以被输入到机器学习的分析模型中，该模型根据输入的嵌入计算训练设计规范。所讨论的训练设计规范可以采取前面讨论的示例的形式。
可以使用训练数据(分析模型训练数据)来学习分析模型，训练数据包含作为输入数据的嵌入和作为相关联的目标数据的预定义的训练设计规范。例如，异常值可以在分析模型的训练数据中被标记，使得分析模型学习在输入的嵌入中将某些数据点识别为异常值。分析模型的训练数据还可以包含情境信息/元信息，使得分析模型学习考虑这种信息。
嵌入的不同表示可以用作机器学习的分析模型的输入数据。嵌入可以采取由一个或多个图像描绘的嵌入的数据点的数据点云的形式。2D嵌入可以特别地被表示为图像，其中注释被表示为额外的值，例如颜色或灰度。还可以提供情境信息作为(2D)嵌入的每个点的额外的值。这里也不局限于例如三个颜色通道；相反，可以为每个嵌入的数据点提供任何数量的通道。除了2D嵌入，还可以使用任何维度的嵌入空间。
分析模型的训练数据的注释不必手动确定或从嵌入确定。相反，也可以通过AutoML方法分别确定多个数据集的超参数，并在分析模型的训练中使用所确定的参数作为注释/目标数据。有利的是，这允许分析模型在完成训练后以相对小的计算工作量从嵌入计算超参数，这只有在AutoML用于相同的数据集时才可能以相当大的工作量实现。
训练和推断阶段的实现
根据训练设计规范定义训练可以理解为训练设计规范被自动地采用、推荐给用户或者在自动采用之前由另一个程序首先测试。例如，可以推荐多个训练步骤，其中另一个程序检查该数量在可接受的限度内。
然后，如果合适的话，用采用的训练设计规范进行训练。模型由此被配置为从显微镜数据计算处理结果。
在完成训练后，在推断阶段，不形成数据集的一部分的待处理的显微镜数据可以被输入到模型中。模型的不同设计将在下文中被更详细地描述。
模型/图像处理模型
机器学习的模型可以是图像处理模型，并且输入到模型中的显微镜数据可以是或者包括显微镜图像。通常，模型可以被设计特别是用于回归、分类、分割、检测和/或图像到图像的转换。图像处理模型可以特别地被配置为从至少一个输入的显微镜图像计算以下中的至少一个作为处理结果：
关于显微镜图像中是否存在某些对象的声明。这可以包括对象或实例的重新识别，通过其特别检查在一个显微镜图像中识别的对象、对象类型或对象实例是否也在其他显微镜图像中描绘。
逆图像变换，通过其来估计给定图像变换的逆变换。
与所描绘对象相关的几何规格，例如对象的位置、尺寸或取向；所描绘对象的标识、数量或特征。特别地，还可以确定汇合，即显微镜图像被某种类型的对象覆盖的区域的比例。
关于分析条件、显微镜设定、样品特征或图像特征的警告。显微镜设定可以与例如照度或其他照明设定、检测设定或聚焦相关。
异常或新颖检测。如果输入的显微镜数据明显不同于训练的显微镜数据，则确定相对于训练数据的异常或新颖。图像处理模型还可以充当监察器，并在未预先定义的差异情况下发出警告。
控制命令、用于控制显微镜或显微镜部件的控制命令的推荐，或者用于执行后续图像评估的命令/推荐。控制命令可以与例如照明、检测、图像捕获、聚焦、样品台位置、使用中的滤波器或使用中的物镜的变化相关。控制命令还可以与使用中的辅助部件相关，例如浸没设备或自适应光学器件，特别是空间光调制器(SLM)，通过空间光调制器来修改波前。可以推荐或命令某些图像评估，例如，根据显微镜图像中确定哪些对象。控制命令还可以与AutoCorr设定相关，从而调整物镜的校正环，以便补偿特定的像差。
确定用于捕获后续显微镜图像的捕获参数。
用于校准的参数确定，例如确定至少一个相机的位置和/或取向。
关于未来维护(预测性维护)的规范。这可以特别是特定显微镜部件是否已磨损和/或是否需要重新校准的规范。
模型测试结果，通过该结果测试另一个图像处理模型或其输出，例如由AutoML设计的模型。该模型可以对应于本公开中描述的图像处理模型之一。在测试模型输出的情况下，也可以推荐模型输出的校正。
其中例如所描绘的对象更清晰可见或以更高的图像质量来描绘的输出图像，或者其中某些结构的描绘被抑制的输出图像。改进的可见度或更高的图像质量通常可以与所描绘的对象相关，例如在降噪(去噪)、分辨率增强(超分辨率)、对比度增强(例如γ值或对比度扩展的调整)或解卷积的情况下。然而，改进的可见性也可以仅与特定的对象相关，如在不同对比类型之间转换的情况下，由此实现特定结构的虚拟染色。例如，转换可以发生在亮场和DIC(差分干涉对比度)的对比类型之间。例如，可以通过伪影去除或通过背景的细节减少来抑制结构。伪影减少不一定与已经存在于捕获的原始数据中的伪影相关，也可以与通过图像处理创建的伪影相关，特别是在模型压缩的情况下。模型压缩简化了机器学习的模型，以便降低模型的存储或计算需求，其中模型精度会略微降低，并且由于模型压缩会出现伪影。用于计算输出图像的图像到图像变换也可以与图像区域的填充(修补)相关，例如根据周围图像内容的瑕疵或间隙的填充。输出图像也可以是描绘的对象的密度图，例如通过标记单元或对象中心。还可以计算白平衡、HDR图像或去渐晕。白平衡从输入显微镜图像中去除扭曲的颜色或色调，使得实际上无色的对象在输出图像中被描绘为无色。在HDR图像中，与输入显微镜图像相比，每个颜色通道的可能亮度差异的比例增加。去渐晕去除了输入显微镜图像的边缘阴影，或者通常去除了朝向图像边缘增加的其他效应，例如颜色变化、成像误差或图像锐度损失。信号分离(“解混”)也是可能的，其中提取一个或多个信号分量，例如为了估计从捕获的图像提取光谱范围。图像处理模型还可以包括GAN(例如StyleGAN)的生成器。
分类结果，其指定根据显微镜图像的所描绘的图像内容的到多个可能类别中的至少一个的分类。不同的类别可以与例如样品类型、样品载体类型或其特征，例如某些对象的尺寸或数量或样品成分相关。还可以检查显微镜图像或某些图像区域中存在对象。对象可以包括例如细胞、病毒、细菌、其部分或颗粒。还可以对对象状态进行分类，例如细胞阶段，其中特别地可以区分活细胞和死细胞。这些类别还可以与显微镜特征、显微镜部件或捕获类型或后续测量和/或处理步骤的适用性相关。分类结果也可以与到点云形式的模型的输入相关。点云表示在维度减少的特征空间中显微镜图像的测量结果或特征向量。分类也可以是质量评价，例如关于图像捕获或预先执行的图像处理步骤。分类可以可选地采取顺序分类的形式，其中多个可能的类别形成顺序，例如在样品载体的质量评价或所描绘的对象的尺寸估计的情况下。一个类别的分类也是可能的，其中估计某一类别是否存在，而不更详细地定义另一类别。在所有的示例中，指定了类别成员的概率。特别是在顺序分类的情况下，还可以估计预定义类别之间的中间结果。前面提到的分类可以可选地通过“开集分类”来实现，其中检测输入数据是否来源于训练数据的分布，并因此可以被分配到已知的类别之一，或者它是否属于在模型的训练中没有考虑的新类别。
回归结果，该结果原则上可以与关于分类提到的示例相关，或者与例如样品容器的填充水平的确定、聚焦确定、图像质量确定或多孔板、其他样品载体或其他对象的高度确定相关。
光场计算，通过光场计算，从至少一个输入显微镜图像或输入图像数据估计样品的3D图像。
分割，特别是语义分割或实例分割，或某些结构的检测，例如：样品区域、不同样品类型或样品部分、一个或多个不同样品载体区域、背景、显微镜部件(例如用于保持样品载体的保持夹或其他部分)和/或伪影。分割可以通过交互式分割来进行，其中用户在一次性选择或多次迭代中选择显微镜图像中应该或不应该属于待分割对象的图像区域。分割也可以是全景分割，其中指示了被分割对象的语义和实例。检测可以被理解为对图像中是否存在一个或多个上述结构的指定，或者被理解为对一个或多个所述结构的位置的指定，其中位置的指定可以通过图像坐标或者例如通过相应结构周围的框架来进行，框架通常被称为边界盒。尺寸或其他几何对象特征的指定也可以通过检测输出在列表中。
数据减少，通过其产生输入的至少一个显微镜图像的压缩表示。数据减少可以特别地采取稀疏或压缩表示(压缩感测)的形式。
机器学习的模型的模型压缩，通过其简化模型。例如，可能通过参数减少来获得运行时间的改进。待压缩的模型可以特别地对应于本公开中描述的图像处理模型之一。
模型选择：确定多个机器学习的模型中的哪个将用于后续分析或图像处理。
在完成模型训练之后或仍在进行的模型训练期间(训练观察者)，对机器学习的模型或机器学习的模型的模型架构的评估。
图像处理模型的模型输出的评估，以便通过连续的主动学习来计算图像处理模型的模型参数的改善。
用于进一步机器学习的模型的训练数据。所讨论的训练数据可以由这里提到的任何输出构成。
显微镜工作流程的监督结果。可以评价图像数据，以检查是否发生了某些事件，例如普通或特定的样品载体或校准对象是否已被放置在显微镜台上。捕获的音频数据的频谱数据或音频数据的其他表示也可以被评估用于工作流程的监督。
另一图像处理模型的图像处理结果的置信度估计，该另一图像处理模型可以对应于例如本公开中描述的图像处理模型之一。
从图像数据集选择图像，其中选择的图像与输入的显微镜图像相似(图像检索)。
可以根据前述功能选择训练数据的类型。在受监督的学习过程中，除了显微镜数据外，训练数据还包括预定义的目标数据(基础数据)，计算的处理结果理想地应该与目标数据相同。对于分割，目标数据采取例如分割掩码的形式。在虚拟染色的情况下，目标数据采取例如具有化学染色的显微镜图像、荧光图像或通常以与待输入的显微镜图像不同的对比度类型捕获的显微镜图像的形式。
模型的架构
原则上，模型/图像处理模型的架构可以采取任何形式。它可以包括神经网络，特别是参数化模型或特别包含卷积层的深度神经网络。模型可以包括例如以下中的一个或多个：用于分类或回归的编码器网络，例如ResNet或DenseNet；训练以生成与输入理想地相同的输出的自动编码器；生成式对抗网络(GANs)；编码器-解码器网络，例如U-Net；特征金字塔网络；全卷积网络(FCNs)，例如DeepLab；顺序模型，例如递归神经网络(RNNs)、长短期记忆(LSTM)或变换器(Transformer)；全连接模型，例如多层感知器网络(MLPs)。
一般特征
本公开中描述的方法的过程可以自动或半自动地执行。例如，可以规定，在自动确定训练设计规范之后，用户根据训练设计规范手动定义训练，例如，采用、修改或丢弃推荐的超参数和数据集的推荐划分。确定的推荐可以以类似的方式，或者自动地，或者在人工批准后，或者在另一个自动执行的程序批准后实现。
类别标签：不同的变型实施例涉及分别被分配类别标签的显微镜数据或嵌入的数据点的使用。更一般地，这些变型还可以涉及使用提供了其他注释的数据点或显微镜数据。对应的类别标签可以理解为对应的注释。例如，汇合(confluence)，即显微镜图像中被生物细胞覆盖的区域，可以被指定为注释。如果偏差小于预定值，则可以假定可以用连续值表示并且不限于离散类别的汇合或一些其他注释的对应。替代地，汇合或其他注释可以通过预定义的间隔限制被划分成类别。这些类别在嵌入的分析中被考虑，并且不需要在模型的训练中被应用。
诸如“基于”、“使用”或“根据”的表达旨在被理解为非穷尽性的，因此可以存在进一步的依赖性。例如，如果数据集对于训练的适用性被评估根据所确定的特征，这并不排除进一步的特征也被确定并且被考虑用于适用性的评估的可能性。
表述“权重”或“模型权重”可以被理解为与机器学习的模型的“模型参数”或“模型参数值”同义。
本文使用的术语“验证数据”也可以包括测试数据。测试数据不用于确定或选择超参数。相反，测试数据仅用于已经训练的模型的最终质量评估。
机器学习的模型通常指定已由学习算法使用训练数据学习的模型。模型可以包括例如一个或多个卷积神经网络(CNN)，其中其他深度神经网络模型架构也是可能的。通过学习算法，使用训练数据来定义模型的模型参数的值。为此，可以优化预定的目标函数，例如可以最小化损失函数。修改模型参数值以最小化损失函数，损失函数可以例如通过梯度下降和反向传播来计算。
显微镜可以是光显微镜，其包括系统相机和可选的概览相机。其他类型的显微镜也是可能的，例如电子显微镜、X射线显微镜或原子力显微镜。显微镜系统表示包括至少一个计算设备和显微镜的装置。
计算设备可以以去分散的方式设计，可以是显微镜的物理部分，或者可以单独布置在显微镜附近或离显微镜任何距离的位置。它通常可以由电子器件和软件的任何组合形成，并且可以特别地包括计算机、服务器、基于云的计算系统或者一个或多个微处理器或图形处理器。计算设备还可以被配置为控制显微镜部件。特别地，当通过使用多个独立设备的联合学习来学习模型时，可以采用计算设备的分散设计。
单数形式的描述旨在涵盖“恰好1个”以及“至少一个”的变型。例如，由模型计算的处理结果旨在被理解为至少一个处理结果。可选地，这里描述的多个处理结果可以由模型从一个输入联合地计算。嵌入的计算也旨在被理解为至少一个嵌入。例如，可以以不同的方式从相同的数据集计算嵌入，这可以产生互补的信息。相同或不同的特征提取器可以用于不同的嵌入。
已经被描述为额外装置特征的本发明的特征，当按照预期实施时，也产生根据本发明的方法的变型。相反，显微镜系统或者特别是计算设备也可以被配置为执行所描述的方法变型。
附图说明
下面参照附图描述本发明的进一步效果和特征：
图1是根据本发明的显微镜系统的示例实施例的示意图。
图2示出了根据本发明的方法的示例实施例的过程；
图3-7分别显示了根据本发明的方法的示例实施例的显微镜数据的嵌入；
图8示出了根据本发明的方法的示例实施例的显微镜数据的嵌入；
图9示出了根据本发明的方法的示例实施例的过程；
图10示出了根据本发明的方法的示例实施例的过程；和
图11示出了根据本发明的方法的示例实施例的过程。
具体实施方式
下面参考附图描述不同的示例实施例。通常，相似的元件和以相似方式起作用的元件用相同的附图标记表示。
图一
图1示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备10和显微镜1，显微镜1在所示示例中是光显微镜，但是原则上可以是任何类型的显微镜。显微镜1包括支架2，通过支架支撑另外的显微镜部件。另外的显微镜部件特别可以包括：照明设备5；物镜转换器/旋转器3，在所示的示例中，物镜4安装在物镜转换器/旋转器3上；具有用于保持样品载体7的保持框架的样品台6；和显微镜相机9。当物镜4枢转到显微镜的光路中时，显微镜相机9接收来自样品可以位于其中的区域的检测光，以便捕获样品图像。样品可以是任何对象、流体或结构。除了显微镜相机9外或者代替显微镜相机9，也可以使用目镜12。显微镜1可选地包括额外的概览相机9A，用于捕获样品载体7的概览图像。概览相机9A的视场9C大于显微镜相机9的视场。在所示的示例中，概览相机9A通过反射镜9B观察样品载体7。反射镜9B布置在物镜旋转器3上，并且可以代替物镜4被选择。
在本公开中，显微镜数据被理解为由显微镜捕获的原始数据或由这种原始数据的后续处理产生的数据。显微镜数据特别可以是显微镜图像，即概览相机9A的概览图像或样品相机/系统相机9的样品图像。显微镜数据旨在由机器学习模型/图像处理模型来处理。该模型可以由形成计算设备10的一部分的计算机程序11来执行。模型训练的设计对于机器学习模型的最高可能质量是至关重要的。这将在下面参照附图进行解释。
图2
图2示意性地示出了根据本发明的方法的示例实施例的过程。通过所示的过程，显微镜数据F、G被嵌入到低维特征空间Z中。参考图1提及的计算设备10或计算机程序11被设计为执行该方法。
在过程P1中，获得数据集D，例如，用显微镜捕获或从存储器加载。数据集D包含显微镜数据F、G，其在所示的示例中是捕获的显微镜图像，但是其也可以由其他图像数据或从图像数据推导的数据形成，例如由分割掩码、时间序列或识别的细胞中心的图形成。显微镜数据F、G旨在用作机器学习模型的训练数据，这将参考后面的附图进行讨论。
显微镜数据F、G首先被输入到特征提取器20中，特征提取器20分别计算过程P2中的相关联的特征向量f、g。为每个显微镜图像F、G计算的特征向量f、g的信息内容应该基本上对应于相关联的显微镜图像的信息内容。在图示的示例中，特征提取器是预先训练的机器学习模型。例如，可以通过其维度小于显微镜数据F，G的维度的张量来形成特征向量f、g。对于显微镜图像，维度可以理解为像素的数量。
然后，特征向量f、g被输入到单元30或函数中，以计算嵌入E。在所示的示例中，单元30从输入特征向量f、g计算t分布随机邻居嵌入(t-SNE)，这在前面的一般描述中更详细地解释。尽管特征提取器20将每个显微镜图像单独地转换成特征向量f、g，但是t-SNE通过将所有的特征向量f、g一起考虑来计算。
嵌入E包括每个特征向量f、g的相关联的嵌入的数据点F′、G′。在所示的示例中，数据点F′、G′被映射到二维特征空间Z，尽管更高维的特征空间也是可能的。数据点F’、G’之间的距离是相关联的显微镜数据F、G的相似性的度量。嵌入E的分析，特别是嵌入的数据点F’、G’相对于彼此的位置的分析，因此允许得出关于显微镜数据F、G的特征和关于数据集D的组成的推断。
图3-7
不同数据集的嵌入E在图3至7中示意性示出。在这些示例中，分别为显微镜数据提供注释，例如，分别为每个显微镜图像规定类别标签。显微镜图像的注释相应地适用于相关联的嵌入的数据点。在图3至7中，通过将相应的数据点描绘为空心圆(F’)或实心圆(G’)来示意性地区分两个不同的类别标签。
图3示出了一种理想的情况，其中数据点F’形成聚类C1，数据点G’形成聚类C2。聚类被理解为特征空间Z中相邻数据点的集聚。聚类C1、C2根据类别标签被分离，即聚类C1同质地仅包括具有给定类别标签的数据点F’，而聚类C2同质地仅包括具有给定其他类别标签的数据点G’。聚类C1、C2彼此明显地分离。虽然图3示出了简化的示例，但是在Laurens vander Maaten，，的“Accelerating t-SNE using Tree-Based Algorithms，Journal ofMachine Learning Research 15(2014)1-21”的图5中显示了真实数据的对应示例。
图4显示了多模式情况，其中具有相同类别标签的数据点F’形成多个独立的紧凑聚类C1和C3。共享共同类别标签的数据点G’同样形成多个聚类C2和C4。聚类C1-C4是同质的并且彼此明显地分离。虽然图4示出了简化的示例，但是在Laurens van der Maaten，，的“Accelerating t-SNE using Tree-Based Algorithms，Journal of Machine LearningResearch 15(2014)1-21”的图6中示出了真实数据的对应示例。
图5示出了嵌入E，其中嵌入的数据点F’、G’的布置形成多个异质的聚类C5-C7。更确切地，每个聚类C5-C7包括有不同类别标签的数据点F’和G’。这种嵌入E可以由偏差产生，即系统误差或对底层显微镜数据的影响。由于偏差，类别标签的数据点F’不形成单个聚类，而是多个聚类，在该示例中是三个聚类，三个聚类相对于彼此转移或分离。该偏差可以由例如不同的测量设备导致，这些测量设备虽然是相同类型的，但是可以彼此不同或者例如在不同的环境条件下操作。尽管有多个聚类C5-C7，但是在该示例中的数据点F’、G’可以根据它们在特征空间中的位置分成两组，这对应于各自的类别标签：聚类C5-C7之一内的数据点F’、G’可以根据它们的类别标签来分离，这里以简化的方式通过水平分离线的形式的类别分离规则来分离。在所示的示例中，这个类别分离规则可以被推广。也就是说，可以基于例如聚类C5和C6来确定类别分离规则，并且随后验证类别分离规则是否也根据它们对于聚类C7的类别标签正确地分离了数据点F’和G’。这是水平线形式的类别分离规则的情况。因此，在该示例中，偏差的负面影响并没有强到使数据集不可用。
图6示出了另一嵌入E，其中数据点F’、G’形成多个非同质的聚类C8-C10。与图5相反，由于偏差的影响，数据点F’和G’在特征空间Z中的位置不再可以可靠地与给定的类别标签相关。相反，偏差掩盖了类别之间的差异，其方式和程度使得不可能从单个数据点在特征空间Z中的位置推断单个数据点的类别标签。不可能基于一些聚类(例如，基于聚类C8和C9)建立适用于所有聚类C8-C10的类别分离规则。
图7示意性地示出了嵌入E，其中每个类别标签的数据点F’和G’分别形成同质聚类C11、C12。当例如其至少95％的数据点具有相同的类别标签时，聚类可以被认为是同质的。聚类C12具有一个数据点H2’，其类别标签与该同质聚类C12的其他数据点G’的类别标签不同。例如，这可能由于显微镜数据的不正确注释而发生。数据点H2’可以基于其类别标签和其在嵌入E中的位置被识别为异常值。另一异常值由数据点H1’表示，其位于离最近的聚类很远的地方。这种情况可能由于不正确的数据捕获(例如，当空白图像被捕获或者图像在错误的位置被捕获时)或者不正确的图像处理(例如，捕获图像的不正确裁剪)而导致。数据点H1’可以通过其在嵌入E中的位置同时可选地考虑其类别标签被识别为异常值。尽管在该示例中聚类C11和C12是分离的，但是它们形成了扩散的边界区域R。在边界区域R中，仅基于数据点在特征空间Z中的位置来可靠地预测数据点的类别标签是不可能的。
数据集的显微镜数据旨在用于模型的训练。通过分析数据集的嵌入，可以为训练的实现或模型的结构识别适用的设计。这在下面使用将数据集划分为训练和验证数据以及数据集的潜在扩展作为示例来解释。
如果建立了根据图3的嵌入，则从聚类C1和C2的每个中选择与几个数据点相关的显微镜数据作为验证数据。剩余的显微镜数据可以用作训练数据。
在图4所示的情况下，同样地从聚类C1-C4的每个中选择(例如随机地抽取)与几个数据点相关的显微镜数据作为验证数据。还从聚类C1-C4的每个中选择与多个数据点相关的显微镜数据作为训练数据。训练数据覆盖所有聚类C1-C4的事实确保了模型学习处理相应的结构上不同的数据。在这种情况下，验证数据应覆盖所有的聚类，以便基于验证数据的质量声明考虑到不同数据的所有分组。在大量相同类别的聚类的情况下，如果仅从部分聚类中抽取验证数据也是足够的。此外，可以使不同大小的聚类的尺寸彼此接近。如果聚类C1和C3(相同类别)在它们的数据点的数量上显著地不同，这个比率可能导致模型没有学习到聚类的数据的正确处理，或者导致在验证中基本上没有检测到聚类的数据的不正确处理。对于训练数据和/或验证数据，可以选择与相同类别的不同聚类的数据点相关的测量数据，使得相同类别的每个聚类的各自的数据点数量彼此近似，特别是使得每个聚类选择相同的数据点数量。相比之下，在为验证数据简单随机选择显微镜数据的情况下，存在与聚类相关的显微镜数据代表性不足或者甚至根本不包括在验证数据中的风险。
另一方面，如果在嵌入的分析中建立了如图5的示例中所示的聚类，则执行对训练和验证数据的不同划分。在该示例中，重要的是机器学习模型不会受到显微镜数据中存在的偏差的损害。验证数据旨在实现这方面的正确声明。为此，重要的是，训练和验证数据不包含与所有聚类C5-C7的数据点F’、G’相关的显微镜数据，否则不可能基于验证数据检测模型的过度拟合。有利的是，与聚类之一的数据点相关的显微镜数据，例如与聚类C7的数据点F’、G’相关的显微镜数据，反而应被专门利用作为验证数据，而不是训练数据。由此，验证数据允许关于模型的可推广性和模型对具有不同或未知偏差的显微镜数据(例如用不同显微镜或在不同环境特征下捕获的显微镜数据)的适用性的声明。在类似于图5所示的情况下，可以规定哪些显微镜数据的组不应该分布在训练和验证数据之间，而是应该仅被利用作为训练数据或验证数据，而不是具体划分成训练和验证数据。规范可以规定，例如，来自捕获的同一日期的显微镜数据应该仅被用作训练或验证数据。
如果检测到类似于图6的示例中所示的嵌入，则将数据集划分成训练和验证数据，如图5所述。然而，因为偏差，模型的推广是不可能的。这可以使用上述划分的验证数据来建立。在类似于图6所示的情况下，替代地或除了上述数据集的划分外，还可能输出警告，即用所提供的数据集不可能学习到定性上足够的模型。
在图7所示的示例中，如关于图3所述，可以选择划分成训练和验证数据。然而，可以首先通过去除异常值(与数据点H1’和H2’相关的显微镜数据)或向用户显示异常值以用于检查或注释校正来进行数据集的清楚。对于其嵌入位于扩散边界区域R中的显微镜数据，机器学习模型对误差的敏感性可能增加。因此，可以输出这样的建议，即应该添加类似于对应于边界区域R中的数据点的显微镜数据的另外的显微镜数据用于训练。还可以通过增强从与边界区域R的数据点相关的显微镜数据中自动地生成另外的显微镜数据。其嵌入位于边界区域R中的显微镜数据可以在训练中被给予更多的权重，例如通过在训练中统计上更频繁地使用该显微镜数据，或者通过在损失函数中对该显微镜数据进行更强的加权。
也可以考虑可选的情境信息。例如，它可以被指示为情境信息K4、K5(参见图4)，哪台显微镜被用于捕获显微镜数据。在该示例中，与相同类别的显微镜数据相关的不同聚类C2、C4相应地由不同显微镜的使用引起。然而，不同的显微镜(有相同或相似的设定)不应该导致显微镜数据中的显著结构差异，这可以基于聚类C2和C4之间的距离来估计。取决于聚类C2和C4的距离或分离，因此可以输出建议，即应该将另外的显微镜数据与相关条情境信息的其他值相加。在其他示例中，情境信息可以指示不同的捕获日期或环境特征，例如房间照明。更一般地，当不同的聚类C2、C4与指示外部影响(例如，捕获日期)的一条情境信息相关时，可以输出警告。另一方面，如果不同的聚类C2、C4与涉及数据性质的情境信息相关，例如，如果情境信息指示所使用的荧光波长范围，则不输出警告。
除了所示的示例之外，其他情况也是可能的，例如所示的示例的组合或者不同类别的数据点在特征空间中根本没有被分离的情况。在这种情况下，不太可能从可用的显微镜数据学习到正确起作用的分类模型，并且可以为此输出警告。
图8
图8显示了具有相关联的嵌入E的实际数据集D的示例。数据集D的显微镜数据F和G的一部分以示例的方式示出。显微镜数据F显示了某种类型的细菌，其由类别标签D1表示。另一方面，显微镜数据G显示了不同类型的细菌，其相应地由类别标签D2指定。还可以提供指示例如捕获各自的显微镜数据F、G的日期的情境信息K1、K2，...。
嵌入E可以通过如上所述的t-SNE来计算。在嵌入中，对应于显微镜数据F并因此对应于第一类型的细菌的数据点F’分别由灰点表示。另一方面，对应于显微镜数据G并因此对应于第二类型的细菌的数据点G’分别由黑点表示。虚线/点画框围绕在相同的捕获日期捕获的数据点，其在数据中由相应的情境信息K1-K3指示。从嵌入E可以明显看出，存在与捕获日期相关联的主导偏差，其结果是，根据所描述的细菌类型，数据点是不可分离的。数据点的聚类是根据捕获的日期形成的，而不同类型的细菌不通过分离的聚类来反映。因此，数据集被分类为不适于学习用于描述的细菌类型的类别的模型。输出相应的警告。可选地，还可以推荐划分为训练和验证数据：给定的一日或多日捕获的显微镜数据(例如有情境信息K1和K2的显微镜数据)专门用作验证数据，而不用作训练数据。这样，模型不能记住与K1和K2的捕获日期相关联的现有偏差。因此，关于模型可以如何处理另一(未来)日期捕获的显微镜数据的问题，验证数据是有信息的。
图9
图9示出了根据本发明的方法的过程，其中从嵌入E计算不同的训练设计规范50。在模型训练的定义中考虑了训练设计规范50。
嵌入E被输入到机器学习分析模型40中，分析模型40分析过程P4中的嵌入，以便作为过程P5输出一个或多个训练设计规范50。
例如，划分成训练数据T和验证数据V的划分51可以被计算为训练设计规范50。为此，分析例如嵌入对应于图3-8所示的哪种情况。根据该分析结果，选择为相应的图描述的划分。这里也可以可选地考虑情境信息。
可以使用分析模型训练数据来学习分析模型40，分析模型训练数据包括作为分析模型40的输入数据的不同嵌入以及作为训练的目标数据的相关联的注释。注释精确地对应于训练设计规范50，即，例如，对应于训练和验证数据的划分。代替机器学习的分析模型40，不涉及机器学习的分析算法也可以计算训练设计规范50。
训练设计规范50还可以包括异常值52的规范。在所示的示例中，数据点H1’和H2’以及因此相关联的显微镜数据被识别为异常值。显微镜数据H1对应于不正确的情况，其中图像数据不显示细菌，而数据点H2’对应于不正确的注释。
训练设计规范50还可以规定超参数53，特别是直到训练结束的训练步骤54的数量。训练步骤54的数量被选择得越高，嵌入的数据点的布置的复杂度越高，例如聚类的数量(特别是每类)越高。
训练设计规范50可以进一步规定适当的模型架构或模型复杂度55。这可以例如基于嵌入E中的类别或聚类的分离来确定，特别是当嵌入是基于由特征提取器计算的特征向量时，如参考图2所述。如果数据点没有根据它们的类别标签被正确地分离，特征提取可能在复杂度方面是缺乏的。因此，可以使用包括例如更多卷积层的更复杂的特征提取器。可以用该特征提取器计算新的嵌入E，并在类别可分性方面评估新的嵌入E。因此，可能确定适合于数据集的特征提取器。然后，所确定的特征提取器被用作模型的一部分。参考下图描述了模型的相应训练。
图10
图10示出了模型M的训练25的一系列过程。
首先，在过程P6中，根据训练设计规范来定义训练25。例如，根据基于数据集的嵌入而确定的划分，数据集D的显微镜数据F、G被划分为训练数据T和验证数据V。
然后在过程P7中进行训练25。训练数据T的显微镜数据F、G被输入到模型M中，模型M由此计算处理结果60。处理结果60应该理想地对应于为输入显微镜数据F、G规定的注释。这里的注释是类别标签D1、D2。损失函数L捕获处理结果60和规定的类别标签D1、D2之间的差异。取决于损失函数L的结果，模型M的模型参数值经由梯度下降方法和反向传播被迭代地调整。在完成训练后，模型M被训练以用于分类，即处理结果60采取类别名称的形式。
在训练25期间和/或之后使用验证数据V，以便评估训练25期间的训练进度或训练25完成之后的模型质量。
模型M包括特征提取器20。这里实现了基于嵌入确定的特征提取器20的复杂度和/或架构。使用训练数据T(新的)在训练25中调整特征提取器20的模型参数值。然而，原则上也可以以不变的方式使用预训练的特征提取器20，并且在训练25中单独地调整模型M的剩余模型参数值。
图11
图11显示了在训练完成之后，模型M在推断阶段的使用。在过程P8中，将待处理的显微镜数据J输入到模型M中，模型M在过程P9中由此计算处理结果60。在所示的示例中，显微镜数据J是显微镜图像，模型M是图像处理模型，模型M计算指示显微镜图像中是否包含(或包含哪些)给定对象的分类结果。
取决于在模型M的训练中使用的注释，其他处理结果是可能的，如在前面的一般描述中更详细解释。
参考不同附图描述的变型可以彼此组合。所描述的示例性实施例纯粹是说明性的，并且在所附权利要求的范围内可能有变化。
附图标记列表
1 显微镜
2 支架
3 物镜旋转器
4 (显微镜)物镜
5 照明设备
6 样品台/显微镜台
7 样品载体
9 显微镜相机
9A 概览相机
9B 反射镜
9C 概览相机的视场
10 计算设备
11 计算机程序
12 目镜
20 特征提取器
25 模型M的训练
30 用于计算嵌入的单元/函数
40 分析模型
50 训练设计规范
51 将数据集划分为训练和验证数据
52 数据集中异常值的规范，通过嵌入的分析识别
53 (训练)超参数，通过嵌入的分析推荐
54 训练步骤的数量，通过嵌入的分析推荐
55 模型架构或模型复杂度，通过嵌入的分析推荐
60 由模型计算的处理结果
100 显微镜系统
C1-C12 嵌入的数据点的聚类
D 具有用于训练模型的显微镜数据的数据集
D1、D2 注释，特别是类别/类别标签
E 数据集在低维特征空间中的嵌入
F、G 显微镜数据/显微镜图像
f、g 显微镜数据/显微镜图像F、G的特征向量
F’、G’ 嵌入的数据点
H1 代表异常值的显微镜数据/显微镜图像
H1’ 嵌入的数据点/异常值
H2’ 嵌入的数据点/异常值
J 待处理的显微镜数据/显微镜图像
K1-K5 情境信息：例如不同的捕获日期
L 模型M的训练中的损失函数
M 机器学习模型/图像处理模型
P1-P9 根据本发明的方法的过程
R 聚类之间的边界区域
T 用于模型M的训练的训练数据
V 用于模型M的训练的验证数据
Z 特征空间

Claims (26)

1.一种计算机实现的方法，用于生成机器学习的模型(M)，所述机器学习的模型(M)用于处理显微镜数据，所述方法包括：
接收(P1)数据集(D)，所述数据集(D)具有显微镜数据(F、G)，所述显微镜数据(F、G)用于训练所述模型(M)；
计算(P3)所述数据集(D)在特征空间(Z)中的嵌入(E)；
分析(P4)所述嵌入(E)以确定(P5)训练设计规范(50)，所述训练设计规范(50)用于所述模型(M)的训练(25)；
根据所述训练设计规范(50)定义(P6)所述训练(25)；
执行(P7)所述训练(25)，由此所述模型(M)被配置为从待处理的显微镜数据(J)计算处理结果(60)。
2.根据权利要求1所述的方法，
其中，所述嵌入(E)的计算(P3)包括首先将所述数据集(D)的显微镜数据(F、G)输入到机器学习的特征提取器(20)中，所述特征提取器(20)从所述显微镜数据(F、G)计算(P2)相关联的特征向量(f、g)，以及在所述特征空间(Z)中表示或嵌入所述特征向量(f、g)。
3.根据权利要求1所述的方法，
其中所述嵌入(E)的计算(P3)通过t分布随机邻居嵌入(t-SNE)来执行。
4.根据权利要求1所述的方法，
其中，所述嵌入(E)的分析(P4)包括识别嵌入的数据点(F’、G’)的聚类(C1-C12)；
其中，执行评估以确定所述聚类(C1-C12)是否是具有共同类别标签(D1、D2)的数据点(F’、G’)的同质的聚类(C1-C4)。
5.根据权利要求4所述的方法，
其中，在同质的聚类(C1-C4)的情况下，所述数据集(D)对于所述模型(M)的训练(25)的适用性被肯定；
其中，对于非同质的聚类(C5-C10)，如果非同质的聚类(C5-C10)内的数据点(F’、G’)根据它们的类别标签(D1、D2)是不可分离的，则所述数据集(D)对于所述模型(M)的训练(25)的适用性被否定。
6.根据权利要求4所述的方法，
其中，在所述聚类(C1-C12)内的数据点(F’、G’)根据它们的类别标签(D1、D2)是可分离的情况下，根据类别分离规则的可推广性肯定适用性；
其中，从所述聚类(C5-C7)的多个聚类(C5-C6)的数据点(F’、G’)推导根据它们的类别标签(D1、D2)来分离数据点(F’、G’)的类别分离规则；以及
其中，如果所述类别分离规则对于所述聚类(C5-C7)的另一个聚类(C7)的数据点(F’、G’)也成立，则所述可推广性被肯定。
7.根据权利要求1所述的方法，
其中，将所述数据集(D)到训练和验证数据(T、V)的划分(51)被推荐为训练设计规范(50)，其中基于嵌入的数据点(F’、G’)在所述特征空间(Z)中的布置来确定所述划分(51)。
8.根据权利要求7所述的方法，
其中，所述嵌入(E)的分析(P4)包括识别嵌入的数据点(F’、G’)的聚类(C1-C12)；
其中，执行评估以确定所述聚类(C1-C12)是否由具有共同类别标签(D1、D2)的数据点(F’、G’)同质地形成；
其中，在同质的聚类(C1-C4)的情况下：
-从多个聚类(C1-C4)或从每个聚类(C1-C4)中为所述验证数据(V)选择数据点(F’、G’)，以及
-从每个聚类(C1-C4)中为所述训练数据(T)选择数据点(F’、G’)。
9.根据权利要求7所述的方法，
其中，对于非同质的聚类(C5-C10)情况下的划分(51)，为所述验证数据(V)选择所述聚类中的一个聚类(C7)的数据点(F’、G’)，并且没有为所述训练数据(T)选择该聚类(C7)的数据点(F’、G’)。
10.根据权利要求1所述的方法，
其中，使用所述嵌入(E)来验证已经提供的将所述数据集(D)划分为训练数据(T)和验证数据(V)的适用性，
其中，在具有共同的类别标签(D1、D2)的数据点(F′、G′)的同质的聚类(C1-C4)的情况下，如果所述验证数据(V)包括来自至少多个所述聚类(C1-C4)的数据点(F′、G′)，并且如果所述训练数据(T)包括来自所有聚类(C1-C4)的数据点(F′、G′)，则所提供的划分的适用性被肯定。
11.根据权利要求10所述的方法，
其中，在非同质的聚类(C5-C10)的情况下，取决于其数据点(F′、G′)仅被选择用于验证数据(V)而不用于训练数据(T)的非同质的聚类(C7)是否存在，所提供的划分被分类为适用的。
12.根据权利要求1所述的方法，
其中，所述训练设计规范(50)指定所述数据集(D)的异常值(52)，
其中，所述嵌入(E)的分析(P4)包括根据所述数据点(H1’、H2’)在所述嵌入(E)中的位置将所述嵌入(E)的数据点(H1’、H2’)识别为异常值(52)，
其中，如果数据点(H1’)位于比给定的阈值更远离相邻的数据点(F’、G’)的位置，或者如果所述数据点(H2’)位于具有不同类别标签(D2)的数据点(G’)的聚类(C6)中，则所述数据点(H1’、H2’)被识别为异常值(52)。
13.根据权利要求12所述的方法，
其中，所述训练设计规范(50)指定训练超参数(53)。
14.根据权利要求13所述的方法，
其中，直到所述训练(25)结束的训练步骤(54)的数量被指定为训练超参数(53)，
其中，确定所述特征空间(Z)中嵌入的数据点(F’、G’)的复杂度，以及
其中，发现的复杂度越高，选择的训练步骤(54)的数量就越高。
15.根据权利要求1至14中任一项所述的方法，
其中，通过以下方式将待训练的模型(M)的模型架构或模型复杂度(55)推荐为训练设计规范(50)：
使用不同的特征提取器(20)从所述数据集(D)的显微镜数据(F、G)分别计算一组特征向量(f、g)，其中所述特征提取器(20)在复杂度或架构上不同；
从每组特征向量(f、g)中分别计算嵌入(E)；
比较所述嵌入(E)以便基于嵌入的数据点(F’、G’)的聚类(C1-C12)的分离选择所述特征提取器(20)之一；和
推荐所选择的特征提取器(20)用作所述模型(M)的一部分。
16.根据权利要求1至14中任一项所述的方法，
其中，在每个聚类(C1-C12)具有不同数量的数据点(F’、G’)的情况下，为所述训练数据(T)选择数据点(F’、G’)，使得为不同聚类(C1-C12)选择的数据点(F’、G’)的数量彼此接近。
17.根据权利要求1至14中任一项所述的方法，
其中，基于所述嵌入(E)中的数据点(F’、G’)的分布，推荐向所述数据集(D)添加新的显微镜数据；其中在以下情况推荐添加新数据：
如果聚类(C1-C12)中的数据点(F’、G’)的数量小于给定的最小数量；
如果确定共同类别标签(D2)的数据点(G’)形成多个彼此隔开的聚类(C2、C4)，其中所述聚类(C2、C4)能够与已知不导致聚类分离的情境信息(K4、K5)相关；或者
如果不同类别标签(D1、D2)的聚类(C11、C12)之间的边界区域(R)被分类为扩散。
18.根据权利要求1至14中任一项所述的方法，
其中，数据点(F’、G’)在所述嵌入(E)中的分布用于确定类别标签(D1)的数据点(F’)的聚类(C11)是否与另一类别标签(D2)的数据点(G’)的聚类(C12)重叠，并且
其中，在重叠的情况下，输出不满足充足的可分离性的警告。
19.根据权利要求1至14中任一项所述的方法，
其中，基于所述嵌入(E)中的数据点(F’、G’)的分布推荐或评估增强，通过所述增强从所述数据集(D)的显微镜数据(F、G)生成新的显微镜数据。
20.根据权利要求1至14中任一项所述的方法，
其中，所述嵌入(E)被输入到机器学习的分析模型(40)中，所述分析模型(40)从所述嵌入(E)计算所述训练设计规范(50)，
其中，使用包含作为输入和预定义的训练设计规范(50)的嵌入(E)的作为相关联的目标数据的分析模型训练数据来学习所述分析模型(40)。
21.根据权利要求1至14中任一项所述的方法，
其中，所述数据集(D)包括与所述显微镜数据(F、G)有关的情境信息(K1-K5)；
其中，所述情境信息(K)与以下中的一个或多个相关：
所述显微镜数据(F、G)的捕获日期；用于捕获所述显微镜数据(F、G)的显微镜系统和显微镜设定；使用的样品载体(7)；被分析的样品的类型；所述显微镜数据(F、G)中描绘的样品的样品制备；或者有关显微镜数据(F、G)所属的患者的信息；
将所述数据集(D)预定义划分为训练和验证数据(T、V)；
类别标签；分割掩模；或者关于表示显微镜图像的显微镜数据(F、G)配准的图像，并且所述图像在捕获或显示特征上不同于所述显微镜图像。
22.根据权利要求1至14中任一项所述的方法，
其中，所述数据集(D)包括与所述显微镜数据(F、G)有关的注释和情境信息(K1-K5)；
其中，分析所述数据集(D)的嵌入(E)，以根据给定条情境信息(K1-K5)的值确定具有共同的注释的嵌入的数据点(F’、G’)是否形成不同的聚类(C1-C12)，并且如果是这种情况，则输出给定条情境信息(K1-K5)应与显微镜数据(F、G)一起输入到所述模型(M)中的指令。
23.根据权利要求1至14中任一项所述的方法，
其中，所述机器学习的模型(M)是图像处理模型，所述显微镜数据(F、G)是显微镜图像，
其中，所述图像处理模型被设计为从至少一个显微镜图像(20)计算以下至少一个作为处理结果(60)：
关于所述显微镜图像中是否存在某些对象的声明；
与描绘的对象相关的几何规格；描述的对象的标识、数量或特征；
关于分析条件、显微镜设定、样品特征或图像特征的警告；
用于控制显微镜或用于后续图像评估的控制命令或推荐；
输出图像，其中所描绘的对象更清晰可见，或者以更高的图像质量描绘，或者某些结构的描绘被抑制；
对应于到不同于所述显微镜图像(20)的对比度类型的对比度类型的变换的虚拟染色输出图像；
类别标签(D1、D2)，其根据所描绘的图像内容指定到多个可能类别中的至少一个的分类；和
语义分割、实例分割或某些结构的检测。
24.根据权利要求1至14中任一项所述的方法，进一步包括：
将显微镜数据(J)输入(P8)到所述机器学习的模型(M)中，所述模型(M)从输入显微镜数据(J)计算(P9)处理结果(60)。
25.一种显微镜系统，包括
显微镜(1)，用于图像捕获；和
计算设备(10)，被配置为执行根据权利要求1至14中任一项所述的计算机实现的方法。
26.一种计算机程序，包括命令，当所述程序由计算机执行时，导致执行根据权利要求1至14中任一项所述的方法。
CN202311068745.7A 2022-08-25 2023-08-23 显微镜系统和生成处理显微镜数据的机器学习模型的方法 Pending CN117635523A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022121545.8 2022-08-25
DE102022121545.8A DE102022121545A1 (de) 2022-08-25 2022-08-25 Mikroskopiesystem und Verfahren zum Erzeugen eines maschinell gelernten Modells zum Verarbeiten von Mikroskopdaten

Publications (1)

Publication Number Publication Date
CN117635523A true CN117635523A (zh) 2024-03-01

Family

ID=89905259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311068745.7A Pending CN117635523A (zh) 2022-08-25 2023-08-23 显微镜系统和生成处理显微镜数据的机器学习模型的方法

Country Status (3)

Country Link
US (1) US20240070537A1 (zh)
CN (1) CN117635523A (zh)
DE (1) DE102022121545A1 (zh)

Also Published As

Publication number Publication date
DE102022121545A1 (de) 2024-03-07
US20240070537A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US11288795B2 (en) Assessing risk of breast cancer recurrence
US20230186657A1 (en) Convolutional neural networks for locating objects of interest in images of biological samples
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
CN110675368B (zh) 一种融合图像分割与分类的细胞图像语义分割方法
WO2019099641A1 (en) System and method for single channel whole cell segmentation
US20220222822A1 (en) Microscopy System and Method for Evaluating Image Processing Results
US20220114725A1 (en) Microscopy System and Method for Checking Input Data
Marée The need for careful data collection for pattern recognition in digital pathology
Kolluru et al. Machine learning for segmenting cells in corneal endothelium images
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
CN115210779A (zh) 生物样品中对象的系统性表征
CN116630263A (zh) 基于深度神经网络的焊缝x射线图像缺陷检测与识别方法
EP2523162B1 (en) Learning device, identification device, learning identification system and learning identification device
Marcuzzo et al. Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
CN117635523A (zh) 显微镜系统和生成处理显微镜数据的机器学习模型的方法
Mascalchi et al. Which elements to build co-localization workflows? from metrology to analysis
WO2021070372A1 (ja) 細胞画像解析方法及び細胞解析装置
US20240071057A1 (en) Microscopy System and Method for Testing a Sensitivity of an Image Processing Model
US20240071058A1 (en) Microscopy System and Method for Testing a Quality of a Machine-Learned Image Processing Model
Liu et al. A two-stage deep counting for bacterial colonies from multi-sources
US20240233417A1 (en) Microscopy System and Computer-Implemented Method for Determining a Confidence of a Calculated Classification
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
US20240233341A1 (en) Microscopy System and Method for Calculating a Result Image Using an Ordinal Classification Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication