CN112868026A

CN112868026A - 推理显微镜

Info

Publication number: CN112868026A
Application number: CN201980068880.7A
Authority: CN
Inventors: 弗兰克·西克曼; 康斯坦丁·卡佩尔
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2018-10-18
Filing date: 2019-09-25
Publication date: 2021-05-28
Also published as: US20210342569A1; EP3867798A1; JP2022505251A; WO2020078678A1; DE102018217903A1

Abstract

本发明涉及用于优化至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)的工作流程的一种方法(1300)和一种装置(100)。现有技术的解决方案具有如下缺点：工作流程只能以大的代价予以优化。根据本发明的方法(1300)和根据本发明的装置(100)通过以下步骤改进了现有技术的解决方案：a)由至少一个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的一个或多个组件(260、270)执行(1310)工作流程，其中，所述工作流程包括检测第一数据(510、520)；b)把训练模型(420、430、440；530；1220)应用(1330)于所检测的第一数据(510、520)；和c)基于对所述训练模型(420、430、440；530；1220)的应用来做出(1340)关于工作流程的至少一个决定。

Description

推理显微镜

技术领域

本发明涉及用于通过训练后的模型来优化一个或多个显微镜的工作流程的方法和装置、显微镜系统或显微镜系统的复合体，这些模型可以在显微镜的测量中用于预测(推理)。

背景技术

实验是科学的重要组成部分。科学家们试图通过部分地越来越广泛和复杂的实验装置获得新知识。通过数字化，收集的数据组增加了几个数量级，并且在没有计算机的情况下很难评估这些数据组。但是，也可以通过自动执行实验来增加连续实验的持续时间，因为在执行过程中不再强制要求有人在场。然而，现有技术表现出了现有系统的下面将考察的一些缺点和问题。

以前的显微镜例如可以根据预编程的方案进行实验。但是，由此要么采集太多的非信息性的数据，要么可能会遗漏重要的生物学现象，因为如果生物学现象不是预编程方案的一部分，则预编程方案不允许在未彻底终止实验的情况下对工作流程进行干预。这导致数据存储和评估的高成本，因为必须进行大量实验才能观察到生物现象。

此外，以前的系统只能支持有限的、先前确定好的应用程序池，尤其是在涉及图像处理时。因此，系统变得老旧，应用范围常常无法拓展，或只能花费很大的代价拓展。对于常规系统，由此会产生新购买的高成本或从第三方提供商处购买附加的拓展的高成本。具有图像处理反馈的显微镜虽然可以根据异步工作的图像处理的结果来检测图像采集条件。但是，这种方法只提供较低的准确度，并且只能用于所检查的样品的特殊情况。未知的应用程序或样本都需要新的时间耗费来从头开始针对每个单独的问题开展图像处理。另外，以前的反馈方法大多无效，因为只有在足够大量的采集图像之后才可能进行可靠的反馈。

神经网络目前仅用于评估和/或处理由显微镜采集的图像。例如，US 2010/0183217描述了神经网络的使用，以便恢复由电子显微镜采集的图像，该图像含有噪声或具有低的颜色梯度或灰度梯度。为了优化测量结果而基于图像后处理的方法的缺点是，在所采集的原图像中的信息会通过后处理而丢失，并且无法消除图像错误的原因，因为用于后处理图像的神经网络无法实现在测量期间干预工作流程。

此外问题是，设备参数不符合规范。例如，如果光电传感器被过度控制，照明失败，温度太高或焦点漂移。通常，此后该实验将无法使用，必须完全重复进行，这会导致高昂的成本和大量的时间花费。替代地，例如由于缺乏对显微镜状态的监视，先前的系统也可能出乎意料地失败。用户无法预料的这种失败可能会导致实验破坏的成本和在工作流程中的干扰。

发明内容

因此，本发明的目的是，优化由显微镜或其部件执行的工作流程。

本发明通过用于优化至少一个显微镜或显微镜系统的工作流程的方法和装置解决了所提到的问题和目的。该方法包括以下步骤：由至少一个显微镜和/或显微镜系统的一个或多个组件执行工作流程，其中，该工作流程包括如下步骤：检测第一数据；把训练模型应用于所检测的第一数据；基于对训练模型的应用来做出关于工作流程的至少一个决定。

根据本发明的装置包括一个或多个处理器和一个或多个计算机可读的存储介质，其中，计算机可执行的指令被存储在一个或多个计算机可读的存储介质上，这些指令在它们由一个或多个处理器执行时引起一个或多个显微镜和/或显微镜系统中的一个或多个组件执行工作流程，其中，该工作流程包括：检测第一数据；把一个或多个训练模型应用于所检测的第一数据；基于对一个或多个训练模型的应用来做出关于工作流程的至少一个决定。

根据本发明的方法和根据本发明的装置的优点在于，能够把可以例如在深度学习的意义下基于神经网络的训练模型应用于所检测的数据，并且基于对一个或多个训练模型的应用来做出关于工作流程的至少一个决定。这能实现有效地进行测量和/或使得一个或多个显微镜的工作流程自动化。训练模型能够实现以有效的方式做出关于工作流程的决定，因为借助训练模型可以实现基于少量数据做出准确的预测。此外，与现有技术的方法相比，训练模型能够实现更高的精确度和对先前未知的应用的更好的通用性。

根据本发明的方法和根据本发明的装置可以分别通过特定的设计得到进一步的改进。以下描述的本发明的设计的各个技术特征在此可以任意地相互组合和/或被省略，只要不指望利用被省略的技术特征实现的技术效果。

在一个实施方式中，可以至少部分地基于所检测的第一数据来确定一个或多个训练模型。例如可以将训练的主模型应用于所检测的第一数据，以便确定一个或多个训练模型。应用训练的主模型可以包括分析所检测的第一数据，其中，训练的主模型可以基于来自对所检测的第一数据的分析的信息来确定一个或多个训练的模型。训练的主模型可以在第一步骤中对所检测的第一数据进行分类，并从大量模型中选择与所检测的数据或数据类别相匹配的一个或多个训练模型，并且使用这些训练模型。多个模型可以是多个训练模型，并且可以按应用领域进行分类和/或层级地组织。来自大量训练模型的各个训练模型可以特定于各种样本、实验、测量或设备设定。确定一个或多个训练模型可以实现在测量期间还在进行测量时快速适应特殊情况。另外，对训练模型的确定允许输入数据的较大差异，因为确定并使用针对特殊情况训练的模型，并且针对特殊情况训练的模型具有高的预测准确性。层级结构和对训练模型的选择可以实现为合适的测量逐步选择适合的模型。

在另一设计中，用于优化工作过程的方法可以包括调整一个或多个训练模型的步骤。调整的步骤可以包括至少部分地借助第二数据来训练所训练的模型的一部分。附加地或替代地，调整的步骤可以包括借助聚合数据来训练所训练的模型，其中，这些聚合数据源自一个或多个来源。第二数据可以包括自动、半自动或手动地上传到云、服务器或工作站计算机的数据。聚合数据可以包括以下至少一项：训练模型或其部分、检测的数据(其包括训练模型的输入数据)、输入数据的注释、数据的隐藏表示、训练模型的输出值评估(其应用于输入数据)以及用户输入。

因此，在该有利的设计中，付出较小的代价就可以针对工作流程修改或调整训练模型，以便更新训练模型或针对应用领域指定训练模型。这样可以实现不断地进一步开发模型并优化工作流程。此外，通过重新训练或调整模型，可以拓宽或明确显微镜的应用领域，而不必购买新的图像处理软件或从头开始进行重新编程。

在根据本发明的用于优化工作过程的方法的一种设计中，该方法包括检测和/或发送第二数据的步骤。检测第二数据可以包括检测与由训练模型规定的状态不同的用户规定状态，其中，第二数据包括由训练模型规定的状态相对于用户规定状态的偏差的表示或者用户规定状态的表示。借助这些数据可以对训练模型进行调整或进一步训练，从而将其训练为用户所希望的设置。这开辟了新的应用领域，并且可以在显微镜的用户友好性方面优化工作流程，并使之复合用户的期望。在一个实施例中，可以将检测的第二数据发送到云、服务器或工作站计算机，并在那里进行聚合，并用于训练新的数据或改进(调整)现有的数据。因此，显微镜可以成为用于开发其它的基于机器学习、深度学习或类似过程的模型的数据源。可以在云、服务器或工作站计算机上，针对来自一个或多个来源的数据对训练模型进行训练，然后将其加载到显微镜或显微镜系统上和/或加载到显微镜或显微镜系统的附接组件上。

在一个实施方式中，该方法可以设计为网络服务，其中，一个或多个训练模型被应用在云中。替代地，一个或多个训练模型可以应用在工作站计算机上、应用在至少一个显微镜或显微镜系统上和/或应用在至少一个显微镜或显微镜系统的附接组件上。

在根据本发明的装置的一种设计中，对一个或多个训练模型的应用可以包括对所检测的第一数据的分析。该装置可以是显微镜的一部分(例如微型计算机)，或者是与显微镜分开并通过网络与显微镜连接的嵌入式计算机或系统计算机。此外，该装置可以实现以最大速度或实时地运行训练模型。显微镜可以由在功能上相互联网的子系统或相互连接的模块构成。

子系统、组件或模块包括有助于在显微任务中实现所提到的目的的所有系统。显微子系统在此可以位于显微镜本身上，例如相机、探测器、显微镜台、马达、软件模块、固件模块等。但是，它们也可以与显微镜在空间上分开，例如数据库、网络连接、分析软件、切片机、自动移液机、机器人、其它显微镜、显微镜或计算机集群等。

在一些实施方式中，根据本发明的装置的一个或多个处理器可以包括计算加速器，如图形处理单元GPU、TensorFlow处理单元TPU、专用于机器学习ML和/或深度学习DL的专用集成电路ASIC或现场可编程门阵列FPGA或至少一个中央处理单元CPU。这里必须在训练和推理之间进行区分，这包括一个或多个训练模型的应用。在训练中，模型通过更改其参数来“学习”基于表示模型“经验”的数据的隐藏表示来做出某种预测。对于训练，需要大量数据、大存储带宽和强大的计算能力。而推理是关于尽快对一个或几个数据点进行预测。在这里，小的计算能力和存储带宽就能应付了。因此能以小的代价在本地应用一个或多个训练模型，以便优化显微镜的工作流程。

可以在独立工作计算机、服务器或云上对模型进行训练，因为如所述，训练需要大的存储带宽和计算能力。在根据本发明的系统的一种或多种设计中，可以对模型进行连续训练或再训练。然后可以将改进的模型加载到根据本发明的装置上。这种训练或微调的优点是，可以汇总来自许多来源(用户、显微镜或显微镜系统)的数据，并将其用于训练或微调。此外，可以使用已经对未知样本或在新情况下进行过测量的显微镜数据。因此，已经可以给显微镜提供合适的训练模型，尽管该显微镜尚未对未知样本或在新情况下进行测量。

所检测的第一数据可以包括以下至少一项：图像数据、用户输入、错误通报、元数据、一个或多个组件的参数数据、实验过程中的数据、关于试剂和材料的信息、关于对象或样本的信息、与用户相关的数据以及来自在由一个或多个显微镜和/或显微镜系统执行的测量过程中受控制的设备的设备数据。此外，基于来自对所检测的第一数据的分析的信息，主模型可以优选自动或半自动地确定应用到所检测的数据或新获取的数据的一个或多个训练模型。这些一个或多个训练模型可以存储在本地。因此，装置可以有效而快速地为特定测量提供合适的模型，因为训练模型是在本地在该装置上选择的。在一些实施方式中，多个主模型也可以确定用于工作流程的一个或多个训练模型。

在一种可与先前设计组合的设计中，根据本发明的装置被设计用来调整一个或多个训练模型中的至少一个。该调整可以包括训练一个或多个训练模型中的至少一个的仅仅一部分或多个部分。附加地或替代地，该调整可以包括借助第二数据来训练一个或多个训练模型中的至少一个。第二数据例如可以包括被注释的第一数据。第一数据的注释可以包括应用于所检测的第一数据的至少一个训练模型的给定输出值，或者包括针对来自所检测的第一数据的相应输入值对输出值的评估。在一些实施方式中，可以评估基于应用一种或多种训练模型而做出的至少一个决定。例如，根据把训练模型应用于图像数据而设定的显微镜照明设置可以被用户评估为不良或不足。一个或多个训练模型中的至少一个可以由一个或多个用户根据一个或多个负面评估来调整。通过该调整，可以提高应用于所检测的第一数据的至少一个训练模型的预测精度，并且可以通过对训练模型的更好的预测来进一步优化工作流程。训练模型可以在本地借助汇总的第二数据在装置上或在云中进行调整(微调)。与模型的训练相反，对模型的调整需要的训练数据要少得多，以便提高训练模型对于新的但相似类别的数据—最初并未针对所述数据对模型予以训练—的预测准确性。

在根据本发明的装置的一个或多个设计中，该装置可以作为系统的一部分经由网络连接与服务器或云通信。特别地，一个或多个根据本发明的装置、工作站计算机和显微镜或显微镜系统及其组件可以彼此通信。在此，可以将数据(检测的数据如图像、设备数据、实验过程中的数据、模型或其部分、数据的隐藏表示形式或其它的在其维数方面经过压缩的数据、至少一个训练模型的输入数据、关于应用于输入数据的至少一个训练模型的给定输出值的注释、至少一种训练模型的输出值的评估、一个或多个组分中至少一个的参数数据、用户输入、错误通报、有关试剂、样本和材料的信息、在由一个或多个显微镜和/或显微镜系统进行的测量的过程中受控的设备的设备数据或与用户相关的数据)发送到服务器或云。现有模型可以在那里进行微调(“Fine-Tuning”)和改进。然后，可以自动地或半自动地将训练模型的新的改进版本加载到所述一个装置或多个装置上并进行应用。由此不仅在利用显微镜的实验过程和静态图像处理过程之间产生反馈，而且反馈还会影响数据或图像处理的内容，并且可以更改由模型在测量过程中做出的决定和评估。因此，可以通过修改模型来优化工作流程，并且在某些情况下可以更改工作流程。称为模型管理器的部分软件可以承担对各个系统与显微镜或显微镜组的通信的控制和组织以及对模型的版本管理。模型管理器可以被设计用于在一个或多个装置中的至少一个上实施至少一个调整的或微调的训练模型。这可以在测量过程期间或在通过至少一个显微镜和/或显微镜系统的一个或多个组件执行工作过程期间进行。

附图说明

下面借助示范性的附图详述本发明的主题。在这些附图中示出了本发明的有利设计的范例。

图1为本发明的根据一个实施方式用于优化工作流程的装置的示意图；

图2为本发明的根据一个实施方式用于优化工作流程的系统的示意图；

图3为本发明的根据一个实施方式用于优化工作流程的系统的示意图；

图4为本发明的根据一个实施方式应用模型的方法的示意图；

图5为本发明的根据一个实施方式应用模型的方法的示意图；

图6为本发明的根据一个实施方式用于在容器中提供深度学习模型的系统的示意图；

图7为本发明的根据一个实施方式用于提供深度学习推理作为网络服务的系统的示意图；

图8为本发明的根据一个实施方式用于在局域网络中在独立工作计算机上或者在服务器上训练模型的系统的示意图；

图9为本发明的根据一个实施方式用于在云中训练模型作为网络服务的系统的示意图；

图10为根据一个实施方式的模型管理器的示意图；

图11为根据一个实施方式的模型商店的示意图；

图12为本发明的方法的一个实施方式的示意性流程图；

图13为本发明的方法的一个实施方式的示意性流程图。

具体实施方式

图1示出一种装置100，其包括一个或多个处理器110和一个或多个存储介质120。该装置可以是显微镜和/或显微镜系统的一部分。替代地，装置100也可以在空间上与显微镜或显微镜系统分开，并且通过网络与显微镜或显微镜系统连接。显微镜系统可以包括一个或多个组件、模块、显微镜和/或子系统。所述一个或多个组件、模块、显微镜和/或子系统可以通过网络例如无线电网络相互连接。显微镜系统可以包括在显微镜任务的范畴内有助于实现所提出的目的的全部的子系统、组件或模块。这些子系统、组件或模块在此可以位于显微镜本身上，比如摄像机、探测器、显微镜台、马达、软件模块、硬件模块等。但它们也可以位于显微镜之外，比如数据库、网络连接件、分析软件、切片机、自动移液机、机器人、其它显微镜、显微镜群或工作站计算机。

装置100可以是微型计算机、工作站计算机、计算机或嵌入式计算机。一个或多个处理器110可以包括计算加速器，比如图形处理单元(GPU)、TensorFlow处理单元(TPU)、专用于机器学习(ML)和/或深度学习(DL)的应用型专用集成电路(ASIC)或现场可编程门阵列(FPGA)或至少一个中央处理单元(CPU)。专用集成电路(英文Application SpecificIntegrated Circuit，ASIC，也是定制芯片)是可以实现为集成电路的电子电路。由于其架构适应于特定问题地工作，所以ASIC非常有效地工作，并且比通过微控制器中的软件实现相同的功能要快得多。TensorFlow处理单元(TPU)也称为TensorFlow处理器，是专用于应用程序的芯片，并且与CPU相比可以在机器学习的范畴内加速应用。这些或类似的专用硬件可以用于优化地完成深度学习任务。特别地，推理也可以在普通CPU上工作，推理需要比训练即模型的开发少几个数量级的计算能力。此外，在一些实施方式中，该装置可以包括一个或多个训练过的模型130。借助于一个或多个训练过的模型130，可以借助人工智能(KI)使装置能够做出与显微镜或显微镜系统的工作流程有关的决策。一个或多个训练模型130可以由一个或多个处理器执行。

推理包括将经过训练的神经网络传输到应用机或装置，以使应用机或装置通过此传输获得额外的“智能”。因此，应用机或装置可以有能力独立地解决所希望的任务。

由此得到在认知上扩展的装置。在认知上扩展意味着，可以通过使用神经网络(或深度学习模型)或其他机器学习方法来使得装置能够在语义上识别和处理图像内容或其它数据。

图2在一个实施方式中示出了显微镜210与支持KI的装置220和230的通信。单个显微镜本身在此可以包括能够实现执行训练后的模型(例如神经网络)的硬件加速部和/或微型计算机。训练模型可以包括深度学习结果网络并且支持KI。这些神经网络可以表示结果，其中，这些结果通过至少一种深度学习过程和/或至少一种深度学习方法来学习。这些神经网络以适当的方式，通过自动学习将收集到的知识浓缩成一个特定的任务集合，这样一来，特定的任务在此后就可以自动地以最高质量执行。

显微镜210可以包括一个或多个组件260和270。显微镜的不同组件比如执行器260和传感器270本身可以支持KI，并且包括微型计算机或FPGA。显微镜210包括被设计用于检测数据的至少一个组件例如传感器270。所检测的数据可以包括图像数据和元数据。所述至少一个组件可以包括多个不同的分别检测不同数据的组件。在一个实施方式中，所检测的数据包括结构化数据，比如可扩展标记语言(XML)数据。这能实现统一地提供和处理来自一个或多个显微镜或显微镜系统的不同组件的所检测的数据。

图2和以下所有附图示出了显微镜，仅示例性地作为光学显微镜。在一些实施方式中，显微镜可以包括所有类型的显微镜。例如，显微镜可以包括以下之一：光学显微镜、立体显微镜、共聚焦显微镜、裂隙灯显微镜、手术显微镜、数字显微镜、USB显微镜、电子显微镜、扫描电子显微镜、反射式显微镜、荧光显微镜、聚焦离子束显微镜(FIB)、氦离子显微镜、磁共振显微镜、中子显微镜、SQUID扫描显微镜、X射线显微镜、超声显微镜、光片显微镜(SPIM)或声学显微镜等。

显微镜210被设计用来与嵌入式系统220及其控制计算机230通信。在一个例子中，显微镜通过双向通信链路240和250与具有硬件加速的KI的一个或多个嵌入式系统220以及与其控制计算机230同时或并行通信。通过双向通信链路240和250，例如深度学习总线，可以交换数据(例如图像、设备参数、实验参数、生物学数据)和模型、它们的组成部分或数据的隐藏表示(hidden representations)。可以在实验过程中更改模型(通过训练或改编模型的各个部分)。此外，可以将新模型加载到显微镜或装置上并使用。这可以基于对模型本身所提供的数据的识别和解释来完成。

模型还可以评估与用户相关的使用数据，确切地说，改善用户友好性。可用于此目的的数据主要是，鼠标移动、单击次数、单击之间的时间、与图像数据的交互以及用户已进行的设备参数设置。这提供了可以改善显微镜的可操作性的数据。同样，经过训练的模型可以在实验过程中动态或非动态地调整用户界面，从而突出显示相关的操作元素和/或使它们彼此在空间上接近，从而立即改善了用户友好性。借助于学习的用户界面，这可以持续改善用户友好性。

为了持续改进模型，在一个实施方式中，检测了来自尽可能多的用户的数据。用户可以指明他们的允许收集和匿名处理哪些数据的首选项。另外，在用户界面中对实验过程正确的位置，可能会评估模型的预测。在一个例子中，系统可以指明转染的细胞数量。在一个实施方式中，用户可以改写该值。这又提供了新的数据点用于微调模型。用户的优势因而在于他可以始终下载改进的模型。对于制造商而言，这又提供了不断提高其报价的可能性。

图3示出了几个显微镜330a、330b和330c，它们被组合成显微镜复合系统310。此外，图3示出了包括显微镜系统350a和350c以及显微镜350b的异构复合系统320。这些复合系统不固定于特定数量的显微镜和/或显微镜系统。显微镜和显微镜系统的数量可以根据应用领域和测量范围而改变。

显微镜330以及显微镜系统350可以包括一个或多个支持KI的组件。像图2中的显微镜一样，显微镜系统可以通过网络与其他支持KI的装置或系统进行通信。显微镜系统350可以例如通过双向连接与一个或多个嵌入式系统和/或一个或多个控制计算机或工作站计算机交换数据(未示出)。这些数据可以包括由显微镜系统或显微镜系统的组件检测的数据、模型或隐藏表示。显微镜330和/或显微镜系统350可以包括集成的微型计算机，其具有用于KI模型的硬件加速部，例如GPU、TPU、专用于ML和/或DL的ASIC或FPGA。

图3中还示出了复合系统中的显微镜330和显微镜系统350之间的通信。复合系统310的显微镜330或显微镜系统350以及它们的附接组件，例如嵌入式计算机或系统计算机(未示出)，既可以彼此通信，又可以与云300或服务器通信，例如用来交换数据或模型。

复合体中的通信可以用于协调复杂的、多模的和/或并行化的实验或测量。可以在那里交换控制信号、数据(图像、设备参数、隐藏的表示)和模型。特别地，已经在装置上与显微镜、显微镜系统或复合系统相结合地训练或修改的模型，可以与所述复合体中、其它复合体中的其它装置交换，或与云交换。这是通过管理用户权限和项目从属关系来完成的。在此，用户可以自己决定允许谁查看和使用所产生的数据流和模型。上传到云中的模型汇总了所有相关实验室或设施的经验，因此可以持续开发能供所有用户使用的模型。

如已述，工作组和机构之间的模型和数据交换可以利用云和通过云进行。显微镜、显微镜系统及其架构组件可以通过深度学习总线系统相互通信，并与工作站计算机通信。为此可以采用专用硬件和/或TCP/IP网络连接或等效物。通过同一个连接，一个工作组与其它分别包括一个或多个显微镜或显微镜系统的工作组、与服务器系统、云和/或其它机构进行通信。所有学习到的信息、数据、隐藏表示、模型和元数据都可以相互交换，并由模型管理器和权限管理进行管理。

在图2和3中描述的用于在显微镜及其组件之间通信的结构，也可以用于在显微镜、显微镜系统和显微镜系统组件复合体以及工作组和机构之间进行通信。为了通信，可以采用具有以下属性的深度学习总线系统：

·将所有子系统即显微镜组件、传感器和执行器相互联网，并与合适的模型联网。这些子系统可以是智能的，即本身具有神经网络或机器智能，也可以不是智能的。

·所有子系统和模块、显微镜和显微镜系统的联网导致具有域和子域的层级结构。

·所有域和子域以及相关的系统和子系统都可以集中记录和搜索，以便模型管理器(参见图10)向它们分发模型。

·对于时间紧迫的应用中的通信，可以使用专用硬件用于总线系统。替代地，也可以使用根据TCP/IP或合适的网络标准的网络连接。

·总线系统必须至少管理以下数据：每个组件(执行器、传感器、显微镜、显微镜系统、计算机资源、工作组、机构)的ID；所希望的支付系统的权限管理，包括作者、机构、执行机器的读/写权限；来自实验和模型的元数据；图像数据；模型及其架构，包括学习到的参数、激活和隐藏的表示；所需的接口；所需的运行环境，包括环境变量、库等；所有其它数据，只要模型管理员和权限管理需要。

·通过大量不同的支持KI的组件，产生了具有域和子域的层级结构。所有组件都记录在目录中，并且可找到。权限管理发生在每个层级(即连接到显微镜的组件、显微镜/系统、工作组、计算机资源、机构)。由此产生一个逻辑层级的功能结构，其能实现所有参与方的协作。

无论对于个人用户，还是在大型研究网络中，使用开放式标准进行通讯和数据存储，可以使单个显微镜扩展为显微镜或分布式工作组的复合体(例如在全球范围内)，它们相互连接，相互学习，从而不断改进设备。

显微镜由在功能上联网的相互连接的子系统、组件或模块组成。这种连接存在于显微镜子系统、整个显微镜以及显微镜的复合体或网络的层级上。在这三个层级中的每个层级上，可以说是分别更高的抽象层级的模块或组件。每个模块都通过狭长的接口进行通信，这些接口与模块内的相应硬件或软件无关，并具有用户权限管理。每个模块都以标准化格式不断记录其状态。这种类型的通信和状态参数记录也可用于非显微镜，例如实验室自动化、样本制备设备、移液设备、气候室等。

通信可以在单个显微镜(参见图2)、显微镜系统(参见图2和3)或显微镜和显微镜系统的复合体(参见图3)与它们的相应连接的组件(例如执行器和传感器)、嵌入式计算机、一台或多台系统计算机和云(参见图3)之间进行。在该实施方式中重要的是，可以不断交换数据、模型和数据—其可以视为维数减少的数据形式—的隐藏表示，并与云同步。后者能实现不断地进一步开发模型，这些模型可以从所有用户的累积经验中受益并解决新任务。否则，将需要大量数据来训练基于深度学习的模型。

通过显微镜、显微镜系统、复合系统和云的联网，产生了多种形式的反馈：

1)反馈显微镜：在实验过程中，与预定义的模型或图像处理过程异步地对数据评估，并基于提取的信息做出影响当前实验的决策(例如，有关记录的位置、记录的速度或图像记录方式如照明、检测或光学)。

2)反馈到模型中：由于可以对模型不断地进一步微调(“Fine-Tuning”)，由此越来越提高其预测精度，因此产生了反馈，该反馈即使在实验进行时也能够更改和改进不断评估数据的模型。

在反馈时，可以设计方法或过程的一种集合，使得通过深度学习发现的结果反作用于显微镜系统或显微镜子系统，从而产生一种反馈回路。通过反馈，将系统渐近地过渡到最佳的稳定状态，或者对其进行适当调整(系统设置)，以便能够更理想地记录某些对象。

3)基于图像识别和/或对记录数据的评估，可以在运行时交换和重新加载模型，以支持其它对象类型、其他颜色以及通常的其它应用程序。这甚至可以在实验或测量的进行期间发生，由此使得显微镜非常动态且适应性强。

这些形式的反馈能实现一种用于在显微镜测量时优化工作流程的新方法。

图4示出了用于以很大的可变性推理数据的层级布局。显微镜于是可以用在基础研究或临床应用中，在那里，图像数据和其它类型的数据差异很大。因此可以有益的是，使用“主模型”执行上游分类步骤，并自动为相应的数据域选择正确的模型。采用模型的层级式集成的原理不限于一个数据域，而是可以包括不同的数据类型和域。同样，可以层叠几个层级式地组织的模型集合，以便根据多个维度来组织数据域，并且尽管应用程序不同和数据的可变性，也可以执行自动推理。图4示出了具有高度可变性的数据(在这种情况下为图像数据410)的示例。这些数据因而例如可以是单个细胞的荧光图像412，HE染色的组织切片414或干扰对比图像416。为了仍然能够有效且高精度地进行推理，训练了主模型400以在图像数据410的不同数据域之间进行区分。该分类的结果能实现确定针对相应检测的图像数据412、414、416的域来确定合适的模型420、430和440。然后，可以将这些域的合适的模型420、430和440自动应用于相应的图像数据412、414、416。然后可以使用模型420、430和440及其推理来做出所希望的预测

关于工作流程的决定可以基于该预测。“主模型”或世界模型因而可以对应用领域进行分类，并自动选择合适的模型。例如，可以在显微镜工作流程期间检测来自HE染色的组织切片414的图像数据。可以将主模型400应用于这些图像数据，并确定训练后的模型412。训练模型412可以是已经特定于来自HE染色的组织切片的图像数据进行了训练的训练模型。然后可以将特定模型412自动应用于HE染色的组织切片414的图像数据，并做出精确的预测。

图5示出了训练过的模型530的应用情况。模型530被应用于数据520和510，这些数据是在工作过程中通过显微镜500及其组件(例如传感器)获取的。当前的实验或当前的测量连续地产生数据，这些数据可以是不同类型的，并由不同的组件或传感器获取。在图5的情况下，它可以是图像520和元数据或状态参数510。数据520和510由预训练的模型530分析。然后可以基于模型的应用和/或分析来做出决定540。受过训练的模型530可以评估和/或分析一个或多个不同类型的数据组，并基于该分析做出影响显微镜和/或其组件的工作流程的决策。在图5的情况下，可以借助模型530来确定所有参数是否都在正常范围内。在这种情况下，可以继续进行实验或测量。如果没有，例如这里在探测器过度曝光的情况下，则可以暂停当前的实验或测量，并重复记录最后位置，如步骤550中所示。为此，在一些实施例中可以附加地改变显微镜500的组件的参数，或者也可以发送错误通报或警告。然后可以按计划继续进行实验或测量。任何类型的数据，例如图像或元数据、设备参数、其它模型的预测或用户输入，都可以用于错误识别。基于对模型530的分析的决定，可以影响显微镜、显微镜系统、由显微镜或其附接的组件构成的复合体的所有控制参数，以及影响用户或服务技术人员的其它实验室设备或移动设备的过程。例如，可以将错误通报发送到服务技术人员或云。如果将错误通报发送到云，则可以在那里基于这些错误通报和来自同一来源的或其它来源的其它错误通报，也通过人工智能训练模型。然后，这些新的训练模型可以做出决定，以便自动消除错误，从而防止测量或实验被中止。

此外，记录显微镜系统的模块或组件的状态参数允许持续的自我诊断。这种自我诊断允许在测量过程中和之后对实验结果进行质量控制。此外，自我诊断允许通过技术服务进行自动、半自动或手动的控制，或者在需要情况下触发服务呼叫，从而可以确保实验和/或测量的顺利进行。这允许通过在各个模块或组件的层面上监视设备参数来实现显微镜的高可用性。

可以针对传感地或逻辑地获取的所有设备参数，规定在具有阈值的区间意义上的标准范围，或者规定统计意义上的期望值。在离开所确定的区间时，显微镜可以自动触发可由其它显微镜、用户或维修技术人员解释的事件。训练模型同样可以在无监视的情况下在数据流中搜索异常，并在出现异常时同样触发相应的事件。该事件又通过网络例如通过网络API发送，并因此到达其它显微镜的控制软件、用户的用户界面、服务技术人员的移动设备或作为培训数据进入云中。

在一些实施方式中，存在智能故障管理。由显微镜产生的错误通报，可以被连续地收集并被模型评估。在制造商的开发部门，可以对这些错误通报进行分析，并可以创建培训数据组，用于模型的受监视的或无监视的训练，这些模型于是可以识别出某些错误并自动采取措施来克服这些错误。这些训练模型然后可以附加地例如通过WiFi、电缆、蓝牙、光、U盘、磁盘等装载到根据本发明的装置上并执行。这允许给显微镜开发出一种“自我修复能力”，其方式为，在错误情况下，流出不会简单地陷入停顿，或实验数据无法使用，而是显微镜会重新编程其自身状态或改变设备参数，以便可以继续实现顺利的流程(参见图5)。此外，显微镜可以通过移动设备向用户通知问题，并要求用户输入，以便做出决定。模型的不受监视的(“无监视学习”)训练同样是可能的，这在实验期间就已经可以进行，以便例如识别出异常的或危险的场景。用户于是可以就此受到警告并且采取对策，或者可以告知用户潜在的危险的操作错误。由此可以提高实验的安全性。

如果例如在激光功率、传感器的放大电压或气候室的温度上出现波动，实验结果可能受到不利影响。将此记录下来并在模型的帮助下自动识别，这允许评估数据的质量。如果在记录过程中登记并识别出数据中的质量问题，显微镜就可以重复整个实验或部分实验。由于避免了不必要的手动重复并且提高了数据的可解释性，由此提高了用户的生产率，因为生物系统中的意外现象可以与设备参数相关联。例如，温度下降时，细胞分裂速度可能会更慢。这可以自动地被识别，并通知用户，且可以决定是否应该继续、中止或重复实验。记录的设备参数和状态参数以及由所述模型和为此采用的模型对它们的解释，可以按开放格式一起保存。由此可完全再现实验。

在存在关于实验、样本、样本制备和实验过程的数据的情况下，可以使用模型对必要试剂何时短缺做出预测，并且可以自动或半自动地订购这些化学的或生物的试剂。对试剂和材料的自动或半自动的后续订购，确保了长期实验或工业应用的顺利地不间断地进行。

由模型管理器或用户选择的模型或基于这些模型的KI应用程序，可以在实验之时、之前或之后快速提供。它们还可以独立于图像采集软件进行版本控制和管理，以及可在各种不同的系统或系统组件上—从微型计算机到嵌入式计算机、独立工作计算机直到云—扩展。在一个优选的实施方式中，采用了容器技术。这种容器(图6，610)包含所有环境变量、域名空间和运行环境和对于应用程序或模型的工作所需的全部库以及模型或应用程序本身。容器在下面的附图中仅示范性地而非局限性地示出。例如，代替Python，也可以使用其它编程语言。

图6示出了在容器中提供深度学习模型。可以在容器中提供运行环境、所有必需的驱动程序和库以及深度学习模型或基于该模型的应用程序。图像采集软件600通过合适的接口与该容器610通信，该接口满足620深度学习总线系统的要求，对于推理应用的情况，数据的输入/输出由图像采集软件接管。

图像采集软件600可以是软件组件，通过该软件组件可以控制一个或多个显微镜或显微镜系统和/或其组件。另外，图像采集软件600可以形成用户界面。对所记录的图像、实验数据、元数据和训练结果的基本管理可以由图像采集软件600接管。

图7示出了提供深度学习推理作为网络服务。网络服务器和相关的前端在容器700中启动。用户通过前端进行通信并发送订单。网络服务器在模型管理器的帮助下从云730、研究所740或用户的独立工作计算机750调用数据和模型。网络应用程序通过深度学习总线系统720的网络界面与深度学习容器710进行通信，该容器包括训练模型的应用(用于推理)并将结果发送回网络服务器。网络服务器计算输出，并通过网络前端将该输出显示给用户。必要时，结果也可以直接传输到独立工作计算机或用户的显微镜(系统)，并在那里影响实验的进度或承担控制任务。

容器的使用可以使微型计算机、嵌入式系统、具有GPU、TPU、专用于ML和/或DL的ASIC或FPGA的工作站计算机扩展到云应用程序，而原则上无需以任何方式更改模型及其操作所需的直接关联的软件。

图8示出了在独立工作计算机上或在局域网中的服务器上的模型训练。图像采集软件800通过深度学习总线系统820与深度学习容器810连接，并确定输入数据和/或输出数据的维度。对于训练，深度学习容器810在计算机资源上运行，在该计算机资源上也可以存在数据。因为对于训练需要最大的内存带宽，因此深度学习容器还包含存储器-管理器830，该存储器-管理器在需要时可以在快速本地存储器840上缓存数据，并为深度学习模型提供数据批。图像采集软件800经由深度学习总线系统850将实验数据、元数据和训练结果接管存储在独立工作计算机860或网络870中的服务器上。深度学习容器810在其上运行的计算机资源，可以与860或870相同，以便保持数据传输路径短小。采集软件800可以在本地工作站860上执行。

可以使用深度学习方法来训练模型。这包括按计划采用至少一种深度学习方法，但优选多种深度学习方法，以实现特定的目标。在此，该目标可以与分析有关(例如图像分析、对象识别、上下文识别等)，但也可以与控制有关(反馈显微、传感器适应、过程适应、系统优化等)。深度学习方法可以包括一系列方法步骤，这些方法步骤把流程细分为可理解的各步骤，确切地说，该流程可重复。这些方法步骤可以是特定的深度学习算法。但其也可以是网络用来学习(反向传播)的方法，其例如可以是数据采集的方式，或者是如何通过硬件处理数据的方式，等等。

图9示出了用于在云中作为网络服务训练模型的系统。这种训练形式支持三种类型的应用情况。在第一种情况下，用户911与云930中的网络应用程序910交互，以便训练用于特定应用的模型。这通常通过模型商店来完成(图11)。在第二和第三种情况下，用户坐在他的工作站上，并操作图像采集软件900。该图像采集软件与云930中的网络应用程序910通信。这通过深度学习总线系统，要么交互地在用户的控制下也通过网络前端来完成，要么通过API直接与网络服务器一起编程控制地来完成。网络服务器可以将数据暂存在云中，或从存储器950查询附加的数据。借助于模型管理器945，网络服务器负责提供用于训练的计算资源。训练所需的数据经由深度学习总线系统944被发送到可以与图8的深度学习容器810相对应的深度学习容器810。该深度学习容器使用存储器-管理器和快速本地存储器来缓存数据用于快速训练。训练在具有强大计算能力的计算资源975上进行。快速本地存储器可以是其自己的计算资源，或者可以是计算资源975的一部分。因此，可以在计算资源975上执行云服务，以便保持数据路径短小，或者在第三方的计算资源上执行云服务(例如，如果通过模型商店来提供训练作为服务)。对于本地存储器，可以使用快速NVMe-SSD或未来形式的快速非易失性存储器。训练结果供图像采集软件使用，该图像采集软件可以将这些结果存储在本地980或服务器990上，也可以从那里重新加载其它数据。采集软件900通常将在本地工作站980上执行。

返回到应用情况1：用户911可能需要训练新模型，但可能没有自己的资源。于是，他可以使用云930的网络应用程序910，以便借助于模型商店(图11)来搜索已完成的模型或搜索服务和计算资源的提供者。网络服务器使用模型管理器945，以便查找合适的完成的模型，或在强大的计算资源975上训练新模型。在这种情况下，用户911将通过网络接口上传数据，并且网络服务器可以在必要时从网络或云下载950其它所需的数据。数据通过深度学习总线944发送到深度学习容器810。由于下载用于训练的数据批必须快速进行，所以深度学习容器可以具有由自己的存储器-管理器管理的快速缓冲存储器(为此也参见图8)。这是逻辑层面。在硬件方面，快速缓冲存储器(例如快速NVMe SSD存储器)也可以与运行的计算资源975相同，深度学习容器也可以在该计算资源上运行。

应用情况2：用户912坐在他的显微镜旁，并操作采集软件900。该采集软件可以给他提供训练新模型的机会，并为此带上自己的用户接口或提供网络前端。用户912因此可以交互地下订单。

应用情况3：采集软件900以编程方式控制训练。因此，培训是实验的一部分，可以影响实验的过程。例如当要使用新的目前未知的数据对预训练的模型进行微调时，但这在本地是不可能的，或者并非所愿，或者服务提供商或第三方拥有合适的模型，并且该模型或者对新模型的训练在模型商店中作为服务提供，就需要这样。这个意义上的服务可以是，提供预先训练的模型、在预先配置的容器中的训练环境、计算资源、新模型的创建及其训练、现有数据的手动或自动的注释或者它们的组合。

图10示出了模型管理器1000的示意性结构，其被设计用于为正确的应用和机器提供正确的模型。通过各种不同的方式对模型管理器进行查询，即，由用户通过网络服务进行1010，作为图像处理的结果1011；作为在实验的处理流程中的一步1012；作为对模型元数据、隐藏的表示或模型参数进行数据挖掘的结果1013；作为来自模型商店的请求1014；或作为包括实验条件在内的显式模型参数1015。在模型管理器内，借助模型数据库1025进行权限管理1020。在那里可以存储如下信息：模型架构(带有所有计算步骤的“神经网络”拓扑)、模型参数(英文为“model weights(模型权重)”，即学习到的信息)、模型元数据和/或模型权限。同样可以在模型管理器内进行容器管理1030。容器管理器能实现在容器(例如Docker容器)中提供(“部署”)模型。为此，容器管理器使用容器数据库1035，该数据库可以包含以下信息：预制的映像和用于产生映像的指令。借助来自模型数据库1025的模型元数据，容器管理器可以找到适当的容器图像或生成新的容器图像。模型管理器将容器内的所希望的模型输出到相应的目标系统或相应的装置上。这可以是显微镜/显微镜系统1050，必要时带有嵌入式系统或附加组件、网络服务1051、模型商店1052或计算资源1053。后者可以是嵌入式系统、微型计算机、显微镜工作站或服务器。

模型管理器执行用于为了正确目的选择正确模型、管理模型元数据和创建用来运行模型的容器的所有任务。另外，对模型的权限管理可以由模型管理器执行。由于数据库中可以有任何数量的模型，因此有利地规定了各种不同的标准来搜索和选择适当的模型。

为了模型管理器的各种不同的任务，规定了与模型有关的一系列元数据。表1总结了一些示例性的元数据及其用途。

这些模型可以通过以下方式运行：可以将它们灵活地集成到不同的环境中，例如在所连接的显微镜组件或云上的独立工作计算机、嵌入式计算机、FPGA、TPU或ASIC，而无需明显更改环境。由于深度学习领域的技术发展迅速，因此每个模型的运行环境都可以单独进行调整和版本控制。因此在一些实施方式中采用了容器技术。这样就可以与模型一起管理和提供所有软件库、环境变量和“域名空间”。模型管理器借助元数据识别出可以使用哪个预制容器，或者动态创建一个新的合适容器并管理它。用于计算加速的库，即表1的字段(4)，存储了例如CU-DA或OpenCL需要哪个版本。其它库，例如Python版本(或其它编程语言的版本)和发行版、Tensorflow、Pytorch及其它，可以存储在表1的字段(5)中。表1的字段(6)中存储了在模型的输入和输出处的张量的精确维度及其数据类型。这用于配置容器和数据采集软件的接口，并选择正确的模型。在转移学习的情况下，通过这种方式也可以在新的应用程序上下文中再次使用预训练的模型的一部分，并与其它模型部分组合。该模型可以在显微镜或用户的工作流程中在不同的硬件上在不同的位置运行，例如在采集期间实时运行，对于反馈显微镜在采集期间异步运行，或者在后期处理中运行。字段(7)和(8)用于此目的。根据存储需求和在工作流程中的位置，确定可以和/或必须在显微镜系统的哪个组件上运行该模型，例如，在点扫描器、相机、三脚架中的FPGA上，或者在工作站的CPU或GPU、TPU或ASIC上，或者在计算集群，或者在云中。表1中的字段(9)到(12)用于为给定问题选择适当的模型。为此，根据字段(9)确定模型类别或数据域，例如，它是识别图像或文本的模型，还是解决分类或回归问题的模型。绩效的指标(例如预测准确性，“准确性”、“召回率”、“F1分数”、“Dice损失”、“SSIM”等)记录在字段(10)中。借此不仅可以选择合适的模型，而且可以不断改进现有模型。

模型管理器数据库中所有合适模型的整体行为因而就像一个“超级模型”，其可以作为整体学习，越来越好地更差异化地解决特定任务。通过不断更换模型(基于用户数据不断进行精炼)，利用来自全球用户和用户组的各种不同的数据，可以对适当数据域的所有用户数据进行全局的学习过程，该学习过程不断地改善模型供应。与在唯一的用户系统上简单地隔离地应用神经网络相比，这是优点之一。

显性模型特征存储在表1的字段(11)中。这些是来自实验的元数据，例如染色、细胞系、实验方案、生物DNA或蛋白质序列、采集速度、温度、空气湿度、缓冲液中的CO₂含量、营养液、光照、检测参数等等。选择合适模型的另一种方案是字段(12)中的隐性模型特征。这些是借助样本数据集对神经网络进行的预先计算的激活，或者也可以是反映模型的学习语义的学习的模型参数。通过合适的无监督的(“无监视的”)学习方法，例如“kmeans聚类”、“平均移位聚类”或“t-SNE”，可以在无需任何用户干预的情况下识别模型之间的语义关系。因而也可行的是，给用户找到先前未知的模型，并推荐给用户。在表1的字段(13)到(15)中涉及到模型的权限管理。作者字段(13)可以免费地或付费地提供给模型。为此，可以使用存储在字段(14)中的不同支付模型，例如在下载时的一次性付款，或涉及到使用时间或使用频率的与使用有关的付款。在字段(15)中管理允许哪台机器运行相关模型。在某些应用领域中，例如医学、病理学或体外诊断领域，必须遵守某些标准、验收标准或证明。因此，必须严格规范在这些区域中模型的运行或下载。相反，用于纯粹研究的设备可以运行或下载任何模型。

可以在提到的所有元数据上以各种不同的搜索词、通常的表达式和过滤器进行搜索。同样可以对这些元数据进行数据挖掘，以便管理、选择和不断改进模型。

图11示意性地示出了模型商店1100。模型商店1100是“生物图像信息学”领域中的模型和服务的市场。显微镜或网络服务的用户1110搜索模型，请求服务(例如模型的创建或图像处理过程)，这些服务是他们用钱或积分系统支付的。搜索是通过网络前端1130进行的。图像处理或显微镜领域的专家1120也在那里提供其模型和服务。除了创建模型和图像处理过程之外，该服务还可以包括提供自己的计算资源。网络前端经由商店后端1140处理支付信息、用户积分(“信用”)和用户等级(“层次”)。商店后端包含对接服务，以寻找合适的业务伙伴。商店后端在用户数据库1145中存储有关用户资料、信用、层次和曝光的所需信息。模型商店在步骤1150中通过模型管理器1160处理用户的搜索请求，并在步骤1155中接收合适的模型。相反，由专家提供的模型被模型管理器1160管理。如果需要计算资源1170来执行服务，则制造商可以提供这些资源，或者由专家1120或第三方提供的资源1170，并在那里提供所希望的模型或图像处理过程。用户现在可以将新模型下载到他的显微镜上并在那里执行；他例如可以下载并执行图像处理过程，或者他可以在由制造商或第三方提供的云服务上执行该图像处理过程。

图12示出了根据本发明的用于优化工作流程的方法的实施方式的示意图。测量系统1212、1214和1216分别包括至少一个在其上运行训练模型1220的装置。所述至少一个装置可以包括工作站计算机、嵌入式计算机、传感器、执行器和/或显微镜。除了所述至少一个装置和一个或多个显微镜和/或显微镜系统之外，测量系统本身还可以包括参与执行测量的其它设备。例如，这可以包括用于实验室自动化的设备、一个或多个传感器、一个或多个执行器、一个或多个样品制备设备、一个或多个切片机、一个或多个用于移液的设备和/或气候室，它们通过网络例如无线电网络相互连接。测量系统1212、1214和1216还可以在空间上分开，并且由不同的用户操作。

在每个测量系统1212、1214和1216中，可以应用相同的训练模型1220。针对进入训练模型1220中的输入X_i，训练模型1220提供输出

训练模型可以应用于检测的数据，这些数据由一个或多个显微镜的一个或多个组件例如诸如相机的传感器在工作流程期间被检测。检测到的数据可以用作模型的输入X_i，并且包括图像数据、元数据、参数数据、实验过程中的数据、试剂和材料的信息、有关检查对象或检查样本的信息、用户相关数据和/或来自设备的设备数据，它们在由一个或多个显微镜和/或显微镜系统执行的测量过程中控制。基于训练模型的输出

可以做出关于一个或多个显微镜或测量系统1212、1214和1216的工作流程的至少一个决定。至少一个决定可以包括一个或多个显微镜或其组件的自动或半自动的状态变化。例如，输出

可以用于控制一个或多个组件，或基于输出

选择并使用另一个训练模型。替代地，也可以通过输出

来表明错误，或者改变参与测量的设备的参数数据。

在步骤1230中评估输出

评估可以基于检测测量系统1212的用户的输入，并且包括负面评估或正面评估。在一个示例中，测量系统1212的显微镜的相机检测图像。通过训练模型1220来分析检测的图像。所检测的图像的像素可以对应于训练模型1220的输入值X_i。在该示例中，训练模型1220可以已被训练用于确定对样本的最佳照明，并且应用于检测到的图像提供用于光源强度的预测或输出

在另一步骤中，可以自动调节光源的强度，并且以新的强度执行另一测量。对用户的预测或输出的评估可以主动或被动地进行。例如，用户可以改写预测的强度。系统检测用户输入，并将预测或输出评估为负面，因为假设用户对预测强度不满意。因此，用户输入的故障可以被评定为是正面评估。在一个实施例中，在评估预测之后可以主动地向用户询问。检测到的数据可以根据评估来注释和用作训练数据。

在下一步骤中，将第二数据发送到云1240。第二数据可以自动地、半自动地或手动地上传至云1240，并且包括以下中的至少一个：至少一个训练模型1220或其部分、检测的包括至少一个训练模型的输入数据在内的数据、关于应用于输入数据的至少一个训练模型的给定输出值的注释、数据的隐藏表示、至少一个训练模型的输出值的评估、一个或多个组件中的至少一个组件的参数数据、实验过程中的数据、错误通报、关于试剂和材料的信息、在由一个或多个显微镜和/或显微镜系统进行的测量期间受控制的设备的设备数据及与用户相关的数据。第二个数据可以来自一个或多个来源。在图12中例如示出了三个源(测量系统1212、1214和1216)。在一个实施例中，第二数据在云1240中聚合。

在云1240内，在步骤1250中修改或调整训练模型1220，以便得到调整的模型1260。步骤1250可以包括至少部分地通过第二数据来对训练模型1220的至少一部分予以训练，以便得到调整的训练模型1260。替代地，也可以通过云1240中的聚合数据训练新模型。针对进入调整的训练模型1260中的输入X_i，调整的训练模型1260提供输出

针对进入训练模型1220中的相同的输入X_i和调整的训练模型1260，因此可以得到不同的输出

和

因此，调整的训练模型1260可以基于输入X_i对工作流程做出不同于训练模型1220的预测。在一个实施方式中，调整的训练模型1260的预测或输出

有利于一定的或特定的应用情况。例如，可以通过调整来提高应用于检测到的数据的至少一个训练模型的预测精度。通过更好的预测或优化地输出调整的训练模型，可以优化显微镜或显微镜系统的工作流程。

在另一步骤1270中，可以将调整的训练模型1260或新的训练模型加载于测量系统1212、1214和1216的一个或多个装置。这可以自动、半自动或手动地完成。因此，可以不断改进训练模型，并可以改善显微镜或显微镜系统的工作流程。图13示出了根据本发明的用于优化至少一个显微镜或显微镜系统的工作流程的方法1300的实施例的示意性流程图。该方法1300包括步骤1310，在该步骤中在由至少一个显微镜和/或显微镜系统的一个或多个组件执行的工作过程期间检测数据。数据可以由一个或多个组件中的一个或多个例如传感器检测。

在可选的步骤1320中，可以至少部分地基于所检测的数据来确定一个或多个训练模型。确定一个或多个训练模型可以包括将训练的主模型应用于所检测的数据。可以从可被本地存储且可从本地数据库调用的多个训练模型中，选择一个或多个训练模型。

在另一步骤1330中，将一个或多个在一个实施方式中事先已确定的训练模型应用于所检测的数据。该应用可以在工作流程执行期间发生。应用一个或多个训练模型可以包括借助于一个或多个训练模型对数据予以分析，基于该分析，可以做出关于工作流程的至少一个决定。可以将一个或多个训练模型用作网络服务，应用在工作站计算机上、应用在显微镜或显微镜系统上和/或应用在显微镜或显微镜系统的附接组件上。

在另一个步骤1340中，基于一个或多个训练模型的应用做出关于工作流程的至少一个决定。这可以包括对一个或多个组件中的至少一个的控制。

在一个实施方式中，可以调整一个或多个训练模型或训练的主模型。为此，可以借助人工智能在服务器、云或工作站计算机上训练一个或多个训练模型或训练的主模型。服务器、云或工作站计算机的设计方式使其可以借助深度学习模型进行训练。这可以借助来自各种来源的汇总数据来完成。但是，也可以仅训练一个或多个训练模型或训练的主模型的一部分。由于这种训练方法(也称为精细调整)的计算强度较小，对一个或多个训练模型或训练的主模型的一部分的调整，既可以在服务器、云或工作站计算机上执行，又可以在微型计算机—其是显微镜的一部分、嵌入式计算机或显微镜系统中的其它装置上执行。为了微调，也可以采用来自各种不同的来源的数据。

使用在显微镜测量中采用的并在那里有利地基于少量数据进行预测(推理)的预测/训练的模型，这优化了工作流程并拓宽了模型在显微镜测量中的应用范围。使用这些模型进行推理的应用领域是多种多样的，主要包括显微镜或实验过程的完全的或部分的自动化(例如查找对象、设置照明或探测参数)、重建图像和消除图像缺陷(例如噪声消除)、数据中的数据挖掘(例如各个对象的分割、表型的识别)、显微镜的自我诊断、服务呼叫的协调、质量控制和实验的可重复性以及用户友好性的提高。通过微调预测模型，可以对这些模型进行持续改进和/或可以指定模型的应用范围。这可以有利地通过仅训练神经网络中的几个节点来完成。

附图标记清单

100 装置

110 一个或多个处理器

120 一个或多个存储介质

130 训练模型

210 显微镜

220 嵌入式计算机

230 系统计算机

240、250 双向通信链路

260 作者

270 传感器

330a、330b、330c、350b 显微镜

350a、350c 显微镜系统

400 主模型

410、412、414、416 数据域

420、430、440 训练模型

500 显微镜/显微镜系统

510、520 数据

530 训练模型

540、550 方法步骤

600 图像采集软件

610 容器

620 深度学习总线系统

630 网络或云存储器

700 容器

710 深度学习容器

720 深度学习总线系统

730 云

740 研究所

750 用户的独立工作计算机

800 图像采集软件

810 深度学习容器

820 深度学习总线系统

830 存储器管理器

840 快速本地存储器

850 深度学习总线系统

860 独立工作计算机

870 网络中的服务器

910 网络应用程序

911、912 用户

930 云

944 深度学习总线系统

945 模型管理器

950 存储器

975 具有强大计算能力的计算资源

980 系统计算机

990 服务器

1000 模型管理器

1010-1015 方法步骤

1020 权限管理

1025 模型数据库

1014 模型商店

1030 容器管理

1035 容器数据库

1050 显微镜

1051 网络服务

1052 模型商店

1053 计算资源

1100 模型商店

1110 用户

1130 网络前端

1120 专家

1140 商店后端

1145 用户数据库

1150、1155 方法步骤

1160 模型管理器

1170 计算资源

1212-1216 测量系统

1220 训练模型

1230 评估

1240 云

1250 方法步骤

1260 调整的训练模型

1270 方法步骤

1300 方法

1310-1340 方法步骤。

Claims

1.一种用于优化一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的工作流程的装置(100)，包括：

一个或多个处理器(110)；

一个或多个计算机可读的存储介质(120)，在其上存储着计算机可执行的指令，这些指令在它们由所述一个或多个处理器(110)执行时引起，

a)一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的一个或多个组件(260、270)执行工作流程，其中，所述工作流程包括检测第一数据(510、520)；

b)把一个或多个训练模型(420、430、440；530；1220)应用于所检测的第一数据(510、520)；和

c)基于对所述一个或多个训练模型(420、430、440；530；1220)的应用来做出关于工作流程的至少一个决定。

2.如权利要求1所述的装置，其特征在于，计算机可执行的指令在它们由所述一个或多个处理器(110)执行时还引起，至少部分地基于所检测的第一数据(510、520)来确定所述一个或多个训练模型(420、430、440；530；1220)。

3.如权利要求2所述的装置，其特征在于，对所述一个或多个训练模型(420、430、440；530；1220)的确定至少部分地基于把训练的主模型(400)应用于所检测的第一数据(510、520)。

4.如权利要求3所述的装置，其特征在于，应用所述训练的主模型(400)包括分析所检测的第一数据(510、520)，其中，所述训练的主模型(400)基于来自对所检测的第一数据(510、520)的分析的信息来确定所述一个或多个训练模型(420、430、440；530；1220)。

5.如权利要求1～4中任一项所述的装置，其特征在于，所检测的第一数据(510、520)包括以下至少一项：图像数据；用户输入；错误通报；元数据；一个或多个组件的参数数据；实验过程中的数据；关于试剂和材料的信息；关于对象或样本的信息；与用户相关的数据；来自在由所述一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)和/或由所述一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的附接组件执行的测量过程中受控制的设备的设备数据。

6.如权利要求1～5中任一项所述的装置，其特征在于，所述装置被设计用于调整所述一个或多个训练模型(420、430、440；530；1220)中的至少一个。

7.如权利要求6所述的装置，其特征在于，所述调整包括训练所述一个或多个训练模型(420、430、440；530；1220)中的至少一个的仅仅一部分或多个部分，和/或，

其中，所述调整包括借助第二数据来训练所述一个或多个训练模型(420、430、440；530；1220)中的至少一个，其中，所述第二数据被注释，其中，所述注释包括应用于所检测的第一数据(510、520)的至少一个训练模型的给定输出值。

8.如权利要求6或7所述的装置，其特征在于，关于工作流程的所述至少一个决定被评估，和/或，

其中，所述一个或多个训练模型(420、430、440；530；1220)中的至少一个根据负面的和/或正面的评估予以调整。

9.如权利要求6～8中任一项所述的装置，其特征在于，至少一个调整后的训练模型的预测准确性与应用于所检测的第一数据(510、520)的至少一个训练模型(420、430、440；530；1220)的预测准确性相比提高了。

10.如权利要求1～9中任一项所述的装置，其特征在于，所述一个或多个处理器(110)包括计算加速器如图形处理单元GPU、TensorFlow处理单元TPU、专用集成电路ASIC或现场可编程门阵列FPGA或至少一个中央处理单元CPU。

11.一种用于调整工作流程的系统，包括：

一个或多个根据权利要求1的装置(100)，其中，所述一个或多个装置(100)是一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的一部分，并且所述一个或多个装置被设计用于把第二数据发送至云(300；730；930；1240)；

包括计算资源(860、870；930、980)的云(300；730；930；1240)，其中，所述计算资源(860、870；930、980)被设计用于根据第二数据来调整一个或多个所述训练模型(420、430、440；530；1220)中的至少一个；和

模型管理器(1000；1160)，其被设计用于在所述一个或多个装置(100)中的至少一个上实施至少一个调整后的训练模型。

12.如权利要求11所述的系统，其特征在于，所述调整包括借助所述第二数据训练所述一个或多个训练模型中的至少一个的仅仅一部分，和/或，

所述第二数据包括以下中的至少一个：至少一个所述训练模型或其部分；所检测的包括用于至少一个所述训练模型的输入数据在内的数据；关于应用于所述输入数据的至少一个训练模型的给定输出值的注释；数据的隐藏表示；至少一个所述训练模型的输出值的评估；一个或多个组件中的至少一个组件的参数数据；用户输入；实验过程中的数据；错误通报；关于试剂和材料的信息；在由所述一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)和/或由所述一个或多个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的附接组件进行的测量期间受控制的设备的设备数据；与用户相关的数据，其中，所述第二数据源自一个或多个来源，在所述云(300；730；930；1240)中聚合，和/或自动、半自动或手动地上传到所述云(300；730；930；1240)。

13.如权利要求11和12中任一项所述的系统，其特征在于，所述系统还包括一个或多个如下单元：服务器(740)；工作站计算机(750)；在一个或多个所述装置(100)中的至少一个上的模型商店(1100)作为软件组件，其中，借助所述模型商店(1100)可以下载模型并在本地实施；用于实验室自动化的组件；一个或多个传感器；一个或多个促动器；一个或多个样本制备设备；一个或多个切片机；一个或多个用于移液的设备；和气候腔，

其中，所述一个或多个单元通过网络与一个或多个所述装置(100)连接。

14.一种用于优化至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)的工作流程的方法(1200)，包括以下步骤：

a)由至少一个显微镜和/或显微镜系统(210；330、350；500；1050；1212、1214、1216)的一个或多个组件(260、270)执行(1310)工作流程，其中，所述工作流程包括检测第一数据(510、520)；

b)把训练模型(420、430、440；530；1220)应用(1330)于所检测的第一数据(510、520)；和

c)基于对所述训练模型(420、430、440；530；1220)的应用来做出(1340)关于工作流程的至少一个决定。

15.如权利要求14所述的方法，其特征在于，在应用所述训练模型(420、430、440；530；1220)的步骤之前，所述方法包括至少部分地基于所述第一数据(510、520)确定(1320)所述训练模型(420、430、440；530；1220)的步骤。

16.如权利要求15所述的方法，其特征在于，确定所述训练模型(420、430、440；530；1220)包括把训练模型(400)应用于所检测的所述第一数据(510、520)。

17.如权利要求15或16所述的方法，其特征在于，确定所述训练模型(420、430、440；530；1220)的步骤包括从多个训练模型(420、430、440；530；1220)中选出按一定的方式训练的模型。

18.如权利要求17所述的方法，其特征在于，

多个训练模型按应用领域进行分类；和/或，

多个训练模型层级地组织；和/或，

使得来自大量训练模型的各个训练模型特定于各种样本、实验、测量或设备设定。

19.如权利要求14～18中任一项所述的方法，其特征在于，所述方法还包括调整所述训练模型的步骤，其中，调整所述训练模型包括至少一个如下步骤：

至少部分地借助第二数据来训练所述训练模型(420、430、440；530；1220)的一部分，以便得到调整后的训练模型；和，

借助聚合数据来训练所述训练模型(420、430、440；530；1220)，其中，所述聚合数据源自一个或多个来源，以便得到调整后的训练模型，其中，所述聚合数据包括自动、半自动或手动地上传到云(300；730；930；1240)、服务器(870)或工作站计算机(860)的数据。

20.如权利要求19所述的方法，其特征在于，所述方法还包括检测所述第二数据的步骤，其中，所述第二数据包括以下中的至少一个：所述训练模型(420、430、440；530；1220)或其部分；所检测的包括所述训练模型(420、430、440；530；1220)的输入数据在内的数据；所述输入数据的注释；数据的隐藏表示；应用于所述输入数据的所述训练模型(420、430、440；530；1220)的输出值的评估；用户输入。

21.如权利要求20所述的方法，其特征在于，检测第二数据的步骤包括检测用户规定的状态，该状态不同于由所述训练模型(420、430、440；530；1220)规定的状态，其中，所述第二数据包括由所述训练模型(420、430、440；530；1220)规定的状态相对于用户规定的状态的差异的表示或者用户规定的状态的表示。

22.如权利要求14～21中任一项所述的方法，其特征在于，通过深度学习在云(300；730；930；1240)、服务器(870)或工作站计算机(860)上针对来自一个或多个来源的数据训练所述训练模型(420、430、440；530；1220)，并加载到至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)上和/或加载到至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)的附接组件上；和/或，

把所述训练模型(420、430、440；530；1220)作为网络服务应用在工作站计算机上、应用在至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)上和/或应用在至少一个显微镜或显微镜系统(210；330、350；500；1050；1212、1214、1216)的附接组件上。