CN113826037A - 用于提供成像设备的操作设置的控制器和方法 - Google Patents

Abstract

公开了一种用于提供成像设备(102)的操作设置的控制器(104)。控制器被配置为向用户提供用于获取图像的优选操作设置。控制器被进一步配置为接收用户输入并基于用户输入生成响应信息，所述响应信息指示由成像设备生成的图像是否被用户接受。控制器被进一步配置为基于响应信息使用机器学习算法更新优选操作设置。

Description

用于提供成像设备的操作设置的控制器和方法

技术领域

本发明涉及用于提供成像设备的操作设置的控制器和方法。此外，本发明涉及一种包括成像设备和用于提供其操作设置的控制器的成像系统。

背景技术

在显微镜领域，找到显微镜的操作设置以实现最佳图像质量是至关重要的需求。通常，操作设置包括多个设置参数，在开始图像获取之前必须同时优化这些设置参数。优化设置参数对于用户来说是一项繁琐且耗时的任务，每次图像获取都必须重复进行。因此，为了以简单且可再现的方式获得最佳图像质量，非常需要为用户提供工具以使其更容易选择最佳操作设置。

最近，已经开发出机器学习算法，帮助用户找到合适操作设置，而无需在每次使用显微镜时调整大量设置参数。在文件DE 10 2014 102 080 A1中公开了使用机器学习算法来提供操作设置的显微镜系统的示例。其中公开的机器学习算法允许显微镜系统学习调整设置参数所依据的规则。这种系统的学习发生在显微镜的制造或开发周期中。

发明内容

本发明的目的是提供一种控制器和方法，用于使用户能够以最少的努力快速找到成像设备的合适操作设置。此外，本发明的目的是提供一种包括上述类型的控制器的成像系统。

为了实现上述目的，提出了一种用于提供成像设备的操作设置的控制器。控制器被配置为向用户提供用于获取图像的优选操作设置。控制器进一步被配置为接收用户输入并基于用户输入生成响应信息，所述响应信息指示由成像设备生成的图像是否被用户接受。控制器进一步被配置为基于响应信息使用机器学习算法更新优选操作设置。

成像设备的操作设置可以包括适于根据需要操作成像设备的多个设置参数。特别地，操作设置可以包括确定由成像设备生成的对象图像的质量的参数。

响应信息可以包括指示由成像设备生成的图像是否被用户丢弃，或者设置参数是否被用户更改的信息。

在获取图像之前，控制器为用户提供优选操作设置。此优选操作设置可直接用于后续图像获取，即在图像获取之前无需被用户改变。可替代地，优选操作设置可以在获取图像之前被用户改变。在这种情况下，优选操作设置被经改变的操作设置覆写，此经改变的操作设置随后被用于图像获取。

在基于操作设置获取图像后，此操作设置可以是控制器起初提供的上述优选设置或被用户改变并覆写优选设置的设置，控制器接收用户输入，基于用户输入控制器可以决定用户是否丢弃成像设备根据所选操作设置生成的图像。随后，基于从用户输入得出的此响应信息，控制器应用机器学习算法更新优选操作设置。

响应信息表示简单的决策标准，机器学习算法可以使用它来有效地更新成像设备的优选操作设置。特别地，由于在由成像设备执行的成像操作期间基于用户输入生成响应信息，因此可以在用户实际使用成像设备工作的同时执行使用机器学习算法更新操作设置的过程。因此，没有必要在用户使用成像设备工作的实际图像获取之前实施单独的学习过程。换句话说，用户不必如例如由上述文件DE 10 2014 102 080 A1所教导的那样手动投票所获取图像是否是好图像。相比之下，根据本发明的实施例的控制器基于用户的行为来确定所获取图像是否是好图像。基于该结论，控制器可以提供机器学习算法。

所提出的控制器能够可靠地预测优选操作设置并立即应用所预测设置。因此，可以改善工作流程，并且用户甚至可以在开始图像获取之前不再需要调整多个设置参数。此预测基于先前用户输入，其指示在正在进行的成像过程中获取的当前图像是被用户接受还是被丢弃。

优选地，控制器进一步被配置为当响应信息指示图像未被用户丢弃时，断定图像为好图像，当响应信息指示图像被用户丢弃时，断定图像不是好图像，并相应地向机器学习算法提供指示图像是否被断定为好图像的信息。在下文中，好图像可以被理解为满足用户期望的图像，特别是在图像质量方面，使得在图像获取之后产生的用户输入指示该图像被接受，即没有被用户丢弃。因此，好图像可以是用户以一种或另一种方式在成像过程期间用其继续工作的图像。未被用户接受为如上定义的好图像的图像在下文中将被称为坏图像。

根据优选实施例，控制器被配置为进一步基于用于获取图像的操作设置来更新优选操作设置。后一种用于图像获取的设置可以是由控制器起初提供的上述优选操作设置，也可以是被用户有意调整以用于图像获取的设置。此有意调整的设置可以从优选操作设置中得出。

在此实施例中，优选操作设置的更新，即待被用于图像获取的下一个设置的预测，是基于先前设置完成的。因此，控制器可以将当前操作设置馈送给机器学习算法，以便对用户在稍后阶段可能需要的操作设置做出决定。

优选地，控制器被配置为更新优选操作设置以在图像被断定为好图像时强化用于获取图像的操作设置，和/或在图像被断定为不是好图像时更新优选操作设置以削弱用于获取图像的操作设置。在这样的实施例中，可以以如下方式执行强化机器学习，即好图像导致所选操作设置的强化，可以说，优选操作设置的更新集成了用于获取图像的设置。相比之下，坏图像会导致当前操作设置的削弱，即优选操作设置的更新与用于获取图像的设置背离。例如，假设优选设置参数的值为A，然后用户用经改变的参数值B覆写A，并基于值B获取图像。如果所获取图像是好图像，则后续优选参数可以是B。另一方面，如果所获取图像是坏图像，则下一个优选设置参数可以再次是A。

根据优选实施例，控制器被配置为如果在获取图像之后，与用来获取图像的先前操作设置相比，用户改变了操作设置的第一组参数的设置参数，则生成指示图像被丢弃的响应信息。

优选地，第一组参数包括直方图设置、曝光时间设置、增益设置、对比度设置、照明光设置、物镜设置、位置设置、时间设置、重复设置、合并设置、HDR设置、数字融合设置、彩色/黑白设置、自动曝光开/关设置和共焦显微镜设置中的至少一个。

照明光设置可以包括针对每种光类型的设置，包括针对组合光段的环形灯的开/关设置、针对同轴光的开/关设置、针对透射光的开/关设置。物镜设置可以包括用于为概览图像、z-堆叠和z-堆叠高度选择物镜的设置。位置设置可以包括对行、列及其组合的设置。时间设置可以包括对时间段、时间间隔等的设置。共焦显微镜设置可以包括平均数设置、速度设置、格式设置、双向扫描开/关设置、针孔大小设置、机动校正环设置、自动增益开/关设置、发射设置、激发光设置、染料设置。

优选地，控制器被配置为如果在获取图像之后，与先前操作设置相比，操作设置的第二组参数的设置参数被用户改变，则生成指示图像未被丢弃的响应信息。

优选地，第二组参数包括变焦设置和载物台设置中的至少一个。

在进一步的优选实施例中，控制器被配置为如果图像被存储或进一步处理，即使用进一步的操纵，则生成指示图像未被丢弃的响应信息。进一步处理可以包括注释、测量、裁剪等。

根据另一方面，提供了一种成像系统，包括成像设备和如上所述的用于提供成像设备的操作设置的控制器。

控制器可以被配置为基于更新的操作设置自动地控制成像设备。

在优选实施例中，成像设备是显微镜系统，例如共焦显微镜系统。

根据另一方面，提供了一种提供成像设备的操作设置的方法，该包括以下步骤：向用户提供用于获取图像的优选操作设置；接收用户输入并基于用户输入生成响应信息，所述响应信息指示由成像装置生成的图像是否被用户丢弃；并基于响应信息使用机器学习算法更新优选操作设置。

根据另一方面，提供了一种计算机程序，其具有程序代码，当计算机程序在处理器上运行时，程序代码用于执行该方法。

附图说明

下面结合附图对优选实施例进行说明，其中：

图1是示出根据实施例的包括控制器的成像系统的框图；以及

图2是示出用于提供成像设备的操作设置的工作流程的流程图。

具体实施方式

根据实施例的成像系统100在图1的框图中示出。在本实施例中，成像系统100由显微镜系统形成。

成像系统100包括例如显微镜的成像设备102和控制器104。在本发明中，控制器104可以包括输入模块106和学习模块108。模块106、108都可以用硬件和/或软件来实现。此外，在本实施例中，控制器104被配置为控制成像系统100的整体操作。

特别地，当启动成像设备102时，控制器104向用户提供优选操作设置。此优选操作设置可以包括用于控制成像设备102以获取图像的多个设置参数。优选操作设置可以已经预先存储在包括在控制器104中的存储器装置中。为了将优选操作设置通知给用户，成像系统100可以包括例如图1中未显示的监视器，其上显示了优选操作设置。

可选地，可以根据关于待成像样本的信息来调整或选择优选操作信息。用户接口可以被配置为接收由用户输入的样本信息。可替代地，通过测量收集关于样本的信息，并且此测量的结果以样本信息的形式传送到用户接口。这样的测量可以提供关于特定样本特性的信息，而无需用户将此类信息输入到用户接口。接收此类信息的两种方式，即通过用户输入和通过样本测量也是可能的。根据通过用户接口接收到的关于样本属性的信息，控制器104可以自动地调整显微镜的一个或多个显微镜组件。

在已选择和/或已调整优选操作设置之后，操作成像设备102以生成图像。为此，基于优选操作设置或者基于在获取图像之前已经被用户改变的操作设置来控制成像设备102。在后一种情况下，可以响应于相应的用户输入在控制器104的存储装置中覆写优选操作设置。

在图像已经被成像设备捕获之后，控制器104的输入模块106通过包括在成像系统100中的合适输入设备接收用户做出的用户输入。这样的输入设备可以是被配置为将用户输入传输到输入模块106的控制面板、键盘等。控制器104被配置为基于用户输入生成响应信息，即从用户输入得出所述响应信息，使得响应信息指示由成像设备102生成的图像是被用户接受或还是丢弃，或者设置参数是否被用户更改。

随后，基于从用户输入得出的响应信息，控制器104使用学习模块108更新优选操作设置。为此，学习模块108被配置为对包括响应信息的输入数据应用机器学习算法。此算法能够预测操作设置，当操作成像设备进行下一次图像获取时，该操作设置被假定为用户优选的。在这方面，值得注意的是，控制器104被配置为在用户实际使用成像设备102工作的同时通过学习模块108更新操作设置。换言之，图像获取和更新操作设置的过程是同时执行的。因此，控制器104能够基于更新的操作设置自动地控制成像设备102。

除了指示由成像设备102生成的图像是否已被用户丢弃的响应信息之外，控制器104的学习模块108进一步可以被提供当前用于获取图像的操作设置，以预测设置的下一次更新。在根据关于样本的信息调整或选择优选操作信息的情况下，控制器104的学习模块106也可以被提供操作设置。

图2是示出用于更新包括在图1的成像系统100中的成像设备102的操作设置的示例性工作流程的流程图。为了简单起见，图2是一种组合框图和流程图的元素的混合图。特别地，图2示出学习模块108和成像系统100的其余部分之间的交互。

在图2中所示的工作流程的步骤S1中，控制器104确定由成像设备102生成的图像是否被用户丢弃。为此，控制器104分析从用户输入得出的响应信息，用户输入是用户响应于例如通过在监视器上显示的呈现给他或她的图像而输入的。如果控制器104在S1中确定图像被丢弃，则控制器104在步骤S2中断定图像是好图像。另一方面，如果控制器在S1中确定图像被用户丢弃，则控制器在步骤S3中断定图像是坏图像。

是否丢弃图像，即图像是好图像还是坏图像的结论可以根据在已经获取图像后用户是否改变了操作设置的一个或多个特定设置参数来得出。例如，如果在获取图像之后操作设置的第一组参数的设置参数与用来获取图像的先前操作设置相比被用户改变，则图像被断定为坏图像，即被丢弃(步骤S3)。前述第一组参数可以包括直方图设置、曝光时间设置、增益设置、对比度设置、照明光设置、物镜设置、位置设置、时间设置、重复设置、合并设置、HDR设置、数字融合设置、彩色/黑白设置、自动曝光开/关设置和共焦显微镜设置中的至少一个。

另一方面，例如，如果在获取图像之后操作设置的第二组参数的设置参数与用来获取图像的先前操作设置相比被用户改变，则图像被断定为好图像，即被用户接受，或未被丢弃(步骤S2)。例如，前述第二组参数可以包括变焦设置和载物台设置中的至少一个。换句话说，如果仅改变了变焦和/或载物台设置，则不会丢弃图像。此外，如果图像已经被存储或以另一种方式进一步处理，则可以断定图像是好图像，即未被丢弃。因此，对图像的这种进一步处理指示用户愿意继续使用该图像并因此已接受该图像。

在图2中示出的工作流程的步骤S4中，控制器102的学习模块108被馈送以指示当前图像被断定为好图像还是坏图像的响应信息。此外，在本实施例中，学习模块108进一步被馈送用于获取当前图像的操作设置。应用考虑到前述信息的学习算法，学习模块108进行预测，基于该预测将在下一次图像获取中使用的优选操作设置被更新。结果，学习模块108向成像系统100提供接下来要使用的更新的优选操作设置。

当使用用于获取当前图像的操作设置时，学习模块可以在肯定或否定操作设置的情况下更新优选操作设置。因此，学习模块108可以被配置为以如下方式应用强化机器学习，即好图像导致所选操作设置的强化，而坏图像导致当前操作设置的削弱。

图像可以是单个所获取图像、所获取图像的序列或集合，或者可以是“实时”图像，即由显微镜连续获取、显示和更新的不同图像或帧的序列。

尽管已经在装置的上下文中描述了一些方面，但很明显，这些方面也表示相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示相应装置的相应块或项目或特征的描述。一些或所有方法步骤可以由(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或多个最重要的方法步骤可以由这样的装置执行。

根据某些实施要求，本发明的实施例可以以硬件或软件来实施。例如，可以使用诸如数字存储介质之类的非暂时性存储介质来执行该实现，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或闪存，其上存储有电子可读控制信号，它们与(或能够合作)可编程计算机系统合作，以便执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，电子可读控制信号能够与可编程计算机系统协作，从而执行本文所述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换言之，本发明的实施例因此是具有程序代码的计算机程序，当该计算机程序在计算机上运行时，该程序代码用于执行本文描述的方法之一。

因此，本发明的进一步实施例是一种存储介质(或数据载体，或计算机可读介质)，其上包括存储有用于在由处理器执行时执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。本发明的进一步实施例是如本文所述的装置，包括处理器和存储介质。

因此，本发明的进一步实施例是数据流或信号序列，其表示用于执行本文描述的方法之一的计算机程序。数据流或信号序列可以例如被配置为经由数据通信连接、例如经由互联网来传送。

进一步实施例包括处理装置，例如，计算机或可编程逻辑器件，其被配置为或适于执行本文所述的方法之一。

进一步实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。

根据本发明的进一步实施例包括被配置为向接收器传送(例如，电子地或光学地)用于执行本文描述的方法之一的计算机程序的装置或系统。例如，接收器可以是计算机、移动设备、存储器设备等。例如，该装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文所述方法的一些或全部功能。在一些实施例中，现场可编程门阵列可与微处理器协作以执行本文所述的方法之一。通常，这些方法优选地由任何硬件装置执行。

附图标记列表

100 成像系统

102 成像设备

104 控制器

106 输入模块

108 学习模块

S1到S4方法步骤。

Claims (14)

1.一种用于提供成像设备(102)的操作设置的控制器(104)，所述控制器被配置为：

为用户提供用于获取图像的优选操作设置；

接收用户输入并基于所述用户输入生成响应信息，所述响应信息指示由所述成像设备(102)生成的图像是否被用户接受；以及

基于所述响应信息使用机器学习算法更新所述优选操作设置。

2.根据权利要求1所述的控制器(104)，被进一步配置为：

当所述响应信息指示所述图像未被用户丢弃时，断定所述图像是好图像，

当所述响应信息指示所述图像被用户丢弃时，断定所述图像不是好图像，以及

相应地向所述机器学习算法提供指示所述图像是否被断定为好图像的信息。

3.根据权利要求1或2所述的控制器(104)，被配置为进一步基于用于获取所述图像的操作设置来更新所述优选操作设置。

4.根据权利要求3所述的控制器(104)，被配置为：

当所述图像被断定为好图像时，更新所述优选操作设置，以强化用于获取所述图像的操作设置，和/或

当所述图像被断定为不是好图像时，更新所述优选操作设置，以削弱用于获取所述图像的操作设置。

5.根据前述权利要求中任一项所述的控制器(104)，被配置为：

如果在获取所述图像之后，操作设置的第一组参数的设置参数与获取所述图像所用的先前操作设置相比被用户改变，生成指示所述图像被丢弃的所述响应信息。

6.根据权利要求5所述的控制器(104)，其中所述第一组参数包括直方图设置、曝光时间设置、增益设置、对比度设置、照明光设置、物镜设置、位置设置、时间设置、重复设置、合并设置、HDR设置、数字融合设置、彩色/黑白设置、自动曝光开/关设置和共焦显微镜设置中的至少一个。

7.根据前述权利要求中任一项所述的控制器(104)，被配置为：

如果在获取所述图像之后，操作设置的第二组参数的设置参数与获取所述图像所用的先前操作设置相比被用户改变，生成指示所述图像未被丢弃的所述响应信息。

8.根据权利要求7所述的控制器(104)，其中所述第二组参数包括变焦设置和载物台设置中的至少一个。

9.根据前述权利要求中任一项所述的控制器(104)，被配置为：

如果所述图像被存储或进一步处理，生成指示所述图像未被丢弃的所述响应信息。

10.一种成像系统(100)，包括成像设备(102)和根据前述权利要求中任一项所述的控制器(104)，所述控制器(104)用于提供所述成像设备(102)的操作设置。

11.根据权利要求10所述的成像系统(100)，其中所述控制器(104)被配置为基于更新的操作设置自动地控制所述成像设备(102)。

12.根据权利要求11所述的成像系统(100)，其中所述成像系统是显微镜系统。

13.一种用于提供成像设备(102)的操作设置的方法，包括以下步骤：

为用户提供用于获取图像的优选操作设置；

接收用户输入并基于所述用户输入生成响应信息，所述响应信息指示由所述成像设备生成的图像是否被用户丢弃；以及

基于所述响应信息使用机器学习算法更新所述优选操作设置。

14.一种计算机程序，具有程序代码，当所述计算机程序在处理器上运行时，所述程序代码用于执行根据权利要求13所述的方法。

Images