CN106056572B - 用于显微镜的显微图像控制器装置、显微镜以及显微方法 - Google Patents

Abstract

本发明涉及一种用于显微镜(2)的显微图像控制器装置(1)、显微镜(2)以及显微方法(100)。通过允许在检测到没有变化或仅有很小的变化时的从第一图像处理模式(110)到第二图像处理模式(120)，特别是采用多图像处理的自动切换，显微镜(2)的操作被简化。

Description

用于显微镜的显微图像控制器装置、显微镜以及显微方法

技术领域

本发明涉及用于显微镜的显微图像控制器装置、显微镜和显微方法。

背景技术

已知使用先进的图像处理方法的显微镜，尤其是数字显微镜。这些方法常常需要拍摄多于一个图像并一起处理至少两个图像以产生单个增强的输出图像。一种这样的多图像处理为，例如所谓的z叠加(z-stacking)，其中将不同焦平面的一些图片组合以增大输出图像的景深。已知其他这样的处理，如虹膜融合(iris fusion)、HDR(高动态范围)或防眩光(anti-glare)。

在实践中，由于缓慢的内容帧率(其表示呈现给用户的图像的随后更新之间的时间)，利用使用多图像处理的显微镜工作可能是复杂的。此外，由于几乎连续地激活机械和电气零件，这些图像处理方法增大了显微镜的磨损，也增大了由显微镜生成的环境噪音。

发明内容

本发明的目的在于，提供一种利于显微镜的使用的方案，其减少显微镜的磨损且仍为用户提供通过多图像处理方法生成的增强的图像。

通过用于显微镜的显微图像控制器装置实现此目的。显微图像控制器装置包括：输入部，用于接收随后的输入图像数据的集合和随后的设置数据中的至少一个，每个输入图像数据的集合表示显微图像，并且随后的设置数据表示显微镜的至少一个可变的配置参数；以及输出部，用于输出输出图像数据的集合，每个集合表示显微图像；其中显微图像控制器装置适于依据至少两个随后的输入图像数据的集合和/或至少两个随后的设置数据中的至少一个之间的变化量，从第一图像处理模式切换至第二图像处理模式，以及，其中，在第二图像处理模式中，输出图像数据的集合基于比在第一图像处理模式中更多数量的随后的输入图像数据的集合。

还通过显微镜实现该目的。显微镜包括：显示器，用于显示随后的显示数据的集合，每个集合表示显微图像；以及下述中的至少一个：用于提供随后的输入图像数据的集合(每个集合表示显微图像)的摄像机，和/或用于获取表示显微镜的至少一个可变的配置参数的随后的设置数据的至少一个传感器装置；其中显微镜适于依据输入图像数据和/或设置数据的变化量而在第一和第二图像处理模式中操作，其中，在第二图像处理模式中，每个显示数据的集合基于比在第一图像处理模式中更多数量的图像数据。

进一步地，通过用于从随后的输入图像数据的集合自动地生成随后的输出图像数据的集合的显微方法实现该目的，每个输入图像数据的集合表示显微图像，每个输出图像数据的集合表示显微图像，其中，如果至少两个随后的输入图像数据的集合和/或表示显微镜的至少一个可变的配置参数的随后的设置数据中的至少一个的量变化，则用于生成随后的输出图像数据的集合的随后的输入图像数据的集合的数量自动地变化。

本发明的方案允许显微镜的简单操作，因为它自动地从第一图像处理模式切换至第二图像处理模式，其中，在第一图像处理模式中，较少的图像用于产生输出图像，在第二图像处理模式中，较多的图像用于产生输出图像。依据输入图像的变化量进行两个模式之间的切换，允许在捕捉的图像变化缓慢或根本不变的情况下自动地使用增强的图片。因此，根据本发明的装置和方法自动地使用最适于即将发生的图像变化率的图像处理模式。依据表示显微镜的可变的配置参数(例如，照度、焦点的变化、桌台的移动或焦距的变化)的随后的设置数据进行两个模式之间的切换，允许在显微镜静止且期望静止的图片时自动地使用增强的图像处理。

还可以利用实施例开发并改进本发明的方案，实施例彼此独立且在需要时可任意地组合。

显微图像控制器装置可适于依据至少两个随后的输入图像数据的集合和/或至少两个随后的设置数据中的至少一个之间的变化量从第二图像处理模式切换至第一图像处理模式。在此实施例中，切换回第一图像处理模式也取决于输入图像数据和/或设置数据的变化量。例如，如果这些数据急速地变化，根据本发明的装置和方法自动地使用较少耗时的图像处理方法以能够快速地查看输出图像数据的变化。

用于从第一图像处理模式切换至第二图像处理模式的计算准则可与用于从第二图像处理模式切换至第一图像处理模式的计算准则不同。例如，从第一图像处理模式切换至第二图像处理模式可基于随后的输入图像数据的集合，而从第二图像处理模式切换至第一图像处理模式可基于随后的设置数据。此外，可以使用用于随后的图像和/或设置数据的变化的不同阈值。例如，用于从第一图像处理模式切换至第二图像处理模式的阈值可低于用于从第二图像处理模式切换至第一图像处理模式的阈值。此外或可选地，通过使用图像和/或设置数据的参考集可以使用绝对阈值。参考集可以是时变的，如通过为每预定数量的随后的图像和/或设置数据定义参考集或在经过规定的时间段之后定义参考集。取代或除了应用于两个连续的数据集合的阈值之外，使用绝对阈值，避免了一系列子阈值不被察觉地改变。

特别地，为了从第一图像处理模式切换至第二图像处理模式，可能必须在某个时间间隔内确定没有变化或仅有很小的变化。当从第二图像处理模式切换回第一图像处理模式时，可以不提供这样的时间间隔，且一旦确定了变化即可发生切换。

可使用两个数据集合之间的相关性方法、图像数据的统计(如直方图、平均亮度、来自白平衡的数据等)的比较来确定变化量。确定变化量还可包括确定设置和/或图像数据的变化率以及仅在没有变化或有子阈值变化率时切换至第二图像处理模式。

第一图像处理模式可以是具有较少的图像处理或变换或没有图像处理或变换的单图像处理模式。特别地，可以是，例如允许以高帧率(如，以每秒至少25个帧或图片)调整样本的直播视频模式。在此配置中，可在第一图像处理模式中将样本调整或移动至合适的位置。随后，因为调整已经结束，当检测到没有发生变化或移动时，显微镜自动地切换至第二图像处理模式。

在第二图像处理模式中，可应用至少一个多图像处理方法。例如，这可以是虹膜融合，其中通过结合利用不同光圈拍摄的一些图像来实现景深的改进；z叠加，其中通过结合具有不同焦距的一些图片来实现景深的改进；HDR，其中结合利用不同光强拍摄的一些图片；或防眩光，其中结合利用不同的照射方向拍摄的一些图片。所提及的方法要求与图像相关的至少一个参数的改变。因此，当使用这些方法时，从第二图像处理模式切换回第一图像处理方式不应基于相关参数的变化或图像的变化。相反地，在这种情况下，从第二图像处理模式切换至第一图像处理模式应该，例如，基于来自附接于样本的移动检测器的信号。可选地，在经过某段时间后或如果已经拍摄与多图像处理相关的所有图像，则可以自动地进行切换。然而，也可使用即使在参数变化时也可基于输入图像数据检查样本是否移动的先进算法。

使用哪种多图像处理可以，例如由用户选择。用户可以，例如打开应使用的某些过程或关闭不应使用的某些过程。进一步地，可通过算法选择应使用哪个过程。这种算法可以，例如分析图像并确定哪个过程为最适合于当前情况的一个。

可利用图像处理算法计算随后的输入图像数据的集合之间的变化量。这种图像处理算法可以，例如(如通过简单的减法)比较随后的输入图像数据的集合，并给出指示变化有多大的值。图像处理算法还可以借助于相关性或利用用于检测随后的输入图像和数据的集合的变化的其他更深奥或更复杂的方法来工作。特别地，可以进行利用图像处理算法的变化量的计算，用于从第一图像处理模式切换至第二图像处理模式。在反方向上，可以使用简单的方法，例如，通过传感器检测移动。

优选地，为了切换，变化量必须超出设定阈值。因此，需要预定的变化量用于切换。切换可以因此为阈值独立的。例如，可以比较两个连续的值且切换可以取决于这些值的差。当然，也可使用两个非连续的值。进一步地，可以检查在规定的时间内，值是否没有超出某个最大值和/或最小值。阈值可以是可定义的，以便对于不同的设置，不同的值可用于切换。特别地，可以忍受噪声级阶的小变化，以便在仅检测到噪声时也进行切换。此噪声可以，例如是由电子读出或振动引起的。

输入和/或输出部可以是，例如允许显微图像控制器装置附接至现有的显微镜的硬件部件，如端口或插头，或它们可以是虚拟的，例如为处理器或处理单元的部分或为软件产品的部分，以便可以简单地改装现有的显微镜。输入和/或输出部可以适于与数字显微镜中使用的总线系统连接。

优选地，在第二图像处理模式中，显微镜适于自动地提供随后的输入图像数据的集合，其中随后的输入图像数据的集合中的至少一个是利用相对于随后的输入图像数据的集合中的至少另一个变化的至少一个配置参数而生成的。这种配置参数可以，例如为光圈、光强度或照明方向、焦平面等。这特别允许以自动的方式使用多图像处理。

显微镜可以包括多于一个显示器。它可以，例如包括用于来自第一图像处理模式的图像的一个显示器，以及用于来自第二图像处理模式的图像的一个显示器。

本发明并不限于直接随后的图像数据的集合或设置数据。还可以跳过图像数据的集合或设置数据并依据被进一步分离的图像数据的集合或设置数据的变化量进行切换。例如，第二集合可以落后于第一集合若干个集合。

显示最近计算的输出图像数据的低于帧率的内容呈现率(其中，独立于提供至其的图像数据更新显示器)在第二图像处理模式中可以低于在第一图像处理模式中。这允许用户在第一图像处理模式中以快速的反馈调整样本并在第二图像处理模式中更详细地检查样本。

用于捕捉输入图像数据的内容帧率在第二图像处理模式中可以低于在第一图像处理模式中。因此，在第一图像处理模式期间，可以更佳地观测样本。

本发明的显微方法可以包括：对显微镜的致动器和/或显微镜的外围装置的监控。此致动器或外围装置可用于光圈、照明，以对样本的移动进行聚焦或检测等。

显微镜还可以包括多于一个摄像机。例如，一个摄像机可用于第一图像处理模式，第二摄像机可用于第二图像处理模式。在此示例中，根据本发明的装置和方法依据，例如第一摄像机的输入图像数据的变化量在两个摄像机之间切换。

本发明还涉及计算机介质，其包括用于执行方法的软件。

现在将以示例的方式参考有利的实施例描述本发明。其他开发和特征对其各自是有利的，且在需要时可任意组合。

附图说明

图1为显微镜中的显微图像控制器装置的实施例的示意图；

图2示出本发明的显微方法的实施例的示意性流程图；

图3示出具有一些子部分的额外描述的图2的显微方法。

附图标记：

1	显微图像控制器装置
		2	显微镜
3	输入部
		4	输出部
5	摄像机
		6	传感器装置
7	显示器
		50	输入图像数据
60	设置数据
		61	配置参数
70	输出图像数据
		71	显示器数据
100	显微镜方法
		110	第一图像处理模式
111	第一步骤
		112	第二步骤
113	第三步骤
		120	第二图像处理模式
121	第二图像处理模式的部分
		122	第二图像处理模式的部分
123A	虹膜融合
		123B	Z叠加
123C	HDR
		123D	防眩光
124	步骤
		125	步骤
126	步骤
		127	步骤

具体实施方式

在图1中，与显微镜2的其他部分一起描绘出显微图像控制器装置1。这种显微图像控制器装置1可以为可被添加至现有显微镜的部分，或者它可以是显微镜2的部分。特别地，它可以是显微镜2的不可分割的部分。

图1中示出的显微镜2包括用于提供随后的输入图像数据50的集合的摄像机5，每个集合表示显微图像。特别地，摄像机5可以包括用于捕捉表示显微图像的输入图像数据50的集合的帧抓取器，如CCD芯片等。显微镜2还包括至少一个传感器装置6，该至少一个传感器装置6用于获取表示显微镜2的至少一个可变的配置参数61的随后的设置数据60的集合。此传感器装置6可以，例如检测光圈、照明单元或调焦元件的状态。显微镜2还包括用于显示随后的显示器数据71的集合的显示器7，每个集合表示显微图像。显微镜2当然可以包括多于一个显示器7。

显微图像控制器装置1包括用于从摄像机5接收随后的输入图像数据50的集合(每个集合表示显微图像)的输入部3以及从传感器装置6接收表示显微镜2的至少一个可变的配置参数的随后的设置数据60。

显微图像控制器装置1还包括用于输出输出图像数据70的集合的输出部4，每个集合表示显微图像。在本案中，输出图像数据70为可被显示在显示器7上的显示器数据70，以便用户能够看到图像。在其他应用中，输出部4还可连接至其他部分，如用于保存输出图像数据70而不向用户显示图像的硬盘驱动器。

显微图像控制器装置1适于依据至少两个随后的输入图像数据50的集合和/或至少两个随后的设置数据60中的至少一个之间的变化量从第一图像处理模式110切换至第二图像处理模式120。在第二图像处理模式120中，输出图像数据70的集合基于比在第一图像处理模式110中更多数量的随后的输入图像数据50的集合。因此，例如在变化量指示样本未移动时，显微图像控制器装置1可以自动地从第一图像处理模式110切换至第二图像处理模式120。只要样本不断地移动且可以不断地检测到变化，将使用第一图像处理模式110。一旦变化足够小或没有变化时，可以使用第二图像处理模式120。第二图像处理模式120可以给出更详细的输出图像和/或具有更佳特性(如较大的景深)的输出图像。特别地，第二图像处理模式120可以为多图像处理模式，其中表示图像的至少两个随后的输入图像数据50的集合(其中某个参数变化)被组合成输出图像数据70的单个集合。显微图像控制器装置1可以，例如使用焦点叠加、虹膜融合、HDR或防眩光算法，其中对于随后的输入图像数据50的集合，焦距、光圈、光强度或照明方向不同。

第一图像处理模式可以，例如为直播图像或直播视频模式，其中输入图像数据50的集合在其被输出之前发生较小的变化或不发生变化。输出图像数据70的集合可以因此大体与输入图像数据50的集合相对应。第一图像处理模式110可以特别适于高帧率，以便以高帧率拍摄并显示图片，因此，例如允许用户以足够快的视觉反馈移动样本。第一图像处理模式中的帧率可以，例如为每秒25帧或更高，这意味着拍摄并显示至少25个图片。显微图像控制器装置1还适于依据两个随后的输入图像数据50的集合以及至少两个随后的设置数据60中的至少一个之间的变化量从第二图像处理模式120切换至第一图像处理模式110。因此，如果检测到变化，显微图像控制器装置1将切换回第一图像处理模式110。如果特别地正在在第二图像处理模式120中拍摄一系列图像且此系列尚未完成时检测到此变化，显微图像控制器装置1可以适于丢弃第二图像处理模式120的结果且不将它显示给用户或将它保存到磁盘，因为此输出图像将具有低劣的质量且有伪影。

当从第一图像处理模式110切换至第二图像处理模式120时，可使用与在相反情况下不同的计算准则(如不同的方法或阈值)。例如，第一切换可以基于输入图像数据50的集合，第二切换可以基于来自传感器装置6的数据。这尤其重要，如果对于第二图像处理模式120，参数被改变用于拍摄一系列图像，因为在这种情况下，输入图像数据50的集合必须彼此不同。特别地，为从第一图像处理模式110切换至第二图像处理模式120，必须在某个时间间隔内确定没有变化或仅有很小的变化。当从第二图像处理模式120切换回第一图像处理模式110时，可以不提供此时间间隔，且只要确定了变化即可发生切换。

至少当装置处于第一图像处理模式120时，可以利用图像处理算法计算随后的输入图像数据50的集合之间的变化量。此图像处理算法可以很简单，且仅通过简单的减法比较至少两个输入图像数据50的集合。当然，更深奥的方法也是可能的。例如，可计算两个随后的输入图像数据50的集合的相关性，且可输出指示变化幅度的值。可以通过设置阈值来限定此变化是否足够大到与图像相关。

需要预定的变化量用于切换。切换可以是阈值独立的。某个阈值可由用户定义或对用户是可定义的。如果表示变化量的变量低于阈值，则激活第二图像处理模式120(或在其已激活时维持它)。如果值高于阈值，则将第二图像处理模式120去激活和/或显微图像控制器装置1被切换至第一图像处理模式110(或维持第一图像处理模式110)。可以，例如通过比较当前值与在先值来获得此变量。可选地或此外，间隔可被定义或为可定义的，以便显微图像控制器装置1不切换至第一图像处理模式110，只要表示变化量的值在区间内。

如果检测到没有变化或很小的变化，则图1的显微镜自动地从第一图像处理模式110切换至第二图像处理模式120。特别地，此很小的变化可以是噪声的级阶中的变化，以便在检测到仅噪声时也可进行切换。此噪声可以，例如是由电子读出或振动引起的。随后，利用与图像相关的至少一个参数的变化自动地捕捉一系列图像，例如，通过逐步打开光圈、通过改变焦点或通过改变光强度或光的方向。

在图2和图3中，示出根据本发明的显微方法100。在图3中，通过额外的框架指示显微方法100的某些部分。

在框架的左手侧的步骤涉及第一图像处理模式110。在右手侧的采用两个框架121和122的步骤涉及第二图像处理模式120。

第一图像处理模式110包括第一步骤111，其中，例如利用摄像机5捕捉图像。在第二步骤112中，此图像被发送至显示器7。在第三步骤113中，对比刚刚捕捉的图像与随后的图像。通过在表示图像的输入图像数据50的集合上应用算法数字化地完成此比较。如果此图像不同于随后的图像或变化足够大，则将再次进行第一步骤111且将拍摄另外的图像。如果图像与随后的图像相同或变化足够小以至于不相关，显微图像控制器装置1将自动地切换至第二图像处理模式120，且将利用步骤123A、123B、123C或123D中的一个中的参数的变化来拍摄一系列图像。可能的多图像处理可以是虹膜融合123A、z叠加123B、HDR(高动态范围)123C或防眩光123D。可由用户设置使用这些处理中的哪个。用户可以，例如打开应使用的某些处理或关闭不应使用的某些处理。进一步地，可以通过算法选择应使用哪个处理。此算法可以，例如分析图像并确定哪个处理为最适于当前情况的一个。当然，可以进行多于一个处理123A、123B、123C或123D。在随后的步骤124中，检查多图像处理123A、123B、123C或123D是否成功。在多图像处理123A、123B、123C或123D不成功的情况下，例如因为在拍摄一系列图像时移动样本，显微图像控制器装置1将被设置回第一图像处理模式110且将在步骤111中拍摄图像。在多图像处理123A、123B、123C或123D成功的情况下，在进一步的步骤125中图像被发送至显示器7。随后通过在步骤126中拍摄在随后的步骤127中与在先图片进行对比的图片来进一步检查样本的移动。如果两个图片是相同的，则再次进行步骤126且在步骤127中另一图像被保存并与在先图片进行对比。如果两个图片不相同或指示变化量的值高于阈值，则显微图像控制器装置1自动地设置回第一图像处理模式110并在步骤111中拍摄另外的图像。

在图2和图3中，第一图像处理模式110和第二图像处理模式120之间的切换取决于图像本身的变化量。然而，可选地或此外，切换还可以取决于与图像相关的参数的变化量。特别地，此参数可以是光圈、焦平面、照明方向、光强度或由额外的传感器检测到的简单的移动。

Claims (16)

1.一种用于显微镜(2)的显微图像控制器装置(1)，所述显微图像控制器装置(1)包括：

输入部(3)，用于接收下述：

随后的输入图像数据(50)的集合，每个集合表示显微图像，和

随后的设置数据(60)，所述随后的设置数据(60)表示所述显微镜(2)的至少一个可变的配置参数(61)；

输出部(4)，用于输出输出图像数据(70)的集合，每个集合表示显微图像，

其中，所述显微图像控制器装置(1)适于依据下述中的至少一个之间的变化量在第一图像处理模式(110)和第二图像处理模式(120)之间切换：

至少两个随后的输入图像数据(50)的集合和/或

至少两个随后的设置数据(60)；

其中，在所述第二图像处理模式(120)中，所述输出图像数据(70)的集合基于比在所述第一图像处理模式(110)中更多数量的随后的输入图像数据(50)的集合；

以及其中，从所述第一图像处理模式(110)切换至所述第二图像处理模式(120)基于至少两个随后的输入图像数据(50)的集合，而从所述第二图像处理模式(120)切换至所述第一图像处理模式(110)基于至少两个随后的设置数据(60)。

2.根据权利要求1所述的显微图像控制器装置(1)，其中利用图像处理算法计算所述随后的输入图像数据(50)的集合之间的变化量。

3.根据权利要求1-2中任一项所述的显微图像控制器装置(1)，其中所述变化量必须超出设定阈值才进行切换。

4.根据权利要求1-2中任一项所述的显微图像控制器装置(1)，其中所述第一图像处理模式(110)为单图像模式。

5.根据权利要求4所述的显微图像控制器装置(1)，其中所述第一图像处理模式(110)为直播视频模式。

6.根据权利要求5所述的显微图像控制器装置(1)，其中所述第一图像处理模式(110)为具有每秒至少25帧的直播视频模式。

7.根据权利要求1-2中任一项所述的显微图像控制器装置(1)，其中在所述第二图像处理模式(120)中，应用多图像处理方法。

8.根据权利要求1-2中任一项所述的显微图像控制器装置(1)，其中所述输入部(3)和/或所述输出部(4)为硬件部件。

9.根据权利要求8所述的显微图像控制器装置(1)，其中所述输入部(3)和/或所述输出部(4)为接口或插头。

10.一种显微镜(2)，包括：

显示器(7)，用于显示随后的显示数据(71)的集合，每个集合表示显微图像；

摄像机(5)，用于提供随后的输入图像数据(50)的集合，每个集合表示显微图像，和

至少一个传感器装置(6)，用于获取随后的设置数据(60)，所述随后的设置数据(60)表示所述显微镜(2)的至少一个可变的配置参数(61)，

其中，所述显微镜(2)适于依据输入图像数据(50)的集合和/或设置数据(60)的变化量而在第一图像处理模式(110)和第二图像处理模式(120)中操作，

其中，在所述第二图像处理模式(120)中，每个显示数据(71)的集合基于比在所述第一图像处理模式(110)中更多数量的输入图像数据(50)的集合；

以及其中，从所述第一图像处理模式(110)切换至所述第二图像处理模式(120)基于至少两个随后的输入图像数据(50)的集合，而从所述第二图像处理模式(120)切换至所述第一图像处理模式(110)基于至少两个随后的设置数据(60)。

11.根据权利要求10所述的显微镜(2)，其中，在所述第二图像处理模式(120)中，所述显微镜(2)适于自动地提供随后的输入图像数据(50)的集合，其中所述随后的输入图像数据(50)的集合中的至少一个是利用相对于所述随后的输入图像数据(50)的集合中的至少另一个变化的至少一个配置参数(61)而生成的。

12.根据权利要求10或11所述的显微镜(2)，其中用于在显示器(7)上显示输出图像数据(70)的内容呈现率在所述第二图像处理模式(120)中比在所述第一图像处理模式(110)中低。

13.根据权利要求10-11中任一项所述的显微镜(2)，包括第一摄像机和第二摄像机，其中所述第一摄像机用于所述第一图像处理模式(110)中，所述第二摄像机用于所述第二图像处理模式(120)中。

14.一种用于从随后的输入图像数据(50)的集合自动地生成随后的输出图像数据(70)的集合的显微方法(100)，

每个输入图像数据(50)的集合表示显微图像，

每个输出图像数据(70)的集合表示显微图像，

其中，如果下述中的量变化，则图像处理模式在第一图像处理模式(110)和第二图像处理模式(120)之间自动地变化：

至少两个随后的输入图像数据(50)的集合，和

随后的设置数据(60)，所述随后的设置数据(60)表示所述显微镜(2)的至少一个可变的配置参数(61)；

其中，在所述第二图像处理模式(120)中，所述输出图像数据(70)的集合基于比在所述第一图像处理模式(110)中更多数量的随后的输入图像数据(50)的集合；

以及其中，从所述第一图像处理模式(110)切换至所述第二图像处理模式(120)基于至少两个随后的输入图像数据(50)的集合，而从所述第二图像处理模式(120)切换至所述第一图像处理模式(110)基于至少两个随后的设置数据(60)。

15.根据权利要求14所述的显微方法(100)，其中所述显微方法(100)包括监控所述显微镜(2)的致动器和/或所述显微镜(2)的外围装置。

16.一种计算机介质，包括用于执行根据权利要求14或15所述的方法的软件。

Images