CN107076979A - 用于在模块化数字显微镜中修正照明相关像差的方法，数字显微镜和数据处理程序 - Google Patents

Abstract

本发明涉及一种修正模块化数字显微镜中照明相关像差的方法，该模块化数字显微镜包括同轴明场照明装置、电动变焦装置、物镜、数字图像获取单元和图像处理单元。根据本发明所述的方法基于校准数据的使用，校准数据优选地存储在图像处理单元中作为校准数据记录。为物镜和变焦的每个组合建立校准数据记录并将其存储在数据存储器中。该方法被整合到图像处理单元中用于实时修正或可用作显微镜图像的图像后处理的软件。本发明还涉及一种数字显微镜。

Description

用于在模块化数字显微镜中修正照明相关像差的方法，数字 显微镜和数据处理程序

相关申请的交叉引用

本申请要求PCT申请号PCT/EP2015/065945的优先权和利益，其全部内容通过引用并入本文。

技术领域

本申请涉及用于在模块化数字显微镜中修正照明相关像差的方法，所述模块化数字显微镜包括电动变焦装置和可更换的物镜。此外，本申请涉及用于执行所述方法的数字显微镜和数据处理程序。

背景技术

在数字显微镜中会发生照明相关的系统像差，其具有不同强度的形状，尤其在从装置到装置并且根据实际的变焦设置使用可替换的物镜和电动变焦系统时。

这种照明相关的系统像差可以是例如在同轴反射光照明中的反射，其是有问题的并且/或者不能使用同轴反射光照明，特别是在物镜具有相当大的焦距的情况下。

由于照明类型在显微镜中经常彼此组合，这些像差也绝对可以绝对以不同的尺寸组合发生。

用于光学系统中的图像修正的各种方法是已知的，，尤其是来自数码相机技术。例如，在图像物镜的情况下，渐晕被用作图像误差的修正方式(Koma)。

此外，还尝试对光学物镜中的多重反射进行数字修正。为了修正摄像中的伪影，通常使用暗图像再现的方法。

从US2002/0041383 A1中已知一种来自“机器视觉”应用领域的图像记录系统。在该系统中，由于相机、物镜、照明和计算机产生的所有几何失真应被测量和数字修正，以便于计算修正放大中的无失真数字图像。图像被修正且都被缩放至相同的放大。发生不同像差的同时修正。使用特殊的几何和/或照明校准掩膜进行系统校准，为此需要两台相机。所述方法极其昂贵。

当使用显微镜的同轴反射光照时，光通过分束器耦合到观察光束路径中。在光照射物体之前，其穿过观察镜的至少一个光学有源元件。光的某些部分在这种元件的边界表面上反射，特别是在光轴附近，并且与由观察透镜从物体上传播的有用光相混合。该反射光形成所谓的顶部照明反射。在模块化变焦系统中，这种顶部照明反射可在某些物镜中发生，其在变焦过程中并且在改变到具有相同结构的另一物镜的过程中，改变它们的形状、颜色和强度。

附图说明

本发明的修正方法的效果使用附图显示如下：

图1：示出了具有反射的同轴明场照明下的显微镜图像；

图2：示出了使用修正方法时根据图1所述的显微镜图像。

图1中显微镜图像的视图清楚地示出了明场照明的反射，当时使用实时反射修正时，其在图2中不再可见。

具体实施方式

本发明的问题是提供一种修正照明相关的像差的方法，尤其是修正在具有电动变焦系统和更换物镜的模块化构造的数字显微镜中由同轴反射光照引起的顶部照明反射，以及一种数字显微镜和执行所述方法的数据处理程序。

该问题通过具有权利要求1中特征的方法、通过具有权利要求9中特征的数字显微镜以及通过具有权利要求10中特征的数据处理程序得以解决。

可使用本发明中的方法的数字显微镜包括优选可更换的物镜、优选电动变焦系统、同轴反射光照装置、数字图像检测单元、图像处理单元和控制单元。本发明的修正方法在图像处理单元中运行，其优选在控制器(FPGA)中执行。

本发明的方法是基于校准数据使用的，该校准数据优选地存储在图像处理单元中作为校准数据记录。

校准数据记录针对物镜和变焦的每一组合来确定并且存放在数据内存中。由于物镜包括电子界面，控制单元可识别正在使用的特定物镜并选择合适的校准数据记录。如果对于某种配置校准数据还不存在，控制单元执行校准程序，该校准程序以如下方式进行：

将反射光照明调整至可能的电流馈送的特定值(优选为40％)。其数字控制值被存储。光学装置以没有物体位于显示的焦点上(最大散焦)的方式定位。最大散焦也可用无光泽校准帽来实现，被涂覆到尽可能无反射性的无光泽校准帽被设置在物镜上。保护性物镜盖也可用于对应成型的内表面作为校准帽。

顶部照明反射的图像现在可在传感器上产生。这可能需要将光学装置周围的空间适当地变暗。

现在，连续逼近n个指定的变焦位置，其中在任何情况下必须包括最小和最大变焦作为变焦位置。系统现在优选地自动确定光圈和积分时间，并且每个变焦位置记录特定顶部照明反射的图像，随后与积分时间和变焦位置一起被存储。

在本发明方法的一个特别优选的实施例中，每次以低分辨率缩放图像，如下文中使用示例性实施例所说明的。为此，其优选被预先深通滤波(deep-pass filtered)。现在，一方面校准模型可以有利地以低内存的要求进行存储，且结果实时校准方法此外也可更快地进行。

本发明的修正方法可有利地用在实时图像模式中且包括以下所述的步骤：

首先，检查用于当前模块组合(变焦和物镜)的校准数据记录是否存在于控制单元或图像处理单元的的内存中。如果不是，则进行前述的校准。

为成像在图像检测单元上的图像确定当前的变焦位置。

此外，直接照明的实际电流馈送值和图像检测单元的实际积分时间被确定。根据在校准状态和实际状态之间建立联系的该数据计算出修正因子。

反射图像被计算成来自与变焦位置相邻的校准图像的缩放因子的函数。这可以例如采用凸线性组合的形式进行。

将反射图像和修正因子一起进行计算以得到适应的反射图像，优选通过乘法。

随后从当前检测的图像中去掉适应的反射图像，即在未被过驱动的像素上。

通过因子随后进行差分图像的乘法以重建或接近原始的亮度。

对于校准构建器出现降低分辨率情况，双线性内插提供反射图像依据全部完全分辨率像素被使用以用于加权图像打印。

下面将使用特别优选的实施例对本发明的方法的一些有利方面和实施例进行详细地说明。

在该实施例中本发明的方法被用于数字显微镜中，所述数字显微镜包括带有物镜的光学单元、电动变焦系统、带有图像传感器的图像检测单元以及图像处理单元。光学单元包括同轴明场照明装置，并且被布置在可通过电机调节高度的支架中。数字显微镜还包括载物台，所述载物台可在水平面和垂直面之间转换并且包括控制单元。此外，数字显微镜包括优选地连接至个人电脑(PC)的用户界面。

首先，将说明用于生成校准数据记录的变量。

校准路径存储在控制单元中且其中执行校准程序的步骤。首先，检查显微镜中的物镜是否是新的。为此，其中存储了使用过的最后十个物镜的序列号的“ROS”存储器被检查以确定当前的物镜是否存在。该存储器可以是，例如，SD卡或另一种替代存储器或者也可以是固定系统内存。如果物镜为已知的，可直接转换至操作模式，因为在此情况下已存在校准数据记录。

例如“请等待-校准反射修正”之类的通信现在从控制单元被发送到用户界面，并且优选地显示在监视器上。

显微镜的光学单元的驱动被移至最高位置并且载物台被移至最低位置。变焦被调整至最小值，该值可选择在物镜类型之间进行变化，例如，β＝0.5。如果存在暗场照明，则存在的暗场照明被切断。同轴明场照明装置被切入，其具有限定的电流馈送(例如，40％)。

现在获得九个校准构建器，其在不同的变焦位置具有恒定的照明。变焦位置在每种情况下包括最小和最大的可能变焦因子，其中最小变焦因子可取决于物镜类型，且变焦位置在完全可见反射区内应具有更多的支撑位置。这通常是较小放大阶段的情况，而在大变焦因子的情况下，反射倾向于显示为“朦胧的光亮”。所述实施例中的变焦位置为0.5、0.565、0.8、1、1.4、1.9、3.5。校准图像以特定快门速度被存储为元数据。快门速度优选地在校准模式中自动确定。为了在校准快门速度之间也具有可用的快门速度，通过曝光公式近似计算变焦位置上的快门速度的过程。这优选地为第四度的多项式。为了使曝光公式向变焦位置提供准确值，确定在实际快门速度中适配的商并且校准图像乘以该特定的商(wirdder Quotient aus angepasster und Belichtungszeit ermittelt und dieKalibrationsbilder werden mit dem jeweiligen Quotienten multipliziert.)。快门速度与亮度成正比的范例(其通常也预先假定用于HDR技术)导致用于校准图像的快门速度的准确的内插公式。

为了实现特别快速的实时修正模式，校准图像在其颜色通道中的每一个中被进行如下处理：

随后生成“校准就绪”的通知到用户界面。

在显微镜操作中可以选择选项实时反射修正。在选择此选项时，可以为获得的每个图像确定曝光时间E_N、Hellfeld照明的电流馈送值L_BF和当前变焦位置。这些值可在显微镜上直接确定，因为组件具有到控制单元的电子接口。

现在从校准数据记录中读出恒定校准照明L_CBF，并且确定用于当前变焦位置的修正快门速度E_R。为了确定E_R，读出校准数据记录的五个系数并且计算当前放大β的多项式。

如果当前放大β不是用在校准程序中的放大，两个相邻的变焦阶段被确定，并且被缩放的反射图像通过相关的校准图像ima、imb的线性插值来确定。在当前放大β精确地满足校准变焦阶段中的一个的情况下，特定的校准图像被用作要被缩放的反射图像。

通过双线性插值将校准图像计算回原始大小，例如1200x1600像素：这不必针对整个图像进行，而是可以对“运行中(on the fly)”的每个原始图像像素进行，因为双线性插值本地发生(在图像处理单元中)。

这种情况符合FPGA(现场可编程门阵列)中的处理，其具有实时像素流的逐行处理。

分辨率增加的图像现在根据表示修正因子的以下公式使用当前和校准的数据缩放：

在这里值0.97是示例性安全因子，其可适应要求，但并非强制性要求。

以此方式修改的反射图像在未被过驱动的像素上从实时图像中被去掉。甚至这种去掉可逐像素或逐行进行。

动态圆周随后被拉伸，为此可使用本领域技术人员所知的不同拉伸方法。

前述方法有利地在用于实时修正的图像处理单元的硬件中实施，但也适合用于图像后处理的单独软件中。

Claims (10)

1.一种用于模块化数字显微镜中照明相关像差的修正方法，所述模块化数字显微镜具有同轴明场照明装置、电动变焦装置、物镜、数字图像检测单元和图像处理单元，所述方法包括：

-加载校准数据记录，所述校准数据记录包括不同变焦值β-i的像差的校准图像，并且包括每个校准图像的校准元数据；

-获取具有相关图像元数据的图像，所述图像包括所述变焦系统的至少一个变焦位置β_a；

-使用所述校准数据记录和所述图像元数据的校准数据确定修正因子，

-从所述校准数据记录中确定反射图像；

-利用所述修正因子计算所述反射图像以得到被修正的反射图像；

-利用所述被修正的反射图像计算所述获取的图像。

2.如权利要求1中所述的方法，其中所述图像元数据还包括所述明场照明装置的照明强度(L_BF)以及所述图像检测单元的积分时间(E_N)。

3.如权利要求1或2中所述的方法，其中通过插值从至少两个作为所述实际变焦位置β_a的元数据的具有相邻变焦位置β_i的校准图像计算所述反射图像。

4.如权利要求1到3中任一项所述的方法，其中所述反射图像与所述修正因子相乘。

5.如权利要求2到4中任一项所述的方法，其中所述修正因子根据以下公式计算：

<mrow> <mfrac> <mrow> <mi>E</mi> <mo>_</mo> <mi>N</mi> <mo>*</mo> <mi>L</mi> <mo>_</mo> <mi>B</mi> <mi>F</mi> </mrow> <mrow> <mi>E</mi> <mo>_</mo> <mi>R</mi> <mo>*</mo> <mi>L</mi> <mo>_</mo> <mi>C</mi> <mi>B</mi> <mi>F</mi> </mrow> </mfrac> <mo>*</mo> <mi>K</mi> </mrow>

其中K为安全因子，E_R为模拟积分时间且L_CBF为所述显微镜的所述校准调整的所述照明强度的当前值。

6.如权利要求5中所述的方法，其中所述模拟积分时间(E_R)通过公式计算，所述公式通过从所述图像元数据和所述校准元数据的近似计算确定。

7.如权利要求1中所述的方法，其中所述校准数据记录通过以下方式准备：

a)调整所述反射光照明装置的L_CBF的预定值；

b)调整最大散焦；

c)调整某个变焦位置β_R；

d)获取图像作为校准图像；

e)将具有所述相关变焦位置β_R和积分时间E_R的所述校准图像存储在所述校准数据记录中；

f)针对包括最小和最大变焦位置的不同的变焦位置β_i重复所述步骤b)至e)。

8.如权利要求7中所述的方法，还包括：

a)通过模型，优选第四度的多项式，近似计算用于所述变焦位置的所述积分时间来计算模拟积分时间；

b)确定模拟的和被使用的积分时间的商；

c)将所述校准图像与所述确定的商相乘。

9.一种数字显微镜，包括物镜、变焦系统、同轴直接照明装置、数字图像检测单元、图像处理单元和控制单元，其中如权利要求1到8中任一项所述的方法在所述图像处理单元中被执行。

10.一种具有用于执行如权利要求1到8中任一项所述的方法的程序代码装置的数据处理程序。