CN114078173A - 在显微镜中产生样品载体的概览反差图像的方法和设备 - Google Patents

Abstract

本发明涉及在显微镜中产生样品载体的概览反差图像的方法和设备。该方法包括：以具有能个别切换的单光源的二维照明阵列的透射光照亮样品载体；拍摄样品载体的多个不同的原始概览图像，其中，针对每个原始概览图像接通其中一个个别的单光源；从原始概览图像产生中间图像，其中，定义原始概览图像像素的亮度排名，使每个中间图像恰好与一个亮度排名相配属，在每个中间图像中针对每个像素在原始概览图像中寻找那个在相应像素处具有与各自中间图像相配属的亮度排名的原始概览图像，并使用寻找到的原始概览图像的相应像素的亮度值；以及将中间图像组合成概览反差图像，其中，不考虑与第一亮度排名相配属的中间图像并且不将其纳入到概览反差图像中。

Description

在显微镜中产生样品载体的概览反差图像的方法和设备

技术领域

本发明涉及一种在显微镜中产生样品载体的概览反差图像的方法，该显微镜对布置在样品载体上的样品进行成像。以来自二维照明阵列的透射光照亮样品所在的样品载体，该二维照明阵列具有能个别切换的单光源，并且使得拍摄出样品所在的样品载体的多个不同的原始概览图像。此外，本发明还涉及一种在显微镜中产生要布置在样品体积中的样品载体的概览反差图像的设备。该设备具有相机和二维照明阵列以及处理装置，相机具有捕获样品体积的像场，其上存在有样品的样品载体要布置在该样品体积中，二维照明阵列具有能个别切换的单光源并且以透射光照亮样品体积，处理装置对相机进行驱控和读取，以便拍摄出样品载体的多个不同的原始概览图像。

背景技术

由DE 2017 111 718 A1公知有一种用于产生和分析概览反差图像的方法。通过对样品的不同照明来拍摄出至少两个概览原始图像，将它们组合成概览反差图像。不同的照明在此通过将样品横向于照明模式移动、不同时间的照明或以不同照明模式进行照明来实现。

由US 8 400 710 B2公知有一种用于观察样品的设备。通过照明模式定义了明暗区域。这就能够实现借助暗场观察将图像转发给处理装置。

发明内容

应当提供用于在对样品进行成像的显微镜中产生样品载体的概览反差图像的方法和设备。

本发明在下面描述的方法和设备中定义。有利的改进方案也将在下文中给出。优选的实施方式以相同的方式应用于该方法和设备。

本发明提供了一种在显微镜中产生样品载体的概览反差图像的方法和设备，该显微镜具有样品体积，在该样品体积中能布置具有样品的样品载体，并且然后对该样品进行成像。在步骤a)中，以来自二维照明阵列的透射光照亮样品体积、即通常布置在那里的其上存在有样品的样品载体，该二维照明阵列具有能个别切换的单光源。例如，将具有数量为N的单LED的LED阵列用作二维照明阵列。

在步骤b)中，拍摄出样品载体的多个原始概览图像。该拍摄在设备中利用相机来进行，该相机捕获样品体积并经由电线路或无线电等与处理装置连接。所有原始概览图像都利用同一相机拍摄，并且优选利用同一图像拍摄参数进行拍摄。在拍摄所有原始概览图像过程中，该相机的定位保持不变。

通过恰好接通其中一个单光源来产生其中每个原始概览图像，其中，对于每个原始概览图像来说接通不同的单光源，从而拍摄出N个原始概览图像。在该设备中，处理装置被配置成使其对相机进行驱控和读取，以便拍摄出多个不同的原始概览图像。在此，处理装置驱控二维照明阵列，以便个别接通单光源。处理装置被配置成使得它通过如下方式产生其中每个原始概览图像：它恰好接通其中一个单光源，其中，该处理装置针对每个原始概览图像接通其中一个个别的单光源，从而使得该处理装置拍摄出N个原始概览图像。

因此，通过依次启动单光源来获得N个原始概览图像。然而，并非所有单光源都必须使用到。因此，N可以小于可用的单光源的数目。优选地，N相应于单光源的总数。启动所使用的单光源可以依次地(即从第一个到第N个单光源)或以其他任意顺序来完成。

在样品载体布置在样品体积中的情况下，在N个原始概览图像中不仅存在样品的结构，而且还存在不归为样品的结构，并且使得在原始概览图像中难以找到样品。这些不归为样品的结构例如是图像拍摄过程的元件、例如单光源，或样品载体的一部分、例如器皿的器壁等。它们会在概览反差图像中产生干扰。

因此，在步骤c)中，产生中间图像，然后将它们组合成概览反差图像。中间图像抑制干扰。产生中间图像的过程如下：首先，为原始概览图像的像素定义特定数目的亮度排名。然后使其中每个所要产生的中间图像恰好与一个亮度排名相配属。通过如下方式产生每个中间图像：针对该中间图像的每个像素寻找那个在相应像素上具有与各自的中间图像相配属的亮度排名的原始概览图像。然后，将寻找到的原始概览图像的相应像素的亮度值用于中间图像像素。在组合成概览反差图像时，不考虑具有最高亮度排名的中间图像并且不将其纳入到概览反差图像中。例如通过取平均来将中间图像组合成概览反差图像，但是其他图像处理方法也是可能的。在该设备中，处理单元被配置成使其实施该步骤。

在实施方式中，(处于最高亮度排名的)第一中间图像包含所有如下单光源的图像，这些单光源被视为图像中的超调的区域并因此会掩盖图像信息。出于该原因，在将中间图像组合成概览反差图像时不考虑第一中间图像。它的像素只会是一个可能掩盖图像信息的超调的区域。因此，通过忽略与第一亮度排名相配属的中间图像，使得在概览反差图像中不考虑超调的像素。

术语“排名”意味着涉及亮度的顺序，因此也就是分级。绝对亮度在这里并不重要。与第一亮度排名相配属的中间图像在每个像素中都具有在所有原始概览图像中在相应部位处寻找到的那个最亮像素的亮度值。这同样适用于另外的包含逐级递减越来越暗的像素的亮度排名。

优选地，中间图像的数量相当于亮度排名的数目。例如，如果定义了12个亮度排名，则产生12个中间图像。将其中11个组合成概览反差图像，这是因为最高亮度排名的中间图像不参与。从N个原始概览图像产生中间图像是最大的计算量。计算量与中间图像的数量M成比例增减。例如，如果数量选择为M＝6，则与M＝12时相比计算中间图像所需的计算量和相关时间要更少。

第一中间图像包含所有处于最高亮度排名的图像点，因此它通常在每个像素处相应于经过所有N个原始概览图像的最大投影(Maximum-Projektion)。与第二亮度排名相配属的中间图像在每个像素处具有在所有原始概览图像中在图像中的该部位处第二亮的像素的亮度值的亮度值。这也可以通过相应设定的最大投影来实现。这同样适用于另外的中间图像/亮度排名。

通过这些措施改善了样品的可见性和可识别性，这是因为要归为样品的结构在概览反差图像中是被强调突出的。通过在显微镜中产生样品的概览反差图像的方法和设备，以清晰可见的方式成像出对样品载体的和位于其上的样品的对于进一步检查是重要的部分。由此使用户更容易与样品交互以及在样品上进行导航。此外，还通过如下方式实现了对样品的自动化评估：可以由处理装置自动识别样品和样品载体的类型，以此可以在显微镜上自主地设定特定的拍摄参数。由此明显提高了对用户的友好性，并展现出显微镜的更好的自动化。此外能够实现对样品在概览反差图像中的自动位置测定，使得显微镜物镜无需用户干预即可定位，以让样品位于显微镜的拍摄区域中。该措施十分有效地减少了用户需要的直到拍摄第一张图像为止的时间。

优选地，一旦拍摄到至少两个原始概览图像，就开始产生中间图像。当添加另外的原始概览图像时，中间图像会不断更新。由此进一步降低了在使用显微镜进行观察时所需的时间。该措施也可以连续进行，也就是说不断更新中间图像和概览反差图像。这对于变化的样品是有利的。

在实施方式中，在组合成概览反差图像之前通过如下方式对中间图像进行亮度归一化：将图像点由于每个中间图像的各自的亮度排名而具有的针对亮度的域转换到更大的、优选对所有中间图像都一样的亮度域(Helligkeitsumfang)上。这优选借助最小-最大归一化(Min-Max-Normierung)、百分位归一化(Perzentil-Normierung)或直方图均衡化来完成。亮度归一化引起所有中间图像具有基本上相同的亮度或相同的亮度域，尽管它们最初处于不同的亮度排名，即在亮度归一化之前具有不同的亮度。亮度归一化的类型和参数确定了在各自的中间图像中可以识别出多亮的结构。例如，如果执行10％/90％百分位归一化，则与在2％/98％百分位归一化的情况下相比结构更亮。该亮度归一化在设备中由处理装置实施。由于计算量大部分是在产生中间图像时发生，因此也可以利用多次设定来多次进行亮度归一化。

在修改方案中，产生两个概览反差图像。在没有亮度归一化的情况下从中间图像产生第一概览反差图像。该第一概览反差图像特别适用于显示中间图像中非常亮的结构，例如玻璃边缘。利用中间图像的前述的亮度归一化从中间图像产生第二概览反差图像。它更适用于中间图像中较暗的结构。优选地，将第一和第二概览反差图像组合，以便获得改进的概览反差图像，其同样好地显示了非常亮和非常暗的区域。

优选地，将概览反差图像进行再处理。典型的例如是白平衡。将结果和中间结果优选在成像设备上显示给用户。

附图说明

下面参照附图通过示例更详细地解释本发明。其中：

图1示出在显微镜中产生样品载体的概览反差图像的方法的流程图表；

图2示出产生中间图像的示意图；并且

图3示出在显微镜中产生样品载体的概览反差图像的设备。

具体实施方式

图1中示出了用图3中所示的显微镜1执行的用于产生概览反差图像的方法的流程图表。在此，对其中布置了具有样品4的样品载体2的样品体积3进行成像。在第一步骤S1中，样品载体2被来自二维照明阵列6的透射光照亮，该二维照明阵列具有能个别切换的单光源7。例如，具有单LED的LED阵列用作二维照明阵列6。在此，单光源7被逐个启动，从而获得多个不同的照明状态。

在第二步骤S2中，针对每个照明状态拍摄出样品体积3的一个原始概览图像R，即拍摄在根据图3的实施例中具有样品4的样品载体2的原始概览图像。由此，通过恰好接通其中一个单光源7用于图像拍摄来产生原始概览图像R1至Rn。因此，针对每个原始概览图像R1至Rn接通个别的单光源7，从而拍摄出N个原始概览图像R1至Rn。对于每个原始概览图像R1至Rn用不同的单光源进行照射。所有原始概览图像R1至Rn都是用同一相机拍摄。对于拍摄所有原始概览图像R1至Rn，该相机的定位保持不变。优选地，N相应于单光源7的数量。然而，并非必须使用所有可用的单光源。启动单光源7可以依次(即从第一个到第N个单光源7)或以任意其他顺序完成。

在原始概览图像R1至Rn中，除了存在样品4的结构之外还存在不归为样品4的结构，并且使找到样品4变得困难。这些不归为样品4的结构是例如图像拍摄过程的元件，例如单光源7。

为了抑制这些干扰，在第三步骤S3中产生中间图像Z，然后在步骤S4中将它们组合成概览反差图像。

中间图像Z抑制干扰。为了产生中间图像Z，首先在步骤S3中定义特定数目的亮度排名。这些亮度排名涉及原始概览图像R1至Rn的像素P(i,j)的亮度。由此得到了最亮的像素P(i,j)、第二亮的像素P(i,j)等。术语“亮度排名”因此表示根据亮度进行的排序，但不表示绝对的亮度值。其中每个所要产生的中间图像Z恰好与一个亮度排名相配属。

然后通过如下方式产生每个中间图像Z：针对该中间图像的每个像素P(i,j)在原始概览图像R1至Rn中寻找具有与各自的中间图像Z相配属的亮度排名的像素P(i,j)。使用寻找到的像素的亮度值并将其用于该中间图像Z的像素P(i,j)。该过程在图2中显示。

图2示出了从原始概览图像R1至Rn产生中间图像Z的示意图，示出了各个原始概览图像R1至Rn，它们分别由像素P(i,j)组成。一个像素P(i,j)在栅格图形中表征了图像中的一个位置，并为其配属有一个像素值，即图像在该位置处所具有的亮度值。对于与第一亮度排名相配属的中间图像Z1来说，针对每个像素P(i,j)在所有原始概览图像R1至Rn中寻找各自的那个在那里具备带有第一亮度排名的像素P(i,j)、即带有最大像素值的像素P(i,j)的原始概览图像R1至Rn，并且将该像素的亮度值赋予给中间图像Z1的像素P(i,j)。在图2中，亮度通过对像素P(i,j)的涂阴影线/涂黑来进行编码。例如，如果取像素P(1,1)，即第1行第1列的像素，则在那里为中间图像Z1使用在所有原始概览图像R1至Rn中在P(1,1)处寻找到的最亮像素P(1,1)的亮度值。在所示示例中，找到了原始概览图像R1的像素P(1,1)。对于像素P(1,3)，找到的是例如来自R3的像素P(1,3)。

该方法同样适用于与第二亮度排名相配属的中间图像Z2。为此，针对P(1,1)在所有原始概览图像R1至Rn中寻找那个在P(1,1)处具有所有像素P(1,1)中第二亮像素、即具有第二亮度排名的像素P(1,1)的原始概览图像。在图2中，在P(1,1)处找到的是来自Rn的像素P(1,1)，在P(1,3)处找到的是来自R2的相应像素P(1,3)。

因此，然后对所有其他中间图像Z执行此方法。结果是，每个中间图像Z仅具有与其亮度排名相应的像素P(i,j)。

在第四步骤S4中，接着将中间图像Z组合成概览反差图像，其中，具有第一亮度排名的中间图像Z1不被考虑并且不被纳入概览反差图像中。由此，抑制了超调效应

这是因为最亮的像素P(i,j)、即最高亮度排名的像素，将被视为超调的区域，将不会被采用，并且因此不会掩盖概览反差图像的任何图像内容。在实施方式中，未在概览反差图像中考虑的像素P(i,j)相应于分别被接通以用于拍摄原始概览图像R1至Rn的单光源7的图像。

此外，改进了样品4的可见性和可识别性，这是因为要归为样品4的结构通过在概览反差图像中样品4与周围环境的对比被强调突出。

在设备中，处理装置14被配置成使其执行该步骤。

例如通过取平均来将中间图像Z组合成概览反差图像，但是其他图像处理措施也是可能的，例如最小投影(Min-Projektion)、最大投影或中值投影(Median-Projektion)。

优选地，一旦拍摄到至少两个原始概览图像R，就开始产生中间图像Z。然后，当添加另外的原始概览图像R时，中间图像将不断更新。由此减少了所需的时间。

可选地在产生中间图像之后通过如下方式对中间图像Z进行亮度归一化：使其像素P(i,j)所具有的针对亮度的域转换到更大的、优选对于所有中间图像Z都一样的亮度域上。在此，例如将包含具有从55％到60％亮度值范围的亮度域“扩展”到从0％到100％的亮度域。这优选借助最小-最大归一化、百分位归一化或直方图均衡化来完成。这实现了已述的在中间图像Z下的亮度均衡。

优选地，对概览反差图像进行进一步再处理。例如，典型的是白平衡。

在图3中示出了用于在显微镜1中产生样品载体2的概览反差图像的设备。沿着光轴OA，显微镜1用物镜(未单独示出)捕获样品体积3，在样品体积中布置有位于样品载体2上的样品4。样品体积3进而是样品4被来自二维照明源6的透射光照亮，该二维照明源具有单光源7。相机10的像场8指向样品体积3，并因此指向样品载体2。照明源6和相机10要么如图3中所示经由电线路12要么经由无线电等与处理装置14连接。处理装置14又经由电线路12或无线电等与显示设备16连接。

相机10在其像场8中捕获到样品体积3和位于样品体积中的样品载体2上的样品4。处理装置14对相机10进行驱控和读取，以便拍摄样品体积3的不同的原始概览图像R1至Rn。在此，处理装置14还控制二维照明阵列6，以便个别接通单光源7，二维照明阵列具有能个别切换的单光源7并以透射光照亮样品体积3。例如，将具有各个单LED的LED阵列用作二维照明源6，各个单LED由处理装置14依次或以任意顺序启动。在拍摄原始概览图像R1至Rn期间，相机10的定位和取向始终保持不变。

处理装置例如包括处理器和RAM并配置成使得它通过恰好接通其中一个单光源7来产生其中每个原始概览图像R1至Rn，其中，处理装置针对每个原始概览图像R1至Rn接通个别的单光源，从而其数字式地拍摄N个原始概览图像。处理装置根据借助图1的流程图表解释的方法产生和处理原始概览图像R1至Rn。优选地，处理装置在诸如监视器或显示器的显示设备16上向用户显示结果和/或中间结果。

附图标记列表

1 显微镜

2 样品载体

3 样品体积

4 样品

6 照明阵列

7 单光源

8 像场

10 相机

12 电线路

14 处理装置

16 显示设备

OA 光轴

S1～S4 步骤

Z 中间图像

P(i,j) 像素(第i行,第j列)

P(1,1) 像素(第1行,第1列)

R1～Rn 原始概览图像

Claims (16)

1.在显微镜(1)中产生样品载体(2)的概览反差图像的方法，所述显微镜对布置在所述样品载体(2)上的样品(4)进行成像，其中，

a)以来自二维照明阵列(6)的透射光照亮所述样品载体(2)，所述二维照明阵列具有能个别切换的单光源(7)，

b)拍摄所述样品载体(2)的多个不同的原始概览图像(R1～Rn)，

其特征在于，

通过恰好接通其中一个单光源(7)来产生其中每个原始概览图像(R1～Rn)，其中，针对每个原始概览图像(R1～Rn)接通其中一个个别的单光源(7)，从而拍摄出N个原始概览图像(R1～Rn)，

c)通过如下方式从原始概览图像(R1～Rn)产生中间图像(Z)：

c1)定义原始概览图像(R1～Rn)的像素(P(i,j))的亮度排名，

c2)使每个中间图像(Z)恰好与一个亮度排名相配属，并且

c3)在每个中间图像(Z)中，针对该中间图像(Z)的每个像素(P(i,j))，在原始概览图像(R1～Rn)中寻找那个在相应像素(P(i,j))处具有与各自的中间图像(Z)相配属的亮度排名的原始概览图像(R1～Rn)，并且使用寻找到的原始概览图像(R1～Rn)的相应像素(P(i,j))的亮度值，并且

d)将中间图像(Z)组合成概览反差图像，其中，不考虑与第一亮度排名相配属的中间图像(Z)并且不将其纳入到概览反差图像中。

2.根据权利要求1的方法，其特征在于，在子步骤c3)中所进行的寻找包括最小/最大投影。

3.根据权利要求1所述的方法，其特征在于，一旦拍摄到至少两个原始概览图像(R)，就开始产生中间图像(Z)，并且当添加了另外的原始概览图像(R)时，不断更新中间图像(Z)。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在产生中间图像(Z)后，在步骤d)中，通过如下方式对中间图像(Z)在其产生之后进行亮度归一化：将像素(P(i,j))由于每个中间图像(Z)的各自的亮度排名而具有的针对亮度的域转换到更大的亮度域上。

5.根据权利要求1至3中任一项所述的方法，其特征在于，在产生中间图像(Z)后，在步骤d)中，通过如下方式对中间图像(Z)在其产生之后进行亮度归一化：将像素(P(i,j))由于每个中间图像(Z)的各自的亮度排名而具有的针对亮度的域转换到更大的、对于所有中间图像(Z)都一样的亮度域上。

6.根据权利要求5所述的方法，其特征在于，对中间图像(Z)的亮度归一化借助最小-最大归一化、百分位归一化或直方图均衡化来进行。

7.根据权利要求1至3中任一项所述的方法，其特征在于，通过图像处理措施对概览反差图像进行再处理。

8.根据权利要求1至3中任一项所述的方法，其特征在于，在步骤d)中，在使用取平均、最小投影、最大投影和/或中值投影的情况下将中间图像(Z)组合成概览反差图像。

9.在显微镜(1)中产生要布置在样品体积(3)中的样品载体(2)的概览反差图像的设备，所述设备具有：

-相机(10)，所述相机具有捕获所述样品体积(3)的像场(8)，

-二维照明阵列(6)，所述二维照明阵列具有能个别切换的单光源(7)并且以透射光照亮所述样品体积(3)，和

-处理装置(14)，所述处理装置对所述相机(10)进行驱控和读取，以便拍摄出所述样品体积(3)的多个不同的原始概览图像(R1～Rn)，

其特征在于，

-所述处理装置(14)驱控所述二维照明阵列(6)，以便个别接通所述单光源(7)，

-所述处理装置(14)被配置成使得所述处理装置通过恰好接通其中一个单光源(7)来产生其中每个原始概览图像(R1～Rn)，其中，所述处理装置针对每个原始概览图像(R1～Rn)接通其中一个个别的单光源(7)，从而使得所述处理装置拍摄出N个原始概览图像(R1～Rn)，

-所述处理装置(14)被配置成使得所述处理装置通过如下方式从原始概览图像(R1～Rn)产生中间图像(Z)：所述处理装置为原始概览图像(R1～Rn)的像素(P(i,j))定义亮度排名，使每个中间图像(Z)恰好与一个亮度排名相配属，并且在每个中间图像(Z)中，针对该中间图像(Z)的每个像素(P(i,j))，在原始概览图像(R1～Rn)中寻找那个在相应像素(P(i,j))处具有与各自的中间图像(Z)相配属的亮度排名的原始概览图像(R1～Rn)，并且使用寻找到的原始概览图像(R1～Rn)的相应像素(P(i,j))的亮度值，并且

-所述处理装置(14)被配置成使得所述处理装置将中间图像(Z)组合成概览反差图像，其中，所述处理装置不考虑与第一亮度排名相配属的中间图像(Z)并且不将其纳入到概览反差图像中。

10.根据权利要求9所述的设备，其特征在于，所述处理装置(14)被配置成使得所述处理装置在寻找原始概览图像(R1～Rn)中的像素(P(i,j))时使用最小/最大投影。

11.根据权利要求9所述的设备，其特征在于，所述处理装置(14)被配置成一旦拍摄到至少两个原始概览图像(R)，所述处理装置就开始产生中间图像(Z)，并且当添加另外的原始概览图像(R)时，不断更新中间图像(Z)。

12.根据权利要求9至11中任一项所述的设备，其特征在于，所述处理装置(14)被配置成使得所述处理装置通过如下方式在产生中间图像(Z)之后对中间图像(Z)进行亮度归一化：所述处理装置将像素(P(i,j))由于每个中间图像(Z)的各自亮度排名而具有的针对亮度的域转换到更大的亮度域上。

13.根据权利要求9至11中任一项所述的设备，其特征在于，所述处理装置(14)被配置成使得所述处理装置通过如下方式在产生中间图像(Z)之后对中间图像(Z)进行亮度归一化：所述处理装置将像素(P(i,j))由于每个中间图像(Z)的各自亮度排名而具有的针对亮度的域转换到更大的、对于所有中间图像(Z)都一样的亮度域上。

14.根据权利要求12所述的设备，其特征在于，所述处理装置(14)被配置成使得所述处理装置借助最小-最大归一化、百分位归一化或直方图均衡化来对中间图像(Z)进行亮度归一化。

15.根据权利要求9至11中任一项所述的设备，其特征在于，利用图像处理措施对概览反差图像进行再处理。

16.根据权利要求9至11中任一项所述的设备，其特征在于，所述处理装置被配置成使得所述处理装置在使用取平均、最小投影、最大投影和/或中值投影的情况下将中间图像(Z)组合成概览反差图像。

Images