CN113759534B - 用于产生由多个单幅显微图像合成的图像的方法和显微镜 - Google Patents

Abstract

本发明涉及一种用于产生由多个单幅显微图像合成的图像的方法和显微镜。提供一种显微镜，其中，存在于显微镜的图像拍摄单元与显微镜的载物台之间的扭转角度(δ)的测量值包括该测量值的测量精度在内是已知的。用显微镜拍摄样本的第一单幅显微图像(01)，以及使图像拍摄单元和载物台相对彼此移动，然后用显微镜拍摄样本的第二单幅显微图像(02)。在第二或第一单幅显微图像中确定搜索区域，在搜索区域中预期有单幅显微图像(01、02)之间的重叠区域。基于扭转角度(δ)的测量值及其测量精度来确定搜索区域。在搜索区域之内搜索重叠区域(07)。基于所获知的重叠区域(07)，将单幅显微图像(01、02)拼合成样本的合成图像。

Description

用于产生由多个单幅显微图像合成的图像的方法和显微镜

技术领域

本发明首先涉及一种用于产生样本的由多个单幅显微图像合成的图像的方法。拍摄出样本的若干单幅显微图像，以便通过拼接(Stitching)进行拼合，从而获得样本的至少成像出大部分样本的显微图像。本发明还涉及一种适用于此的显微镜。

背景技术

DE 100 05 852 C2示出了一种用于以显微分辨方式建立起技术表面的高度图像的方法。在对样本区域进行测量之后，将样本在垂直于测量显微镜的光轴的X/Y平面中移行，从而可以测量相邻的样本区域并通过电子式并置，也就是说通过拼接各个相邻区域的测量结果来获得样本表面结构的合成图像。

EP 3 156 967 B1教导了一种用于创建显微观察全景图的方法，其中在考虑变化信息的情况下将第一和第二显微观察拍摄图拼合。为此，获知了描述在x和/或y方向上的横向移动的运动矢量。

由EP 2 596 472 B1公知一种用于产生在载玻片上的样本的拼合拍摄图的方法。通过分析重叠的部分图像的相似性来获知成对的相互重叠的部分图像之间的位移矢量。为了一方面使成对的相互重叠的部分图像的位移矢量之间的偏差的程度最小化和另一方面为了使成对的相互重叠的部分图像的拍摄图位置变量的差异的程度最小化而找到部分图像的最佳的拍摄图位置变量集合的优化问题应当在遵守拍摄图位置变量的辅助条件的情况下来解决。

DE 10 2013 006 994 A1教导了一种用于优化在数字显微镜中的工作流程的方法。该数字显微镜包括至少一个用于观察样本、样本台、光学单元或用户的监测传感器以及监测单元。检测到来自监测传感器的观察数据并在监测单元中自动进行分析和评估，以便产生控制数据并将该控制数据用于控制数字显微镜的工作流程。总览图像或整体图像可以通过彼此拼合，也就是说通过拼接多个微显微拍摄图来产生。

DE 10 2018 104 704 A1示出了一种用于改变数字显微镜的放大倍率的方法，该数字显微镜具有至少两个能自动变换的具有不同成像比例的物镜，从这些物镜中总是选出一个物镜。通过显微镜输出的图像的放大倍率连续变化，为此，通过数字图像处理来实现对由所选的物镜拍摄到的并由图像转换器转换的图像的放大倍率的连续改变。显微镜台例如可以在y方向上移动，在此，在显微镜台移动行程上，在传感器图像平面中拍摄与传感器等效的像场并以拼接方式拼合。

上述解决方案使用拼接来拼合关于彼此移动的显微图像。然而，移动量实际上并不精确得知，这是因为例如能移行的样本台在移动行程上具有机械公差。因此，为了进行拼接，必须确定移动后的理论上的位置与移动后的实际上的真实位置之间的偏差并进行校正。为此，使用到重叠区域中的显微图像的内容，并测试在哪个假定的移动时一致性最大。这在显微图像中在搜索空间或者说搜索区域之内进行搜索。该搜索区域必须足够大以使其包含实际上的真实位置。但是，样本的显微图像例如在诸如网格结构的有规律重复的结构的情况下可能具有多义性或自相似性，由此根据所述措施确定移动的实际上的真实位置容易出错。

发明内容

基于现有技术，本发明的任务在于，减少在拼接单幅显微图像时的易错性。

所述任务通过本发明所述的方法以及通过本发明所述的显微镜来解决。

根据本发明的方法被用于产生样本的由多个单幅显微图像合成的图像。合成的显微图像至少成像出样本的大部分。例如，合成的显微图像可以成像出整个样本。合成的显微图像也可以是样本的全景图像。

提供一种显微镜，其中，存在于显微镜的图像拍摄单元与显微镜的载物台之间的扭转角度的测量值包括该测量值的测量精度在内是已知的。图像拍摄单元例如可以是相机或者是由相机和显微镜的物镜构成的单元。图像拍摄单元例如也可以是激光扫描单元。显微镜也可以是共焦显微镜、广角显微镜、白光干涉仪或光片显微镜。载物台用于将样本布置在其上。扭转角度优选在光轴上构成。光轴优选垂直于载物台所在的平面地取向。测量精度应被理解为测量扭转角度时的测量不确定度。测量精度或者说测量不确定度说明如下值范围：在该值范围之内存在具有一定概率(例如95％)的扭转角度的真实值。扭转角度的测量值及其测量精度尤其是通过测量扭转角度并且检测用于测量扭转角度的方法的测量精度而已知。在理想情况下，扭转角度优选等于零，也就是说扭转角度是图像拍摄单元与载物台之间的不期望的扭转。在许多显微镜中，扭转角度仅为几度。扭转角度优选至多为±5°，特别优选至多为±2°。这相应地适用于扭转角度的测量值。测量值的测量精度或者说测量不确定度优选至多为±0.2°，更优选最多为±0.1°，特别优选至多为±0.05°

在根据本发明的方法的另外的步骤中，用显微镜拍摄样本的第一单幅显微图像。在此，样本布置在载物台上。

在根据本发明的方法的另外的步骤中，使图像拍摄单元和承载样本的载物台相对彼此移动。该移动优选在平行于像平面的平面中进行，该平面优选平行于包括载物台的平面并且优选垂直于光轴。优选地，使载物台移动，而图像拍摄单元静止不动，该移动优选在垂直于光轴的方向上在就单幅显微图像而言水平的方向上进行。替选地或补充地，该移动优选在垂直于光轴的方向上在就单幅显微图像而言竖直的方向上进行。替选地或补充地，该移动优选通过围绕三个空间方向之一或围绕自由方向的旋转运动来进行。使图像拍摄单元和载物台相对彼此移动，以此使得图像拍摄单元指向样本的不同部分。在图像拍摄单元和载物台相对彼此移动时，样本优选搁置在载物台上。原则上，也可能发生图像拍摄单元与样本之间的移动，其中，该移动不是由载物台所引起。

在图像拍摄单元和承载样本的载物台相对彼此移动之后，用显微镜拍摄样本的第二单幅显微图像，第一单幅显微图像和第二单幅显微图像成像出样本的不同区域，但是其中，存在交集，从而使得从第一单幅显微图像和第二单幅显微图像成像出样本的较小部分。该交集表示第一单幅显微图像和第二单幅显微图像之间的重叠区域。

在根据本发明的方法的另外的步骤中，在第二单幅显微图像或第一单幅显微图像中确定搜索区域，在该搜索区域中预期有第一单幅显微图像与第二单幅显微图像之间的重叠区域。搜索区域也可以被称为搜索空间，并且优选是二维的。搜索区域是第二单幅显微图像的或第一单幅显微图像的一部分。根据本发明，基于扭转角度的测量值及其测量精度来确定搜索区域。因此，如下这样地选择搜索区域，即，考虑到扭转角度的测量精度，从而使得在扭转角度的测量值与实际值之间的位于测量精度之内的偏差不会导致搜索区域不包括实际重叠区域。

在根据本发明的方法的另外的步骤中，在搜索区域之内搜索第一单幅显微图像与第二单幅显微图像之间的重叠区域。由于确保了重叠区域位于搜索区域之内，因此至少满足了可以清楚地搜索到重叠区域的条件。为了搜索重叠区域，可以使用如下数据：这是数据描述各自的单幅显微图像的拓扑结构(Topographie)、各自的单幅显微图像或相机图像的灰度值和/或各自的单幅显微图像或相机图像的诸如RGB颜色值的颜色值。

在根据本发明的方法的另外的步骤中，基于所获知的重叠区域，将第一单幅显微图像和第二单幅显微图像拼合成样本的合成图像。因为重叠区域已事先获知，所以两个单幅显微图像实际上彼此间处于哪个姿态是已知的。根据该姿态将它们连接起来，由此得到样本的合成图像。

第一单幅显微图像和第二单幅显微图像的这种拼合表示一种拼接。该拼接可以作为2D拼接、具有高度匹配的2D拼接、3D拼接和/或具有旋转配合的拼接来进行。

根据本发明的方法的特别的优点在于，通过使用扭转角度的测量值，使得与现有技术相比可以显著减小搜索区域。根据现有技术，搜索区域根据图像拍摄单元与载物台之间的扭转的容许公差来测定。该公差例如为±2°。当单幅显微图像的大小例如为1600像素乘以1200像素时，则搜索区域必须至少长为±(sin2°·1600像素)＝±56像素。然而，根据本发明，只需考虑明显更小的测量精度或测量不确定度。例如，该测量精度或测量不确定度为±0.07°，从而搜索区域仅还需要长至少±(sin0.07°·1600像素)＝±2像素。明显更小的搜索区域导致的是，以明显更高的概率正确找到重叠区域。明显更小的搜索区域还导致搜索区域中的多义性降低；与现有技术相比，例如降低到小于10％。明显更小的搜索区域还导致阶梯函数的降低；与现有技术相比，例如降低到小于10％。当已知DTC(Design-to-Cost，按成本设计)的大小时，则可以对它更宽容地规定公差。如果将多个单幅显微图像合成，假如对各对相继的单幅显微图像的重叠区域的搜索不成功，则可以取消拼接。取而代之的是，根据所测得的移动量在考虑到扭转角度的测量值的情况下将两个相继的单幅显微图像的这些对进行拼合。由于已经检测到扭转角度，因此剩余偏差仅基于有限的测量精度给定，并且通常非常小，从而根据所测得的移动量在考虑到扭转角度的测量值的情况下进行的拼合往往导致足够好的结果。根据本发明的方法的另外的特别的优点在于，与现有技术相比，它通常不需要附加的耗费，这是因为无论如何在许多情况下扭转角度的测量值包括其测量精度在内都是已知的。

在根据本发明的方法的优选的实施方式中，并不仅仅拍摄两个单幅显微图像，而且还拍摄了另外的单幅显微图像，最终将这些单幅显微图像合成为样本的合成图像。在拍摄另外的单幅显微图像之间，分别使图像拍摄单元和载物台相对彼此移动，分别在单幅显微图像中的两个依次拍摄的单幅显微图像中的任一个中确定另外的搜索区域，在该另外的搜索区域中，预期有这两个依次拍摄的另外的单幅显微图像之间的另外的重叠区域。基于扭转角度的测量值及其测量精度来确定该另外的搜索区域。在该另外的搜索区域之内搜索这两个依次拍摄的另外的单幅显微图像之间的另外的重叠区域。基于所获知的重叠区域，将第一单幅显微图像、第二单幅显微图像和另外的单幅显微图像拼合成样本的合成图像。

在根据本发明的方法的优选的实施方式中，单幅显微图像是二维的。它们在x方向和垂直于x方向的y方向上延伸。各自的显微图像在x方向上的延伸可以被称为各自的显微图像的长度。各自的显微图像在y方向上的延伸可以被称为各自的显微图像的宽度。x方向就各自的显微图像而言可以被称为水平的。y方向就各自的显微图像而言可以被称为竖直的。

在根据本发明的方法的优选的实施方式中，在确定搜索区域时，搜索区域在y方向上的长度以像素来定义。在y方向上的这种延伸也可以称为搜索区域的高度。搜索区域在y方向上的延伸基于扭转角度的测量值的测量精度的正弦值与各自的单幅显微图像在x方向上的像素长度的乘积来确定。如果测量精度例如为±0.14°，并且各自的单幅显微图像在x方向上的长度为1600像素，则搜索区域在y方向上的延伸将基于±(sin0.14°·1600像素)＝±4像素的度量来确定。相应地，搜索区域在y方向上的延伸至少为±4像素。

以像素表示的搜索区域在y方向上的长度优选由多个被加项之和形成。其中第一被加项是上述的扭转角度的测量值的测量精度的正弦值与以像素表示的各自的单幅显微图像在x方向上的长度的乘积。其中第二被加项是用于考虑随机误差的像素数量。在上述的测量精度为±0.14°并且各自的单幅显微图像在x方向上的长度为1600像素的示例中，第一被加项等于±4像素。第二被加项例如是±1像素。相应地，搜索区域在y方向上的长度被确认为±(4+1)＝±5像素。原则上，可以给定由操作员确认的另外的被加项。

在根据本发明的方法的优选的实施方式中，当各自的单幅显微图像在x方向上的长度至少为1000像素，并且优选至少为1600像素时，则搜索区域在y方向上的长度至多为±10像素。在根据本发明的方法的另外的优选的实施方式中，当各自的单幅显微图像在x方向上的长度至少为1000像素，并且优选至少为1600像素时，则搜索区域在y方向上的长度至多为±5像素。在根据本发明的方法的特别优选的实施方式中，当各自的单幅显微图像在x方向上的长度至少为1000像素并且优选至少为1600像素时，则搜索区域在y方向上的长度至多为±2像素。

在根据本发明的方法的优选的实施方式中，在搜索重叠区域之前，对单幅显微图像进行预处理。该预处理用于优化单幅显微图像，并且优选包括阴影校正、畸变校正、像场弯曲校正和/或白平衡。优选地进行对合成图像的后处理。该后处理优选包括混合(Blending)。

在根据本发明的方法的优选的实施方式中，在使图像拍摄单元和载物台相对彼此移动时，测量移动量，以便确定重叠区域的目标位置。当扭转角度等于零并且也没有给出其他误差时，则重叠区域实际上将位于目标位置中。重叠区域的目标位置用于确定搜索区域的位置。尤其地，测量在x方向上的移动量。该移动量是在拍摄两个相继的单幅显微图像之间发生的那个移动量。优选地，通过待移行的载物台上的传感器或通过评估这些单幅显微图像(例如通过在移动时对像素的计数)来进行测量。

为了确定搜索区域在各自的单幅显微图像中的位置，还优选考虑扭转角度的测量值的正弦值与所测得的以像素表示的移动量的乘积。该乘积说明了，当扭转角度的测量值是准确的且没有其他误差时，重叠区域的目标位置将与重叠区域的实际位置相距多远。

优选地，由被加项之和来确定搜索区域的位置，其中，其中一个被加项表示所获知的重叠区域的目标位置，而其中另一被加项表示扭转角度的测量值的正弦值与所测得的移动量的乘积。

在根据本发明的方法的优选的实施方式中，为了提供显微镜，利用能实现的测量精度来测量扭转角度，以便获得扭转角度的测量值。优选地，这在制造显微镜时、在交付显微镜时和/或在显微镜首次投入使用时来进行。优选地，该测量也在维修显微镜时进行。通常无需在每次使用显微镜之前，也就是说无需在每次产生由多个单幅显微图像合成样本的图像之前进行这种对扭转角度的测量。然而，在特别的实施方式中，这种对扭转角度的测量可以紧接在合成图像的这种产生之前进行。

根据本发明的显微镜包括用于承载要被显微镜观察的样本的载物台和用于拍摄样本的显微图像的图像拍摄单元。显微镜优选包括用于将样本成像在图像拍摄单元中的物镜。图像拍摄单元优选包括图像传感器，其用于将由物镜直接或间接成像到图像传感器上的图像转换成电信号。

图像拍摄单元和载物台能相对彼此移动。存在于图像拍摄单元与载物台之间的扭转角度的测量值包括该测量值的测量精度在内是给定的，也就是说是已知的。

根据本发明的显微镜还包括被配置成用于实施多个步骤的显微镜控制和图像处理单元。在一个步骤中，拍摄样本的第一单幅显微图像。在另外的步骤中，在已使图像拍摄单元和承载样本的载物台相对彼此移动之后，拍摄样本的第二单幅显微图像。在另外的步骤中，在第二单幅显微图像或第一单幅显微图像中确定搜索区域，在该搜索区域中预期有第一单幅显微图像与第二单幅显微图像之间的重叠区域。基于扭转角度的测量值及其测量精度来确定搜索区域。在事先确定的搜索区域之内搜索第一单幅显微图像与第二单幅显微图像之间的重叠区域。此外，基于所获知的重叠区域，将第一单幅显微图像和第二单幅显微图像拼合成样本的合成图像。

显微镜控制和图像处理单元优选还被配置成用于实施针对根据本发明的方法及其优选的实施方式所描述的步骤。优选地，根据本发明的显微镜还具有结合根据本发明的方法所描述的特征。

附图说明

本发明的另外的细节和改进方案参考附图由对优选的实施方式的以下描述来得出。

图1示出了根据本发明的方法的优选的实施方式利用显微镜所拍摄到的样本的五个单幅显微图像。

具体实施方式

唯一的附图1清楚示出了根据本发明的方法的优选的实施方式利用显微镜(未示出)所拍摄到的样本(未示出)的五个单幅显微图像01、02、03、04、05。在拍摄这五个单幅显微图像01、02、03、04、05之间，载物台(未示出)在就单幅显微图像01、02、03、04、05而言水平的方向06上移动，以便可以将这五个单幅显微图像01、02、03、04、05合成为成像出样本(未示出)的较大部分的图像。

载物台(未示出)由于受到精确制造的限制而相对于图像拍摄单元(未示出)略微扭转，从而使得这五个单幅显微图像01、02、03、04、05并非精确地水平排列，其中，为了清楚说明，附图中的图示被夸大，这是因为相对水平方向06的扭转角度δ典型地例如至多为2°。根据本发明，该扭转角度的已知的测量值以及该扭转角度的测量精度被用于明显限制用于找到单幅显微图像01、02、03、04、05之间的重叠区域07的搜索区域。

附图标记列表

01 第一单幅显微图像

02 第二单幅显微图像

03 第三单幅显微图像

04 第四单幅显微图像

05 第五单幅显微图像

06 水平方向

07 重叠区域

δ 扭转角度

Claims (10)

1.用于产生样本的由多个单幅显微图像(01、02、03、04、05)合成的图像的方法；所述方法包括以下步骤：

-提供显微镜，其中，存在于所述显微镜的图像拍摄单元与所述显微镜的载物台之间的扭转角度(δ)的测量值包括所述测量值的测量精度在内是已知的；

-用所述显微镜拍摄所述样本的第一单幅显微图像(01)；

-使所述图像拍摄单元和承载所述样本的载物台相对彼此移动；

-用所述显微镜拍摄所述样本的第二单幅显微图像(02)；

-在所述第二单幅显微图像(02)中或在所述第一单幅显微图像(01)中确定搜索区域，在所述搜索区域中预期有所述第一单幅显微图像(01)与所述第二单幅显微图像(02)之间的重叠区域，其中，基于所述扭转角度(δ)的测量值及其测量精度来确定所述搜索区域；

-在所述搜索区域之内搜索所述第一单幅显微图像(01)与所述第二单幅显微图像(02)之间的重叠区域(07)；并且

-基于所获知的重叠区域(07)，将所述第一单幅显微图像(01)和所述第二单幅显微图像(02)拼合成所述样本的合成图像。

2.根据权利要求1所述的方法，其特征在于，拍摄另外的单幅显微图像(03、04、05)，其中，在拍摄所述另外的单幅显微图像(03、04、05)之间，分别使所述图像拍摄单元和所述载物台相对彼此移动，其中，分别在两个依次拍摄的另外的单幅显微图像(03、04、05)中的任一个内确定另外的搜索区域，在所述另外的搜索区域中预期有这两个依次拍摄的另外的单幅显微图像(03、04、05)之间的另外的重叠区域(07)，其中，基于所述扭转角度(δ)的测量值及其测量精度来确定所述另外的搜索区域；其中，在所述另外的搜索区域之内搜索这两个依次拍摄的另外的单幅显微图像(03、04、05)之间的另外的重叠区域(07)，并且其中，基于所获知的重叠区域(07)将所述第一单幅显微图像(01)、所述第二单幅显微图像(02)和所述另外的单幅显微图像(03、04、05)拼合成所述样本的合成图像。

3.根据权利要求1所述的方法，其特征在于，单幅显微图像(01、02、03、04、05)在x方向(06)上和在垂直于x方向(06)的y方向上延伸，其中，在确定搜索区域时，以像素来定义搜索区域在y方向上的长度，所述在y方向上的长度基于所述扭转角度(δ)的测量值的测量精度的正弦值与以像素表示的各自的单幅显微图像(01、02、03、04、05)在x方向(06)上的长度的乘积来确定。

4.根据权利要求3所述的方法，其特征在于，以像素表示的搜索区域在y方向上的长度由多个被加项之和形成，其中，被加项中的第一被加项是所述扭转角度(δ)的测量值的测量精度的正弦值与以像素表示的各自的单幅显微图像(01、02、03、04、05)在x方向(06)上的长度的乘积，并且其中，被加项中的第二被加项是用于考虑随机误差的像素数量。

5.根据权利要求3所述的方法，其特征在于，当各自的单幅显微图像(01、02、03、04、05)在x方向(06)上的长度至少为1000像素时，所述搜索区域在y方向上的长度至多为±10像素。

6.根据权利要求1至5中任一项所述的方法，其特征在于，在使所述图像拍摄单元和所述载物台相对彼此移动时，测量移动量，以便确定所述重叠区域(07)的目标位置，将所述目标位置用于确定搜索区域的位置。

7.根据权利要求6所述的方法，其特征在于，为了确定各自的单幅显微图像(01、02、03、04、05)中的搜索区域的位置，还考虑所述扭转角度(δ)的测量值的正弦值和所测得的移动量的乘积。

8.根据权利要求7所述的方法，其特征在于，由所述扭转角度(δ)的测量值的正弦值和所测得的移动量的乘积与所述重叠区域(07)的目标位置之和来确定搜索区域的位置。

9.根据权利要求1至5中任一项所述的方法，其特征在于，为了提供所述显微镜，以所述测量精度来测量所述扭转角度(δ)，以便获得所述扭转角度(δ)的测量值。

10.显微镜；所述显微镜包括：

-用于承载待显微镜观察的样本的载物台；

-用于拍摄所述样本的显微图像的图像拍摄单元，其中，所述图像拍摄单元和所述载物台能相对彼此移动，并且其中，存在于所述图像拍摄单元与所述载物台之间的扭转角度(δ)的测量值连带测量精度是给定的；和

-显微镜控制和图像处理单元，所述显微镜控制和图像处理单元被配置成用于实施以下步骤：

拍摄所述样本的第一单幅显微图像(01)；

在已使所述图像拍摄单元和承载所述样本的载物台相对彼此移动之后，拍摄所述样本的第二单幅显微图像(02)；

在所述第二单幅显微图像(02)中或在所述第一单幅显微图像(01)中确定搜索区域，在所述搜索区域中预期有所述第一单幅显微图像(01)与所述第二单幅显微图像(02)之间的重叠区域(07)，其中，基于扭转角度(δ)的测量值及其测量精度来确定所述搜索区域；

在所述搜索区域之内搜索所述第一单幅显微图像(01)与所述第二单幅显微图像(02)之间的重叠区域(07)；并且

基于所获知的重叠区域(07)，将所述第一单幅显微图像(01)和所述第二单幅显微图像(02)拼合成所述样本的合成图像。