CN112833812B - 用于检验样品的测量仪器和用于确定样品高度图的方法 - Google Patents

Abstract

用于确定样品(10)的高度图(10D)的方法包括以下步骤：获得样品(10)的高度测量数据；获得样品(10)的概览图(10A)；识别概览图(10A)中的特定的图像区域(11A，12A，13A，14A)；导出已识别的图像区域(11A，12A，13A，14A)的上下文信息；并且借助于上下文信息补充或改变高度测量数据。此外，描述一种设计用于执行该方法的测量仪器。

Description

用于检验样品的测量仪器和用于确定样品高度图的方法

技术领域

本发明涉及一种用于检验样品的测量仪器。本发明还涉及一种用于确定样品的高度图的方法。

表层技术

用于检验样品的通用的测量仪器、例如显微镜或坐标测量仪器包括用于检验样品的检验装置。检验装置尤其可以包括物镜或触觉测量头。另外，通用的测量仪器包括概览装置，所述概览装置设计用于记录样品的高度原始测量数据并产生样品的概览图。测量仪器的计算装置设计用于从高度原始测量数据中计算高度测量数据。

用于确定样品的高度图的通用的方法至少包括以下步骤：获得样品的高度测量数据以及获得样品的概览图。

为了精确地检验样品，通常需要在样品和检验装置之间的相对小的间距。例如，样品通常应仅距检验装置的物镜几毫米。刚好当样品具有高度结构时，对该高度结构的一定了解对于防止检验装置的部件和样品之间的碰撞是有意义的。为此目的，尤其预先获得高度测量数据和/或概览图。高度测量数据和/或概览图可用于设定样品和检验装置之间的相对位置。因此，普遍的目的在于：能够借助概览装置获得样品的尽可能精确的高度测量数据和/或尽可能精确的概览图。

但是，为了检验样品，能够具有如下区域，所述区域在典型测量技术的情况下通常导致有错的高度测量数据或导致缺失高度测量数据。这尤其在反光或透明的区域中会是这种情况，其中在所述区域处测量光没有以对于测量原理所需的方式透射回来。如果样品区域被其他物体覆盖，则缺失高度测量数据，或者可能对于该样品区域错误地检测相邻物体的高度测量数据。具有小扩展的样品区域面临被忽视。在具有低对比度或少量结构的样品区域中可能会造成有错的高度测量数据。

因此，常规上，用户必须定期借助于编辑软件手动地再次修订所求出的高度图，例如通过删除不相关的数据或通过由内插来填充未测量到的采样点。

已知技术或者需要在用户方面的耗费的手动的动作，或者在自动校正的高度图的情况下提供值得改进的结果。

由此还导致：通常为了避免检验装置和样品之间的碰撞而强加全局的安全间距。在这种情况下，检验装置(例如物镜)必须始终遵守安全间距。可自动调节的样品台不应将样品移动得比到物镜的安全间距更近。这部分地导致使用或分辨率和对比度方面的不令人满意的结果。

发明内容

可以视作本发明的一个目的的是：提供一种能够产生质量上尽可能最高的高度图的测量仪器和方法。

该目的通过测量仪器和方法来实现。

根据本发明的测量仪器和根据本发明的方法的有利的变型是从属权利要求的主题，并且还在以下描述中进行阐述。

在上述类型的测量仪器中，根据本发明，计算装置设计用于：

识别概览图中的特定的图像区域；

推导出识别到的图像区域的上下文信息；和

借助上下文信息补充或改变高度测量数据。

在上述类型的方法中，根据本发明，至少设有以下步骤：

识别概览图中的特定的图像区域；

推导出识别到的图像区域的上下文信息；和

借助上下文信息补充或改变高度测量数据。

然后可以形成具有补充或改变的高度测量数据的样品高度图。

因此，利用本发明可以在概览图中识别特定的物体或物体类型本身。从对物体或物体类型的了解中求出与识别到的图像区域的高度相关的上下文信息。随后，借助于从概览图获得的该信息，可以对高度测量图或高度测量数据进行校正或补充，以产生高度测量图。例如，可以将如下阴影或反光的物体部分识别为特定的图像区域，对于所述阴影或反光的物体部分尚未获得高度测量数据或可信的高度测量数据。现在，无法通过将所有相邻的图像部分的高度测量值内插的方式来简单地对于阴影或反光的图像区域补充高度测量数据。更确切地说，上下文信息可以说明例如物体边界，使得在反光的情况下，仅将也属于相同物体的相邻的图像部分的高度测量值用于通过内插补充高度值。相反，不将位于具有反光的物体边界之外的其他相邻的图像部分的高度测量值用于高度测量值的内插。即使识别出阴影，可容易理解的是：上下文信息可以说明：引起阴影的物体在哪里以及在其上投射阴影的表层在哪里。由此，只要进行特定的相邻图像部分的高度测量值的内插，则上下文信息就可以预设：由哪个相邻的图像部分使用高度测量值来填充阴影的图像区域的高度值。为了更容易地理解本发明描述了阴影和反光的识别，并且仅是本发明的可选变型。

例如，获得样品的高度测量数据可以包括从概览装置接收高度测量数据，或者还可以包括从存储器中加载较早记录的高度测量数据。另外，获得高度测量数据可以包括从计算装置接收高度测量数据，所述计算装置从测量到的原始数据中计算高度测量数据。高度测量数据也可以称为高度轮廓测量数据或3D重建数据。

可选地，根据本发明的方法还包括借助概览装置记录高度原始测量数据。以原则上任意的方式，概览装置可以设计用于记录触觉的原始测量数据或光学的原始测量数据，以对样品进行无接触的拓扑检测。

概览装置尤其可以包括一个或多个相机或相机芯片。然后从一个或多个相机的原始测量数据中获取高度测量数据。根据测量原理，可以优选一台或多台相机。唯一的相机尤其在如下图案投影中就是足够的，其中例如将光带或光点图案引导到样品上，这例如根据SLAM方法(SLAM：同时定位和映射)来进行。如果借助多个以不同观察角度对准样品的相机记录图像，则还可以从这些图像之间的差异中获取高度测量值，而无需特殊照明。原则上，概览装置的相机或探测器也可以与检验装置的探测器/相机相同。在这种情况下，概览装置和检验装置的其余部件不同，由此在用作为概览装置时探测器/相机的横向的测量区域大于在用作为检验装置时探测器/相机的横向测量区域。尤其在显微镜的情况下，为此可以使用不同的物镜，其中检验装置使用具有比概览装置更大的成像比例的物镜。

该测量仪器例如可以是坐标测量仪器或显微镜，例如电子或离子显微镜或光学显微镜，其中为了照明考虑红外光直至UV光或还直至X射线的原则上任意的光谱范围。本发明不限于特定的使用领域并且由此样品可以为原则上任意的物体。例如本发明可以使用在测量检查、生产监控或显微样品的检验中，特别是使用在生命科学或芯片检验中。在应当用以求出要检验的工件的形状和/或位置的计量系统的情况下，借助于概览装置以根据本发明的方式确定高度图允许更快速地检测进而允许强烈缩短的运行时间。

为了检测高度原始测量数据，还可以使用光学三角测量线传感器或单色白光传感器或共焦(白光)传感器，其中通过色差纵向像差在不同的高度处产不同光波长的焦点。激光三角测量、干涉测量和高度方向上的焦点变化也是可行的。根据测量原理，对于记录高度原始测量数据和/或概览图无需照明光源。也可以使用立体或多相机系统，其中能够从多个记录的图像的差异中推导出高度测量数据。相机可以从不同角度观察样品和/或通过不同焦距提供不同的高度原始测量数据。上述选项的组合也可以用作概览装置。

该检验装置可以以光学或触觉的方式工作，并且例如通过u左侧测量仪器形成。所述坐标测量仪器可以包括触觉的粗糙度传感器或差动变压器，其中借助线性可变的差动变压器(LVDT)进行路径测量。

概览图可以可选地从高度测量数据或高度原始测量数据中或借助于高度测量数据或借助于高度原始测量数据形成或计算。因此，概览图和高度测量数据可以至少部分地用相同的测量设备记录。替选地，彼此分开的测量设备(其共同称为概览装置)也可以记录高度原始测量数据和概览图。因此，概览图可以借助概览相机记录，除了用于记录高度原始测量数据的相机外存在所述概览相机，或者替选地，该概览相机也可以用于记录高度原始测量数据。在存在多个相机的情况下，记录的图像之一可以用作概览图，而所有图像都用于获取高度测量数据。此外可行的是：概览图从借助概览相机记录的一个或多个原始图像中计算。例如，可以将多个横向错开的原始图像组合成概览图(图像拼接)。

概览图优选相对于高度测量数据在空间上被校准。因此，可以相对于概览装置的记录高度测量数据的在空间上校准概述相机的视场。由此已知：必要时在了解或假定样品距概览相机或距概览装置的其余部件的间距的情况下，在概览图中将像素与哪个高度测量数据拼接。这允许：从识别到的图像区域的定位中推导出在高度图中的所属位置。如果借助于识别到的图像区域的上下文信息获取高度信息，因此已知：通过此应取代或改变哪些图像测量数据。

附加地或替选地，在概览装置和检验装置之间还可以存在校准装置。由此，已知借助于概览装置计算的高度图相对于检验装置的位置。当高度图用于设定样品和检验装置之间的相对位置时，这尤其有利。高度图的高度信息在此用于设定检验装置到样品的间距。然后，可以借助于检验装置在设定的相对位置处检验样品。所提到的高度图在此以根据本发明的方式基于借助于概览图补充或改变的高度测量数据来创建。

对于在概览图中识别的图像区域求出上下文信息，从所述上下文信息中获取高度信息。所述高度信息可以是直接/绝对高度数据，通过所述高度数据可以取代或补充高度测量数据。如果例如在表层上识别到物体(例如特定的电子组件)并且已知电子组件的高度和表层的位置，则高度信息可以直接说明高度。替选地，借助于上下文信息获得的高度信息可以指示相对的高度信息，例如识别到的组件的已知的高度相对于表层的未知高度。作为另一示例，相对高度信息可以指示所识别到的图像区域的物体相对于相邻的图像区域的高度，即尤其所识别到的反光面具有与特定的相邻的图像区域相同的高度。

在概览图中识别的特定的图像区域可以包括关键图像区域，所述关键图像区域是出自以下的一者或多者：阴影、反光、透明区域和/或高吸收性区域。在高吸收性区域的情况下，向回透射少量的测量光，使得光学测量通常不提供这些区域的高度测量数据或提供有错的高度测量数据。可以将如下区域限定为是高吸收的，所述区域的像素亮度在概览图中处于预设的阈值下方。当识别到处于预设的最小值下方的物体时，则会存在要识别的关键的图像区域：在该情况下，没有检测到可靠的高度测量数据使得对于该关键区域从概览图中推导出高度信息并且补充在高度图中的概率高。

在优选的发明变型中，在概览图中识别特定的图像区域可以包括定位该图像区域，例如以找到的物体形状的列表的形式或通过将特定值与每个图像像素关联，其中将不同的值与每个找到的物体相关联。替选地或附加地，定位的图像区域的上下文信息的推导可以包括求出这些图像区域的类型。类型求出例如可以指示：是否存在或存在哪种关键的图像区域，例如阴影、反光或透明物体。所求出的类型也可以称为图像区域的语义(Semantik)。

可以优选的是：借助于上下文信息根据定位的图像区域的类型来进行高度测量数据的补偿或改变。根据类型，可以存储有关如何获取此图像区域的高度信息的不同规则，例如可以分别以不同方式处理阴影、发光和透明区域。特别地，在将图像区域评估为“阴影”类型时，接下来可以(通过图像分析)识别出：与之相邻的哪些图像区域对应于引起阴影的物体，以及哪些相邻的图像区域对应于表层。现在可以从对应于表层(且不对应于引起阴影的物体)的相邻的图像区域中对``阴影”类型的图像区域推导高度信息。替选地或附加地，可以借助于引起阴影的物体的类型的当前的高度信息对于“阴影”类型的图像区域推导出高度信息。因此，可以已知引起阴影的物体的形状，例如当突出的电子组件透射阴影时，从中可以推导出被遮挡的区域的高度，并且已知：与该电子组件关联的部件(例如接触管脚)在组件旁边处于阴影所投射的部位处。在这种情况下，既不通过提供阴影的物体的高度测量数据的取平均值/外插也不通过对表层的高度测量数据取平均值/外插来获取被遮挡的区域的高度信息。更确切地说，从识别到的物体类型中推导出高度信息。

在将图像区域评估为“反光”类型时，会优选的是：对应于哎图像区域的高度测量数据不包括在高度图中。这是基于以下假设：在样品区域反光的情况下，如果有，则仅获取伪造的高度测量数据。如果可能，还从概览图中获取该反光区域或相邻/周围的图像区域的上下文信息，所述上下文信息允许补充高度数据。如已经提到的那样，上下文信息例如可以指示：已经识别出先前已知的物体类型，并且反光面与所识别出的物体的其他部分处于相同高度或者以已知的方式偏差于所识别出的物体的其他部分的高度。

理想地，从概览图中推导出信息，以改善高度测量数据。但是，根据样品，也会发生：尽管识别到特定物体的存在，但是无法从概览图中推导出该物体的高度信息。在这种情况下，会有帮助的是：输出并可选自动进一步使用有关物体存在的信息。可以设置：首先根据上下文信息或所识别的图像区域的类型评估：是否可以从概览图中导出该图像区域的高度信息。在无法推导出高度信息的情况下，可以输出警告信息：即对该图像区域无法推导出高度信息。警告信息可以例如通过在屏幕上显示而输出给用户，或者作为信号转发给计算装置，以便尤其自动地执行进一步的控制，如这随后更详细描述。

例如，图像分析方法可以查找结构化物体的图像(例如，棋盘图案)中的畸变。如果发现这种图像畸变，则可以推断出存在透明透镜或光学活跃元件。可能地可以从畸变中也推导出整个物体表面的曲率半径。

在将图像区域识别为“透明物体”类型并且无法推导出该透明物体的高度信息的情况下，警告信息可以相应地指示：存在物体，但是所述物体的高度未知。以类似的方式，可以在小的未知的物体的情况下输出警告信息，所述物体低于预设阈值的小的大小使对其无法得出高度测量数据成为可能。

基于警告信息，可以启动或影响测量仪器的其他一功能。这例如可以涉及安全间距，检验装置的一部分(例如显微镜物镜)距样品必须遵守所述安全间距。在可移动的样品台的情况下，预设：不应移近样品台位置，经过所述样品台位置会低于安全间距。通过安全间距避免与样品碰撞。例如，在警告信息的情况下，可以增加安全间距(与没有处在警告信息的情况相比)，使得在关于样品高度不确定性更大的情况下也选择更大的安全间距。

在对图像区域无法推导出高度信息的情况下，和/或在将图像区域识别为“透明物体”类型的情况下，优选地，在对应于前述图像区域的样品区域处提高要由检验装置遵守的安全间距。在此，不存在全局的安全间距，而是存在根据样品区域不同选择的安全间距。在前述情况下，安全间距相对于其余的样品区域提高。由此确保：在其高度相对可靠已知的样品区域处，检验装置的一部分(例如物镜)应距样品非常近，而在其高度不那么可靠已知或完全未知的其他样品部分处需遵守更大的安全间距。

还可以通过如下方式来评估高度测量数据：即可能在哪个地点存在由此的数据，使得随后有针对性地对该地点从概览图中推导出高度信息。在该变型中，首先根据在哪里存在问题区域来评估高度测量数据或评估高度测量数据的原始数据，该问题区域尤其是如下区域，在所述区域中识别出高度测量数据不一致、高度值无效或对于反光特征性的外观/信号特征特性。显著，在概览图中以已经描述的方式识别特定的图像区域包括识别如下图像区域，所述图像区域空间上对应于问题区域，尤其是包括借助于图像分析来识别物体类型或语义(Semantik)。在该变型中可以可选地设置：从概览图中仅针对空间上对应于之前求出的问题区域的图像区域推导出高度信息并且用于补充高度测量数据。

可选地，尤其借助训练过的机器学习算法对概览图或概览图部分进行分类。分类例如可以指定具有反光表面的样品类型，例如电路板或具有反光部件的电子装置，例如电容器区域或电触点。因此除了特定的图像区域(例如电容器)的物体类型之外，也求出：其为较大的单元或样品类型。于是，从特定的图像区域的类型求出或分类中推导出：是否能够从其他图像区域(并且从哪些图像区域)中求出针对特定的图像区域的高度信息。如果是这种情况，则推导出高度信息并且由于由高度测量值构成的高度图。

在本发明的变型中设置：针对高度图上的每个点计算品质级别，以便识别误差源，例如噪声，反射，污染，错误校准等。品质级别表达：从识别出的物体的上下文信息中推导出的高度信息和为此而记录的高度测量值之间的一致程度。

可选地，高度测量数据的合理性检验可以如下执行：从概览图中估算特定的或所有的图像区域的高度信息。高度信息在此可以指示绝对高度值、相对于其他样品区域的相对高度值、各个样品区域的允许高度值范围或所有高度测量值的全局的允许的高度值范围。于是借助概览图中的高度信息对高度测量数据进行合理性检验。如果个别高度测量数据与高度信息或借此获得的高度值强烈偏差(例如，偏差超出了预设的阈值)，则可以输出信号：即该高度测量数据不合理。信息可以显示给用户，可以将图形的校正工具显示给用户，以手动地校正高度测量值(其中标记分级为不可信的值)或者可以进行自动地校正，尤其借助于从概览图中获取的高度信息来校正。

概览图也可以由多个部分图像组成，或者通过多个分开存在的部分图像形成。对于本发明的工作凡是不强制性必需：将多个部分图像拼接成一图像；更确切地说，所述部分图像也可以分别单独地以所描述的方式分析。

所公开的关于概览图的步骤、特别是识别特定的图像区域和推导上下文信息可以借助于图像处理算法来进行。计算装置可以包括相应的图像处理算法或设计用于执行图像处理算法。该计算装置可以通过位于概览装置旁边的计算机来构成，或者替选地至少部分地通过远程服务器或计算机来构成。所描述的方法步骤也可以通过存储在计算装置或与其连接的存储器中的软件来执行。该软件可以包括机器学习算法，特别是用于图像分析的深度学习方法(卷积神经网络)。也可以分别将自身的机器学习算法也用于分类、分区段和物体检测。所述机器学习算法可以通过受监控或无监控的学习方法来训练。在受监控的学习方法中，对训练数据集进行注释，例如，样品类型已分类或关键表面已标记。关键区域可以分段成训练数据并且与类型关联，例如发光、透明或强烈吸收。因此，可以在机器学习算法的训练过程中学习应在图像中识别哪些图像区域或关键区域的预设。还可以借助相应训练数据学习算法，以检测概览图中的或计算出的高度图中的反射。在无监控学习的情况下，可以借助训练数据(测量数据或模拟数据)学习算法，所述训练数据显示有利反射的样品区域。随后，反光或透明的区域(所述区域未包含在训练数据中)提供非典型的结果，学习过算法可以从中推导出存在关键区域。

应当将图像区域的描述、例如所识别的图像区域的类型求出理解为：这至少适于图像区域中的至少一些(并且可选地适于所有图像区域)。如果求出所识别的图像区域的类型，则这因此可以表示：求出图像区域中的至少一个图像区域的类型，而也会存在其他的图像区域，其中不进行类型求出或类型求出不可行。

在符合规定使用的情况下，描述为测量仪器的附加特征的特性也得到根据本发明的方法的多种变形。以相反的方式，测量仪器、特别是其计算装置也可以设计用于执行所描述的方法变型。

附图说明

下面参照示意性的附图描述本发明的其他优点和特征：

图1示出本发明的测量仪器的一个实施例的示意图；

图2示出本发明的测量仪器的另一实施例的示意图；

图3A示出样品的概览图；

图3B示出样品的高度图；

图3C示出图3A中的概览图的图像处理结果；

图3D示出在改变或补充高度值之后图3B中的高度图；

图4A示出样品的概览图；

图4B示出样品的高度图；

图4C示出图4A中的概览图的图像处理结果；和

图5示出用于阐述根据本发明的方法的流程图。

具体实施方式

在附图中，相同且起相同作用的组成部分通常设有相同的附图标记。

测量仪器的实施例

图1示出根据本发明的测量仪器100的一个实施例，所述测量仪器在此被设计为显微镜并且包括概览装置30。

应借助概览装置30进行样品10的高度测量，以便确定样品10的高度图。高度图应理解为：针对10的不同的、横向彼此错开的表面区域分别检测高度值。相应的数据集称为高度图，其中高度图的图形显示是可选的。

测量仪器100具有检验装置20，所述检验装置包括物镜21和相机22，并且还可以包括其他光学部件。物镜21设置成，使得其将来自样品10的光(检测光)引导至相机22。

概览装置30包括至少一个相机31、32。相机31、32中的至少一个用于记录样品10的概览图，并且相应地可以被称为概览相机。两个相机31、32的可见范围以虚线示出。

为了照明样品10，测量仪器100包括光源1。照明光尤其可以是可见光、IR光、UV光或其他光谱范围的其他电磁辐射。在所示的示例中，检测光由于照明光而从样品10发出，所述检测光部分地由概览装置30登记。检测光尤其可以是或包括散射或反射的照明光、在样品10处散射或反射的环境光和/或原则上也可以是或包括荧光。

在所示的示例中，两个相机31、32从不同的观察方向记录样品10的图像。通过合计两个相机31、32的图像，可以以原理上已知的方式获取高度信息(高度测量数据)。因此可以将所记录的图像或从中推导出的信息视为高度测量数据，这将在下面更详细地描述。

样品10在此由可移动的样品台5保持。此外，测量仪器100包括脚架40，测量仪器100的部件通过所述脚架被保持。

测量仪器100的计算装置50用于处理相机31、32的测量数据，并且可选地还用于控制测量仪器100的部件、特别是光源1、相机22、相机31、32和样品台5。

借助于经由概览装置30获得的样品10的高度图，可以设定样品10和检验装置20之间的相对位置。特别地，可以基于高度图来设定样品台5的高度，使得存在距物镜21的对于检验期望的间距并且还避免物镜21和样品10之间的碰撞。

样品10在此仅以示例的方式包括研磨样品，其中将圆柱形物体嵌入树脂中并从树脂突出。通常，可以测量具有未知高度变化的任何样品10。样品10具有表层11和在高度方向上从表层11突出的物体12。突出的物体12将阴影13透射到表层11的一部分上，因此物体12也称作为引起阴影的物体12。因此，为了清楚起见，阴影13能够称作为样品10的一部分，由于样品的高度变化少量的照明光到达所述部分。样品10也可以包括反光区域，尤其通过打磨或抛光样品表面产生的反光区域。就此而言，可以将样品10的在拍摄概览图或高度测量数据时将照明光反射至相机的部段立即为反光区域。根据测量情况，例如照明角度或样品台位置，因此样品的不同的部段就该意义而言可以为反光区域。

测量仪器的其他实施例

图2示出本发明的测量仪器100的另一实施例。在此将触觉的测量头23用作为检验装置20。

概览装置30仅包括唯一的相机31。通过光源1进行照明仅用于借助概览装置30记录图像。如果例如使用图案照明或带状照明，则唯一的相机31就足以记录高度原始测量数据。同时，同一相机31也可以记录样品10的概览图。概览图和高度原始测量数据可以依次激励(由此，光源1可以选择性地产生不同的照明，例如具有有和不具有图案)。但是，替选地，也可以将相机31的相同的或部分相同的原始数据用于成像概览图和高度测量数据。例如，具有不同带状照明的多个图像可以拼接成概览图。替选地，也可以记录具有不同焦距的多个图像。在哪个图像中样品区域显得锐利于是取决于样品10的高度变化，使得以该方式可以获取高度测量数据。图像之一还可以用作为概览图或者替选地可以将多个图像相加或者以不同方式合计，以便形成概览图。

替选于样品10的照明，环境光也可以满足要求，使得也可以取消用于借助概览装置30记录图像的光源1。

是否使用样品台5可以取决于样品的类型。例如，如果样品是生产线中的产品，则可以省略样品台。

在图1的另外的变化形式中，也可以使用相机22的测量数据，以便形成概览图和/或高度测量数据或高度原始测量数据。在这种情况下，如果物镜21未处于光路中，或者如果另一物镜位于光路中，其中所述另一物镜的成像比例小于物镜21的成像比例，则相机22可以是概览专装置30的一部分。在该设计方案中，可以省略相机31和/或32，或者除相机22之外，相机31和/或相机32可以是概览装置30的一部分。高度测量数据和概览图可以又被同时或依次记录。为了在借助相同的相机22记录高度测量数据和概览图之间进行切换，例如可以转换显微镜模式(例如在广角图像记录和色凸图像记录之间)和/或可以在具有不同成像比例的物镜之间进行切换。在所示的示例的另外的变形型式中，相机22、31和32中的一个或多个可以通过光检测器或带状检测器代替。点或条状形检测器可适合于记录高度原始测量数据和/或也可用于概览图，尤其当通过扫描依次扫描不同的样品点时。

根据测量原理，也可以将光源1的照明光经由物镜21或其他所使用的物镜引导到样品10上。

在图1和2中示出的实施例以及为此描述的变型也可以混合；例如，触觉的测量头23可以通过物镜21与后续的相机22取代，或者反之亦然。

示例性图像处理和高度图的形成

图3A示出借助概览装置30从样品10记录的概览图10A。概览图10A包含样品的表层11的图像区域11A、引起阴影的物体12的图像区域12A、显示通过引起阴影的物体12引起的阴影13的图像区域13A以及为通过样品的反射区域形成的反光部的图像区域14A。样品代表。这种概览图10A的根据本发明的图像处理将在后面更详细地描述。

首先，参考图3B描述高度图10B，所述高度图通过概览装置30的高度测量数据产生。根据测量原理，概览装置30或者可以直接记录高度测量数据，或者可以首先记录从中获取高度测量数据的原始数据。在图3B中，斜线阴影表示高度值或特定高度的区域。因此，对应于样品10的表层11的斜线阴影区域11B被检测为是平坦的并且具有共同的高度值。没有斜线阴影的区域12B对应于不同的高度值，并为突出的引起阴影的物体12。黑色区域15标识不存在高度测量数据或不存在可用的高度测量数据的区域。所述区域15对应于样品10上的阴影13以及样品的反射部段。在阴影的情况下，尤其当高度测量基于图案照明的原理时，于是则在图案(立体条纹)射到样品表面上的位置处，无法获取(可用的)高度测量数据。高度测量数据可以从图案(例如条纹)的位置和/或畸变中获取。但是，无法将图案射到阴影的区域中，使得在此没有获取高度测量数据。在图案照明的示例中，通过样品的反射部段也没有接收到检测光，所述检测光允许可靠地求出高度测量数据。在图3B的示例中，竖直的黑色的条纹被叠加，其中由于测量原理而没有存在高度值。在条状照明的情况下，这例如可以由未照明的样品部段引起。

现在，图1或图2中的计算装置50执行图像分析步骤，以便从图3A的概览图中获取信息，借助所述信息可以改善图3B中的高度图。

这些图像分析步骤的结果在图3C中示出。对于该图像分析结果10C，在图3A中的概览图10A中识别出特定的区域。为此，图像分析算法可以识别和定位概览图10A中的特定的形状或学习的物体。在该示例中，图像区域13A被识别为阴影13C。这应当理解为：一方面识别出该图像区域的边界，并且另一方面将语义与该图像区域相关联，即指出其为何种类型的图像区域。此外，图像区域14A被识别为反光的/镜面的区域。

图像分析算法还可以对概览图10A执行分类，以便对其是哪种类型的样品进行分类。在此可以学习普通的样品类型，例如研磨样品，其中典型地圆柱形的或至少规则成形的物体从平坦的表层突出。对于这种类型的分类也可以使用出自概览图中的其他图像信息，例如样品上的铭文(未示出)。分类也可以在不没有图像分析的情况下进行，或者可以由用户预设。通过分类可以知道：存在研磨样品或从表层11突出的物体12。特别地，借助该分类，图像区域11A可以被识别为平坦的表层11C并且图像区域12A可以被识别为突出的物体12的区域12C。可以知道或通过图像分析可以从概览图10A中托导出：突出的物体12的表面是平坦的，即，反光区域14C形成该表面的一部分并且具有与物体12的表面相同的高度。因此，获得所识别的图像区域13A，14A的上下文信息，所述上下文信息允许得出高度信息的结论。

在阴影的情况下，上下文信息可以包括例如以下信息中的一个或多个：将图像区域13C分级为阴影；将邻接于图像区域13C的区域12C识别为引起阴影的物体；分级，即阴影的图像区域13C得到比阴影引起的物体的高度值更小的高度值；将邻接于图像区域13C的不为引起阴影的物体的图像区域11C识别为表层，从所述表层中可以推导出图像区域13C的高度值。从该上下文信息例如可以作为阴影的图像区域13C的高度信息而推导出：该图像区域13C的高度值应当等于表层的高度测量值或者通过从表层的高度测量值中通过内插/外插求出图像区域13C的高度值。

在反射部段14C的情况下，上下文信息可以说明：其为物体12C的表面的一部分，并且反射部段14C的高度值应从物体12的高度测量值中推导出(例如，通过对这些高度测量值求平均值或将其等于物体12的高度测量值)。

借助于该上下文信息，从图3B的高度图中形成改变的、图3D中示出的高度图10D。填充在阴影区域中缺失的高度测量值，由此形成统一高度的高度区域11D。此外，补充或改变反射区域的高度值，使得引起阴影的物体的上侧形成高度图10D中的共同的高度区域12D。

还可以通过上下文信息如图3B中的竖直条那样的其他的图像伪影。例如，对于图像区域11C为平面的表层的知识允许通过高度测量值填充竖直条纹，所述高度测量值针对相同的图像区域11C记录。因此，输出的高度图10D相对于仅由高度测量值构成的高度图10B更精确。

其他示例性的图像处理和高度图的形成

参考图4A-4C描述另一示例。图4A示出为电路卡的样品的概览图16A。电路卡包括各种电路卡部件，例如插头端子、电容器、印制导线和集成电路。在概览图16A中，电容器18A的图像区域和插头端子17A的图像区域示例性地设有附图标记。

图4B示出由记录的高度测量数据形成的高度图。竖线条带又说明入其中缺失高度测量数据的区域。另外，突出的电容器投射阴影，在所述阴影中无法求出高度测量数据。此外，在各种金属表面处的反射同样导致缺失高度测量值。

现在，在图4A的概览图16A中识别出特定的图像区域，并且在图4C中示意性地示出计算出的图像处理结果16C。在此将多个识别出的电容器18C的图像区域框起来。另外，识别出多个插头端子并且标记相应的图像区域17C。电容器18C的图像区域的上下文信息可以与在引起阴影的物体的之前的示例中类似地使用。另外，可以利用以下知识：多个识别出的电容器具有相同的形状。由此，在电容器之一处通过在另一电容器处的存在的高度测量值来补充缺失的或有错的高度测量值。根据照明，例如，可以在第一电容器中对左侧邻接的区域遮阴影，而在第二电容器中对左侧邻接的区域不遮阴影。该补充的高度测量值可以显著地不同与相邻的高度测量值的简单的内插/求平均值：例如，根据电路板设计能够发生：特定的端子或导线在电容器旁边伸展，所述端子或导线的高度轮廓在第二电容器中不被遮阴影进而可以被测量——现在可以在第一电容器旁边补充端子或导线的高度测量值。

在插头端子17C的情况下，例如，可以将从插头端子的由例如多个相同形状的基础面构成的周期性结构的知识用作为上下文信息。如果这些接触面之一处发生反光，由于所述反光而不存在可用的高度测量值，则可以补充其他接触面的高度测量值。以这种方式，可以再次改变和校正图4B中的高度图16B。更普遍地说，可以在概览图中识别相同类型的物体，并且物体之一的高度测量值然后可以在相同类型的物体中的另一个中来补充。

示例性的方法流程

下面参考图5的流程图阐述本发明的示例性方法的步骤。这些步骤可以通过前述实施例的计算装置50执行或发起。

在步骤S1中，执行在样品处进行测量，在所述测量中记录高度原始测量数据。根据高度原始测量数据，计算出高度测量数据，所述高度测量数据分别针对样品表面的不同的横向区域指定高度值。根据测量原理，从奥都原始测量数据中也计算概览图，或者通过自身的概览测量记录概览图。

在步骤S2中，从S1中获得高度测量数据和概览图。根据本发明的方法变型也可以使用先前记录的测量数据，由此步骤S1不必一定属于本发明的方法，而是为可选的扩展。

随S2之后，在步骤S3中，是对概览图进行图像分析，以便识别特定的图像区域。将“特定的图像区域”可以理解为预设类型的图像区域，例如阴影、反光和/或特定的物体，例如生物细胞或细胞组分、岩石样品、电子组件、制造部件或样品容器部件、例如盖玻片或微量滴定板部段。

在步骤S4中针对识别出的图像区域中推导出上下文信息，例如关于相应的图像区域的类型和/或如一个图像区域的样品部段的高度和另一图像区域的样品部段的高度的上下文信息。

借助于该上下文信息，在步骤S5中补充或改变高度测量数据。这些补充或改变的高度测量数据最终在步骤S6中作为高度图输出。这可以包括为用户的图形显示和/或作为图像文件或3D模型输出，由此也可以用于进一步的自动化分析或控制步骤。

借助于来自S6的高度图，可以在步骤S10中控制测量仪器的部件。例如，可以基于高度图来设定样品和检验装置或概览装置的一部分之间的间距。

在可选的设计中，并行于步骤S5、在步骤S5之前或之后对方法扩展附加的方法步骤S7。在步骤S7中，基于上下文信息或其他从概览图中推导出的信息进行高度测量数据的合理性检验。例如，可以从概览图中推导出高度值的上限和下限。如果高度值位于这些极限之外，则其可以尤其被删除、移动到极限上或为了进一步通过用户处理而被标记。

可选地，还可以补充步骤S8。在该步骤中检验：是否尽管在概览图中确定了物体的存在，但是无法推导出上下文信息，所述上下文信息可以用于补充或改变高度测量数据。这例如在一些透明物体中会是这种情况，尤其在透镜中会是这种情况。因此，在概览图中识别出：样品包括透明物体，并且还求出透明物体的位置，但是不能从概览图中推导出透明物体的高度信息。在另一示例中，物体位于最小尺寸之下，需要所述最小尺寸以便可以(可靠地)针对该物体求出高度测量数据。在该示例中，确定这种小物体的存在，其中所述物体的高度保持未知。

在S6的高度图中可以标记在步骤S8中识别的未知高度的物体，例如用于通过用户获悉或继续处理。替选地或附加地，也可以根据在S8中是否可以推导出高度信息来进行步骤S10的测量仪器控制。因此，步骤S10可以可选地包括设定局部或全局的安全间距。从测量仪器部件、尤其物镜或者检验装置30的其他部件到样品不应低于该安全间距，以便将碰撞风险保持得低。在此，局部的安全间距说明：与可以记录高度测量值并且可选地可以通过概览图验证的其余的样品部段相比，在识别到的未知高度的物体的区域中需遵守其他的(更大的)安全间距。

可选地，步骤S9可以随步骤S8之后，在所述步骤S9中改变影响检验装置的设定。随后，在步骤S1中，以改变的设定重新记录高度测量数据。改变后的设定取决于：是否无法获取高度信息或者对哪些图像区域或识别到的物体无法获取高度信息。例如，相应的样品区域可以再次以改变的照明设定(强度、光谱范围、偏振、照明模式等)、改变的检测设定(尤其是改变的测量持续时间、改变的高度测量范围、彩色滤光片或选择)或改变的样品定位(样品台位置)来检验。

可选地，以改变的测量仪器设定再次检验(S9和S1)也可以随步骤S7之后。在此，再次检验如下样品区域，可信性检验对于所述样品区域提供负面结果。

通过本发明变型实现：可以尤其精确且可靠地创建样品的高度图，例如基于该高度图的测量仪器部件运动例如可以从中获益。

附图标记列表

1 光源

5 样品台

10 样品

10A 概览图

10B 高度图，所述高度图仅从概览装置的高度测量数据中求出

10C 来自具有识别出的图像区域的概览图10A的图像分析结果

10D 高度图，所述高度图借助于概览图10A从高度图10B中计算

11表层

11A 表层的图像区域

11B 高度图10B中的高度范围

11C 表层的从概览图10A中识别的图像区域

11D 高度图10D中的高度范围

12引起阴影的物体

12A 引起阴影的物体的图像区域

12B 高度图10B中的高度范围

12C 引起阴影的物体的从概览图10A中识别的图像区域

12D 高度图10D中的高度范围

13阴影

13A 阴影的图像区域

13C 阴影的从概览图10A中识别出的图像区域

14A 反光的物体区域的图像区域

14C 反光的物体区域的从概览图10A中识别出的图像区域

15在高度图10B中不包含高度值的区域

16A 概览图

16B 高度图，所述高度图仅从概览装置的高度测量数据中求出

16C 来自具有识别到的图像区域的概览图16A中的图像分析结果

17A 插头端子的图像区域

17C 插头端子的从概览图16A中识别的图像区域

18A 电容器的图像区域

18C 电容器的从概览图16A中识别出的图像区域

20 检验装置

21 检验装置20的镜头

22 检验装置20的相机

23 检验装置20的触觉测量头

30 概览装置

31 概览装置30的(概览)相机

32 概览装置30的(概览)相机

40 脚架

50 计算装置

100 测量仪器，特别是显微镜

S1-S10 方法的步骤

Claims (15)

1.一种用于检验样品(10)的测量仪器，其具有

概览装置(30)，所述概览装置设计用于记录所述样品(10)的高度原始测量数据并产生所述样品(10)的概览图(10A)；

用于检验所述样品(10)的检验装置(20)；和

计算装置(50)，其用于从所述高度原始测量数据中计算高度测量数据；

其特征在于，

所述计算装置(50)包括一机器学习算法，设计用于识别所述概览图(10A)中的特定的图像区域(11A，12A，13A，14A)作为关键区域，并确定关键区域的类型；

其中计算装置(50)进一步配置为从关键区域的确定类型的认知，导出与已识别的图像区域(11A，12A，13A，14A)的高度相关的上下文信息；和

借助从概览图(10A)中求出的所述上下文信息改变所述高度测量数据。

2.一种用于确定样品(10)的高度图(10D)的方法，其包括：

获得所述样品(10)的高度测量数据，并且

获得所述样品(10)的概览图(10A)；

其特征在于，设有

通过机器学习算法的手段，识别所述概览图(10A)中的特定的图像区域(11A，12A，13A，14A)作为关键区域，并确定关键区域的类型；

从关键区域的确定类型的认知，导出与已识别的图像区域(11A，12A，13A，14A)的高度相关的上下文信息；和

借助所述上下文信息改变所述高度测量数据。

3.根据权利要求2所述的方法，

其特征在于，设有

借助概览装置(30)记录所述高度测量数据或从中获取所述高度测量数据的高度原始测量数据；和

借助所述概览装置(30)的相机(31，32)记录所述概览图。

4.根据权利要求2所述的方法，

其特征在于，设有

由所述高度测量数据或由从中也获取所述高度测量数据的高度原始测量数据形成所述概览图(10A)。

5.根据权利要求2所述的方法，

其特征在于，设有

所述关键图像区域是如下中的一者或多者：阴影、反光或透明区域。

6.根据权利要求2所述的方法，

其特征在于，设有

识别所述概览图(10A)中的特定的图像区域(11A，12A，13A，14A)包括定位这些图像区域(11A，12A，13A，14A)，并且

导出定位过的图像区域(11A，12A，13A，14A)的上下文信息包括求出这些图像区域(11A，12A，13A，14A)的类型。

7.根据权利要求6所述的方法，

其特征在于，

根据定位过的图像区域(11A，12A，13A，14A)来借助于所述上下文信息改变所述高度测量数据。

8.根据权利要求7所述的方法，

其特征在于，设有

在将图像区域(13A)评估为“阴影”类型时：识别：哪些相邻的图像区域(12A)对应于阴影所引起的物体(12)，和哪些相邻的图像区域(11A)对应于表层(11)，以及

从对应于所述表层(11)的所述相邻的图像区域(11A)中推导出所述“阴影”类型的所述图像区域(13A)的高度信息，和/或基于所述引起阴影的所述物体(12)的类型的当前的高度信息推导出所述“阴影”类型的所述图像区域(13A)的高度信息。

9.根据权利要求7所述的方法，

其特征在于，

在将图像区域(14A)评估为“反光”类型时，不将对应于该图像区域(14A)所述的高度测量数据包括在所述高度图(10D)中，

其中，上下文信息指定了物体边界，并且其中只有与镜像图像区域相邻，并且与镜像图像区域属于同一物体的图像部分的高度测量值，被用于补充镜像图像区域的高度值；

而其他相邻的图像部分，位于与镜像图像区域的物体边界之外，不用于补充镜像图像区域的高度值。

10.根据权利要求6所述的方法，

其特征在于，设有

根据识别到的图像区域(11A，12A，13A，14A)的上下文信息评估：是否能够从所述概览图(10A)中推导出该图像区域(11A，12A，13A，14A)的高度信息；

在根据该评估无法推导出高度信息的情况下，输出警告信息，即对该图像区域无法推导出高度信息。

11.根据权利要求10所述的方法，

其特征在于，

在将图像区域识别为“透明物体”类型并且无法推导出该透明物体的高度信息，则输出警告信息，即存在物体但其高度未知。

12.根据权利要求10所述的方法，

其特征在于，

在无法推导出图像区域(11A，12A，13A，14A)的高度信息的情况下，和/或在图像区域被识别为“透明物体”类型的情况下，在对应于前述的图像区域(11A，12A，13A，14A)的样品区域处提高一检验装置(20)必须遵守的安全间距。

13.根据权利要求2所述的方法，

其特征在于，设有

根据问题区域存在于哪里来评估所述高度测量数据或所述高度原始测量数据，其中问题区域为其中识别出高度测量数据不一致、高度值无效或对于反光特征性的外观的区域，

其中，识别所述概览图(10A)中的特定的图像区域包括识别所述概览图(10A)中空间上对应于所述问题区域的图像区域(11A，12A，13A，14A)。

14.根据权利要求2所述的方法，

其特征在于，设有

从所述概览图(10A)中估算高度信息；和

借助于出自所述概览图(10A)中的所述高度信息对所述高度测量数据进行合理性检验。

15.根据权利要求2所述的方法，

其特征在于，设有

基于借助于上下文信息所改变的海拔测量数据创建高度图；和

在考虑所述高度图的情况下，设定所述样品(10)和检验装置(20)之间的相对位置；和

借助于所述检验装置(20)在所设定的所述相对位置处检验所述样品(10)。