CN110291438A - 用以在显微镜术中促进大区域成像的相机与试样对准 - Google Patents

Abstract

一种显微镜系统及方法，其允许沿着试样扫描的期望x’方向从XY平移台的x方向成角度地偏移，并旋转与显微镜关联的图像传感器以将图像传感器的像素行基本上平行于期望x’方向布置。确定x’方向相对于x方向的偏移角度并利用XY平移台来使试样相对于图像传感器沿着期望x’方向移动至不同位置，而在y’方向上图像传感器相对于试样基本上没有移位，所述y’方向与试样的x’方向正交。所述移动基于偏移角度。

Description

用以在显微镜术中促进大区域成像的相机与试样对准

相关申请的交叉引用

本申请要求2017年2月10日提交的美国临时专利申请第62/457,470号的权益。

技术领域

本发明总体涉及显微镜成像技术。尤其，本发明涉及用于将相机/图像传感器与试样对准以沿着期望方向精确地扫描试样的设备及方法。

背景技术

在显微镜术中，试样中待成像的感兴趣区域常常比可以通过利用显微镜获取单一图像而显示的更大。因此，采用扫描技术对整个期望区域进行成像。在自动扫描中，在显微镜的物镜下通过XY平移台来移动试样，使得显微镜可以扫描期望区域，其中，收集多个图像然后聚合或缝合来形成单一个较大的图像。可使用标准软件技术或通过确保利用非常精确的平台移动反馈而在特定的位置拍摄这些图像，使得当拍摄第一图像时，平台恰好移动等于第一图像的宽度的距离(且无高度方向的移动)并拍摄第二图像然后在公共边界将他们接合来完成此缝合。若足够精确，第一图像的左边缘与第二图像的右边缘将完全相配及互补。

将相机像素相对于试样对准至特定取向并接着在特定期望方向中并以维持期望取向的方式扫描试样往往是有利的。例如，硅晶圆上的部件(例如，微电子装置或诸如通过光刻而得的图案化膜)时常沿行(x方向)或列(y方向)取向，而将相机像素行与部件行平行对准或将相机像素列与部件列平行对准并接着准确地沿着期望行或列扫描同时保持两者间的平行关系是有帮助的。

在当前技术中，经常通过可见观察将相机像素取向手动对准平台的XY行程，有鉴于通常牵涉到的大小比例，这种方式无法为众多成像需求提供适当的准确度水平。准确将像素行与平台的x方向对准以及将像素列与平台的y方向对准的机率很低。在这个很可能不准确的对准后，相对于平台旋转试样以试图将图像传感器的像素行与用于扫描试样的期望x’方向对准和/或将像素列与用于扫描试样的期望y’方向对准。也就是说，相对于XY平移台旋转试样以将试样的期望x’扫描方向定位成与平台的x方向移动平行和/或将试样的期望y’扫描方向定位成与平台的y方向移动平行(即，x’方向与x方向旨在相同且y’方向与y方向旨在相同)。先前已经视觉上对准XY平台的x方向与相机的像素行(按照公理，平台的y方向与像素列也对准)，在期望x方向或期望y方向中平台的移动维持期望对准但仅在图像传感器像素与平台的XY行程的手动对准极为准确及精确的情形下。

回到图案化的硅晶圆范例，期望x方向可能是微电路的行，而此行与XY平移台的x方向移动平行，且因此与相机的像素行平行。故可通过在x方向上移动XY平移台而简单地扫描微电路的行，同时保持像素行与微电路行之间的平行关系，且不在y’方向中移位图像传感器，以促进准确记录与缝合。

因此，准确的结果取决于相机像素、平台的XY行程、及试样的期望x’和/或y’扫描方向的高准确对准。有鉴于加工中的正常容限及单单以视觉观察对准本质上的误差，高准确对准很困难。即便只稍不对准，当通过平移台移动试样时，图像传感器会在x’方向和/或y’方向上移至无法被接受的程度，故难以轻易分析图像和/或将其缝合在一起。另外，常希望以最少试样处理量分析试样。因此，本领域中需要一种用于对准及扫描的新方法，其不依赖试样移动并确保图像传感器与试样之间的准确对准。

发明内容

在第一实施例中，本发明提供一种沿着试样的期望x’方向对所述试样进行成像的显微镜方法。所述试样被置于XY平移台上并通过所述XY平移台可移动，以使所述试样的一部分置于图像传感器的视野内。所述XY平移台在x方向及y方向上可移动以相对于所述图像传感器移动所述试样，所述图像传感器具有布置成限定像素行及像素列的多个像素，所述试样的所述期望x’方向从所述XY平移台的所述x方向成角度地偏移，以限定相对于其的斜度和偏移角度，所述图像传感器一次仅观看所述试样的一个离散区段。所述方法包括下列步骤：旋转所述图像传感器，使得所述像素行与所述试样的所述期望x’方向基本上平行；确定所述期望x’方向相较于所述XY平移台的所述x方向的所述偏移角度；相对于在所述旋转步骤中经旋转的所述图像传感器建立所述试样的第一位置，所述第一位置将所述试样的至少一部分置于所述图像传感器的所述视野内；以及在所述确定步骤及所述建立步骤后，利用所述XY平移台沿着所述期望x’方向将所述试样移动至第二位置，其中所述第二位置将所述试样的至少第二部分置于所述图像传感器的所述视野内，且所述第二位置在所述试样的y’方向上基本上不移位，所述y’方向与所述试样的所述x’方向正交，其中所述移动步骤基于在所述确定步骤中所确定的所述偏移角度。

在第二实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述确定偏移角度的步骤包括：测量沿着所述期望x’方向对准并因此限定所述期望x’方向的第一焦点特征与第二焦点特征之间的x距离和y距离，所述x距离和所述y距离是相对于所述平移台的所述x方向及y方向测量的。

在第三实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述测量所述x距离和所述y距离的步骤包括：设置所述第一焦点特征以与所述图像传感器的一个或多个目标像素重叠；以及之后移动所述试样，以设置所述第二焦点特征以与相同的所述一个或多个目标像素重叠，所述测量所述x距离和所述y距离的步骤为实现所述移动所述试样以设置所述第二焦点特征以与相同的所述一个或多个目标像素重叠的步骤所需的所述平移台的x及y移动量(ΔX,ΔY)。

在第四实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述目标像素涵盖所述图像传感器的中心。

在第五实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述旋转所述图像传感器的步骤包括：识别所述试样上的沿着所述x’方向延伸的轴限定特征，并使用计算机视觉来将所述像素行基本上平行于所述试样的可检测方向对准。

在第六实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中在所述测量所述x距离和y距离的步骤之前执行所述旋转所述图像传感器的步骤。

在第七实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述旋转所述图像传感器的步骤包括获取适于计算所述第一焦点特征与所述第二焦点特征之间的参考线的图像拼接并使用计算机视觉将所述图像传感器的所述像素行与所述参考线对准。

在第八实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中在进行所述测量所述x距离和y距离的步骤的同时进行所述获取图像拼接的步骤。

在第九实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中，在所述旋转所述图像传感器的步骤之前，所述方法包括将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤。

在第十实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述旋转所述图像传感器的步骤包括：识别所述试样上的轴限定特征，所述轴限定特征具有沿着所述期望x’方向延伸的可检测形状；以及使用计算机视觉来将所述像素行基本上平行于所述可检测形状对准；以及所述确定所述偏移角度的步骤包括：测量所述图像传感器从所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后的所述图像传感器的位置到所述旋转所述图像传感器的步骤后的所述图像传感器的位置的旋转度数。

在第十一实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述XY平移台提供试样夹头来保持所述试样，其中所述试样夹头或置于所述试样夹头上的试样包括参考标记，且所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤包括：将所述参考标记放置于所述图像传感器的所述视野内的第一位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第一像素行号；仅沿着所述XY平移台的所述x方向移动所述试样夹头，以将所述参考标记放置于所述图像传感器的所述视野内的第二位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第二像素行号；以及在所述放置及移动步骤后，旋转所述图像传感器以将所述参考标记置于具有第三像素行号的第三位置，所述第三像素行号介于所述第一像素行号与所述第二像素行号之间。

在第十二实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中，在所述旋转所述图像传感器以将所述参考标记置于第三位置的步骤后，重复(i)将所述参考标记置于第一位置、(ii)仅沿着所述x方向移动所述试样夹头、以及(iii)旋转所述图像传感器以将所述标记置于第三位置的所述步骤直到所述像素行与所述XY平移台的所述x方向基本上平行。

在第十三实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中在所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后，进行所述确定步骤。

在第十四实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述旋转所述图像传感器的步骤包括：识别所述试样上的轴限定特征，所述轴限定特征具有沿着所述期望x’方向中延伸的可检测形状；以及使用计算机视觉来将所述像素行基本上平行于所述可检测形状对准；以及所述确定所述偏移角度的步骤包括：测量所述图像传感器从所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后的所述图像传感器的位置到所述旋转所述图像传感器的步骤后的所述图像传感器的位置的旋转度数。

在第十五实施例中，本发明提供如上述实施例中任一者所述的显微镜方法，其中所述测量所述图像传感器的所述旋转度数的步骤包括获得从旋转所述图像传感器的仪器输出的信号。

在第十六实施例中，本发明提供一种显微镜系统，包括：包括：显微镜；图像传感器，其记录图像数据，所述图像传感器包括像素行及像素列；XY平移台；试样，其位于所述XY平移台上并由所述图像传感器观看，其中所述XY平移台在x方向及y方向中可移动以相对于所述图像传感器移动所述试样，所述图像传感器具有布置成限定像素行及像素列的多个像素，其中所述试样呈现沿着x’方向的特征，所述x’方向从所述XY平移台的所述x方向成角度地偏移，以限定相对于其的偏移角度，所述试样还包括第一焦点特征及第二焦点特征，处理器，其用以：相对于所述试样旋转所述图像传感器，使得所述像素行与所述试样的所述x’方向平行；移动所述XY平移台；确定所述x’方向相较于所述XY平移台的所述x方向的偏移角度；以及通过下列步骤在所述期望x’方向上扫描所述试样：当所述像素行与所述x’方向平行时，建立相对于所述图像传感器的所述试样的第一位置，所述第一位置将所述试样的至少一部分置于所述图像传感器的视野内；以及利用所述XY平移台沿着所述期望x’方向将所述试样移动至第二位置，其中所述第二位置将所述试样的至少第二部分置于所述图像传感器的所述视野内，且所述第二位置在所述试样的y’方向上基本上不移位，所述y’方向与所述试样的所述x’方向正交，其中所述移动基于由所述处理器所确定的所述偏移角度。

在第十七实施例中，本发明提供一种将图像传感器的像素行与XY平移台的x方向对准的方法，其中所述XY平移台提供试样夹头来保持所述试样，由所述XY平移台在x方向及y方向上移动所述试样夹头，所述方法包括下列步骤：在所述试样夹头或置于所述试样夹头上的试样上设置参考标记；将所述参考标记放置于所述图像传感器的所述视野内的第一位置并获取图像数据，以确定所述参考标记相对于所述图像传感器的所述像素行的位置的第一像素行号；仅沿着所述XY平移台的所述x方向移动所述试样夹头，以将所述参考标记放置于所述图像传感器的所述视野内的第二位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第二像素行号；以及在所述放置及移动步骤后，旋转所述图像传感器，以将所述参考标记置于具有第三像素行号的第三位置，所述第三像素行号介于所述第一像素行号与所述第二像素行号之间，其中，在所述旋转所述图像传感器以将所述参考标记置于第三位置的步骤后，重复(i)将所述参考标记置于第一位置；(ii)仅沿着所述x方向移动所述试样夹头；以及(iii)旋转所述图像传感器以将所述标记置于第三位置的所述步骤，直到所述像素行与所述XY平移台的所述x方向基本上平行。

附图说明

图1A为根据本发明的显微镜系统的示意侧视图；

图1B为图1的示意前视图；

图2A为单轴平移台的示意侧视图；

图2B为图2A的平移台的示意俯视图；

图2C为由两个单轴平移台所形成的XY平移台的示意俯视图；

图3A为用于本发明的实施例的相机旋转器的示意俯视图；

图3B为图3A的相机旋转器的示意侧视图；

图4为图像传感器的像素的示意图；

图5为在XY平移台(18a,18b)上的试样S相对于图像传感器56的示意图，显示用于确定与XY平移台的x方向相比用于扫描试样的期望x’方向的偏移角度的本发明的实施例的应用的一般情况；

图6A为从图5的一般初始情况确定偏移角度的第一步骤的示意图；

图6B为确定偏移角度的第二步骤的示意图；

图7A为确定偏移角度的第三步骤的示意图，以确定x’方向的斜度(ΔX及ΔY)进而其偏移角度的能力作结；

图7B为旋转步骤的示意图，其中使图像传感器的像素行与x’方向基本上平行；

图8为用于相对于图像传感器沿着期望x’方向移动试样期望d’距离的方法的示意图；

图9A为在XY平移台(18a,18b)上的试样夹头30上的参考标记64以及图像传感器56的示意图，示出用于将图像传感器的像素行与XY平移台的x方向对准的本发明的实施例的应用的一般情况；

图9B为从图5的一般初始情况对准像素行中的第一步骤的示意图；

图9C为从图5的一般初始情况对准像素行中的第二步骤的示意图；

图10A及10B一起提供用于迭代式旋转图像传感器以将其的像素行与XY平移台的x方向对准的方法的示意图；

图11A、11B及11C一起提供用于旋转图像传感器以使像素行与轴限定特征基本上平行的方法的示意图；

图12为根据本发明的图像缝合技术的示意图；以及

图13为利用图像(图像数据)拼接的旋转技术的示意图。

具体实施方式

与现有技术相反，本发明不试图将期望x’方向与XY台的x方向对准，反而允许扫描试样的期望x’方向与XY平移台的移动的x方向不对准。本发明旋转图像传感器以达成期望对准，藉此产生平移台的XY方向与图像传感器的像素行及列之间的偏移。本发明也确定期望x’方向相对于XY平移台的x方向的偏移角度或斜度。知道偏移角度/斜度，且像素行与期望扫描方向(即x’方向)对准后，可控制XY平移台以相对于图像传感器沿着期望x’方向移动试样至不同位置而在y’方向上图像传感器相对于试样基本上没有移位，y’方向与试样的x’方向正交。

本发明还提供一种方法以准确且精确地将图像传感器的像素行与XY平移台的x方向对准。此对准因此引出一种用于确定试样的期望x’方向相对于XY平移台的x方向的偏移角度/斜度的方法。

在本文中的各种实施例中公开本发明的一般过程，且一旦建立过程的一般物理条件，可使用适当配置的显微镜系统及相关的计算机处理及显微技术(诸如计算机视觉、运动控制及测量、等等)以自动方式执行该过程。本文中所用的“计算机视觉”应理解为涵盖图像处理、图案是被、计算机视觉或图像分析的其他已知技术的算法。首先，揭露一般显微设备的方面，随后揭露本发明的方法。

图1A及1B显示作为本发明的范例的反射光显微镜系统2的实施例，注意到本发明同样适用于显微镜的其他类型，像是透射光显微镜、倒置显微镜、电子显微镜等等。典型的显微镜系统2的标准部件包括立架4、竖直照明器6、相机8、透镜管10、物镜转换盘12、物镜14、z轴聚焦臂16及XY平移台18。这些部件为熟悉本领域者已知。相机旋转器20与XY平移台18一起合作以实现根据本发明的扫描和/或成像的独特方法。

XY平移台为本领域中为人熟知者。可通过步进器、伺服、或线性马达等等驱动XY平移台。XY平移台的配置典型为附加一个单轴台至z轴聚焦臂16并附加第二单轴台至第一台，且彼此轴平移90度，不过实务上X及Y台的正交对准会有微小误差。正交对准为一般已知的术语并指出这两个台沿着x及y轴精确行进的事实，y轴的行进线必定与x轴的行进线正交。若这两条行进线没有正交，x轴行进会在y方向中产生位置误差。正交误差可表示为理论x轴方向与根据发生在y方向中的位置误差的经验(empirical)x轴行进方向之间的偏移度。其也可表示为每x方向行进长度的y位置偏移(例如，每400mm的x方向行进10微米的y位置偏移)。

图2A、2B、及2C提供XY平移台的典型配置的范例。图2A表示包括驱动马达23、驱动螺杆24、及具有垫块26a及26b的立架26的单轴台18a的前视图。垫块26a及26b含有支承件及保持器(未示出)以支撑驱动螺杆24，其通过联接件(未图标)附接至驱动马达23。图2B为单轴台18a的俯视图。在此实施例中，有导杆28a及28b以提供试样夹头30的行进的稳定性及引导。试样夹头30含有导杆行进通过的线性支承件(未图标)、以及根据驱动螺杆24的旋转方向沿着驱动螺杆24推进夹头30的滚珠螺母32。立架26设有安装孔34a及34b以附接至z轴聚焦臂。第一单轴台18a及第二单轴台18b可接合以创建出本领域者众所周知的XY平移台，并显示于图2C中，其中台18b保持台18a，台18a保持试样夹头30。

仅提供此特定XY平移台作为一个范例，且应可理解到现有或此后创造出来的其他XY平移台的配置可用于本发明中。将从本揭露中理解到，本发明所使用的平移台仅需能够允许XY台的精确控制并提供X及Y台的精确位置信息。例如，在利用螺杆型驱动器的平移台中，反馈可为旋转编码器的形式，提供与行进距离直接成正比的信号。在其他平移台中，可使用线性编码器来提供平台的位置的直接反馈。

图3A及3B提供如图1A中所示的相机旋转器20的更多细节。应注意到此配置仅为例示性且可有导致相机将对于XY台旋转的其他配置。在此，旋转器壳体36设有凸缘38，使其可附接至透镜管10并通过锁定螺杆40a及40b而被保持到位。旋转相机座42保持在壳体36中并于支承件55内自由旋转。连接器46用来将相机8附接至相机座42。驱动马达48连同滑轮50、驱动带52及相机旋转器滑轮54提供旋转相机8的手段。可使用旋转编码器、电位器、步进器马达控制或其他类似装置，以得知角旋转α。这些会提供与旋转度数成正比的信号输出(例如至处理器22)，以从那个信号确定出高度精确的偏移角度。在一些实施例中，在马达装配中设置旋转编码器以提供相机的确切的旋转度数。

应可理解到可通过额外适当的硬件及一个或多个处理器来控制显微镜的所有可调整部件。处理器22在此显示为控制相机旋转器20、相机8、及XY平移台18(和z轴聚焦臂16)，且涉及适当硬件及软件并统一标示为处理器22。应可理解到可采用多个处理器，并且在图中以处理器22的简单使用涵盖它们。还可如此控制显微镜系统2的其他方面。编程软件以控制XY平移台18的X、Y、及Z移动，还有相机8的旋转以及相机的启动以通过图像传感器56记录图像数据。也可通过已知方法自动化聚焦。如本领域中已知，可精确得知平台行进并利用旋转或线性编码器进行控制。可通过旋转编码器、电位器、步进器马达控制或其他来精确得知相机旋转。使用这些精确定位装置以提供输入至协助进行本发明的软件。采用计算机、可编程控制器或其他处理器，如处理器22，来分析输入并提供控制输出至平台及旋转器。

相机8可含有用以捕获试样S的图像(或图像数据)的图像传感器56(如CCD或CMOS传感器)。如此所用，“图像”不需为观察者可见的图像的真实产生，并可简单地需要获取可用来产生期望图像的数字数据。故在此所用的“图像”及“图像数据”并无显著区别。图像传感器由像素构成。典型的传感器可有0.6至10百万像素或更多。像素尺寸可变且典型介于3及10微米(um)且典型传感器尺寸可介于小于25平方毫米及大于800平方毫米之间。图4中显示图像传感器56的表示。很重要的请意识到图像传感器的视野(field of view)为显微镜物镜14的放大率的函数。10×12mm的图像传感器在100倍放大率会有0.10×0.12mm的视野。可理解到放大的视野比待检查的试样小许多。

如前述，所进行的过程包括两个主要步骤，为旋转图像传感器使得图像传感器的像素行与期望x’方向(即期望扫描方向)基本上平行的步骤，以及确定期望x’方向相对于XY平移台的x方向的偏移角度的步骤。在此的不同实施例中，有时这些步骤分开且不同，而有时为重叠。根据一实施例，首先实施用于将图像传感器的像素行与XY平移台的X方向对准的过程以在旋转图像传感器以使像素行与试样的x’方向对准之前提供图像传感器的准确的参考位置。

当像素行与x’方向基本上平行时，且得知偏移角度时，有利的试样扫描可通过下列实现：建立试样相对于图像传感器的第一位置，第一位置将试样的至少一部分置于图像传感器的视野内；并利用XY平移台沿着期望x’方向将试样移动至第二位置，其中第二位置将试样的至少第二部分置于图像传感器的视野内，且第二位置基本上不在试样的y’方向上移位，y’方向与试样的x’方向正交。在移动步骤中，移动基于在确定步骤中确定的偏移角度。

在一些实施例中，虽明确说明采用偏移角度，但可理解到可取代地使用期望x’方向相对于XY平移台的x’方向的斜度，且为了在此的目的“偏移角度”可表示或概念化为斜度(m)或角度(度)，而斜度m的线的角度相对于基线为tan-1(m)。亦即，知道斜度则可计算角度，且反的亦然。

参考图5至8说明本发明的第一实施例，其中显示显微镜系统2的相关部件并有助于解释本实施例所满足的概括扫描情况。试样S定位在设置在相机8的图像传感器56的附近的试样夹头30上。图像传感器56在固定位置可围绕其中心轴旋转，使XY平移台18(由导杆表示)及试样S可移动以将试样S定位在图像传感器56下方。在一些实施例中，相机8及图像传感器56为显微镜的一部分，并应可理解到可用图像传感器56来记录通过物镜14及其他熟知的显微镜部件到达图像传感器56的图像数据。本领域普通技术人员不需超出在此提出的示意图以外的进一步揭露即可理解如何牵涉显微镜的使用。

在图5至8的此特定范例中，希望能沿着试样的期望x’方向扫描试样S。注意到，试样的期望x’方向从试样夹头30的x及y移动方向(由x及y箭头表示)成角度地偏移，因此期望x’方向限定出相对于台18的x及y方向的斜度。在此范例中，由绘于对准标记60与对准标记62之间的线指示x’行程方向。为了揭露，偏移角度显示成颇为显著，且可能如此，但应可理解到本发明常用于偏移角度极小的情况中，因为即使是很小程度的偏移角度都可能造成在高放大率的扫描和/或缝合图像的重大问题。

如图4中所见，及本领域中一般已知，图像传感器56包括像素行及像素列，其示意性呈现为像素行P(1,1)至P(j,1)及像素列P(1,1)至P(1,i)。如现有技术曾提及，相机8及其图像传感器56典型安装成试图将像素行设置成与XY平移台18/试样夹头30的x方向平行，也因此将像素列设置成与XY平移台18及试样夹头30的y方向平行。然而，因为无论通过自动化或，更典型地，视觉方法实现完美对准中的加工容限及限制，图像传感器56的行及列通常会与平移台18的x及y方向不对准。故在此实施例中，传感器行及列不与扫描的x’或y’期望方向平行。

对比现有技术，本发明旋转相机8且进而包括在相机8内的图像传感器56，以将像素行放置在与试样的期望x’方向平行的位置。在一些实施例中，可通过旋转图像传感器、保持图像传感器的相机、或保持相机的显微镜或通过任何系统部件的适当操纵来完成相对旋转。

在图5的实施例中，通过评估试样8上的两个参考标记(在此对准标记)之间的斜度来确定偏移角度。使像素行置于与期望x’方向基本上平行的图像传感器的旋转可在评估斜度前或后实施，并且可实施这种旋转的各种方法。

在图5中，可见到试样S刻有两个对准标记60及62。通过标记60及62的线的方向限定扫描的期望方向x’。作为参考，显示穿过图像传感器56的正交中心线，且其交叉点标记图像传感器中心C。图6A绘示将试样夹头30移动至使得对准标记60定位在图像传感器56的中心的位置。使用计算机视觉及标准平移台移动控制来确定此移动及定位。记录XY平移台18的坐标并作为未来移动的起点。例如，根据在此的教示，处理器22可记录并分析位置及移动数据。使用计算机视觉及运动控制(例如经由处理器22)，重新定位XY平移台18使得对准标记62位于图像传感器56的中心，如图6B中所示。根据在此的教示，确定并记录或以其他方式保留在x方向及y方向上移动平台的距离以用于后续处理。图7A绘示此移动并将x方向中的改变标为ΔX而y方向中的改变标为ΔY。

虽将对准标记60及62聚焦到图像传感器56的中心C以评估ΔX及ΔY，可理解到可指定任何像素或像素组作为放置对准标记并评估ΔX及ΔY的目标像素。因此，放置对准标记60使其与图像传感器56的一个或多个目标像素重叠，然后移动试样以放置对准标记62使其与相同的一个或多个目标像素重叠，接着评估x及y移动以获得ΔX及ΔY已足矣。

在一些实施例中，对准标记小于一个像素，因此以单一像素瞄准以评估ΔX及ΔY。在其他实施例中，对准标记涵盖多个像素。在一些实施例中，对准标记涵盖多个像素，并计算对准标记的中心以用来定位在目标像素中(比如在此范例中所用的中心C)。可通过计算机视觉计算中心。

取代使用故意置于试样上的对准标记，在一些实施例中，可采用试样S上的部件特征，比如在期望x’方向中延伸的微电路部件(在一些实施例中)或光刻特征(在其他非限制实施例中)。以和对准标记相同的方式使用可识别部件特征。

知道ΔX及ΔY则可得斜度(m)，其为ΔY/ΔX。利用该斜度，将期望移动方向x’限定为与XY平移台的x方向和y方向相比。由斜度ΔY/ΔX限定的通过对准标记60及62的线相对于在x方向中延伸并延伸通过对准标记60的线形成角度α。参考图8，角度α可计算为tan-1(m)。得知角度α后可计算自任何起点(例如由对准标记60所涵盖的点)在x’方向上的任何移动。例如，在图8中，为了在x’方向中从对准标记60的起点移动d’的距离，试样夹头可移动ΔX＝d’(cos(α))、ΔY＝d’(sin(α))。起点可设定在平移台18在x方向及y方向上的最大行程所限定的平面内的任何位置。可理解到同样的程序可用来计算y’方向上的移动。还可理解到可使用其他数学技术来计算x’及y’方向上的行程。

能够精确地沿着x’方向移动到不同位置而在y’方向上基本上没有移位允许x’方向上的准确扫描并促进由图像传感器所记录的多个图像或图像数据的准确缝合，尤其当图像传感器的像素行基本上与x’方向平行时。因此，在本实施例中，在如上述般确定斜度/偏移角度前或后，旋转图像传感器以将像素行取向成与x’方向基本上平行，接下来揭露如此做的一些方法。

在图中所示的特定方法中，尤其图7B，以旋转度数Ra旋转传感器以将像素行与期望扫描方向x’对准。在此实施例中，在确定出ΔX及ΔY后发生旋转，但可理解到，在其他实施例中，可先对准图像传感器再通过上述的移动确定ΔX及ΔY。余下在此揭露旋转技术。

在一些实施例中，如图11A、11B、及11C中所概示，图像传感器的旋转包括识别试样S上的轴限定特征66，轴限定特征66具有在期望x’方向中延伸的可检测形状。名为轴限定特征66是因为其用于限定期望扫描方向x’。计算机视觉用来基于轴限定特征66的可检测形状而将像素行平行于试样的x’方向取向。以矩形呈现轴限定特征66。

在图13中显示另一种旋转技术，并包括形成涵盖第一对准标记60及第二对准标记62的重叠图像(m1、m2、m3、m4)的拼接，并使用计算机视觉来计算两个对准标记之间的参考线70(此线也为期望x’方向)并将图像传感器的像素行对准参考线70。在图13中，相对于图像传感器56移动试样以获取多个图像(m1、m2、m3、m4)，并得以由计算机处理这些图像(即，图像数据)以限定对准标记60与对准标记62之间的参考线70。通过此图像数据合成，使用计算机视觉来将图像传感器的像素行与计算机(如处理器22)所计算的参考线70对准。

例如，从图像m1的位置，考虑到对准标记60的位置，在x方向上以小于图像传感器的视野宽度的增量距离移动试样。在此，为了方便描绘图的概念，距离为宽度的75％(即，在总共4个像素中移动3个)。然而，在一些实施例中，这些增量(包括下述的y增量移动)可介于视野(的宽度或高度)的5及50％之间。在其他实施例中，增量介于视野的10％与30％之间，且在其他实施例中，介于视野的10％与20％之间。在x方向上以这种增量移动试样直到其已经移动了适合将图像传感器56对准在对准标记62下的距离。在每一个增量移动拍摄一个图像(例如m1、m2、m3、m4)。接着在y方向上移动试样直到对准标记62在传感器的视野内。在每一个增量拍摄一个图像(例如m5、m6)。使用标准图像缝合技术，获得合成图像，在该合成图像中显示对准标记60及62。同样地，通过此图像数据合成，使用计算机视觉来将图像传感器的像素行与参考线70对准。

当对准了像素行(无论采用何种方法来进行)，可如参考图8所述般使用斜度/偏移角度来准确地沿着x’方向移动/扫描。

针对将像素行取向成与期望x’方向平行，应可理解到完美平行关系有可能仅为理论上，尤其当考虑到在高放大率工作的可能性(在此情况中较易察觉小角度偏移)。本发明试图将像素行与期望x’方向对准，使试样的x’方向与像素行延伸的方向之间有极小或无偏移度。这与前面针对XY平移台所述的“正交误差”的问题类似。在一些实施例中，像素行偏离期望x’方向少于0.002度在此已足矣。在一些实施例中，像素行偏离期望x’方向少于0.0015度，在其他实施例，少于0.001度，在其他实施例，少于0.0005度，在其他实施例，少于0.00025度，在其他实施例，少于0.0002度，在其他实施例，少于0.00015度，在其他实施例，少于0.0001度，以及在其他实施例，少于0.00005度。总言的，在此有关于对准的记载不需绝对完美对准，而只要提供适合本发明的目的的基本上的对准(或基本上平行关系)。在一些实施例中，本发明用以基本上减少在高放大率可见的正交误差，即使在100倍或更高的数量级。尤其，本发明提供适合沿着期望x’方向扫描而在y’方向上无显著移位的高准确对准，即使在高放大率水平下。

在图9至11中显示本发明的第二实施例，并且首先有关于一种对准图像传感器56和平移台18以使像素行基本上与x方向平行的方法。此实施例的第一步骤因此需要将传感器56与平移台18的移动对准(即，像素行和列与x方向行程及y方向行程平行)。图9A显示平移台，其中试样夹头30位于图像传感器56的左侧。在一些实施例中，试样夹头30a具有印记于其上的参考标记64，其被设置成由计算机视觉观看并定位。在其他实施例，置于试样夹头30a上的试样S上具有参考标记，使得此方法设想得到试样夹头或置于其上的试样包括参考标记，但该方法特别揭露关于在试样夹头30a上显示参考标记64的图像。当在置于试样夹头上的试样上有参考标记的情况下实施本发明时，则在试样夹头移动期间不应允许改变夹头与试样之间的相对位置。

参照图9B，在x方向上移动试样夹头30直到参考标记64在图像传感器56的视野内。如前述，每一个像素具有由P(j,i)指定的唯一位置。在图9B中，标记64已被成像，且出于示例目的，位在P(13,4)。如在图9C中可见，通过XY平移台18在x方向上移动试样夹头30，使参考标记64相对于图像传感器56侧向移动(x方向)但仍在图像传感器视野内。参考标记64现位在像素P(9,17)的位置。注意到所示的范例并非真实比例。图像传感器可具有1000个像素行和1000个像素列。

在此第一侧向移动及成像后，目的为旋转相机，以当图像传感器56扫描试样夹头30的视野时，参考标记64在通过传感器时成像于相同的一个或多个像素行中，即，在y方向上相对位置基本上没有改变。图10A显示图像传感器56及在图9B的图像中的参考标记64(标记在P(13,4))和在图9C的图像中的参考标记64(标记在P(9,17))的相对位置。中央线显示试样夹头30的x及y方向的移动(由平移台18限定)。当图像传感器56如图9A至9C般取向时，图像传感器56与试样夹头30的相对移动期间会有非常大的y方向移位，可通过一种包括取参考标记64在这两个位置的行号的平均值的方法来减少或有效消除此移位。在此范例中，参考标记64在图9B的图像中在行13中，而在图9C的图像中在行9中。在图10a及10b中在行11上显示一条代表平均值(即，(9+13)÷2＝11)的线。假设试样夹头30仍位在图9C中所示的第二位置中，则通过相机旋转器20旋转相机8及图像传感器56旋转度数Rb(见图10A)，以使参考标记64在行11中。如图10B中可见，此步骤将图像传感器56中的像素行放置成更接近于与试样夹头30的x方向平行。重复在图像传感器上在两个位置成像标记然后旋转相机的这些步骤直到实现图像传感器的像素行与平移台的x方向之间为期望基本上对准。在一些实施例中，重复这些步骤直到当在图像传感器56的整个宽度上扫描时参考标记64的中心(由计算机视觉确定)维持在单一像素行中。注意到平均化在两个位置的参考标记64的行号仅为迭代式达成高精确对准的一种方式。在其他实施例中，在图像传感器移动于两个位置之间时，由Rb代表的旋转度数单纯将参考标记64放置于参考标记的两个行号之间的行号足矣。

在一些实施例中，参考标记64小于一像素，并因此以单一像素瞄准来执行此对准程序。在其他实施例中，参考标记64涵盖多个像素。在一些实施例中，参考标记64涵盖多个像素，且计算参考标记64的中心以用来定位在目标像素中(比如在此范例中所用的中心C)。可通过计算机视觉计算中心。

在一些实施例中，参考标记64位在视野边缘附近，但在每一次放置中仍在图像传感器的视野内。这提供较准确的评估，因为如此会采用较长的x方向行程，藉此评估y方向移位。例如，参照图，定位参考标记64使得在图9B中所示的图像中，标记位在中心左侧靠近视野边缘但仍在视野内，然后重新定位参考标记64使得在图9C中参考标记64位在中心右侧靠近视野边缘但仍在视野内。

在将图像传感器56对准至试样夹头30的x移动后，旋转图像传感器56以将图像传感器56与用于扫描试样的期望x’方向对准。在此实施例中，试样S1代表具有印记有轴限定特征66于其上的试样，该轴限定特征66具有限定用于扫描试样S1的期望x’方向和/或y’方向的不同轴限定特性。图11A显示在扫描前置于试样夹头30上的试样S1，并提供线72以视觉性表示图像传感器56对准至试样夹头30的x及y行程。如在图11B中可见，移动试样夹头30使特征66在传感器56的视野内。在图11C中，旋转图像传感器56测量过的度数Rc，其也为α，以将图像传感器的像素行与特征66所限定的x’方向对准。如先前已提过，图像传感器旋转可通过旋转编码器、电位器、步进器马达控制或其他类似装置得知，以得知角旋转α。

替代地，在将图像传感器56对准至试样夹头30的x移动后，可采用对准标记及拼接来识别期望x’方向并旋转图像传感器(如图13中)。

注意到，由于参考标记64与XY平移台关联，图像传感器的像素行与XY平移台的x方向的对准仅需执行一次，并可记录对准的位置以供后续使用。因此，可将具有不同取向及不同轴限定特征的不同的试样放置在夹头上，并可定位图像传感器使像素行对准至x方向(依照上述过程)并接着旋转至轴限定特征以找出新试样的期望x’方向的偏移角度。

从与XY台的x方向对准的图像传感器像素行开始，相机的后续角度旋转Rc(以将像素行放置在期望的x'方向上)等同于关于图8描述的，现在可以通过下式确定所需的x'方向上的任何运动d'：ΔX＝d'(cos(a))；ΔY＝d'(sin(a))。

无论在此用于将像素行与期望x’方向对准并确定x’方向相对于XY平移台的x方向的斜度/偏移角度的方法为何，一旦对准好像素并确定出斜度/角度，可以移动试样S，使得第一图像的左边界可准确地缝合至第二图像的右边界，其中在x’方向中限定“左”及“右”。例如，在图12中，由图像传感器14在p1的定位显示第一成像位置并由图像传感器14在p2的定位显示第二成像位置，其中图像传感器14在p1的左边界与图像传感器56在p2的右边界对准，同样地在y’方向上没有任何显著移位。也应理解到可以重叠区域获取图像p1及p2是可接受的，即，其中在p1的图像的左侧的像素列与在p2的图像的右侧的像素列重叠。重叠部分已知可帮助准确缝合。然而，通过导致像素行与期望x’方向对准，本发明促进图像的准确的边界至边界的缝合，由于需要较少图像及较少运算，可减少整个成像过程。

应可理解在此的各种步骤可以，且优选地，由显微镜系统2自动执行。通过适当软件及硬件来处置可移动及可旋转部件的移动，并可采用计算机视觉来识别可检测的特征，比如对准标记60和62、参考标记64、及支配图像传感器56相对于试样的取向的轴限定特征66。亦可自动化图像数据的聚焦及获取。这些全部皆由处理器22在图中表示。因此，本发明允许试样及XY平移台不对准(即，试样的期望x’及y’方向与平移台的x及y方向不对准)且不需操纵试样来弥补此不对准。系统自校准，且在知道图像传感器的宽度下，可渐进地扫描试样并获取具有对准的边界的离散图像然后将它们缝合在一起来形成期望试样图像。

已通过在此的图及说明向本领域技术人员充分揭露本发明的一般概念。提供详细揭露以广泛揭露那些一般概念，但本领域普通技术人员不需这些详细的揭露来完全实施本发明的概念。即使图示为例示性亦是如此。

在结束前应注意到于此揭露中专注于x方向绝非限制性，x及y方向单单基于取向，并可以相同方式使用本发明来进行y’方向上的扫描。故对于x及y的参照单纯是为了有方向性的参考。

虽然在此已详细揭露本发明的特定实施例，应理解到本发明不限于此或被此受限，因为本领域普通技术人员可轻易认知本发明的变化。应从所附权利要求认知本发明的范围。

Claims (17)

1.一种沿着试样的期望x’方向对所述试样进行成像的显微镜方法，所述试样被置于XY平移台上并通过所述XY平移台可移动，以使所述试样的一部分置于图像传感器的视野内，其中所述XY平移台在x方向及y方向上可移动以相对于所述图像传感器移动所述试样，所述图像传感器具有布置成限定像素行及像素列的多个像素，所述试样的所述期望x’方向从所述XY平移台的所述x方向成角度地偏移，以限定相对于其的斜度和偏移角度，所述图像传感器一次仅观看所述试样的一个离散区段，所述方法包括下列步骤：

旋转所述图像传感器，使得所述像素行与所述试样的所述期望x’方向基本上平行；

确定所述期望x’方向相较于所述XY平移台的所述x方向的所述偏移角度；

相对于在所述旋转步骤中经旋转的所述图像传感器建立所述试样的第一位置，所述第一位置将所述试样的至少一部分置于所述图像传感器的所述视野内；以及

在所述确定步骤及所述建立步骤后，利用所述XY平移台沿着所述期望x’方向将所述试样移动至第二位置，其中所述第二位置将所述试样的至少第二部分置于所述图像传感器的所述视野内，且所述第二位置在所述试样的y’方向上基本上不移位，所述y’方向与所述试样的所述x’方向正交，其中所述移动步骤基于在所述确定步骤中所确定的所述偏移角度。

2.根据权利要求1所述的方法，其中所述确定偏移角度的步骤包括：

测量沿着所述期望x’方向对准并因此限定所述期望x’方向的第一焦点特征与第二焦点特征之间的x距离和y距离，所述x距离和所述y距离是相对于所述平移台的所述x方向及y方向测量的。

3.根据权利要求2所述的方法，其中所述测量所述x距离和所述y距离的步骤包括：

设置所述第一焦点特征以与所述图像传感器的一个或多个目标像素重叠；以及之后

移动所述试样，以设置所述第二焦点特征以与相同的所述一个或多个目标像素重叠，所述测量所述x距离和所述y距离的步骤为实现所述移动所述试样以设置所述第二焦点特征以与相同的所述一个或多个目标像素重叠的步骤所需的所述平移台的x及y移动量(ΔX,ΔY)。

4.根据权利要求3所述的方法，其中所述目标像素涵盖所述图像传感器的中心。

5.根据权利要求3所述的方法，其中所述旋转所述图像传感器的步骤包括：识别所述试样上的沿着所述x’方向延伸的轴限定特征，并使用计算机视觉来将所述像素行基本上平行于所述试样的可检测方向对准。

6.根据权利要求5所述的方法，其中在所述测量所述x距离和y距离的步骤之前执行所述旋转所述图像传感器的步骤。

7.根据权利要求3所述的方法，其中所述旋转所述图像传感器的步骤包括：获取适于计算所述第一焦点特征与所述第二焦点特征之间的参考线的图像拼接并使用计算机视觉将所述图像传感器的所述像素行与所述参考线对准。

8.根据权利要求7所述的方法，其中在进行所述测量所述x距离和y距离的步骤的同时进行所述获取图像拼接的步骤。

9.根据权利要求1所述的方法，其中，在所述旋转所述图像传感器的步骤之前，所述方法包括将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤。

10.根据权利要求9所述的方法，其中所述旋转所述图像传感器的步骤包括：

识别所述试样上的轴限定特征，所述轴限定特征具有沿着所述期望x’方向延伸的可检测形状；以及

使用计算机视觉来将所述像素行基本上平行于所述可检测形状对准；以及

所述确定所述偏移角度的步骤包括：

测量所述图像传感器从所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后的所述图像传感器的位置到所述旋转所述图像传感器的步骤后的所述图像传感器的位置的旋转度数。

11.根据权利要求9所述的方法，其中所述XY平移台提供试样夹头来保持所述试样，其中所述试样夹头或置于所述试样夹头上的试样包括参考标记，且所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤包括：

将所述参考标记放置于所述图像传感器的所述视野内的第一位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第一像素行号；

仅沿着所述XY平移台的所述x方向移动所述试样夹头，以将所述参考标记放置于所述图像传感器的所述视野内的第二位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第二像素行号；以及

在所述放置及移动步骤后，旋转所述图像传感器以将所述参考标记置于具有第三像素行号的第三位置，所述第三像素行号介于所述第一像素行号与所述第二像素行号之间。

12.根据权利要求11所述的方法，其中，在所述旋转所述图像传感器以将所述参考标记置于第三位置的步骤后，重复(i)将所述参考标记置于第一位置、(ii)仅沿着所述x方向移动所述试样夹头、以及(iii)旋转所述图像传感器以将所述标记置于第三位置的所述步骤直到所述像素行与所述XY平移台的所述x方向基本上平行。

13.根据权利要求12所述的方法，其中在所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后，进行所述确定步骤。

14.根据权利要求13所述的方法，其中所述旋转所述图像传感器的步骤包括：

识别所述试样上的轴限定特征，所述轴限定特征具有沿着所述期望x’方向中延伸的可检测形状；以及

使用计算机视觉来将所述像素行基本上平行于所述可检测形状对准；以及

所述确定所述偏移角度的步骤包括：

测量所述图像传感器从所述将所述像素行基本上平行于所述XY平移台的所述x方向对准的步骤后的所述图像传感器的位置到所述旋转所述图像传感器的步骤后的所述图像传感器的位置的旋转度数。

15.根据权利要求14所述的方法，其中所述测量所述图像传感器的所述旋转度数的步骤包括获得从旋转所述图像传感器的仪器输出的信号。

16.一种显微镜系统，包括：

显微镜；

图像传感器，其记录图像数据，所述图像传感器包括像素行及像素列；

XY平移台；

试样，其位于所述XY平移台上并由所述图像传感器观看，其中所述XY平移台在x方向及y方向中可移动以相对于所述图像传感器移动所述试样，所述图像传感器具有布置成限定像素行及像素列的多个像素，其中所述试样呈现沿着x’方向的特征，所述x’方向从所述XY平移台的所述x方向成角度地偏移，以限定相对于其的偏移角度，所述试样还包括第一焦点特征及第二焦点特征，

处理器，其用以：

相对于所述试样旋转所述图像传感器，使得所述像素行与所述试样的所述x’方向平行；

移动所述XY平移台；

确定所述x’方向相较于所述XY平移台的所述x方向的偏移角度；以及

通过下列步骤在所述期望x’方向上扫描所述试样：

当所述像素行与所述x’方向平行时，建立相对于所述图像传感器的所述试样的第一位置，所述第一位置将所述试样的至少一部分置于所述图像传感器的视野内；以及

利用所述XY平移台沿着所述期望x’方向将所述试样移动至第二位置，其中所述第二位置将所述试样的至少第二部分置于所述图像传感器的所述视野内，且所述第二位置在所述试样的y’方向上基本上不移位，所述y’方向与所述试样的所述x’方向正交，其中所述移动基于由所述处理器所确定的所述偏移角度。

17.一种将图像传感器的像素行与XY平移台的x方向对准的方法，其中所述XY平移台提供试样夹头来保持所述试样，由所述XY平移台在x方向及y方向上移动所述试样夹头，所述方法包括下列步骤：

在所述试样夹头或置于所述试样夹头上的试样上设置参考标记；

将所述参考标记放置于所述图像传感器的所述视野内的第一位置并获取图像数据，以确定所述参考标记相对于所述图像传感器的所述像素行的位置的第一像素行号；

仅沿着所述XY平移台的所述x方向移动所述试样夹头，以将所述参考标记放置于所述图像传感器的所述视野内的第二位置并获取图像数据，以确定所述参考标记相对于所述像素行的位置的第二像素行号；以及

在所述放置及移动步骤后，旋转所述图像传感器，以将所述参考标记置于具有第三像素行号的第三位置，所述第三像素行号介于所述第一像素行号与所述第二像素行号之间，

其中，在所述旋转所述图像传感器以将所述参考标记置于第三位置的步骤后，重复(i)将所述参考标记置于第一位置；(ii)仅沿着所述x方向移动所述试样夹头；以及(iii)旋转所述图像传感器以将所述标记置于第三位置的所述步骤，直到所述像素行与所述XY平移台的所述x方向基本上平行。