CN110214290A

CN110214290A - 显微光谱测量方法和系统

Info

Publication number: CN110214290A
Application number: CN201880008197.XA
Authority: CN
Inventors: 亚历山大·科科塔; 瓦西里·夏伊恩卡; 塞德里克·马切苏
Original assignee: Horizon
Current assignee: Horizon; Horiba France SAS
Priority date: 2017-01-24
Filing date: 2018-01-23
Publication date: 2019-09-06
Anticipated expiration: 2038-01-23
Also published as: EP3351992A1; EP3351992B1; WO2018138098A1; US20190391012A1; US11187581B2; CN110214290B; JP2020505633A

Abstract

本发明涉及一种光学显微光谱测定系统，包括光学显微镜(10)、光谱测定系统(50)和光学系统(14)，所述光学系统适于通过所述至少一个显微镜物镜(11、12)将激发光束引导至样本上的，并从样本收集拉曼或PL光束。根据本发明，所述光学显微光谱测定系统包括：成像系统(16、41)，其被配置为通过来自样本表面的照明光束的反射或透射来获取样本的第一图像(71)和第二图像(72)，所述第一图像(71)具有大视场，所述第二图像(72)具有小视场；处理系统(40)，其被配置为确定第一图像(71)中对应于第二图像(72)的区域；显示系统(44)，其被配置为显示第一图像(71)、第二图像(72)以及覆盖在第一图像(71)上的表示所述区域的第三图像(73)。

Description

显微光谱测量方法和系统

技术领域

本发明涉及一种方法和系统，用于在宽空间范围内，例如，从毫米级到微米级，以高横向和轴向分辨率可视化和映射二维(2D)或三维(3D)样本表面，以便在精确选择的关注区域(ROI)中执行显微光谱测量。

本发明还涉及一种方法和系统，用于在样本表面上以高精度并在宽空间范围(例如，从毫米到微米)上容易导航，以便选择关注区域(ROI)来执行光谱分析或光谱成像，例如，光致发光(PL)或拉曼成像。

背景技术

近二十年来，由于光子探测器和光源发展的巨大进步，光致发光和拉曼光谱仪的发展取得了巨大进展。光子探测系统特别包括CCD、EMCCD和CMOS相机以及新一代雪崩光电二极管和光电倍增器，具有改进的特性。新光源包括紧凑型固态激光器，其光谱范围从紫外光到近红外光，平均功率为几十mW，足以生成光致发光或拉曼信号。

光谱学和显微技术的结合是光致发光和拉曼技术发展的一个重要突破。尽管这两种技术都非常古老，但电子学和光子学的最新发展已经促成了重要的创新。

特别地，现代显微镜光谱仪包括自动聚焦系统，用于寻找和跟踪样本表面。自动对焦系统的功能原理有光学或数值来源。

光学硬件自动聚焦系统使用激光测量到样本表面的距离，或者使用白光干涉来保持到表面的距离恒定。还可以使用从样本表面反射的光的强度或样本光谱响应的强度，以通过测量信号的最大值来识别样本表面位置。通常，所有光学硬件自动聚焦系统都是逐点测量方法，并且需要一段时间来从N×N像素的区域收集信息。根据花费在一个像素上的时间和像素数量，总时间可以从几分钟到几个小时不等。光学自动聚焦方法的另一缺点是对样本表面性质的敏感性。在强漫射、半透明、倾斜或浮雕表面的情况下，该方法将提供不正确的结果，甚至根本不起作用。此外，光学硬件自动聚焦装置的价格增加了显微镜光谱仪的总成本。

使用光学硬件自动对焦系统的替代方法是使用数字或数字自动对焦系统。这些系统不会给装置带来任何额外的成本，因为这些系统使用已经存在的视频图像硬件(作为光学物镜)、光传输光学器件和检测装置(作为CMOS或CCD相机)。唯一的投资是开发集成到软件中的数学算法，以发现和保持关注研究或测量样本。这种系统已经被开发出来，并在数码相机、智能手机或数码显微镜中得到普遍应用。在每个特定的实现中，发明人提出了硬件和软件实现的特定解决方案，并且不同装置的应用不同。数字自动对焦的重要优势是对应于视场的大工作区域。数字自动对焦同时进行数百万像素的测量。数字自动聚焦系统通常基于图像对比度或清晰度分析。其软件包括一种算法，该算法根据z坐标分析图像对比度或清晰度，并确定最佳焦点位置。高对比度或清晰图像与聚焦样本位置的对应使得这种软件方法成为可能。

对于相当平坦、平滑的样本，自动对焦允许清晰地可视化整个视场。然而，大多数样本呈现粗糙表面，沿OZ轴有显著变化，这需要在ROI的每个点进行光学自动聚焦，用于样本表面可视化和PL或/或拉曼表面成像。如上所述，这是光学硬件自动聚焦系统的主要缺点，因为这非常耗时。此外，用户很难选择关注区域(ROI)来执行样本的PL或拉曼测量，因为显微镜物镜视场内的样本表面的一部分会变模糊。因此，在使用过程中很难确定ROI区域。

发明内容

因此，为了改进现有技术的缺点，本发明的一个目的是提供一种光学显微光谱测定系统，其包括：光学显微镜，包括用于保持待分析样本的样本固定器和限定光轴(OZ)的至少一个显微镜物镜；光谱测定系统，包括适于生成激发光束的光源、光谱仪和检测系统；光学系统，其适于通过所述至少一个显微镜物镜将激发光束引导至样本上，并收集通过样本上的激发光束的散射而生成的拉曼或光致发光光束，所述光学系统适于将所述拉曼或光致发光光束导向所述光谱仪和所述检测系统；以及致动系统，用于驱动样本固定器和所述至少一个显微镜物镜之间的相对横向和/或轴向运动。

根据本发明，所述光学显微光谱测定系统包括：另一光源，用于生成照明光束；成像系统，与所述至少一个显微镜物镜组合设置，并被配置为获取样本的第一图像并获取样本的第二图像，所述第一图像和所述第二图像通过来自样本表面的照明光束的反射或透射形成，所述第一图像具有大视场，所述第二图像具有小视场；处理系统，其被配置为确定第一图像的坐标系中对应于第二图像的小视场的区域；显示系统，其被配置为显示第一图像、第二图像，并且显示覆盖在第一图像上的所述区域的图形表示；用户界面，其被配置为选择第一图像和/或第二图像中的关注区域；所述致动系统被配置为定位所述关注区域，以便接收激发光束；以及所述光谱测定系统被配置为获取从所述关注区域生成的拉曼或光致发光信号。

根据特定且有利的实施例，至少一个显微镜物镜包括低放大率物镜和高放大率物镜，并且其中，低放大率物镜被配置为在成像系统上形成第一图像，并且高放大率物镜被配置为在成像系统上形成样本的第二图像。

根据特定且有利的方面，所述成像系统适于实时获取第二图像，所述处理系统适于实时更新对应于第二图像的区域，并所述显示系统适于实时显示第二图像和实时更新的区域的图形表示。

优选地，所述用户界面包括集成的计算机鼠标、轨迹球、操纵杆、触摸板和/或触摸屏，所述用户界面适于使用拖拽和移动操作分别与第一图像或第二图像交互，以便通过确定的横向位移，移动第一图像中的大视场或第二图像中的小视场，并且其中，所述致动系统适于驱动与第一图像或第二图像中的确定的横向位移成比例的相对横向运动(dX、dY)。

根据另一特定且有利的方面，所述致动系统包括驱动单元，所述驱动单元被配置为沿着所述光轴相对于样本固定器改变所述至少一个显微镜物镜的轴向位置，所述成像系统被配置为在沿着光轴的多个轴向位置Z获取样本的多个图像，所述处理系统被配置为计算所述多个图像中的每个图像的中心区域中的相邻像素强度的均方差，并由此评估所述多个图像中的每个图像的中心区域的图像清晰度，并且所述处理系统被配置为从中推导出中心区域上的焦点位置，并且成像系统被配置为在中心区域上的所述焦点位置获取所述第一图像和/或所述第二图像。

根据特定实施例，通过根据所述多个轴向位置(Z)计算所述多个图像中的每一个的均方差(MSD)值以及均方差值的轮廓来确定中心区域上的所述焦点位置，并且其中，通过计算均方差值的所述轮廓的最大值来确定中心区域上的焦点位置。

根据特定实施例，通过根据所述多个轴向Z位置计算所述多个图像中每一个的中心区域的平均强度导数和平均强度轮廓导数来评估所述图像清晰度，并且其中，通过在轴向方向(OZ)上朝向所述平均强度轮廓导数的最大值位移来确定近焦点位置范围。

有利地，处理系统被配置为从中推导出表面形貌图。

根据另一特定且有利的方面，所述处理系统被配置为根据沿着光轴的所述多个轴向位置(Z)，确定样本的所述多个图像的多个像素列向量(Px、Py)；所述处理系统被配置为使用多个像素列向量(Px、Py)中的每一个的梯度或一阶导数轮廓或者二阶导数轮廓的均方差或变化以及相关的置信水平值，来评估清晰度轮廓或对比度轮廓；所述处理系统被配置为针对具有相关的置信水平值的所述像素列向量(Px、Py)中的每一个，分析所述清晰度或对比度轮廓，并从中推导出所述多个像素列向量(Px、Py)中的每一个的焦点位置；并且所述处理系统被配置为确定所述多个像素列向量(Px、Py)中的每一个的焦点位置和相应像素强度的三维坐标，并构建以三维表示样本表面的样本形貌图像。

本发明的另一目的是提供一种显微光谱测量方法，包括以下步骤：

确定光学显微镜的样本台的当前位置；

生成被引向设置在样本台上的样本的照明光束；

在光学显微镜上选择显微镜物镜；

通过来自样本表面的照明光束的反射或透射获取通过所述光学显微镜形成的第一图像，所述第一图像具有大视场；

将第一图像存储在数据存储单元中，

在显示系统上显示第一图像；

通过来自样本表面的照明光束的反射或透射获取通过所述光学显微镜形成的第二图像，所述第二图像具有小视场；

在显示系统上显示第二图像；

确定第一图像的坐标系中对应于第二图像的小视场的区域；

在第一图像上显示所述区域的图形表示；

选择在显示系统上显示的第一图像和/或第二图像中的关注区域；并且

定位样本，以便引导样本的关注区域上的激发光束通过所述显微镜，并且收集由激发光束在样本的关注区域上的散射生成的拉曼或光致发光光束。

优选地，该方法包括使用光谱仪系统进一步检测拉曼或光致发光信号。

在特定实施例中，使用限定光轴的相同显微镜物镜形成第一图像和第二图像，并且获取第一图像的步骤包括在垂直于光轴的平面中的多个预定位置获取多个图像，并且通过根据所述多个图像的预定位置平铺所述多个图像来形成第一图像。

在另一特定实施例中，使用低放大率物镜形成第一图像，使用高放大率物镜形成第二图像。

有利地，该方法还包括以下步骤：

使用显微镜物镜，用于在样本固定器相对于光学显微镜的多个相对轴向(Z)位置获取样本的多个图像，沿着所述显微镜物镜光轴获取所述相对轴向(Z)位置；

评估所述多个图像中的每个图像的中心区域中的清晰度；

从对所述多个轴向Z位置评估的清晰度推断中心区域中的焦点位置；

将样本放在中心区域的所述焦点位置，并且

其中，在所述焦点位置进行获取所述第一图像和/或所述第二图像的步骤。

有利地，在确定焦点位置之前，该方法还包括为所述多个图像中的每一个计算中心区域中的平均强度导数，根据所述多个轴向Z位置确定平均强度导数轮廓，并且在所述平均强度导数轮廓的最小值的方向上移动样本固定器，以便确定近焦点位置范围。

在特定实施例中，使用所述多个图像中的每一个的平均强度来找到所述近焦点位置范围，并且其中，通过根据所述多个轴向Z位置计算所述平均强度的一阶导数以及在计算的导数的最小值的方向上的进一步样本Z位移，来找到所述近焦点位置范围，直到MSD变化变为非零，从而定义了近焦点Z范围。

在特定实施例中，根据所述多个轴向Z位置，从所述多个图像中的每一个的中心区域中的平均强度差值和均方差(MSD)轮廓推导出评估清晰度的步骤，并且其中，通过计算所述均方差轮廓的最大值来确定所述焦点位置。

在又一实施例中，根据所述多个轴向Z位置，通过计算所述多个图像中的每一个的中心区域中的图像梯度，并且计算图像梯度轮廓，来推导出评估清晰度的步骤，并且其中，通过计算所述图像梯度轮廓的最大值来确定所述焦点位置。

根据另一特定方面，显微光谱测量方法还包括以下步骤：

根据沿着光轴(OZ)的所述多个轴向位置(Z)，确定样本的所述多个图像的多个像素列向量(Px、Py)；

使用多个像素列向量(Px、Py)中的每一个的均方偏差、变化、梯度、一阶导数轮廓或二阶导数轮廓以及相关的置信水平值来评估清晰度轮廓或对比度轮廓；

用多个像素列向量中的每一个的相关置信水平值分析所述清晰度轮廓或对比度轮廓，以从中推导出所述多个像素列向量中的每一个的焦点位置；

提取焦点位置的三维坐标和相应的像素强度，

将焦点位置的三维坐标和相应的像素强度保存到存储单元45中；并且

使用焦点位置的三维坐标和相应的像素强度来构建样本形貌图像Z(X、Y)和/或三维样本表面图像。

该系统和方法能够在选定的关注区域(ROI)中获取拉曼信号，同时在样本表面上提供快速和容易的导航。

优选地，用于拉曼或光致发光测量的关注区域选自：矩形区域、盘形区域、用户指定区域、线、一组随机选择的点和一组用户指定的点。

该方法和系统速度快，不需要额外的硬件组件。

附图说明

当参考附图时，将更好地理解本发明，其中：

图1示意性地表示了组合光学显微镜、光致发光或拉曼光谱仪和可视化装置的设备；

图2示出了在可视化装置上显示的图案化样本的第一图像和第二图像的示例，并且示出了覆盖在第一图像上的、与第二图像相对应的区域的边界；

图3示出了另外使用自动聚焦处理获取的另一样本的第一图像和第二图像的另一示例；

图4A-图4E分别示出了使用在不同的Z轴位置拍摄的10倍物镜获取的金红石样本的一叠图像中的一些图像，图4F示出了基于对包括图4A-图4E的一叠图像的处理重建的聚焦图像；

图5示出了用10倍物镜获取的2D阿司匹林片剂样本的虚拟清晰化图像，图6示出了相应的表面形貌图；

图7示出了使用100倍物镜的石膏样本的重建的2D聚焦图像，图8示出了相应的全聚焦3D重建的表面形貌；

图9示出了100倍的金红石样本的2D表面形貌图像，图10示出了相应的拉曼光谱图像。

具体实施方式

本文公开了一种新的数字方法，用于在样本移动或样本表面导航期间自动寻找样本表面的焦点，同时可视化视场内的整个样本表面，在视场内配准该全聚焦样本表面，以进一步组合成镶嵌图像，并通过放大其细节来在大样本图像上容易导航，目的是为进一步的PL和拉曼测量以及样本表面成像选择精确和复杂的ROI。

装置

本公开的第一方面涉及一种用于PL或拉曼信号获取的、提供容易在样本表面上导航的新系统和方法。

图1示意性地示出了组合光学显微镜10、光致发光或拉曼光谱测定系统50、处理系统40和显示装置44的系统。

光学显微镜10通常包括显微镜架、至少一个物镜11和用于保持待分析样本的样本固定器。物镜11限定了大致垂直的光轴OZ。优选地，光学显微镜10包括低放大率物镜11和高放大率物镜12。

显微镜10通常包括电动致动器20，用于在三维方向上相对于物镜11移动样本台。例如，样本台可以安装在XY扫描台上，以便沿着X和/或Y方向平移样本，并且显微镜主体配备有能够沿着OZ轴移动显微镜物镜11的Z台，以便调节聚焦。或者，样本台可以安装在XYZ扫描台上，能够以3D方式移动样本。可替代地或互补地，样本台可以安装在旋转台上。

在本文件中，我们考虑XYZ正交坐标系，其中，OZ轴对应于显微镜的光轴，并且其中，OX轴和OY轴垂直于OZ轴。通常，OZ轴是垂直的。

光学显微镜10包括照明转台，该照明转台包括用于将照明光引导至物镜的分束器13、用于将显微镜与光谱仪耦合的切换镜14以及用于在CMOS相机上产生样本图像的管状透镜15。此外，光学显微镜10包括白光源18和照明聚光器17。白光源18包括例如LED或卤素灯。白光源18生成被引向照明聚光器17的白色光束。照明聚光器17形成照明光束，该照明光束在分束器13上朝着样本表面反射。

此外，光学显微镜10包括用于获取样本表面的视频图像的摄像机16。如果光学显微镜10被配置为以反射方式进行操作，则使用反射光形成样本表面的视频图像，或者如果光学显微镜10被配置为以透射方式进行操作，则使用透射光形成样本表面的视频图像。

光致发光或拉曼光谱测定系统50包括激光光源51、瑞利滤光器52、耦合光学器件54、光谱仪55和CCD相机60。激光源51生成确定波长的激发光束。在输入路径上，瑞利滤光器52向光学显微镜的光路中的切换镜14发射激发光束，以便将激发光束导向样本表面。物镜11将激发光束聚焦在样本上。切换镜14能够将激发光束导向或不导向样本表面。物镜11收集被样本反向散射的光束，并将反向散射的光束返回到切换镜14。在返回路径上，瑞利滤光器52将激光波长的瑞利散射光与光致发光或拉曼散射光分离。例如，瑞利滤光器52包括陷波型注入-抑制频谱滤光器。可选地，共焦针孔53被设置成从样本中的特定平面选择拉曼或光致发光光束。耦合光学器件54将光致发光或拉曼散射光聚焦在光谱仪55的入口狭缝上。CCD相机60设置在光谱仪55的输出端，以便检测光致发光或拉曼光谱。

通常，微型光谱测定系统包括处理系统40，该处理系统40包括获取单元41、处理单元42、控制单元或中央处理单元43和数据存储单元45。获取单元41分别从摄像机16获取图像和/或从CCD相机60获取光谱。处理单元42对获取的图像和/或光谱进行数值处理。中央处理单元43协调扫描台20、白光源18、切换镜14、激光源51、瑞利滤光器52、共焦针孔53、切换镜14和光谱仪55的操作。

最后，微型光谱测定系统包括由一个屏幕或几个屏幕组成的显示装置44。显示装置44连接到中央处理单元43。例如，显示装置44实时显示在摄像机16上获取的样本图像和/或在该样本点使用CCD相机60测量的光谱。

现在，我们将描述根据本公开的第一方面的这种显微光谱测定系统的配置和操作，该显微光谱测定系统提供样本尺度的导航图，用于选择ROI并在该ROI中执行拉曼或PL光谱测定。

例如，显微镜使用具有4倍、5倍或10倍的低放大率的第一物镜11。

电动或压电驱动的XY扫描台20用于在样本的表面研究或可视化期间驱动在X和/或Y方向的位移。优选地，显微镜包括电动Z台或压电致动的Z台，用于沿OZ轴在样本台和物镜之间的相对位移。控制单元43实时接收XYZ台的当前位置。

使用显微镜的第一物镜11，显微镜摄像机16检测通过在样本表面上反射白色光束而获取的样本表面的第一图像71。校准显微镜相机和第一物镜，以便确定XY台和与第一物镜组合的摄像机16的像素阵列的坐标之间的坐标传递函数。因此，第一图像71的每个像素已经确定了样本台的XY坐标系中的位置。第一图像71存储在数据存储单元45中分配的虚拟图像空间中。该第一图像71用于初始化导航地图的内容，如图2所示。第一图像71存储在数据存储单元45中。第一图像71也作为静态图像显示在显示装置44上。

然后，第二物镜12代替第一物镜11。第二物镜12是高放大率物镜，例如，50倍或100倍。优选地，第一物镜11和第二物镜12具有相同的光轴(OZ)。或者，校准用于确定第一物镜11和第二物镜12的光轴之间的偏移。处理单元40存储对应于每个物镜的放大率以及可能的偏移。与第一物镜类似，校准显微镜相机和第二物镜，以便确定XY台和与第二物镜组合的摄像机16的像素阵列的坐标之间的坐标传递函数。可选地，电动Z台或压电致动的Z台用于调节焦点。

第二物镜12能够缩放在样本上的特定区域，并通过在样本表面上反射白色光束而获取同一样本表面的第二图像72。第二图像72的每个像素已经确定了样本台的XY坐标系中的位置。CMOS摄像机16将缩放区域记录为实时视频或图像。该第二图像72(静态或实时)显示在屏幕44上，如图2(右侧)所示。由于放大率较高，第二图像72呈现窄视场，优选地至少部分地包括在第一图像71的视场中。摄像机16上的视场通常为矩形。

或者，显微镜系统使用单个显微镜物镜来形成作为全景图像的第一图像71和具有小视场的第二图像72。在这种情况下，通过获取在多个X、Y位置拍摄的多个图像并根据这些图像的相应位置平移该多个图像来获得第一图像71，从而获得第一图像71，提供样本的大视场。

在所有情况下，以大视场获取第一图像71，并且以小视场获取样本的第二图像72。第一图像和第二图像可以显示在单独的屏幕上。或者，第一和第二图像在同一屏幕上的不同窗口中显示，例如，使用镶嵌窗口。

此外，处理单元40计算在第一图像71的坐标系中的、对应于第二图像72的视场的矩形框位置。在显示装置44上显示覆盖在第一图像71上的这个矩形框的边界的图像73。因此，我们获取包括以覆盖方式显示的第一图像71和矩形框73的导航地图。导航地图还包括同时显示在第一图像71旁边的第二图像72。第二图像72在窄视场上提供变焦，通常比第一图像71具有更高的空间分辨率和更低的景深。第二图像72根据XY台的当前位置实时更新。同时，矩形框73的边界位置也根据XY台的当前位置实时更新。

处理单元40还用于驱动致动器，以使样本台相对于显微镜物镜移动。例如，处理单元在X和/或Y方向上移动样本台。实时地，摄像机16记录更新的第二图像72。处理单元还实时计算和更新在显示装置44上的矩形框73的位置。

用户可以使用任何输入装置(例如，集成的计算机鼠标、跟踪球、操纵杆、触摸板或触摸屏)，同时可视化图像71、72和73并且使用这些图像，以便于引导到样本表面。用户可以容易地在第二图像72上使用“拖放”功能(显微图像)。XY台实时移动，以在期望的XY位置显示实时第二图像。用户还可以点击或触摸以选择第一图像71上的区域，以便将样本移向该区域。

因此，用户通过同时观察第一图像71、第二图像72和矩形框73，容易地控制样本表面上的相对移动。

用户可以很容易地在样本上选择关注区域，并确定移动方向。

可替代地和/或补充地，矩形框73可使用适当的用户界面移动到目标位置。用户界面包括例如计算机鼠标或触摸板或触摸屏或任何其他交互式装置。控制单元43检测显示装置44上的矩形框73的移动，并计算XY台的相应位移。控制单元43驱动扫描台20，使得向XY扫描台施加相应的位移。因此，XY台到目标位置的自动位移可以由用户界面并且在显示装置44上可视地控制。

当XY台已经移动到期望的ROI时，用户可以在所选择的ROI中触发光致发光或拉曼光谱获取。

因此，该系统通过样本地图提供了视觉交互导航。该系统和方法在样本探索和分析方面提供了独特的经验。这使得拉曼或光致发光测量的关注区域的发现变得容易得多。

该系统能够在缩放的样本表面上导航，并可视化样本表面细节。图2所示的样本具有大致平坦的表面，并且呈现出具有高对比度的特征。

因此，用低放大率物镜和大视场获取的样本的第一图像71提供了具有坐标系的导航地图。同时，用高放大率物镜获取的并包含样本表面细节的缩放样本的第二图像72位于第一图像的坐标系中。该技术允许用户在关注区域同时具有全局样本视觉和样本的表面细节视觉。

然而，一些样本可能呈现粗糙或有纹理的表面和/或具有比显微镜物镜的聚焦深度更大特征的表面形貌。这种样本通常产生至少部分模糊的视频图像。此外，使用共焦系统，第一图像71和/或第二图像72可能由于失焦而至少部分模糊。样本的模糊图像妨碍了在样本表面上容易导航，因为细节特征是不可见的。也更加难以确定样本表面的ROI并获取精确的拉曼或PL显微光谱数据。

本公开的第二方面涉及与使用CMOS摄像机16的快速图像采集组合的Z台位移，以便在导航期间保持物镜的视场始终聚焦在样本的表面上(见图3)。

这种技术在本文中称为NavSharp，代表在粗糙、纹理化的样本表面或表面浮雕上进行清晰导航。该技术与第一方面中公开的导航地图技术组合，以便在粗糙、纹理化或浮雕样本上提供清晰导航。

该系统使用计算机控制的电动或压电XY台。电动或压电显微镜Z台用于沿OZ轴移动。控制单元43将XY台移动到用户选择的位置。摄像机16在当前轴向Z位置获取样本图像。控制单元43在物镜上将Z台移动预定距离，并且摄像机16获取另一图像。对于每个获取的图像，处理单元42继续进行图像分析。将处理算法应用于图像的中心区域。在第二方面的以下描述(NavSharp描述)中，术语图像分析意味着应用于其中心区域，包括几十个像素。

在此处，图像处理单元42基于每个获取的图像的中心区域中的和用于对应的轴向Z位置的在X和Y方向上的图像像素强度的均方差(MSD)的组合来评估图像清晰度。

在本公开中，如下定义MSD：

MSD＝(∑(I_x+d，y-I_x-d，y)²+∑(I_x，y+d-I_x，y-d)²)/(2*M*N)

其中，I_x，y表示具有{x，y}坐标的像素的图像强度，∑表示M*N像素中心区域内所有x和y坐标的总和，d表示横向距离参数。

详细地，为了评估不同轴向Z位置的图像清晰度，我们计算短距离(几个像素)的MSD和长距离(几十个像素)的MSD。在不同轴向Z位置的图像的短距离的MSD进行比较，可以找到定义图像的最佳焦点位置的MSD最大值。将不同Z处的未聚焦图像的长距离的MSD进行比较，可以评估它们中哪一个离焦点更近。处理单元42基于两个MSD做出关于下一个Z运动的决定。如果当前的轴向Z位置离焦点太远，则长距离的MSD值不允许找到焦平面的方向。在这种情况下，我们使用摄像机16获取的反射光的强度。处理单元42计算每个轴向Z位置处的平均图像强度及其相对于Z的导数。控制单元43在导数最小的方向上移动样本台，并且并行地，处理单元42计算所获取图像的MSD。一旦新获取的和先前获取的图像的MSD比高于预定阈值水平，处理单元42切换到MSD焦点寻找方法。在本公开中，我们声明导数最小值的位置在靠近焦点的轴向Z位置的范围内，该范围对应于出现显著的MSD变化。我们用不同种类的样本在实验中凭经验证实了这一说法。

需要在不同的轴向Z位置和几乎相同的(移动少于分析区域的四分之一)XY位置的两个或更多图像来决定下一个移动。处理单元42分析由MSD和获取的图像的平均强度组成的Z轮廓。

如果MSD的Z轮廓清楚地指示轮廓区域内最大值的位置，则控制单元43将Z台移动到与找到的MSD最大值对应的轴向Z位置，并存储该Z焦点位置和对应的XY位置。在另一种情况下，如果MSD轮廓在测量范围内的最低或最高轴向Z位置处具有最大值，则控制单元43将Z台移动到测量的轮廓范围之下或之上的另一轴向Z位置。恢复作为Z函数的图像采集，并更新MSD轮廓。如果最大值位于测量的轮廓范围内，则用减小的Z位移搜索新的MSD轮廓最大值，直到找到Z焦点位置。控制单元43将Z台移动到与找到的MSD最大值对应的新的轴向Z位置，并存储该Z焦点位置和对应的XY位置。

如果MSD轮廓几乎是平坦的，则找不到Z运动方向。在这种情况下，处理单元42分析平均强度的Z轮廓。这种分析要求至少在三个轴向Z位置进行测量，这两者之间有很大的距离，以便评估平均强度的Z轮廓。控制单元43将Z台移动到这些轴向的Z位置，并且摄像机16获取相应的图像。处理单元42根据平均强度导数的Z轮廓的最小值确定沿着OZ轴的运动方向。控制单元43在该方向上移动样本台，并且并行地，处理单元42计算所获取的图像的MSD，以找到其最大值，该最大值确定焦点位置。将Z台移动到找到的焦点位置。

对于每个获取的图像，处理单元42计算MSD和平均图像强度，并将其与当前3D(X、Y，Z)位置一起保存在数据存储单元45中。每次当用户将载物台移动到某个X、Y位置时，控制单元43检查存储的值，并且如果其X、Y值与实际位置偏移小于中心区域的四分之一大小，则选择这些存储的值。如果用于不同测量的这些选择值足以定义焦点位置，则控制单元43将载物台直接移动到确定的位置。否则，处理系统40获取丢失的数据，以继续进行焦点位置查找。所提出的算法为焦点查找提供了一个智能的实时过程。当在先前已经扫描过的关注区域上导航时，直接选择最佳聚焦平面。

因此，处理系统40通过快速移动Z台并使用一种或多种方法的组合来在不同的Z轴位置获取多个图像，以检测每个下一个潜在的目标候选者：Z值，选择最清晰的平面，然后移动平台，使得用户可以以自动方式在最佳焦点处看到样本。

因此，通过实时调整可控的Z轴位置，清晰导航方法能够自动聚焦在图像中心区域的样本表面上。这种自动聚焦适用用于在XY台移动和获取图像的实时更新期间。此外，用户可以选择不在图像中心的ROI，使用拖放功能将ROI放置在相机的视场中心，以便在所选择的ROI上执行自动聚焦。

此外，为了加速聚焦平面的选择，也为了便于其查找，反射光中的图像的平均强度的导数的Z轮廓用于确定用于焦点位置查找的Z方向。

最佳聚焦Z轴位置的检测使得在样本表面上容易导航，特别是当使用共焦孔和/或当样本具有粗糙、纹理化或浮雕表面时。

这种方法允许用户容易地在样本上找到关注区域(ROI)。这种方法还允许使用物镜和限制视场的相机，并使用电动或压电XY台，来可视化样本的表面细节。

作为一个示例，图3在显示装置的右上角示出石膏矿物样本的第一图像71。石膏样本具有纹理表面和复杂的表面形貌。图3还示出了同一石膏样本上缩放区域的第二图像72以及在第一图像上覆盖显示的矩形框73，该矩形框73示出了对应于第二图像72的视场的区域。图3还示出了在第二图像中心的像素56的位置。此处示出的第二图像72聚焦在中心区域。然而，第二图像72在其中心区域之外的其他X、Y位置看起来模糊不清。图3显示了用于在复杂的样本表面上导航的清晰导航技术的效率。

在第二图像72上，用户可以以图形方式定义对应于拉曼或光致发光测量的ROI的区域74。

图3的示例表明，对于具有粗糙、不规则和凹凸不平的表面形貌的样本，其Z变化大于物镜11、12的景深，样本图像仅聚焦在中心区域，但在其他部分模糊，这阻碍了ROI的导航和精确确定，并限制了对样本表面进行访问，用于光致发光和/或拉曼测量。

因此，开发了本公开的第三方面，并且提供了一种用于在整个视场上可视化样本表面的方法。

这第三个方面被称为视角清晰，代表清晰查看。该方面与清晰导航和导航地图结合使用，如上所述。

该系统使用计算机控制的电动或压电驱动的显微镜Z台沿Z轴移动，以便将探测到的样本放在所需的高度。还使用摄像机16进行高分辨率的快速图像采集。我们选择物镜11或12中的一个，以从用户预定义的Z范围内获取白光的宽视场显微镜配置的图像。根据样本表面的Z变化，用户从“短”、“标准”、“宽”和“最大”范围选项中选择Z扫描范围。这些范围的最小值zmin和最大值zmax以及扫描步长ΔZ是根据所选物镜和表面粗糙度预先定义的。

控制单元43使用电动或压电驱动的显微镜Z台，以选定的ΔZ步长扫描选定的Z范围内的样本表面。对于每个Z位置，摄像机16获取样本的相同XY区域的图像131、132、133、134、135。换言之，在Z扫描期间，样本的相对XY位置保持不变。例如，图4A示出了在Z＝140μm平面中拍摄的样本区域的图像131。图4B示出了在Z＝70μm平面中拍摄的相同样本区域的另一图像132。图4C示出了在Z＝0μm参考平面中拍摄的相同样本区域的另一图像133。图4D示出了在Z＝-70μm平面中拍摄的同一样本区域的另一图像134。而且，图4E示出了在Z＝-140μm平面中拍摄的同一样本区域的另一图像135。

在对应于聚焦中心区域的参考或工作平面之上和之下的多个轴向Z位置处获取的图像的堆叠存储在数据存储单元45中。每个获取的图像包括聚焦和失焦或模糊区域。这些图像的堆叠包含关于视场内的全聚焦样本表面的信息，当我们不考虑关于像素Z位置的信息时，可以在2D图像中提取并呈现这些信息，或者当像素Z位置信息用于重建图像形貌时，在3D图像中提取并呈现这些信息。图像堆叠形式的存储的像素值可以以列向量形式为每个X、Y位置表示。对应于X、Y位置或X、Y列向量的列向量由用于图像采集的每个Z位置的相同X、Y位置的像素强度值组成。在视场以N×M像素为特征的情况下，所获取的一叠图像中的所有像素将以N×M列向量来组织。

图像处理单元42分析每个获取的图像。因此，在获取样本一叠图像之后，对其进行实时处理。可选地，对每个获取的图像进行处理，以去除噪声和伪影，然后通过在Z方向上应用拉普拉斯算子对其进行清晰化。每个像素值I(z)用I(z)+dI(z)代替，其中，dI(z)是根据像素入库面积计算的局部微分。更准确地，dI(z)是以下一种方式dI(z)＝(I(z)*2-I(z-1)-I(z+1))*系数来计算的，其中，该系数对应于不同的清晰化级别。该操作放大观察到的清晰度，以促进查找最大清晰度。根据拉普拉斯算子的数学表达式，可以将由强度值矩阵I(X，Y，Z)呈现的获取的图像清晰化为不同的水平。可以在最终的ViewSharp图像重建中使用清晰化的像素值。

图像处理单元42将像素入库应用于每个图像，以便提高清晰度检测。像素入库区域(例如，3×3像素或5×5像素)用于计算MSD值。所获取的MSD值被分配给对应的Z位置的对应的X、Y列向量。以这种方式，计算的列向量表示X、Y MSD Z轮廓。分析MSD Z轮廓的第一最大值和第二最大值，并基于置信水平标准，选择或不选择找到的第一最大值。处理单元42为每个找到的第一最大值计算置信度值。置信度值(在此称为CV)由第一MSD最大值与第二MSD最大值和平均MSD值之和的比值定义：

基于经验数据，引入了置信水平(CL)等于2(低、3(中)和4(高)。如下定义最大选择的标准。如果计算的CV高于CL，则处理单元(42)选择最大值。选择低置信水平可能导致噪声和MSD最大值的假阳性信号。相比之下，选择非常高的置信水平可能会导致检测任何MSD最大值失败。在纹理化、明亮且均匀照明的表面的情况下，低或中等置信水平将足以找到清晰度最大值并重建所有视场的清晰图像。在表面平滑或照明不良的情况下，处理单元42使用高置信水平，并且CV可能不够高，以克服CL。在这种情况下，使用插值过程来确定MSD值，使用相同高置信水平的找到的相邻X、Y的最大MSD值。

最大清晰度选择标准的定义至关重要，因为这影响样本表面测定的准确性。它还定义了ViewSharp过程执行所需的时间。这个标准实际上定义了用于高效执行过程的计算机内存和处理器资源。

处理单元42将后处理应用于描述清晰度最大值的MSD最大值的发现值。作为一种选择，应用平滑来去除伪影MSD值。对于每个找到的MSD最大值，处理单元42恢复对应的X、Y、Z坐标和强度值。获取的坐标可用于呈现样本表面形貌Z(X、Y)。当控制系统40使用ΔZ步长扫描样本表面时，恢复的Z位置值将通过该步长沿着Z轴间隔开，从而在样本形貌图像上形成阶梯。为了接近真实表面，基于在OZ方向上分析最近邻居的MSD值，沿着OZ轴应用插值步骤。一旦进行了沿Z轴的插值，就获取了连续的样本形貌。在清晰度计算过程中，由于像素入库操作，所获取的样本表面形貌图像在X和Y方向上减小。为了以高空间分辨率将所获取的样本形貌图像恢复到原始尺寸，处理单元42沿着X和Y方向应用另一插值过程来恢复对应于原始像素位置的所有Z值。处理单元42提供全聚焦表面形貌图像，其中，新图像具有与原始图像相同的像素数。如此获取的X、Y、Z值用于构建全聚焦强度2D和3D样本表面图像，其中，每个新的像素强度值对应于找到的最大清晰度或插值中间强度值的强度值。

所获取的X、Y、Z和相应的强度值由存储单元存储。样本表面的表面形貌或Z图由单元45存储在存储器中，并由显示单元44可视化。全聚焦2D和3D样本表面强度图像由单元45存储在存储器中，并由显示单元44可视化。图4F示出了这种2D重建图像141的示例。重建图像141在整个视场上显得清晰。该重建图像141可以至少部分替换第一图像71和/或替换在显示装置44上显示的第二图像72。重建图像141能够在具有粗糙表面纹理和/或不平坦表面形貌的样本表面上容易导航。重建图像141还可以用于更新导航地图中的第一图像的至少一部分。因此，重建图像能够可视化样本表面细节，并更精确地确定拉曼或光致发光测量的ROI。

图5示出了另一样本的2D全聚焦表面强度图像的示例。所示图像对应于摄像机16的视场。我们可以清晰地看到所有图像表面。所有模糊的失焦图像区域都被清晰的聚焦图像区域替代。图6示出了同一样本的重建表面形貌图像。样本表面形貌图像给出了一般样本视图，允许可视化表面细节，并用于方法性能的一般评估。

图7示出了2D全聚焦表面强度图像的另一示例。我们可以看到非常清晰的样本表面图像，其中，Z变化是物镜视场的许多倍。图8示出了基于恢复的表面焦点Z位置的相应3D图像表面强度轮廓。该图像呈现了表面浮雕的特殊性，并能够在3D空间中精确地选择ROI。所选择的ROI用于获取每个选定像素的拉曼或光致发光光谱。因此，以高横向和轴向分辨率获取拉曼或光致发光光谱测量。用光谱仪55和CCD相机60获取拉曼或光致发光光谱。

通过对ROI的逐像素扫描来进行拉曼或光致发光映射，使用找到的Z值从每个像素共焦获取光谱。或者，光谱最大值或积分可以用作图像清晰化的像素值。实际上，在激发激光没有穿透样本的情况下，拉曼响应可以用于使用对比度值或强度值而不是白光反射的全聚焦图像重建。

图9示出了根据上述公开处理的清晰化图像的另一示例。白光反射强度用于使用本文公开的ViewSharp方法生成3D表面轮廓。图10示出了在从形貌图确定的聚焦的Z轴位置逐点测量的相应拉曼图。观察到拉曼光谱图具有优异的空间分辨率。图9和图10的比较使得能够根据拉曼或光致发光测量结果分析由形貌证明的形态特征，这些测量结果给出了关于化学成分的额外信息。

Claims

1.一种光学显微光谱测定系统，包括：

-光学显微镜(10)，包括用于持有待分析样本的样本固定器和限定光轴(OZ)的至少一个显微镜物镜(11、12)；

-光谱测定系统(50)，包括适于生成激发光束的光源(51)、光谱仪(55)和检测系统(60)，

-光学系统(14)，适于通过所述至少一个显微镜物镜(11、12)将所述激发光束引导至所述样本上，并收集通过所述样本上的所述激发光束的散射而生成的拉曼或光致发光光束，所述光学系统(14)适于将所述拉曼或光致发光光束引导向所述光谱仪(55)和所述检测系统(60)；以及

-致动系统(20)，用于驱动所述样本固定器和所述至少一个显微镜物镜(11、12)之间的相对横向(dX、dY)运动和/或轴向(dZ)运动，

其特征在于，所述光学显微光谱测定系统包括：

-另一光源(18)，用于生成照明光束；

-成像系统(16、41)，与所述至少一个显微镜物镜(11、12)组合布置，并且所述成像系统被配置为获取所述样本的第一图像(71)并获取所述样本的第二图像(72)，所述第一图像(71)和所述第二图像(72)通过来自样本表面的照明光束的反射或透射而形成，所述第一图像(71)具有大视场，并且所述第二图像(72)具有小视场；

-处理系统(40)，被配置为确定在所述第一图像(71)的坐标系中对应于所述第二图像(72)的小视场的区域；

-显示系统(44)，被配置为显示所述第一图像(71)、所述第二图像(72)，并且显示覆盖在所述第一图像(71)上的所述区域的图形表示(73)；

-用户界面，被配置为选择所述第一图像和/或所述第二图像中的关注区域；

-所述致动系统(20)被配置为定位所述关注区域，以便接收所述激发光束；以及

-所述光谱测定系统(50)被配置为获取从所述关注区域生成的拉曼或光致发光信号。

2.根据权利要求1所述的光学显微光谱测定系统，其中，所述成像系统(16、41)适于实时获取所述第二图像(72)，所述处理系统(40)适于实时更新对应于所述第二图像(72)的区域，并且其中，所述显示系统(44)适于实时显示所述第二图像(72)和实时更新的区域的图形表示(73)。

3.根据权利要求2所述的光学显微光谱测定系统，其中，所述用户界面包括集成的计算机鼠标、轨迹球、操纵杆、触摸板和/或触摸屏，所述用户界面适于使用拖拽和移动操作分别与所述第一图像(71)或所述第二图像(72)进行交互，以便通过确定的横向位移来分别移动所述第一图像(71)中的大视场或所述第二图像(72)中的小视场，并且其中，所述致动系统(20)适于分别驱动与所述第一图像(71)或所述第二图像(72)中的确定的横向位移成比例的相对横向运动(dX、dY)。

4.根据权利要求1至3中任一项所述的光学显微光谱测定系统，其中，所述致动系统(20)包括驱动单元，所述驱动单元被配置为沿着光轴(OZ)相对于所述样本固定器改变所述至少一个显微镜物镜的轴向位置(Z)，

-所述成像系统(16)被配置为在沿着所述光轴(OZ)的多个轴向位置(Z)处获取所述样本的多个图像，

-所述处理系统(40)被配置为计算所述多个图像中的每个图像的中心区域中的相邻像素强度的均方差(MSD)，并由此评估所述多个图像中的每个图像的中心区域的图像清晰度，并且所述处理系统(40)被配置为从中推导出所述中心区域上的焦点位置，并且

所述成像系统(16)被配置为在所述中心区域上的所述焦点位置处获取所述第一图像(71)和/或所述第二图像(72)。

5.根据权利要求4所述的光学显微光谱测定系统，其中，通过根据所述多个轴向位置(Z)计算所述多个图像中的每一个的均方差(MSD)值以及均方差值的轮廓来确定所述中心区域上的焦点位置，并且其中，通过计算所述均方差值的所述轮廓的最大值来确定所述中心区域上的焦点位置。

6.根据权利要求4或5所述的光学显微光谱测定系统，其中，通过根据多个轴向Z位置计算所述多个图像中的每一个的中心区域的平均强度导数和平均强度轮廓导数来评估所述图像清晰度，并且其中，通过在轴向方向(OZ)上朝向所述平均强度轮廓导数的最大值的位移来确定近焦点位置范围。

7.根据权利要求4至6中任一项所述的光学显微光谱测定系统，其中：

-所述处理系统(40)被配置为根据沿着光轴(OZ)的所述多个轴向位置(Z)来确定所述样本的所述多个图像的多个像素列向量(Px、Py)；

-所述处理系统(40)被配置为分别使用多个像素列向量(Px、Py)中的每一个的梯度或一阶导数轮廓或者二阶导数轮廓的均方差或变化以及相关的置信水平值，来评估清晰度轮廓或对比度轮廓；

-所述处理系统(40)被配置为针对具有所述相关的置信水平值的所述像素列向量(Px、Py)中的每一个，分析所述清晰度或对比度轮廓，并从中推导出所述多个像素列向量(Px、Py)中的每一个的焦点位置；并且

-所述处理系统(40)被配置为确定所述多个像素列向量(Px、Py)中的每一个的焦点位置的三维坐标和相应像素强度，并构建以三维表示所述样本表面的样本形貌图像。

8.一种显微光谱测量方法，包括以下步骤：

-确定光学显微镜的样本台的当前位置；

-生成被引向布置在所述样本台上的样本的照明光束；

-选择所述光学显微镜(10)上的显微镜物镜(11、12)；

-获取通过来自样本表面的照明光束的反射或透射通过所述光学显微镜(10)形成的第一图像(71)，所述第一图像(71)具有大视场；

-将所述第一图像(71)存储在数据存储单元(45)中；

-在显示系统(44)上显示所述第一图像(71)；

-获取通过来自样本表面的照明光束的反射或透射通过所述光学显微镜(10)形成的第二图像(72)，所述第二图像(72)具有小视场；

-在所述显示系统(44)上显示所述第二图像(72)；

-确定所述第一图像(71)的坐标系中的对应于所述第二图像(72)的小视场的区域；

-在所述第一图像(71)上显示所述区域的图形表示(73)；

-选择在所述显示系统(44)上显示的所送第一图像(71)和/或所述第二图像(72)中的关注区域；

-定位所述样本，以便通过所述显微镜将激发光束引导至所述样本的关注区域上，并且收集通过所述样本的关注区域上的所述激发光束的散射而生成的拉曼或光致发光光束；

-使用光谱仪系统(55、60)获取拉曼或光致发光信号。

9.根据权利要求8所述的显微光谱测量方法，还包括以下步骤：

-使用显微镜物镜，用于在样本固定器相对于所述光学显微镜的多个相对轴向(Z)位置处获取所述样本的多个图像，沿着显微镜物镜光轴(OZ)获取所述相对轴向(Z)位置；

-评估所述多个图像中的每个图像的中心区域中的清晰度；

-从针对多个轴向Z位置评估的清晰度推断所述中心区域中的焦点位置；

-将所述样本放置于所述中心区域的所述焦点位置；并且

-其中，在所述焦点位置处进行获取所述第一图像(71)和/或所述第二图像(72)的步骤。

10.根据权利要求9所述的显微光谱测量方法，还包括为所述多个图像中的每一个计算所述中心区域中的平均强度导数，根据所述多个轴向Z位置确定平均强度导数轮廓，并且在所述平均强度导数轮廓的最小值的方向上移动所述样本固定器，以便确定近焦点位置范围。

11.根据权利要求9至10中任一项所述的显微光谱测量方法，其中，根据所述多个轴向Z位置，从所述多个图像中的每一个的中心区域中的平均强度差值和均方差(MSD)轮廓来推导出评估清晰度的步骤，并且其中，通过计算均方差轮廓的最大值来确定所述焦点位置。

12.根据权利要求9至11中任一项所述的显微光谱测量方法，其中，根据所述多个轴向Z位置，通过计算所述多个图像中的每一个的中心区域中的图像梯度并通过计算图像梯度轮廓，来推导出评估清晰度的步骤，并且其中，通过计算所述图像梯度轮廓的最大值来确定所述焦点位置。

13.根据权利要求9至12中任一项所述的显微光谱测量方法，还包括以下步骤：

-根据沿着光轴(OZ)的多个轴向位置(Z)来确定所述样本的所述多个图像的多个像素列向量(Px、Py)；

-分别使用所述多个像素列向量(Px、Py)中的每一个的均方偏差、变化、梯度、一阶导数轮廓或二阶导数轮廓以及相关的置信水平值来评估清晰度轮廓或对比度轮廓；

-用多个像素列向量中的每一个的相关置信水平值分析所述清晰度轮廓或对比度轮廓，以从中推导出所述多个像素列向量中的每一个的焦点位置；

-提取焦点位置的三维坐标和相应的像素强度；

-将所述焦点位置的三维坐标和相应的像素强度保存到存储单元45中；并且

-使用所述焦点位置的三维坐标和相应的像素强度来构建样本形貌图像Z(X、Y)和/或三维样本表面图像。

14.根据权利要求8至13中任一项所述的显微光谱测量方法，其中，用于拉曼或PL测量的关注区域选自：矩形区域、盘形区域、用户指定区域、线、一组随机选择的点和一组用户指定的点。