CN112326672A - 一种基于多色并行移频照明的快速成像系统 - Google Patents

Abstract

本发明公开了一种基于多色并行移频照明的快速成像系统，包括光源、显微物镜、管镜、多色图像探测器阵列、控制模块和数据处理模块，光源包括垂直照明光源和两组以上倾斜照明光源；同一组倾斜照明光源的照明波长相同，不同组倾斜照明光源的照明波长不同；垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同，或与其中一组倾斜照明光源的照明波长相同。本发明利用照明光场的波长差异性，通过控制模块并行施加多色倾斜照明光场，利用多色图像探测器阵列快速并行采集各照明波长下被观测样品的远场像；借助数据处理模块，结合移频重构算法获取被观测样品宽频段空间频谱信息，重构恢复被观测样品的像，快速提升整个显微系统的成像速度。

Description

一种基于多色并行移频照明的快速成像系统

技术领域

本发明涉及样品空间频谱重构和显微成像，属于显微成像领域。

背景技术

传统显微成像系统分辨率受限于阿贝衍射极限，系统的空间分辨率无法优于半个照明波长。如能以大角度倾斜照明被观测样品，则有望实现对被观测样品空间高频信息的获取，进而打破衍射极限，实现高空间分辨率成像。

与暗场显微成像方式类似，公开号为CN102023164A的专利文献通过外部施加大角度环形暗场照明，实现了系统成像分辨率和对比度的提升。但是，在采用低倍低数值孔径角（NA）接收远场散射场信息时，该方法面临着被观测样品空间低频信息缺失问题，且环形倾斜照明下所获得的远场强度图包含各个方位的空间高频信息，无法通过解析子孔径频谱信息的方法重构被检测样品的宽频段空间频谱信息，最终将导致样品的成像变形问题。

公开号为CN105225202A、CN104181686A和CN106199941等专利文献提出了基于透射式照明的FPM（傅里叶叠层显微成像）成像方法，该方法通过依次点亮面阵单色LED阵列中的各个照明单元，分步获取被观测样品位于不同区间的子孔径频谱信息，进而通过频谱重构提升成像系统的空间带宽积SBP（Space Bandwidth Product）。但是，目前已有FPM成像方案均采用单色照明成像，且仅适用于透明样品。

目前，基于多色并行倾斜照明的且可开展频谱重构进而提升成像系统SBP的透射式/反射式显微成像系统方案仍未被报道。当前，基于滤光片分光和棱镜分光的彩色相机技术已经非常成熟，如果能够利用照明光场的波长差异性，并行获取不同倾斜照明角度下被观测样品的远场像，则有望实现对被观测样品不同频段空间频谱信息的同步获取与重构成像，进而提升整个显微系统的成像速度。

发明内容

本发明所要解决的技术问题是提供一种基于多色并行移频照明的快速成像系统，以实现对被观测样品不同频段空间频谱信息的并行获取与重构成像，提升整个显微系统的成像速度。

为解决上述技术问题，本发明所采取的技术方案是：本发明基于多色并行移频照明的成像系统包括光源、显微物镜、管镜、多色图像探测器阵列、控制模块和数据处理模块，所述光源包括垂直照明光源和两组以上倾斜照明光源；同一组倾斜照明光源的照明波长相同，不同组倾斜照明光源的照明波长不同；垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同，或与其中一组倾斜照明光源的照明波长相同；所述垂直照明光源和各倾斜照明光源的出射光照射到被观测样品上而激发出散射场；所述散射场被显微物镜收集，再经管镜整形而入射到多色图像探测器阵列，由多色图像探测器阵列中的不同单元采集不同波长光源所对应的散射场信号；由所述控制模块控制点亮各光源并控制多色图像探测器阵列中的各单元采集对应的散射场信号并转换成电学信号发送给数据处理模块，其中，不同组的倾斜照明光源并行点亮，同一组的倾斜照明光源依次点亮；若垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同，则垂直照明光源与各组倾斜照明光源并行点亮；若垂直照明光源的照明波长与其中一组倾斜照明光源的照明波长相同，则相同照明波长的垂直照明光源和倾斜照明光源依次点亮；由所述控制模块控制数据处理模块将来自于多色图像探测器阵列的各单元的电学信号转换为远场强度图并获取各远场强度图的子孔径频谱信息进行频谱拼接重构；所述垂直照明光源和各倾斜照明光源照射下形成的远场强度图所对应的相邻子孔径频谱信息间相互重叠，以使数据处理模块在按照频谱拼接重构算法进行空间频谱重构时，能够获取被观测样品的宽频段空间频谱信息收敛解，得到被观测样品的重构图像。

进一步地，本发明各所述倾斜照明光源呈同心环分布；或者，各倾斜照明光源固定在一球形曲面上并在不同高度上呈圆环形分布。

进一步地，本发明分布在同一个环上的倾斜照明光源的照明波长相同，分布在不同环上的倾斜照明光源的照明波长不同。

进一步地，本发明所述垂直照明光源、倾斜照明光源、显微物镜和多色图像探测器阵列均位于被观测样品的同一侧；或者，垂直照明光源、倾斜照明光源位于被观测样品的一侧，显微物镜和多色图像探测器阵列位于被观测样品的另一侧。

进一步地，本发明还包括二维扫描微位移台，样品台固定于二维扫描微位移台之上，在数据处理模块完成被观测样品的一个成像位置处的图像重构后，所述控制模块控制二维扫描微位移台移动样品台上的被观测样品到下一个成像位置处。

进一步地，本发明还包括显示器，所述显示器与数据处理模块连接。

进一步地，本发明还包括自锁焦模块，由所述控制模块控制自锁焦模块对被观测样品的表面进行实时锁焦成像。

进一步地，本发明所述数据处理模块还用于对被观测样品表面的相邻成像位置的重构图像进行拼接。

进一步地，本发明所述数据处理模块还用于对得到的拼接图像进行特征的智能识别和标定。

与现有技术相比，本发明的有益效果是：（1）本发明利用照明光场的波长差异性，并行获取不同倾斜照明角度下被观测样品的远场像，实现对被观测样品不同频段空间频谱信息的并行获取与重构成像，进而提升整个显微系统的成像速度。（2）利用本发明的成像系统，除能够给出被观测样品表面微结构的轮廓信息，还可进一步给出表面微结构内的细节信息。（3）本发明可通过频谱重构给出尺寸跨度较大的被观测样品的全部细节信息，应用于检测样品缺陷时，可有效避免漏检和错检。（4）本发明应用于缺陷检测时，不仅可通过对透明或非透明样品进行反射式照明，还可通过对透明样品进行透射式照明，使用准确的频谱重构提升成像系统空间带宽积。

附图说明

图1是本发明的一种实施方式的结构示意图；

图2是本发明中的倾斜照明光源的两种分布方式，其中，图2a是各倾斜照明光源固定在一球形曲面上并在不同高度上呈圆环形分布；图2b是三组倾斜照明光源呈同心圆环分布；图2a和图2b中，分布在同一个环上的倾斜照明光源的出射波长相同，分布在不同环上的倾斜照明光源的出射波长不同；

图3a是本发明的一种实施例的频谱重构示意图，其中，k _vert.0 表示垂直照明条件下本发明成像系统可探测样品的空间频谱半径；k _obl.1 表示加入垂直照明、第一环形倾斜照明条件下，本发明成像系统可探测样品的空间频谱半径；k _obl.2 表示加入垂直照明及第一、二环形倾斜照明光源阵列的照明条件下，本发明成像系统可探测样品的空间频谱半径；k _obl.3 表示加入垂直照明和三组环形倾斜照明条件下，本发明成像系统可探测样品的空间频谱半径；图3b是理想的三线对结构；图3c是普通照明条件下，图3b的理想三线对结构的远场像；图3d是采用本发明成像系统所获取的理想三线对结构的远场重构像；

图中，101. 倾斜照明光源，102. 倾斜照明光源的固定装置，103. 显微物镜，104. 样品台，105. 垂直照明光源，106. 光学透镜，107. 光学分束镜，108. 多色图像探测器阵列，109. 多色图像探测器阵列中的单色探测器，110. 二维扫描微位移台，111. 控制模块，112. 数据处理模块，113. 显示器， 201. 第一环形倾斜照明光源阵列（即最内层倾斜照明光源阵列），202. 第二环形倾斜照明光源阵列（即中间层倾斜照明光源阵列），203. 第三环形倾斜照明光源阵列（即最外层倾斜照明光源阵列），204.单色倾斜照明光源。

具体实施方式

以下结合附图和具体实施例，对本发明的技术方案作进一步阐述。

如图1所示，本发明基于多色并行移频照明的成像系统主要包括光源、显微物镜103、管镜（未在图中示出）、多色图像探测器阵列108、控制模块111和数据处理模块112。其中，光源包括垂直照明光源105和两组以上倾斜照明光源101，同一组倾斜照明光源的照明波长相同，不同组倾斜照明光源的照明波长不同；垂直照明光源105的照明波长与任一组倾斜照明光源的照明波长不同，或者与其中一组倾斜照明光源的照明波长相同。倾斜照明光源101可选择不同波段的LED（发光二极管）光源、LD（镭射二极管）光源等。优选地，显微物镜103可以选用如5X、10X、20X的定焦物镜。多色图像探测器阵列108中的各单元（即单色探测器109）可采集不同波长光源所对应的散射场信号。多色图像探测器阵列108中的各单色探测器109可选用CCD（电荷耦合器件）、SCMOS（Scientific COMS，COMS：互补金属氧化物半导体）等。

垂直照明光源105和各倾斜照明光源101的出射光能够照射到被观测样品上而激发出散射场，其中，垂直照明光源105的出射光垂直照射到被观测样品上，各倾斜照明光源101以一定的倾斜角照射到被观测样品上。从被观测样品上激发出的散射场能够被显微物镜103收集，然后再经管镜整形而入射到多色图像探测器阵列108，由多色图像探测器阵列108的不同单元采集不同波长光源所对应的散射场信号。多色图像探测器阵列108中的各单元采集到的散射场信号转换成电学信号发送给数据处理模块112。作为本发明的一种实施方式，如图1所示，来自垂直照明光源105的光经光学透镜106、光学分束镜107、显微物镜103后垂直照射于被观测样品上。

控制模块111控制点亮各光源并控制多色图像探测器阵列108中的各单元采集对应的散射场信号并转换成电学信号发送给数据处理模块112。其中，不同组的倾斜照明光源被并行点亮；而属于同一组的倾斜照明光源，则是在上一个倾斜光源照明条件下的散射场信号的采集完成后再点亮下一个倾斜光源，从而使同一组中的倾斜照明光源被依次点亮。对于垂直照明光源105而言，若垂直照明光源的照明波长与各组倾斜照明光源的照明波长均不相同，则垂直照明光源与各组倾斜照明光源并行点亮；若垂直照明光源的照明波长与其中一组倾斜照明光源的照明波长相同，则相同照明波长的垂直照明光源和倾斜照明光源依次点亮。

在本发明中，同一组中的光源依次点亮是指对同一组中的光源而言，在上一个光源照明条件下的散射场信号的采集完成后再点亮下一个光源，从而使同一组中的光源由控制模块111控制而被逐个点亮。不同组的光源并行点亮是指在同一组的光源遵循被逐个点亮的情况下，不同组的尚未被点亮的光源由控制模块111控制也一并被点亮，换句话说，当一组中的光源在被逐个点亮时，其它组中的光源除非已被全部点亮，否则，其它组尚未被点亮的光源也同时被逐个点亮。

当垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同时，可将垂直照明光源视为独立存在的一组光源，由控制模块111控制垂直照明光源和各组倾斜照明光源被并行点亮。当垂直照明光源的照明波长与其中一组倾斜照明光源的照明波长相同时，则将垂直照明光源视为与其照明波长相同的一组倾斜照明光源中的成员，从而使垂直照明光源和同组内的倾斜照明光源由控制模块111控制被依次点亮。

控制模块111能够控制数据处理模块112将来自于多色图像探测器阵列108中的各单元的电学信号转换为远场强度图并获取各远场强度图的子孔径频谱信息进行频谱拼接重构。倾斜照明光源的倾斜入射角和倾斜照明光源的数量可根据所使用的显微物镜103的数值孔径NA、各光源的照明波长大小等参数进行调整，使得垂直照明光源105和各倾斜照明光源101照射下形成的远场强度图所对应的相邻子孔径频谱信息间相互重叠，以使数据处理模块112在按照频谱拼接重构算法进行空间频谱重构时，能够获取被观测样品的宽频段空间频谱信息收敛解，得到被观测样品的重构图像。

上一个光源照明条件下的被观测样品的远场强度图可以在下一个光源被点亮之前进行存储，也可以在下一个光源被点亮的同时或之后进行存储。本发明不仅可以对透明或非透明样品进行反射式照明成像，还可对透明样品进行透射式照明成像，并且，在两种照明成像方式下均可通过使用准确的频谱重构提升成像系统空间带宽积，不仅能够给出被观测样品表面微结构的轮廓信息，还可进一步给出表面微结构的细节信息。

在完成垂直照明光源105和所有倾斜照明光源101的照明条件下的远场强度图像的存储后，数据处理模块112通过施加傅里叶逆变换分别获取与各倾斜照明光源101的照射下形成的各远场强度图对应的子孔径频谱信息，按照频谱拼接重构算法重构恢复出被观测样品表面的形貌特征。

由此，本发明利用照明光场的波长差异性，通过并行点亮不同波长的倾斜照明光源而并行获取不同倾斜照明角度下被观测样品的远场像，实现对被观测样品不同频段空间频谱信息的并行获取与重构成像，进而快速提升整个显微系统的成像速度。

如图1所示，作为本发明的一种实施方式，垂直照明光源105、倾斜照明光源101、显微物镜103和多色图像探测器阵列108均位于被观测样品的同一侧，由此可以实现对透明或非透明样品的反射式照明成像。作为本发明的另一种实施方式，垂直照明光源105、倾斜照明光源101位于被观测样品的一侧，显微物镜103和多色图像探测器阵列108位于被观测样品的另一侧，由此可以实现对透明样品的透射式照明成像。

作为本发明的优选实施方式，各倾斜照明光源101呈同心环分布，例如，可如图2b所示呈同心圆环分布，也可呈同心正六边形、同心八边形等同心多边形环的方式排列（图中未示出）。作为本发明的另一种优选实施方式，如图2a所示，各单色倾斜照明光源204固定在一球形曲面上并在不同高度上呈圆环形分布，各单色倾斜照明光源204的出射光场法线均指向球心，且球心与显微物镜103的成像视场中心重合。在图2a和图2b所示的实施例中，优选地，分布在同一个环上的倾斜照明光源的出射波长相同，分布在不同环上的倾斜照明光源的出射波长不同，由此更好地实现控制模块111对相同波长的倾斜光源照明的时序控制，以及在各光源照明下散射场的采集以及远场强度图的存储的时序控制。优选地，如图1所示，由内往外三组环状结构中的单色倾斜照明光源204出射波长分别对应红光（R）、绿光（G）以及蓝光（B）。相应地，在远场采用三色相机完成对各自照明波段下的远场强度图采集。需要说明的是，本发明中的光源并不限于发射红、绿、蓝光的光源，还可以是其它波段的光源。

如图1所示，作为本发明的一种实施方式，各倾斜照明光源101可安装在固定装置102上。固定装置102可设有同心的多组圆环支架，各倾斜照明光源101固定在不同的圆环形支架内，且相邻圆环的间隔可以是等距或不等距的。优选地，圆环形支架的倾斜角度可以调节，由此可使安装在支架上的各倾斜照明光源101的倾斜入射角可调，提升各倾斜照明光源101在显微物镜103的成像视场内的照明强度和均匀度，进而提升后期图像处理所获取的子孔径频谱信息的准确度。

作为优选实施方式，如图1所示，本发明还可包括二维扫描微位移台110，样品台104固定于二维扫描微位移台110之上。二维扫描微位移台110的量程可根据样品尺寸进行选择。在完成被观测样品的一个成像位置处的重构成像后，控制模块111能够控制二维扫描微位移台110移动样品台上的被观测样品到下一个成像位置处，同时可标定出下一个成像位置所对应的二维坐标信息。通过使用二维扫描微位移台110，本发明可通过频谱重构给出尺寸跨度较大的被观测样品的全部细节信息，有效避免漏检和错检的问题。

作为优选实施方式，如图1所示，本发明还包括显示器113，显示器113与数据处理模块112连接。

作为优选实施方式，本发明还可包括自锁焦模块，控制模块111能够控制自锁焦模块对被观测样品的表面进行实时锁焦成像，快速调整显微物镜103的Z向位置，保证显微物镜103的焦面位于目标层面。

作为优选实施方式，本发明中，数据处理模块112还能够对大尺寸的被观测样品表面的相邻成像位置的重构图像进行拼接。作为优选实施方式，本发明在对大尺寸样品进行观测时，数据处理模块112还能够对得到的拼接图像进行样品表面微结构特征的智能识别和标定。

如图2b所示，在完成垂直照明光源105和三组圆环内的所有倾斜照明光源下在被观测样品的一个成像位置的远场强度图像的存储后，数据处理模块112通过施加傅里叶逆变换分别获取与各倾斜照明光源101照射下形成的各远场强度图对应的子孔径频谱信息，按照频谱拼接重构算法重构恢复出被观测样品表面的形貌特征。之后，控制模块111控制二维扫描微位移台110移至被观测样品的下一成像位置。

图3a是本发明一种实施例的频谱重构示意图，其中，k _vert.0 表示垂直照明条件下可探测样品的空间频谱半径；k _obl.1 表示加入垂直照明光源、第一环形倾斜照明光源阵列的照明条件下，本发明成像系统可探测样品的空间频谱半径；k _obl.2 表示加入垂直照明及第一、二环形倾斜照明光源阵列的照明条件下，本发明成像系统可探测样品的空间频谱半径；k _obl.3 表示加入垂直照明光源和三组环形倾斜照明光源阵列的照明条件下，本发明成像系统可探测样品的空间频谱半径；图3b示出了理想的三线对结构图；图3c是普通照明条件下观测图3b的理想三线对结构的远场像，由于显微系统仅能接接收显微物镜通频带半径（接近k _vert.0 ）范围内样品的空间低频信息，图3b所示理想三线条结构相交部分的细节特征在图3c中缺失；图3d是采用本发明成像系统获取的远场重构像，通过空间频谱的重构，所获取到样品的空间频谱区域半径拓展至k _obl.3 ，图3c未能区分的细节特征在图3d中被很好的展现。

以上参照附图以非限定性的方式描述了本发明的优选实施例，但是，在不脱离本发明的权利要求限定范围内做出的各种修改也将落入本发明的保护范围。如本发明所述的利用二维扫描微位移台的电动扫描成像方式也可采用手动机械控制进行。本发明中的倾斜照明光源的分布并无固定形式，仅是将相同波长的光源视为在同一组中，不同波长的光源视为在不同组中。当然，作为优选方案，可采用呈三组环形分布的倾斜照明光源的照明方案，也可采用其他数目组的环形结构提供优选的照明方案，如两组、四组等；上述实施例中虽然仅给出同心圆环形倾斜照明光源的分布结构，实际应用中也可优选采用如六边形、八边形等多边形的环状可控倾斜照明光源阵列。

Claims (9)

1.一种基于多色并行移频照明的成像系统，其特征在于：包括光源、显微物镜（103）、管镜、多色图像探测器阵列（108）、控制模块（111）和数据处理模块（112），所述光源包括垂直照明光源（105）和两组以上倾斜照明光源（101）；同一组倾斜照明光源的照明波长相同，不同组倾斜照明光源的照明波长不同；垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同，或与其中一组倾斜照明光源的照明波长相同；

所述垂直照明光源（105）和各倾斜照明光源（101）的出射光照射到被观测样品上而激发出散射场；所述散射场被显微物镜（103）收集，再经管镜整形而入射到多色图像探测器阵列，由多色图像探测器阵列中的不同单元采集不同波长光源所对应的散射场信号；

由所述控制模块（111）控制点亮各光源并控制多色图像探测器阵列中的各单元采集对应的散射场信号并转换成电学信号发送给数据处理模块（112），其中，不同组的倾斜照明光源并行点亮，同一组的倾斜照明光源依次点亮；若垂直照明光源的照明波长与任一组倾斜照明光源的照明波长不同，则垂直照明光源与各组倾斜照明光源并行点亮；若垂直照明光源的照明波长与其中一组倾斜照明光源的照明波长相同，则相同照明波长的垂直照明光源和倾斜照明光源依次点亮；

由所述控制模块（111）控制数据处理模块（112）将来自于多色图像探测器阵列的各单元的电学信号转换为远场强度图并获取各远场强度图的子孔径频谱信息进行频谱拼接重构；

所述垂直照明光源（105）和各倾斜照明光源（101）照射下形成的远场强度图所对应的相邻子孔径频谱信息间相互重叠，以使数据处理模块（112）在按照频谱拼接重构算法进行空间频谱重构时，能够获取被观测样品的宽频段空间频谱信息收敛解，得到被观测样品的重构图像。

2.根据权利要求1所述的成像系统，其特征在于：各所述倾斜照明光源（101）呈同心环分布；或者，各倾斜照明光源（101）固定在一球形曲面上并在不同高度上呈圆环形分布。

3.根据权利要求2所述的成像系统，其特征在于：分布在同一个环上的倾斜照明光源的照明波长相同，分布在不同环上的倾斜照明光源的照明波长不同。

4.根据权利要求1至3中任一项所述的成像系统，其特征在于：所述垂直照明光源（105）、倾斜照明光源（101）、显微物镜（103）和多色图像探测器阵列均位于被观测样品的同一侧；或者，垂直照明光源（105）、倾斜照明光源（101）位于被观测样品的一侧，显微物镜（103）和多色图像探测器阵列位于被观测样品的另一侧。

5.根据权利要求1至3中任一项所述的成像系统，其特征在于：还包括二维扫描微位移台（110），样品台（104）固定于二维扫描微位移台（110）之上，在数据处理模块完成被观测样品的一个成像位置处的图像重构后，所述控制模块（111）控制二维扫描微位移台（110）移动样品台上的被观测样品到下一个成像位置处。

6.根据权利要求1至3中任一项所述的成像系统，其特征在于：还包括显示器（113），所述显示器（113）与数据处理模块（112）连接。

7.根据权利要求1至3中任一项所述的成像系统，其特征在于：还包括自锁焦模块，由所述控制模块控制自锁焦模块对被观测样品的表面进行实时锁焦成像。

8.根据权利要求1至3中任一项述的成像系统，其特征在于：所述数据处理模块（112）还用于对被观测样品表面的相邻成像位置的重构图像进行拼接。

9.根据权利要求8所述的成像系统，其特征在于：所述数据处理模块（112）还用于对得到的拼接图像进行特征的智能识别和标定。

Images