CN111121969B - 一种基于孔径扫描的多光谱叠层成像方法 - Google Patents

Abstract

本发明是一种基于孔径扫描的多光谱叠层成像方法。本发明用孔径扫描替代LED矩阵，采用单束光照射，从样本出射的光波经过孔径，通过孔径循环扫描以及高光谱处理获得来自样本的不同位置的低分辨率图像，通过在傅里叶域内进行处理，最终获得样本的高分辨率图像。在实现叠层成像的前提上，克服了LED矩阵的缺点。还对瞳孔函数和样本光谱进行迭代更新，通过收敛瞳孔函数，使得获得的成像图片的分辨率更高。引入高光谱成像，通过高光谱成像进一步了解样本本质，从而构建出更加清晰的图像，能够对样本分析的更加透彻，为分析样本也提供了条件。

Description

一种基于孔径扫描的多光谱叠层成像方法

技术领域

本发明涉及到的是光学计算领域，具体涉及一种基于孔径扫描的多光谱叠层成像方法。

背景技术

傅里叶叠层显微成像技术是近十年来新兴的一种计算成像技术。其克服了以往显微镜不能同时兼顾大视场和高分辨率的问题，具有大视场，高分辨率，定量相位成像等诸多优点。叠层成像技术自2013年被提出后，就受到了光学显微，生物医学，生命科学等各领域的关注，应用十分广泛。该方法通过相位恢复迭代算法,寻找样本在重叠扫描模式下,满足多幅远场衍射强度图像约束的唯一复数解。该成像技术的分辨率不受光学聚焦器件的限制,可突破系统衍射极限,获得超高分辨率成像。在一些需要从相位分量缺失的强度图像中恢复重建光波衍射信息的高分辨率和三维成像领域,叠层成像具有天然的优势和潜在的应用前景。

最先提出的叠层成像方法是用LED矩阵对样本进行扫描照射从而获得多张低分辨率图像。但是该方法要求样本必须为薄样本。只有薄样本才能使得在不同入射角下获得的低分辨率图像唯一地映射到2D样本光谱的不同通带，从而允许FP算法准确地施加平移谱约束以恢复高分辨率复杂样本图像。如果样本不薄，则傅里叶平面中的这种一对一映射关系无效，并且不能施加平移频谱约束。因此提出孔径扫描叠层成像方案，用单个平面波照射样本，但在该系统中加入孔径，线性平行孔径，能够实现与用LED矩阵照射时相类似的效果。但该方法的空间瞳孔函数如果一直没有得到更新，会造成误差，影响最后合成的高分辨率图像的质量。因此，通过对空间瞳孔函数更新可以进一步提高合成的高分辨率图像的质量。而引入高光谱成像，通过引入样本的光谱细节，可以揭示样本对象的内在属性，能够更加清晰的描述样本，进一步提高成像质量。

发明内容

本发明涉及三个方面，第一方面为以孔径扫描取代LED矩阵扫描；第二方面方面为将空间瞳孔函数的更新引入系统；第三方面为将高光谱成像引入叠层成像系统。通过三方面的改进，恢复出更加清晰的图片。与之前用LED矩阵照射获得低分辨率图像不同，本发明中采用单束光照射，从样本出射的光波经过孔径，通过孔径循环扫描以及高光谱处理获得来自样本的不同位置的低分辨率图像，通过在傅里叶域内进行处理，最终获得样本的高分辨率图像。但是空间瞳孔函数的不变化会导致成像质量欠佳，因此在用孔径扫描获得低分辨率图像的同时，引入空间瞳孔函数的更新。引入高光谱成像，通过高光谱成像进一步了解样本本质，从而构建出更加清晰的图像，能够对样本分析的更加透彻。

发明具体按以下步骤实施：

步骤一、搭建设备。使用一个物镜，一个圆形孔径，一个衍射光栅，一个透镜，一个编码掩膜和一台单色相机以及一个LED灯光源。将物镜，圆孔，衍射光栅，透镜，编码掩膜和单色相机依次放置。LED灯放置在物镜前方，物镜和LED灯中间放置样本，其中圆孔能够进行扫描移动的。

步骤二、初始假设一个高分辨率图像I(u)。

步骤三、针对每一个孔径所扫描到的位置，初始假设一个低分辨率图像i₀，物镜采集图像φ₀(u)，瞳孔函数P₀(u)和样本光谱函数S₀(u)。

步骤四、样本光谱经过物镜采集处理后，经过孔径，由孔径出射的光波，经过衍射光栅，被分成波长不同的多束单色光后，又经过透镜传递到图像采集平面。在透镜与图像采集平面之间放入编码掩膜，进行编码。获得孔径所扫描到的位置的低分辨率图像。对获得的低分辨率图像进行近一步处理，将其写成矢量形式，

步骤五：步骤四获得的是孔径所扫描到的位置的低分辨率图像。在求取低分辨率图像的同时，对瞳孔函数和样本光谱函数进行迭代更新。

步骤六、对步骤五中瞳孔函数和样本光谱函数收敛，获得的低分辨率图像为孔径所扫描到的位置最终的低分辨率图像。

步骤七：将步骤六所获得的低分辨率图像通过傅里叶变换放置到频域中，在频域中，对该相应位置的高分辨率图像I(u)进行更新，获得该相应位置的高分辨率图像。

步骤八：让孔径对整个样本区域进行扫描，在扫描过程中，每两个相邻的孔径区域之间要部分重叠。对于每一个孔径所扫描到的位置，重复步骤三至步骤七，直到遍历完整个样本，获得整个样本在傅里叶域中的高分辨率图像I(u)。

步骤九：通过傅里叶反变换，将获得的频域的高分辨率图像转换到空间域，得到最后的高分辨率图像。

本发明方法具有的优点及有益结果为：

1.在使用LED灯矩阵进行变换角度的照明的时候，样本必须很薄，才能使低分辨率图像唯一的映射到2D样本光谱的不同通带，从而允许FP算法准确地施加平移谱约束以恢复高分辨率复杂样本图像。本发明通过以孔径扫描替代LED灯矩阵扫描，解决了这个问题。本发明的恢复图像各自取决于复杂波阵面如何离开样本，而不是如何进入样本的。因此，样本厚度在重建期间无关紧要。

2.通过将摄影镜头的孔径用作傅里叶域中的支撑约束，将相机扫描到垂直于光轴的不同位置，可以绕过孔径定义的衍射极限。从而使得本发明不仅能够显微观察厚样本，还能够实现宏观成像。

3.用LED灯矩阵进行照明时，LED灯矩阵的角度位置校正不正确，每个LED灯的光照亮度不一致，以及LED灯矩阵的尺寸相对较大，都会影响到实验的相干性(包括空间相干性，时间相干性以及互相关)，从而会影响到成像图片的质量。而本发明中使用的是单束光全面照射，不会出现这些情况，相对来说成像图片的分辨率更高。

4.通过引入空间瞳孔函数的校正功能，可以减少像差，从而进一步提高高分辨率图像的成像质量。

5.在基于孔径扫描的叠层成像系统中，加入高光谱成像，通过光谱分析，可以进一步了解样本的特性，对样本重构有一定的益处。另外，本发明中所使用的高光谱成像，利用稀疏重建和过完备字典的训练，不仅获得分辨率较高的图像，还可以用于图像的压缩和去噪。同时，使用该高光谱成像可以降低对样本环境的要求。

附图说明

图1是本发明的流程图。

图2是搭建系统图。

具体实施方式

一种基于孔径扫描的多光谱叠层成像方法，具体包括以下步骤：

步骤一、搭建设备。使用一个物镜，一个圆形孔径，一个衍射光栅，一个透镜，一个编码掩膜和一台单色相机以及一个LED灯光源。透镜的焦距为50毫米；圆孔的半径为2.5毫米；单色相机像素尺寸为3.45微米，用于捕获样本光谱。将物镜，圆孔，衍射光栅，透镜，编码掩膜和单色相机依次放置。LED灯放置在物镜前方，物镜和LED灯中间放置样本，其中圆孔能够进行扫描移动的。具体可见图2。

步骤二、初始假设一个高分辨率图像I(u)。

步骤三、前面搭建设备中提到孔径能够循环移动扫描，对于每一个孔径所扫描到的位置，都进行图像采集，初始假设一个低分辨率图像i₀矩阵，该矩阵中最开始没有像素数据，只有矩阵大小，用于后面迭代更新。以φ_n(u)表示频域物镜采集图像，P_n(u)表示频域瞳孔函数，S_n(u)表示频域样本光谱。物镜采集图像φ_n(u)可以由瞳孔函数P_n(u)和样本光谱S_n(u)表示出来，其傅里叶域中的表示为式(1)：

φ_n(u)＝p_n(u)S_n(u-U_n) (1)；

空间域中为式(2)：

Φ_n(r)＝F^-1{φ_n(u)} (2)；

其中U_n为入射到样本的斜面波，u为频域符号，r为空域符号。Φ_n(r)为空间域的物镜采集图像，F^-1傅里叶反变换。通过以上公式，获得由物镜采集并通过孔径的频率域和空间域中的输入样本图像。

步骤四、由孔径出射的光波，经过衍射光栅，被分成波长不同的多束单色光后，又经过透镜传递到图像采集平面。在透镜与图像采集平面之间放入编码掩膜，进行编码。以上述获得的经过孔径的图像的x，y的二维空间坐标和光谱平面的λ的光谱维度构成三维坐标，形成编码的输入图像，即3DHS图像。用h(x,y,λ)表示。

则传感器上经过编码获得的图像i_n为式(3)：

其中Ω_λ为光谱平面域。a为将光谱坐标转换为空间坐标的转换系数。

为编码掩膜相对于HS图像的剪切程度。d_m为编码掩膜到传感器的距离，d_a为光谱平面到传感器的距离。

对获得的传感器图像式(3)进行近一步处理，将其写成矢量形式，得式(4)：

其中h为编码输入图像的矢量形式，

为稀疏调制矩阵，j为像素位置，第几个像素，p为像素最终位置，两者均为求和参数。

对编码输入图像h进行稀疏处理，得式(5)：

结合式(3)、式(4)和式(5)得：

其中D为过完备字典，α为稀疏系数且大部分值接近于0。为求i_n，先求出稀疏系数α，和过完备字典D。

对于α，根据压缩传感理论列出式(7)：

其中ξ为任意常数；

对于D，采用从训练数据集中学习字典，见式(8)：

其中T为一个训练集，A为一个稀疏矩阵，k是期望稀疏水平。

根据式(6)、式(7)和式(8)得出传感器上的图像i_n。

步骤五、步骤四获得的是某一个孔径位置的某一次迭代的低分辨率图像。在求取低分辨率图像的同时，对瞳孔函数和样本光谱函数进行更新。瞳孔函数更新模型和样本光谱函数更新模型分别为：

其中α＝1，β＝1，均为更新步长，φ_n'(u)＝F{i_n}。

在求一个孔径位置的低分辨率图像的时候，通过以上公式对低分辨率图像i_n，物镜采集图像φ_n(u)，瞳孔函数P_n(u)和样本光谱S_n(u)进行迭代更新；

步骤六、对步骤五中瞳孔函数P_n(u)和样本光谱S_n(u)收敛，获得的低分辨率图像和样本光谱为最终需要的低分辨率图像和样本光谱。

步骤七、将步骤六所获得的低分辨率图像通过傅里叶变换放置到频域中，在频域中，对该相应位置的高分辨率图像I(u)进行更新，获得该相应位置的高分辨率图像。对步骤六中获得的高光谱信息对照现已有图像光谱信息特征进行处理分析，进一步了解样本的特征信息，对样本特征信息的了解对于重构样本图像有很大帮助。

步骤八：让孔径对整个样本区域进行扫描，在扫描过程中，每两个相邻的孔径区域之间要部分重叠。对于每一个被扫描的位置，重复步骤三至步骤七。直到遍历完整个样本，获得整个样本在傅里叶域中的高分辨率图像I(u)。

步骤九：通过傅里叶反变换，将获得的频域的高分辨率图像转换到空间域，得到最后的高分辨率图像。

Claims (4)

1.一种基于孔径扫描的多光谱叠层成像方法，其特征在于：

具体包括以下步骤：

步骤一、搭建设备；使用一个物镜，一个圆形孔径，一个衍射光栅，一个透镜，一个编码掩膜和一台单色相机以及一个LED灯光源；将物镜，圆形孔径，衍射光栅，透镜，编码掩膜和单色相机依次放置；LED灯放置在物镜前方，物镜和LED灯中间放置样本，其中圆孔能够进行扫描移动的；

步骤二、初始假设一个高分辨率图像I(u)；

步骤三、针对每一个孔径所扫描到的位置，初始假设一个低分辨率图像i₀，物镜采集图像φ₀(u)，瞳孔函数P₀(u)和样本光谱函数S₀(u)；

步骤四、样本光谱经过物镜采集处理后，经过孔径，由孔径出射的光波，经过衍射光栅，被分成波长不同的多束单色光后，又经过透镜传递到图像采集平面；在透镜与图像采集平面之间放入编码掩膜，进行编码；获得孔径所扫描到的位置的低分辨率图像；对获得的低分辨率图像进行近一步处理，将其写成矢量形式；

步骤五：步骤四获得的是孔径所扫描到的位置的低分辨率图像；在求取低分辨率图像的同时，对瞳孔函数和样本光谱函数进行迭代更新；

步骤六、对步骤五中瞳孔函数和样本光谱函数收敛，获得的低分辨率图像为孔径所扫描到的位置最终的低分辨率图像；

步骤七：将步骤六所获得的低分辨率图像通过傅里叶变换放置到频域中，在频域中，对相应位置的高分辨率图像I(u)进行更新，获得该相应位置的高分辨率图像；

步骤八：让孔径对整个样本区域进行扫描，在扫描过程中，每两个相邻的孔径区域之间要部分重叠；对于每一个孔径所扫描到的位置，重复步骤三至步骤七，直到遍历完整个样本，获得整个样本在傅里叶域中的高分辨率图像I(u)；

步骤九：通过傅里叶反变换，将获得的频域的高分辨率图像转换到空间域，得到最后的高分辨率图像。

2.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤三具体步骤如下：初始假设一个低分辨率图像i₀矩阵，该矩阵中最开始没有像素数据，只有矩阵大小，用于后面迭代更新；以φ_n(u)表示频域物镜采集图像，P_n(u)表示频域瞳孔函数，S_n(u)表示频域样本光谱；物镜采集图像φ_n(u)由瞳孔函数P_n(u)和样本光谱S_n(u)表示出来，其傅里叶域中的表示为式(1)：

φ_n(u)＝p_n(u)S_n(u-U_n) (1)；

空间域中为式(2)：

Φ_n(r)＝F^-1{φ_n(u)} (2)；

其中U_n为入射到样本的斜面波，u为频域符号，r为空域符号；Φ_n(r)为空间域的物镜采集图像，F^-1傅里叶反变换；通过以上公式，获得由物镜采集并通过孔径的频率域和空间域中的输入样本图像。

3.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤四具体步骤如下：孔径所扫描到的位置图像的x，y的二维空间坐标和光谱平面的λ的光谱维度构成三维坐标，形成编码的输入图像，即3D HS图像；用h(x,y,λ)表示；

则传感器上经过编码获得的图像i_n为式(3)：

其中Ω_λ为光谱平面域；a为将光谱坐标转换为空间坐标的转换系数；

为编码掩膜相对于HS图像的剪切程度；d_m为编码掩膜到传感器的距离，d_a为光谱平面到传感器的距离；

对获得的传感器图像式(3)进行近一步处理，将其写成矢量形式，得式(4)：

其中h为编码输入图像的矢量形式；

为稀疏调制矩阵；j为像素位置，第几个像素；p为像素最终位置；两者均为求和参数；

对编码输入图像h进行稀疏处理，得式(5)：

结合式(3)、式(4)和式(5)得：

其中D为过完备字典，α为稀疏系数且大部分值接近于0；为求i_n，先求出稀疏系数α，和过完备字典D；

对于α，根据压缩传感理论列出式(7)：

其中ξ为任意常数；

对于D，采用从训练数据集中学习字典，见式(8)；

其中T为一个训练集，A为一个稀疏矩阵，k是期望稀疏水平；

根据式(6)、式(7)和式(8)得出传感器上的图像i_n。

4.如权利要求1所述的基于孔径扫描的多光谱叠层成像方法，其特征在于：所述的步骤五具体步骤如下：瞳孔函数更新模型和样本光谱函数更新模型分别为：

其中α＝1，β＝1，均为更新步长，φ′_n(u)＝F{i_n}；在求孔径所扫描到的位置的低分辨率图像时，通过以上公式对低分辨率图像i_n，物镜采集图像φ_n(u)，瞳孔函数P_n(u)和样本光谱S_n(u)进行迭代更新。

Images