CN110942423B

CN110942423B - 一种基于傅里叶叠层成像的远场超分辨率重建方法

Info

Publication number: CN110942423B
Application number: CN201910949691.2A
Authority: CN
Inventors: 颜成钢; 王瑞海; 高宇涵; 孙垚棋; 张继勇; 张勇东; 沈韬
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2019-10-08
Filing date: 2019-10-08
Publication date: 2023-04-28
Anticipated expiration: 2039-10-08
Also published as: CN110942423A

Abstract

本发明公开了一种基于傅里叶叠层成像的远场超分辨率重建方法。本发明通过获取到的一系列低分辨率图像，快速重建出远场样本的幅值信息以及相位信息；将低成本的散射装置放置于样本与物镜之间，且置于物镜的焦平面处，对经相干光照射后的样本信息进行调制；样本置于物镜的远场中，距离物镜焦平面50cm～80cm处，由相干光进行照射；在低分辨率图像获取过程中，通过有规律的将散射片进行上下、左右移动，以获得更加完善的样本调制信息；通过多散射片对样本信息的调制，获得超出物镜衍射极限的分辨率，以此实现样本超分辨率重建。本发明突破了样本与散射装置之间距离的限制。且极大的降低算法复杂度，减少重建时间。

Description

一种基于傅里叶叠层成像的远场超分辨率重建方法

技术领域

本发明涉及图像超分辨重建领域，尤其涉及基于傅里叶叠层成像的远场超分辨率重建方法。

背景技术

图像分辨率是衡量图像质量的一个重要指标。在图像生产过程中，由于成像系统的硬件限制，环境干扰，物体运动等原因导致图像分辨率降低。图像超分辨率重建方法旨在通过已有的低分辨率图像获得高分辨率图像。

随着工业制造技术水平的提高，对视觉测量精度的要求不断提高，而图像分辨率直接影响着被测场景中关键特征信息提取及最终测量的精度，因此对高分辨率图像的需求日益提高。

就目前来看，在大视场范围内设计具有衍射极限的高分辨率镜头仍是一项艰巨的任务。但我们经过调研发现，超出衍射极限的分辨率可以通过波前调制来实现，这一方法在过去的几年中已取得不错的效果。例如，在结构化照明显微镜中，非均匀照明图案可用于将难以获得的物体信息调制到光学系统的通带中。除了使用照明图案外，还可以通过在光路上放置散射透镜对物体信息进行调制，以获得更完善的物体信息。

尽管波前调制方法的应用在过去几年中取得了不错的效果，但我们发现，该方法基本用于近场调制系统中，并没有在远场中得到很好的应用，基于此，我们提出了一种基于傅里叶叠层成像的远场超分辨率重建方法。

发明内容

本发明提出了一种基于傅里叶叠层成像的远场超分辨率重建方法。该方法通过获取到的一系列低分辨率图像可以快速重建出远场样本的幅值信息以及相位信息。

一种基于傅里叶叠层成像的远场超分辨率重建方法。本发明通过获取到的一系列低分辨率图像，快速重建出远场样本的幅值信息以及相位信息；将低成本的散射装置放置于样本与物镜之间，且置于物镜的焦平面处，对经相干光照射后的样本信息进行调制；样本置于物镜的远场中，距离物镜焦平面50cm～80cm处，由相干光进行照射；在低分辨率图像获取过程中，通过有规律的将散射片进行上下、左右移动，以获得更加完善的样本调制信息；通过多散射片对样本信息的调制，获得超出物镜衍射极限的分辨率，以此实现样本超分辨率重建。

该重建方法使用的光学系统包括：激光发射器、样本、驱动位移器、散射装置以及图像采集器；其中样本多为生物切片样本；散射装置位于驱动位移器上，且置于物镜的焦平面处；这样可以有效地减少试验步骤，降低试验复杂度。激光发射器的相干光束垂直入射于样本平面；这可以有效地降低系统误差。散射装置平面和物镜平面都与样本平面平行；这样可以有效地杜绝在散射装置移动时引入新的误差。驱动位移器和图像采集器与计算机相连，以便于实时查看图像采集情况。

所述的散射装置为散射片。

所述的远场超分辨率重建过程如下：

步骤1：低分辨率图像获取

计算机控制驱动位移器，使得散射装置在X-Y平面内做“回”字形移动，每次移动步长为1毫米，每移动一次进行一次图像采集；

步骤2：基于傅里叶叠层成像方法对样本的幅值与相位进行重建

对于获取到的一系列低分辨率图像，运用傅里叶叠层成像方法对其进行超分辨率重建，其数学模型为：

I_j(x,y)＝|[(W(x,y)*PSF_free(d))·D(x-x_j,y-y_j)]*iFFT{CTF(k_x,k_y)}|²

其中，I_j(x,y)是第j幅低分辨率图像的强度，W(x,y)是样本由激光照射后的光场信息，D(x-x_j,y-y_j)代表不同位置处的散射片函数；iFFT代表傅里叶反变换，“*”代表卷积，“·”代表点乘；PSF_free(d)代表自由空间的点扩散函数，其中“d”代表散射片与样本间的距离；CTF(k_x,k_y)为离焦相干传递函数；

远场的点扩散函数为：

其中，j为虚数项，λ为波长，k为波数，x，y为光场的空域坐标；

步骤3：基于散射片在不同位置采到的N幅图像，重建光场信息W(x,y)以及D(x,y)。

所述的步骤3具体实现如下：

3-1.初始化激光照射样本后的光场信息W(x,y)、散射片函数D(x,y)以及离焦相干传递函数CTF；

3-2.样本的光场信息W(x,y)通过与点扩散函数PSF_free(d)进行卷积，进而传递到散射装置平面，即：

W'(x,y)＝(W(x,y)*PSF_free(d))

W'(x,y)为散射装置平面处样本的光场信息；

3-3.对散射装置进行位移：

D_j(x,y)＝D(x-x_j,y-y_j)

D_j(x,y)代表不同位置处的散射片函数；

3-4.将散射装置平面处的光场信息W'(x,y)与当前位置的散射片函数D_j(x,y)进行相乘，以获取调制后的光场信息：

φ_j(x,y)＝W'(x,y)·D_j(x,y)

φ_j(x,y)即为调制后的光场信息；

3-5.对调制后的信息进行频域滤波：

(1)将调制后的光场信息转换到傅里叶域进行操作：

Φ_j(k_x,k_y)＝FFT(φ_j(x,y))

FFT为傅里叶变换；

(2)在傅里叶域将调制后的光场信息Φ_j(k_x,k_y)与离焦相干传递函数CTF相乘：

Ψ_j(k_x,k_y)＝Φ_j(k_x,k_y)·CTF

Ψ_j(k_x,k_y)为滤波后的结果；

(3)将滤波后的结果转换到空域进行后续操作：

ψ_j(x,y)＝iFFT(Ψ_j(k_x,k_y))

iFFT代表傅里叶反变换，ψ_j(x,y)为滤波后的结果在空域的形式；

3-6.对滤波后的结果进行幅值替换:

ψ(x,y)为空域下滤波后的结果；I_j(x,y)为第j幅采集到的低分辨率图像的强度；Ψ'_j(k_x,k_y)为幅值替换后的结果；

3-7.对调制信息进行更新:

φ'_j(x,y)＝iFFT(Φ'_j(k_x,k_y))

Φ_j(k_x,k_y)为傅里叶域调制后的光场信息，β_Φ为调制信息更新的权重因子,conj(CTF)代表对离焦相干传递函数取共轭形式；Ψ'_j为滤波后信息幅值替换后的结果，Ψ_j为替换前的结果；Φ'_j(k_x,k_y)为更新后的频谱信息，对其进行反傅里叶变换，得到其空域形式φ'_j(x,y)；

3-8.对样本信息进行更新:

W'(x,y)为散射装置平面处样本的光场信息,conj(D_j)代该位置处的散射片函数D_j取共轭形式；α_obj为样本信息更新的权重因子；φ'_j为调制信息更新后的结果；φ_j调制信息更新前的结果；W″为样本信息更新的结果；

3-9.对散射装置函数进行更新：

D_j为当前位置处的散射片传递函数，conj(W″)代表对更新后的样本信息取共轭；φ'_j为调制信息更新后的结果；φ_j为调制信息更新前的结果；α_D为散射装置函数更新的权重因子；

3-10.进行下一次迭代，即重复执行步骤3-3到步骤3-9；

3-11.迭代完成后将样本的光场信息传回到物体平面：

W(x,y)＝(W'(x,y)*PSF_free(-d))。

本发明的有益效果

本发明以傅里叶叠层成像技术为基础，设计了一个远场超分辨率重构系统，为了克服由物镜引入的衍射限制，我们将低成本的散射片置于物体与物镜之间，以使物镜捕获到更完善的样本信息，实现超分辨率重建。

本发明的提出，为远场超分辨率重建系统提供了一种切实可行的方法，与之前近场重建系统中样本与散射装置只有不足1mm的情况相比，我们的远场重建系统中，样本可置于距散射装置50cm或更远的地方，突破了样本与散射装置之间距离的限制。除此之外，在算法迭代过程中，我们只在迭代结束后将重建信息传回到样本平面，较之近场系统中每次迭代都需要传回样本平面而言，我们的方法可极大的降低算法复杂度，减少重建时间。

附图说明

图1为我们提出的超分辨率重构光学系统；

具体实施方式

以下结合附图对本发明进行详细说明。

步骤1：硬件系统搭建与调试

图1即为搭建好的系统示意图，其中样本平面、散射片以及物镜平面相互平行。样本位于物镜的远场，激光垂直入射于样本平面。

在进行系统调试时，首先去掉样本，控制驱动位移器在Z方向移动，使散射装置位于焦平面，之后固定样本，进行图像采集。

步骤2：图像采集；

在进行图像采集时，需关掉除激光外的其他一切光源。计算机控制驱动位移器在X-Y平面内做“回”字形移动，每次移动步长为1毫米。每移动一次进行一次图像采集。

步骤3：基于傅里叶叠层成像技术的超分辨率重建；

数学模型为：

I_j(x,y)＝|[(W(x,y)*PSF_free(d))·D(x-x_j,y-y_j)]*iFFT{CTF(k_x,k_y)}|²

其中，I_j(x,y)是第j幅低分辨率图像的强度，W(x,y)是样本由激光照射后的光场信息，D(x-x_j,y-y_j)代表不同位置处的散射片函数。iFFT代表傅里叶反变换，“*”代表卷积，“·”代表点乘。CTF(k_x,k_y)为离焦相干传递函数。PSF_free(d)代表自由空间的点扩散函数，其中“d”代表散射片与样本间的距离。远场的点扩散函数为：

其中，j为虚数项，λ为波长，k为波数，x，y为光场的空域坐标。

具体重建过程如下：

3-1.初始化激光照射样本后的光场信息W(x,y)，散射片函数D(x,y)以及离焦相干传递函数CTF；

W'(x,y)＝(W(x,y)*PSF_free(d))

W'(x,y)为散射装置平面处样本的光场信息。

3-3.对散射装置进行位移：

D_j(x,y)＝D(x-x_j,y-y_j)

D_j(x,y)代表不同位置处的散射片函数。

φ_j(x,y)＝W'(x,y)·D_j(x,y)

φ_j(x,y)即为调制后的光场信息。

3-5.对调制后的信息进行频域滤波：

(1)将调制后的光场信息转换到傅里叶域进行操作：

Φ_j(k_x,k_y)＝FFT(φ_j(x,y))

FFT为傅里叶变换。

Ψ_j(k_x,k_y)＝Φ_j(k_x,k_y)·CTF

Ψ_j(k_x,k_y)为滤波后的结果。

(3)将滤波后的结果转换到空域进行后续操作：

ψ_j(x,y)＝iFFT(Ψ_j(k_x,k_y))

iFFT代表傅里叶反变换，ψ_j(x,y)为滤波后的结果在空域的形式。

3-6.对滤波后的结果进行幅值替换:

ψ(x,y)为空域下滤波后的结果。I_j(x,y)为第j幅采集到的低分辨率图像的强度。Ψ'_j(k_x,k_y)为幅值替换后的结果。

3-7.对调制信息进行更新:

φ'_j(x,y)＝iFFT(Φ'_j(k_x,k_y))

Φ_j(k_x,k_y)为傅里叶域调制后的光场信息，β_Φ为调制信息更新的权重因子,conj(CTF)代表对离焦相干传递函数取共轭形式。Ψ'_j为滤波后信息幅值替换后的结果，Ψ_j为替换前的结果。Φ'_j(k_x,k_y)为更新后的频谱信息，对其进行反傅里叶变换，得到其空域形式φ'_j(x,y)。

3-8.对样本信息进行更新:

W'(x,y)为散射装置平面处样本的光场信息,conj(D_j)代该位置处的散射片函数D_j取共轭形式。α_obj为样本信息更新的权重因子。φ'_j为调制信息更新后的结果。φ_j调制信息更新前的结果。W″为样本信息更新的结果。

3-9.对散射装置函数进行更新：

D_j为当前位置处的散射片传递函数，conj(W″)代表对更新后的样本信息取共轭。φ'_j为调制信息更新后的结果。φ_j为调制信息更新前的结果。α_D为散射装置函数更新的权重因子。

3-10.进行下一次迭代，即重复执行步骤3-3到步骤3-9；

3-11.迭代完成后将样本的光场信息传回到物体平面：

W(x,y)＝(W'(x,y)*PSF_free(-d))

该发明可以有效地避免由物镜引入的衍射限制，进而可获取到超出衍射极限的分辨率，从而实现超分辨率重建。除此之外，我们可以发现，重构好的样本信息可以传送到任意位置，即理论上可以实现任意位置处的超分辨率重建。

Claims

1.一种基于傅里叶叠层成像的远场超分辨率重建方法，其特征在于通过获取到的一系列低分辨率图像，快速重建出远场样本的幅值信息以及相位信息；将低成本的散射装置放置于样本与物镜之间，且置于物镜的焦平面处，对经相干光照射后的样本信息进行调制；样本置于物镜的远场中，距离物镜焦平面50cm～80cm处，由相干光进行照射；在低分辨率图像获取过程中，通过有规律的将散射片进行上下、左右移动，以获得更加完善的样本调制信息；通过多散射片对样本信息的调制，获得超出物镜衍射极限的分辨率，以此实现样本超分辨率重建；

该重建方法使用的光学系统包括：激光发射器、样本、驱动位移器、散射装置以及图像采集器；其中样本为生物切片样本；散射装置位于驱动位移器上，且置于物镜的焦平面处；激光发射器的相干光束垂直入射于样本平面；散射装置平面和物镜平面都与样本平面平行；驱动位移器和图像采集器与计算机相连，以便于实时查看图像采集情况。

2.根据权利要求1所述的一种基于傅里叶叠层成像的远场超分辨率重建方法，其特征在于所述的散射装置为散射片。

3.根据权利要求2所述的一种基于傅里叶叠层成像的远场超分辨率重建方法，其特征在于远场超分辨率重建过程如下：

步骤1：低分辨率图像获取

步骤2：基于傅里叶叠层成像方法对样本的幅值与相位进行重建对于获取到的一系列低分辨率图像，运用傅里叶叠层成像方法对其进行超分辨率重建，其数学模型为：

I_j(x，y)＝|[(W(x，y)*PSF_free(d))·D(x-x_j，y-y_j)]*iFFT{CTF(k_x，k_y)}|²

其中，I_j(x，y)是第j幅低分辨率图像的强度，W(x，y)是样本由激光照射后的光场信息，D(x-x_j，y-y_j)代表不同位置处的散射片函数；iFFT代表傅里叶反变换，“*”代表卷积，“·”代表点乘；PSF_free(d)代表自由空间的点扩散函数，其中“d”代表散射片与样本间的距离；CTF(k_x，k_y)为离焦相干传递函数；

远场的点扩散函数为：

步骤3：基于散射片在不同位置采到的N幅图像，重建光场信息W(x，y)以及D(x，y)。

4.根据权利要求3所述的一种基于傅里叶叠层成像的远场超分辨率重建方法，其特征在于步骤3具体实现如下：

3-1.初始化激光照射样本后的光场信息W(x，y)、散射片函数D(x，y)以及离焦相干传递函数CTF；

3-2.样本的光场信息W(x，y)通过与点扩散函数PSF_free(d)进行卷积，进而传递到散射装置平面，即：

W′(x，y)＝(W(x，y)*PSF_free(d))

W′(x，y)为散射装置平面处样本的光场信息；

3-3.对散射装置进行位移：

D_j(x，y)＝D(x-x_j，y-y_j)

D_j(x，y)代表不同位置处的散射片函数；

3-4.将散射装置平面处的光场信息W′(x，y)与当前位置的散射片函数D_j(x，y)进行相乘，以获取调制后的光场信息：

φ_j(x，y)＝W′(x，y)·D_j(x，y)

φ_j(x，y)即为调制后的光场信息；

3-5.对调制后的信息进行频域滤波：

(1)将调制后的光场信息转换到傅里叶域进行操作：

Φ_j(k_x，k_y)＝FFT(φ_j(x，y))

FFT为傅里叶变换；

(2)在傅里叶域将调制后的光场信息Φ_j(k_x，k_y)与离焦相干传递函数CTF相乘：

Ψ_j(k_x，k_y)＝Φ_j(k_x，k_y)·CTF

Ψ_j(k_x，k_y)为滤波后的结果；

(3)将滤波后的结果转换到空域进行后续操作：

ψ_j(x，y)＝iFFT(Ψ_j(k_x，k_y))

iFFT代表傅里叶反变换，ψ_j(x，y)为滤波后的结果在空域的形式；

3-6.对滤波后的结果进行幅值替换：

ψ(x，y)为空域下滤波后的结果；I_j(x，y)为第j幅采集到的低分辨率图像的强度；Ψ′_j(k_x，k_y)为幅值替换后的结果；

3-7.对调制信息进行更新：

φ′_j(x，y)＝iFFT(Φ′_j(k_x，k_y))

Φ_j(k_x，k_y)为傅里叶域调制后的光场信息，β_Φ为调制信息更新的权重因子，conj(CTF)代表对离焦相干传递函数取共轭形式；Ψ′_j为滤波后信息幅值替换后的结果，Ψ_j为替换前的结果；Φ′_j(k_x，k_y)为更新后的频谱信息，对其进行反傅里叶变换，得到其空域形式φ′_j(x，y)；

3-8.对样本信息进行更新：

W′(x，y)为散射装置平面处样本的光场信息，conj(D_j)代该位置处的散射片函数D_j取共轭形式；α_obj为样本信息更新的权重因子；φ′_j为调制信息更新后的结果；φ_j调制信息更新前的结果；W″为样本信息更新的结果；

3-9.对散射装置函数进行更新：

D_j为当前位置处的散射片传递函数，conj(W″)代表对更新后的样本信息取共轭；φ′_j为调制信息更新后的结果；φ_j为调制信息更新前的结果；α_D为散射装置函数更新的权重因子；

3-10.进行下一次迭代，即重复执行步骤3-3到步骤3-9；

3-11.迭代完成后将样本的光场信息传回到物体平面：

W(x，y)＝(W′(x，y)*PSF_free(-d))。