CN111343376B - 一种基于透射式双缝孔径编码成像系统及其超分辨方法 - Google Patents

Abstract

本发明公开了一种基于透射式双缝孔径编码成像系统及其超分辨方法，由成像主透镜组、4f中继透镜一、可编程LCD面板、4f中继透镜二、相机组成，通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像。本发明相对于现有可编程孔径成像系统，该装置不需任何机械扫描装置，结构简单，测量快速，操作简易，可稳定精确测量；相对于反射式编码成像系统，采用透射式编码成像系统可减少入射光的损失，提高成像质量。

Description

一种基于透射式双缝孔径编码成像系统及其超分辨方法

技术领域

本发明属于计算光学成像技术，特别是基于透射式双缝孔径编码成像系统及其超分辨方法。

背景技术

随着科技的发展，人类进入一个全新的信息化时代，多领域对高分辨率图像需求也越发迫切。例如在军事侦查领域，高分辨率的图像可以提高识别军事目标的准确度和速度；在公共安全领域，视频监控中清晰的车牌号、人物特征等可以为事件的处理提供有效线索。但受当前半导体等制作工艺水平的限制，红外探测器的像元尺寸往往较大且探测器阵列的像元数目通常较少。因此，采集到的图像分辨率较低，采样频率不满足奈奎斯特采样定律，产生“图像像素化”问题，不足以应对人们对成像分辨率的需求。因此，提高图像分辨率是图像获取领域里追求的一个目标。

为了突破由CDD几何尺寸造成的分辨率现状，研究人员提出一种微扫描(孙鸣捷.超像素微扫描方法及相应的红外超分辨率实时成像装置:中国,CN201210451785.5,[P])的方法，通过对同一场景进行多次采样，用多幅相互之间有微小位移的时间序列低分辨率图像重建高分辨率图像。2005年，Solomon J等人提出了在成像系统的傅里叶平面放置一个掩模，这个掩模对物频谱进行编码成像之后再对像频谱进行解码(Solomon J,Zalevsky Z,Mendlovic D.Geometric superresolution by code division multiplexing[J].Applied optics,2005,44(1):32-40.)。虽然加掩模的方法可以克服由CCD两相邻素中心间距离引起的频谱混叠问题，但该方法忽略了CCD像素大小，将CCD像素看成理想的点，并没有解决由CCD每个像素的大小和形状引起的低通效应问题(刘晶丹,许廷发,荀显超,等.光学掩模实现几何超分辨成像的仿真[J].光学精密工程,2014,22(8):2026-2031.)。2017年邹晶等人提出了一种亚像素扫描超分辨成像方法(邹晶,耿星杰,廖可梁,等.基于亚像素扫描的超分辨技术在高分辨X射线显微镜中的应用[J].光子学报,2017,46(12):59-66.)，它可实现多帧同一场景下互有亚像素级位移图像的采集，从而优化最终成像质量。但这种方法需要额外的运动部件或是摆镜，系统十分复杂，并且由此重建高分辨率图像是一个非常困难的过程。所以如何在不使用机械扫描装置的前提下实现超越成像探测器分辨率限制的高分辨率成像成为了必须克服的一个技术难题。

发明内容

本发明的目的在于提供一种基于透射式双缝孔径编码成像系统及其超分辨方法，既能降低相机所需的曝光时间，提高系统的图像采集速度，又能减少像差，提高信噪比，提高图片重构质量。

实现本发明目的的技术解决方案为：一种基于透射式双缝孔径编码成像系统及其利用该系统进行超分辨重构方法，该系统包括成像主透镜组、4f中继透镜一、可编程LCD面板、4f中继透镜二及相机，所述的4f中继透镜一及4f中继透镜二构成4f系统的透视式光路结构。在此光路结构中，将成像主透镜组的孔径平面成像到可编程LCD面板上，可编程LCD面板处于4f中继透镜一的后焦面上，可编程LCD面板同时也处于4f中继透镜二的前焦面上；相机位于4f中继透镜二的后焦面上。所述的成像主透镜组、可编程LCD面板、相机分别固定安装在光学平台上，在调节成像主透镜组的焦距时，相机与可编程LCD面板相对于成像主透镜组的位置保持不变，成像主透镜组对物体成像的一级像面落在4f中继透镜一前焦面上。

利用上述系统进行超分辨重构方法步骤如下：在可编程LCD面板上显示编码图案并拍摄N幅相应的低分辨率图像，记第k幅双缝编码图案P_k的光学传递函数和低分辨率图像分别为H_k和

将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最邻近插值作为初始化的高分辨率图像

然后对其做傅立叶变换，求得初始化的高分辨率频谱

选取第一幅双缝编码图案，将它的光学传递函数H_k与初始化的高分辨率频谱相乘

之后再做傅立叶逆变换并进行像素合并得到第一幅双缝编码图案对应的目标低分辨率图像

将生成的目标低分辨率图像

与拍摄到的低分辨率图像

相除，获得低分辨率的更新系数矩阵

然后对更新系数矩阵进行最邻近插值，得到高分辨率的更新系数矩阵

利用高分辨的更新系数矩阵

和光学传递函数H_k获得更新后的高分辨率频谱

选择下一幅双缝编码图案，重复迭代直到所有双缝编码图案所对应的低分辨率图像都更新过一次；再次进行下一轮迭代，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和小于一个阈值T。

本发明与现有技术相比，其显著优点：(1)相对于现有可编程孔径成像系统，该装置不需任何机械扫描装置，结构简单，测量快速，操作简易，能够成功地实现大视场超分辨成像，可将目标成像分辨率提高2倍以上。(2)相对于反射式编码成像系统，采用透射式编码成像系统可减少入射光的损失，提高成像质量。(3)本系统利用LCD面板进行孔径编码，避免了光栅衍射效应。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于透射式双缝孔径编码成像系统的光线追迹图。

图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数，图2(c)为基于本发明成像采用的单缝编码图案，图2(d)为单缝编码图案生成的传递函数。

图3为本发明超分辨方法流程示意图。

图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的相机拍摄的低分辨率原始图像及其频谱，图4(b)为采用像元为3.75×3.75μm的相机采集到的图片及其频谱，图4(c)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果，图4(d)为采用单缝孔径编码得到的超分辨结果。

图5为对复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的相机拍摄的低分辨率原始图像及其频谱，图5(b)为采用像元为3.75×3.75μm的相机采集到的图片及其频谱，图5(c)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果，图5(d)为采用单缝孔径编码得到的超分辨结果。

具体实施方式

结合图1，本发明基于透射式双缝孔径编码成像系统，由成像主透镜组1、4f中继透镜一3、可编程LCD面板4、4f中继透镜二5、相机6组成，采用基于4f系统的透视式光路结构，该透射式光路结构由4f中继透镜一3、4f中继透镜二5构成。在此光路结构中，将成像主透镜组1的孔径平面2成像到可编程LCD面板4上，可编程LCD面板4处于4f中继透镜一3的后焦面上，可实现对成像主透镜组1的孔径平面2的调制功能并且减小了成像系统的像差。相机6位于4f中继透镜二5的后焦面上。成像主透镜组1为CANON(100—400mm)，焦距调节为400mm。4f中继透镜一3和4f中继透镜二5为CANON LENS EF 50mm、1:1.4，相机6相机尺寸为15×15μm的相机。

图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数，图2(c)为基于本发明成像采用的单缝编码图案，图2(d)为单缝编码图案生成的传递函数。本发明可编程LCD面板4上显示双缝编码图案，缝宽为2个像素点宽度，间距为3个像素点宽度。由对比图可以看出，选用双缝编码图案的传递函数具有更好的各向异性，并且相对于单缝编码图案选用双缝编码可以有更多的高频信息透过，高频重叠率更高。利用计算机matlab软件生成双缝编码图案P_k的公式为：

β＝cir(r,c,NA/λ)

P_k＝(rotate(P₀,r,c,180*(k-1)/N))*β

其中r为可编程LCD面板4中心点所在行数，c为可编程LCD面板4中心点所在列数，NA为光学系统的数值孔径，λ为入射光中心波长，P₀(i,j)为矩阵P₀第i行，第j列所对应的元素，rotate(l,m,n,θ)表示以第m行，第n列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,t)表示以第r行，第c列为中心，半径为t的圆，k＝1…N。

结合图3，本发明基于透射式双缝孔径编码成像系统的超分辨方法，步骤具体如下：

1.在可编程LCD面板4上显示编码图案并拍摄N幅相应的低分辨率图像，记第k幅双缝编码图案P_k对应的光学传递函数和低分辨率图像分别为H_k和

其中k＝1…N，上标LR表示低分辨率，rot180(…)表示进行将矩阵旋转180度，上标*表示对矩阵进行共轭运算，P'_k为对双缝编码图案P_k生成的矩阵进行共轭运算后旋转180度后的结果，conv2(A,B)表示将矩阵A，B进行二维卷积运算,max(C)表示矩阵C的最大元素的值：

P_k′＝rot180(P_k ^*)

H_k＝conv2(P_k,P_k′)/max(conv2(P_k,P_k′))

2.将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最邻近插值，为初始化的高分辨率图像

其中下标iter表示迭代次数，初始化时iter＝0，[...]_UP表示进行最邻近插值。然后对其做傅立叶变换，求得初始化的高分辨率频谱

其中FFT{…}表示进行傅立叶变换；

3.对初始化的高分辨率频谱进行傅里叶逆变换后进行降采样得到对应目标低分辨率图像，令k＝1，选取第一幅双缝编码图案，将双缝编码图案的光学传递函数H_k与初始化的高分辨率频谱

相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅双缝编码图案对应的目标低分辨率图像

其中FFT^-1{…}表示进行傅立叶逆变换，[…]_DOWN表示进行像素合并降采样，上标HR表示高分辨率，上标E表示经像素合并后得到的低分辨率图像，下标iter表示迭代次数，k＝1…N；

4.将生成的目标低分辨率图像

与拍摄到的低分辨率图像

相除，获得低分辨率的更新系数矩阵

然后对更新系数矩阵进行最邻近插值，得到高分辨率的更新系数矩阵

其中上标LR表示低分辨率，上标HR表示高分辨率，上标E表示经像素合并后得到的低分辨率图像，[...]_UP表示进行最邻近插值，k＝1…N；

5.利用更新系数矩阵

和光学传递函数H_k，根据步骤3的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱

其中极小的正值ε为正则化参数，防止分母为零，FFT^-1{…}表示进行傅立叶逆变换，FFT{…}表示进行傅立叶变换，上标HR表示高分辨率，下标iter表示迭代次数，k＝1…N；

6.令k＝k+1，选择另一幅双缝编码图案，重复迭代3到5步，直到所有孔径编码图案所对应的低分辨率图像都更新过一次；

7.令iter＝iter+1，重复迭代3到6步，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和小于一个阈值T，其中T的值一般为0.001，从而利用基于透射式双缝孔径编码成像系统完成超分辨的重构。

为了测试本发明基于透射式双缝孔径编码成像系统及实现迭代超分辨方法的有效性，特选取两组实验加以说明。

图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的相机拍摄的低分辨率原始图像及其频谱，图4(b)为采用像元为3.75×3.75μm的相机采集到的图片及其频谱，近似为理想物体及其频谱，图4(c)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果，图4(d)为采用单缝孔径编码得到的超分辨结果。图5为对复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的相机拍摄的低分辨率原始图像及其频谱，图5(b)为采用像元为3.75×3.75μm的相机采集到的图片及其频谱，近似为理想物体及其频谱，图5(c)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果，图5(d)为采用单缝孔径编码得到的超分辨结果。可以看出，采集到的图片存在明显像素化的问题，目标物边缘模糊，无法辨识目标物细节。如图4(a)所示，分辨率板标识线边缘模糊，存在明显像素化问题，图5(a)中坦克边缘轮廓不清晰，135标识略有可见，细节部分无法辨析，而使用本发明基于透射式双缝孔径编码成像系统的超分辨重构图4(c)中可以从标识线看出超分辨效果已经达到2倍，对应复杂场景的超分辨重构结果图5(c)中可以看出目标物体的细节得到大幅提升，超分辨重构效果明显。采用单缝孔径编码得到的重构图4(d)和图5(d)超分辨效果明显弱于采用双缝孔径编码得到的图4(c)和图5(c)，并且参考设定理想物体图4(b)和图5(b)，采用双缝孔径编码得到的重构物体及频谱正确程度明显优于采用单缝编码得到的重构物体。图4(c)和图5(c)的结果显示，基于透射式双缝孔径编码成像系统及其超分辨方法可以实现超越像素分辨率2倍以上的超分辨效果。

Claims (6)

1.一种基于透射式双缝孔径编码成像系统，其特征在于：由成像主透镜组(1)、4f中继透镜一(3)、可编程LCD面板(4)、4f中继透镜二(5)、相机(6)组成，采用基于4f系统的透射式光路结构，该透射式光路结构由4f中继透镜一(3)、4f中继透镜二(5)构成，在此光路结构中，将成像主透镜组(1)的孔径平面(2)成像到可编程LCD面板(4)上，可编程LCD面板(4)处于4f中继透镜一(3)的后焦面上，可实现对成像主透镜组(1)的孔径平面(2)的调制功能并且减小了成像系统的像差，相机(6)位于4f中继透镜二(5)的后焦面上；

在可编程LCD面板(4)上显示双缝编码图案，其中缝宽为2个像素点宽度，缝间距为3个像素点宽度，利用计算机matlab软件生成双缝编码图案P_k的公式为：

β＝cir(r,c,NA/λ)

P_k＝(rotate(P₀,r,c,180*(k-1)/N))*β

其中r为可编程LCD面板(4)中心点所在行数，c为可编程LCD面板(4)中心点所在列数，NA为光学系统的数值孔径，λ为入射光中心波长，P₀(i,j)为矩阵P₀第i行，第j列所对应的元素，rotate(l,m,n,θ)表示以第m行，第n列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,t)表示以第r行，第c列为中心，半径为t的圆，k＝1…N。

2.根据权利要求1所述的系统，其特征在于第k幅双缝编码图案P_k的光学传递函数H_k生成公式为：

P_k′＝rot180(P_k ^*)

H_k＝conv2(P_k,P_k′)/max(conv2(P_k,P_k′))

其中rot180(…)表示进行将矩阵旋转180度，上标*表示对矩阵进行共轭运算，P′_k为对双缝编码图案P_k生成的矩阵进行共轭运算后旋转180度后的结果，conv2(A,B)表示将矩阵A，B进行二维卷积运算，max(C)表示矩阵C的最大元素的值，k＝1…N。

3.一种基于权利要求1所要求保护的基于透射式双缝孔径编码成像系统的超分辨方法，其特征在于步骤具体如下：

(1)在可编程LCD面板上显示编码图案并拍摄N幅相应的低分辨率图像，记第k幅双缝编码图案P_k对应的光学传递函数和低分辨率图像分别为H_k和

其中上标LR表示低分辨率，k＝1…N；

(2)将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最邻近插值，作为初始化的高分辨率图像

然后对其做傅立叶变换，求得初始化的高分辨率频谱

上标HR表示高分辨率，下标iter表示迭代次数，初始化时iter＝0；

(3)对初始化的高分辨率频谱进行傅里叶逆变换后进行降采样得到对应目标低分辨率图像，令k＝1，选取第一幅双缝编码图案，将双缝编码图案的光学传递函数H_k与初始化的高分辨率频谱

相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅双缝编码图案对应的目标低分辨率图像

上标HR表示高分辨率，下标iter表示迭代次数，初始化时iter＝0，上标E表示经像素合并后得到的低分辨率图像，k＝1…N；

(4)将生成的目标低分辨率图像

与拍摄到的低分辨率图像

相除，获得低分辨率的更新系数矩阵

然后对低分辨率的更新系数矩阵

进行最邻近插值，得到高分辨率的更新系数矩阵

上标HR表示高分辨率，上标LR表示低分辨率，上标E表示经像素合并后得到的低分辨率图像，k＝1…N；

(5)利用更新的高分辨的更新系数矩阵

和光学传递函数H_k，根据步骤(3)的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱

上标HR表示高分辨率，下标iter表示迭代次数，k＝1…N；

(6)令k＝k+1，选择另一幅双缝编码图案，重复迭代步骤(3)-(5)步，直到所有双缝编码图案所对应的低分辨率图像都更新过一次；

(7)令iter＝iter+1，重复步骤(3)-(6)步进行下一轮迭代，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和小于阈值T。

4.根据权利要求3所述的方法，其特征在于步骤(2)中，初始化的高分辨频谱的生成公式为：

其中[...]_UP表示进行最邻近插值，

为初始化的高分辨率图像，

为初始化的高分辨率频谱，下标iter表示迭代次数，初始化时FFT{…}表示进行傅立叶变换，上标HR表示高分辨率，k＝1…N。

5.根据权利要求3所述的方法，其特征在于高分辨率的更新系数矩阵

生成公式为：

其中[…]_DOWN表示进行像素合并降采样，[...]_UP表示进行最邻近插值，

为生成的目标低分辨率图像，FFT^-1{…}表示进行傅立叶逆变换，

为初始化的高分辨率频谱，下标iter表示迭代次数，初始化时iter＝0，

为拍摄到的低分辨率图像，H_k为光学传递函数，

为低分辨率的更新系数矩阵，

为高分辨率的更新系数矩阵，上标HR表示高分辨率，上标LR表示低分辨率，上标E表示经像素合并后得到的低分辨率图像，k＝1…N。

6.根据权利要求3所述的方法，其特征在于步骤(5)中，更新后的高分辨率频谱的生成公式为：

为初始化的高分辨率频谱，下标iter表示迭代次数，初始化时iter＝0，ε为正则化参数，FFT^-1{…}表示进行傅立叶逆变换，FFT{…}表示进行傅立叶变换，

为高分辨率的更新系数矩阵，上标HR表示高分辨率，H_k为光学传递函数，k＝1…N。

Images