CN111031264B - 一种基于透射式红外孔径编码成像系统及其超分辨方法 - Google Patents

Abstract

本发明公开了一种基于透射式红外孔径编码成像系统及其超分辨方法，由聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑、相机组成，通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像，减少像素化。本发明不需任何机械扫描装置，结构紧凑，测量快速，操作简易，可稳定精确测量；采用透射式编码成像系统可减少入射光的损失，提高成像质量；能够成功地实现在红外波段的大视场超分辨成像，超越由相机奈奎斯特采样频率所限制的分辨率，可将目标成像分辨率提高到镜头的衍射极限。

Description

一种基于透射式红外孔径编码成像系统及其超分辨方法

技术领域

本发明属于计算光学成像技术，特别是基于透射式红外孔径编码成像系统及超分辨方法。

背景技术

自20世纪60年代世界上第一个数字相机在飞利浦实验室问世以来，光电成像技术经历了不断的革新，它们以更高的分辨率与质量，引导着人类向无尽的世界发起无穷的探索，限制光学成像系统成像分辨率的因素也由阿贝衍射极限延伸到探测器的像素大小。现如今，人类进入了一个全新的信息化时代，高分辨率图像作为一种重要的数据信息，广泛地应用于公安、国防、地测、医疗等多个领域，例如在公共安全领域，视频监控图像中准确的车牌号、明显的人物相貌衣着特征等可以为事件的处理提供有效线索；在军事侦察领域，清晰的目标轮廓、丰富的目标细节可以为识别军事目标提高准确率和速度；在天文学领域，更好的图像细节可以帮助天文学家更好地认识和理解宇宙。人们对图像分辨率的需求还在不断增长。但受当前半导体等制作工艺水平的限制，红外探测器的像元尺寸往往较大且探测器阵列的像元数目通常较少。因此，采集到的图像分辨率较低，采样频率不满足奈奎斯特采样定律，产生“图像像素化”问题，不足以应对人们对成像分辨率的需求。因此，提高图像分辨率是图像获取领域里追求的一个目标。

为了突破由CDD几何尺寸造成的分辨率现状，研究人员提出一种微扫描(Shi, J.,Reichenbach,S.E.,&Howe,J.D.(2006).Small-kernel superresolution methods formicroscanning imaging systems.Applied optics,45(6),1203-1214.)的方法，通过对同一场景进行多次采样，用多幅相互之间有微小位移的时间序列低分辨率图像重建高分辨率图像。2005年，Solomon J等人提出了在成像系统的傅里叶平面放置一个掩模，这个掩模对物频谱进行编码成像之后再对像频谱进行解码(Solomon J,Zalevsky Z,MendlovicD.Geometric superresolution by code division multiplexing[J].Applied optics,2005,44(1):32-40.)。虽然加掩模的方法可以克服由CCD两相邻素中心间距离引起的频谱混叠问题，但该方法忽略了CCD像素大小，将CCD像素看成理想的点，并没有解决由CCD每个像素的大小和形状引起的低通效应问题(刘晶丹,许廷发,荀显超,等.光学掩模实现几何超分辨成像的仿真[J].光学精密工程,2014,22(8):2026-2031.)。2017年邹晶等人提出了一种亚像素扫描超分辨成像方法(邹晶,耿星杰,廖可梁,等.基于亚像素扫描的超分辨技术在高分辨X射线显微镜中的应用[J].光子学报,2017,46(12):59-66.)，它可实现多帧同一场景下互有亚像素级位移图像的采集，从而优化最终成像质量。但这种方法需要额外的运动部件或是摆镜，系统十分复杂，并且由此重建高分辨率图像是一个非常困难的过程。所以如何在不使用机械扫描装置的前提下针对像元尺寸更大的红外成像探测器，在实现超越成像探测器分辨率限制的高分辨率成像的同时提高成像重构收敛速度，更好的克服空气扰动所产生的像素级光强差别所导致的重构误差成为了必须攻克的一个技术难题。

发明内容

本发明的目的在于提供一种基于透射式红外孔径编码成像系统及其超分辨方法，既能降低相机所需的曝光时间，提高系统的图像采集速度，又能减少像差，提高信噪比，提高图片重构质量。

实现本发明目的的技术解决方案为：一种基于透射式红外孔径编码成像系统及其超分辨方法，包括聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑、相机，所述成聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜、双缝物理孔径光阑构成透视式光路结构；由聚光透镜、变倍透镜、补偿透镜、场镜、会聚透镜构成成像透镜组；在此光路结构中，将双缝物理孔径光阑放置于成像透镜组的孔径平面上，相机位于成像透镜组的后焦面上；所述的成像透镜组及相机分别固定安装在光学平台上，在调节成像透镜组的焦距时，相机与双缝物理孔径光阑相对于成像透镜组的位置保持不变；通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像，减少像素化。

本发明与现有技术相比，其显著优点：(1)相对于现有可编程孔径成像系统，该装置不需任何机械扫描装置，结构简单，测量快速，操作简易，能够成功地实现大视场超分辨成像，可将目标成像分辨率提高至镜头的衍射极限。(2)相对于反射式编码成像系统，采用透射式编码成像系统可减少入射光的损失，提高成像质量。(3)本系统将双缝物理孔径光阑置于成像镜头组内部，使得整个系统结构更为紧凑。(4)采用此超分辨方法可以有效避免图像的重构误差，算法可以快速收敛，提高重构质量。(5)能够成功地实现在红外波段的大视场超分辨成像，超越由相机奈奎斯特采样频率所限制的分辨率，可将目标成像分辨率提高到镜头的衍射极限。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于透射式孔径编码成像系统的光线追迹图。

图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数。

图3为本发明超分辨重构流程示意图。

图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图4(b)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果。

图5为对室外复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图5(b)为使用本发明基于透射式双缝孔径编码成像系统的超分辨结果。

具体实施方式

结合图1，本发明基于透射式红外孔径编码成像系统，由聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5、双缝物理孔径光阑6、相机7组成，采用透视式光路结构，该透射光路结构由聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5、双缝物理孔径光阑6构成。聚光透镜1、变倍透镜2、补偿透镜3、场镜4、会聚透镜5构成成像透镜组，在此光路结构中，将双缝物理孔径光阑6放置于成像透镜组的孔径平面上，相机7位于成像透镜组的后焦面上，可实现对成像透镜组孔径平面的调制功能并且减小了成像系统的像差。采用聚光透镜1收集光线，变倍透镜2作为成像透镜组中的变倍透镜进行变焦，场镜4 提高边缘光束入射到探测器的能力，会聚透镜5将光线会聚到探测器上，整个透镜组可以实现全焦段F1.5，焦距25mm-225mm连续变焦。成像透镜组的F数为 1.5，焦距调节为25mm～225mm连续变焦。相机7为像素尺寸15×15μm的红外相机。

图2(a)为本发明采用的双缝编码图案，图2(b)为双缝编码图案生成的传递函数。本发明采用的双缝编码图案P_k是以双缝物理孔径光阑6的圆心为圆点依次进行旋转得到，k＝1…N。

β＝cir(r,c,d)

P_k＝(rotate(P₀,r,c,180*(k-1)/N))*β

其中r为双缝物理孔径光阑6中心点所在行数，c为双缝物理孔径光阑6中心点所在列数，d为双缝物理孔径光阑6的直径，P₀(i,j)为矩阵P₀第i行，第j 列所对应的值，rotate(l,r,c,θ)表示以第r行，第c列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,d)表示以第r行，第c列为中心，直径为d的圆。

结合图3，本发明基于透射式双缝孔径编码成像系统的超分辨方法，步骤具体如下：

1.电机调控旋转双缝物理孔径光阑6并拍摄N幅相应的低分辨率图像，记第 k幅孔径编码图案P_k对应的光学传递函数和低分辨率图像分别为H_k和

其中 k＝1…N，上标*表示对矩阵进行共轭运算，conv2(A,B)表示将矩阵A，B进行二维卷积运算,max(C)表示矩阵C的最大元素的值：

H_k＝conv2(P_k,P_k ^*)

H_k＝H_k/max(H_k)

2.将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最近邻插值，作为初始化的高分辨率图像

其中iter表示迭代次数，初始值为iter＝0，[...]_UP表示进行最近邻插值。然后对其做傅立叶变换，求得初始化的高分辨率频谱

其中FFT{…}表示进行傅立叶变换：

3.令k＝1，选取第一幅孔径编码图案，将它的光学传递函数H_k与初始化的高分辨率频谱

相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅孔径编码图案对应的目标低分辨率图像

其中FFT^-1{…}表示进行傅立叶逆变换，表示进行[…]_DOWN像素合并降采样：

4.在超分辨方法步骤5前，用模拟退火法校正拍摄的低分辨图像相对目标低分辨图像的偏移位置，实现了在重构迭代的过程中准确地校正低分辨率光强图的漂移误差，具体过程为：

1.1初始位置预测

确定搜索中心的初始位置，也就是偏移误差的初始值，通常设为零，即

x方向偏移误差

y方向偏移误差

其中上标e代表误差，下标k 表示第k个孔径编码图案。

1.2更新误差参数

记搜索中心8邻域像素的相对搜索中心的偏移量为

其中下标 s＝1,2,...,8，分别表示邻域中的8个像素，上标e代表误差下x,y分别代表图像的x方向和y方向的坐标。其中第一次搜索中x方向或y方向的最大偏移量

为一个相机像素点的大小，E_s为目标高分辨光强图与

与平移后的光强图

的差值的平方，argmin{E_s}表示寻找E_s中的最小值并将其作为拍摄的低分辨图像，所对应的更新误差参数公式为：

1.3更新搜索范围

判断此时的偏移量

是否小于一个阈值R，如果小于R，我们保持偏移量不变，否则将偏移量乘上一个衰减因子α。通常取

α＝0.5。

5.将生成的目标低分辨率图像

与拍摄到的低分辨率图像

相除，获得低分辨率的更新系数矩阵

然后对更新系数矩阵进行最近邻插值，得到高分辨率的更新系数矩阵

6.利用更新系数矩阵

和光学传递函数H_k，根据步骤3的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱

其中极小的正值τ为正则化参数，防止分母为零，利用所有生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差之和ε^iter作为判据，在迭代重构部分中加入对步长β的更新：

其中ε_k为生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差。

7.令k＝k+1，选择另一幅孔径编码图案，重复迭代步骤3到步骤6，直到所有编码图案所对应的低分辨率图像都更新过一次。

8.令iter＝iter+1，重复迭代步骤3到步骤7，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和ε^iter小于一个阈值T，其中T的值一般为0.001。

为了测试本发明基于透射式红外孔径编码成像系统及实现迭代超分辨方法的有效性，特选取两组实验加以说明。

图4为对分辨率板进行超分辨率成像的实验结果，图4(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图4(b)为使用本发明基于透射式红外孔径编码成像系统的超分辨结果。图5为对室外复杂场景进行超分辨率成像的实验结果，图5(a)是未进行超分辨重构前的使用像素尺寸为15×15μm的红外相机拍摄的低分辨率原始图像及其频谱，图5(b) 为使用本发明基于透射式红外孔径编码成像系统的超分辨结果。可以看出，采集到的图片存在明显像素化的问题，目标物边缘模糊，无法辨识目标物细节。如图 4(a)所示，分辨率板标识线边缘模糊，存在明显像素化问题，图5(a)中车轮、雨刷等细节部分无法辨析，而使用本发明基于透射式双缝孔径编码成像系统的超分辨重构图4(b )中可以从标识线看出超分辨效果已经达到1.67倍，接近此红外镜头的衍射极限所对应的频率，对应复杂场景的超分辨重构结果图5(b)中可以看出目标物体的细节得到大幅提升，超分辨重构效果明显。图4(b)和图5(b)的结果显示，基于透射式双缝孔径编码成像系统及超分辨方法可以有效提升目标物体的分辨率，并提升至接近镜头的衍射极限。

Claims (4)

1.一种基于透射式红外孔径编码成像系统，其特征在于：由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)、双缝物理孔径光阑(6)、相机(7)组成，采用透视式光路结构，该透视式光路结构由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)、双缝物理孔径光阑(6)构成；由聚光透镜(1)、变倍透镜(2)、补偿透镜(3)、场镜(4)、会聚透镜(5)构成成像透镜组；在此光路结构中，将双缝物理孔径光阑(6)放置于成像透镜组的孔径平面上，相机(7)位于成像透镜组的后焦面上；

采用以双缝物理孔径光阑(6)圆心为圆点进行依次旋转得到双缝编码图案P_k，k＝1…N，即

β＝cir(r,c,d)

P_k＝(rotate(P₀,r,c,180*(k-1)/N))*β

其中r为双缝物理孔径光阑(6)中心点所在行数，c为双缝物理孔径光阑(6)中心点所在列数，d为双缝物理孔径光阑(6)的直径，P₀(i,j)为矩阵P₀第i行，第j列所对应的值，rotate(l,r,c,θ)表示以第r行，第c列为旋转中心，对l图案顺时针旋转θ角度，cir(r,c,d)表示以第r行，第c列为中心，直径为d的圆。

2.根据权利要求1所述的系统，其特征在于，采用聚光透镜(1)收集光线，变倍透镜(2)作为成像透镜组中的变倍透镜进行变焦，场镜(4)提高边缘光束入射到探测器的能力，会聚透镜(5)将光线会聚到探测器上，整个透镜组实现全焦段F1.5，焦距25mm-225mm连续变焦。

3.一种基于透射式双缝孔径编码成像系统的超分辨方法，其特征在于步骤如下：

1.1电机调控旋转双缝物理孔径光阑(6)并拍摄N幅相应的低分辨率图像，记第k幅孔径编码图案P_k对应的光学传递函数和低分辨率图像分别为H_k和

其中k＝1…N，上标*表示对矩阵进行共轭运算，conv2(A,B)表示将矩阵A，B进行二维卷积运算,max(C)表示矩阵C的最大元素的值：

H_k＝conv2(P_k,P_k ^*)

H_k＝H_k/max(H_k)

1.2将所有低分辨率图像的平均作为频域孔径全开时的低分辨率图像，并进行最近邻插值，作为初始化的高分辨率图像

其中iter表示迭代次数，初始值为iter＝0，(...)_UP表示进行最近邻插值，然后对其做傅立叶变换，求得初始化的高分辨率频谱

其中FFT{…}表示进行傅立叶变换；

1.3令k＝1，选取第一幅孔径编码图案，将它的光学传递函数H_k与初始化的高分辨率频谱

相乘，之后再做傅立叶逆变换并进行像素合并得到第一幅孔径编码图案对应的目标低分辨率图像

其中FFT^-1{…}表示进行傅立叶逆变换，(…)_DOWN表示进行像素合并降采样：

1.4用模拟退火法校正拍摄的低分辨图像相对目标低分辨图像的偏移位置，在重构迭代的过程中准确地校正低分辨率光强图的漂移误差；

1.5将生成的目标低分辨率图像

与拍摄到的低分辨率图像

相除，获得低分辨率的更新系数矩阵

然后对更新系数矩阵进行最近邻插值，得到高分辨率的更新系数矩阵

1.6利用更新系数矩阵

和光学传递函数H_k，根据步骤1.3的逆过程进行维纳逆滤波，获得更新后的高分辨率频谱

其中极小的正值τ为正则化参数，防止分母为零，利用所有生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差之和ε^iter作为判据，在迭代重构部分中加入对步长β的更新：

其中ε_k为生成的目标低分辨率光强与拍摄到的低分辨率光强的均方误差；

1.7令k＝k+1，选择另一幅孔径编码图案，重复迭代步骤1.3-步骤1.6，直到所有编码图案所对应的低分辨率图像都更新过一次；

1.8令iter＝iter+1，重复迭代步骤1.3-步骤1.7，直到重构的高分辨率图像收敛，收敛的判据为所有生成的目标低分辨率图像与拍摄到的低分辨率图像的均方误差之和ε^iter小于一个阈值T。

4.根据权利要求3所述的超分辨方法，其特征在于步骤1.4的具体过程如下：

1.1初始位置预测

确定搜索中心的初始位置，也就是偏移误差的初始值，设为零，即

x方向偏移误差

y方向偏移误差

其中上标e代表误差，下标k表示第k个孔径编码图案；

1.2更新误差参数

记搜索中心8邻域像素的相对搜索中心的偏移量为

其中下标s＝1,2,...,8，分别表示邻域中的8个像素，上标e代表误差下x,y分别代表图像的x方向和y方向的坐标；其中第一次搜索中x方向或y方向的最大偏移量

为一个相机像素点的大小，E_s为目标低分辨光强图

与平移后的光强图

的差值的平方，argmin{E_s}表示寻找E_s中的最小值并将其作为拍摄的低分辨图像，所对应的更新误差参数公式为：

1.3更新搜索范围

判断此时的偏移量

是否小于一个阈值R，如果小于R，保持偏移量不变，否则将偏移量乘上一个衰减因子α。

Images