CN107395933B - 一种基于lcos空间光调制器的可编程孔径成像系统及超分辨方法 - Google Patents

Abstract

本发明公开了一种基于LCOS空间光调制器的可编程孔径成像系统及其利用该系统进行超分辨重构方法，该系统包括空间光调制器、光分束器、透镜二、相机、透镜一、成像主透镜组，所述的透镜二、光分束器及透镜一构成4f系统反射式光路结构，光分束器与透镜二、透镜一的夹角均为45°，透镜二、透镜一分别与光分束器的距离相等；将成像主透镜组的孔径平面成像到空间光调制器上，空间光调制器处于透镜一的后焦面上，空间光调制器同时也处于透镜二的前焦面；相机位于4f系统透镜二的后焦面。本发明不需任何机械扫描装置，结构简单，测量快速，操作简易，可稳定精确测量；采用的是LCOS空间光调制器，避免了光栅衍射效应。

Description

一种基于LCOS空间光调制器的可编程孔径成像系统及超分辨 方法

技术领域

本发明属于计算成像技术，特别是基于LCOS空间光调制器的可编程孔径成像系统及超分辨方法。

背景技术

虽然现有的光电成像技术已取得巨大进步，并获得一系列的优异成果，然而，无论是高价专业数码相机还是低廉手机摄像头，都未突破传统的“小孔成像”方式，仍为基于透镜式“所见即所得”的成像模式，虽然这种模式原理简单，操作易行，但是仍然存在难以逾越的局限——图像像素化。现有的光电成像系统，在信息获取、具体功能、性能指标等方面，皆受限于探测器工艺水平及制作成本。通常而言，解决图像像素化问题的最直接方法即为提高探测器阵列密度以提高分辨率。但实际上，由于受到探测器制作工艺的限制，目前探测器尺寸水平已达物理极限，因此若想再通过此法来减少图像像素化问题，是非常困难的。同时，即使在不考虑成本的前提下实现了像元尺寸的进一步减小，然而由于光通量下降带来了灵敏度降低的问题，使得原本微弱的光信号愈加掺杂在严重的噪声中，导致信噪比更低，后期更加难于补偿。

为了突破由CCD探测器几何尺寸造成的分辨率限制，近年来，研究人员提出了多种超分辨成像技术(代少升、张德洲、崔俊杰等：基于微扫描的红外超分辨率成像系统的设计[J].半导体光电,2017,38(1):103-106.)。超分辨率成像技术能在不改变设备硬件条件的情况下，利用多帧图像间的互补信息提高图像空间分辨率，常见的方法是亚像素扫描超分辨成像法(Peleg S,Keren D,Schweitzer L. Improving image resolution usingsubpixel motion[J].Pattern recognition letters, 1987,5(3):223-226.)，它可实现多帧同一场景下互有亚像素级位移图像的采集，从而优化最终成像质量。但这种方法需要额外的运动部件或是摆镜，系统十分复杂；并且由此重建高分辨率图像是一个非常困难的过程。如此一来，实验条件要求非常苛刻，实验可操作性差。2005年，Solomon J等人提出了在成像系统的傅里叶平面放置一个掩模，这个掩模对物频谱进行编码成像之后再对像频谱进行解码(Solomon J,Zalevsky Z,Mendlovic D.Geometric superresolution by codedivision multiplexing[J].Applied optics,2005,44(1):32-40.)。虽然加掩模的方法可以克服由CCD两相邻素中心间距离引起的频谱混叠问题，但该方法忽略了CCD像素大小，将CCD像素看成理想的点，并没有解决由CCD每个像素的大小和形状引起的低通效应问题(刘晶丹,许廷发,荀显超,等.光学掩模实现几何超分辨成像的仿真[J].光学精密工程,2014,22(8):2026-2031.)。2013年，刘海英等人提出了利用数字微镜阵列(DMD)实现超分辨重构，但是DMD器件存在“衍射光栅效应”，影响超分辨效果(刘海英,李云松,吴成柯.一种数字微镜阵列分区控制和超分辨重建的压缩感知成像法[J].光子学报,2013,43(5):510002-0510002.)。所以如何在不使用任何机械扫描装置的前提下实现超越成像探测器分辨率限制的高分辨率成像成为了必须克服的一个技术难题。

发明内容

本发明的目的在于提供一种可基于LCOS空间光调制器的可编程孔径成像系统及超分辨方法，既能降低相机所需的曝光时间，提高系统的图像采集速度，又能抑制噪声，提高系统采集的图像质量。

实现本发明目的的技术解决方案为：一种基于LCOS空间光调制器的可编程孔径成像系统及其利用该系统进行超分辨重构方法，该系统包括空间光调制器、光分束器、透镜二、相机、透镜一、成像主透镜组，所述的透镜二、光分束器及透镜一构成4f系统反射式光路结构，光分束器与透镜二、透镜一的夹角均为 45°，透镜二、透镜一分别与光分束器的距离相等；将成像主透镜组的孔径平面成像到空间光调制器上，空间光调制器处于透镜一的后焦面上，空间光调制器同时也处于透镜二的前焦面；相机位于4f系统透镜二的后焦面；

所述空间光调制器、相机与成像主透镜组分别固定安装在光学平台上，在调节成像主透镜组的焦距时，相机与空间光调制器相对于成像主透镜组的位置保持不变，主透镜组对物体成像的一级像面落在透镜一的前焦面上。

本发明与现有技术相比，其显著优点：(1)相对于现有可编程孔径成像系统，本发明不需任何机械扫描装置，结构简单，测量快速，操作简易，可稳定精确测量。(2)不同于现有的可编程孔径编码系统，本发明采用的是LCOS空间光调制器，避免了光栅衍射效应。(3)有效地将迭代超分辨方法应用到可编程孔径成像系统中。通过拍摄一系列低分辨率图像后在傅里叶域进行凸集投影迭代，直至收敛，即可获得超分辨图像，减少像素化。(4)实验显示该系统及其方法能够成功地实现大视场超分辨成像，可达四分之一亚像素的效果。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于LCOS空间光调制器的可编程孔径成像系统的结构示意图。

图2为本发明基于LCOS空间光调制器的可编程孔径成像系统的光线追迹图。

图3为本发明迭代超分辨方法的流程示意图。

图4为超分辨重构结果，图4(a)至(d)属于同一大场景，图4(e)至(h) 属于另外一个大场景。其中，(a)为场景一的系统采得图；图4(b)为场景一下，使用本发明基于LCOS空间光调制器的可编程孔径成像系统的超分辨结果；图4(c)为场景一的局部放大的采得图；图4(d)为场景一的局部放大的超分辨重构图；图4(e)为场景二的系统采得图；图4(f)为场景二下，使用本发明基于LCOS空间光调制器的可编程孔径成像系统的超分辨结果；图4(g)为场景二的局部放大的采得图；图4(h)为场景二的局部放大的超分辨重构图。

具体实施方式

结合图1，本发明基于LCOS空间光调制器的可编程孔径成像系统，包括空间光调制器1、光分束器2、透镜二3、相机4、透镜一5、成像主透镜组7，采用基于4f系统的反射式光路结构，该4f系统反射式光路结构由透镜二3、光分束器2及透镜一5构成。该光路结构类似“L”型，光分束器2处于“L”的转折处，光分束器2与透镜二3、透镜一5的夹角均为45°，透镜二3、透镜一5 分别与光分束器2的距离相等，具体距离由4f系统所用透镜的焦距决定。此光路结构，将成像主透镜组7的孔径平面9成像到空间光调制器1上，其中空间光调制器1为LCOS(硅基液晶)类型。空间光调制器1处于透镜一5的后焦面上，可实现对主透镜组的孔径平面9的调制功能，空间光调制器1同时也处于透镜二 3的前焦面。相机4位于透镜二3的后焦面。成像主透镜组7采用的是CANON (100—400mm)，焦距调节为400mm的大镜头。4f系统所用透镜2和3为 CANON LENS EF 50mm、1:1.4，相机4为DMK 728UC02，孔径编码空间光调制器1的配套软件为MetroCon V3.1 for QXGA，相机4的显示软件为IC Capture 2.4。

结合图2，本发明的空间光调制器1、相机4与成像主透镜组7被分别固定安装在光学平台上，在调节成像主透镜组7的焦距时，相机4与空间光调制器1 相对于成像主透镜组7的位置保持不变，可避免多余的重复调整相机4和空间光调制器1的位置。利用由透镜二3、透镜一5及光分束器2构成的基于4f系统的反射式光路结构，使得成像主透镜组7不需拆解，因此可保证原成像主透镜组7 的成像质量。主透镜组7对物体成像的一级像面6落在透镜5的前焦面上，相机 4位于透镜二3的后焦面。此光路结构，将成像主透镜组7的孔径平面9成像到空间光调制器1上。空间光调制器1处于透镜一5的后焦面上，可实现对主透镜组的孔径平面9的调制功能。光分束器2与透镜二3、透镜一5的夹角均为45°。其中使用的LCOS空间光调制器1，利用其单孔径状态下优于200:1的对比度可准确高质地实现孔径编码的光调制功能。

结合图3，本发明基于上述LCOS空间光调制器的可编程孔径成像系统的迭代超分辨方法，步骤如下：

1.在空间光调制器1上显示一系列编码图案，并用相机4拍摄相应的低分辨率图像。将所有低分辨率图像

求和平均生成通光孔径全开时的低分辨图I_a，生成公式为

其中，N为低分辨率图像的个数。下标k表示第k个孔径编码对应的图(k 的取值为1至N)。下标a表示孔径全开对应的图，上标c表示相机拍摄的图。

2.对I_a做Mag倍的最邻近插值，并用其频谱作为高分辨率频谱的初始解

其中，Mag为超分辨倍数，

为I_a Mag倍最邻近插值得到的图，上标us 表示上采样，F{·}为傅里叶变换算子。

3.选取第k幅孔径编码图案，以其对应的光学传递函数P_k截取物体的初始高分辨率频谱的频谱信息，其中OTF(光学传递函数)正比于编码孔径的自相关函数。对其进行傅里叶逆变换得到目标光强分布

目标光强生成公式为

其中，上标e表示目标图，下标i表示迭代次数，

表示第k幅孔径编码图案对应的频谱，F^-1{·}为逆傅里叶变换算子。

4.对目标光强图

进行降采样Mag倍得到

并生成对应的系数矩阵C，将系数矩阵最邻近插值后去更新目标光强分布，更新公式为

其中，

为第k幅孔径编码图案对应的更新后的目标光强分布，上标ds 表示降采样，上标us表示上采样，上标u表示更新后的图。

5.对更新后的目标光强分布进行傅里叶变换，经维纳滤波后更新高分辨率物体频谱

其中，

为更新后的目标光强分布的频谱，max{·}表示取矩阵元素最大值，ε为与噪声相关的常数。

6.选择另一幅孔径编码图案，重复迭代步骤3-5，直到所有孔径编码图案所对应的低分辨率图像都更新过一次。

7.重复迭代步骤3-6，直到重构的高分辨率光强图收敛此时就完成了“亚像元”超分辨率成像。

为了测试本发明基于LCOS空间光调制器的可编程孔径成像系统及实现迭代超分辨方法的有效性，特选取两组实验加以说明。

选取两大场景作为实验对象。如图4所示，图4(a)至(d)为一大场景的实验图，图4(e)至(h)为另一大场景的实验图；图4(a)与(e)为对应场景下系统采得图；图4(b)与(f)为使用本发明基于LCOS空间光调制器的可编程孔径成像系统对应场景下的超分辨结果；图4(c)与(g)为放大的局部采得图；图4(d)与(h)为对应场景下的超分辨重构图。可以看出，拍摄图存在明显像素化的问题，目标物边缘模糊，无法辨识目标物细节。如图4(d)所示，目标物轮廓不清晰，鸟眼及羽毛纹路无法辨析，而对应的超分辨重构图4(c) 可见顺滑边缘，鸟眼与羽毛细节亦可识别；如图4(h)所示，发现“南京理工大学”字样略微可见，然而地址信息已然无法辨识。而超分辨重构结果图4(g)可以明显看出“孝陵卫街200号”的地址信息，相比之下，也大大减少了像素化的问题。其中系统相机的像元为2.2×2.2μm，而实验结果是最小可分辨尺寸小于相机的单个像素大小，所以称作亚像元。由对比图看出其可实现亚像元的超分辨超分辨效果。

通过图4(d)和图4(h)的结果显示，本发明基于LCOS空间光调制器的可编程孔径成像系统及迭代超分辨方法具有微米级的测量精度。

上述步骤3中的OTF通过标定方法获得的，该技术已与本申请同时申报发明专利，其步骤如下：

第一步，利用计算机编程生成编码矩阵。利用计算机Matlab软件(或其他类似编程软件)编程生成编码矩阵。编码矩阵的生成公式为：

R＝Ascend(N_r,N_c)

R_sort＝Randsort(R)

R_mod＝Mod(R_sort,L²)

其中，R为N_r行N_c列递增矩阵，其矩阵元素为1～N_r×N_c，Ascend(·)为产生连续递增矩阵的函数,N_r表示所使用的编码孔径的个数，N_c为每次编码孔径中同时置1的LCOS(硅基液晶)像素个数，R_sort为R经过随机排序后的N_r行N_c列的矩阵，Randsort(·)为产生随机排列的函数。R_mod为矩阵R_sort中的每个元素对L²求余后得到的矩阵，Mod(·)为求余操作，L为LCOS一行/一列的像素个数，W表示编码矩阵，W(k,l)为矩阵W中第k行l列的元素。

第二步，将得到的编码矩阵作为孔径编码图案，在LCOS空间光调制器上显示，在已知物体亚像素移动步长的情况下，利用孔径迭代算法标定每个编码矩阵对应的OTF，具体步骤如下：

1.在频域中生成一个高分辨率光学传递函数的初始解P₀，一般选择元素值全为0的矩阵初始化高分辨率光学传递函数。

2.选择相对于所用的超分辨成像光学系统可看成点光源的物体作为目标物 o，在水平和竖直方向亚像素平移目标物o得到平移后的目标物o_m,n,同时拍摄一组对应的低分辨率光强图

直到在水平和垂直方向都平移了一个像素。其中 o_m,n为第m次水平位移第n次竖直位移后的目标物，

为第m次水平位移第 n次竖直位移后拍得的低分辨率光强图，上标c表示拍摄到的图像。 m,n＝1,2,...N,N≥Mag,Mag为超分辨的倍数。

3.对平移后的目标物体o_m,n进行傅里叶变换得到目标物体光强的频谱 O_m,n，利用传递函数P_i截取频谱O_m,n中某一子孔径里的频谱信息，生成一个目标光强分布

目标光强生成公式为

下标i表示第i次更新，上标e表示目标图像，F^-1{·}为傅里叶逆变换算子，|·|为取模运算。

4.对目标光强图

进行降采样Mag倍得到

并生成对应的系数矩阵C，生成公式为

其中上标ds表示降采样。

5.更新目标光强图

更新公式为

其中，C^us为最邻近插值Mag倍后的系数矩阵，上标us表示上采样，上标u表示更新后的图。

6.更新光学传递函数P_i,更新公式为

其中，max{·}表示取矩阵元素最大值,F{·}为傅里叶变换算子。

7.如果还有拍得低分辨率光强图未被用于更新光学传递函数,则重复迭代步骤3～6来利用其他低分辨率光强图更新光学传递函数；

8.当所有低分辨率光强图都被用于更新后，再重复迭代步骤3～7，直到高分辨率光学传递函数收敛，从而获得高分辨率光学传递函数最优解。

第三步，在物体亚像素移动步长未知的情况下，标定出物体的亚像素位移，具体步骤如下：

1.对参考图r_m×n和待标定图g_m×n做离散傅里叶变换，得到参考图的频谱R_m×n和待标定图的频谱G_m×n，生成插值2倍后的参考图和待标定图的互相关矩阵C，生成公式为

R_m×n＝DFT{r_m×n}

G_m×n＝DFT{g_m×n}

其中，下标m、2m为对应矩阵的行数，n、2n为对应矩阵的列数，DFT{·}为离散傅里叶变换算子，IDFT{·}为离散逆傅里叶变换算子，P_m×n为参考图频谱与待标定图频谱的共轭的乘积矩阵，上标*表示取共轭运算，

为乘积矩阵P_m×n在四周填0后得到的矩阵。

2.计算参考图的半高md2和半宽nd2，并找到互相关矩阵C的最大值所在行 rloc所在列cloc，生成亚像素移动步长的初始估计，生成公式为

其中，rshift为竖直方向亚像素移动的距离，cshift为竖直方向亚像素移动的距离。此时，得到的亚像素移动距离已精确到0.5个像素。

3.设所需配准精度为1/usfac个像素，利用上采样离散傅里叶变换在互相关矩阵C中以(cshift,rshift)为中心，面积为1.5倍像素×1.5倍像素的邻域U中进行插值，插值公式如下

nr＝nc＝ceil(usfac*1.5)

colvec＝-fix(nc/2):ceil(nc/2)

rowvec＝-fix(nr/2):ceil(nr/2)

N＝ker nr·P_m×n·ker nc

其中，i为虚数单位，nr表示邻域U插值usfac倍后的行数，nc表示邻域U插值usfac倍后的列数，ceil(·)表示向正无穷方向的取整，fix(·)为向零取整，colvec 为一nc维行向量，rowvec为一nr维行向量，双目运算符：生成其左操作数到右操作数的整数行向量，kernc,kernr均为上采样离散傅里叶变换核，上标T表示矩阵的转置，ifftshift将矩阵的第一象限和第三象限互换，第二象限和第四象限互换，V为领域U插值usfac倍后的得到的矩阵，符号“·”表示矩阵乘法运算。

4.找到矩阵V最大值所在行rloc2和所在列cloc2，计算出待配准图相对于参考图亚像素平移距离的精确解，计算公式为

center＝fix(ceil(usfac*1.5)/2)+1

rshift＝rshift+(rloc2-center)/usfac

cshift＝cshift+(cloc2-center)/usfac

其中，center为矩阵V中心所在的行和列。

通过上述步骤可以精确得标定出物体的亚像素位移，故可以保证重构出的光学系统实际OTF的准确性，从而避免由于光学系统误差导致的超分辨率重构质量下降。

Claims (2)

1.一种基于LCOS空间光调制器的可编程孔径成像系统，包括空间光调制器、光分束器、透镜二、相机、透镜一、成像主透镜组，所述的透镜二、光分束器及透镜一构成4f系统反射式光路结构，4f系统的反射式光路结构呈“L”型，光分束器处于“L”型的转折处，光分束器与透镜二、透镜一的夹角均为45°，透镜二、透镜一分别与光分束器的距离相等；将成像主透镜组的孔径平面成像到空间光调制器上，空间光调制器处于透镜一的后焦面上，实现对成像主透镜组的孔径平面的调制功能，空间光调制器同时也处于透镜二的前焦面；相机位于4f系统透镜二的后焦面；

所述空间光调制器、相机与成像主透镜组分别固定安装在光学平台上，在调节成像主透镜组的焦距时，相机与空间光调制器相对于成像主透镜组的位置保持不变，避免多余的重复调整相机和空间光调制器的位置，成像主透镜组对物体成像的一级像面落在透镜一的前焦面上，将成像主透镜组的孔径平面成像到空间光调制器上；

照明光穿过成像主透镜组聚焦在对物体成像的一级像面上，然后穿过透镜一成为平行光束，受光分束器作用，光路发生45°反射到空间光调制器，经过空间光调制器调制后的光束依次穿过光分束器、透镜二会聚于相机。

2.一种基于权利要求1所要求保护的基于LCOS空间光调制器的可编程孔径成像系统的迭代超分辨方法，其特征在于步骤如下：

(1)在空间光调制器上显示一系列编码图案，并用相机拍摄相应的低分辨率图像，将所有低分辨率图像

求和平均生成通光孔径全开时的低分辨图I_a，生成公式为

其中，N为低分辨率图像的个数，下标k表示第k个孔径编码对应的图，下标a表示孔径全开对应的图，上标c表示相机拍摄的图；

(2)对I_a做Mag倍的最邻近插值，并用其频谱作为高分辨率频谱的初始解

其中，Mag为超分辨倍数，

为I_a Mag倍最邻近插值得到的图，上标us表示上采样，F{·}为傅里叶变换算子；

(3)选取第k幅孔径编码图案，以其对应的光学传递函数P_k截取物体的初始高分辨率频谱的频谱信息，其中光学传递函数正比于编码孔径的自相关函数，对其进行傅里叶逆变换得到目标光强分布

目标光强生成公式为

其中，上标e表示目标图，下标i表示迭代次数，

表示第k幅孔径编码图案对应的频谱，F^-1{·}为逆傅里叶变换算子；

(4)对目标光强图

进行降采样Mag倍得到

并生成对应的系数矩阵C，将系数矩阵最邻近插值后去更新目标光强分布，更新公式为

其中，

为第k幅孔径编码图案对应的更新后的目标光强分布，上标ds表示降采样，上标us表示上采样，上标u表示更新后的图；

(5)对更新后的目标光强分布进行傅里叶变换，经维纳滤波后更新高分辨率物体频谱

其中，

为更新后的目标光强分布的频谱，max{·}表示取矩阵元素最大值，ε为与噪声相关的常数；

(6)选择另一幅孔径编码图案，重复迭代步骤(3)-(5)，直到所有孔径编码图案所对应的低分辨率图像都更新过一次；

(7)重复迭代步骤(3)-(6)，直到重构的高分辨率光强图收敛此时就完成了“亚像元”超分辨率成像。

Images