CN114928704A - 一种基于双dmd的编码曝光高动态成像方法 - Google Patents

Abstract

本发明提出了一种基于双DMD的编码曝光高动态成像方法，能够对运动目标成像，实现传感器饱和时的动态图像重构。首先，利用DMD器件自身的光效率和1bit的0‑1编码控制反射镜单元光路折转实现首次光亮度调控；其次，利用DMD进行8bit的0‑256编码时产生的分时分光实现二次光强调控；最后，利用两个DMD之间存在的波段和单元尺寸差异，实现亚像素级的光亮度调控和多尺度孔径编码，解决现有基于DMD的高动态成像方法无法实现传感器饱和时的动态图像重构问题。

Description

一种基于双DMD的编码曝光高动态成像方法

技术领域

本发明涉及光场调制和计算成像技术领域，具体涉及一种基于双DMD(数字微镜阵列)的编码曝光高动态成像方法。

背景技术

现有航天侦察及深空星体观测、高超目标预警探测、运载火箭的发射等太空态势感知和航天测控任务中，目标场景的动态范围往往高于120dB，甚至可以达到180dB，而普通成像传感器的动态范围一般仅能达到50-60dB，即使科学研究领域所使用的图像传感器的动态范围在制冷条件下也只有80-90dB左右，远远超出了成像系统本身所能探测和显示的动态范围，造成图像传感器的大面积饱和，形成光晕(blooming)和漏光(smearing)等现象，造成成像设备无法准确获取关键目标的图像数据。

目前高动态范围成像技术的实现手段主要分为基于专用硬件单次曝光捕获生成、基于多曝光图像合成、基于物理渲染技术和基于单曝光图像软件生成四种实现方式，其中适用于运动目标高动态成像的主要是基于硬件实现的单次曝光高动态范围成像方法。单次曝光高动态范围成像设备包括对成像传感器、光圈或者快门进行特殊设计的相机。该类特殊设计的成像设备通过在成像传感器前放置一个光学掩膜，或者通过控制传感器中像素点的曝光时间和感光度，或者采用专门设计的光圈以及快门的相机镜头实现相邻像素间以不同的曝光量曝光，最终达到单次拍摄多曝光图像的目的。但是，该方法会牺牲图像的分辨率，无法复原饱和区域图像信息，且对于运动的目标可能会出现局部鬼影问题。

发明内容

有鉴于此，本发明提出了一种基于双DMD的编码曝光高动态成像方法，能够对运动目标成像，实现传感器饱和时的动态图像重构。

为实现上述目的，本发明的一种基于双DMD的编码曝光高动态成像方法，利用DMD单元上的微反射镜片处于开或关的状态，将成像物镜上的光线分别反射至sCMOS1和sCMOS2的成像光路；其中sCMOS1的成像光路，直接将进入的光线会聚到CMOS图像探测器上，实现像素级的光强调控；sCMOS2的成像光路中，折叠反射镜再将光线反射并改变光线传播方向使光线会聚到DMD2上，然后再通过中继镜会聚到CMOS图像探测器上，通过DMD1和DMD2之间的协同控制实现亚像素的光强调控；由sCMOS1和sCMOS2获取多曝光重构图像；利用多曝光图像融合实现高动态范围成像。

其中，利用多曝光图像融合实现高动态范围成像前，利用SIFT特征光流求取多曝光图像之间的运动矢量，利用运动补偿实现不同曝光图像之间的配准。

其中，图像重构采用基于ADMM+TV的压缩编码孔径重构算法。

其中，具体包括如下步骤：

步骤一，获取基于双DMD孔径编码的动态目标压缩混叠图像；

步骤二，获得基于静态目标多曝光低动态范围图像序列的相机响应函数；

步骤三，将sCMOS1和sCMOS2获得经过压缩编码孔径后的混叠图像，进行基于TV的编码孔径压缩混叠图像复原；

步骤四，利用系统获取动态场景的多曝光图像序列，针对存在动态问题影响的多曝光输入图像序列，利用基于置信度传播的SIFT特征光流，获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计，利用运动补偿实现不同曝光图像之间的配准；

步骤五，对配准后的多曝光图像序列进行高动态范围图像融合。

其中，所述步骤二具体过程为：

采用系统对静态场景拍摄获取多曝光图像序列，对DMD1与DMD2之间的失配系数φ(x_1i,y_1i,x_2j,y_2j)和相机响应函数f进行标定处理；像素点的亮度值与该点对应真实场景的辐照度值之间的关系，利用相机响应函数f表达如式(7)所示：

Z_kl＝f(E_kΔt_l) (7)

式中Z_kl为输入多曝光图像序列中第l帧图像像素点k的亮度信息；k为像素点在图像中的像素序号，l为图像在图像序列中的帧序号，E_k为像素点k对应的辐照度值，Δt_l为图像序列中第l帧图像曝光时间；

响应函数f的反函数即为逆相机响应函数g，利用最小二乘法对逆相机响应函数的超定方程进行求解：

式中P为每帧图像像素数，N为图像序列帧数；Z_min为最小亮度值，Z_max为最大亮度值，lng″(z)＝lng(z-1)-2lng(z)+lng(z+1)，λ为平滑项的权重因子。

其中，所述步骤四中，在运动一致性的前提下，SIFT特征光流的能量函数为：

式中，p＝(x,y)表示图像坐标为(x,y)的像素；DS(p,t)为t时刻像素p(x,y)的SIFT描述符；w(p)＝(u(p),v(p))表示像素点p的在t-1时刻相对与t时刻的运动矢量，其水平分量和垂直分量分别为u(p),v(p)；q表示p的邻域(p,q)∈ε范围内的其它像素，其水平分量和垂直分量分别为u(q),v(q)；s和d表示截断

范数的阈值；α和β表示加权系数，采用置信度传播算法求解公式(9)的最优解，即为多曝光图像之间的运动矢量场w；

根据运动矢量场w获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计。

其中，所述步骤五中，对配准后的多曝光图像序列进行高动态范围图像融合，公式如下所示：

式中N为输入图像序列帧数，Δt_l为图像序列中第l帧图像对应的曝光时间，k为图像中像素点的空间序号，g为标定的逆相机响应函数，Z_kl为输入配准后多曝光图像序列中第l帧图像上像素点k的亮度信息，W为归一化高斯权值函数。

有益效果：

本发明提出的基于双DMD的编码曝光高动态成像方法是基于双DMD的亚像素编码曝光成像方法。首先，利用DMD器件自身的光效率和1bit的0-1编码控制反射镜单元光路折转实现首次光亮度调控；其次，利用DMD进行8bit的0-256编码时产生的分时分光实现二次光强调控；最后，利用两个DMD之间存在的波段和单元尺寸差异，实现亚像素级的光亮度调控和多尺度孔径编码，解决现有基于DMD的高动态成像方法无法实现传感器饱和时的动态图像重构问题。

本发明中，利用多曝光图像融合实现高动态范围成像前，利用SIFT特征光流求取多曝光图像之间的运动矢量，利用运动补偿实现不同曝光图像之间的配准，为实现更精准的成像奠定基础。

本发明中采用基于特征光流的运动目标高动态重构算法，首先，利用多尺度孔径编码获得的压缩混叠图像实现超分辨率重构，获得不同曝光量下的高分辨率图像；其次，利用相邻图像间的SIFT特征光流信息实现运动目标或场景的高动态图像融合。其中，采用基于压缩编码孔径的超分辨率重构方法，利用基于全变分算法实现压缩混叠图像的超分辨率重构，解决现有基于DMD的高动态成像方法高动态范围图像分辨率低的问题；采用基于特征光流的动态场景高动态范围图像融合方法,克服系统平台和目标运动等动态问题影响，避免出现鬼影。

附图说明

图1为本发明基于双DMD亚像素编码曝光高动态成像方法所用系统框图。

图2为本发明基于双DMD的编码曝光高动态成像方法流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于双DMD的编码曝光高动态成像方法，利用两个DMD之间存在的波段和单元尺寸差异，实现亚像素级的光亮度分段调控，解决现有基于DMD的高动态成像方法无法实现传感器饱和时的动态图像重构问题；方法采用基于特征光流的动态场景高动态范围图像融合方法,克服系统平台和目标运动等动态问题影响；方法采用基于压缩编码孔径的超分辨率重构方法，利用基于全变分算法实现压缩混叠图像的超分辨率重构，解决现有基于DMD的高动态成像方法高动态范围图像分辨率低的问题。该方法可以克服现有高动态成像系统存在的鬼影、分辨率低、无法对运动目标成像等瓶颈问题，适用于空间目标监视和实况记录设备的性能提升。

本发明方法所用的系统如图1所示，本发明方法的基本原理是利用DMD自身的光亮度调控和不同DMD之间的物理特性差异实现目标场景的动态范围调整，具体步骤如下：

利用DMD单元上的微反射镜片处于开或关的状态，将成像物镜上的光线分别反射至sCMOS1和sCMOS2的成像光路，实现分光和光强的调控；其中sCMOS1的成像光路，直接将进入的光线会聚到CMOS图像探测器上，可实现像素级的光强调控；sCMOS2的成像光路中，折叠反射镜再将光线反射并改变光线传播方向使光线会聚到DMD2上，然后再通过中继镜会聚到CMOS图像探测器上，由于DMD1和DMD2之间的像元尺寸和空间失配，以及波段(可见、近红外)的差异，通过DMD1和DMD2之间的协同控制可实现亚像素的光强调控；由sCMOS1和sCMOS2获取多曝光重构图像，利用SIFT特征光流求取多曝光图像之间的运动矢量；最后利用多曝光图像融合实现高动态范围成像，其中，图像重构采用基于ADMM+TV的压缩编码孔径重构算法。

本发明基于双DMD的编码曝光高动态成像方法流程图如图2所示，具体步骤如下：

步骤一，获取基于双DMD孔径编码的多曝光图像，具体方式为：

利用经过标定的双DMD成像系统对目标场景进行成像。远处的目标光线进入到一次成像物镜中并将高动态场景成像到DMD上，DMD驱动控制电路，用于控制DMD上的各个微镜翻转和保持的时间，使DMD实现对光强的调制，同时利用DMD单元上的微反射镜片处于开或关的状态，将成像物镜上的光线分别反射至sCMOS1和sCMOS2的成像光路，实现光路的首次分光，分光比例为50％；

sCMOS1的成像光路，折叠反射镜再将光线反射并改变光线传播方向使光线会聚到DMD2上，然后再通过中继镜会聚到sCMOS2图像探测器上，考虑DMD1的光效率，DMD2上的获取的光强为成像物镜光强的68％，实现光强分段调控，同时由于DMD1和DMD2之间的像元尺寸和空间失配，两者之间存在亚像素的空间偏移，通过DMD1和DMD2之间的协同控制可实现亚像素的光强调控。调节两个DMD微镜的两态或三态时间持续的长短及相互之间的协同编码，实现对对应的图像传感器像素点不同层次的光强控制，使饱和区域处的光强快速调节至图像传感器最佳响应区域。

成像系统为可调光强范围区间分配N个固定的调光权值r_i(i＝1,…,N,N≥4)，图像传感器sCMOS1和sCMOS2获取的图像为：

I_i(x,y)＝Φ_i(x,y)*L_i(x,y)+n_i(x,y)＝δ(x,y)*A(x,y)*r_i(x,y)*L(x,y)+n_i(x,y) (1)

其中，Φ_i(x,y)为第r_i调光权值时的等效观测矩阵；δ(x,y)为光学系统决定的成像放大系数，对于不同的调光权值，其数值不变；L_i(x,y)为第r_i调光权值时拍摄的实际场景的光强，r_i(x,y)为微镜阵列对图像传感器的光强控制权值函数，其计算公式为：

r(x_i,y_i)＝φ(x_1i,y_1i,x_2j,y_2j)×r₁(x_1i,y_1i)×r₂(x_2j,y_2j) (2)

其中，φ(x_1i,y_1i,x_2j,y_2j)为sCMOS1和sCMOS2之间的失配系数，通过系统标定获得，对于sCMOS1成像时，矩阵为单位矩阵。

A为孔径编码矩阵，根据编码元件DMD器件的物理特性(入射/反射状态)，矩阵A由成像系统传递函数h^CCAI中的元素构成的卷积核矩阵，具有块循环-循环块(BlockCirculant with Circulant Block，BCCB)结构，矩阵A的表现形式为：

其中，每一个子块A_i∈R^n×n都是一个由h^CCAI中元素构成的块循环矩阵，A_i可以表示为：

由步骤一获得的是经过压缩编码孔径后的混叠图像，sCMOS1和sCMOS2获得的混叠图像之间存在光强差异，N次观测后形成多曝光图像。

步骤二，获得基于静态目标多曝光低动态范围图像序列的相机响应函数，具体如下：

采用系统对静态场景拍摄获取多曝光图像序列，对DMD1与DMD2之间的失配系数φ(x_1i,y_1i,x_2j,y_2j)和相机响应函数f进行标定处理。像素点的亮度值与该点对应真实场景的辐照度值之间的关系，利用相机响应函数f表达如式(7)所示：

Z_kl＝f(E_kΔt_l) (7)

式中Z_kl为输入多曝光图像序列中第l帧图像像素点k的亮度信息；k为像素点在图像中的像素序号，l为图像在图像序列中的帧序号，E_k为像素点k对应的辐照度值，Δt_l为图像序列中第l帧图像曝光时间。

由于响应函数f具有单调性，其反函数即为逆相机响应函数g，利用最小二乘法对逆相机响应函数的超定方程进行求解：

式中P为每帧图像像素数，N为图像序列帧数。Z_min为最小亮度值，Z_max为最大亮度值，lng″(z)＝lng(z-1)-2lng(z)+lng(z+1)，λ为平滑项的权重因子。

步骤三，基于TV的编码孔径压缩混叠图像复原，具体如下：

sCMOS1和sCMOS2获得经过压缩编码孔径后的混叠图像，基于TV全变分构建正则项的重构算法表达式可定义为：

式中D_ix表示的是计算图像中每个像素点横向和纵向的离散梯度；||·||算子是

范式。

步骤四，基于置信度传播的多曝光图像特征光流计算，具体如下：

利用系统获取动态场景的多曝光图像序列，针对存在动态问题影响的多曝光输入图像序列，利用基于置信度传播的SIFT特征光流，获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计。在运动一致性的前提下，SIFT特征光流的能量函数为：

式中，p＝(x,y)表示图像坐标为(x,y)的像素；DS(p,t)为t时刻像素p(x,y)的SIFT描述符；w(p)＝(u(p),v(p))表示像素点p的在t-1时刻相对与t时刻的运动矢量，其水平分量和垂直分量分别为u(p),v(p)；q表示p的邻域(p,q)∈ε范围内的其它像素，其水平分量和垂直分量分别为u(q),v(q)；s和d表示截断

范数的阈值；α和β表示加权系数，采用置信度传播算法求解公式(9)的最优解，即为多曝光图像之间的运动矢量场w，根据运动矢量场w获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计，利用运动补偿实现不同曝光图像之间的配准，为实现更精准的成像奠定基础。

步骤五，对配准后的多曝光图像序列进行高动态范围图像融合，公式如下所示：

式中N为输入图像序列帧数，Δt_l为图像序列中第l帧图像对应的曝光时间，k为图像中像素点的空间序号，g为标定的逆相机响应函数，Z_kl为输入配准后多曝光图像序列中第l帧图像上像素点k的亮度信息，W为归一化高斯权值函数。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于双DMD的编码曝光高动态成像方法，其特征在于，利用DMD单元上的微反射镜片处于开或关的状态，将成像物镜上的光线分别反射至sCMOS1和sCMOS2的成像光路；其中sCMOS1的成像光路，直接将进入的光线会聚到CMOS图像探测器上，实现像素级的光强调控；sCMOS2的成像光路中，折叠反射镜再将光线反射并改变光线传播方向使光线会聚到DMD2上，然后再通过中继镜会聚到CMOS图像探测器上，通过DMD1和DMD2之间的协同控制实现亚像素的光强调控；由sCMOS1和sCMOS2获取多曝光重构图像；利用多曝光图像融合实现高动态范围成像。

2.如权利要求1所述的方法，其特征在于，利用多曝光图像融合实现高动态范围成像前，利用SIFT特征光流求取多曝光图像之间的运动矢量，利用运动补偿实现不同曝光图像之间的配准。

3.如权利要求2所述的方法，其特征在于，图像重构采用基于ADMM+TV的压缩编码孔径重构算法。

4.如权利要求3所述的方法，其特征在于，具体包括如下步骤：

步骤一，获取基于双DMD孔径编码的动态目标压缩混叠图像；

步骤二，获得基于静态目标多曝光低动态范围图像序列的相机响应函数；

步骤三，将sCMOS1和sCMOS2获得经过压缩编码孔径后的混叠图像，进行基于TV的编码孔径压缩混叠图像复原；

步骤四，利用系统获取动态场景的多曝光图像序列，针对存在动态问题影响的多曝光输入图像序列，利用基于置信度传播的SIFT特征光流，获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计，利用运动补偿实现不同曝光图像之间的配准；

步骤五，对配准后的多曝光图像序列进行高动态范围图像融合。

5.如权利要求4所述的方法，其特征在于，所述步骤二具体过程为：

采用系统对静态场景拍摄获取多曝光图像序列，对DMD1与DMD2之间的失配系数φ(x_1i,y_1i,x_2j,y_2j)和相机响应函数f进行标定处理；像素点的亮度值与该点对应真实场景的辐照度值之间的关系，利用相机响应函数f表达如式(7)所示：

Z_kl＝f(E_kΔt_l) (7)

式中Z_kl为输入多曝光图像序列中第l帧图像像素点k的亮度信息；k为像素点在图像中的像素序号，l为图像在图像序列中的帧序号，E_k为像素点k对应的辐照度值，Δt_l为图像序列中第l帧图像曝光时间；

响应函数f的反函数即为逆相机响应函数g，利用最小二乘法对逆相机响应函数的超定方程进行求解：

式中P为每帧图像像素数，N为图像序列帧数；Z_min为最小亮度值，Z_max为最大亮度值，lng″(z)＝lng(z-1)-2lng(z)+lng(z+1)，λ为平滑项的权重因子。

6.如权利要求5所述的方法，其特征在于，所述步骤四中，在运动一致性的前提下，SIFT特征光流的能量函数为：

式中，p＝(x,y)表示图像坐标为(x,y)的像素；DS(p,t)为t时刻像素p(x,y)的SIFT描述符；w(p)＝(u(p),v(p))表示像素点p的在t-1时刻相对与t时刻的运动矢量，其水平分量和垂直分量分别为u(p),v(p)；q表示p的邻域(p,q)∈ε范围内的其它像素，其水平分量和垂直分量分别为u(q),v(q)；s和d表示截断l₁范数的阈值；α和β表示加权系数，采用置信度传播算法求解公式(9)的最优解，即为多曝光图像之间的运动矢量场w；

根据运动矢量场w获得多曝光量图像序列中各帧图像与参考图像之间目标偏移量的光流估计。

7.如权利要求6所述的方法，其特征在于，所述步骤五中，对配准后的多曝光图像序列进行高动态范围图像融合，公式如下所示：

式中N为输入图像序列帧数，Δt_l为图像序列中第l帧图像对应的曝光时间，k为图像中像素点的空间序号，g为标定的逆相机响应函数，Z_kl为输入配准后多曝光图像序列中第l帧图像上像素点k的亮度信息，W为归一化高斯权值函数。

Images