CN114549335A

CN114549335A - 一种扩展单像素成像的动态范围的方法

Info

Publication number: CN114549335A
Application number: CN202111320618.2A
Authority: CN
Inventors: 张闻文; 刘永魁; 何伟基; 陈钱
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2021-11-09
Filing date: 2021-11-09
Publication date: 2022-05-27

Abstract

本发明公开了一种扩展单像素成像的动态范围的方法，首先对目标场景进行低分辨率成像，再根据阈值划分亮暗目标区域，并生成对应区域的投影图案，然后分别使用PIN(低增益)和PMT(高增益)采集亮暗区域的光强信息，利用TVAL3压缩感知算法重构亮暗目标图像，最后融合亮暗目标图像得到目标场景图像。本发明完成了对不规则区域的单像素成像；使用TVAL3作为重构算法，减少了恢复图像背景噪声，同时降低了哈达玛矩阵正交性缺失对重构图像质量的影响；抑制了暗目标被擦除的效应，实现了对暗目标的增强，提高了成像的动态范围，使得单像素成像技术得以实际应用。

Description

一种扩展单像素成像的动态范围的方法

技术领域

本发明属于光学成像领域，具体是一种扩展单像素成像的动态范围的方法。

背景技术

单像素成像，亦称鬼成像或关联成像，是一种新型的成像技术，通过不同的照明图案依次调制目标物体所在的光场,使用没有空间分辨率的单像素传感器记录一维光强信号,然后根据照明图案和单像素信号的关联性重建物体的图像。单像素成像技术是量子成像的一种具体形式，基于量子光源实现的非定域性成像。它最初采用量子纠缠光源实现，后来被证实可以使用经典光源实现。在过去二十年的发展过程中，其经历了由量子鬼成像到经典鬼成像再到计算式鬼成像的发展过程。

按照光场调制方式的不同,单像素成像可以分为主动单像素成像和被动单像素成像。两者的工作机制类似，都是由光源、DMD和单像素传感器组成,只是在光线依次经过的装置的顺序上有所差别。在主动单像素成像中,调制器放置在光源前方,光源产生的光束经过调制器后生成调制照明图案,然后照射向物体；在被动单像素成像中,调制器放置在传感器前方,光线经由物体反射后再通过调制器调制。相比于传统的成像方法,单像素成像使用较为廉价的单像素探测器替代像素单元阵列探测器,尤其在非可见光波段可发挥成本优势,并且可以完成非视域成像和弱光成像等传统相机较难完成的任务。

目前已经提出了各种应用于单像素成像的重建算法，包括差分算法、高阶关联算法以及压缩感知算法等。压缩感知是近年来提出的一种采样理论，打破了奈奎斯特采样定理对采样频率的限制，它证明进行少量采样即可重建出稀疏信号。 TVAL3算法是一种广泛应用在单像素成像中的压缩感知重构算法，相比于其它的重构算法，TVAL3算法需要较少的采样数和较短的运行时间，这对单像素成像是至关重要的。此外TVAL3算法具有突出的降噪能力，更加适合微光环境中成像，在光声成像等低信噪比领域有着独特的应用，特别在压缩采样时，可以有效平衡采样率和图像质量的矛盾。

然而，在光照环境确定时，当场景中不同目标的反射率差异较大时，会导致较大的亮度差异，亮目标可能主导了TVAL3算法的求解过程，而暗目标由于能量贡献较低，因此可能被当作噪声抹去了，我们称之为“擦除”效应。在夜间环境中，这种“擦除”效应的影响尤其明显，例如当场景中同时出现高反射率物体和低反射率物体时，低反射率目标的重构形态就会不完整，甚至被完全抹去，即使使用高灵敏的光电倍增管探测也不能恢复低反射率目标的形态，限制了单像素成像的动态范围。

发明内容

本发明的目的在于提供了一种扩展单像素成像的动态范围的方法，在被动式单像素测成像系统中，利用双探测器进行自适应分区域测量，有效降低了“擦除 “效应的影响，对暗目标实现了图像增强，扩展了单像素成像的动态范围。

实现本发明目的的技术方案为：一种扩展单像素成像的动态范围的方法，包括：

对目标场景进行低分辨率成像，根据阈值划分亮暗目标区域，并生成对应区域的投影图案，分别使用低增益和高增益采集亮暗区域的光强信息，利用TVAL3 压缩感知算法重构亮暗目标图像，融合亮暗目标图像得到目标场景图像。

本发明与现有的技术相比，其显著优点为：(1)完成了对不规则区域的单像素成像；(2)使用TVAL3作为重构算法，减少了恢复图像背景噪声，同时降低了哈达玛矩阵正交性缺失对重构图像质量的影响；(3)抑制了暗目标被擦除的效应，实现了对暗目标的增强，提高了成像的动态范围，使得单像素成像技术得以实际应用。

下面结合附图对本发明作进一步详细说明。

附图说明

图1为分区域单像素成像系统光路图。

图2为本发明分区域测量算法的流程图。

图3为本发明生成投影图案的示意图。

图4为本发明各流程中的图像。

具体实施方式

一种扩展单像素成像的动态范围的方法，利用被动式单像素成像系统中的 PIN(低增益)行低分辨率预成像；根据给定阈值在低分辨率图像上划分亮暗区域；利用亮暗区域分别生成对应的投影图案；利用PIN(低增益)和PMT(高增益)分别收集亮暗区域的光强信息重构图像；融合亮暗区域图像。图1为分区域被动式单像素成像系统示意图，主要器件有LED光源、数字微镜器件、PIN、PMT、数据采集卡和计算机。图2为分区域成像过程的流程图，本发明的具体步骤如下：

步骤1，获取场景的低分辨率图像。在分区域单像素成像系统中，为了防止强光损坏PMT，首先使用PIN进行低分辨率预成像。成像过程如下：LED光源照亮目标，目标反射光经透镜成像在空间光调制器上；计算机预先生成哈达玛投影模板，并将其逐帧投放至反射式空间光调制器；利用PIN收集空间光调制器的反射光，使用TVAL3算法重构图像L(x,y)，该计算公式如式(1)：

式中u是图像，||·||_p在p＝1或2分别为1-norm或2-norm，D_iu是u在位置i的离散梯度向量，由

计算得到，A是测量矩阵， b是测量值。

步骤2，利用步骤1重构出低分辨率图像L(x,y)后，根据阈值T对低分辨率图像场景进行亮暗区域划分。由满足L(x,y)＞T的像素组成亮目标区域，其它像素点组成暗目标区域。这里的阈值T，是使用PIN探测器进行多次实验，根据成像质量所确定的极限电压值。划分结果可由一个二进制矩阵D(x,y)表示

这里D(x,y)＝1的像素构成亮目标区域，D(x,y)＝0的像素构成暗目标区域。

步骤3，利用步骤2得到亮暗目标区域划分结果后，在此基础上生成高分辨率投影图案。如图3所示，展示了亮目标区域高分辨率投影图案的生成方法，暗目标区域同理。

首先要把低分辨率的划分结果D(x,y)转化为高分辨率的标记矩阵。也就是说，将N*N分辨率的D(x,y)中每个像素划分为2*2个像素，这样就得到了分辨率为2N*2N的高分辨率标记矩阵M(X,Y)。上述过程可以表示为：

这里

表示Kronecker内积，M(X,Y)中数值为1的部分是亮目标区域，记为M_b，其包含的像素个数为K_b。

根据高分辨率标记矩阵，相应的投影图案生成方法如下。先生成大小为 2ⁿ*2ⁿ(n为满足K_b≤2ⁿ条件的最小正整数)的哈达玛矩阵H，从H的左上角选取大小为K_b*K_b的区域作为测量矩阵C(i,j),1≤i≤K_b,1≤j≤K_b。依次取C(i,j)的第i行，填入M(X,Y)中值为1的像素中，得到第i个投影图案P_i。这样就得到了K_b个投影图案P₁,P₂,…P_Kb。值得一提的是，为了尽可能降低采样率，所选取的区域大小为K_b*K_b，这不一定是完整的哈达玛矩阵，由此产生的正交性缺失导致关联算法重构的图像质量损失严重，但TVAL3算法对此有较好的抑制效果，这也是选用TVAL3算法进行重构的另一个原因。高分辨率投影图案的生成过程可以表示为：

这里P_i(X,Y)表示第i个投影图案，C(i,t)表示C中第i行第t个元素的值，参数t满足公式

步骤4，在得到亮目标区域和暗目标区域的高分辨率投影图案后，按照步骤 1，投放亮目标区域的高分辨率投影图案时，使用PIN采集光强信息，利用TVAL3 算法重构出亮目标区域图像Im_b(X,Y)；投放暗目标区域的高分辨率投影图案时，使用PMT采集光强信息，利用TVAL3算法重构出暗目标区域图像Im_d(X,Y)。由于亮暗目标区域在空间上没有交集，所以对亮目标区域图像Im_b(X,Y)和暗目标区域图像Im_d(X,Y)进行归一化处理，相加后得到融合图像Im_f(X,Y)，上述过程可以表示为：

这里min(I)表示图像I中像素值的最小值，max(I)表示图像I中像素值的最大值。

本发明完成了对不规则区域的单像素成像；使用TVAL3作为重构算法，减少了恢复图像背景噪声，同时降低了哈达玛矩阵正交性缺失对重构图像质量的影响；抑制了暗目标被擦除的效应，实现了对暗目标的增强，提高了成像的动态范围，使得单像素成像技术得以实际应用。

系统仿真时，制作了1024*1024分辨率的目标图像(图4(a))，图像中设置了两个灰度值不同的目标，“X”的灰度值为255，“Y”的灰度值为50。为了模拟DMD投放图案的效果，将目标图像中每32*32个像素值求和成为一个像素值，就得到了进行低分辨率成像仿真时所需的输入图像(图4(b))；将目标图像中每 16*16个像素求和成为一个像素值，就得到了进行高分辨率成像仿真时所需的输入图像(图4(c))。为了使仿真更加贴合真实环境，根据信噪比在仿真中添加了高斯噪声。

仿真流程按图2进行，图4(d)为区域划分的结果，给出了亮区域图像(图 4(e))、暗区域图像(图4(f))和融合图像(图4(g))的仿真结果，同时对比了单独使用PIN探测成像的结果(图4(h))。可见由于“擦除”效应的影响，单独使用PIN重构的图像中暗目标“Y”的形态很模糊，甚至缺失了部分信息。但是在融合图像中，可见使用本发明中的方法可以较好地重构目标图像，尤其对暗目标的形态恢复地十分完整。

Claims

1.一种扩展单像素成像的动态范围的方法，其特征在于，包括：

对目标场景进行低分辨率成像，根据阈值划分亮暗目标区域，并生成对应区域的投影图案，分别使用低增益和高增益采集亮暗区域的光强信息，利用TVAL3压缩感知算法重构亮暗目标图像，融合亮暗目标图像得到目标场景图像。

2.根据权利要求1所述的方法，其特征在于，使用被动式单像素成像系统中的低增益对目标场景进行低分辨率成像，成像过程如下：LED光源照亮目标，目标反射光经透镜成像在空间光调制器上；计算机预先生成哈达玛投影模板，并将其逐帧投放至反射式空间光调制器；利用低增益收集空间光调制器的反射光，使用TVAL3算法重构图像L(x,y)，该算法的计算公式如式(1)所示：

式中u是图像，||·||_p在p＝1或2分别为1范数或2范数，D_iu是u在位置i的离散梯度向量，A是测量矩阵，b是测量值。

3.根据权利要求1所述的方法，其特征在于，根据阈值划分亮暗目标区域的结果由一个二进制矩阵D(x,y)表示：

式中，D(x,y)＝1的像素构成亮目标区域，D(x,y)＝0的像素构成暗目标区域，T为阈值。

4.根据权利要求3所述的方法，其特征在于，生成高分辨率投影图案的具体过程为：将低分辨率成像的划分结果D(x,y)转化为高分辨率的标记矩阵，即将N*N分辨率的D(x,y)中每个像素划分为2*2个像素，得到分辨率为2N*2N的高分辨率标记矩阵M(X,Y)，具体表示为：

表示Kronecker内积，M(X,Y)中数值为1的部分是亮目标区域，记为M_b，其包含的像素个数为K_b；

根据高分辨率标记矩阵，生成相应的投影图案的过程如下：

生成大小为2ⁿ*2ⁿ的哈达玛矩阵H，n为满足K_b≤2ⁿ条件的最小正整数，从H的左上角选取大小为K_b*K_b的区域作为测量矩阵C(i,j),1≤i≤K_b,1≤j≤K_b；依次取C(i,j)的第i行，填入高分辨率标记矩阵M(X,Y)中值为1的像素中，得到第i个投影图案P_i，由此得到K_b个投影图案

高分辨率投影图案的生成过程表示为：

P_i(X,Y)表示第i个投影图案，C(i,t)表示C中第i行第t个元素的值，参数t满足公式

5.根据权利要求1所述的方法，其特征在于，按照步骤1投放亮目标区域的高分辨率投影图案时，使用PIN采集光强信息，利用TVAL3算法重构出亮目标区域图像Im_b(X,Y)；投放暗目标区域的高分辨率投影图案时，使用PMT采集光强信息，利用TVAL3算法重构出暗目标区域图像Im_d(X,Y)，对亮目标区域图像Im_b(X,Y)和暗目标区域图像Im_d(X,Y)进行归一化处理，相加后得到融合图像Im_f(X,Y)，上述过程可以表示为：

min(I)表示图像I中像素值的最小值，max(I)表示图像I中像素值的最大值。