CN111275690B - 一种短波红外探测器像元编码曝光的仿真方法 - Google Patents

Abstract

本发明提供一种短波红外探测器像元编码曝光的仿真方法，该方法为后续研究工作提供参考，同时能有效减少开发周期及成本。该方法包括以下步骤：步骤一、采集测试图像和训练过完备字典；步骤二、确定像元编码曝光模型的分辨率；步骤三、确定像元编码曝光模型S的大小；步骤四、生成像元编码曝光模型S；步骤五、在测试图像中提取N帧连续运动的子图；步骤六、计算编码曝光图像I并叠加噪声；步骤七、逐块求解稀疏系数

步骤八、计算恢复图像

步骤九、得到恢复图像

本发明方法能在不增加光学系统尺寸和成本的情况下，实现对弱光环境下运动目标的高质量成像，在部分尺寸受限的生物医学应用和工业应用中有很好的实用价值。

Description

一种短波红外探测器像元编码曝光的仿真方法

技术领域

本发明涉及基于铟镓砷(Indium Gallium Arsenide,InGaAs)短波红外探测器的成像系统和基于压缩感知的图像处理技术，具体涉及一种短波红外探测器像元编码曝光的仿真方法。

背景技术

基于InGaAs短波(响应波段为0.9um～1.7um)红外探测器的相机在安防、工业、生物医学方面有着广泛的应用。在一些生物医学荧光成像和工业应用中，需要在弱光照条件下用短波红外相机捕获高速运动目标。由于目标能量较弱且运动快，低帧频(长积分时间)可以提高信噪比，同时也会引起严重的像移(运动模糊)；高帧频(短积分时间)可以有效解决像移问题，却无法获得所需的信噪比和动态范围，只能通过增加光学系统的尺寸获取更高的入射能量。在一些尺寸受限的应用中，折中选择很难达到满意的效果。

类似的问题同样存在于部分可见光成像应用中。一些厂商和研究团队结合压缩感知(Compressive Sensing)技术，提出像元编码曝光技术。通过在探测器前加数字微镜器件(Digital Micromirror Devices，DMD)或者在每个像元读出电路中增加静态随机存储器(Static Random Access Memory，SRAM)，在一帧曝光时间内，控制每个像元的积分状态，采用随机欠采样的方式将一帧图像分为N个子帧，再通过预先训练的过完备字典恢复信号，得到像移小、动态范围大的N帧连续输出图像。采用DMD会明显增加光学系统的尺寸(需要匹配微镜阵列和探测器像元)，而且DMD的低透光率不适合在弱光条件下使用。通过每个像元增加SRAM的方式实现像元编码曝光已经在可见光CMOS传感器上得到了应用，但这种技术尚未在短波红外探测器上实现。基于SRAM的像元编码曝光是一项复杂的研究，涉及到读出电路设计和流片，时间、资金成本高昂，因此有必要在开展研究之前对像元编码曝光技术在短波红外探测器上的效果进行仿真验证，为后续研究工作的开展提供有效的参考。

发明内容

本发明的目的是解决现有基于SRAM的像元编码曝光探测器成本高以及开发周期长的问题，提供一种短波红外探测器像元编码曝光的仿真方法。

为实现以上发明目的，本发明所采用的技术方法如下：

一种短波红外探测器像元编码曝光的仿真方法，包括以下步骤：

步骤一、采集测试图像和训练过完备字典；

1.1)用短波红外相机在弱光条件下拍摄一张静止的场景，定义为测试图像I_test；

1.2)采集多张不同场景、不同光照、不同运动方向的短波红外图像作为训练样本；

1.3)利用步骤1.2)采集的训练样本训练过完备字典D；

步骤二、确定像元编码曝光模型的分辨率；

像元编码曝光模型S为随机测量矩阵，每个独立像元开始积分的时间是随机的，采用线性反馈移位寄存器实现随机序列，n位线性反馈移位寄存器实现的最大非全零序列数为2ⁿ-1，则像元编码曝光模型S的分辨率为(2ⁿ-1)×(2ⁿ-1)；

步骤三、确定像元编码曝光模型S的大小；

设定一帧积分时间分为N个子帧，N为可调参数，即每一帧编码曝光图像I可以恢复出N帧连续的图像，因此像元编码曝光模型S的大小为(2ⁿ-1)×(2ⁿ-1)×N；

步骤四、生成像元编码曝光模型S；

设定所有像元的积分持续时间均为L，像元(i,j)的积分起始子帧为m，则该像元(i,j)对应在像元编码曝光模型S中的数值为：

其中，t表示像元编码曝光模型中的第t帧图；

步骤五、在测试图像中提取N帧连续运动子图；

在步骤1.1)中获取的测试图像I_test中随机截取N帧连续运动的、大小为(2ⁿ-1)×(2ⁿ-1)的连续运动图像U(i,j,t)；

步骤六、计算编码曝光图像I；

6..1)用像元编码曝光模型S(i,j,t)与连续运动图像U(i,j,t)相乘再进行求和，得到编码曝光图像I，实现欠采样过程，V(i,j,t)代表N帧欠采样图像；

V(i,j,t)＝S(i,j,t)×U(i,j,t)；

6.2)在MATLAB平台上用awgn函数对编码曝光图像I叠加高斯噪声，得到编码曝光图像

步骤七、逐块求解稀疏系数；

7.1)从左上角开始，按照从左到右、从上到下的方向，把编码曝光图像

分成的w×w小块，再转为w²维列向量，定义为I_patc；

7.2)把过完备字典D的每一个原子分别等分为N段，再分别通过求和运算合并成w²维列向量，定义为

生成过完备字典

7.3)计算I_patc和过完备字典

中所有列向量的内积，得到传感矩阵θ，通过Lasso算法求解稀疏系数

步骤八、计算恢复图像

用过完备字典D与步骤七得到的稀疏系数

相乘计算

即

再将

重组为w×w×N三维数组；

步骤九、得到恢复图像

从左上角开始，按照从左到右、从上到下的方向，逐块移动w×w小块，重复执行步骤七和步骤八，直到完成遍历，完成遍历后把所有恢复图像

组成恢复图像

进一步地，步骤1.2)中，过完备字典训练采用K-SVD算法。

进一步地，步骤二中，8位线性反馈移位寄存器实现的最大非全零序列数为255，则像元编码曝光模型的分辨率为255×255。

进一步地，步骤6.2)中，高斯噪声的信噪比为SNR＝14dB，等效信噪比为5倍。

与现有技术相比，本发明技术方案的有益效果为：

本发明提供一种短波红外探测器像元编码曝光的仿真方法，既能为后续的研究工作提供有效的参考，也能有效的减少开发周期及成本。这种基于SRAM的像元编码曝光的方法，能在不增加光学系统尺寸和成本的情况下，实现对弱光环境下运动目标的高质量成像，在部分尺寸受限的生物医学应用(如脑部荧光成像)和工业应用中有很好的实用价值。

附图说明

图1为本发明编码曝光模式下单帧积分时间内所有像元积分模型示意图；

图2为本发明方法像元编码曝光成像模型示意图；

图3为本发明方法在场景中采集的连续运动图像；

图4为本发明方法在仿真中的连续欠采样图像；

图5为本发明方法叠加噪声的编码曝光图像；

图6为本发明方法恢复后的连续运动图像；

图7为本发明短波红外探测器像元编码曝光的仿真方法流程图。

具体实施方式

以下结合附图和具体实施例对本发明技术方案进行详细说明。

现有的短波红外像元编码曝光成像技术都是基于DMD实现的，由于需要匹配微镜阵列和探测器像元，导致光学尺寸和成本大幅增加，而且DMD的低透光率限制了其在弱光环境下对运动目标成像的应用。近几年，通过像元内集成的SRAM实现编码曝光成像已经在可见光CMOS上得到成功的应用，但国内外尚未有团队实现在短波红外探测器像元上增加SRAM实现编码曝光。基于此，本发明提供一种短波红外探测器像元编码曝光的仿真方法，为后续的研究工作提供参考，也能有效的减少开发周期及成本。

本发明提供了一种短波红外探测器像元编码曝光的仿真方法，仿真目的是为了以欠采样的方式，将一帧图像分为N个子帧，每个像元的状态与其他像元完全独立，随机选择积分(曝光)起始时间和结束时间，最终用单帧编码曝光图像恢复N帧连续图像。考虑到仿真模型能在探测器硬件上实现，并简化实现过程，限制每个像元在一帧积分时间内的积分持续时间相等且连续。假设探测器总共有P个像元，则一帧积分时间内，每个像元在这种限制下的积分模型如图1所示。

积分模型等效于一个随机欠采样的过程，配合过完备字典通过图像重建，可以恢复N帧的连续图像。定义探测器分辨率为M×M，则总像元数P＝M²，U(i,j,t)表示像元(i,j)在时刻t的取值，其中i∈[1,M],j∈[1,M],t∈[1,N]。结合图1所述，三维数组U(i,j,t)可以视为N帧连续子帧图像。定义三维数组S(i,j,t)，表示每个像元在一帧积分时间内每个子帧的积分状态S(i,j,t)∈{0,1}，1代表积分，0代表关闭。因此，采集到的图像I的每个像元可以表示为：

对于常规相机的积分方式，S(i,j,t)内所有元素恒等于1。本发明结合压缩感知模型I＝SU，I是在欠采样条件下得到观测值；S为随机测量矩阵；U为未知图像。恢复的关键是对未知图像U进行稀疏表达。因此引入过完备字典D，则未知图像U可以用字典D和稀疏系数α表达：

U＝Dα＝α₁D₁+…+α_kD_k   (2)

其中，α＝[α₁,…,α_k]^T是系数，由于稀疏性质仅有少数系数是非0的。D₁,…,D_k是字典中的原子。因此，结合公式(1)，模型变成：

I＝SU＝SDα＝θα   (3)

其中，SD可以视为压缩感知原型中的传感矩阵θ，α为稀疏系数，I为观测值。

综上，用像元编码曝光模型S对未知图像U进行编码曝光采样，得到编码曝光图像I。I是采样得到的已知参数，像元编码曝光模型S和提前训练的过完备字典D也是已知的，因此传感矩阵θ也是已知的，优化求解最优稀疏系数

再根据未知图像U用字典D和稀疏系数α的表达式，可以用字典D和稀疏系数

相乘，得到恢复图像

为一组连续的图像，这个过程如图2所示。

如图7所示，本发明提供的短波红外探测器像元编码曝光的仿真方法具体包括以下步骤：

步骤一、采集测试图像和训练过完备字典；

1.1)用分辨率为640×512(也可以是其他分辨率)的短波红外相机在弱光条件下拍摄一张静止的场景，定义为测试图像I_test，场景中应包含丰富的细节信息；

1.2)采集多张不同场景、不同光照、不同运动方向的短波红外图像作为训练样本；

1.3)利用步骤1.2)采集的训练样本训练过完备字典D；

过完备字典训练采用K-SVD算法(Aharon,M.,et al.(2006).K-SVD:Analgorithmfor designing overcomplete dictionaries for sparse representation.IEEETransactions on Signal Processing,54(11),4311-4322.)。K-SVD可以理解为K-Means聚类方法的推广，采用迭代交替学习的方式更新字典，是目前主流的字典训练方法。为了便于把恢复图像分成8×8的小块计算，用8×8的小块建立字典，仿真中设定N＝10，所以字典中每个原子的维度为8×8×N＝640，共有10000个原子。

步骤二、确定像元编码曝光模型的分辨率；

像元编码曝光模型S为随机测量矩阵，每个独立像元开始积分的时间是随机的，考虑到硬件上一般采用线性反馈移位寄存器(Linear Feedback Shift Register，LFSR)实现随机序列，n位线性反馈移位寄存器能实现的最大非全零序列数为2ⁿ-1，结合短波探测器读出电路架构，设计恢复图像的分辨率为(2ⁿ-1)×(2ⁿ-1)。

n位寄存器对应最大分辨率为2ⁿ-1，本发明实施例中采用8位寄存器，因此分辨率为255×255，实际中也可以是127×127、511×511、1023×1023，仿真中也可以设定其他数据；

步骤三、确定像元编码曝光模型S的大小；

设定一帧积分时间分为N个子帧，N为可调参数，即每一帧编码曝光图像I可以恢复出N帧连续的图像(在仿真中设定N＝10)。每个像元的积分持续时间L为1个子帧周期(L＜N)，L为可调参数(在仿真中设定为L＝3)。因此，探测器总共有P个像元，每个像元在一帧积分时间内完成一次积分；随机选择起始时间，以子帧周期为积分时间单位，如图1所示，定义起始时间为t_n(1≤n≤N-L+1)；持续时间为L。结合步骤二，像元编码曝光模型S的大小为255×255×N。

步骤四、生成像元编码曝光模型S；

在MATLAB(矩阵实验室)平台上，模拟线性移位寄存器生成255×255的伪随机矩阵Φ，再将矩阵Φ中所有元素投影为(0,1)之间均匀分布的伪随机数。按照(0,1)区间均匀分成N-L+1档(在仿真中N-L+1＝8)，根据每个元素的数值可以判断所在第n个子帧(n∈[1,N-L+1])，代表该像元的起始积分时间为t_n。由于所有像元的积分持续时间均为L，假设像元(i,j)的积分起始子帧为m，则该像元对应在编码曝光模型S中的数值为：

因此，每个像元在L个连续的子帧中持续积分，每个子帧中正在积分的像元占总像元的比例平均值为L/N，等效于欠采样比例为L/N；

t表示模型中的第t帧图；

步骤五、在测试图像中提取N帧连续运动子图；

真实的像元编码曝光相机是在一帧积分时间内进行N次欠采样成像，而仿真过程是用分辨率为640×512拍摄的测试图像I_test中截取N帧连续运动的、大小为255×255的子图，再与像元编码曝光模型S相乘实现欠采样。起始坐标(i,j)根据位移步幅和子图大小随机生成，确保移动中不会超过原图边界。产生1～8的随机数，定义每个子帧中运动的步幅为v(仿真中设定步幅为1)，则以x轴和y轴随机数的与子图运动的关系如表1所示，生成图像定义为U(i,j,t)，其中i∈[1,255],j∈[1,255],t∈[1,N]；

表1子图运动方向说明

随机数	运动方向	每个子帧所有像元移动
			1	右	沿x轴正向移动v个像元
2	右下	沿x轴正向移动v个像元；沿y轴负向移动v个像元
			3	下	沿y轴负向移动v个像元
4	左下	沿x轴负向移动v个像元；沿y轴负向移动v个像元
			5	左	沿x轴负向移动v个像元
6	左上	沿x轴负向移动v个像元；沿y轴正向移动v个像元
			7	上	沿y轴正向移动v个像元
8	右上	沿x轴正向移动v个像元；沿y轴正向移动v个像元

步骤六、计算编码曝光图像I；

6.1)用编码曝光模型S(i,j,t)与连续运动图像U(i,j,t)相乘再进行求和，得到编码曝光图像I，实现欠采样过程；定义V(i,j,t)＝S(i,j,t)×U(i,j,t)，其中i∈[1,255],j∈[1,255],t∈[1,N]，V代表N帧欠采样图像，欠采样图像V(i,j,t)如图4所示，根据公式(1)，编码曝光图像I为：

6.2)考虑到探测器读出电路、后端以运算放大器为主的信号调理电路、模数转换电路中会引入噪声，因此在MATLAB平台用awgn函数对编码曝光图像I叠加高斯噪声，得到

定义信噪比为SNR，SNR为可调参数，仿真中设置SNR＝14dB，等效信噪比大约为5倍，叠加噪声后的编码曝光图像

如图5所示；

步骤七、根据公式(3)，逐块求解稀疏系数；

7.1)从图像左上角开始，按照从左到右、从上到下的方向，依次把编码曝光图像

分成的8×8小块，再把每个小块转为64维列向量，定义为I_patc；

7.2)把过完备字典D的每一个原子(每个原子640维)分成10个64维列向量，再分别通过求和运算合并成1个64维列向量(等效于10帧子图对应小块的叠加)，定义为

生成

7.3)计算I_patc和

中所有列向量的内积，得到传感矩阵θ，θ的大小为64×10000，再用Lasso算法(调用mexlasso函数)求解稀疏系数

为10000维向量；

步骤八、得到恢复图像

用过完备字典D与步骤七得到的稀疏系数

相乘得到640维列向量，再把这个列向量重组得到恢复图像

为8×8×10三维数组；

步骤九、从图像左上角开始，按照从左到右、从上到下的方向，逐块移动8×8小块，重复执行步骤七和步骤八，直到完成遍历，完成遍历后把所有恢复图像

组成恢复图像

(分辨率为255×255×N)。恢复后的连续运动图像如图6所示。

Claims (4)

1.一种短波红外探测器像元编码曝光的仿真方法，其特征在于，包括以下步骤：

步骤一、采集测试图像和训练过完备字典；

1.1)用短波红外相机在弱光条件下拍摄一张静止的场景，定义为测试图像I_test；

1.2)采集多张不同场景、不同光照、不同运动方向的短波红外图像作为训练样本；

1.3)利用步骤1.2)采集的训练样本训练过完备字典D；

步骤二、确定像元编码曝光模型的分辨率；

像元编码曝光模型S为随机测量矩阵，每个独立像元开始积分的时间是随机的，采用线性反馈移位寄存器实现随机序列，n位线性反馈移位寄存器实现的最大非全零序列数为2ⁿ-1，则像元编码曝光模型S的分辨率为(2ⁿ-1)×(2ⁿ-1)；

步骤三、确定像元编码曝光模型S的大小；

设定一帧积分时间分为N个子帧，N为可调参数，即每一帧编码曝光图像I可以恢复出N帧连续的图像，因此像元编码曝光模型S的大小为(2ⁿ-1)×(2ⁿ-1)×N；

步骤四、生成像元编码曝光模型S；

设定所有像元的积分持续时间均为L，像元(i,j)的积分起始子帧为m，则该像元(i,j)对应在像元编码曝光模型S中的数值为：

其中，t表示像元编码曝光模型中的第t帧图；

步骤五、在测试图像中提取N帧连续运动子图；

在步骤1.1)中获取的测试图像I_test中随机截取N帧连续运动的、大小为(2ⁿ-1)×(2ⁿ-1)的连续运动图像U(i,j,t)；

步骤六、计算编码曝光图像I；

6..1)用像元编码曝光模型S(i,j,t)与连续运动图像U(i,j,t)相乘再进行求和，得到编码曝光图像I，实现欠采样过程，V(i,j,t)为N帧欠采样图像；

V(i,j,t)＝S(i,j,t)×U(i,j,t)；

6.2)在MATLAB平台上用awgn函数对编码曝光图像I叠加高斯噪声，得到编码曝光图像

步骤七、逐块求解稀疏系数；

7.1)从左上角开始，按照从左到右、从上到下的方向，把编码曝光图像

分成的w×w小块，再转为w²维列向量，定义为I_patc；

7.2)把过完备字典D的每一个原子分别等分为N段，再分别通过求和运算合并成w²维列向量，定义为

生成过完备字典

7.3)计算I_patc和过完备字典

中所有列向量的内积，得到传感矩阵θ，通过Lasso算法求解稀疏系数

步骤八、计算恢复图像

用过完备字典D与步骤七得到的稀疏系数

相乘计算

即

再将

重组为w×w×N三维数组；

步骤九、计算恢复图像

从左上角开始，按照从左到右、从上到下的方向，逐块移动w×w小块，重复执行步骤七和步骤八，直到完成遍历，完成遍历后把所有恢复图像

组成恢复图像

2.根据权利要求1所述的短波红外探测器像元编码曝光的仿真方法，其特征在于：步骤1.2)中，过完备字典训练采用K-SVD算法。

3.根据权利要求2所述的短波红外探测器像元编码曝光的仿真方法，其特征在于：步骤二中，8位线性反馈移位寄存器实现的最大非全零序列数为255，则像元编码曝光模型的分辨率为255×255。

4.根据权利要求1或2或3所述的短波红外探测器像元编码曝光的仿真方法，其特征在于：步骤6.2)中，高斯噪声的信噪比为SNR＝14dB，等效信噪比为5倍。

Images