CN108765505A - 红外成像的编码感知矩阵估计方法 - Google Patents

Abstract

本发明涉及红外成像技术领域，为提出一种新的红外成像方法，实现有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。为此，本发明采取的技术方案是，红外成像的编码感知矩阵估计方法，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换(FFT)估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。本发明主要应用于红外成像场合。

Description

红外成像的编码感知矩阵估计方法

技术领域

本发明涉及红外成像技术领域，具体讲，涉及红外成像的编码感知矩阵估计方法。

背景技术

红外成像技术利用红外探测器捕获和跟踪目标自身辐射能量，具有抗干扰能力强、探测距离远、昼夜工作、烟雾穿透等优点，已成功应用于精确制导、战略预警与侦察监视等应用。在透射式/反射式红外成像系统中，光圈和快门分别是成像设备对场景在空间维度和时间维度的采样通道。因此，光圈和快门的配置直接影响红外成像性能。传统红外成像模式依据光学衍射原理，系统设计已经贴近衍射限和背景限，因此，在诸多实际工程应用条件约束的情况下，传统成像模式的固有特性成为了限制红外成像系统性能提升的根本原因。

在空域上，成像系统观测到的红外图像是目标场景热辐射场与光圈所对应的冲击响应函数的卷积。传统红外成像系统采用(近似)圆形光圈，其冲击响应为二维钟型函数，等效于低通滤波器。从趋势来看，光圈越大，热辐射场的高频细节损失也就越大，分辨率也就越低。但是为了保证一定的信噪比，光圈不能太小。因此，高频细节不可避免地受到很大损失。此外，由于缺少必要的波前信息，传统的校正算法迭代次数过多，也严重影响了算法的实时性和最终图像处理效果。

在近十几年的研究中，先前的研究者提出了很多种图像还原的方法来努力复原出清晰的全聚焦图像。造成图像降质的原因有很多，通常情况下该过程可以抽象为一个卷积运算形式。图像还原在本质上也是同样的。在上个世纪时候，很多研究者使用光学滤波来进行图像还原。因此，退化图像复原的关键要素就是成像系统的点扩散函数(Point SpreadFunction，简写为PSF)。点扩散函数表示点光源经过成像系统后的冲激响应情况，所以是评价成像系统的主要指标之一，在图像还原领域中扮演重要角色。图1给出了点扩散函数与目标图像生成拍摄图像的示意过程。一个点目标在成像后，其边缘变得模糊不清，发生了失焦模糊失真，这就是点扩散函数起到的作用。在理想的成像系统中，目标场景中的物体和成像传感器上的成像应该是点对点的映射关系。也就是说，像平面上的成像应该呈几何点排布，但如果点目标无法在像面上会聚成像，发散失焦模糊就会出现。大多数实际情况中是无法设计出理想的成像系统，那么模糊核的存在就会造成目标物体上的点出现一定程度的弥散。物平面上的一个点，在像平面上对应于一个重叠散斑。输入的图像信号在二维平面内进行了点的再叠加，并在像平面上形成了新的弥散点，这个叠加过程中不同目标点的作用的权重，就要取决于系统点扩散函数的分布模式。

根据上面的论述，模糊核函数的确定是非常重要的。对于任何一种数字成像系统，已知系统的点扩散函数后，就可以根据成像模型求解出任意的输入图像信号的输出图像情况。因此估计点扩散函数也就成为编码光圈成像解码技术中极为重要的一环。主要有投影法、点光源拍摄测量法和菲涅尔衍射效应估计法之类的方法。随着数字图像处理的发展，计算机硬件的不断进步，其内存变革和计算速度的加快为图像还原的大规模数字运算打下了良好基础。与之同时，快速傅里叶变换(FFT)的使用也为解码处理提供先决条件。在编码光圈成像系统中，广义维纳滤波是一种比较好的选择。

发明内容

为克服现有技术的不足，本发明旨在提出一种新的红外成像方法，实现有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。为此，本发明采取的技术方案是，红外成像的编码感知矩阵估计方法，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换(FFT)估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。

具体步骤如下：

1)拟设计一组具有特定热辐射分布的靶标真值场景，并且采用所构建的空域编码成像系统进行拍摄，得到相应的观测图像，靶标真值包括数字、笔画、汉字、英文字母，进而估计出各种成像情况下的点扩散函数PSF，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况；

2)对拍摄到的图像进行滤波，去除拍摄过程中产生的摩尔纹以及坏元，具体通过多帧取平均的方法，对摩尔纹进行初步消除处理，然后对残留的一些竖条纹，针对其频域分布特点，进行匹配滤波，消除竖条纹的影响；

3)对滤波后的图像进行背景均一化处理，首先利用阈值方法获取到图像中字的轮廓，然后将剩余区域求平均值作为背景像素值，然后对相机捕获到的图像和对应真值图进行归一化处理；

4)对高分辨率的靶标真值做杂点滤除处理，首先构造一个卷积滤波器将图中的这些杂点和空洞选出来，然后再重新对这些点赋值，进而消除这些杂点和空洞；

5)对齐靶标的高分辨率真值图和观测图，采用数学软件MATLAB自带的imrotate()和imtranslate()函数对高分辨率真值图进行旋转平移变换；

6)通过针孔拍摄方法经测量得到编码光圈系统的点扩散函数：在完全不透光的材料上打一个小孔，保持针孔的中心和相机镜头的几何中心轴在同一条直线上，此时，点光源表示为：

r为针孔的半径，r_p为针孔成像的阈值，因此，针孔成像表示为：

I_p＝qi(r)*h (2)

h为模糊核函数，当针孔qi(r)相对于h视为冲击函数δ时：

I_p＝h (3)

以上过程说明点扩散函数和针孔函数是等价的，若针孔较大不可忽略时，则需要下面的式子进行修正：

h＝F^-1[F[I_p]/F[qi(r)]] (4)

其中F[·]表示傅里叶变换，F^-1[·]表示傅里叶反变换，I_p表示相机拍摄到的靶标观测图像，qi(r)表示靶标的高分辨率真值图，进而通过式(3)或式(4)来获取成像系统点扩散函数；

7)利用盲卷积原理将图像复原模型简化公式如下：

c(x)为模糊图像，g(x)为点扩散函数，f_i(x)为第i轮的复原图像，如果系统放入点扩散函数已知，只要有一个初始估计f(x)就可以进行迭代求解，因此盲卷积的复原分两步进行，即在第i轮，假设(i-1)轮的图像已知，再通过以上公式求解第i轮的点扩散函数g_i(x)，随后再利用g_i(x)求解第i轮的图像f_i(x)，这样反复迭代，最后求得最终的g(x)求解f(x)，迭代公式如下：

由以上迭代公式得到最终恢复的结果。

本发明的技术特点及效果：

本发明提出了一种新型红外成像技术架构，它是基于目前国际前沿的图像编码感知与计算摄像学理论，采用光学成像与数字信号处理相结合的方式，利用相机采集到的靶标图案和真值通过快速傅里叶反变换(FFT)准确地的估计出点扩散函数，进而用盲卷积的方法复原出清晰的全聚焦图像；有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。

本发明具有以下特点：

1、本文提出的算法主要创新点是对红外相机捕获到的图像做去噪处理，去除了拍摄造成的摩尔纹，经过处理后得到归一化背景的干净测试图，避免了拍摄过程的坏点和噪声对对齐和点扩散函数估计造成影响，这一过程在红外拍摄中具有普遍性和实用性。

2、本文针对cad导出的高分辨率真值图边缘的空洞和杂点做了滤波处理，这对图像边缘优化具有普遍适用性。

3、本文提出一个评估对齐的标准，通过残差图以及方差使对齐效果更佳，为后面psf的估计提供了一个可参考的标准。

4、点扩散的估计一直都是图像复原中的一个难题，尤其是测试图和真值图的对齐处理，本文基于MATLAB自带的旋转平移函数，将对齐过程封装成一个自动调整的函数，只需要输入真值图和测试图，就可以自适应的对齐，这与之前手动对齐相比，不仅节省了时间，还减小了误差，具有一定的普适性。

5、本文结合传统的盲卷积方法复原出清晰的全聚焦图像；有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。

附图说明

图1是点扩散函数(PSF)与目标图像获取到成像图的原理；

图2是用cad软件画出的高分辨率靶标真值图；

图3是用在红外拍摄系统做测试实验的靶标真值图对应的实物图；

图4左栏是在红外系统拍摄到的靶标测试图，中间栏是经过加权平均后的测试图，右栏是经过匹配滤波处理后的侧视图；

图5左栏是红外系统拍摄到靶标测试图的频域分布图，右栏是经过匹配滤波处理后的测试图的频域分布图；

图6左栏是在红外系统中采集到的原始数据输出结果，右栏是原始数据经过背景均一化去除杂点的结果图；

图7左栏是cad绘制的高分辨率靶标真值图，中间栏是经过去除杂点和空洞的高分辨率靶标真值图，右栏是处理后与处理前的残差图；

图8是在对齐靶标真值图和测试图过程中的对比残差图；

图9是在对齐靶标真值图和测试图过程中的对比重叠图；

图10左栏是在红外系统拍摄到的靶标测试图，中间栏是经过平移旋转后对齐的高分辨率靶标真值图，右栏是对经过边缘光滑滤波后的对齐高分辨率靶标真值图；

图11是对齐的靶标真值图和测试图通过求傅里叶逆变换得到的红外感知矩阵(点扩散函数PSF)；

图12左栏是在红外成像系统中采集到的靶标测试图，中间栏是利用本发明提到的方法得到的点扩散函数；右栏是利用得到的点扩散函数得到恢复出来的对应清晰图像；

具体实施方式

对于任何一种数字成像系统，已知系统的点扩散函数后，就可以根据成像模型求解出任意的输入图像信号的输出图像情况。因此估计点扩散函数也就成为编码光圈成像解码技术中极为重要的一环。

面向传统红外成像模式的原理性局限，以及红外成像系统应用所需解决的实际工程问题，本发明提出了一种新型红外成像技术架构，它是基于目前国际前沿的图像编码感知与计算摄像学理论，采用光学成像与数字信号处理相结合的方式，利用相机采集到的靶标图案和真值通过快速傅里叶变换(FFT)准确地的估计出点扩散函数，进而用盲卷积的方法复原出清晰的全聚焦图像；有效减少目标和背景细节信息在成像过程中的损失，大幅提高系统对目标场景的空间和时间分辨能力。

在光学系统中，一个物平面可以被分解成很多个基本组成单位，称之为像素基元。而在一个成像系统中，每一个像素都会经过系统加权脉冲响应的作用并影响到成像。原则上，如果可以准确地预测物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，就能够借用线性叠加的方式来求得物平面上的任何像元的强度分布情况。

在这种情况下，点扩散函数(对应于图像模糊核函数)就可以被认为是一个点光源经过成像系统后所形成的冲击响应分布，常用h(x,y)来表示。从物理光学意义上来看，点扩散函数(Point Spread Function，简写为PSF)指在不考虑系统加性噪声干扰的情况下，物平面的点光源经过成像系统的作用后，所形成的弥散图像分布。如果PSF和物平面的像元点之间没有映射关系，则称为空间不变；否则称为是空间变化的。本课题假设图像模糊类型具有空间不变特性。在已知模糊核函数的情况下，可以根据公式推出退化后的模糊图像，那么，该过程的取逆过程方向就是图像还原过程。因此，退化图像复原的关键要素就是成像系统的点扩散函数的估计。对于任何一种数字成像系统，已知系统的点扩散函数后，就可以根据成像模型求解出任意的输入图像信号的输出图像情况。一般情况下，理想条件下的无限小的目标元是无法成像的。同时，不同系统中的点扩散函数的弥散程度也是不同的，这些因素都会极大地影响点扩散函数估计的准确性。在编码光圈成像系统中，点扩散函数的准确性在很大程度上直接决定了成像系统的解码是否稳定。本文首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换(FFT)估计出相机的点扩散函数，比较准确地预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。

具体步骤如下：

1)拟设计一组具有特定热辐射分布的靶标真值场景，并且采用所构建的空域编码成像系统进行拍摄，得到相应的观测图像。为了增加数据集，使效果更具有说服力，我们设计了四百多个靶标真值，包括数字、笔画、汉字、英文字母等等，如图2和图3所示，进而估计出各种成像情况下的PSF，尽可能比较准确地预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况。

2)对拍摄到的图像进行滤波，去除拍摄过程中产生的摩尔纹以及一些坏元。为了减少拍摄过程中坏点的影响，在拍摄过程中先利用调焦的方式减少一部分噪声的影响。但是仍然会由于拍摄物体的细节分辨率与感光元件重复单位空间频率发生的相干而产生摩尔纹，这些摩尔纹在后期的感知矩阵估计过程中会产生严重的影响，因此在对感知矩阵估计之前需要先对其做处理。我们通过多帧取平均的方法，对摩尔纹进行初步消除处理。然后对残留的一些竖条纹，针对其频域分布特点，进行了匹配滤波，消除竖条纹的影响。其结果如图4和图5所示。

3)对滤波后的图像进行背景均一化处理。由于靶标的真值图像为二值图像，为了能够准确的估计感知矩阵，我们需要将拍摄到的图像的背景进行均一化处理。首先利用阈值方法获取到图像中字的轮廓，然后将剩余区域求平均值作为背景像素值。然后对相机捕获到的图像和对应真值图进行归一化处理，其结果如图6所示。

4)对高分辨率的靶标真值做杂点滤除处理。高分辨率的真值图是由Cad绘制得到的，理论上靶标的高分辨率图应该是理想的二值图(即由0和255构成)，但是通过Cad导出的高分辨图在边缘处会出现一些杂点和空洞，这对后续处理中的对齐和感知矩阵的估计中都会产生影响。为此，我们首先构造了一个卷积滤波器将图中的这些杂点和空洞选出来，然后再重新对这些点赋值，进而消除这些杂点和空洞.其效果如图7所示。

5)对齐靶标的高分辨率真值图和观测图。前期的杂点去除和滤波均为后面的对齐和感知矩阵的估计做准备，我们知道感知矩阵的估计前提必须是清晰图和模糊图一一对应，这样才可以通过傅里叶的反变换得到相机的点扩散函数。因此点扩散函数估计的准确性直接取决于对齐效果。为了尽可能降低在对齐过程中的分辨率的损失，我们采用了MATLAB自带的imrotate()和imtranslate()函数对高分辨率真值图进行了旋转平移变换。其结果如图8、图9、图10所示。

6)成像系统的点扩散函数估计。点扩散函数表示点光源经过成像系统后的冲激响应情况，所以是评价成像系统的主要指标之一，在图像还原领域中扮演重要角色。经典的点光源测试法中编码光圈系统的点扩散函数可以通过针孔拍摄方法经测量得到。在完全不透光的材料上打一个小孔，保持针孔的中心和相机镜头的几何中心轴在同一条直线上。这里要特别注意的是，遮光材料不能太薄，打孔直径要尽可能的小。此时，点光源可以表示为：

r为针孔的半径，r_p为针孔成像的阈值，因此，针孔成像可表示为：

I_p＝qi(r)*h (2)

h为模糊核函数，当针孔qi(r)相对于h视为冲击函数δ时：

I_p＝h (3)

以上过程说明点扩散函数和针孔函数是等价的，若针孔较大不可忽略时，则需要下面的式子进行修正：

h＝F^-1[F[I_p]/F[qi(r)]] (4)

其中F[·]表示傅里叶变换，F^-1[·]表示傅里叶反变换，I_p表示相机拍摄到的靶标观测图像，qi(r)表示靶标的高分辨率真值图，进而通过式(3)或式(4)来获取成像系统点扩散函数；

7)造成图像降质的原因有很多，通常情况下该过程可以抽象为一个卷积运算形式。因此，图像还原在本质上也是同样的。很多研究者使用光学滤波来进行图像还原，如匹配滤波器、逆滤波、相关滤波器等。在编码光圈成像系统中，广义维纳滤波是一种比较好的选择，本发明利用盲卷积原理将图像复原模型简化为：

c(x)为模糊图像，g(x)为点扩散函数，f_i(x)为第i轮的复原图像，如果系统放入点扩散函数已知，只要有一个初始估计f(x)就可以进行迭代求解，因此盲卷积的复原分两步进行，即在第i轮，假设(i-1)轮的图像已知，再通过以上公式求解第i轮的点扩散函数g_i(x)，随后再利用g_i(x)求解第i轮的图像f_i(x)，这样反复迭代，最后求得最终的g(x)求解f(x)，迭代公式如下：

由以上迭代公式便可以得到最终恢复的结果。

Claims (2)

1.一种红外成像的编码感知矩阵估计方法，其特征是，首先利用一组校正测试靶标，利用相机捕获到的靶标和对应真值图通过快速傅里叶变换FFT估计出相机的点扩散函数，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况，然后用盲卷积的方法复原出清晰的全聚焦图像。

2.如权利要求1所述的红外成像的编码感知矩阵估计方法，其特征是，具体步骤如下：

1)拟设计一组具有特定热辐射分布的靶标真值场景，并且采用所构建的空域编码成像系统进行拍摄，得到相应的观测图像，靶标真值包括数字、笔画、汉字、英文字母，进而估计出各种成像情况下的点扩散函数PSF，预测出物平面上的每一个像素经过系统后在成像传感器上的光学振动情况；

2)对拍摄到的图像进行滤波，去除拍摄过程中产生的摩尔纹以及坏元，具体通过多帧取平均的方法，对摩尔纹进行初步消除处理，然后对残留的一些竖条纹，针对其频域分布特点，进行匹配滤波，消除竖条纹的影响；

3)对滤波后的图像进行背景均一化处理，首先利用阈值方法获取到图像中字的轮廓，然后将剩余区域求平均值作为背景像素值，然后对相机捕获到的图像和对应真值图进行归一化处理；

4)对高分辨率的靶标真值做杂点滤除处理，首先构造一个卷积滤波器将图中的这些杂点和空洞选出来，然后再重新对这些点赋值，进而消除这些杂点和空洞；

5)对齐靶标的高分辨率真值图和观测图，采用数学软件MATLAB自带的imrotate()和imtranslate()函数对高分辨率真值图进行旋转平移变换；

6)通过针孔拍摄方法经测量得到编码光圈系统的点扩散函数：在完全不透光的材料上打一个小孔，保持针孔的中心和相机镜头的几何中心轴在同一条直线上，此时，点光源表示为：

r为针孔的半径，r_p为针孔成像的阈值，因此，针孔成像表示为：

I_p＝qi(r)*h (2)

h为模糊核函数，当针孔qi(r)相对于h视为冲击函数δ时：

I_p＝h (3)

以上过程说明点扩散函数和针孔函数是等价的，若针孔较大不可忽略时，则需要下面的式子进行修正：

h＝F^-1[F[I_p]/F[qi(r)]] (4)

其中F[·]表示傅里叶变换，F^-1[·]表示傅里叶反变换，I_p表示相机拍摄到的靶标观测图像，qi(r)表示靶标的高分辨率真值图，进而通过式(3)或式(4)来获取成像系统点扩散函数；

7)利用盲卷积原理将图像复原模型简化公式如下：

c(x)为模糊图像，g(x)为点扩散函数，f_i(x)为第i轮的复原图像，如果系统放入点扩散函数已知，只要有一个初始估计f(x)就可以进行迭代求解，因此盲卷积的复原分两步进行，即在第i轮，假设(i-1)轮的图像已知，再通过以上公式求解第i轮的点扩散函数g_i(x)，随后再利用g_i(x)求解第i轮的图像f_i(x)，这样反复迭代，最后求得最终的g(x)求解f(x)，迭代公式如下：

由以上迭代公式得到最终恢复的结果。