CN108230249B - 基于各向异性的l1范数全变分正则化非均匀性校正方法 - Google Patents

Abstract

本发明公开了一种基于各向异性的L1范数全变分正则化非均匀性校正方法,通过建立起基于单幅图像的各向异性全变分正则化模型，将去除红外图像非均匀性条纹噪声的问题转化为一个最小化全变分问题，之后采用分离布拉格曼迭代方法进行最优化，得出最优解，其最后一次迭代结果即为校正后的红外图像。本发明的创新点在于对传统的全变分模型针对非均匀条纹噪声水平方向全变分远大于竖直方向全变分的结构特点改进方程，使用基于L1范数的正则约束使其能适用于红外图像非均匀性校正，利用分离布拉格曼方法代替最陡梯度下降法进行方程最优化处理，大大提升了处理速度，最大程度地保留了物体的边缘信息。

Description

基于各向异性的L1范数全变分正则化非均匀性校正方法

技术领域

本发明涉及红外视频图像的非均匀校正技术，具体涉及一种基于各向异性的 L1范数全变分正则化非均匀性校正方法。

背景技术

红外焦平面阵列器件(IRFPA)是当前最主流的红外探测器，广泛应用于各个领域，但由于制造工艺以及工作环境等因素影响，IRFPA的探测元的响应度不一致，具体表现为输出图像存在一定的非均匀固定条纹噪声(NUC-FPN)，严重影响成像质量。

目前，国内外的非均匀校正(NUC)方法大致可分为两大类：基于定标的方法和基于场景的方法。其中基于定标的方法利用温度分布均匀的红外热源(诸如黑体)对探测器进行标定来解决非均匀性的问题，该类方法的准确度比较高，但是在发生温漂时需要重新标定来不断的修正校正参数，操作十分麻烦。基于场景的方法主要有基于统计的和基于配准的两大类。基于统计的方法通常对焦平面接收到的辐射量进行时间上以及空间上的统计假设，在此假设的基础上不断修正校正参数，完成非均匀性校正。其中代表性的有时域高通法、统计恒定法、神经网络法、恒定范围法及其相应的扩展形式。然而，由于图像场景千变万化，上述算法的假设并不能在任何场合均得到满足，因此这类校正算法通常伴随较为严重的鬼影。另一类是基于配准的方法，其假设前提为，在较短的时间间隔内，对相同的图像场景，如果不存在非均匀性，则每个像元的响应应该是相同的，因此这类技术需要对红外图像序列进行精准的配准。其中比较有代表性的有全景图积累法，代数校正法等。这类算法存在计算量与存储量大，校正误差易逐级累积并传播，无法处理旋转和缩放情况下相邻帧间配准等问题。

基于全变分红外图像非均匀性校正方法最初由Esteban Vera和Pablo Meza 提出(V.Esteban,M.Pablo,“Total variation approach for adaptive nonuniformitycorrection in focal-plane arrays,”Optics Letters,36,172-174(2011))，通过将非均匀噪声视为固定噪声的一种，从单纯的图像角度进行去噪处理。具有实时性好，适用范围广，校正精度高等优点。缺点是论文中采用的变分模型是同时沿着x轴和y轴进行的，忽视了非均匀噪声在结构上表现为条纹噪声的特点。同时文中采用了L2范数进行正则约束，在滤去噪声的同时，也模糊了图像的细节，也没有考虑到视频图像帧间的相关性。因此，本专利在该篇论文的基础上提出了一种基于各向异性的L1范数全变分正则化方式来校正非均匀性的新方法，能在校正非均匀性条纹噪声的同时最大限度的保护图像细节。

发明内容

本发明的目的在于提供一种基于各向异性的L1范数全变分正则化非均匀性校正方法，克服了传统的梯度下降法速度较慢的缺陷，使其能够满足处理红外视频非均匀性的实时性要求。

实现本发明目的的技术解决方案为：一种基于各向异性的L1范数全变分正则化非均匀性校正方法，包括以下步骤：

步骤1、采集含有非均匀性噪声的红外图像f(i,j)＝u(i,j)+n(i,j)，其中 f(i,j)表示实际采集到的图像，u(i,j)表示理想的无噪声图像，n(i,j)表示由红外探测器成像单元的暗电流和响应率差异引起的固定条纹噪声，(i,j)表示图像像素点的位置；输入的含有非均匀性噪声的红外图像 f(i,j)＝u(i,j)+n(i,j),i＝1,2,...,M,j＝1,2,...,N，其中M为图像总行数，N为图像总列数；

步骤2、对上述含有非均匀性噪声的红外图像f(i,j)使用能量泛函正则化模型E(u)实现去噪：

其中f为f(i,j)的通用表示，u为u(i,j)的通用表示，正则项为J(u)，保真项为

λ是平滑系数；

对正则项J(u)使用基于L1范数的模型：

J(u)＝λ||u_x||₁ (2)

u_x为理想的无噪声图像u(i,j)空间上对像素点沿水平x轴方向上的一阶差分，λ为平滑系数；

将式(2)代入式(1)，更新E(u)：

步骤3、使用分离布拉格曼迭代方法，对式(3)进行最小化求解，最终获得消除非均匀性的图像u_final。

本发明与现有技术相比，其显著优点在于：

(1)使用L1范数全变分正则化模型在去除非均匀性的同时最大限度的保护图像细节；

(2)针对红外图像非均匀性固定条纹噪声的几何特性，对图像的水平方向实现最小化变分，在列方向上仍保存图像信息；

(3)引入分离布拉格曼迭代法求解该最优化问题，把模型的最优化过程分离成多个子最优化过程，有效提升了去噪处理速度。

(4)可在无需预先标定的情况下对单帧红外图片的非均匀性条纹噪声进行去噪处理，在有效去除图像的固定条纹噪声的同时，最大程度的保留图像的细节信息，提高图像的质量。

(5)具有针对性强、非均匀性除噪效果好，处理速度快等优点，可满足视频处理的实时性需求。

附图说明

图1是本发明基于各向异性的L1范数全变分正则化非均匀性校正方法的流程图。

图2为本发明的非均匀性校正效果图，其中(a)为原始红外输入图像，(b)为使用本发明提出的方法校正非均匀性后的图像。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明是一种基于各向异性的L1范数全变分正则化非均匀性校正方法，该方法将图像看做有界变差(Boundary Variation)函数空间，建立起含有保真项与全变分正则项的能量泛函去噪模型，通过对该模型的最优化求解，实现对图像的的去噪处理。该方法使用L1范数全变分正则化模型，并针对红外图像非均匀性固定条纹噪声的几何特性，对图像的水平方向实现最小化变分，在列方向上仍保存图像信息最大限度的保护图像细节。

含有非均匀性噪声的红外图像f(i,j)表示为：f(i,j)＝u(i,j)+n(i,j)，其中 f(i,j)表示实际采集到的图像，u(i,j)表示理想的无噪图像，n(i,j)表示由红外探测器成像单元的暗电流和响应率差异引起的固定条纹噪声。我们的目的是根据 f(i,j)最大限度地还原出u(i,j)，从概率的角度来看，即最大化概率P(u/f)，根据贝叶斯原理P(u/f)＝P(f/u)*P(u)，说明P(f/u)最大，同时P(u)最大时， P(u/f)能最大。因此，去噪模型可以写成

第一项代表 P(f/u)，即保真项，第二项J(u)代表P(u)，即正则项，两项之间不是完全独立。λ代表平滑系数，当λ大的时候图像去噪后将更平滑，λ小的时候图像细节保留的更好。

为了更好地针对红外非均匀性进行去噪，本发明选取基于L1范数的全变分模型作为正则项J(u)，它能沿不同方向扩展，适合针对非均匀性噪声较为固定的几何性质(主要为竖纹噪声)。因此我们主要需要进行水平方向上的最优化求解，因此得到本发明提出的基于各向异性的L1范数全变分正则化模型：

结合图1，本发明是一种基于各向异性的L1范数全变分正则化非均匀性校正方法，包括以下步骤：

步骤1：采集含有非均匀性噪声的红外图像f(i,j)＝u(i,j)+n(i,j)，其中 f(i,j)表示实际采集到的图像，u(i,j)表示理想的无噪声图像，n(i,j)表示由红外探测器成像单元的暗电流和响应率差异引起的固定条纹噪声，(i,j)表示图像像素点的位置，i＝1,2,...,M,j＝1,2,...,N，其中M为图像总行数，N为图像总列数。

步骤2、对上述含有非均匀性噪声的红外图像f(i,j)使用能量泛函正则化模型E(u)实现去噪：

其中f为f(i,j)的通用表示，u为u(i,j)的通用表示，正则项为J(u)，保真项为

λ是正则项平滑系数，E(u)为图像的能量泛函；对正则项J(u)使用基于L1范数的模型：

J(u)＝λ||u_x||₁ (2)

u_x为理想的无噪声图像u(i,j)空间上对像素点沿水平x轴方向上的一阶差分，λ为平滑系数，即图像空域上对像素点沿水平x轴方向上的一阶差分的平滑系数。

对于输入的u(i,j)，其在图像空间上对像素点沿水平x轴方向上的一阶差分u_x的具体表达式为：

当j＜N时 u_x(i,j)＝u(i,j+1)-u(i,j)

当j＝N时 u_x(i,j)＝0

将式(2)代入式(1)，更新E(u)：

在输入f(i,j)后，能量泛函正则化模型E(u)的离散化形式如下：

步骤3使用分离布拉格曼(Split Bregman)迭代方法，对式(3)进行最小化求解，最终获得消除非均匀性的图像u_final，其具体步骤为：

步骤3-1)引入图像水平方向上的两个辅助变量w_x和b_x，并使用分离布拉格曼优化方法将该问题转化为无约束的最小化问题实现优化处理：

其中，

为u(i,j)水平方向上的二次惩罚项，迭代初始时

b_x初值为0，α是布拉格曼惩罚系数，赋值为1。

步骤3-2)将式(5)中的u和w_x这两个未知变量分离出来，转化为两个最优化迭代子方程求解；

对于变量u，其最优化迭代子方程为：

对于辅助变量w_x，其最优化子方程为：

步骤3-3)式(6)相当于一个基于线性算子的迭代过程：

该过程可以利用快速傅里叶变换求得u的封闭解：

其中F为快速傅里叶变换，F^-1为傅里叶逆变换；

步骤3-4)使用shrink算子对式(7)实现最优化迭代：

其中，μ为收缩系数，赋值为0.05，shrink算子的方程为：

其中，a为非0任意数，b为任意数，因此对于式(10)，当

时，取

步骤3-5)对于辅助变量b_x，使用代入法迭代求解：

步骤3-6)在布拉格曼迭代法计算的过程中，在对一个变量进行迭代时，其他变量均保持不变，如此交替迭代，当迭代到第n+1次时，满足uⁿ⁺¹-uⁿ＜σ，迭代终止，此时获得的图像uⁿ⁺¹为消除非均匀性的图像u_final，σ阈值设为10^-3。

实施例1

将图2中的(a)图作为采集含有非均匀性噪声的红外图像f(i,j)，利用本发明所述的基于各向异性的L1范数全变分正则化非均匀性校正方法，进行校正，得到如图2中的(b)图所示的消除非均匀性的图像u_final。

结合图2，本发明可在无需预先标定的情况下对单帧红外图片的非均匀性条纹噪声进行去噪处理，在有效去除图像的固定条纹噪声的同时，最大程度的保留图像的细节信息，提高图像的质量，具有针对性强、非均匀性除噪效果好，处理速度快等优点，可满足视频处理的实时性需求。

Claims (3)

1.一种基于各向异性的L1范数全变分正则化非均匀性校正方法，其特征在于，包括以下步骤：

步骤1、采集含有非均匀性噪声的红外图像f(i,j)＝u(i,j)+n(i,j)，其中f(i,j)表示实际采集到的图像，u(i,j)表示理想的无噪声图像，n(i,j)表示由红外探测器成像单元的暗电流和响应率差异引起的固定条纹噪声，(i,j)表示图像像素点的位置；输入的含有非均匀性噪声的红外图像f(i,j)＝u(i,j)+n(i,j),i＝1,2,...,M,j＝1,2,...,N，其中M为图像总行数，N为图像总列数；

步骤2、对上述含有非均匀性噪声的红外图像f(i,j)使用能量泛函正则化模型E(u)实现去噪：

其中f为f(i,j)的通用表示，u为u(i,j)的通用表示，正则项为J(u)，保真项为

λ是平滑系数；

对正则项J(u)使用基于L1范数的模型：

J(u)＝λ||u_x||₁ (2)

u_x为理想的无噪声图像u(i,j)空间上对像素点沿水平x轴方向上的一阶差分，λ为平滑系数；

将式(2)代入式(1)，更新E(u)：

能量泛函正则化模型E(u)的离散化形式如下：

步骤3、使用分离布拉格曼迭代方法，对式(3)进行最小化求解，最终获得消除非均匀性的图像u_final。

2.根据权利要求1所述的基于各向异性的L1范数全变分正则化非均匀性校正方法，其特征在于：上述步骤2中，对于输入的u(i,j)，其在图像空间上对像素点沿水平x轴方向上的一阶差分u_x的具体表达式为：

当j＜N时 u_x(i,j)＝u(i,j+1)-u(i,j)

当j＝N时 u_x(i,j)＝0。

3.根据权利要求1所述的基于各向异性的L1范数全变分正则化非均匀性校正方法，其特征在于：上述步骤3中，使用分离布拉格曼迭代方法，对式(3)进行最小化求解，最终获得消除非均匀性的图像u_final，其具体步骤为：

步骤3-1)、引入图像水平方向上的两个辅助变量w_x和b_x，并使用分离布拉格曼迭代方法，具体如下：

其中，

为u(i,j)水平方向上的二次惩罚项，迭代初始时

b_x初值为0，α是布拉格曼惩罚系数，赋值为1；

步骤3-2)、将式(5)中的u和w_x这两个未知变量分离出来，转化为两个最优化迭代子方程求解；

对于变量u，其最优化迭代子方程为：

对于辅助变量w_x，其最优化子方程为：

步骤3-3)、式(6)相当于一个基于线性算子的迭代过程：

利用快速傅里叶变换求得u的封闭解：

其中F为快速傅里叶变换，F^-1为傅里叶逆变换；

步骤3-4)、使用shrink算子对式(7)实现最优化迭代：

其中，μ为收缩系数，shrink算子的方程为：

其中，a为非0任意数，b为任意数，因此对于式(10)，当

时，取

步骤3-5)、对于辅助变量b_x，使用代入法迭代求解：

步骤3-6)在布拉格曼迭代法计算的过程中，在对一个变量进行迭代时，其他变量均保持不变，如此交替迭代，当迭代到第n+1次时，满足uⁿ⁺¹-uⁿ＜σ，迭代终止，此时获得的图像u^{n +1}为消除非均匀性的图像u_final，σ阈值设为10^-3。

Images