CN106803235B - 基于各向异性时空域全变分非均匀性校正的方法 - Google Patents
基于各向异性时空域全变分非均匀性校正的方法 Download PDFInfo
- Publication number
- CN106803235B CN106803235B CN201510835818.XA CN201510835818A CN106803235B CN 106803235 B CN106803235 B CN 106803235B CN 201510835818 A CN201510835818 A CN 201510835818A CN 106803235 B CN106803235 B CN 106803235B
- Authority
- CN
- China
- Prior art keywords
- image
- formula
- time
- noise
- space domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 238000000926 separation method Methods 0.000 claims abstract description 11
- 238000009499 grossing Methods 0.000 claims description 12
- 238000006467 substitution reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 230000008602 contraction Effects 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims 1
- 238000011478 gradient descent method Methods 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 235000015170 shellfish Nutrition 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种基于各向异性时空域全变分非均匀性校正的方法。该方法通过建立起基于多帧图像的各向异性全变分模型，将去除红外图像非均匀性条纹噪声的问题转化为一个最小化全变分问题，之后采用分离布拉格曼（Split Bregman）方法进行最优化，帧间迭代出最优解，其最后一次迭代结果即为校正后的红外图像。本发明的创新点在于对传统的全变分模型进行了时空域扩展，同时针对非均匀条纹噪声水平方向全变分远大于竖直方向全变分的结构特点改进方程，使其能适用于红外图像非均匀性校正，利用Split Bregman方法代替最陡梯度下降法进行方程最优化处理，大大提升了处理速度，满足了视频处理的实时性要求，同时在帧间迭代时设置了阈值，防止物体快速运动时校正失真。
Description
技术领域
本发明涉及红外视频图像的非均匀校正技术，具体涉及一种基于各向异性时空域全变分非均匀性校正的方法。
背景技术
红外焦平面阵列器件(IRFPA)是当前最主流的红外探测器，广泛应用于各个领域，但由于制造工艺以及工作环境等因素影响，IRFPA的探测元的响应度不一致，具体表现为输出图像存在一定的非均匀固定条纹噪声(NUC-FPN)，严重影响成像质量。
目前，国内外的非均匀校正(NUC)方法大致可分为两大类：基于定标的方法和基于场景的方法。其中基于定标的方法利用温度分布均匀的红外热源(诸如黑体)对探测器进行标定来解决非均匀性的问题，该类方法的准确度比较高，但是在发生温漂时需要重新标定来不断的修正校正参数，操作十分麻烦。基于场景的方法主要有基于统计的和基于配准的两大类。基于统计的方法通常对焦平面接收到的辐射量进行时间上以及空间上的统计假设，在此假设的基础上不断修正校正参数，完成非均匀性校正。其中代表性的有时域高通法、统计恒定法、神经网络法、恒定范围法及其相应的扩展形式。然而，由于图像场景千变万化，上述算法的假设并不能在任何场合均得到满足，因此这类校正算法通常伴随较为严重的鬼影。另一类是基于配准的方法，其假设前提为，在较短的时间间隔内，对相同的图像场景，如果不存在非均匀性，则每个像元的响应应该是相同的，因此这类技术需要对红外图像序列进行精准的配准。其中比较有代表性的有全景图积累法，代数校正法等。这类算法存在计算量与存储量大，校正误差易逐级累积并传播，无法处理旋转和缩放情况下相邻帧间配准等问题。
基于全变分红外图像非均匀性校正方法最初由Esteban Vera和Pablo Meza提出(V.Esteban，M.Pablo，“Total variation approach for adaptive nonuniformitycorrection in focal-plane arrays，”Optics Letters，36，172-174(2011))，通过将非均匀噪声视为固定噪声的一种，从单纯的图像角度进行去噪处理。具有实时性好，适用范围广，校正精度高等优点。缺点是论文中采用的变分模型是同时沿着x轴和y轴进行的，忽视了非均匀噪声在结构上表现为条纹噪声的特点。同时文中采用了L2范数进行正则约束，在滤去噪声的同时，也模糊了图像的细节，也没有考虑到视频图像帧间的相关性。因此，本专利在该篇论文的基础上提出了一种基于各向异性时空域全变分非均匀性校正的新方法，能在校正非均匀性条纹噪声的同时最大限度的保护图像细节。
发明内容
本发明的目的在于提供一种基于各向异性时空域全变分非均匀性校正的方法，可以在无需预先标定的情况下实时的进行非均匀性条纹噪声的去噪，在有效去除图像的固定条纹噪声的同时，最大程度的保留图像的细节信息，提高图像的质量。该方法具有除噪效果好，处理速度快等优点，能满足了视频处理的实时性要求。
实现本发明目的的技术解决方案为：一种基于各向异性时空域全变分非均匀性校正的方法，包括以下步骤：
步骤1、采集含非均匀性噪声的红外图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i，j)表示图像像素点的位置，t表示视频序列的第t帧图像。
步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：
其中f为f(i，j，t)的通用表示，u为u(i，j，t)的通用表示，H(u)为正则项；J(u)为图像能量泛函；为保真项；λ为平滑系数；Ω表示单帧图像像素点构成的空间。
又对正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1 (2)
ux为图像时空域上对于像素点的x轴的一阶差分，ut为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数；其具体的表达式如下：
ux(i，j，t)＝u(i+1，j，t)-u(i，j，t) (3)
ut(i，j，t)＝u(i，j，t)-u(i，j，t+1) (4)
将式(2)～(4)代入式(1)，更新图像的全变分模型J(u)：
步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal。
上述步骤2中，采用全变分模型对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型，并对全变分模型进行更新，具体的步骤为：
步骤2-1)输入视频图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，读取相邻两帧图像ft1(M，N，t1)和ft2(M，N，t2)，其中M为图像的总行数，N为图像的总列数，t1和t2均代表帧数。
步骤2-2)对于第t1帧的图像，对于像素点(i，j)建立图像噪声模型ft1(i，j，t1)＝u(i，j，t1)+n(i，j，t1)，其时空域x轴方向和帧间方向上t的一阶差分表示如下：
对于x轴方向，当j＜M时，取ux(i，j，t1)＝u(i，j+1，t1)-u(i，j，t1)；
对帧间方向：ut(i，j，t)＝u(i，j，t2)-u(i，j，t1)；
对于图像边界处j＝M，取ux(i，M，t1)＝0；ux(i，M，t2)＝0；
步骤2-3)将式(2)～(4)代入式(1)，得到全变分模型J(u)离散化表示：
设置帧间阈值T，判断f(i，j，t2)-f(i，j，t1)是否大于T：
当f(i，j，t2)-f(i，j，t1)≤T，保留式(5)中的ut(i，j，t1)项；
当f(i，j，t2)-f(i，j，t1)＞T，删除式(5)中的ut(i，j，t)项，此时J(u)退化为一个仅对图像空间域竖直方向进行校正的单帧模型：
进一步的，上述步骤3中，通过Split Bregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal，具体的步骤为：
3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(7)；
其中dx是图像水平方向的二次惩罚项，dt是时间方向的二次惩罚项，bx是引入图像水平方向的辅助变量，bt是引入的时间方向的辅助变量，α和β是方程的Bregman惩罚系数；(u-f)y是无噪图像与实际观察到图像相减后垂直方向的辅助变量；
3-2)将式(7)中u，dx，dy这三个未知变量进行分离，得到两个最优化子问题；
对于变量u，分离后最优化子方程如下：
其中by是引入图像垂直方向的辅助变量，k是迭代优化的次数；
对于变量dx和dt，分离后最优化子方程组如下：
3-3)式(8)等价于一个基于线性算子的迭代过程，即式(10)：
其中k+1是迭代优化的次数，uy是无噪声图像垂直方向的辅助变量，fy是实际观察到图像垂直方向的辅助变量；
通过快速傅里叶变换，得到u的封闭解如下：
其中F是快速傅里叶变换，F-1为傅里叶逆变换；
3-4)采用shrink算子对式(9)的迭代最小化，得到；
其中θ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取t和t+1均代表帧数；同理，对dt也采用如上处理方式；
3-5)对于余下的未知数bx和by，采用代入法迭代求解：
其中(u-f)t是无噪图像与实际观察到图像相减后时间方向的辅助变量；
3-6)使用Split Bregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。
本发明与现有技术相比，其显著优点为：1、利用视频图像序列中相邻帧图像之间的相关性扩展了全变差去噪模型，相比较单纯的空域模型能有更好的平滑条纹噪声的效果。
2、利用红外非均匀性固定条纹噪声的几何性质，在图像行方向最小化变分，在列方向则尽量保存图像信息。
3、引入Split Bregman法来求解全变分方程，解决了传统的最陡梯度法速度过慢的缺陷，将整个模型的最优化过程分离为数个子最优化过程，大大提升了速度，使其满足红外视频图像的非均匀校正实时性要求。
4、引入帧间阈值T来防止红外视频序列帧间差别过大的情况，提高模型的精确性。
附图说明
图1是本发明一种基于各向异性时空域全变分模型的非均匀校正方法算法流程图。
图2是视频序列f(i，j，t)恒满足f(i，j，t+1)-f(i，j，t)≤T时t1的情况；其中图(a)为t1时刻的图像原始的视频输入图像，图(b)为对原始视频图像做本专利提出算法进行非均匀校正后的图像。
图3是视频序列f(i，j，t)满足f(i，j，t+1)-f(i，j，t)＞T的情况；其中图(a)为t1时刻的图像原始的视频输入图像，图(b)为对原始视频图像做本专利提出算法进行非均匀校正后的图像。
具体实施方式
下面结合附图对本发明作进一步详细描述。
本发明是一种基于各向异性时空域全变分非均匀性校正的方法。其原理为：将图像的看做一个有界变差函数空间，即BV空间，通过建立一个最小化保真项和一个全变分正则项H(u)的过程来实现对图像的复原和去噪，同时考虑到视频处理时帧间的相关性和红外非均匀性校正固定条纹噪声的几何特性，我们对全变分正则项进行改进，竖直方向上的处理项与前面保真项结合在一起，水平和时间方处理项仍用全变分正则项进行平滑，从而在实现去除非均匀性条纹噪声的同时，不会破坏图像的边缘和细节。
一幅含噪图像可以表示为：f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示条纹噪声。我们的目的是根据f(i，j，t)最大限度地还原出u(i，j，t)，从概率的角度来看，即最大化概率P(u/f)，根据贝叶斯原理P(u/f)＝P(f/u)*P(u)，说明P(f/u)最大，同时P(u)最大时，P(u/f)能最大。因此，去噪模型可以写成第一项代表P(f/u)，即保真项，第二项H(u)代表P(u)，即正则项。因为两项之间不是完全独立，a代表权衡系数，一般来说a大的时候图像更平滑，a小的时候图像细节保留的更好。
对于红外图像的非均匀条纹噪声去噪过程，我们取H(u)项为一个全变分模型，这个模型最大的好处就是能对x轴和y轴进行分离的变换，还能沿不同的方向进行扩展，很适合非均匀性噪声(大多数表现为固定的条纹噪声)具有几何稳定性的特定。又由于在处理竖纹噪声时，我们主要要进行水平方向的平滑，垂直方向尽量要宝真，于是得到本专利所提出的去除非均匀性噪声的模型：
其中u为无噪图像，f为含非均匀噪声图像，ux为空间域水平方向一阶差分，ut为时间域上的一阶差分。通过分离布拉格曼(Spilt Bregman)法对(1)式求最小值既可以得到所需要的无噪图像u。
结合图1，本发明一种基于各向异性时空域全变分非均匀性校正的方法，包括以下步骤：
步骤1、采集含非均匀性噪声的红外图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i，j)表示图像像素点的位置，t表示视频序列的第t帧图像；同时设每帧图像的总行数为M，总列数为N。
步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：
其中正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1 (2)
ux为图像时空域上对于像素点的x轴的一阶差分，ut为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数。其具体的表达式如下：
对于第t1帧的图像，对于x轴方向，当j＜M时，取
ux(i，j，t1)＝u(i，j+1，t1)-u(i，j，t1) (3)
对于图像边界处当j＝M，取ux(i，M，t1)＝0；ux(i，M，t2)＝0；
对于第t1帧的图像，对于帧间方向，当f(i，j，t2)-f(i，j，t1)≤T：
ut(i，j，t)＝u(i，j，t2)-u(i，j，t1)； (4)
得到全变分模型J(u)离散化表示：
对于第t1帧的图像，对于帧间方向，当f(i，j，t2)-f(i，j，t1)＞T：
此时J(u)退化为一个仅对图像空间域竖直方向进行校正的单帧模型：
步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化具体的步骤为：
3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(7)；
其中dx是图像水平方向的二次惩罚项，dt是时间方向的二次惩罚项，bx是引入图像水平方向的辅助变量，bt是引入的时间方向的辅助变量，α和β是方程的Bregman惩罚系数；(u-f)y是无噪图像与实际观察到图像相减后垂直方向的辅助变量；
3-2)将式(7)中u，dx，dy这三个未知变量进行分离，得到两个最优化子问题。
对于变量u，分离后最优化子方程为式(8)；
其中by是引入图像垂直方向的辅助变量，k是迭代优化的次数；
对于变量dx和dt，分离后最优化子方程为式(9)；
3-3)式(8)等价于一个基于线性算子的迭代过程，即式(10)：
其中k+1是迭代优化的次数，uy是无噪声图像垂直方向的辅助变量，fy是实际观察到图像垂直方向的辅助变量；
该方程可以通过快速傅里叶变换(式11)得到u的封闭解：
其中F是快速傅里叶变换，F-1为傅里叶逆变换。
3-4)采用shrink算子对式(9)的迭代最小化，得到；
其中θ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取t和t+1均代表帧数；同理，对dt也采用如上处理方式；
3-5)对于余下的未知数bx和by，则直接采用代入法迭代求解：
其中(u-f)t是无噪图像与实际观察到图像相减后时间方向的辅助变量；
3-6)使用Split Bregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。
实施例1
结合图1和图2，当输入视频序列f(i，j，t)恒满足f(i，j，t+1)-f(i，j，t)≤T时，此时视频序列的全变分模型恒为：其去非均匀性噪声步骤为：
步骤1、采集含非均匀性噪声的红外图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i，j)表示图像像素点的位置，t表示视频序列的第t帧图像；同时设每帧图像的总行数为M，总列数为N。
步骤2、对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型J(u)；
其中正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1 (2)
ux为图像时空域上对于像素点的x轴的一阶差分，ut为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数。其具体的表达式如下：
对于t1时刻的图像，对于x轴方向，当j＜M时；
ux(i，j，t1)＝u(i，j+1，t1)-u(i，j，t1) (3)
对于图像边界处当j＝M，取ux(i，M，t1)＝0；ux(i，M，t2)＝0；
对于t1时刻的图像，对于帧间方向；
ut(i，j，t)＝u(i，j，t2)-u(i，j，t1) (4)
将(2)～(4)式代入式(1)，得到全变分模型J(u)离散化表示：
步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化具体的步骤为：
3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(6)；
其中dx是图像水平方向的二次惩罚项，dt是时间方向的二次惩罚项，bx是引入图像水平方向的辅助变量，bt是引入的时间方向的辅助变量，α和β是方程的Bregman惩罚系数
3-2)将式(6)中u，dx，dy这三个未知变量进行分离，得到两个最优化子问题。
对于变量u，分离后最优化子方程为式(7)；
对于变量dx和dt，分离后最优化子方程为式(8)；
3-3)式(8)等价于一个基于线性算子的迭代过程，即式(9)：
该方程可以通过快速傅里叶变换(式10)得到u的封闭解：
其中F是快速傅里叶变换，F-1为傅里叶逆变换。
3-4)采用shrink算子对式(8)的迭代最小化，得到；
其中θ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取t和t+1均代表帧数；同理，对dt也采用如上处理方式；
3-5)对于余下的未知数bx和by，则直接采用代入法迭代求解：
3-6)使用Split Bregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。
实施例2
结合图1和图3，当输入视频序列f(i，j，t)部分满足f(i，j，t+1)-f(i，j，t)≤T，部分满足f(i，j，t+1)-f(i，j，t)＞T的时候，此时视频序列的全变分模型为：
具体数值求解时，当f(i，j，t+1)-f(i，j，t)≤T时，通过Split Bregman同时迭代最小化ux和ut，与实施例1完全相同；当f(i，j，t+1)-f(i，j，t)＞T时，只需用Split Bregman迭代最小化ux，最终得到最优解u，具体步骤如下：
步骤1、采集含非均匀性噪声的红外图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i，j)表示图像像素点的位置，t表示视频序列的第t帧图像；
步骤2对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型J(u)；
其中正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1 (2)
ux为图像时空域上对于像素点的x轴的一阶差分，ut为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数。其具体的表达式如下：
对于t1时刻的图像，对于x轴方向，当j＜M时；
ux(i，j，t1)＝u(i，j+1，t1)-u(i，j，t1) (3)
其中ux(i，j，t1)为t1时刻图像时空域上对于像素点的x轴的一阶差分；
对于图像边界处当j＝M，取ux(i，M，t1)＝0；ux(i，M，t2)＝0；
对于t1时刻的图像，对于帧间方向不更新；
ut(i，j，t1)＝0 (4)
其中ut(i，j，t1)为t1时刻图像时空域上对于像素点的帧间的一阶差分；
将(2)～(4)式代入式(1)，得到全变分模型J(u)离散化表示：
步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化具体的步骤为：
3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(6)；
其中dx是图像水平方向的二次惩罚项，bx是引入图像水平方向的辅助变量，α是方程的Bregman惩罚系数。
3-2)将式(6)中u，dx这两个未知变量进行分离，得到两个最优化子问题。
对于变量u，分离后最优化子方程为式(7)；
对于变量dx，分离后最优化子方程为式(8)；
3-3)式(6)等价于一个基于线性算子的迭代过程，即式(9)：
该方程可以通过快速傅里叶变换(式10)得到u的封闭解：
其中F是快速傅里叶变换，F-1为傅里叶逆变换。
3-4)采用shrink算子对式(8)迭代最小化，得到；
其中θ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取t和t+1均代表帧数；同理，对dt也采用如上处理方式；
3-5)对于余下的未知数bx，则直接采用代入法迭代求解：
3-6)使用Split Bregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。
Claims (3)
1.一种基于各向异性时空域全变分非均匀性校正的方法，其特征在于，包括以下步骤：
步骤1、采集含非均匀性噪声的红外图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，其中f(i，j，t)表示实际观察到的图像，u(i，j，t)表示理想的无噪图像，n(i，j，t)表示由红外探测器成像单元的暗电流和响应率不同引起的固定条纹噪声，(i，j)表示图像像素点的位置，t表示视频序列的第t帧图像；
步骤2、采用全变分模型对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型J(u)，并对图像的全变分模型J(u)进行更新：
其中f为f(i，j，t)的通用表示，u为u(i，j，t)的通用表示，H(u)为正则项；J(u)为图像能量泛函；为保真项；λ为平滑系数；Ω表示单帧图像像素点构成的空间；
又对正则项H(u)取H(u)＝λ1||ux||1+λ2||ut||1 (2)
ux为图像时空域上对于像素点的x轴的一阶差分，ut为图像时空域上对于像素点的帧间的一阶差分；λ1为图像时空域上对于像素点的x轴的一阶差分的平滑系数，λ2为时空域上对于像素点的帧间的一阶差分的平滑系数；其具体的表达式如下：
ux(i，j，t)＝u(i+1，j，t)-u(i，j，t) (3)
ut(i，j，t)＝u(i，j，t)-u(i，j，t+1) (4)
将式(2)～(4)代入式(1)，更新图像的全变分模型J(u)：
步骤3：通过Split Bregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal。
2.根据权利要求1所述的基于各向异性时空域全变分非均匀性校正的方法，其特征在于：上述步骤2中，采用全变分模型对上述含非均匀性噪声的红外图像序列f(i，j，t)建立图像的全变分模型，并对全变分模型进行更新，具体的步骤为：
步骤2-1)输入视频图像序列f(i，j，t)＝u(i，j，t)+n(i，j，t)，读取相邻两帧图像ft1(M，N，t1)和ft2(M，N，t2)，其中M为图像的总行数，N为图像的总列数，t1和t2均代表帧数；
步骤2-2)对于第t1帧的图像，对于像素点(i，j)建立图像噪声模型ft1(i，j，t1)＝u(i，j，t1)+n(i，j，t1)，其时空域x轴方向和帧间方向上t的一阶差分表示如下：
对于x轴方向，当j＜M时，取ux(i，j，t1)＝u(i，j+1，t1)-u(i，j，t1)；
对帧间方向：ut(i，j，t)＝u(i，j，t2)-u(i，j，t1)；
对于图像边界处j＝M，取ux(i，M，t1)＝0；ux(i，M，t2)＝0；
步骤2-3)将式(2)～(4)代入式(1)，得到全变分模型J(u)离散化表示：
设置帧间阈值T，判断f(i，j，t2)-f(i，j，t1)是否大于T：
当f(i，j，t2)-f(i，j，t1)≤T，保留式(5)中的ut(i，j，t1)项；
当f(i，j，t2)-f(i，j，t1)＞T，删除式(5)中的ut(i，j，t)项，此时J(u)退化为一个仅对图像空间域竖直方向进行校正的单帧模型：
3.根据权利要求1所述的基于各向异性时空域全变分非均匀性校正的方法，其特征在于，上述步骤3中，通过Split Bregman方法，对式(5)进行迭代求最小化，获得最终的无噪图像ufinal，具体的步骤为：
3-1)加入二次惩罚项，通过拉格朗日乘子法，将式(5)中转化为一个无约束最小化问题，得到式(7)；
其中dx是图像水平方向的二次惩罚项，dt是时间方向的二次惩罚项，bx是引入图像水平方向的辅助变量，bt是引入的时间方向的辅助变量，α和β是方程的Bregman惩罚系数；(u-f)y是无噪图像与实际观察到图像相减后垂直方向的辅助变量；
3-2)将式(7)中u，dx，dy这三个未知变量进行分离，得到两个最优化子问题；
对于变量u，分离后最优化子方程如下：
其中by是引入图像垂直方向的辅助变量，k是迭代优化的次数；
对于变量dx和dt，分离后最优化子方程组如下：
3-3)式(8)等价于一个基于线性算子的迭代过程，即式(10)：
其中k+1是迭代优化的次数，uy是无噪声图像垂直方向的辅助变量，fy是实际观察到图像垂直方向的辅助变量；
通过快速傅里叶变换，得到u的封闭解如下：
其中F是快速傅里叶变换，F-1为傅里叶逆变换；
3-4)采用shrink算子对式(9)的迭代最小化，得到；
其中θ为收缩系数，取0.05，收缩算子shrink，对于dx，当取当取t和t+1均代表帧数；同理，对dt也采用如上处理方式；
3-5)对于余下的未知数bx和by，采用代入法迭代求解：
其中(u-f)t是无噪图像与实际观察到图像相减后时间方向的辅助变量；
3-6)使用Split Bregman进行最优化时，采用改变一个变量并固定其他变量的策略交替迭代，当迭代到第n次时，满足un+1-un＜10-3，此时迭代停止，得到的变量u即为最终的无噪图像ufinal。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510835818.XA CN106803235B (zh) | 2015-11-26 | 2015-11-26 | 基于各向异性时空域全变分非均匀性校正的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510835818.XA CN106803235B (zh) | 2015-11-26 | 2015-11-26 | 基于各向异性时空域全变分非均匀性校正的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106803235A CN106803235A (zh) | 2017-06-06 |
| CN106803235B true CN106803235B (zh) | 2019-08-09 |
Family
ID=58976983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510835818.XA Expired - Fee Related CN106803235B (zh) | 2015-11-26 | 2015-11-26 | 基于各向异性时空域全变分非均匀性校正的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106803235B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107369139B (zh) * | 2017-06-27 | 2020-08-14 | 五邑大学 | 一种基于混合数据拟合与加权全变差的噪声图像去模糊方法 |
| CN108665422B (zh) * | 2017-08-30 | 2022-05-10 | 西安电子科技大学 | 傅里叶域内逆向感知的单帧红外非均匀性检测方法 |
| CN108921796B (zh) * | 2018-06-07 | 2021-09-03 | 西安电子科技大学 | 一种基于深度学习的红外图像非均匀性校正方法 |
| CN109285125B (zh) * | 2018-07-24 | 2022-04-05 | 北京交通大学 | 各向异性多方向全变差图像去噪方法和装置 |
| CN110553739B (zh) * | 2018-12-19 | 2021-03-12 | 中科和光（天津）应用激光技术研究所有限公司 | 一种红外热成像的无挡片非均匀性校正方法 |
| CN110428466B (zh) * | 2019-07-16 | 2022-02-18 | 浙江大华技术股份有限公司 | 一种非均匀性校正的方法和设备 |
| CN111784599B (zh) * | 2020-06-24 | 2022-04-29 | 西北工业大学 | 一种消除红外图像条纹噪声的方法 |
| CN117830141B (zh) * | 2024-03-04 | 2024-05-03 | 奥谱天成(成都)信息科技有限公司 | 红外图像竖条纹噪声去除方法、介质、设备及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102778296A (zh) * | 2012-08-03 | 2012-11-14 | 南京理工大学 | 基于总变分的自适应红外焦平面非均匀性校正方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8971605B2 (en) * | 2012-08-23 | 2015-03-03 | General Electric Company | System and method for correcting for metal artifacts using multi-energy computed tomography |
-
2015
- 2015-11-26 CN CN201510835818.XA patent/CN106803235B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102778296A (zh) * | 2012-08-03 | 2012-11-14 | 南京理工大学 | 基于总变分的自适应红外焦平面非均匀性校正方法 |
Non-Patent Citations (2)
| Title |
|---|
| Nonlinear total variation based noise removal algorithms;Leonid I.Rudin et al;《Physica D: Nonlinear Phenomena》;19921130;第60卷(第1-4期);259-268 * |
| 数字全变分滤波在红外图像序列非均匀校正中的应用;刘永进 等;《红外与激光工程》;20120831;第41卷(第8期);2216-2221 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106803235A (zh) | 2017-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106803235B (zh) | 基于各向异性时空域全变分非均匀性校正的方法 | |
| Lee et al. | Ghost-free high dynamic range imaging via rank minimization | |
| KR102225410B1 (ko) | 비디오 안정화를 위한 캐스케이드 카메라 모션 추정, 롤링 셔터 검출 및 카메라 흔들림 검출 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| WO2020224518A1 (zh) | 基于局部中值直方图的自适应红外图像去条纹算法 | |
| JP4585456B2 (ja) | ボケ変換装置 | |
| JP5436566B2 (ja) | 画像を編集する方法及び装置 | |
| CN108230249B (zh) | 基于各向异性的l1范数全变分正则化非均匀性校正方法 | |
| CN104751432A (zh) | 一种基于图像重构的可见光与红外图像融合方法 | |
| CN102722875A (zh) | 一种基于视觉注意和质量可变的图像超分辨率重建方法 | |
| WO2019085433A1 (zh) | 一种基于全变分的图像复原方法及系统 | |
| CN107220955A (zh) | 一种基于重叠区域特征点对的图像亮度均衡方法 | |
| CN102521797A (zh) | 扫描型红外成像系统的场景非均匀校正方法 | |
| CN112767290A (zh) | 图像融合方法、图像融合装置、存储介质与终端设备 | |
| CN109934790A (zh) | 带有自适应阈值的红外成像系统非均匀性校正方法 | |
| CN109813442A (zh) | 一种基于多帧处理的内部杂散辐射非均匀性校正方法 | |
| CN104200441A (zh) | 基于高阶奇异值分解的磁共振图像去噪方法 | |
| Akamine et al. | Video quality assessment using visual attention computational models | |
| Li et al. | Space–time super-resolution with patch group cuts prior | |
| Tu et al. | Adaptive guided image filter for warping in variational optical flow computation | |
| Halder et al. | A fast restoration method for atmospheric turbulence degraded images using non-rigid image registration | |
| Wang et al. | Dehazing for single image with sky region via self-adaptive weighted least squares model | |
| CN109636740B (zh) | 一种红外图像多尺度智能化非均匀性校正方法 | |
| US11669939B1 (en) | Burst deblurring with kernel estimation networks | |
| Tezaur et al. | A system for estimating optics blur psfs from test chart images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190809 Termination date: 20211126 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |