CN116205825B - 一种基于时空三维滤波的红外视频非均匀性校正方法 - Google Patents

一种基于时空三维滤波的红外视频非均匀性校正方法 Download PDF

Info

Publication number
CN116205825B
CN116205825B CN202310499193.9A CN202310499193A CN116205825B CN 116205825 B CN116205825 B CN 116205825B CN 202310499193 A CN202310499193 A CN 202310499193A CN 116205825 B CN116205825 B CN 116205825B
Authority
CN
China
Prior art keywords
image
infrared
uniformity
frame
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310499193.9A
Other languages
English (en)
Other versions
CN116205825A (zh
Inventor
黄华
邱津怡
宋凌飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202310499193.9A priority Critical patent/CN116205825B/zh
Publication of CN116205825A publication Critical patent/CN116205825A/zh
Application granted granted Critical
Publication of CN116205825B publication Critical patent/CN116205825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开的一种基于时空三维滤波的红外视频非均匀性校正方法，属于红外视频处理领域。本发明实现方法为：从红外视频序列获取相邻的两帧红外图像，；初始化校正系数；根据空间更新规则更新得到红外图像非均匀性；计算第帧红外图像的局部均值；将第帧红外图像减去其局部均值得到残差图像；根据时间更新规则更新，得到红外图像非均匀性；根据最小化均方误差的准则自适应融合得到，通过自适应地融合空间滤波的结果和时序滤波的结果，实现基于时空三维滤波的红外视频非均匀性校正。本发明能够在各种场景下均能有效去除红外图像中的非均匀性，显著提升红外视频图像质量。

Description

一种基于时空三维滤波的红外视频非均匀性校正方法
技术领域
本发明涉及一种基于时空三维滤波的红外视频非均匀性校正方法，属于红外视频处理领域。
背景技术
红外成像是一种新型的成像技术。不同于传统可见光成像，红外成像可以直接探测物体的辐射功率，从而在一些特殊的领域，比如夜视、测温、军事观瞄等，具有传统成像无可比拟的优势。目前已在军事、航天、工业、医疗、安防等诸多领域广泛应用。
受成像原理和加工工艺限制，红外探测器存在较为严重的非均匀性问题。具体表现为，当探测器阵列接收相同强度的辐射时，每个像元输出的信号值存在差异。同时，像元的响应与环境温度紧密相关。当环境温度发生变化时，每个像元的响应特性也会发生相应的变化，从而导致非均匀性也会发生变化。总之，非均匀性的存在使得最终的成像叠加了一层“噪声”，对于每一个给定的探测器来说，这种特殊的“噪声”只受环境温度影响：环境温度稳定时，非均匀性保持不变；环境温度变化时，非均匀性也发生变化。
目前的非均匀性校正方法大致可分为两大类：一类是基于标定的校正方法，另一类是基于场景的校正方法。基于标定的校正方法采用打快门的方式进行校正。在相机工作过程中，每隔一段时间或者环境温度发生变化时，相机快门自动放下，对每个像元的响应进行校正，使其输出达到均匀（详见Schulz M, Caldwell L. Nonuniformity correctionand correctability of infrared focal plane arrays[J]. Infrared Physics&Technology, 1995, 36(4): 763-777）。这一类校正方法的缺点显而易见，一是打快门会中断相机正常工作；二是快门为机械结构，,增加了成本，降低了可靠性。基于场景的校正方法不需要快门结构，理论上可以在不中断相机正常工作的情况下完成非均匀性校正，目前正受到越来越多关注。
基于场景的非均匀性校正方法可以分为两大类，一类是基于时序高通滤波的方法，另一类是基于帧间配准的方法。基于时序高通滤波的方法具有计算量小、易于实现、适用范围广的优点，但是在非均匀性噪声强度较大时校正效果不佳；基于帧间配准的方法在简单运动场景下可以达到较好的非均匀性校正效果，但是当图像存在复杂运动（如旋转）时，则难以进行帧间配准，最终导致校正效果不佳，甚至会出现“鬼影”。因此，如何在各种场景下实现有效的红外视频非均匀性校正是本领域技术人员亟待解决的技术问题。
发明内容
为了解决上述技术问题，现有的基于帧间配准方法相当于是在空间维度上进行滤波，而基于时序高通滤波算法相当于是在时间维度上进行滤波，本发明主要目的在于提供一种基于时空三维滤波的红外视频非均匀性校正方法，通过融合帧间配准方法和时序高通滤波算法，实现基于时空三维滤波的红外视频非均匀性校正，提升红外图像质量。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于时空三维滤波的红外视频非均匀性校正方法，包括如下步骤：
步骤1：从红外视频序列获取相邻的两帧红外图像。
步骤1中所述红外图像 均为/>的矩阵，其中/>代表图像高度，/>代表图像宽度。
步骤2：初始化校正系数，/> 。
步骤2中所述，/>均为/>的矩阵，矩阵中每一个元素初始化为零。
步骤3：根据如公式（1）所述空间更新规则更新，得到步骤1获取的红外图像非均匀性。
（1）
式中：为预设参数，/>表示第/>帧图像相对于第/>帧图像在坐标轴/>方向上的偏移量，表示第/>帧图像相对于第/>帧图像在坐标轴/>方向的偏移量。
步骤4：计算第帧红外图像的局部均值/> 。
步骤4中所述 为/>的矩阵，/> 中的第/>行、第/>列元素对应/>中第/>行、第/>列元素同其周围元素的平均值，具体计算公式为
（2）
式中代表像素/>的邻域坐标；
步骤5：根据公式（2）将第帧红外图像减去其局部均值得到残差图像 />。所述为/>的矩阵。
（3）
步骤6：根据如公式（3）所述时间更新规则更新，得到步骤1获取的红外图像非均匀性。
（4）
式中为预设参数。
步骤7：根据如公式（4）所示最小化均方误差的准则自适应融合得到/>。所述/>为/>的矩阵。
(5)
其中为非均匀性噪声的方差，/>为空间滤波器（公式（1））估计的方差，/>为时序滤波器（公式（3））估计的方差。
步骤8：根据公式（5），从第帧红外图像中减去估计得到的非均匀性得到校正后的图像，即基于时空三维滤波实现红外视频非均匀性校正。
（6）
有益效果
基于帧间配准方法相当于是在空间维度上进行滤波，而基于时序高通滤波算法相当于是在时间维度上进行滤波，本发明公开的一种基于时空三维滤波的红外视频非均匀性校正方法，根据最小化均方误差准则，通过自适应地融合空间滤波的结果和时序滤波的结果，实现基于时空三维滤波的红外视频非均匀性校正，能够在各种场景下均能有效去除红外图像中的非均匀性，显著提升图像质量。
附图说明
图1是本发明公开的一种基于时空三维滤波的红外视频非均匀性校正方法的流程图。
图2 是本发明方法恢复效果展示。
其中图2（a）是校正前的图像，图2（b）是使用本发明方法校正后的图像。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例公开的一种基于时空三维滤波的红外视频非均匀性校正方法，应用于红外图像降噪领域。测试硬件条件为：Inter i7 6700，8G RAM，Matlab 2016。
如图1所示，本实施例公开的一种基于时空三维滤波的红外视频非均匀性校正方法，具体实现步骤如下：
步骤1：从红外视频序列获取相邻的两帧红外图像。
本实施例中所述红外图像均为640×512的矩阵，位深14bit。
步骤2：初始化校正系数，/> 。
本实施例中所述系数，/>均为640×512的矩阵，矩阵中每一个元素初始化为零。
步骤3：更新。
本实施例中所述更新规则为
（7）
式中预设为0.1，/>表示第/>帧图像相对于第/>帧图像在坐标轴/>方向上的偏移量，/>表示第/>帧图像相对于第/>帧图像在坐标轴/>方向的偏移量。进一步，在本实施例中，/>的计算方式为
（8）
式中代表第/>帧图像所有元素亮度的均值，/>代表第/>帧图像的均值。
步骤4：计算第帧红外图像的局部均值/> 。
步骤4中所述为/>的矩阵，/> 中的第/>行、第/>列元素对应/>中第/>行、第列元素同其周围元素的平均值。
步骤5：将第帧红外图像减去其局部均值得到残差图像 />。
步骤5中所述为/>的矩阵，其具体计算方式为
（ 9）
步骤6：更新。
步骤6中所述更新规则为
（10）
式中为预设的参数。
步骤7：自适应融合得到/>。
步骤7中所述为/>的矩阵，其计算方式为
(11)
其中为非均匀性噪声的方差，/>为空间滤波器（公式（1））估计的方差，/>为时序滤波器（公式（3））估计的方差。进一步，在本实施例中，/>的计算方式为
（12）
式中代表取中位数操作；/>的计算方式为
（13）
式中代表取中位数操作；/>的计算方式为
（14）
步骤8：从第帧红外图像中减去估计得到的非均匀性得到校正后的图像/>。
步骤8中所述计算过程为
（15）
对比图2（a）、图2（b）表明，本实施例根据最小化均方误差准则，通过自适应地融合空间滤波的结果和时序滤波的结果，实现基于时空三维滤波的红外视频非均匀性校正，能够在各种场景下均能有效去除红外图像中的非均匀性，显著提升图像质量。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于时空三维滤波的红外视频非均匀性校正方法，其特征在于：包括如下步骤，
步骤1：从红外视频序列获取相邻的两帧红外图像，/>；
步骤1中所述红外图像，/>均为/>的矩阵，其中/>代表图像高度，/>代表图像宽度；
步骤2：初始化校正系数，/>；
步骤2中所述，/>均为/>的矩阵，矩阵中每一个元素初始化为零；
步骤3：根据如公式（1）空间更新规则更新，得到步骤1获取的红外图像的非均匀性；
（1）
式中：为预设参数，/>表示第/>帧图像相对于第/>帧图像在坐标轴/>方向上的偏移量，/>表示第/>帧图像相对于第/>帧图像在坐标轴/>方向的偏移量；
步骤4：计算第帧红外图像的局部均值 />；
步骤4中所述为/>的矩阵，/>中的第/>行、第/>列元素对应/>中第/>行、第/>列元素同其周围元素的平均值，具体计算公式为
（2）
式中代表像素/>的邻域坐标；
步骤5：根据公式（2）将第帧红外图像减去其局部均值得到残差图像 />；所述 />为的矩阵；
（3）
步骤6：根据如公式（3）时间更新规则更新，得到步骤1获取的红外图像的非均匀性；
（4）
式中为预设参数；
步骤7：根据如公式（4）所示最小化均方误差的准则自适应融合得到/>；所述/>为的矩阵；
（5）
其中为非均匀性噪声的方差，/>为空间滤波器估计的方差，/>为时序滤波器估计的方差；
步骤8：根据公式（5），从第帧红外图像中减去估计得到的非均匀性得到校正后的图像，即基于时空三维滤波实现红外视频非均匀性校正；
（6）。
CN202310499193.9A 2023-05-06 2023-05-06 一种基于时空三维滤波的红外视频非均匀性校正方法 Active CN116205825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310499193.9A CN116205825B (zh) 2023-05-06 2023-05-06 一种基于时空三维滤波的红外视频非均匀性校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310499193.9A CN116205825B (zh) 2023-05-06 2023-05-06 一种基于时空三维滤波的红外视频非均匀性校正方法

Publications (2)

Publication Number Publication Date
CN116205825A CN116205825A (zh) 2023-06-02
CN116205825B true CN116205825B (zh) 2023-07-21

Family

ID=86517700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310499193.9A Active CN116205825B (zh) 2023-05-06 2023-05-06 一种基于时空三维滤波的红外视频非均匀性校正方法

Country Status (1)

Country Link
CN (1) CN116205825B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7832928B2 (en) * 2008-07-24 2010-11-16 Carestream Health, Inc. Dark correction for digital X-ray detector
US8625005B2 (en) * 2010-11-05 2014-01-07 Raytheon Company First-in-first-out (FIFO) buffered median scene non-uniformity correction method
CN103335716B (zh) * 2013-06-21 2016-06-08 中国科学院西安光学精密机械研究所 基于变积分时间的面阵红外相机定标与非均匀性校正方法
CN104599261A (zh) * 2014-11-19 2015-05-06 北京泰和云信科技有限公司 短波红外焦平面的均值直方图神经网络非均匀性校正算法
US11195254B2 (en) * 2018-03-28 2021-12-07 Xidian University Interframe registration and adaptive step size-based non-uniformity correction method for infrared image
CN109636747A (zh) * 2018-12-04 2019-04-16 上海理工大学 应用于单幅红外图像非均匀校正的深度高频网络校正算法
CN109741267B (zh) * 2018-12-05 2023-04-25 西安电子科技大学 基于三边滤波和神经网络的红外图像非均匀性校正方法
CN115002360A (zh) * 2022-05-06 2022-09-02 北京师范大学 一种基于稳健估计的红外视频非均匀性校正方法

Also Published As

Publication number Publication date
CN116205825A (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US8350922B2 (en) Method to compensate the effect of the rolling shutter effect
WO2017202061A1 (zh) 一种图像透雾方法及实现图像透雾的图像采集设备
US20150310594A1 (en) Method for imaging processing, and image processing device
Zeng et al. Adaptive image-registration-based nonuniformity correction algorithm with ghost artifacts eliminating for infrared focal plane arrays
WO2010101786A1 (en) Systems and methods for processing infrared images
CN109813442B (zh) 一种基于多帧处理的内部杂散辐射非均匀性校正方法
JP6991992B2 (ja) 画像をキャプチャーする方法及びシステム
EP3476116A1 (en) Continuous motion scene based non-uniformity correction
US7113210B2 (en) Incorporating pixel replacement for negative values arising in dark frame subtraction
CN112104847B (zh) 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法
CN115170619B (zh) 一种基于密集光流法的云遮挡预测方法
CN116205825B (zh) 一种基于时空三维滤波的红外视频非均匀性校正方法
CN113516607A (zh) 图像处理方法、图像处理装置、电子设备及存储介质
EP3785220A1 (en) A method for confident registration-based non-uniformity correction using spatio-temporal update mask
Li et al. Interior radiation noise reduction method based on multiframe processing in infrared focal plane arrays imaging system
CN113727042B (zh) 图像处理系统及方法
CN110363714B (zh) 自适应学习速率的基于场景帧间配准的非均匀性校正方法
CN111932478A (zh) 一种非制冷红外焦平面的自适应非均匀校正方法
CN115002360A (zh) 一种基于稳健估计的红外视频非均匀性校正方法
Ren et al. Efficient single image stripe nonuniformity correction method for infrared focal plane arrays
CN112399164A (zh) 一种低照度条件下含有近红外彩色图像颜色复原方法
CN111289848B (zh) 一种应用在基于安全生产的智能型热局放仪的复合数据滤波方法
CN111175618B (zh) 一种适用于同时处理红外和局放数据的局部相关性滤波方法
JP5001717B2 (ja) 輪郭強調装置
Wanmali et al. Survey on some scene based nonuniformity correction algorithms for infrared images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant