CN112907476B - 时域与空域相结合的红外图像实时帧间降噪方法及装置 - Google Patents

时域与空域相结合的红外图像实时帧间降噪方法及装置 Download PDF

Info

Publication number
CN112907476B
CN112907476B CN202110231092.4A CN202110231092A CN112907476B CN 112907476 B CN112907476 B CN 112907476B CN 202110231092 A CN202110231092 A CN 202110231092A CN 112907476 B CN112907476 B CN 112907476B
Authority
CN
China
Prior art keywords
infrared image
image data
noise
static
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110231092.4A
Other languages
English (en)
Other versions
CN112907476A (zh
Inventor
魏兆超
丁赫
赖东林
范光强
吴金中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongdian Ceiv Co ltd
Third Research Institute Of China Electronics Technology Group Corp
Original Assignee
Beijing Zhongdian Ceiv Co ltd
Third Research Institute Of China Electronics Technology Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongdian Ceiv Co ltd, Third Research Institute Of China Electronics Technology Group Corp filed Critical Beijing Zhongdian Ceiv Co ltd
Priority to CN202110231092.4A priority Critical patent/CN112907476B/zh
Publication of CN112907476A publication Critical patent/CN112907476A/zh
Application granted granted Critical
Publication of CN112907476B publication Critical patent/CN112907476B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

本发明涉及一种时域与空域相结合的红外图像实时帧间降噪方法及装置，包括步骤：接收原始红外图像数据，并进行预处理；对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点；利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声；基于获得的红外图像数据，初始化静态图像模板；利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理。本发明能够对红外图像进行实时处理，有效解决红外图像边缘不清晰和拖影问题。

Description

时域与空域相结合的红外图像实时帧间降噪方法及装置
技术领域
本发明涉及一种时域与空域相结合的红外图像实时帧间降噪方法及装置。
背景技术
红外热像仪成像过程中由于其成像组件极易受到外界辐射能量干扰、内部热传导噪声大、灵敏度低等特性，获取的图像数据大多呈现非线性、无律规的抖动且图像噪声点明显。视频是二维图像在一维时间轴上构成的图像序列，降噪的目的在于提升图像的直观视觉效果，引入噪声的图像会影响人的视觉观感，尤其对有目标识别需求的应用影响较大。传统的帧间降噪方法有时间域降噪方法与空间域降噪方法，两种方法都可以一定程度的降低噪声。空间域降噪方法只考虑了像素空间上的相关性，虽然平滑效果好，但是会将清晰地边缘变得模糊。时间域降噪方法如现在较流行的3D降噪算法，nlmeans算法等均采用多帧图像数据计算方式进行降噪但其运算量大，无实时性且图像拖影明显。
发明内容
本发明的发明目的在于提供时域与空域相结合的红外图像实时帧间降噪方法及装置，能够对红外图像进行实时处理，有效解决红外图像边缘不清晰和拖影问题。
基于同一发明构思，本发明具有两个独立的技术方案：
1、一种时域与空域相结合的红外图像实时帧间降噪方法，其特征在于，包括如下步骤：
步骤1：接收原始红外图像数据，并进行预处理；
步骤2：对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据；
步骤3：利用保留边缘数据的空间域滤波方法，对所述第一降噪红外图像数据进行处理，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据；
步骤4：基于步骤3获得的所述第二降噪红外图像数据，初始化静态图像模板；
步骤5：利用连续多帧原始红外图像数据，标记原始红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；
步骤6：利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理。
进一步地，步骤1中，通过如下方法对原始红外图像数据进行预处理：
步骤1.1:处理并替换明显的红外图像坏点；
步骤1.2:红外图像进行初步去噪，消除明显噪声；
步骤1.3对红外图像进行拉伸处理。
进一步地，步骤2中，根据红外图像边缘噪声点信息与其邻域的信息不连续性，去除红外图像边缘孤立的噪声点。
进一步地，步骤3中，通过如下方法实现抑制红外图像空间域上的噪声，
式中，G(x,y)是一个与灰度级相关的复合函数，表示红外图像边缘数据；Gr表示红外图像中每个像素值的权值；IP表示红外图像像素点P对应的像素值；BF表示滤波输出结果；
Wq为每个像素值的权重和，用于权重的归一化：
进一步地，步骤5中，利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点，通过如下方法实现，
如下式所示，将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
进一步地，步骤6中，利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理，对红外图像数据的静态像素点和动态像素点进行标记。
2、一种时域与空域相结合的红外图像实时帧间降噪装置，包括：
红外图像接收单元，用于接收原始红外图像数据；
静态图像模板初始化单元，用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板；
静态图像模板更新单元，用于利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；
红外图像处理单元，用于利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理；
显示单元，用于显示经红外图像处理单元处理后的红外图像。
进一步地，所述静态图像模板初始化单元包括：
红外图像预处理单元，用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据
红外图像抑制噪声单元，用于对经红外图像预处理单元处理后的红外图像，利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据。
进一步地，所述静态图像模板更新单元执行以下操作标记红外图像数据的动态像素点和静态像素点，
将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
本发明具有的有益效果：
本发明利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声；利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理。本发明采用时域与空域相结合的实时降噪方法，空间域降噪采用保留边缘数据的滤波方法，从而保证最终获得的红外图像边缘清晰，时间域降噪利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点，通过更新后的静态图像模板，对当前帧原始红外图像数据进行处理，有效解决动态图像易出现的拖影问题。本发明计算简单，运算速度快，实时性强，能够完整保持图像细节、减少像素点非线性抖动、及时有效的处理突变像素点。本发明利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点时，将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’，通过红外图像叠加，有效抑制了噪声，增强了有用信息，并且计算简单、运算速度快，进一步保证红外图像降噪效果。
附图说明
图1是本发明时域与空域相结合的红外图像实时帧间降噪方法流程图。
具体实施方式
下面结合附图所示的实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例一：
时域与空域相结合的红外图像实时帧间降噪方法
如图1所示，时域与空域相结合的红外图像实时帧间降噪方法，包括如下步骤：
步骤1：接收原始红外图像数据，并进行预处理。
通过如下方法对原始红外图像数据进行预处理：
步骤1.1:处理并替换明显的红外图像坏点；
步骤1.2:红外图像进行初步去噪，消除明显噪声；
步骤1.3对红外图像进行拉伸处理。
步骤2：对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据。
根据红外图像边缘噪声点信息与其邻域的信息不连续性，去除红外图像边缘孤立的噪声点。
步骤3：利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据。
使用保留边缘数据的空间域滤波方法，在保留边缘的前提下，抑制住空间域上的噪声。其中G(x,y)是一个灰度级相关的复合函数，将边缘数据图像G(x,y)与红外图像f(x,y)进行卷积，可以得到一个保留边缘数据后的平滑的图像，即
G(x,y)＝f(x,y)*G(x,y)
低频区域，每个像素点的值都相近，空间关系主导滤波效果。边缘区域，边缘点的像素值接近，相近的像素值将对滤波结果产生较大影响，充分的保护边缘信息，表现出了较好的保留边缘特性。低频分布区域出现孤立噪声点时，噪声点周围的信号的权值都很小，在进行归一化后，这些权值得到了提升，因此对噪声点有较好的滤除效果。
通过如下方法实现抑制红外图像空间域上的噪声，
式中，G(x,y)是一个与灰度级相关的复合函数，表示红外图像边缘数据；Gr表示红外图像中每个像素值的权值；IP表示红外图像像素点P对应的像素值；BF表示滤波输出结果；
Wq为每个像素值的权重和，用于权重的归一化：
步骤4：基于步骤3获得的第二降噪红外图像数据，初始化静态图像模板。
步骤5：利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板。
利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点，通过如下方法实现，
如下式所示，将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
单帧有噪声图像的信噪比为
P(x,y)＝f2(x,y)/E{n2(x,y)}
帧间平均后的信噪比为
式中已经考虑到噪声互不相关，均值为零的特性，式中表明，帧间平均使得信噪比提高M倍。帧数越多，图像处理的效果越好，但真实情况下，图像并不是完全静止的，图像位置充满了不确定性，帧间数据直接平均会导致严重的拖影问题，因此，根据上述情况设定合理的阈值M。本发明采用帧间数据无限逼近无噪声的数据得到静态模板。通过静态模板图像数据来推断真实的无噪声数据。
步骤6：利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理。
利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理，对红外图像数据的静态像素点和动态像素点进行标记。
所述的当前帧原始图像数据通过不断与静态模板进行对比，判断动态数据与静态数据，标记并进行更新，可以在降低噪声的同时，有效地抑制拖影的产生。
实施例二：
时域与空域相结合的红外图像实时帧间降噪装置
包括：
红外图像接收单元，用于接收原始红外图像数据；
静态图像模板初始化单元，用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板；
静态图像模板更新单元，用于利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；
红外图像处理单元，用于利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理；
显示单元，用于显示经红外图像处理单元处理后的红外图像。
所述静态图像模板初始化单元包括：
红外图像预处理单元，用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据
红外图像抑制噪声单元，用于对经红外图像预处理单元处理后的红外图像，利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据。
所述静态图像模板更新单元执行以下操作标记红外图像数据的动态像素点和静态像素点，
将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
实施例二执行的红外图像实时帧间降噪方法同实施例一显示单元。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (8)

1.一种时域与空域相结合的红外图像实时帧间降噪方法，其特征在于，包括如下步骤：
步骤1：接收原始红外图像数据，并进行预处理；
步骤2：对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据；
步骤3：利用保留边缘数据的空间域滤波方法，对所述第一降噪红外图像数据进行处理，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据；
步骤4：基于步骤3获得的所述第二降噪红外图像数据，初始化静态图像模板；
步骤5：利用连续多帧原始红外图像数据，标记原始红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；
步骤6：利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理；
步骤3中，通过如下方法实现抑制红外图像空间域上的噪声，
式中，G(x,y)是一个与灰度级相关的复合函数，表示红外图像边缘数据；Gr表示红外图像中每个像素值的权值；IP表示红外图像像素点P对应的像素值；BF表示滤波输出结果；
Wq为每个像素值的权重和，用于权重的归一化：
2.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法，其特征在于，步骤1中，通过如下方法对原始红外图像数据进行预处理：
步骤1.1:处理并替换明显的红外图像坏点；
步骤1.2:红外图像进行初步去噪，消除明显噪声；
步骤1.3对红外图像进行拉伸处理。
3.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法，其特征在于：步骤2中，根据红外图像边缘噪声点信息与其邻域的信息不连续性，去除红外图像边缘孤立的噪声点。
4.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法，其特征在于，步骤5中，利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点，通过如下方法实现，
如下式所示，将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
5.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法，其特征在于，步骤6中，利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理，对红外图像数据的静态像素点和动态像素点进行标记。
6.一种时域与空域相结合的红外图像实时帧间降噪装置，其特征在于，包括：
红外图像接收单元，用于接收原始红外图像数据；
静态图像模板初始化单元，用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板；
静态图像模板更新单元，用于利用连续多帧原始红外图像数据，标记红外图像数据的动态像素点和静态像素点；根据标记的动态像素点和静态像素点更新所述的静态图像模板；
红外图像处理单元，用于利用更新后的静态图像模板，对当前帧原始红外图像数据进行处理；
显示单元，用于显示经红外图像处理单元处理后的红外图像；
通过如下方法实现抑制红外图像空间域上的噪声，
式中，G(x,y)是一个与灰度级相关的复合函数，表示红外图像边缘数据；Gr表示红外图像中每个像素值的权值；IP表示红外图像像素点P对应的像素值；BF表示滤波输出结果；
Wq为每个像素值的权重和，用于权重的归一化：
7.根据权利要求6所述的时域与空域相结合的红外图像实时帧间降噪装置，其特征在于，所述静态图像模板初始化单元包括：
红外图像预处理单元，用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点，得到第一降噪红外图像数据
红外图像抑制噪声单元，用于对经红外图像预处理单元处理后的红外图像，利用保留边缘数据的空间域滤波方法，抑制红外图像空间域上的噪声，得到第二降噪红外图像数据。
8.根据权利要求6所述的时域与空域相结合的红外图像实时帧间降噪装置，其特征在于：所述静态图像模板更新单元执行以下操作标记红外图像数据的动态像素点和静态像素点，
将M帧原始红外图像数据进行叠加后，除以m,m>M，得到平均图像g(x,y)’：
ni(x,y)是随机噪声，fi(x,y)是真实信息。
CN202110231092.4A 2021-03-02 2021-03-02 时域与空域相结合的红外图像实时帧间降噪方法及装置 Active CN112907476B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110231092.4A CN112907476B (zh) 2021-03-02 2021-03-02 时域与空域相结合的红外图像实时帧间降噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110231092.4A CN112907476B (zh) 2021-03-02 2021-03-02 时域与空域相结合的红外图像实时帧间降噪方法及装置

Publications (2)

Publication Number Publication Date
CN112907476A CN112907476A (zh) 2021-06-04
CN112907476B true CN112907476B (zh) 2023-10-20

Family

ID=76107416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110231092.4A Active CN112907476B (zh) 2021-03-02 2021-03-02 时域与空域相结合的红外图像实时帧间降噪方法及装置

Country Status (1)

Country Link
CN (1) CN112907476B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100035909A (ko) * 2008-09-29 2010-04-07 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
WO2017101489A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 图像滤波方法及装置
CN110599431A (zh) * 2019-08-27 2019-12-20 武汉华中数控股份有限公司 应用于红外摄像头的时域滤波方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027604A (ja) * 2007-07-23 2009-02-05 Elmo Co Ltd ノイズ低減装置およびノイズ低減方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100035909A (ko) * 2008-09-29 2010-04-07 엘지전자 주식회사 움직임 적응적 잡음 제거 방법 및 그 장치
WO2017101489A1 (zh) * 2015-12-14 2017-06-22 乐视控股（北京）有限公司 图像滤波方法及装置
CN110599431A (zh) * 2019-08-27 2019-12-20 武汉华中数控股份有限公司 应用于红外摄像头的时域滤波方法

Also Published As

Publication number Publication date
CN112907476A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
CN108564597B (zh) 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法
CN105844601A (zh) 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法
CN109003233B (zh) 一种基于自适应权重全变分模型的图像去噪方法
Yan et al. Method to Enhance Degraded Image in Dust Environment.
Weizheng et al. Digital image denoising method based on mean filter
Kumari et al. Fast single image and video deweathering using look-up-table approach
Mu et al. Low and non-uniform illumination color image enhancement using weighted guided image filtering
CN102903077A (zh) 一种快速图像去模糊算法
CN103971345A (zh) 一种基于改进双边滤波的图像去噪方法
Wang et al. An improved image blind deblurring based on dark channel prior
CN113592750A (zh) 一种基于梯度直方图的红外增强方法
CN112907476B (zh) 时域与空域相结合的红外图像实时帧间降噪方法及装置
CN112750090A (zh) 一种改进小波阈值的水下图像降噪方法及系统
CN111147804B (zh) 一种视频帧重建方法
CN111461999A (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法
CN111652811B (zh) 一种基于刃边函数和最优窗维纳滤波的运动模糊图像复原方法
Hu et al. Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior
Liang et al. Spatiotemporal super-resolution reconstruction based on robust optical flow and Zernike moment for video sequences
CN112465719A (zh) 变换域图像去噪方法及系统
CN113222833A (zh) 一种侧扫声呐图像处理方法与装置
Tun et al. Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising
Zhao et al. An improved Roberts edge detection algorithm based on mean filter and wavelet denoising
Wang et al. Design of wavelet denoising and image enhancement algorithm based on MATLAB
CN110544257A (zh) 一种快速的肤色分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant