CN112907476A - 时域与空域相结合的红外图像实时帧间降噪方法及装置 - Google Patents
时域与空域相结合的红外图像实时帧间降噪方法及装置 Download PDFInfo
- Publication number
- CN112907476A CN112907476A CN202110231092.4A CN202110231092A CN112907476A CN 112907476 A CN112907476 A CN 112907476A CN 202110231092 A CN202110231092 A CN 202110231092A CN 112907476 A CN112907476 A CN 112907476A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- image data
- noise
- static
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000003068 static effect Effects 0.000 claims abstract description 65
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000001629 suppression Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种时域与空域相结合的红外图像实时帧间降噪方法及装置,包括步骤:接收原始红外图像数据,并进行预处理;对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点;利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声;基于获得的红外图像数据,初始化静态图像模板;利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理。本发明能够对红外图像进行实时处理,有效解决红外图像边缘不清晰和拖影问题。
Description
技术领域
本发明涉及一种时域与空域相结合的红外图像实时帧间降噪方法及装置。
背景技术
红外热像仪成像过程中由于其成像组件极易受到外界辐射能量干扰、内部热传导噪声大、灵敏度低等特性,获取的图像数据大多呈现非线性、无律规的抖动且图像噪声点明显。视频是二维图像在一维时间轴上构成的图像序列,降噪的目的在于提升图像的直观视觉效果,引入噪声的图像会影响人的视觉观感,尤其对有目标识别需求的应用影响较大。传统的帧间降噪方法有时间域降噪方法与空间域降噪方法,两种方法都可以一定程度的降低噪声。空间域降噪方法只考虑了像素空间上的相关性,虽然平滑效果好,但是会将清晰地边缘变得模糊。时间域降噪方法如现在较流行的3D降噪算法,nlmeans算法等均采用多帧图像数据计算方式进行降噪但其运算量大,无实时性且图像拖影明显。
发明内容
本发明的发明目的在于提供时域与空域相结合的红外图像实时帧间降噪方法及装置,能够对红外图像进行实时处理,有效解决红外图像边缘不清晰和拖影问题。
基于同一发明构思,本发明具有两个独立的技术方案:
1、一种时域与空域相结合的红外图像实时帧间降噪方法,其特征在于,包括如下步骤:
步骤1:接收原始红外图像数据,并进行预处理;
步骤2:对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据;
步骤3:利用保留边缘数据的空间域滤波方法,对所述第一降噪红外图像数据进行处理,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据;
步骤4:基于步骤3获得的所述第二降噪红外图像数据,初始化静态图像模板;
步骤5:利用连续多帧原始红外图像数据,标记原始红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;
步骤6:利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理。
进一步地,步骤1中,通过如下方法对原始红外图像数据进行预处理:
步骤1.1:处理并替换明显的红外图像坏点;
步骤1.2:红外图像进行初步去噪,消除明显噪声;
步骤1.3对红外图像进行拉伸处理。
进一步地,步骤2中,根据红外图像边缘噪声点信息与其邻域的信息不连续性,去除红外图像边缘孤立的噪声点。
进一步地,步骤3中,通过如下方法实现抑制红外图像空间域上的噪声,
式中,G(x,y)是一个与灰度级相关的复合函数,表示红外图像边缘数据;Gr表示红外图像中每个像素值的权值;IP表示红外图像像素点P对应的像素值;BF表示滤波输出结果;
Wq为每个像素值的权重和,用于权重的归一化:
进一步地,步骤5中,利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点,通过如下方法实现,
如下式所示,将M帧原始红外图像数据进行叠加后,除以m,m>M,得到平均图像g(x,y)’:
ni(x,y)是随机噪声,fi(x,y)是真实信息。
进一步地,步骤6中,利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理,对红外图像数据的静态像素点和动态像素点进行标记。
2、一种时域与空域相结合的红外图像实时帧间降噪装置,包括:
红外图像接收单元,用于接收原始红外图像数据;
静态图像模板初始化单元,用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板;
静态图像模板更新单元,用于利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;
红外图像处理单元,用于利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理;
显示单元,用于显示经红外图像处理单元处理后的红外图像。
进一步地,所述静态图像模板初始化单元包括:
红外图像预处理单元,用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据
红外图像抑制噪声单元,用于对经红外图像预处理单元处理后的红外图像,利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据。
进一步地,所述静态图像模板更新单元执行以下操作标记红外图像数据的动态像素点和静态像素点,
将M帧原始红外图像数据进行叠加后,除以m,m>M,得到平均图像g(x,y)’:
ni(x,y)是随机噪声,fi(x,y)是真实信息。
本发明具有的有益效果:
本发明利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声;利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理。本发明采用时域与空域相结合的实时降噪方法,空间域降噪采用保留边缘数据的滤波方法,从而保证最终获得的红外图像边缘清晰,时间域降噪利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点,通过更新后的静态图像模板,对当前帧原始红外图像数据进行处理,有效解决动态图像易出现的拖影问题。本发明计算简单,运算速度快,实时性强,能够完整保持图像细节、减少像素点非线性抖动、及时有效的处理突变像素点。本发明利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点时,将M帧原始红外图像数据进行叠加后,除以m,m>M,得到平均图像g(x,y)’,通过红外图像叠加,有效抑制了噪声,增强了有用信息,并且计算简单、运算速度快,进一步保证红外图像降噪效果。
附图说明
图1是本发明时域与空域相结合的红外图像实时帧间降噪方法流程图。
具体实施方式
下面结合附图所示的实施方式对本发明进行详细说明,但应当说明的是,这些实施方式并非对本发明的限制,本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代,均属于本发明的保护范围之内。
实施例一:
时域与空域相结合的红外图像实时帧间降噪方法
如图1所示,时域与空域相结合的红外图像实时帧间降噪方法,包括如下步骤:
步骤1:接收原始红外图像数据,并进行预处理。
通过如下方法对原始红外图像数据进行预处理:
步骤1.1:处理并替换明显的红外图像坏点;
步骤1.2:红外图像进行初步去噪,消除明显噪声;
步骤1.3对红外图像进行拉伸处理。
步骤2:对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据。
根据红外图像边缘噪声点信息与其邻域的信息不连续性,去除红外图像边缘孤立的噪声点。
步骤3:利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据。
使用保留边缘数据的空间域滤波方法,在保留边缘的前提下,抑制住空间域上的噪声。其中G(x,y)是一个灰度级相关的复合函数,将边缘数据图像G(x,y)与红外图像f(x,y)进行卷积,可以得到一个保留边缘数据后的平滑的图像,即
G(x,y)=f(x,y)*G(x,y)
低频区域,每个像素点的值都相近,空间关系主导滤波效果。边缘区域,边缘点的像素值接近,相近的像素值将对滤波结果产生较大影响,充分的保护边缘信息,表现出了较好的保留边缘特性。低频分布区域出现孤立噪声点时,噪声点周围的信号的权值都很小,在进行归一化后,这些权值得到了提升,因此对噪声点有较好的滤除效果。
通过如下方法实现抑制红外图像空间域上的噪声,
式中,G(x,y)是一个与灰度级相关的复合函数,表示红外图像边缘数据;Gr表示红外图像中每个像素值的权值;IP表示红外图像像素点P对应的像素值;BF表示滤波输出结果;
Wq为每个像素值的权重和,用于权重的归一化:
步骤4:基于步骤3获得的第二降噪红外图像数据,初始化静态图像模板。
步骤5:利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板。
利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点,通过如下方法实现,
如下式所示,将M帧原始红外图像数据进行叠加后,除以m,m>M,得到平均图像g(x,y)’:
ni(x,y)是随机噪声,fi(x,y)是真实信息。
单帧有噪声图像的信噪比为
P(x,y)=f2(x,y)/E{n2(x,y)}
帧间平均后的信噪比为
式中已经考虑到噪声互不相关,均值为零的特性,式中表明,帧间平均使得信噪比提高M倍。帧数越多,图像处理的效果越好,但真实情况下,图像并不是完全静止的,图像位置充满了不确定性,帧间数据直接平均会导致严重的拖影问题,因此,根据上述情况设定合理的阈值M。本发明采用帧间数据无限逼近无噪声的数据得到静态模板。通过静态模板图像数据来推断真实的无噪声数据。
步骤6:利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理。
利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理,对红外图像数据的静态像素点和动态像素点进行标记。
所述的当前帧原始图像数据通过不断与静态模板进行对比,判断动态数据与静态数据,标记并进行更新,可以在降低噪声的同时,有效地抑制拖影的产生。
实施例二:
时域与空域相结合的红外图像实时帧间降噪装置
包括:
红外图像接收单元,用于接收原始红外图像数据;
静态图像模板初始化单元,用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板;
静态图像模板更新单元,用于利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;
红外图像处理单元,用于利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理;
显示单元,用于显示经红外图像处理单元处理后的红外图像。
所述静态图像模板初始化单元包括:
红外图像预处理单元,用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据
红外图像抑制噪声单元,用于对经红外图像预处理单元处理后的红外图像,利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据。
所述静态图像模板更新单元执行以下操作标记红外图像数据的动态像素点和静态像素点,
将M帧原始红外图像数据进行叠加后,除以m,m>M,得到平均图像g(x,y)’:
ni(x,y)是随机噪声,fi(x,y)是真实信息。
实施例二执行的红外图像实时帧间降噪方法同实施例一显示单元。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
Claims (9)
1.一种时域与空域相结合的红外图像实时帧间降噪方法,其特征在于,包括如下步骤:
步骤1:接收原始红外图像数据,并进行预处理;
步骤2:对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据;
步骤3:利用保留边缘数据的空间域滤波方法,对所述第一降噪红外图像数据进行处理,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据;
步骤4:基于步骤3获得的所述第二降噪红外图像数据,初始化静态图像模板;
步骤5:利用连续多帧原始红外图像数据,标记原始红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;
步骤6:利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理。
2.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法,其特征在于,步骤1中,通过如下方法对原始红外图像数据进行预处理:
步骤1.1:处理并替换明显的红外图像坏点;
步骤1.2:红外图像进行初步去噪,消除明显噪声;
步骤1.3对红外图像进行拉伸处理。
3.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法,其特征在于:步骤2中,根据红外图像边缘噪声点信息与其邻域的信息不连续性,去除红外图像边缘孤立的噪声点。
6.根据权利要求1所述的时域与空域相结合的红外图像实时帧间降噪方法,其特征在于,步骤6中,利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理,对红外图像数据的静态像素点和动态像素点进行标记。
7.一种时域与空域相结合的红外图像实时帧间降噪装置,其特征在于,包括:
红外图像接收单元,用于接收原始红外图像数据;
静态图像模板初始化单元,用于对原始红外图像数据进行预处理、去噪形成初始化静态图像模板;
静态图像模板更新单元,用于利用连续多帧原始红外图像数据,标记红外图像数据的动态像素点和静态像素点;根据标记的动态像素点和静态像素点更新所述的静态图像模板;
红外图像处理单元,用于利用更新后的静态图像模板,对当前帧原始红外图像数据进行处理;
显示单元,用于显示经红外图像处理单元处理后的红外图像。
8.根据权利要求7所述的时域与空域相结合的红外图像实时帧间降噪装置,其特征在于,所述静态图像模板初始化单元包括:
红外图像预处理单元,用于对预处理后的红外图像数据,利用基于边缘判定的滤波算法去除红外图像边缘孤立的噪声点,得到第一降噪红外图像数据
红外图像抑制噪声单元,用于对经红外图像预处理单元处理后的红外图像,利用保留边缘数据的空间域滤波方法,抑制红外图像空间域上的噪声,得到第二降噪红外图像数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110231092.4A CN112907476B (zh) | 2021-03-02 | 2021-03-02 | 时域与空域相结合的红外图像实时帧间降噪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110231092.4A CN112907476B (zh) | 2021-03-02 | 2021-03-02 | 时域与空域相结合的红外图像实时帧间降噪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112907476A true CN112907476A (zh) | 2021-06-04 |
CN112907476B CN112907476B (zh) | 2023-10-20 |
Family
ID=76107416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110231092.4A Active CN112907476B (zh) | 2021-03-02 | 2021-03-02 | 时域与空域相结合的红外图像实时帧间降噪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907476B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090027519A1 (en) * | 2007-07-23 | 2009-01-29 | Katsuhiro Nishiwaki | Noise reduction device, noise reduction method and video camera |
KR20100035909A (ko) * | 2008-09-29 | 2010-04-07 | 엘지전자 주식회사 | 움직임 적응적 잡음 제거 방법 및 그 장치 |
WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 图像滤波方法及装置 |
CN110599431A (zh) * | 2019-08-27 | 2019-12-20 | 武汉华中数控股份有限公司 | 应用于红外摄像头的时域滤波方法 |
-
2021
- 2021-03-02 CN CN202110231092.4A patent/CN112907476B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090027519A1 (en) * | 2007-07-23 | 2009-01-29 | Katsuhiro Nishiwaki | Noise reduction device, noise reduction method and video camera |
KR20100035909A (ko) * | 2008-09-29 | 2010-04-07 | 엘지전자 주식회사 | 움직임 적응적 잡음 제거 방법 및 그 장치 |
WO2017101489A1 (zh) * | 2015-12-14 | 2017-06-22 | 乐视控股(北京)有限公司 | 图像滤波方法及装置 |
CN110599431A (zh) * | 2019-08-27 | 2019-12-20 | 武汉华中数控股份有限公司 | 应用于红外摄像头的时域滤波方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112907476B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
CN108564597B (zh) | 一种融合高斯混合模型和h-s光流法的视频前景目标提取方法 | |
CN105046677B (zh) | 一种用于交通视频图像的增强处理方法和装置 | |
CN101853497A (zh) | 一种图像增强方法和装置 | |
CN105844601A (zh) | 一种基于双边滤波和多尺度Retinex算法的矿井图像增强方法 | |
CN109003233B (zh) | 一种基于自适应权重全变分模型的图像去噪方法 | |
CN110298792B (zh) | 低光照图像增强与去噪方法、系统及计算机设备 | |
CN104867111A (zh) | 一种基于分块模糊核集的非均匀视频盲去模糊方法 | |
CN107818547B (zh) | 一种面向微光图像序列中椒盐和高斯混合噪声的去除方法 | |
Yan et al. | Method to Enhance Degraded Image in Dust Environment. | |
CN105184743A (zh) | 一种基于非线性导向滤波的图像增强方法 | |
Liao et al. | Efficient image dehazing using boundary conditions and local contrast | |
CN107295217B (zh) | 一种基于主成分分析的视频噪声估计方法 | |
CN111311503A (zh) | 一种夜晚低亮度图像增强系统 | |
CN110827209A (zh) | 一种联合颜色与深度信息的自适应深度图像修复方法 | |
CN113592750A (zh) | 一种基于梯度直方图的红外增强方法 | |
CN111461999B (zh) | 一种基于超像素相似性测量的sar图像相干斑抑制方法 | |
CN112907476B (zh) | 时域与空域相结合的红外图像实时帧间降噪方法及装置 | |
Hu et al. | Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior | |
GUAN et al. | A dual-tree complex wavelet transform-based model for low-illumination image enhancement | |
CN101494787A (zh) | 一种基于块效应检测的去块效应方法 | |
Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising | |
Cao et al. | A License Plate Image Enhancement Method in Low Illumination Using BEMD. | |
Tang et al. | Joint enhancement and denoising method using non-subsampled shearlet transform for low-light images | |
CN112465719A (zh) | 变换域图像去噪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |