CN1874420A - 图像序列帧间闪烁噪声消除方法 - Google Patents

图像序列帧间闪烁噪声消除方法 Download PDF

Info

Publication number
CN1874420A
CN1874420A CNA2006100122343A CN200610012234A CN1874420A CN 1874420 A CN1874420 A CN 1874420A CN A2006100122343 A CNA2006100122343 A CN A2006100122343A CN 200610012234 A CN200610012234 A CN 200610012234A CN 1874420 A CN1874420 A CN 1874420A
Authority
CN
China
Prior art keywords
frame
pixel
image sequence
belongs
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100122343A
Other languages
English (en)
Other versions
CN100420270C (zh
Inventor
孙余顺
李昕彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongxingtianshi Technology Co ltd
Original Assignee
Vimicro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vimicro Corp filed Critical Vimicro Corp
Priority to CNB2006100122343A priority Critical patent/CN100420270C/zh
Publication of CN1874420A publication Critical patent/CN1874420A/zh
Application granted granted Critical
Publication of CN100420270C publication Critical patent/CN100420270C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一种图像序列帧间闪烁噪声消除的方法,先设置叠加平均处理的帧数为N,保存输入图像序列的前N-1帧图像,N≥2;对于输入图像序列的第i帧,i=N,N+1,……,先提取出保存的第i-1帧、第i-2帧……第i-N+1帧图像,并根据提取的该N-1帧图像,逐点判断第i帧图像的各像素点属于背景还是属于运动目标;对第i帧图像上属于背景的像素点进行多帧叠加平均,属于运动目标的像素点保持不变,得到输出图像序列的第i帧,同时保存第i帧、第i-1帧……第i-N+2帧图像;如此逐帧处理,即得到消除了输入图像序列帧间闪烁噪声的输出图像序列。本发明可提高每一帧图像的信噪比,还可极大地滤除序列图像的帧间闪烁噪声。

Description

图像序列帧间闪烁噪声消除方法
技术领域
本发明提供一种能减小图像序列帧间闪烁噪声的消除方法,尤其是用于滤除多帧图像序列帧间闪烁噪声的方法。
背景技术
图像传感器在拍摄多帧序列图像时,由于随机噪声的影响,序列图像在连续播放时,画面充满了严重的闪烁噪声,极大地影响了视频序列的质量。
而目前对图像噪声有的不做任何处理,有的只做空间域上的噪声抑制(即只在同一帧内利用空间上相邻的图像像素点间的关系进行处理),空间域上的噪声表现为,对着均匀的物体拍出来的一张图像却有类似麻点的不均匀像素点存在。对空间域上噪声的抑制,可以采用均值滤波、中值滤波等方法。另外,对于图像噪声的处理还包括图像叠加平均技术,此技术多用于获取高信噪比的单帧图像,多为对同一静态场景拍摄多帧图像然后叠加,叠加平均后获得的单帧图像拥有很高的“信噪比”,但该方法不适用于序列图像处理,尤其是存在图像间运动的序列图像的处理。
发明内容
本发明要解决的技术问题是提供一种图像序列帧间闪烁噪声消除的方法。
为了解决上述问题,本发明提供的用于图像序列帧间闪烁噪声消除的方法包括以下步骤:
(a)设置叠加平均处理的帧数为N,保存输入或输出图像序列的前N-1帧图像,N≥2;
(b)对于输入图像序列的第i帧,i=N,N+1,……,先提取出保存的第i-1帧、第i-2帧……第i-N+1帧图像,并根据提取的该N-1帧图像,逐点判断第i帧图像的各像素点属于背景还是属于运动目标,对属于背景的像素点进行多帧叠加平均,属于运动目标的像素点保持不变,得到输出图像序列的第i帧,并保存输入或输出图像序列的第i帧;
(c)按步骤(b)的方法对输入图像序列进行逐帧处理,得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
进一步地,上述方法还可具有以下特点:所述步骤(b)中,是将输入图像序列第i帧的每一像素点和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果和某帧对应像素点比较时判断第i帧的该像素点属于背景,则记录下该帧,最后将第i帧和记录下来的所有帧的该像素点进行叠加平均,如果没有记录下任何一帧,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
进一步地,上述方法还可具有以下特点:所述步骤(b)中,是将输入图像序列第i帧的每一像素点,依次和提取出的第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果比较结果均属于背景,则将该N帧的该像素点进行叠加平均,如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标,则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均,如果和第i-1帧比较时判断该像素点属于运动目标,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
进一步地,上述方法还可具有以下特点:所述步骤(b)中,将第i帧的像素点和另一帧图像对应像素点比较,判断该像素点属于背景还是属于运动目标的方法为:在所有颜色通道上对该两帧图像的对应像素点求差,如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值,则判断该像素点属于背景,反之判断该像素点属于运动目标。
进一步地,上述方法还可具有以下特点:所述步骤(b)中,对多帧图像的对应像素点进行叠加平均时,是在所有颜色通道上对多帧图像的该像素点进行算术平均。
进一步地,上述方法还可具有以下特点:所述N值为2~5。
进一步地,上述方法还可具有以下特点:对于图像序列第N帧以前的各帧,也是提取出该帧之前的所有帧,逐点判断各像素点属于背景还是属于运动目标,对属于背景的像素点进行叠加平均,属于运动目标的像素点保持不变,得到输出图像序列的该帧。
进一步地,上述方法还可具有以下特点:所述N值在图像序列的处理过程中是固定的,或者,该N值在图像序列的处理过程中是可变的。
进一步地,上述方法还可具有以下特点:所述步骤(b)中,得到输出图像序列的第i帧后,还删除保存的第i-N+1帧图像。
与现有技术相比,本发明使用逐点自适应的多帧叠加平均技术,分别针对运动像素点和静止像素点进行不叠加与叠加的操作,避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比,同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
附图说明
图1是本发明实施例方法的流程图。
具体实施方式
本发明对时间域上的噪声进行处理的方法,是将逐点自适应的多帧叠加平均技术用于滤除拍摄多帧序列图像时画面上的闪烁噪声。由于人眼对图像运动部分的噪声闪烁远不如静态部分敏感,而运动部分直接叠加会严重影响图像质量,所以我们采用逐点运动自适应的多帧叠加方法。具体来说,存在运动的像素点不叠加,而静止的像素点叠加。
第一实施例
下面以叠加平均处理的帧数等于3时为例,对本发明方法进行说明,如图1所示,该流程包括以下步骤:
步骤110,对于图像传感器拍摄的输入图像序列的第1帧,保存该帧并直接作为输出图像序列的第1帧;
步骤120,对于输入图像序列的第2帧,提取出保存的第1帧图像,将其中的各像素点逐一和第1帧的对应像素点进行比较,判断该点属于背景还是属于运动目标,对属于背景的像素点进行两帧叠加平均,对属于运动目标的像素点保持不变,得到输出图像序列第2帧,并保存该第2帧图像;
根据两帧图像上的对应像素点判断像素点属于背景还是属于运动目标的方法如下:在彩色空间多个颜色通道上进行两帧对应像素点求差,如果图像在多个颜色通道(RGB或者YUV、YIQ等)上同时满足此差值的绝对值小于该通道的阈值,则判断其属于背景,反之判断其属于运动目标。
以RGB通道为例,即判断第i帧和第j帧两个对应像素点之间是否同时满足以下不等式:
abs(fi(x,y)-fj(x,y))R<ThresR
abs(fi(x,y)-fi(x,y))G<ThresG
abs(fi(x,y)-fj(x,y))B<ThresB
其中,fi(x,y)和fj(x,y)分别表示输入图像序列第i帧和第j帧的对应像素点,ThresR、ThresG、ThresB分别表示在R、G、B通道上设定的阈值,各个通道的Thres可以相同,也可以不同。如果上述三个不等式都满足,则该像素点属于背景,否则,该像素点属于运动目标。
步骤130,对于输入图像序列第i帧,i=3,4,……,先提取出此前保存的第i-1帧和第i-2帧图像,将第i帧的各像素点逐一和第i-1帧和第i-2帧的对应像素点进行比较,判断该点属于背景还是属于运动目标,对属于背景的像素点进行叠加平均,属于运动目标的像素点则保持不变,得到输出图像序列的第i帧,同时保存输入图像序列的第i帧图像,并删除原先保存的i-2帧图像;如此逐帧处理,即可得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
具体地,对于输入图像序列的第i帧中的每一像素点,逐一和第i-1帧、第i-2帧图像的对应像素点比较,判断其是否属于背景,如果和第i-1帧、第i-2帧比较时该点都属于背景,则将该三帧的该像素点进行叠加平均,作为输出图像序列第i帧的该像素点;如果和第i-1帧或第i-2帧比较时该点属于背景,则将该二帧的该像素点进行叠加平均,作为输出图像序列第i帧的该像素点;如果和第i-1帧、第i-2帧比较时该点都不属于背景,则直接将第i帧的像素点作为输出图像序列第i帧的该像素点。叠加平均应在所有颜色通道上进行,较佳采用算术平均,也可以用加权平均。
类似地,采用N帧叠加平均时(N≥2,如为2~5),对输入图像序列第i帧的每一像素点,和第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果和某帧对应像素点比较时判断第i帧的该像素点属于背景,则记录下该帧,最后将第i帧和记录下来的所有帧的该像素点进行叠加平均,作为输出图像序列第i帧的该像素点,如果没有记录下任何一帧,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
可以看出,本发明采用了逐点自适应的多帧叠加平均技术,根据是否运动决定是否叠加,并可在判断过程中根据实际情况选择不同帧数进行叠加平均,即在对图像序列进行处理的过程中N值是可变的。因为本发明采用了背景像素叠加平均,运动目标像素保持不变的原则,避免了运动部分直接叠加会严重影响图像质量的缺陷和不足。除了可以提高每一帧图像的信噪比,同时还可以极大地滤除序列图像的帧间闪烁噪声。具有良好的可实施性和扩展性。
在上述实施例的基础上,本发明还可以有其它的变换。
例如,另一实施例中,在进行叠加平均时,可以限定在连续的多帧之间进行。即采用N帧叠加时,是将输入图像序列第i帧的每一像素点,依次和第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果比较结果均属于背景,则将该N帧的该像素点进行叠加平均,如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标,则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均,如果和第i-1帧比较时判断该像素点属于运动目标,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
对于3帧的情况,对第i帧的各像素点,先和第i-1帧的对应像素点比较,判断该点是否属于背景,如果不属于,将第i帧的该像素点作为输出图像序列第i帧的对应像素点;如果属于,再和第i-2帧图像的对应像素点比较,判断该点是否属于背景,如果属于,将该3帧图像的该像素点进行叠加平均,作为输出图像序列第i帧的该像素点;否则,只将第i帧和第i-1帧图像的该像素点进行叠加平均,作为输出图像序列第i帧的该像素点。和上述实施例的差别在于即使第i帧的像素点和第i-2帧对应像素点比较属于背景,也不进行这两帧该像素点的叠加。这样可以简化运算,不过在效果上要稍差一些。
又如,在另一实施例中,也可以将输出图像序列的帧保存到存储单元,在对下一帧图像进行叠加平均时,再提取出该帧进行比较和叠加平均处理,即采用输出图像序列的第i-1帧、第i-2帧……第i-N+1帧和输入图像序列第i帧进行叠加平均,这样也是可以的。
又如,对输入图像序列第N帧以前的帧可以按相同的方式进行叠加平均,如实施例中采用3帧叠加平均时,对第2帧也和第1帧(实施例是输入图像序列的,但也可以是输出图像序列的)一起进行了叠加平均,相当于采用的N值不同。但也可以从第N帧才开始处理,对之前的N-1帧图像直接输出,N值较小时甚至可以不输出之前的N-1帧图像。

Claims (9)

1、一种用于图像序列帧间闪烁噪声消除的方法,所述的方法包括以下步骤:
(a)设置叠加平均处理的帧数为N,保存输入或输出图像序列的前N-1帧图像,N≥2;
(b)对于输入图像序列的第i帧,i=N,N+1,……,先提取出保存的第i-1帧、第i-2帧……第i-N+1帧图像,并根据提取的该N-1帧图像,逐点判断第i帧图像的各像素点属于背景还是属于运动目标,对属于背景的像素点进行多帧叠加平均,属于运动目标的像素点保持不变,得到输出图像序列的第i帧,并保存输入或输出图像序列的第i帧;
(c)按步骤(b)的方法对输入图像序列进行逐帧处理,得到消除了输入图像序列帧间闪烁噪声的输出图像序列。
2、如权利要求1所述的方法,其特征在于:所述步骤(b)中,是将输入图像序列第i帧的每一像素点和提取出的第i-1帧、第i-2帧……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果和某帧对应像素点比较时判断第i帧的该像素点属于背景,则记录下该帧,最后将第i帧和记录下来的所有帧的该像素点进行叠加平均,如果没有记录下任何一帧,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
3、如权利要求1所述的方法,其特征在于:所述步骤(b)中,是将输入图像序列第i帧的每一像素点,依次和提取出的第i-1帧、第i-2帧、……第i-N+1帧的对应像素点比较,判断其是否属于背景,如果比较结果均属于背景,则将该N帧的该像素点进行叠加平均,如果和第i-2帧及之后的某一帧比较时判断该像素点属于运动目标,则将在该帧之前比较过的所有帧和第i帧的该像素点进行叠加平均,如果和第i-1帧比较时判断该像素点属于运动目标,则保持第i帧的该像素点不变,在处理完所有像素点后,得到输出图像序列的第i帧。
4、如权利要求2或3所述的方法,其特征在于:所述步骤(b)中,将第i帧的像素点和另一帧图像对应像素点比较,判断该像素点属于背景还是属于运动目标的方法为:在所有颜色通道上对该两帧图像的对应像素点求差,如果在所有通道上得到的差值的绝对值都小于相应通道设定的阈值,则判断该像素点属于背景,反之判断该像素点属于运动目标。
5、如权利要求1所述的方法,其特征在于:所述步骤(b)中,对多帧图像的对应像素点进行叠加平均时,是在所有颜色通道上对多帧图像的该像素点进行算术平均。
6、如权利要求1所述的方法,其特征在于:所述N值为2~5。
7、如权利要求1所述的方法,其特征在于:对于图像序列第N帧以前的各帧,也是提取出该帧之前的所有帧,逐点判断各像素点属于背景还是属于运动目标,对属于背景的像素点进行叠加平均,属于运动目标的像素点保持不变,得到输出图像序列的该帧。
8、如权利要求1所述的方法,其特征在于:所述N值在图像序列的处理过程中是固定的,或者,该N值在图像序列的处理过程中是可变的。
9、如权利要求1所述的方法,其特征在于:所述步骤(b)中,得到输出图像序列的第i帧后,还删除保存的第i-N+1帧图像。
CNB2006100122343A 2006-06-13 2006-06-13 图像序列帧间闪烁噪声消除方法 Active CN100420270C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2006100122343A CN100420270C (zh) 2006-06-13 2006-06-13 图像序列帧间闪烁噪声消除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2006100122343A CN100420270C (zh) 2006-06-13 2006-06-13 图像序列帧间闪烁噪声消除方法

Publications (2)

Publication Number Publication Date
CN1874420A true CN1874420A (zh) 2006-12-06
CN100420270C CN100420270C (zh) 2008-09-17

Family

ID=37484657

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100122343A Active CN100420270C (zh) 2006-06-13 2006-06-13 图像序列帧间闪烁噪声消除方法

Country Status (1)

Country Link
CN (1) CN100420270C (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414357A (zh) * 2008-11-12 2009-04-22 北京中星微电子有限公司 一种检测画面闪烁的方法和装置
CN101355646B (zh) * 2007-07-26 2010-06-02 广达电脑股份有限公司 噪声消除装置及方法
CN101651773B (zh) * 2009-09-14 2011-01-05 中国电影科学技术研究所 一种去除图像闪烁的方法
CN104424628A (zh) * 2013-09-02 2015-03-18 南京理工大学 基于ccd图像的利用帧间相关性降噪的方法
CN107409182A (zh) * 2015-03-17 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN108111762A (zh) * 2017-12-27 2018-06-01 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN109040599A (zh) * 2018-08-30 2018-12-18 杭州麦乐克科技股份有限公司 一种图像数据采集方法及其设备
CN109873953A (zh) * 2019-03-06 2019-06-11 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
WO2021233177A1 (zh) * 2020-05-20 2021-11-25 深圳市大疆创新科技有限公司 图像处理装置、摄像装置、移动体、程序以及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0992154A2 (en) * 1998-04-27 2000-04-12 Koninklijke Philips Electronics N.V. Flicker compensation for cameras
US6710818B1 (en) * 1999-10-08 2004-03-23 Matsushita Electric Industrial Co., Ltd. Illumination flicker detection apparatus, an illumination flicker compensation apparatus, and an ac line frequency detection apparatus, methods of detecting illumination flicker, compensating illumination flicker, and measuring ac line frequency
CN1774034A (zh) * 2004-11-10 2006-05-17 南京Lg同创彩色显示系统有限责任公司 旨在消除等离子显示器广域闪烁的视频图像处理方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101355646B (zh) * 2007-07-26 2010-06-02 广达电脑股份有限公司 噪声消除装置及方法
CN101414357A (zh) * 2008-11-12 2009-04-22 北京中星微电子有限公司 一种检测画面闪烁的方法和装置
CN101414357B (zh) * 2008-11-12 2013-07-24 北京中星微电子有限公司 一种检测画面闪烁的方法和装置
CN101651773B (zh) * 2009-09-14 2011-01-05 中国电影科学技术研究所 一种去除图像闪烁的方法
CN104424628A (zh) * 2013-09-02 2015-03-18 南京理工大学 基于ccd图像的利用帧间相关性降噪的方法
CN104424628B (zh) * 2013-09-02 2017-03-29 南京理工大学 基于ccd图像的利用帧间相关性降噪的方法
CN107409182A (zh) * 2015-03-17 2017-11-28 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107409182B (zh) * 2015-03-17 2020-02-14 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
CN108111762A (zh) * 2017-12-27 2018-06-01 努比亚技术有限公司 一种图像处理方法、终端及计算机可读存储介质
CN109040599A (zh) * 2018-08-30 2018-12-18 杭州麦乐克科技股份有限公司 一种图像数据采集方法及其设备
CN109873953A (zh) * 2019-03-06 2019-06-11 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
WO2021233177A1 (zh) * 2020-05-20 2021-11-25 深圳市大疆创新科技有限公司 图像处理装置、摄像装置、移动体、程序以及方法

Also Published As

Publication number Publication date
CN100420270C (zh) 2008-09-17

Similar Documents

Publication Publication Date Title
CN1874420A (zh) 图像序列帧间闪烁噪声消除方法
US6904169B2 (en) Method and system for improving color images
US8149336B2 (en) Method for digital noise reduction in low light video
CN101262559B (zh) 一种序列图像噪声消除的方法及装置
CN107292830B (zh) 低照度图像增强及评价方法
CN1471306A (zh) 场景改变检测器及其方法
EP1835726B1 (en) Method and apparatus for reducing color bleed
EP2194714B1 (en) Method for detection of film mode or camera mode
US7903900B2 (en) Low complexity color de-noising filter
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
CN112215767B (zh) 一种抗块效应的图像视频增强方法
US20060018537A1 (en) Video auto enhancing algorithm
CN100420271C (zh) 一种图像序列帧间闪烁噪声消除装置
US7817873B2 (en) Enhancing contrast of video data while preserving sharpness
TW200808074A (en) Self-adaptive image processing device and method
CN104657939A (zh) 一种低照度视频图像增强方法
JP4019899B2 (ja) ブロックノイズ低減回路
Mittal et al. An efficient video enhancement method using LA* B* analysis
CN111062975B (zh) 一种基于感知哈希算法加快视频帧实时目标检测的方法
JP3379472B2 (ja) 適応型yc分離のための動き検出回路及びその動き検出方法
CN109727274B (zh) 视频处理方法
CN110248182B (zh) 一种场景片段镜头检测方法
CN116468626A (zh) 一种基于三维块匹配的彩色胶片档案影像去噪方法
CN117726538A (zh) 基于前景和背景主成分融合的水下机器人视觉增强方法
CN1774079A (zh) 抑制错误图像颜色的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210207

Address after: No. 602, 6th floor, shining building, 35 Xueyuan Road, Haidian District, Beijing 100083

Patentee after: BEIJING ZHONGXINGTIANSHI TECHNOLOGY Co.,Ltd.

Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor

Patentee before: Vimicro Corp.

TR01 Transfer of patent right