CN102355556A - 一种基于运动估计的视频和图像的三维降噪方法 - Google Patents
一种基于运动估计的视频和图像的三维降噪方法 Download PDFInfo
- Publication number
- CN102355556A CN102355556A CN 201110340348 CN201110340348A CN102355556A CN 102355556 A CN102355556 A CN 102355556A CN 201110340348 CN201110340348 CN 201110340348 CN 201110340348 A CN201110340348 A CN 201110340348A CN 102355556 A CN102355556 A CN 102355556A
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- current
- motion
- pix
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009467 reduction Effects 0.000 title claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 235000013446 pixi Nutrition 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频技术领域,提供了一种基于运动估计的视频和图像的三维降噪方法,包含如下步骤:步骤1:空间降噪;步骤2:运动估计;步骤3:对相邻块的运动向量进行中值滤波;步骤4:时间域降噪。本发明基于运动估计对视频和图像进行三维降噪,使图像变得干净清晰,便于进行视频压缩,可广泛应用于各种视频设备。
Description
技术领域
本发明属于视频技术领域,尤其涉及一种对图像或者视频序列的降噪方法。
背景技术
在低亮度视频场景应用中,如晚上或者是室内场景,噪声严重影响所拍摄图像或视频的质量。
在CCD(Charge-coupled Device,电荷耦合元件)或者CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)图像传感器有源像素中,影响电路性能的噪声主要有热噪声、闪烁噪声、复位噪声、散粒噪声、读出电路热噪声,暗电流、固定模式噪声等。这些噪声不仅严重影响图像和视频的质量,并且这些噪声非常难于压缩,让视频编码器将宝贵的比特数浪费在这些噪声上,导致视频编码的码率很高,图像质量也很低,这对于对带宽敏感的应用场景是很致命的,譬如视频会议,视频监控,视频电话,视频聊天等通过无线或者有线进行远程视频传输的应用。
因此对于图像或者视频进行去噪是非常必要的。
现有技术的去噪方法是在同一帧内进行空间上的降噪。
现有空间降噪的方法是:判断局部区域边缘的边缘强度,然后再进行自适应的低通滤波。因此,空间降噪的致命缺陷是牺牲了图像的细节,导致图像清晰度不高,并且噪声消除的不干净。
因此,视频技术领域急需一种针对CCD或者CMOS所采集的图像或者视频序列的降噪方法,使图像变得干净清晰,便于进行后续的视频压缩。
发明内容
为弥补现有技术的不足,克服现有降噪方法牺牲图像的细节、图像清晰度不高、噪声消除不干净的缺陷,本发明提供了一种基于运动估计的视频和图像的三维降噪方法,技术方案如下:
一种基于运动估计的视频和图像的三维降噪方法,其特征在于,包含如下步骤:
步骤1:空间降噪;
步骤2:运动估计;
步骤3:对相邻块的运动向量进行中值滤波;
步骤4:时间域降噪。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤1空间降噪的方法包含如下步骤:
步骤11:判断当前区域是否为平坦区域;若是,则执行步骤12;
步骤12:空间降噪。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤11判断当前区域是否为平坦区域的方法包含如下步骤:
步骤111:求当前区域像素点的平均值;
步骤112:求当前局部区域的方差;
步骤113:根据方差来判断当前区域的属性,如果该方差小于设定的阈值,当前区域为平坦区域,否则是复杂区域。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤4时间域降噪的方法包含如下步骤:
步骤41:运动补偿;
步骤42:运动检测;
步骤43:像素点运动滤波;
步骤44:自适应滤波。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤111求当前区域像素点的平均值的方法为:
window为当前像素周围的3x3窗口,pixi为window中的像素点值。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤112求当前局部区域的方差的方法为:
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤12空间降噪的方法为:用空间低通滤波模板对当前3x3窗口进行卷积。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤41运动补偿的方法为:
pix_ref(x,y)=pix_prv(x+mv_x,y+mv_y),其中,
pix_ref根据运动向量求得的参考帧,
pix_prv指前一帧,(x,y)为每个点的像素坐标,
(mv_x,mv_y)为坐标为(x,y)的点的运动向量。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,该步骤42运动检测是对每个点的可靠性进行判断,判断方法为:
mot(x,y)=ABS(pix(x,y)-pix_ref(x,y)),其中,
mot表示当前值和参考值的近似程度,越大越不可靠,越小越可靠。
如上的一种基于运动估计的视频和图像的三维降噪方法,其中,其特征在于,该步骤44自适应的滤波的方法为:
P′(x,y)=α*P(x,y)+(1-α)*P_prv(x+mv_x,y+mv_y),其中,
P′(x,y)为当前帧在坐标(x,y)处滤波后的像素值;
P(x,y)为当前在坐标(x,y)处滤波前的像素值;
P_prv(x,y)为前一帧在坐标(x,y)处得像素值;
α为根据每个点的mot计算出的值,mot越大α越大,α为0到1之间的数;
(mv_x,mv_y):为当前像素点的运动矢量。
本发明的有益效果是:基于运动估计对视频和图像进行三维降噪,使图像变得干净清晰,便于进行视频压缩。
附图说明
下面结合附图,通过对本发明的具体实施方式的详细描述,将使本发明的技术方案及其他有益效果显而易见。
图1为本发明基于运动估计的视频和图像的三维降噪方法的示意图。
图2为本发明空间降噪方法流程示意图。
图3为本发明判断当前区域是否为平坦区域的方法流程示意图。
图4为本发明时间域降噪方法流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面进一步阐述本发明。
图1表示了本发明基于运动估计的视频和图像的三维降噪方法的示意图。本发明方法包括如下步骤:
步骤1:空间降噪。即对同一帧内的局部空间进行自适应的低通滤波来消除噪声。如图2所示,空间降噪具体包含如下步骤:
步骤11:判断当前区域是否为平坦区域。如果是平坦区域,则执行步骤12。而如果不是平坦区域,则区域内细节丰富或者是有轮廓,则不进行滤波,直接结束。
本发明采用局部方差的方法来判断当前待处理的区域的属性。用以待处理的点中心的3x3的窗口来判断当前点所处区域的属性。判断当前区域是否为平坦区域的具体方法如图3所示:
步骤111:求当前区域像素点的平均值,如公式(1):
此处window为当前像素周围的3x3窗口,pixi为window中的像素点值。
步骤112:求当前局部区域的方差,如公式(2):
步骤113:根据方差来判断当前区域的属性,如果方差小于一个设定的阈值,则可以认为当前区域为平坦区域,否则认为是复杂区域。
步骤12:空间降噪。空间降噪的方法为:用如下公式(3)所示的空间低通滤波模板对当前3x3窗口进行卷积。
步骤2:运动估计,找出当前待处理的块相对于前一帧的位移。
将待滤波的当前帧划分为16x16的块,对每个块进行运动估计,即从参考帧找出一个跟当前块最匹配的参考块。运动估计可以选择视频编码中任一成熟可靠的快速算法,得到当前帧中每一个块的运动向量。
步骤3:对相邻块的运动向量进行中值滤波,以消除噪声干扰得到可靠的运动向量。
由于视频序列中存在噪声以及快速运动估计的不完备性,运动估计找到的运动向量并不一定是真实的运动,也就是说,运动向量也存在噪声,因此本发明对运动向量进行中值滤波。
本发明对运动向量的中值滤波采用3x3窗口的中值滤波。由于运动向量是个二维向量,中值滤波即是3x3窗口中9个向量中离其他向量距离和最小的那个向量,如公式(4)所示:
MVC′=median(mv0,mv1...mv7,mvc) (4)
步骤4:时间域降噪。本发明时间域降噪的方法为:基于可靠的运动向量进行时间轴上的自适应的IIR滤波。
在找到当前帧每个块的运动向量以后,本发明进行基于运动向量指向的参考块时间域的降噪。首先根据当前块的运动向量,从前一帧中找到和当前块最匹配的参考块,得到这个块中每个像素在前一帧中的像素值。但是每个参考像素并不一定是可靠的,不能够直接用来进行时间上的滤波,需要判断每个参考像素点是否是和当前帧中的点指向的同一个对象。时间域降噪方法如图4所示,包含如下步骤:
步骤41:运动补偿。根据每个块的运动向量从参考帧中找到当前块的最优参考块。运动补偿的公式如下:
pix_ref(x,y)=pix_prv(x+mv_x,y+mv_y) (4)
其中pix_ref根据运动向量求得的参考帧,pix_prv指前一帧,(x,y)为每个点的像素坐标,(mv_x,mv_y)为坐标为(x,y)的点的运动向量。
步骤42:运动检测。找到每个块的参考块后,但是每个像素点并不一定是可靠的,如果都统一进行时间上的滤波,会给图像带来灾难性的后果。因此本发明对每个点的可靠性进行判断。每个点的可靠性可以由下式求得。
mot(x,y)=ABS(pix(x,y)-pix_ref(x,y)) (5)
mot表示当前值和参考值的近似程度,越大则表明值越不可靠,越小则越可靠。
步骤43:像素点运动滤波。对每个点单独求得的运动,由于有噪声的影响,并不一定是可靠,需要对孤立求出的每个点的运动进行滤波。本发明采用3x3的窗口进行中值滤波,以消除某些噪声的影响。
步骤44:自适应滤波。对每个像素求得运动后,根据运动来进行自适应的滤波,具体方法下式:
P′(x,y)=α*P(x,y)+(1-α)*P_prv(x+mv_x,y+mv_y) (6)
其中,
P′(x,y):为当前帧在坐标(x,y)处滤波后的像素值;
P(x,y):为当前在坐标(x,y)处滤波前的像素值;
P_prv(x,y):为前一帧在坐标(x,y)处得像素值;
α:是根据每个点的mot计算出的,mot越大α越大,α为0到1之间的数;
(mv_x,mv_y):为当前像素点的运动矢量。
由上述可见,本发明基于运动估计对视频和图像进行三维降噪,使图像变得干净清晰,便于进行视频压缩。
以上说明和图示仅为了清楚说明和易于理解本发明,本领域技术人员应可以增加或者减少某个步骤,或者对某个步骤做出简单变换;或者对具体硬件做出等同替换,以实现同样的功能,所有简单的变换、增减和应用承和的改变均属于本发明的保护范围。
Claims (10)
1.一种基于运动估计的视频和图像的三维降噪方法,其特征在于,包含如下步骤:
步骤1:空间降噪;
步骤2:运动估计;
步骤3:对相邻块的运动向量进行中值滤波;
步骤4:时间域降噪。
2.如权利要求1所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤1空间降噪的方法包含如下步骤:
步骤11:判断当前区域是否为平坦区域;若是,则执行步骤12;
步骤12:空间降噪。
3.如权利要求2所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤11判断当前区域是否为平坦区域的方法包含如下步骤:
步骤111:求当前区域像素点的平均值;
步骤112:求当前局部区域的方差;
步骤113:根据方差来判断当前区域的属性,如果该方差小于设定的阈值,当前区域为平坦区域,否则是复杂区域。
4.如权利要求1所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤4时间域降噪的方法包含如下步骤:
步骤41:运动补偿;
步骤42:运动检测;
步骤43:像素点运动滤波;
步骤44:自适应滤波。
5.如权利要求3所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤111求当前区域像素点的平均值的方法为:
window为当前像素周围的3x3窗口,pixi为window中的像素点值。
6.如权利要求3所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤112求当前局部区域的方差的方法为:
7.如权利要求2所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤12空间降噪的方法为:用空间低通滤波模板对当前3x3窗口进行卷积。
8.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤41运动补偿的方法为:
pix_ref(x,y)=pix_prv(x+mv_x,y+mv_y),其中,
pix_ref根据运动向量求得的参考帧,
pix_prv指前一帧,(x,y)为每个点的像素坐标,
(mv_x,mv_y)为坐标为(x,y)的点的运动向量。
9.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤42运动检测是对每个点的可靠性进行判断,判断方法为:
mot(x,y)=ABS(pix(x,y)-pix_ref(x,y)),其中,
mot表示当前值和参考值的近似程度,越大越不可靠,越小越可靠。
10.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法,其特征在于,该步骤44自适应的滤波的方法为:
P′(x,y)=α*P(x,y)+(1-α)*P_prv(x+mv_x,y+mv_y),其中,
P′(x,y)为当前帧在坐标(x,y)处滤波后的像素值;
P(x,y)为当前在坐标(x,y)处滤波前的像素值;
P_prv(x,y)为前一帧在坐标(x,y)处得像素值;
α为根据每个点的mot计算出的值,mot越大α越大,α为0到1之间的数;
(mv_x,mv_y):为当前像素点的运动矢量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110340348 CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110340348 CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102355556A true CN102355556A (zh) | 2012-02-15 |
Family
ID=45579045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110340348 Pending CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102355556A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313060A (zh) * | 2013-06-25 | 2013-09-18 | 安科智慧城市技术(中国)有限公司 | 一种视频降噪方法及系统 |
CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
CN104735301A (zh) * | 2015-04-01 | 2015-06-24 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
CN108632502A (zh) * | 2017-03-17 | 2018-10-09 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
WO2021114846A1 (zh) * | 2019-12-09 | 2021-06-17 | 腾讯科技(深圳)有限公司 | 一种视频降噪处理方法、装置及存储介质 |
CN114842424A (zh) * | 2022-06-07 | 2022-08-02 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
-
2011
- 2011-11-02 CN CN 201110340348 patent/CN102355556A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313060A (zh) * | 2013-06-25 | 2013-09-18 | 安科智慧城市技术(中国)有限公司 | 一种视频降噪方法及系统 |
CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
CN103369209B (zh) * | 2013-07-31 | 2016-08-17 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
CN104735301A (zh) * | 2015-04-01 | 2015-06-24 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
CN104735301B (zh) * | 2015-04-01 | 2017-12-01 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
CN108632502A (zh) * | 2017-03-17 | 2018-10-09 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
CN108632502B (zh) * | 2017-03-17 | 2021-04-30 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
WO2021114846A1 (zh) * | 2019-12-09 | 2021-06-17 | 腾讯科技(深圳)有限公司 | 一种视频降噪处理方法、装置及存储介质 |
CN114842424A (zh) * | 2022-06-07 | 2022-08-02 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
CN114842424B (zh) * | 2022-06-07 | 2023-01-24 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101448077B (zh) | 一种自适应视频图像3d降噪方法 | |
CN102355556A (zh) | 一种基于运动估计的视频和图像的三维降噪方法 | |
KR101375661B1 (ko) | 움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법 | |
Wang et al. | Frame rate up-conversion using trilateral filtering | |
CN107403413B (zh) | 一种视频多帧去噪及增强方法 | |
Kang et al. | Motion compensated frame rate up-conversion using extended bilateral motion estimation | |
CN101018290B (zh) | 一种图像处理方法和装置 | |
Wang et al. | Hybrid de-interlacing algorithm based on motion vector reliability | |
CN107016650B (zh) | 视频图像3d降噪方法及装置 | |
US8204337B2 (en) | Image processing system and method for noise reduction | |
CN101123681A (zh) | 一种数字图像降噪方法及装置 | |
US20120075506A1 (en) | Noise reduction for machine vision systems | |
KR100843083B1 (ko) | 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 | |
CN100367771C (zh) | 一种自适应抑制图像噪声的方法 | |
JP2005130494A (ja) | ビデオ信号のノイズを評価する装置及び方法 | |
CN102497497A (zh) | 一种图像去噪算法中阈值动态调整的方法 | |
TWI413023B (zh) | 移動偵測方法及裝置 | |
CN103581507A (zh) | 一种去噪算法中通过均方差来动态调整阈值的方法 | |
CN101370145A (zh) | 图像帧的掩盖方法与装置 | |
Jung et al. | Simplified frame rate up-conversion algorithm with low computational complexity | |
Fan et al. | Motion compensated deinterlacing with efficient artifact detection for digital television displays | |
TW200926764A (en) | Video noise reduction method suitable for dark environment | |
US8531598B2 (en) | Image processing method and related apparatus for generating target image block | |
Cao et al. | Motion compensated frame rate up-conversion using soft-decision motion estimation and adaptive-weighted motion compensated interpolation | |
Zhang et al. | A saliency based noise reduction method for digital TV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120215 |