CN102355556A - 一种基于运动估计的视频和图像的三维降噪方法 - Google Patents
一种基于运动估计的视频和图像的三维降噪方法 Download PDFInfo
- Publication number
- CN102355556A CN102355556A CN 201110340348 CN201110340348A CN102355556A CN 102355556 A CN102355556 A CN 102355556A CN 201110340348 CN201110340348 CN 201110340348 CN 201110340348 A CN201110340348 A CN 201110340348A CN 102355556 A CN102355556 A CN 102355556A
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- current
- motion
- pix
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009467 reduction Effects 0.000 title claims abstract description 54
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 29
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 235000013446 pixi Nutrition 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 4
- 238000007906 compression Methods 0.000 abstract description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频技术领域，提供了一种基于运动估计的视频和图像的三维降噪方法，包含如下步骤：步骤1：空间降噪；步骤2：运动估计；步骤3：对相邻块的运动向量进行中值滤波；步骤4：时间域降噪。本发明基于运动估计对视频和图像进行三维降噪，使图像变得干净清晰，便于进行视频压缩，可广泛应用于各种视频设备。
Description
技术领域
本发明属于视频技术领域，尤其涉及一种对图像或者视频序列的降噪方法。
背景技术
在低亮度视频场景应用中，如晚上或者是室内场景，噪声严重影响所拍摄图像或视频的质量。
在CCD(Charge-coupled Device，电荷耦合元件)或者CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)图像传感器有源像素中，影响电路性能的噪声主要有热噪声、闪烁噪声、复位噪声、散粒噪声、读出电路热噪声，暗电流、固定模式噪声等。这些噪声不仅严重影响图像和视频的质量，并且这些噪声非常难于压缩，让视频编码器将宝贵的比特数浪费在这些噪声上，导致视频编码的码率很高，图像质量也很低，这对于对带宽敏感的应用场景是很致命的，譬如视频会议，视频监控，视频电话，视频聊天等通过无线或者有线进行远程视频传输的应用。
因此对于图像或者视频进行去噪是非常必要的。
现有技术的去噪方法是在同一帧内进行空间上的降噪。
现有空间降噪的方法是：判断局部区域边缘的边缘强度，然后再进行自适应的低通滤波。因此，空间降噪的致命缺陷是牺牲了图像的细节，导致图像清晰度不高，并且噪声消除的不干净。
因此，视频技术领域急需一种针对CCD或者CMOS所采集的图像或者视频序列的降噪方法，使图像变得干净清晰，便于进行后续的视频压缩。
发明内容
为弥补现有技术的不足，克服现有降噪方法牺牲图像的细节、图像清晰度不高、噪声消除不干净的缺陷，本发明提供了一种基于运动估计的视频和图像的三维降噪方法，技术方案如下：
一种基于运动估计的视频和图像的三维降噪方法，其特征在于，包含如下步骤：
步骤1：空间降噪；
步骤2：运动估计；
步骤3：对相邻块的运动向量进行中值滤波；
步骤4：时间域降噪。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤1空间降噪的方法包含如下步骤：
步骤11：判断当前区域是否为平坦区域；若是，则执行步骤12；
步骤12：空间降噪。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤11判断当前区域是否为平坦区域的方法包含如下步骤：
步骤111：求当前区域像素点的平均值；
步骤112：求当前局部区域的方差；
步骤113：根据方差来判断当前区域的属性，如果该方差小于设定的阈值，当前区域为平坦区域，否则是复杂区域。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤4时间域降噪的方法包含如下步骤：
步骤41：运动补偿；
步骤42：运动检测；
步骤43：像素点运动滤波；
步骤44：自适应滤波。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤111求当前区域像素点的平均值的方法为：
window为当前像素周围的3x3窗口，pixi为window中的像素点值。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤112求当前局部区域的方差的方法为：
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤12空间降噪的方法为：用空间低通滤波模板对当前3x3窗口进行卷积。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤41运动补偿的方法为：
pix_ref(x，y)＝pix_prv(x+mv_x，y+mv_y)，其中，
pix_ref根据运动向量求得的参考帧，
pix_prv指前一帧，(x，y)为每个点的像素坐标，
(mv_x，mv_y)为坐标为(x，y)的点的运动向量。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，该步骤42运动检测是对每个点的可靠性进行判断，判断方法为：
mot(x，y)＝ABS(pix(x，y)-pix_ref(x，y))，其中，
mot表示当前值和参考值的近似程度，越大越不可靠，越小越可靠。
如上的一种基于运动估计的视频和图像的三维降噪方法，其中，其特征在于，该步骤44自适应的滤波的方法为：
P′(x，y)＝α*P(x，y)+(1-α)*P_prv(x+mv_x，y+mv_y)，其中，
P′(x，y)为当前帧在坐标(x，y)处滤波后的像素值；
P(x，y)为当前在坐标(x，y)处滤波前的像素值；
P_prv(x，y)为前一帧在坐标(x，y)处得像素值；
α为根据每个点的mot计算出的值，mot越大α越大，α为0到1之间的数；
(mv_x，mv_y)：为当前像素点的运动矢量。
本发明的有益效果是：基于运动估计对视频和图像进行三维降噪，使图像变得干净清晰，便于进行视频压缩。
附图说明
下面结合附图，通过对本发明的具体实施方式的详细描述，将使本发明的技术方案及其他有益效果显而易见。
图1为本发明基于运动估计的视频和图像的三维降噪方法的示意图。
图2为本发明空间降噪方法流程示意图。
图3为本发明判断当前区域是否为平坦区域的方法流程示意图。
图4为本发明时间域降噪方法流程示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。
图1表示了本发明基于运动估计的视频和图像的三维降噪方法的示意图。本发明方法包括如下步骤：
步骤1：空间降噪。即对同一帧内的局部空间进行自适应的低通滤波来消除噪声。如图2所示，空间降噪具体包含如下步骤：
步骤11：判断当前区域是否为平坦区域。如果是平坦区域，则执行步骤12。而如果不是平坦区域，则区域内细节丰富或者是有轮廓，则不进行滤波，直接结束。
本发明采用局部方差的方法来判断当前待处理的区域的属性。用以待处理的点中心的3x3的窗口来判断当前点所处区域的属性。判断当前区域是否为平坦区域的具体方法如图3所示：
步骤111：求当前区域像素点的平均值，如公式(1)：
此处window为当前像素周围的3x3窗口，pixi为window中的像素点值。
步骤112：求当前局部区域的方差，如公式(2)：
步骤113：根据方差来判断当前区域的属性，如果方差小于一个设定的阈值，则可以认为当前区域为平坦区域，否则认为是复杂区域。
步骤12：空间降噪。空间降噪的方法为：用如下公式(3)所示的空间低通滤波模板对当前3x3窗口进行卷积。
步骤2：运动估计，找出当前待处理的块相对于前一帧的位移。
将待滤波的当前帧划分为16x16的块，对每个块进行运动估计，即从参考帧找出一个跟当前块最匹配的参考块。运动估计可以选择视频编码中任一成熟可靠的快速算法，得到当前帧中每一个块的运动向量。
步骤3：对相邻块的运动向量进行中值滤波，以消除噪声干扰得到可靠的运动向量。
由于视频序列中存在噪声以及快速运动估计的不完备性，运动估计找到的运动向量并不一定是真实的运动，也就是说，运动向量也存在噪声，因此本发明对运动向量进行中值滤波。
本发明对运动向量的中值滤波采用3x3窗口的中值滤波。由于运动向量是个二维向量，中值滤波即是3x3窗口中9个向量中离其他向量距离和最小的那个向量，如公式(4)所示：
MVC′＝median(mv0，mv1...mv7，mvc) (4)
步骤4：时间域降噪。本发明时间域降噪的方法为：基于可靠的运动向量进行时间轴上的自适应的IIR滤波。
在找到当前帧每个块的运动向量以后，本发明进行基于运动向量指向的参考块时间域的降噪。首先根据当前块的运动向量，从前一帧中找到和当前块最匹配的参考块，得到这个块中每个像素在前一帧中的像素值。但是每个参考像素并不一定是可靠的，不能够直接用来进行时间上的滤波，需要判断每个参考像素点是否是和当前帧中的点指向的同一个对象。时间域降噪方法如图4所示，包含如下步骤：
步骤41：运动补偿。根据每个块的运动向量从参考帧中找到当前块的最优参考块。运动补偿的公式如下：
pix_ref(x，y)＝pix_prv(x+mv_x，y+mv_y) (4)
其中pix_ref根据运动向量求得的参考帧，pix_prv指前一帧，(x，y)为每个点的像素坐标，(mv_x，mv_y)为坐标为(x，y)的点的运动向量。
步骤42：运动检测。找到每个块的参考块后，但是每个像素点并不一定是可靠的，如果都统一进行时间上的滤波，会给图像带来灾难性的后果。因此本发明对每个点的可靠性进行判断。每个点的可靠性可以由下式求得。
mot(x，y)＝ABS(pix(x，y)-pix_ref(x，y)) (5)
mot表示当前值和参考值的近似程度，越大则表明值越不可靠，越小则越可靠。
步骤43：像素点运动滤波。对每个点单独求得的运动，由于有噪声的影响，并不一定是可靠，需要对孤立求出的每个点的运动进行滤波。本发明采用3x3的窗口进行中值滤波，以消除某些噪声的影响。
步骤44：自适应滤波。对每个像素求得运动后，根据运动来进行自适应的滤波，具体方法下式：
P′(x，y)＝α*P(x，y)+(1-α)*P_prv(x+mv_x，y+mv_y) (6)
其中，
P′(x，y)：为当前帧在坐标(x，y)处滤波后的像素值；
P(x，y)：为当前在坐标(x，y)处滤波前的像素值；
P_prv(x，y)：为前一帧在坐标(x，y)处得像素值；
α：是根据每个点的mot计算出的，mot越大α越大，α为0到1之间的数；
(mv_x，mv_y)：为当前像素点的运动矢量。
由上述可见，本发明基于运动估计对视频和图像进行三维降噪，使图像变得干净清晰，便于进行视频压缩。
以上说明和图示仅为了清楚说明和易于理解本发明，本领域技术人员应可以增加或者减少某个步骤，或者对某个步骤做出简单变换；或者对具体硬件做出等同替换，以实现同样的功能，所有简单的变换、增减和应用承和的改变均属于本发明的保护范围。
Claims (10)
1.一种基于运动估计的视频和图像的三维降噪方法，其特征在于，包含如下步骤：
步骤1：空间降噪；
步骤2：运动估计；
步骤3：对相邻块的运动向量进行中值滤波；
步骤4：时间域降噪。
2.如权利要求1所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤1空间降噪的方法包含如下步骤：
步骤11：判断当前区域是否为平坦区域；若是，则执行步骤12；
步骤12：空间降噪。
3.如权利要求2所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤11判断当前区域是否为平坦区域的方法包含如下步骤：
步骤111：求当前区域像素点的平均值；
步骤112：求当前局部区域的方差；
步骤113：根据方差来判断当前区域的属性，如果该方差小于设定的阈值，当前区域为平坦区域，否则是复杂区域。
4.如权利要求1所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤4时间域降噪的方法包含如下步骤：
步骤41：运动补偿；
步骤42：运动检测；
步骤43：像素点运动滤波；
步骤44：自适应滤波。
5.如权利要求3所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤111求当前区域像素点的平均值的方法为：
window为当前像素周围的3x3窗口，pixi为window中的像素点值。
6.如权利要求3所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤112求当前局部区域的方差的方法为：
7.如权利要求2所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤12空间降噪的方法为：用空间低通滤波模板对当前3x3窗口进行卷积。
8.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤41运动补偿的方法为：
pix_ref(x，y)＝pix_prv(x+mv_x，y+mv_y)，其中，
pix_ref根据运动向量求得的参考帧，
pix_prv指前一帧，(x，y)为每个点的像素坐标，
(mv_x，mv_y)为坐标为(x，y)的点的运动向量。
9.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤42运动检测是对每个点的可靠性进行判断，判断方法为：
mot(x，y)＝ABS(pix(x，y)-pix_ref(x，y))，其中，
mot表示当前值和参考值的近似程度，越大越不可靠，越小越可靠。
10.如权利要求4所述的一种基于运动估计的视频和图像的三维降噪方法，其特征在于，该步骤44自适应的滤波的方法为：
P′(x，y)＝α*P(x，y)+(1-α)*P_prv(x+mv_x，y+mv_y)，其中，
P′(x，y)为当前帧在坐标(x，y)处滤波后的像素值；
P(x，y)为当前在坐标(x，y)处滤波前的像素值；
P_prv(x，y)为前一帧在坐标(x，y)处得像素值；
α为根据每个点的mot计算出的值，mot越大α越大，α为0到1之间的数；
(mv_x，mv_y)：为当前像素点的运动矢量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110340348 CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201110340348 CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102355556A true CN102355556A (zh) | 2012-02-15 |
Family
ID=45579045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201110340348 Pending CN102355556A (zh) | 2011-11-02 | 2011-11-02 | 一种基于运动估计的视频和图像的三维降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102355556A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103313060A (zh) * | 2013-06-25 | 2013-09-18 | 安科智慧城市技术（中国）有限公司 | 一种视频降噪方法及系统 |
| CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
| CN104735301A (zh) * | 2015-04-01 | 2015-06-24 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
| CN108632502A (zh) * | 2017-03-17 | 2018-10-09 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
| WO2021114846A1 (zh) * | 2019-12-09 | 2021-06-17 | 腾讯科技（深圳）有限公司 | 一种视频降噪处理方法、装置及存储介质 |
| CN114842424A (zh) * | 2022-06-07 | 2022-08-02 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
-
2011
- 2011-11-02 CN CN 201110340348 patent/CN102355556A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103313060A (zh) * | 2013-06-25 | 2013-09-18 | 安科智慧城市技术（中国）有限公司 | 一种视频降噪方法及系统 |
| CN103369209A (zh) * | 2013-07-31 | 2013-10-23 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
| CN103369209B (zh) * | 2013-07-31 | 2016-08-17 | 上海通途半导体科技有限公司 | 视频降噪装置及方法 |
| CN104735301A (zh) * | 2015-04-01 | 2015-06-24 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
| CN104735301B (zh) * | 2015-04-01 | 2017-12-01 | 中国科学院自动化研究所 | 视频时域去噪装置及方法 |
| CN108632502A (zh) * | 2017-03-17 | 2018-10-09 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
| CN108632502B (zh) * | 2017-03-17 | 2021-04-30 | 深圳开阳电子股份有限公司 | 一种图像锐化的方法及装置 |
| WO2021114846A1 (zh) * | 2019-12-09 | 2021-06-17 | 腾讯科技（深圳）有限公司 | 一种视频降噪处理方法、装置及存储介质 |
| CN114842424A (zh) * | 2022-06-07 | 2022-08-02 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
| CN114842424B (zh) * | 2022-06-07 | 2023-01-24 | 北京拙河科技有限公司 | 一种基于动作补偿的智能化安防图像识别方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101448077B (zh) | 一种自适应视频图像3d降噪方法 | |
| CN102355556A (zh) | 一种基于运动估计的视频和图像的三维降噪方法 | |
| KR101375661B1 (ko) | 움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법 | |
| Wang et al. | Frame rate up-conversion using trilateral filtering | |
| CN107403413B (zh) | 一种视频多帧去噪及增强方法 | |
| Kang et al. | Motion compensated frame rate up-conversion using extended bilateral motion estimation | |
| CN101018290B (zh) | 一种图像处理方法和装置 | |
| Wang et al. | Hybrid de-interlacing algorithm based on motion vector reliability | |
| CN107016650B (zh) | 视频图像3d降噪方法及装置 | |
| US8204337B2 (en) | Image processing system and method for noise reduction | |
| CN101123681A (zh) | 一种数字图像降噪方法及装置 | |
| US20120075506A1 (en) | Noise reduction for machine vision systems | |
| KR100843083B1 (ko) | 움직임 추정 기반 프레임 보간을 위한 장치 및 방법 | |
| CN100367771C (zh) | 一种自适应抑制图像噪声的方法 | |
| JP2005130494A (ja) | ビデオ信号のノイズを評価する装置及び方法 | |
| CN102497497A (zh) | 一种图像去噪算法中阈值动态调整的方法 | |
| TWI413023B (zh) | 移動偵測方法及裝置 | |
| CN103581507A (zh) | 一种去噪算法中通过均方差来动态调整阈值的方法 | |
| CN101370145A (zh) | 图像帧的掩盖方法与装置 | |
| Jung et al. | Simplified frame rate up-conversion algorithm with low computational complexity | |
| Fan et al. | Motion compensated deinterlacing with efficient artifact detection for digital television displays | |
| TW200926764A (en) | Video noise reduction method suitable for dark environment | |
| US8531598B2 (en) | Image processing method and related apparatus for generating target image block | |
| Cao et al. | Motion compensated frame rate up-conversion using soft-decision motion estimation and adaptive-weighted motion compensated interpolation | |
| Zhang et al. | A saliency based noise reduction method for digital TV |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120215 |