CN103108109B - 一种数字视频降噪系统与方法 - Google Patents

Abstract

本发明提供一种基于灰度差值数字视频降噪方法及系统，时域递归滤波器执行时域递归滤波，生成降噪帧；帧缓存器对产生的所述降噪帧进行缓存；时域双边滤波器从所述帧缓存器里面同时取出若干帧数字视频，对输入的所述若干帧数字视频逐像素对齐后进行降噪，并输出降噪后的视频数据。本发明的有益效果是借助双边滤波思想设计递归滤波的系数集合，用时域降噪替代空域降噪，在取得比空域降噪效果好的同时几乎不产生运动拖影，而且没有引入空域降噪带来的边缘模糊问题；在时域引入空域双边滤波设计思想，只在时间轴上进行视频帧滤波，在降低了运动拖影的同时取得良好的降噪效果。

Description

一种数字视频降噪系统与方法

技术领域

本发明属于数字视频处理技术领域，具体涉及一种新的数字视频自动降噪系统与方法。

背景技术

高清时代对监控摄像机提出了更高的要求，低照度环境下噪点的多少直接影响了一台摄像机的清晰度和图像质量，甚至它所提供的监控图像的价值，特别是需要判断人脸、车辆是否被噪点污染从而无法辨认。

随着各安防厂家对高清监控系统的大力宣传和推广，客户对高清摄像机也有了更多的认识，客户对高清的认识不再停留在单纯的追求高分辨率（线数），低照度指标等书面的宣传，而是更多关注摄像机在不同光照度下实际使用所表现的图像质量（清晰度、色彩还原、动态范围、运动物体、亮度和噪点）等。换言之，这对高清摄像机提出了更高的要求，不仅是在线数方面超越模拟，而且要求在图像处理方面有更多的优势，帮助客户在不同的照度环境下都能实现清晰监控。

目前各公司采用的开发方式比较依赖于SENSOR、ISP、SOC芯片自身的性能，采用这种方式大多数厂家都能实现相似的图像质量，同质化将越来越严重，而缺少自主图像处理的实力。而拥有核心的图像处理优势的品牌，将逐渐得到市场的品牌认可，从而占领市场的领先地位。另外，市场上摄像机常用的降噪功能都出现空域降噪带来的边缘模糊及三维降噪带来的严重拖影问题。

发明内容

本发明的目的在于提供一种基于灰度差值的数字视频降噪系统，旨在解决空域降噪带来的边缘模糊及降低三维降噪带来的运动拖影现象。

本发明提供一种基于灰度差值数字视频降噪方法，所述方法包括以下步骤：

第一降噪步骤：执行时域递归滤波进行降噪，生成降噪帧；

缓存步骤：对产生的降噪帧进行缓存；

取出步骤：从帧缓存器里面同时取出若干帧数字视频；

第二降噪步骤：对所述取出的若干帧数字视频逐像素对齐输入时域双边滤波器进行降噪；

输出步骤：输出降噪后的视频数据。

本发明还提供一种基于灰度差值数字视频降噪系统，所述系统包括：

时域递归滤波器，所述时域递归滤波器将当前输入的含噪视频帧与来自缓存的先前经过降噪处理的视频帧执行时域递归滤波，生成降噪帧；

图像帧缓存器，所述帧缓存器对产生的所述降噪帧进行缓存；

时域双边滤波器，所述时域双边滤波器从所述帧缓存器里面同时取出若干帧数字视频，对输入的所述若干帧数字视频逐像素对齐后进行降噪，并输出降噪后的视频数据。

本发明的有益效果是借助双边滤波思想设计递归滤波的系数集合，用时域降噪替代空域降噪，在取得比空域降噪效果好的同时几乎不产生运动拖影，而且几乎没有引入空域降噪带来的边缘模糊问题；在时域引入空域双边滤波设计思想，只在时间轴上进行视频帧滤波，在降低了运动拖影的同时取得良好的降噪效果。

附图说明

图1是本发明的数字视频降噪系统；

图2是时域递归滤波的示意性框图；

图3是K系数滤波器的原理框图；

图4是时域双边滤波的原理框图。

具体实施方式

以下结合说明书附图详细说明本发明的具体实施方式。

本发明提供了一种基于灰度差值的数字视频降噪方法，所述方法包括以下步骤：

步骤1，对输入数字视频帧执行时域递归降噪，生成降噪帧；

步骤2，对步骤1产生的降噪帧进行缓存，经过此步骤之后，视频帧缓存空间里面存放的均是经过步骤1产生的降噪帧；

步骤3，从步骤2的帧缓存空间里面同时取出若干帧数字视频；

步骤4，步骤3中取出的若干帧数字视频数据逐像素对齐输入到时域双边滤波器，视频数据经过此步骤滤波降噪之后完成了整个降噪流程，直接输出视频数据。

上述步骤1中的时域递归滤波参与降噪只需两帧视频数据：一帧是当前输入的含噪视频帧，另一帧是来自缓存的先前经过降噪处理的视频帧。时域递归滤波是美国哥伦比亚广播公司(CBS)实验室于1971年提出的，其用于降低动态图像的随机噪声，改善图像质量，提高信噪比具有良好的效果。其数学表达式为：

I′₁=I₁+K(I₁-I₀)

其中：I₀表示经过滤波的先前帧；I₁表示当前含噪图像帧，I′₁表示滤波过后的当前图像帧，K表示滤波器系数，范围为K∈(0，1)。

就时域递归滤波算法而言，关键在于如何确定滤波算法中的系数K，系数的选择对于滤波的效果有显著的影响。

借助双边滤波器的设计思想，本发明设计出基于|I₁-I₀|大小的K系数集合，即|I₁-I₀|越大，说明两帧数据的关联性比较小，那么相应的K系数就越小，反之，K系数越大。实施了这样的K系数之后，递归滤波器具有了自适应的功能，能自动根据|I₁-I₀|（即运动量）的大小实施相应的滤波程度，对于快速场景，滤波强度低，对于低速场景，滤波强度大。在实时视频流降噪中取得了良好的滤波效果。下面给出K系数的参考设计公式：

$K(\mathrm{\ϵ},x)=e^{\frac{-1}{2}{\left(\frac{\mathrm{\δ}(f\left(\mathrm{\ϵ}\right),f\left(x\right))}{{\mathrm{\σ}}_r}\right)}^2}$

该公式是相似度滤波因子的设计公式，其中，ε和x表示像素的物理位置，函数f(ε)表示ε位置像素点的像素值，f(x)表示x位置像素点的像素值。δ(φ，f)=δ(φ-f)=||φ-f||表示φ与f的绝对值；σ_r是衰减因子，衰减因子越大，滤波强度越大。

上述步骤4中的时域双边滤波是由时域双边滤波器执行的，其中双边滤波（Bilateralfilter）是一种可以保边去噪的滤波器，之所以可以达到此去噪效果，是因为滤波器是由两个函数构成，一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数。它是在高斯模糊的基础上改进的，高斯模糊在图像平滑上效果很突出，但是带来的问题就是图像细节无法保存。双边滤波器的提出就是为了在滤波噪声的同时保存大部分图像细节，它同时利用了高斯卷积模板和图像相似度卷积模板。

本发明设计的时域双边滤波汲取了双边滤波的思想，即图像相似度大的滤波强度大，反之则小。在具体实施例中，时域双边滤波参与滤波的视频帧有5帧，这相邻的5帧视频帧均是经过时域递归滤波后的视频帧。数字视频经过时域递归滤波后虽然取得了良好的降噪效果，但是并没有足够好，还需要再次进行噪声滤除。大部分设计者使用双边滤波器均是在空域实施降噪或者是在时空域进行3维的立方体双边滤波。在空域实施降噪会带来一定程度的图像模糊，图像边缘等高频分量不能很好的保存，同样的，在三维空间进行滤波也有同样的问题，而且三维空间的双边滤波计算量大，虽然双边滤波器可以在一定程度上对运动拖影自适应，但是应用在三维空间中却对运动物体比较敏感，究其原因在于参与滤波的像素点过多。

在本发明中我们只把双边滤波应用在时域上。简单地说，时域双边滤波器参与滤波的像素是相邻五帧图像在同一物理位置上的像素点，不同时间出现的五个像素点输入到双边滤波器中进行自适应滤波，由于滤波只需要时间轴上的像素，因此此滤波方法形象称之为时域双边滤波。在时间轴（一维）上实施双边滤波降低了运算量，同时由于双边滤波器有运动自适应的特点，大大减少了多帧参与滤波带来的运动拖影现象。时域双边滤波器及其滤波系数设计遵循经典的双边滤波器设计方法，在此不赘述。

本发明针对不同等级设计时域递归滤波器与时域双边滤波器，滤波器根据图像灰度差值自行选择相应的滤波权重系数，不需要额外的运动估计/补偿模块，降低了设计复杂度，同时由于是运动自适应，因此降低了多帧视频参与降噪带来的运动拖影现象。本发明避免了多帧参与滤波带来的严重拖影问题，同时取得良好降噪效果，同时可用时域降噪替代空域降噪算法，大大降低了空域降噪带来的边缘模糊问题，同时比空域降噪取得更好的降噪效果。

Claims (7)

1.一种基于灰度差值数字视频降噪方法，其特征在于，所述方法包括以下步骤：

1)第一降噪步骤：执行时域递归滤波进行降噪，生成降噪帧；

2)缓存步骤：对产生的降噪帧进行缓存；

3)取出步骤：从帧缓存器里面同时取出若干帧数字视频；

4)第二降噪步骤：对所述取出的若干帧数字视频逐像素对齐输入时域双边滤波器进行降噪；

所述时域双边滤波中参与滤波的像素是相邻所述若干帧图像在同一物理位置上的像素点，不同时间出现的若干个像素点输入到双边滤波器中进行自适应滤波；

5)输出步骤：输出经步骤4)降噪后的视频数据。

2.根据权利要求1所述的方法，其特征在于，步骤1)中时域递归滤波参与降噪只需两帧视频数据：一帧是当前输入的含噪视频帧，另一帧是来自缓存的先前经过降噪处理的视频帧。

3.根据权利要求2所述的方法，其特征在于，在步骤1)中对于快速场景，滤波强度低；对于低速场景，滤波强度大。

4.根据权利要求1所述的方法，其特征在于，所述若干帧为5帧或5帧以上的视频图像。

5.一种基于灰度差值数字视频降噪系统，其特征在于，所述系统包括：

时域递归滤波器，所述时域递归滤波器将当前输入的含噪视频帧与来自缓存的先前经过降噪处理的视频帧执行时域递归滤波，生成降噪帧；

图像帧缓存器，所述帧缓存器对产生的所述降噪帧进行缓存；

时域双边滤波器，所述时域双边滤波器从所述帧缓存器里面同时取出若干帧数字视频，对输入的所述若干帧数字视频逐像素对齐后进行降噪，并输出降噪后的视频数据；

所述时域双边滤波器参与滤波的像素是相邻所述若干帧图像在同一物理位置上的像素点，不同时间出现的若干个像素点输入到双边滤波器中进行自适应滤波。

6.根据权利要求5所述的降噪系统，其特征在于，在所述时域双边滤波器中参与滤波的像素是相邻所述若干帧图像在同一物理位置上的像素点。

7.根据权利要求5所述的降噪系统，其特征在于，所述若干帧为5帧或5帧以上的视频图像。