CN101110903A - 一种视频数据实时去噪的方法和系统 - Google Patents

Abstract

本发明提供了一种视频数据实时去噪的方法，包括：噪声能量估计；针对当前帧图像完成预处理滤波；运动检测；针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；如果目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件，则依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。本发明首次将背景模型引入到视频去噪中，并提出了一种独特的适用于视频去噪的背景模型，能够满足高清晰度的、实时的视频去噪的需求。

Description

一种视频数据实时去噪的方法和系统

技术领域

本发明涉及视频数据处理领域，特别是涉及一种视频数据实时去噪的方法和系统。

背景技术

随着计算机和数字摄像技术的发展，视频数据正越来越深入的影响着人们的生活，随着人们对视频数据的要求越来越高，针对视频数据去噪的处理方法也在不断的发展中。

传统的视频去噪算法，可以包括空域滤波和时域滤波。其中，简单的空域滤波方法，由于其不考虑时域信息，而视频序列帧之间同一位置的噪声存在随机性，因此容易导致滤波后的相邻帧之间的明显的闪烁现象；而对于简单的时域滤波技术，则会由于运动的存在导致匹配失败或误差，出现噪声残留或“鬼影”现象。因此，现有技术中更优选的是时空域滤波技术，相对于其它域的算法，其计算量略高于空域与时域滤波，但效果明显优于空域与时域滤波，因而其可以应用于高清晰度的、实时视频去噪。

在时空域滤波算法中，一般常采用运动检测方案和运动估计方案。它们都能够将动态区域与静态区域加以区分，并针对不同区域采用不同的滤波方法处理。相比之下，运动估计比运动检测能够为滤波提供更多的参考数据，因此基于运动估计的滤波算法能够得到更好的滤波效果。但是以上两种算法仅参考相邻几帧的数据，即其时域滤波性能一般，因此它们都不能很好地消除帧间的噪声残留或“鬼影”现象。

因此，需要本领域技术人员迫切解决的一个技术问题就是：针对高清晰度的、实时的视频去噪的需求，提出一种能够获得更好滤波效果的视频去噪的技术方案。

发明内容

本发明所要解决的技术问题是提供一种视频数据实时去噪的方法和系统，能够满足高清晰度的、实时的视频去噪的需求，并获得比现有技术更好的滤波效果。

为了解决上述问题，本发明公开了一种视频数据实时去噪的方法，具体可以包括以下步骤：采集数据，进行噪声能量估计，输出噪声程度参数；依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；针对预处理后的图像，进行运动检测；针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；如果目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件，则依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。

优选的，针对检测得到的属性为静止的块或者像素，可以通过以下步骤完成背景模型的更新：如果当前块或者像素的数据与相应的参考层数据具有相同的时域统计特性，则更新其所属的背景模型中的相关数据；否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

优选的，完成当前块或者像素所属的背景模型中的相关数据的更新之后，还可以包括：当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

其中，所述普通滤波的方式可以包括：线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

依据本发明的另一实施例，公开了一种视频数据实时去噪的系统，包括：

噪声估计模块，用于采集数据，进行噪声能量估计，输出噪声程度参数；

预处理滤波模块，用于依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；

块运动检测模块，用于针对预处理后的图像，进行块运动检测；

块分类模块，用于基于运动检测的结果进行块属性的划分；

背景模型更新模块，用于针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；

后处理滤波模块，用于当目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件时，依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。

优选的，针对检测得到的属性为静止的块或者像素，所述背景模型更新模块可以进一步包括：

判断子模块，用于判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；如果是，则启动第一更新子模块，否则，启动第二更新子模块；

第一更新子模块用于统计更新其所属的背景模型中的相关数据；

第二更新子模块，用于将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

优选的，所述背景模型更新模块还可以包括：数据推进子模块，用于在完成当前块或者像素所属的背景模型中的相关数据的更新之后，当该块或者像素的稳定参数符合预定条件时，则将该块或者像素的临时层的相关数据置于参考层中。

其中，所述普通滤波的方式可以包括：线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

依据本发明的另一实施例，公开了一种优化背景模型的方法，所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；所述方法包括：针对运动检测得到的当前帧中属性为静止的块或者像素，判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；如果是，则统计更新其所属的背景模型中的相关数据；否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

优选的，完成当前块或者像素所属的背景模型中的相关数据的更新之后，还包括：当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

与现有技术相比，本发明具有以下优点：

相对于常见的基于运动检测或运动估计的时空域去噪技术方案，本发明首次将背景模型的概念引入到视频去噪中；并且由于本发明所采用的背景模型是依据多帧子时域上建立的，如果其稳定时间越久，其背景模型的时域可参考性就越接近零噪声模型。而一般的帧间滤波，只可能参考相邻几帧的数据。因此，相比之下，背景模型的确立就意味着更充分的利用了时域的统计特性，也就是说本发明所创新性的提出的基于背景模型的视频去噪技术能够获得更优的时域去噪性能。

其次，由于现有技术中常见的背景模型是针对运动物体的识别与追踪而提出的，它们并不考虑是否在时域上抑制噪声、是否实时自适应变化，只需考虑当前帧运动物体与背景之间的可识别性。由于噪声的存在会影响到背景模型的稳定性与可参考性，因此以往的背景模型都是建立在弱噪声干扰的前提下。而针对实时视频去噪，背景模型必须利用时间统计特性，抑制帧间噪声，并保持一定的稳定性，此外它不能存在太大的时延与太大的计算量。因此，本发明为了更好的实现针对高清晰度的、实时视频去噪，提出了一种新型的多层自适应背景模型，通过多层背景模型的设置，尽可能地保留了对后续滤波具有参考意义的时域统计数据，从而实现了高效的去噪性能。

本发明所公开的视频去噪技术方案提供了一性能优良的背景模型，可以兼顾存在稳定背景的视频序列以及存在非稳定背景的视频序列，可以适用于各种噪声强度的视频序列。但是综上所述，可以得知，针对存在稳定背景的视频序列为本发明最佳的适用环境。

附图说明

图1是本发明一种视频数据实时去噪方法实施例的示意流程图；

图2是图1所示实施例的详细步骤流程图；

图3是本发明一种背景模型的结构示意图；

图4是本发明一种背景模型的更新流程的示意流程图；

图5是采用3D-DUNCAN算法滤波的优选实施例的后处理流程示意图；

图6是采用3D-DUNCAN算法滤波时数据选择的示意图；

图7是本发明一种优化背景模型的方法实施例的步骤流程图；

图8是本发明一种视频数据实时去噪系统实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的核心思想在于：首次将背景模型引入到视频去噪中，并提出了一种独特的适用于视频去噪的背景模型。以往的背景模型，其目的在于从背景中检测出运动物体。本算法中的背景模型，其目的与之相反，运动物体停止后的时域统计数据对视频去噪才具有参考意义。由于背景的复杂性与不稳定性，因此，为了得到适合视频去噪的背景模型，并能够为视频去噪提供优良于一般去噪算法的时域参考数据；本发明需要克服的一个重要问题就在于，如何保持与更新对后续视频去噪最具有参考意义的数据。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参照图1和图2，示出了本发明一种视频数据实时去噪方法的步骤流程图以及示意图，具体可以包括以下步骤：

步骤101、采集数据，进行噪声能量估计，输出噪声程度参数。

在本发明的一个实施例中，可以针对每帧的图像，都进行数据的采集和噪声能量的估计。当然，为了提高效率，并且由于噪声一般都具有持续性，所以在本发明优选实施例中，可以每隔一定的时间间隔，完成数据采集和噪声能量估计即可。

现有技术中，数字采集设备一般都会采用自适应图像增益技术，使得在高或低的亮度情况下都能够提供亮度适中的图像。例如，当采集场景较暗时，图像增益会变大，使得图像被放大到适合人眼接受的程度。但是与此同时，噪声程度也会随着图像增益而变大，从而导致图像的噪声污染也加剧了。

噪声估计是噪声自适应滤波的一个重要环节，它的准确性将影响到后续所有步骤的性能。优选的，噪声估计可以在每隔一定的时间段后进行一次即可，所得到的噪声程度参数在该时间段内都有效，具体时间间隔由现场的噪声稳定性决定。对于噪声估计所可以采用的具体技术方案，现有技术中已经公开了很多种，下面提供两种可选的噪声估计方式，以适用于不同的应用场景。

方式1

可以采用基于平坦区域的噪声程度估计方法，该技术方案的前提是寻找到平坦区域。平坦区域的寻找是由基于某种精确程度的噪声估计上的纹理等级分析器来完成，或者建立在递归性寻找区域最小均方差的基础上。由于平坦区域的识别是通过后续的块分类完成，所以此时噪声估计可能不是在整体算法的第一个步骤，而是最后一个步骤。噪声程度参数可以依据平坦区域的平均方差进行预测得到的。

方式2

可以采用基于“暗线”区域的噪声程度估计。“暗线”区域与图像区域同处于采集区域。与图像区域相比，“暗线”区域具有相同的曝光时间，具有相同的曝光增益，但是由于被遮掩其所接收的光线亮度非常低且非常均匀。因此“暗线”区域具有与图像区域相同的噪声干扰特性。

一般的，根据平坦或者“暗线”区域，噪声程度的估计可以由以下表达式得到：

${\mathrm{\σ}}_t=\sqrt{\frac{1}{N-1}\underset{(x,y,t)\∈R}{\mathrm{\Σ}}{(f(x,y,t)-\mathrm{average})}^2}$

其中，N表示在区间R内采集到的点的个数；average表示此区间的平均值；σ_t表示t时刻的噪声程度参数，x，y表示区间的坐标，t表示时间，f(x，y，t)表示测量值。

步骤102、依据所述的噪声程度参数，针对当前帧图像完成预处理滤波。

本步骤中的预处理滤波算法可以采用多种可行的现有技术。例如，维纳滤波、线性低通滤波算法(如卡尔曼滤波、FIR低通等)、非线性排序算法(如中值滤波等)等。下面对维纳滤波进行简单介绍：

维纳(Wiener)滤波，是一种常用于去除退化信号的噪声与模糊的有效手段。它是利用平稳随机过程的相关特性和频谱特性对混有噪声的信号进行滤波的一种方法。维纳滤波的二维表达式可以表示如下：

$\hat{x}(n1,n2)=\frac{{\mathrm{\δ}}_x^2}{{\mathrm{\δ}}_x^2+{\mathrm{\δ}}_{\mathrm{\ω}}^2}[y(n1,n2)-{\mathrm{\μ}}_y]+{\mathrm{\μ}}_x---\left(1\right)$

其中，x(n1，n2)表示源图像数据，y(n1，n2)表示观测值，δ_ω表示噪声ω的方差(即噪声估计中得到的σ)，δ_x表示源信号x的方差，δ_y表示观测值y的方差，μ_x表示源数据在邻近区域内的均值，μ_y，表示观测值在邻近区域内的均值。由于在视频处理中，μ_x与δ_x不可知。此时，假定噪声为均值为0的加性随机噪声，因此μ_x＝μ_y，δ_y ²则可以作为δ_x ²+δ_w ²的估值，从而可以通过δ_ω和δ_y计算得到δ_x。

则，维纳滤波的二维表达式可以改写如下：

$\hat{x}(n1,n2)=\frac{{\mathrm{\δ}}_x^2}{{\mathrm{\δ}}_y^2}[y(n1,n2)-{\mathrm{\μ}}_y]+{\mathrm{\μ}}_y$

由 ${\mathrm{\δ}}_x^2>0,$ 可知 ${\mathrm{\δ}}_x^2=\left\{\begin{array}{c}{\mathrm{\δ}}_y^2-{\mathrm{\δ}}_{\mathrm{\ω}}^2,\mathrm{if}{\mathrm{\δ}}_y^2>{\mathrm{\δ}}_{\mathrm{\ω}}^2\\ 0,\mathrm{if}{\mathrm{\δ}}_y^2\⇐{\mathrm{\δ}}_{\mathrm{\ω}}^2\end{array}\right.$

由以上表达式可以得出，滤波器的噪声平滑能力与δ_x ²和δ_y ²的比值有直接关系。这个比值间接地反映着输入信号功率谱中每个点的噪声功率与信号功率的对比关系。因此，维纳滤波对噪声与图像细节具有自适应滤波的能力，是本发明推荐使用的滤波方案之一。

对当前帧图像经过初步预处理之后，可以引入背景模型对其作进一步的处理。

建立场景的背景模型是序列图像运动分析的第一个阶段，也是运动分析中的核心组成部分之一。经过多年的研究，国内外研究者提出了许多针对特定场景序列图像的运动物体提取算法。例如比较典型的算法时间序列差分(Temporal Difference)、背景减方法(Background Subtraction)和光流法(Opticalflow)这三个传统的运动物体的提取方法。新近的许多运动物体提取算法都是在三种传统算法的基础上衍生而来的。

时间差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。例如Lipton等利用两帧差分方法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分代替两帧差分，如VSAM开发了一种自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中检测出运动目标。

背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。例如Haritaoglu等利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性地背景更新。

基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于全帧视频流的实时处理。

但是，以往的背景模型大多是用于运动物体检测、识别与追踪，因此这类背景模型不关心时域的多帧统计特性，只需考虑当前帧运动物体与背景之间的可识别性。对于视频去噪而言，背景模型的目的是尽可能地提供具有噪声抑制能力的参考信息，而不是从背景中检测出运动物体。因此，背景模型中应该保留最具有时间统计特性的数据。如果一个运动物体停止，那么对于视频去噪而言，真实背景需要保留，但就目前滤波而言不存在任何意义。与以往的背景模型相反，运动物体停止后的时域统计数据对视频去噪才具有参考意义。由于背景的复杂性与不稳定性，针对视频去噪的背景模型的一个问题就在于，如何保持与更新对后续视频去噪最具有参考意义的数据。

基于以上几点的考虑，本文提出了一种新型的多层自适应背景模型，并将其引入到时空域视频去噪算法中。这种背景模型不仅适用于静态的背景，还适用于多态性变化的背景。此外，在背景发生变化后，它能够在短暂的时间内完成背景模型的修正。

步骤103、针对预处理后的图像，进行运动检测；

优选的，步骤103中的块运动检测，可以参照基于连续三帧的时间序列差分算法。在自然场景中，通常存在一些微小的变动区域，例如，树叶的轻轻摆动、湖面的微微波动等.针对这一特点，基于连续三帧的时间序列差分算法能够避免由于摄像头轻微晃动以及背景中的树叶等轻微运动对运动区域检测的干扰。此时假定视频序列来源于定点摄像头。依据三帧差值算法，如果一个像素的灰度值在当前帧与前一帧之间，以及在当前帧与前向第二帧之间，发生了显著变化，则认为当前像素点出现运动。

例如，在本实施例中采用基于块的三帧SAD算法，即，如果下面的表达式成立，则认为当前块存在运动。

SAD(|I_n(x)-I_n-1(x)|＞MaxSAD).and.SAD(|I_n(x)-I_n-2(x)|＞MaxSAD)

其中，I_n(x)表示在时刻t＝n，位置为x的像素的灰度值。

步骤103完成运动检测后，可以对当前帧图像中的各个块进行属性分类。所述的块分类过程，可以达到两个目的。

(一)如前文所述，基于平坦区域的噪声估计需要寻找平坦区域。因此，当基于平坦区域的噪声估计的模块被激活时，块分类模块实现平坦块的寻找任务。依据维纳滤波的中间计算结果统计所有块的均方差，具备相对较小的均方差的块被认为是平坦块。

(二)另一个目的是可以将某个块的分类方式作为参数提供给后续的块后处理模式选择以及块更新模式选择。具体过程在后面进行详述。

步骤104、针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；

步骤104用于完成背景模型的更新过程。本发明创造性的提出了一种多层自适应的背景模型，简单介绍如下：

对于每个像素而言，如图3所示，它拥有n层，一个参考层，n-1个临时层。临时层是用来保存过去时间段内具有参考意义的短时间内静止且暂时不具有参考意义的时域统计数据，参考层是用来保存在当前时间段内对时域滤波具有参考意义的时域统计数据。层的个数由背景的复杂程度决定，一般2-4层。

为了实现算法的实时性，背景模型的建立可以基于块的单位。

在本发明的一个优选实施例中，对于每一块而言，可以使用五个参数进行描述其当前状态。modeBeFixed，描述当前块的参考层是否已经稳定，即是否具有参考意义。modeStatistic，是对当前参考层的状态一直保持的统计数。beResetOrUpdata，是描述当前块的参考层的更新策略，重新复位或者时域迭代更新当前块参考层数据。iCompensatedDUNCAN，是描述当前块针对DUNCAN滤波所提供的运动匹配结果。beStillBackground，是描述当前块是否属于静止背景。

此外，对于所有块而言，存在一个运动检测门限值MaxSAD；对于所有像素而言存在一个偏移范围门限值T_noise，两者的大小都与噪声强度(即本发明的噪声程度参数)成正比。这两个参数都是随噪声强度变化的全局常量，而不是如同在以往见到的背景模型中常量。这一点，正是背景模型在视频去噪与视频分析两者应用中的不同。

针对视频去噪的背景模型的更新策略，其目的在于尽可能地保留对后续滤波具有参考意义的时域统计数据。对于视频去噪而言，正在运动的物体在时域上是不具备参考意义的，因此更新背景模型的第一步是寻找静态区域的数据。以块为单位进行分类，在获取静态数据后，对静止块的像素进行模型更新。多层自适应背景模型的更新流程，如图4所示。

在本发明的一优选实施例中，可以依据块分类的不同，从两种更新模式的选择其一进行执行。模式一，参考层数据的时域统计更新；模式二，各层数据的重置。例如，针对检测得到的属性为静止的块或者像素，通过以下步骤完成背景模型的更新：如果当前块或者像素的数据与相应的参考层数据具有相同的时域统计特性，则更新其所属的背景模型中的相关数据；否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

优选的，完成当前块或者像素所属的背景模型中的相关数据的更新之后，还包括：当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

具体而言，

对于运动检测后认为是“运动”的块，不参与多层背景模型的更新，标记其beResetOrUpdata为False，在下一次静止出现后，对当前参考层数据进行检测，确认其是否与当前参考层数据具备相同的时域参考特性。

对于运动检测后认为是“静态”的块。如果当前块的beResetOrUpdata为Ture，则认为当前数据与参考层具有相同的时域统计特性，则采用模式一进行更新；否则认为当前数据与参考层的相同时域统计特性是不确定的，然后首先计算当前数据与背景数据之间的SAD，如果其SAD大于MaxSAD，则认为当前块的时域特性发生变化，则采用模式二进行更新，否则采用模式一进行更新。

下面分别对上述的模式一和模式二进行简单介绍。

(1)参考层数据的时域统计更新：

首先，与参考层的灰度值B_n(x)比较，如果|I_n(x)-B_n(x)|＜＝T_noise成立，则执行下面两个数据处理：

(1)B_n+1(x)＝αB_n(x)+(1-α)I_n(x)

(2)当前块modeStatistic＝modeStatistic+1

其中，I_n(x)表示在时刻t＝n，位置为x的像素的灰度值；α是一个时间常数，它表示旧的信息与新的信息的更新速度。

进而，还需要执行下面的操作：

如果当前块属于稳定块，即modeBeFixed为Ture，那么如果modeStatistic＞max Fixed，则将所有临时层数据向上依次递推一层。

如果当前块属于非稳定块，那么如果modeStatistic＞maxInitial，则当前参考层的描述参数modeBeFixed置为Ture。

对于当前块是否属于稳定块，则可以通过预定规则判断即可，例如，当该块的静止状态在预定个数的帧范围内都没有发生变化，则确定该块属于稳定块，否则，属于非稳定块。

(2)重置各层数据：

与所有层(包括临时层和参考层)的灰度值B_n(x)比较，如果存在B_n(x)满足下面的表达式：

|I_n(x)-B_n(x)|＜＝T_noise

则选择当前数据最接近的B_n(x)，令

B₀(x)＝B_n(x)，

其中，B₀(x)表示在时刻t＝0，位置为x的像素的时域参考灰度值。

如果不满足前述的表达式：|I_n(x)-B_n(x)|＜＝T_noise；则，令

B₀(x)＝I_n(x)

依据上文可知，一个数据必须在连续稳定的情况下才可能转变成参考层数据。而具有参考意义的数据，其层级别越低，其受保护程度越高。每一帧的静止数据，被引入到多层背景模型内，实现了对多层背景模型的更新。正是这一机制，确保了背景模型数据的合理性，避免了静止背景中噪声引入以及短暂波动数据的引入。

步骤105、如果目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件，则依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。步骤105依据当前块和背景模型的相关数据选择不同的滤波方式，并加以执行；其中，所述普通滤波的方式可以包括：线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

参照图5，示出了简单的采用3D-DUNCAN算法滤波的优选实施例的后处理流程示意图。图5所示主要是基于背景模型与当前帧之间的关系实现当前帧的滤波。3D-DUNCAN滤波，是基于帧间运动匹配的DUNCAN滤波。运动匹配使得帧间的DUNCAN滤波的窗口的对应物体区域尽量接近，即使得在相对于当前帧的其他帧的DUNCAN滤波的窗口的数据更具有可参考性。

在3D-DUNCAN算法滤波的实施例中，当前块的后处理模式选择，就是根据当前块是否具有背景参考意义，完成后续处理的分支选择。如果当前数据的背景模型具备参考意义且当前块静止，则利用当前数据块与当前背景参考数据进行加权平均滤波，完成当前块的滤波；否则，在时域内进行块运动估计，利用具有相关性的数据来进行3D-DUNCAN滤波。

块运动估计的结果，用于后续的块3D-DUNCAN滤波。考虑到过大的运动矢量会影响到后续处理的精度，块运动估计仅在一个小范围进行，例如-8到+8。钻石搜索法，是一种适用于小范围运动的搜索算法，因此被可以作为本发明的一个优选措施。

在基于背景模型的块的时域滤波中，I_n(x)表示在时刻t＝n，位置为x的像素点的灰度值。B_n(x)表示在时刻t＝n，位置为x的像素点的时域参考灰度值，则

$I_n\left(x\right)=\left\{\begin{array}{cc}\mathrm{\β}{I}_n\left(x\right)+(1-\mathrm{\β})B_n\left(x\right)& \mathrm{if\; x\; is\; non}-\mathrm{moving}\\ I_n\left(x\right)& \mathrm{if\; x\; is\; moving}\end{array}\right.$

其中，β表示原灰度值的权重，其大小取决于背景模型的稳定性。如果背景模型的稳定性高，那么β取值较小，甚至赋值为0。

DUNCAN滤波是基于当前窗口的原始图像数据以及前一帧滤波后的参考窗口的数据，根据特定的窗口掩码来选择其中的有效数据，然后按照某种权值分配进行加权平均，从而得到滤波后的结果。窗口掩码的设定是基于两点：1)、窗口内可能会有少数点超出了合理的范围；2)、窗口内可能有些点不是与当前待处理点处于同一物体内。因此，通过窗口掩码选择合理的数据参与运算是十分必要的。

本文推荐的算法针对零均值加性高斯白噪声(AWGN)，

$G\left(x\right)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}{e}^{-\frac{{(x-\mathrm{\μ})}^2}{2{\mathrm{\σ}}^2}}$

根据其统计分布特性，以下规则是有效的：

1)、68％的采样点处于[μ-σ，μ+σ]范围内

2)、95％的采样点处于[μ-2σ，μ+2σ]范围内

3)、99.7％的采样点处于[μ-3σ，μ+3σ]范围内

其中，σ就是前述得到的噪声程度参数；μ是指噪声能量的中值。

基于以上描述的特性，DUNCAN滤波可以通过以下方式选择数据：

CurrPix，表示当前待处理的像素点。选择数据，是在以三个值(CurrPix，CurrPix+σ，CurrPix-σ)为中心，以S为宽度的三个区域内进行，如图6所示。宽度S与σ成正比，σ越大，S越大。S的取值以获取最多的合理存在的像素点为原则。由高斯分布特性可知，即使当前待处理的像素点是噪声点，依然可以保证选取的大多数点处于高斯分布中心附近。此外，即使当前待处理点处于某个边界，或者运动匹配出现了一定的失误，DUNCAN滤波器仍然可以合理地选择出与当前待处理点相关的所有点。

权值的分配在DUNCAN滤波中也起到了关键的作用。参考帧内数据的权值α须根据运动匹配后的最小SAD大小进行调整。如果其SAD大于预定的阈值，则减小参考帧内数据的权值或将其置为0。权值α，不仅依赖于SAD的大小，还依赖于像素点所处的范围。最终滤波结果为：

$\mathrm{FVal}=\frac{\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{X}_i}{\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i}$

其中，X_i表示经过窗口掩码选择后保留的像素点；α_i表示与X_i相对应的权值。

需要说明的是，上面的实施例在描述中都直接采用了针对块的运算模式，但实际上本发明也完全可以采用直接针对像素的运算模式。在本发明的优选实施例中，推荐选择针对块的运算模式，主要是考虑到运算速度问题，为了更好的实时性而确定；另外，如果块大小选择合适的话，其性能与基于像素的算法基本接近，而其占用的运算时间则可以减少很多。

另外，在预处理滤波过程中、以及后处理滤波过程中，除了本发明提及的维纳滤波和DUNCAN滤波，还存在很多的其他方式，滤波器的选择只是一种基于应用场景的性能与计算时间的折中。

参照图7，示出了一种优化背景模型的方法实施例，具体可以包括以下步骤：

步骤701、针对运动检测得到的当前帧中属性为静止的块或者像素，判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；如果是，则启动步骤702，否则，启动步骤703；

步骤702、统计更新其所属的背景模型中的相关数据；

步骤703、将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

其中，所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据。

优选的，当完成当前块或者像素所属的背景模型中的相关数据的更新之后，还可以包括：当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

针对背景模型更新的具体例子和详细描述，在前面已经涉及，在此不再赘述。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。

参照图8，示出了一种视频数据实时去噪的系统实施例，包括：

噪声估计模块801，用于采集数据，进行噪声能量估计，输出噪声程度参数；

预处理滤波模块802，用于依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；

块运动检测模块803，用于针对预处理后的图像，进行块运动检测；可以理解为在寻找时域上最接近的参考数据；

块分类模块804，用于基于运动检测的结果进行块属性的划分；实际上，块分类模块804可以理解为基于运动检测的结果进行背景区域与非背景区域的划分、具有时域参考意义区域与非时域参考区域的划分；

背景模型更新模块805，用于针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；

后处理滤波模块806，用于当目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件时，依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。其中，所述普通滤波的方式包括：线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

进一步，后处理滤波模块806可以包括两个子模块：第一滤波器8061，用于依据背景模型参考层所提供的参考数据进行时空域滤波；第二滤波器8062，用于采用普通滤波算法对具有可参考意义的背景区域之外的其他所有区域的去噪处理。

优选的，针对检测得到的属性为静止的块或者像素，所述背景模型更新模块805可以包括：

判断子模块8051，用于判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；如果是，则启动第一更新子模块，否则，启动第二更新子模块；

第一更新子模块8052，用于统计更新其所属的背景模型中的相关数据；

第二更新子模块8053，用于将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

进一步，所述背景模型更新模块还可以包括：数据推进子模块8054，用于在完成当前块或者像素所属的背景模型中的相关数据的更新之后，当该块或者像素的稳定参数符合预定条件时，则将该块或者像素的临时层的相关数据置于参考层中。

需要说明的是，本领域技术人员应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

其次，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了评价本发明的性能，本文采用了几个标准测试序列，并对这些序列加以均值为0、强度分别为10、15、20的高斯加性白噪声，然后分别直接使用3D-DUNCAN进行去噪以及本发明(包括3D-DUNCAN的多个步骤)进行去噪。

在仿真过程中，像素层数设定为3层，背景模型初始化过程的maxInitial是15帧；在背景模型稳定后的maxFixed设定为20帧；在背景模型更新过程中，时间更新系数α设定为1/8；在后处理过程中涉及运动匹配时仅采用相邻的连续三帧数据，尽量减少了需要处理的数据量。

下表示出了本发明和直接采用3D-DUNCAN算法的性能比较，其平均PSNR数值是基于50帧以上的数据统计值。本发明在表中采用AMBVD表示(Adaptive Multi-layer Background Video De-noising，基于多层自适应背景模型的实时视频去噪算法)。其中，表中的噪声的均方差σ表示图像被污染的程度。

video	Noiseσ	Average PSNR，dBs			video	Noiseσ	Average PSNR，dBs
										Noisy	3D-DUNCAN[1]	AMBVD	Noisy	3D-DUNCAN[1]	AMBVD
		paris	10	28.44			33.08	34.23	news							10	28.43	32.85	33.87
15	24.96				30.15	31.85				15	24.96	29.85	31.23
			20	22.58			28.11	29.86						20	22.57	27.83	29.47
salesman	10				28.43	34.43				35.86	flowers	10	28.43					30.84	30.87
		15	24.97	31.82			33.55	15	24.95					29.19	29.23
	20				22.56	29.92				31.89		20	22.58			26.52	26.62

总之，本发明所公开的基于多层自适应背景模型的实时视频去噪算法，是一种适用性强、主观客观效果显著的，具有实时性的视频去噪算法，尤其是针对存在稳定背景的视频序列。多层自适应背景模型，是针对视频去噪算法建立的背景模型。这一模型对视频序列的帧间噪声起到了显著的抑制效果。多层自适应背景模型的更新机制，确保了场景切换后依然能够建立稳定的背景模型，能够满足场景变化频率较低的应用场景，从而增强了视频去噪算法对场景的鲁棒性。前述的实验结果比较也表明，本发明的技术方案能够提供高质量画质。

以上对本发明所提供的一种视频数据实时去噪的方法和系统，以及一种优化背景模型的方法，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频数据实时去噪的方法，其特征在于，包括：

采集数据，进行噪声能量估计，输出噪声程度参数；

依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；

针对预处理后的图像，进行运动检测；

针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；

如果目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件，则依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。

2.如权利要求1所述的方法，其特征在于，针对检测得到的属性为静止的块或者像素，通过以下步骤完成背景模型的更新：

如果当前块或者像素的数据与相应的参考层数据具有相同的时域统计特性，则更新其所属的背景模型中的相关数据；

否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

3.如权利要求2所述的方法，其特征在于，完成当前块或者像素所属的背景模型中的相关数据的更新之后，还包括：

当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

4.如权利要求1所述的方法，其特征在于，所述普通滤波的方式包括：

线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

5.一种视频数据实时去噪的系统，其特征在于，包括：

噪声估计模块，用于采集数据，进行噪声能量估计，输出噪声程度参数；

预处理滤波模块，用于依据所述的噪声程度参数，针对当前帧图像完成预处理滤波；

块运动检测模块，用于针对预处理后的图像，进行块运动检测；

块分类模块，用于基于运动检测的结果进行块属性的划分；

背景模型更新模块，用于针对检测得到的属性为静止的块或者像素，进行背景模型的更新；所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；

后处理滤波模块，用于当目标块或者像素的属性为静止的，并且其相应的参考层数据的变化程度符合预定条件时，依据背景模型参考层所提供的参考数据进行滤波；否则，执行普通滤波。

6.如权利要求5所述的系统，其特征在于，针对检测得到的属性为静止的块或者像素，所述背景模型更新模块进一步包括：

判断子模块，用于判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；如果是，则启动第一更新子模块，否则，启动第二更新子模块；

第一更新子模块用于统计更新其所属的背景模型中的相关数据；

第二更新子模块，用于将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

7.如权利要求6所述的系统，其特征在于，所述背景模型更新模块还包括：

数据推进子模块，用于在完成当前块或者像素所属的背景模型中的相关数据的更新之后，当该块或者像素的稳定参数符合预定条件时，则将该块或者像素的临时层的相关数据置于参考层中。

8.如权利要求5所述的系统，其特征在于，所述普通滤波的方式包括：

线性低通滤波算法、非线性排序算法或者3D-DUNCAN滤波算法中的任一种。

9.一种优化背景模型的方法，其特征在于，所述背景模型包括一参考层和至少一个临时层，所述参考层用于存储主参考数据，所述临时层用于存储辅助参考数据；所述参考层的更新需要应用所述临时层中相应的辅助参考数据；所述方法包括：

针对运动检测得到的当前帧中属性为静止的块或者像素，判断当前块或者像素的数据与相应的参考层数据是否具有相同的时域统计特性；

如果是，则统计更新其所属的背景模型中的相关数据；

否则，将已有的背景模型中有效参考价值最小的临时层中的相应数据抛弃，将当前块或者像素的数据作为该临时层的数据。

10.如权利要求9所述的方法，其特征在于，完成当前块或者像素所属的背景模型中的相关数据的更新之后，还包括：

当该块或者像素的稳定参数符合预定条件，则将该块或者像素的临时层的相关数据置于参考层中。

Images