CN104023166B - 一种环境自适应视频图像降噪方法及装置 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供一种环境自适应视频图像降噪方法及装置，所述方法包括统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；根据所述时域降噪级别对视频图像进行时域降噪处理；根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。本发明通过统计实际环境的光照程度来评估视频图像噪声级别，能够同时支持时域降噪和空域降噪，并能根据图像噪声级别动态的开启、关闭降噪，或者调整降噪的级别，能够达到较好的降噪效果，较好的解决了降噪图像模糊和运动物体的“拖影”现象。

Description

一种环境自适应视频图像降噪方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种环境自适应视频图像降噪方法及装置。

背景技术

视频应用系统主要包括视频图像的采集、处理、传输、显示等部分，这些过程不可避免地引入各种噪声，视频图像噪声的存在严重影响视频图像的视觉质量，并且会影响视频图像的多种后续处理，例如视频图像的编解码、传输、存储、目标识别、目标跟踪等。视频图像的主要噪声来源包括：摄像机的成像过程、传输信道以及成像系统的电路等。图像传感器在采集图像时，会受工作环境影响而产生噪声，例如CMOS/CCD(互补金属氧化物半导体/电荷耦合元件)传感器在采集图像时产生大量噪声的主要因素是光照程度和传感器温度。为了改善带噪图像的视觉效果，需要对带噪图像进行降噪处理。

目前，视频图像降噪方法可分为像素域视频图像降噪算法和变换域视频图像降噪算法。像素域视频图像降噪算法直接在视频图像内容构成的空时三维空间中抑制噪声。变换域视频图像降噪算法，首先将视频图像内容进行变换处理，在变换域中进行降噪处理，然后通过逆变换得到最终的降噪视频图像。通常变换域降噪算法比像素域降噪算法效果好，但是计算量大，往往满足不了实时性需求。传统的像素域降噪方法有空域降噪、时域降噪等，空域降噪在降噪的同时对图像的有用信息也进行了平滑，时域降噪可能产生视频图像序列中运动物体的拖影现象。

发明内容

鉴于上述问题，本发明的目的在于提供一种环境自适应视频图像降噪方法及装置，旨在解决现有降噪技术降噪处理后视频图像边缘模糊和运动物体拖影的技术问题。

一方面，所述环境自适应视频图像降噪方法包括下述步骤：

统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

根据所述时域降噪级别对视频图像进行时域降噪处理；

根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

另一方面，所述环境自适应视频图像降噪包括：

阈值确定单元，用于统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

降噪级别确定单元，用于根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

时域降噪处理单元，用于根据所述时域降噪级别对视频图像进行时域降噪处理；

空域降噪处理单元，用于根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

本发明的有益效果是：本发明采用时域降噪与空域降噪相结合的方法对带噪视频图像进行降噪处理，具体的，根据设备所处环境的光照程度为参考，判断视频图像的噪声水平，根据实时视频图像的噪声水平，自适应调整时域降噪的强度与空域降噪的强度，进行时域降噪与空域降噪，能够达到较好的降噪效果，可以较好解决降噪后视频图像边缘模糊和运动物体拖影的问题。

附图说明

图1是本发明第一实施例提供的环境自适应视频图像降噪方法的流程图；

图2是时域降噪级别选择流程图；

图3是空域降噪级别选择流程图；

图4是图1中步骤S13的一种具体优选流程图；

图5是本发明第二实施例提供的环境自适应视频图像降噪方法的流程图；

图6是本发明第三实施例提供的环境自适应视频图像降噪装置的结构方框图；

图7是图6中时域降噪处理单元的一种优选结构方框图；

图8是本发明第四实施例提供的环境自适应视频图像降噪装置的结构方框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例提供的环境自适应视频图像降噪方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的环境自适应视频图像降噪方法包括下述步骤：

步骤S11、统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值。

本步骤中首先需要确定降噪级别以及对应的时域、空域降噪阈值。根据实际情况，对每个降噪级别设置一个范围的视频图像平均亮度，实现时，根据当前视频图像的平均亮度选择对应的降噪级别以及时域、空域降噪阈值。

作为一种优选实施方式，本步骤中，首先使用标准测光工具进行辅助测试，通过统计不同光照程度下视频图像的平均亮度，确定噪声级别以及不同噪声级别下的时域降噪初值和空域降噪初值；然后在实景中进行光测试，矫正初值，得到不同噪声级别下的时域降噪阈值和空域降噪阈值。由于实际光照和标准光存在一定差别，本优选方式中，首先用标准光进行初测，得到在不同光照强度下的视频图像的平均亮度，以及噪声级别和不同级别下的时域降噪初值和空域降噪初值，然后用实景光进行测试修改，得到不同噪声级别下的时域降噪阈值和空域降噪阈值。这样使得在实景光的照射下，得到的噪声级别更为准确。

步骤S12、根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别。

假设当前采集到的视频图像的平均亮度为LV，然后根据时域降噪阈值确定时域降噪级别TL，根据空域降噪阈值确定确定空域降噪级别SL。比如，假设时域降噪阈值从小到大分别为TL0、TL1和TL2，空域降噪阈值SL0、SL1和SL2，降噪级别从低到高依次为一级降噪、二级降噪和三级降噪。时域降噪级别选择流程如图2所示，当视频图像的平均亮度为LV<TL0时，时域降噪级别为三级降噪，当TL0≤LV<TL1时，时域降噪级别为二级降噪，当TL1≤LV<TL2时，时域降噪级别为一级降噪，当TL2≤LV时，时域降噪级别为0，即不开启时域降噪。空域降噪级别选择流程图如图3所示，当视频图像的平均亮度为LV<SL0时，空域降噪级别为三级降噪，当SL0≤LV<SL1时，空域降噪级别为二级降噪，当SL1≤LV<SL2时，空域降噪级别为一级降噪，当SL2≤LV时，空域降噪级别为0，即不开启空域降噪。

另外，在帧数为p帧的时间窗口内，计算平均亮度LV，LV计算公式如下：

其中f(x,y)为视频图像像素的亮度，m、n为视频帧的宽和高。

步骤S13、根据所述时域降噪级别对视频图像进行时域降噪处理。

本实施例采用基于运动补偿的时域降噪算法进行时域降噪。具体的，如图4所示，包括下述步骤：

S131、将当前视频图像划分为不重叠的宏块。

首先对视频图像帧划分为不重叠的宏块，作为一种实施方式，本步骤将当前视频帧划分为互不重叠的16×16大小的宏块进行处理。

S132、针对每个宏块，用当前视频图像在前一视频图像内进行运动估计，在所述前一视频图像中找到最匹配的宏块，得到匹配块。

本实施例中，时域降噪以宏块为基本单位。针对每个宏块，用当前视频帧在前一视频帧内进行运动估计，在所述前一视频帧中找到各个宏块的最匹配的宏块，即匹配块。具体使用SAD(Sum of Absolute Difference)匹配准则在前一帧与当前帧内进行宏块匹配计算，当SAD值最小时，认定对应宏块为匹配块，匹配准则如式(2)所示：

其中f_k(x,y)为当前宏块的像素值，f_k-1(x,y)为匹配块的像素值。

S133、根据得到的时域降噪级别为宏块分配一个时域滤波权重。

假设当前宏块的时域滤波权重为wt，TL为时域降噪级别，wt根据如下关系式获取：

S134、根据所述宏块以及对应的匹配块并结合所述时域滤波权重，进行时域加权平均滤波。

经过时域加权平均滤波后，输出有：

g(x,y)＝(1-w_t)×f_k(x,y)+w_t×f_k-1(x,y) (4)

其中f_k(x,y)为当前宏块的像素值，f_k-1(x,y)为匹配宏块的像素值，g(x,y)为进行时域滤波后输出宏块的像素值。

步骤S14、根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

本实施例使用双边滤波算法进行空域降噪，使用的空域滤波系数同时考虑到相邻像素的位置信息和亮度信息。具体的，本步骤包括：

S141、将经过所述时域滤波后的视频图像中的每个像素与相邻的像素点进行加权平均运算得到空域滤波系数，所述空域滤波系数包含相邻像素点的位置信息和亮度信息。

本步骤将视频图像中的每个像素点与相邻的像素点进行加权平均运算得到空域滤波系数，不仅考虑相邻像素点的位置信息，同时考虑相邻像素点的亮度信息。空域滤波系数公式如下：

w_s(x₀,y₀)＝w_p(x₀,y₀)×w_l(x₀,y₀) (5)

其中w_p(x₀,y₀)描述相邻像素的位置信息对滤波的影响，w_l(x₀,y₀)描述相邻像素的亮度信息对滤波的影响。

w_p(x₀,y₀)的计算公式如式(6)所示。

其中x₀与y₀描述了相邻像素的位置关系，w_p(x₀,y₀)是相应像素的位置信息滤波权值。δ_d可根据参与滤波的邻域大小取值，当参与滤波的邻域为3×3的邻域时，取δ_d为1.6，当参与滤波的邻域为5×5的邻域时，取δ_d为1.7，当参与滤波的邻域为7×7的邻域时，取δ_d为1.8，降噪效果较好。

w_l(x₀,y₀)的计算公式如式(7)所示。

其中x₀与y₀描述了相邻像素的位置关系，w_l(x₀,y₀)是相应像素的亮度信息滤波权值。δ_l为噪声标准差δ的函数，测试表明，取δ_l＝2δ降噪效果较好。

S142、根据得到的空域降噪级别确定参与滤波的像素点邻域的大小，并利用所述空域滤波系数对视频图像的像素点进行空域滤波。

空域滤波公式如式(8)所示。

其中f(x+x₀,y+y₀)是待滤波的输入像素值，w_s(x₀,y₀)是优化后的空域滤波系数，g'(x,y)是进行空域滤波后输出的像素值，x₀与y₀的取值范围描述了参与空域滤波的邻域大小，其值由空域滤波级别SL确定，具体取值如下式所示：

本实施例根据得到的降噪级别，使用优化后的空域滤波系数与视频图像信息做卷积运算进行滤波，这样可以在滤波的同时保证边缘清晰。

实施例二：

图5示出了本发明实施例提供的环境自适应视频图像降噪方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的环境自适应视频图像降噪方法包括下述步骤：

步骤S51、统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

步骤S52、获取降噪模式信息，当为手动降噪时，接收并保存输入的时域降噪级别和空域降噪级别；

步骤S53、当降噪模式为自动模式时，根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

步骤S54、根据所述时域降噪级别对视频图像进行时域降噪处理；

步骤S55、根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

本实施例在实施例一基础上增加了步骤S52，本实施例提供了手动降噪模式和自动降噪模式两种，用户可以通过相应的设置接口设置降噪模式。

实施例三：

图6示出了本发明实施例提供的环境自适应视频图像降噪装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的环境自适应视频图像降噪装置包括：

阈值确定单元61，用于统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

降噪级别确定单元62，用于根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

时域降噪处理单元63，用于根据所述时域降噪级别对视频图像进行时域降噪处理；

空域降噪处理单元64，用于根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

其中，优选的，所述阈值确定单元61包括：

初值获取模块611，用于使用标准测光工具进行辅助测试，通过统计不同光照程度下视频图像的平均亮度，确定噪声级别以及不同噪声级别下的时域降噪初值和空域降噪初值；

阈值获取模块612，用于在实景中进行光测试，矫正初值，得到不同噪声级别下的时域降噪阈值和空域降噪阈值。

其中，优选的，如图7所示，所述时域降噪处理单元63包括：

图像划分模块631，用于将当前视频图像划分为不重叠的宏块；

匹配计算模块632，用于针对每个宏块，用当前视频图像在前一视频图像内进行运动估计，在所述前一视频图像中找到最匹配的宏块，得到匹配块；

权重获取模块633，用于根据得到的时域降噪级别为宏块分配一个时域滤波权重；

时域滤波模块634，用于根据所述宏块以及对应的匹配块并结合所述时域滤波权重，进行时域加权平均滤波。

其中，优选的，所述空域降噪处理单元64包括：

滤波系数获取模块641，用于将经过所述时域滤波后的视频图像中的每个像素与相邻的像素点进行加权平均运算得到空域滤波系数，所述空域滤波系数包含相邻像素点的位置信息和亮度信息；

空域滤波模块642，用于根据得到的空域降噪级别确定参与滤波的像素点邻域的大小，并利用所述空域滤波系数对视频图像的像素点进行空域滤波。

实施例四：

图8示出了本发明实施例提供的环境自适应视频图像降噪装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的环境自适应视频图像降噪装置包括：

阈值确定单元81，用于统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

信息保存单元82，用于获取降噪模式信息，当为手动降噪时，接收并保存输入的时域降噪级别和空域降噪级别；

降噪级别确定单元83，用于当降噪模式为自动降噪时，根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

时域降噪处理单元84，用于根据所述时域降噪级别对视频图像进行时域降噪处理；

空域降噪处理单元85，用于根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理。

本实施例在实施例三的基础上增加了信息保存单元82，用户可以通过相应的设置接口设置降噪模式。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种环境自适应视频图像降噪方法，其特征在于，所述方法包括：

统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

获取降噪模式信息，当为手动降噪时，接收并保存输入的时域降噪级别和空域降噪级别；

当降噪模式为自动模式时，根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

根据所述时域降噪级别对视频图像进行时域降噪处理；

根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理；

其中，所述统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值步骤，具体包括：

使用标准测光工具进行辅助测试，通过统计不同光照程度下视频图像的平均亮度，确定噪声级别以及不同噪声级别下的时域降噪初值和空域降噪初值；

在实景中进行光测试，矫正初值，得到不同噪声级别下的时域降噪阈值和空域降噪阈值。

2.如权利要求1所述方法，其特征在于，所述根据所述时域降噪级别对视频图像进行时域降噪处理步骤，具体包括:

将当前视频图像划分为不重叠的宏块；

针对每个宏块，用当前视频图像在前一视频图像内进行运动估计，在所述前一视频图像中找到最匹配的宏块，得到匹配块；

根据得到的时域降噪级别为宏块分配一个时域滤波权重；

根据所述宏块以及对应的匹配块并结合所述时域滤波权重，进行时域加权平均滤波。

3.如权利要求2所述方法，其特征在于，所述根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理步骤，具体包括：

将经过所述时域滤波后的视频图像中的每个像素与相邻的像素点进行加权平均运算得到空域滤波系数，所述空域滤波系数包含相邻像素点的位置信息和亮度信息；

根据得到的空域降噪级别确定参与滤波的像素点邻域的大小，并利用所述空域滤波系数对视频图像的像素点进行空域滤波。

4.一种环境自适应视频图像降噪装置，其特征在于，所述装置包括：

阈值确定单元，用于统计不同光照强度下视频图像的平均亮度，并确定时域降噪阈值和空域降噪阈值；

信息保存单元，用于获取降噪模式信息，当为手动降噪时，接收并保存输入的时域降噪级别和空域降噪级别；

降噪级别确定单元，用于当降噪模式为自动模式时，根据当前采集到的视频图像计算图像平均亮度，并根据所述时域降噪阈值以及空域降噪阈值确定当前的时域、空域降噪级别；

时域降噪处理单元，用于根据所述时域降噪级别对视频图像进行时域降噪处理；

空域降噪处理单元，用于根据所述空域降噪级别对时域降噪处理后的图像进行空域降噪处理；

其中，所述阈值确定单元包括：

初值获取模块，用于使用标准测光工具进行辅助测试，通过统计不同光照程度下视频图像的平均亮度，确定噪声级别以及不同噪声级别下的时域降噪初值和空域降噪初值；

阈值获取模块，用于在实景中进行光测试，矫正初值，得到不同噪声级别下的时域降噪阈值和空域降噪阈值。

5.如权利要求4所述装置，其特征在于，所述时域降噪处理单元包括：

图像划分模块，用于将当前视频图像划分为不重叠的宏块；

匹配计算模块，用于针对每个宏块，用当前视频图像在前一视频图像内进行运动估计，在所述前一视频图像中找到最匹配的宏块，得到匹配块；

权重获取模块，用于根据得到的时域降噪级别为宏块分配一个时域滤波权重；

时域滤波模块，用于根据所述宏块以及对应的匹配块并结合所述时域滤波权重，进行时域加权平均滤波。

6.如权利要求5所述装置，其特征在于，所述空域降噪处理单元包括：

滤波系数获取模块，用于将经过所述时域滤波后的视频图像中的每个像素与相邻的像素点进行加权平均运算得到空域滤波系数，所述空域滤波系数包含相邻像素点的位置信息和亮度信息；

空域滤波模块，用于根据得到的空域降噪级别确定参与滤波的像素点邻域的大小，并利用所述空域滤波系数对视频图像的像素点进行空域滤波。