CN102769722B - 时域与空域结合的视频降噪装置及方法 - Google Patents

Abstract

本发明涉及一种时域与空域结合的视频降噪装置及方法，属于视频图像处理技术领域。该装置包括时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块。该方法中，时域降噪模块根据当前点和参考点计算噪声方差、当前点运动强度、当前点的加权系数；再计算当前点平滑系数和当前帧的时域滤波的结果，并分别存储；进而利用空域降噪模块进行空域滤波，获得降噪后的图像数据。从而实现将时域降噪和空域降噪组合应用，能够获得更好的降噪效果，又能够有效减少降噪所需的系统开销，降低系统成本，其降噪装置结构简单，降噪方法的应用方式简便，应用范围也较为广泛。

Description

时域与空域结合的视频降噪装置及方法

技术领域

本发明涉及视频图像处理技术领域，特别涉及视频降噪技术领域，具体是指一种时域与空域结合的视频降噪装置及方法。

背景技术

在摄像和监控系统中，技术发展和进步的方向就是希望最终获得噪声尽可能小的图像。但受限于感光器件的灵敏度和动态范围，实际获得的图像总是存在着噪声，在光照强度较弱的情况下，噪声会变得更为明显，导致视频的清晰度下降，不利于视频图像的后续处理以及应用。为了减少噪声的影响，目前一般采用降噪装置对视频图像进行降噪处理。降噪的方法按照参考数据的不同主要分为两类：一种是空域降噪法，该降噪法利用图像内的空间相关性进行降噪，另一种是时域降噪法，该降噪法利用多帧图像在时间上的相关性进行降噪。

空域降噪最常使用的方法是低通滤波。低通滤波法是一种在频域上对图像信号进行处理的方法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分和随机噪声属于图像信号的高频率分量部分，而大面积的背景区域属于图像信号的低频率分量部分，低通滤波法通过滤除图像信号的高频部分达到降噪的目的，由于图像的边缘和跳跃部分也处于高频区域，在低通滤波后这部分信号也被滤掉了，从而导致图像边缘和跳跃部分出现模糊。为缓解这种模糊，通常使用带边界保留的滤波器，该滤波器主要思想是根据噪声方差设定一个域值，仅使用落在阈值内的邻域点做低通滤波，当边界跳跃幅度大于该阈值时，不会出现模糊，而对跳跃幅度小于该域值的边界同样会造成模糊。使用边界保留滤波进行降噪需要准确的估计噪声的方差才能达到较好的降噪效果，噪声估计若偏大则会导致过多的边界模糊，噪声估计偏小则会导致部分噪声消除不干净。总的来说，无论是采用低通滤波降噪法还是采用带边界保留的降噪法，空域降噪都不可避免的会对图像造成一定的模糊，噪声越大，被噪声淹没的纹理也越多，降噪后图像的模糊也越严重，仅依赖空域相关性难以得到满意效果，需要利用时域的相关性使用多帧的信息相互补偿才能达到更优的降噪效果，这就需要时域降噪。

时域降噪最常用的方法是多图像平均法，由于感光器件引入的随机噪声在时间上表现为零均值的加性噪声，所以采用多图象平均法能有效去除噪声。多图像平均法有两个问题，一是系统开销大，需要多帧的存储空间以及访问带宽，二是运动区域会出现“拖尾”现象。为减少系统开销，多图像平均的一种常用的运算形式是迭代运算，迭代运算使用降噪后的结果做参考，只需存储一帧，就能近似的达到多帧的效果。为了避免“拖尾”，通常采用运动检测技术对视频序列中运动区域和静止区域加以区分，对于静止区域做深度迭代运算从而达到大幅降噪的目的，而对于运动区域只是稍做迭代或是不做迭代以避免“拖尾”。视频图像中局部区域运动情况不尽相同，经过上述降噪后各区域噪声消减的程度也不尽相同，运动区域通常比静止区域有更大的噪声残余，需要进一步使用空域降噪来提升图像的质量。

在进行空域降噪时面临着噪声级别如何选取的问题，若以静止区域做参考，则运动区域噪声仍然无法去掉，若以运动区域做参考，则会导致静止区出现过度的模糊。

现有的时域和空域联合降噪方法如图1所示，其主要分为4个部分：视频信号接收，运动检测，空域降噪和时域降噪。其中运动检测用于判断当前点相对于参考点是静止还是运动，当前点和参考点的对比图如图2所示。若结果是静止的则进行空域降噪，若是运动的则进行时域降噪，时域和空域降噪的结果即为最终的降噪输出结果。这类降噪方法简单的将时域和空域降噪算法结合在一起，但达不到全局最优的效果，尤其是在运动物体的尾部会出现明显的噪点。

RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，是目前运用最广的颜色系统之一。

Bayer色彩模式被广泛应用于CCD和CMOS摄像头。它允许从一个单独平面中得到彩色图像对像素输出的RGB分量由该像素的1、2或者4邻域中具有相同颜色的点插值得到。Bayer模式可以通过向左或向上平移一个像素点来进行一些修改。

YUV是被欧洲电视系统所采用的一种颜色编码方法（属于PAL），是PAL和SECAM模拟彩色电视制式采用的颜色空间。RGB色彩模式经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y（即U）、B-Y（即V），最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是YUV色彩模式。采用YUV色彩模式的重要性是它的亮度信号Y和色度信号U、V是分离的。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种将时域降噪和空域降噪组合应用，即能够获得更好的降噪效果，又能够有效减少降噪所需的系统开销，降低系统成本，且结构简单，应用范围广泛的时域与空域结合的视频降噪装置及方法。

为了实现上述的目的，本发明的时域与空域结合的视频降噪装置具有如下构成：

其包括时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块。其中，

时域降噪模块用于从外部图像传感器获得的视频图像数据，并参考前一帧图像的平滑系数和时域降噪结果，对当前帧图像进行处理，输出当前帧的平滑系数和时域降噪结果；

平滑系数存储模块连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧平滑系数，并向所述的时域降噪模块提供前一帧平滑系数；

参考帧存储模块连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧时域降噪结果，并向所述的时域降噪模块提供前一帧时域降噪结果作为参考帧；

空域降噪模块连接于所述的时域降噪模块，根据所述的当前帧平滑系数对当前帧时域降噪结果进行空域降噪，得到降噪后的图像数据。

该时域与空域结合的视频降噪装置中，所述的时域降噪模块包括：噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元和时域滤波计算单元。其中，

噪声方差估计单元，连接于所述的外部图像传感器，用于根据下式计算当前输入视频图像数据的噪声方差σ²：

σ²=(k×G+o)×L+n，

其中，L为当前点所在区域的平均亮度，k、o和n为传感器噪声特性参数，G为图像信号增益；

运动强度计算单元，分别连接所述的外部图像传感器和参考帧存储模块，用于从所述的外部图像传感器获得当前帧，并从所述的参考帧存储模块获得参考帧，通过计算当前点及邻域的像素值相对于参考点及邻域的像素值之间的差异值得到当前点的运动强度值；

时域噪声方差调整单元，分别连接于所述的噪声方差估计单元和所述的平滑系数存储模块，用于通过下式计算当前点和参考点噪声方差累加值：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中，为时域噪声方差调整单元输出结果，σ²为当前点噪声方差值，C为参考点对应的平滑系数值；

时域滤波权值计算单元，分别连接所述的运动强度计算单元、时域噪声方差调整单元和所述的平滑系数存储模块，用于根据所述的运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值ω，并当时域滤波的权值ω小于时，将时域滤波的权值ω调整为其中C表示参考点的平滑系数；

平滑系数计算单元，分别连接所述的时域滤波权值计算单元和平滑系数存储模块，用于根据时域滤波的权值以及参考点的平滑系数通过下式计算当前点时域滤波后的平滑系数C_n：

C_n=C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值，

并将获得的当前点时域滤波后的平滑系数C_n分别发送至所述的空域降噪模块和平滑系数存储模块；

时域滤波计算单元，分别连接所述的外部图像传感器、时域滤波权值计算单元和参考帧存储模块，用于根据时域滤波权值ω对当前点和参考点通过下式进行加权平均：

P_out=ω×P_in+(1-ω)×P_ref

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果，

并将时域滤波的结果P_out分别发送至所述的空域降噪模块和参考帧存储模块。

该时域与空域结合的视频降噪装置中，所述的空域降噪模块包括：空域噪声方差调整单元和空域降噪计算单元。

空域噪声方差调整单元，分别连接所述的平滑系数计算单元和噪声方差估计单元，用于根据平滑系数和噪声方差通过下式计算空域滤波的噪声方差：

${\mathrm{\σ}}_{\mathrm{spatial}}^2={\mathrm{\σ}}^2\×C_n$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差；

空域降噪计算单元，分别连接所述的空域噪声方差调整单元和所述的时域滤波计算单元，用于根据空域噪声方差对时域滤波的结果局部调整降噪强度，并输出最终降噪后的图像数据。

该时域与空域结合的视频降噪装置中，所述的装置还包括平滑系数压缩单元和平滑系数解压单元，所述的时域降噪模块的当前帧平滑系数输出端通过所述的平滑系数压缩单元连接所述的平滑系数存储模块的输入端，该平滑系数存储模块的输出端通过所述的平滑系数解压单元连接所述的时域降噪模块的前一帧平滑系数输入端。

该时域与空域结合的视频降噪装置中，所述的外部图像传感器获得的视频图像数据为Bayer格式图像，所述的装置还包括内插模块，所述的内插模块的Bayer格式图像输入端连接所述的空域降噪模块的输出端，该内插模块的RGB格式图像输出端为该装置降噪后的图像数据的输出端。

该时域与空域结合的视频降噪装置中，所述的外部图像传感器获得的视频图像数据为Bayer格式图像，所述的装置还包括内插模块，所述的内插模块的Bayer格式图像输入端连接所述的时域降噪模块的输出端，该内插模块的RGB格式图像输出端连接所述的空域降噪模块的输入端。

本发明还提供一种利用所述的装置实现时域与空域结合的视频降噪的方法，该方法包括以下步骤：

（1）所述的时域降噪模块从外部图像传感器接收到视频图像数据；

（2）所述的时域降噪模块根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差；

（3）所述的时域降噪模块根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度；

（4）所述的时域降噪模块根据运动强度和噪声方差以及参考帧的平滑系数计算当前点的加权系数；

（5）所述的时域降噪模块根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，并将其发送至所述的平滑系数存储模块和空域降噪模块；

（6）所述的时域降噪模块根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，并将该时域滤波的结果发送至所述的参考帧存储模块和空域降噪模块；

（7）所述的空域降噪模块根据平滑系数和噪声强度计算空域滤波的噪声方差；

（8）所述的空域降噪模块根据实际噪声方差对时域滤波输出图像进行空域滤波，获得降噪后的图像数据。

该实现时域与空域结合的视频降噪的方法中，所述的时域降噪模块包括：噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元和时域滤波计算单元，所述的时域降噪模块根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差，具体为：所述的噪声方差估计单元根据下式计算当前输入视频图像数据的噪声方差σ²：

σ²=(k×G+o)×L+n，

其中，L为当前点所在区域的平均亮度，k、o和n为传感器噪声特性参数，G为图像信号增益。

该实现时域与空域结合的视频降噪的方法中，所述的时域降噪模块根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度，具体为：

所述的运动强度计算单元通过计算当前点及邻域的像素值相对于参考点及邻域的像素值之间的差异值得到当前点的运动强度值。

该实现时域与空域结合的视频降噪的方法中，所述的步骤（4）具体包括以下步骤：

（41）所述的时域噪声方差调整单元通过下式计算当前点和参考点噪声方差累加值：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中，为时域噪声方差调整单元输出结果，σ²为当前点噪声方差值，C为参考点对应的平滑系数值；

（42）所述的时域滤波权值计算单元，分别连接所述的运动强度计算单元、时域噪声方差调整单元和所述的平滑系数存储模块，用于根据所述的运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值ω，并当时域滤波的权值ω小于时，将时域滤波的权值ω调整为其中C表示参考点的平滑系数。

该实现时域与空域结合的视频降噪的方法中，所述的时域降噪模块根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，具体为：

所述的平滑系数计算单元根据时域滤波的权值以及参考点的平滑系数通过下式计算当前点时域滤波后的平滑系数C_n：

C_n=C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值。

该实现时域与空域结合的视频降噪的方法中，所述的时域降噪模块根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，具体为：

所述的时域滤波计算单元根据时域滤波权值ω对当前点和参考点通过下式进行加权平均：

P_out=ω×P_in+(1-ω)×P_ref

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果。

该实现时域与空域结合的视频降噪的方法中，所述的空域降噪模块包括：空域噪声方差调整单元和空域降噪计算单元，所述的空域降噪模块根据平滑系数和噪声强度计算空域滤波的噪声方差，具体为：

所述的空域噪声方差调整单元根据平滑系数和噪声方差并通过下式计算空域滤波的噪声方差：

${\mathrm{\σ}}_{\mathrm{spatial}}^2={\mathrm{\σ}}^2\×C_n$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差。

该实现时域与空域结合的视频降噪的方法中，所述的空域降噪模块根据实际噪声方差对时域滤波输出图像进行空域滤波，获得降噪后的图像数据，具体为：

所述的空域降噪计算单元根据空域噪声方差对时域滤波的结果局部调整降噪强度，并输出最终降噪后的图像数据。

采用了该发明的时域与空域结合的视频降噪装置及方法，其装置包括时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块。其中的时域降噪模块能根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差，根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度；根据运动强度和噪声方差以及参考帧的平滑系数计算当前点的加权系数；再根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，并将其发送至所述的平滑系数存储模块和空域降噪模块；根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，并将该时域滤波的结果发送至所述的参考帧存储模块和空域降噪模块；进而利用空域降噪模块根据平滑系数和噪声强度计算空域滤波的噪声方差；最终根据实际噪声方差对时域滤波输出图像进行空域滤波，获得降噪后的图像数据。从而实现将时域降噪和空域降噪组合应用，相较于现有技术，本发明的方法能够获得更好的降噪效果，又能够有效减少降噪所需的系统开销，降低系统成本，且本发明的时域与空域结合的视频降噪装置的结构简单，降噪方法的应用方式简便，应用范围也较为广泛。

附图说明

图1为现有技术中的时域空域联合降噪方法的示意图。

图2为本发明中当前点和参考点比较的示意图。

图3为本发明的时域与空域结合的视频降噪装置的结构示意图。

图4为本发明的实现时域与空域结合的视频降噪的方法的步骤流程图。

图5为本发明的时域与空域结合的视频降噪装置在实际应用中的总体结构示意图。

图6为本发明的实现时域与空域结合的视频降噪的方法在实际应用中的流程示意图。

图7为添加了对平滑系数进行压缩和解压的处理单元的时域与空域结合的视频降噪装置的结构示意图。

图8本发明的时域降噪和空域降噪都在Bayer格式图像进行处理装置的结构示意图。

图9本发明的时域降噪在Bayer格式图像上进行，而空域降噪都在RGB格式的图像进行的处理装置的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的技术页面，特举以下实施例详细说明。

请参阅图3所示，为本发明的时域与空域结合的视频降噪装置的结构示意图。

在一种实施方式中，该时域与空域结合的视频降噪装置包括：时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块。

其中的时域降噪模块用于从外部图像传感器获得的视频图像数据，并参考前一帧图像的平滑系数和时域降噪结果，对当前帧图像进行处理，输出当前帧的平滑系数和时域降噪结果；平滑系数存储模块连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧平滑系数，并向所述的时域降噪模块提供前一帧平滑系数；参考帧存储模块连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧时域降噪结果，并向所述的时域降噪模块提供前一帧时域降噪结果作为参考帧；而空域降噪模块则连接于所述的时域降噪模块，根据所述的当前帧平滑系数对当前帧时域降噪结果进行空域降噪，得到降噪后的图像数据。

利用该实施方式所述的装置实现时域与空域结合的视频降噪的方法，如图4所示，包括以下步骤：

（1）所述的时域降噪模块从外部图像传感器接收到视频图像数据；

（2）所述的时域降噪模块根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差；

（3）所述的时域降噪模块根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度；

（4）所述的时域降噪模块根据运动强度和噪声方差以及参考帧的平滑系数计算当前点的加权系数；

（5）所述的时域降噪模块根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，并将其发送至所述的平滑系数存储模块和空域降噪模块；

（6）所述的时域降噪模块根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，并将该时域滤波的结果发送至所述的参考帧存储模块和空域降噪模块；

（7）所述的空域降噪模块根据平滑系数和噪声强度计算空域滤波的噪声方差；

（8）所述的空域降噪模块根据实际噪声方差对时域滤波输出图像进行空域滤波，获得降噪后的图像数据。

在一种较优选的实施方式中，所述的时域降噪模块包括：噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元和时域滤波计算单元。

在利用该较优选的实施方式所述的装置实现时域与空域结合的视频降噪的方法中，所述的步骤（2），具体为：所述的噪声方差估计单元根据下式计算当前输入视频图像数据的噪声方差σ²：

σ²=(k×G+o)×L+n，

其中，L为当前点所在区域的平均亮度，k、o和n为传感器噪声特性参数，G为图像信号增益。

所述的步骤（3）具体为：所述的运动强度计算单元通过计算当前点及邻域的像素值相对于参考点及邻域的像素值之间的差异值得到当前点的运动强度值。

所述的步骤（4）具体包括以下步骤：

（41）所述的时域噪声方差调整单元通过下式计算当前点和参考点噪声方差累加值：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中，为时域噪声方差调整单元输出结果，σ²为当前点噪声方差值，C为参考点对应的平滑系数值；

（42）所述的时域滤波权值计算单元，分别连接所述的运动强度计算单元、时域噪声方差调整单元和所述的平滑系数存储模块，用于根据所述的运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值ω，并当时域滤波的权值ω小于时，将时域滤波的权值ω调整为其中C表示参考点的平滑系数。

步骤（5）中所述的时域降噪模块根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，具体为：所述的平滑系数计算单元根据时域滤波的权值以及参考点的平滑系数通过下式计算当前点时域滤波后的平滑系数C_n：

C_n=C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值。

且步骤（6）中所述的时域降噪模块根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，具体为：所述的时域滤波计算单元根据时域滤波权值ω对当前点和参考点通过下式进行加权平均：

P_out=ω×P_in+(1-ω)×P_ref

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果。

在一种进一步优选的实施方式中，所述的空域降噪模块包括空域噪声方差调整单元和空域降噪计算单元，所述的步骤（7）具体为：所述的空域噪声方差调整单元根据平滑系数和噪声方差并通过下式计算空域滤波的噪声方差：

${\mathrm{\σ}}_{\mathrm{spatial}}^2={\mathrm{\σ}}^2\×C_n$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差。

且所述的步骤（8）具体为：所述的空域降噪计算单元根据空域噪声方差对时域滤波的结果局部调整降噪强度，并输出最终降噪后的图像数据。

在一种更进一步优选的实施方式中，所述的装置还包括平滑系数压缩单元和平滑系数解压单元，所述的时域降噪模块的当前帧平滑系数输出端通过所述的平滑系数压缩单元连接所述的平滑系数存储模块的输入端，该平滑系数存储模块的输出端通过所述的平滑系数解压单元连接所述的时域降噪模块的前一帧平滑系数输入端。

相应的，步骤（5）中从所述的平滑系数存储模块读取前一帧的平滑系数与将当前帧的平滑系数写入所述的平滑系数存储模块都对应地添加了压缩与解压的步骤。

在一种更优选的实施方式中，所述的外部图像传感器获得的视频图像数据为Bayer格式图像，所述的装置还包括内插模块。该内插模块可以选择设置于空域降噪模块之后，则内插模块的Bayer格式图像输入端连接所述的空域降噪模块的输出端，该内插模块的RGB格式图像输出端为该装置降噪后的图像数据的输出端。该内插模块也可以选择设置于所述的时域降噪模块和空域降噪模块之间，则该内插模块的Bayer格式图像输入端连接所述的时域降噪模块的输出端，该内插模块的RGB格式图像输出端连接所述的空域降噪模块的输入端。

在实际应用中，本发明的装置与方法实现时域和空域联合降噪后输出的图像各部分噪声消减的幅度一致，无论是运动还是静止区域或是运动物体边缘都能得到同等强度的降噪。为了实现这一效果，本发明引入了“平滑系数”相关的处理，“平滑系数”表示时域降噪后图像中每个像素点噪声方差相对于原始输入的噪声方差的比，平滑系数的取值范围是[0,1]，该值越小说明噪声残余也越小。本发明的装置的总体结构如图5所示，共分为有9个单元：参考帧及其平滑系数存储单元、噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元、时域滤波计算单元、空域噪声方差调整单元和空域降噪计算单元。各单元的具体功能及单元间的连接关系如下所述：

单元301、参考帧及其平滑系数存储单元用于存储参考帧和平滑系数，参考帧的类型可以是其它输入帧的数据可以是时域滤波的输出结果也可以是二者的结合，图中给出的是时域滤波的结果做参考帧的情况，在时域滤波计算时需用到参考帧的数据，时域滤波的输出结果用于更新参考帧的数据。与参考帧的数据对应的是平滑系数，平滑系数记录参考帧的每个像素点噪声相对于原始输入的比例，在时域噪声方差调整、时域滤波权值计算和平滑系数计算时都需使用所存储的平滑系数，平滑系数计算单元的输出结果用于平滑系数的更新。

单元302、噪声方差估计单元用于计算当前输入数据的噪声方差，噪声方差是噪声大小的度量值，一般来说噪声越大其方差也越大，时域和空域噪声方差调整单元以该噪声方差为基准进行相应的计算得到是域噪声方差和空域噪声方差。噪声方差估计单元充分利用图像传感器的噪声特性计算图像内每个像素点的噪声方差，通过对图像传感器的噪声进行分析发现图像传感器的噪声近似为泊松分布，而且噪声的强度和传感器的动态范围、灵敏度、光照以及图像信号的增益有关。对于一个传感器来说其动态范围和灵敏度是内在的且固定不变的，图像之间噪声强度的变化仅受光照和系统增益的影响，而对于一帧图像来说增益也是相同的，所以图像内局部噪声大小的变化仅依赖于局部光照强度，而局部光照的强度可以根据局部图像的亮度、系统增益、曝光时间以及传感器光电转换效率反推出来，而局部图像的亮度可以用局部像素点的平均值近似替代。总的来说，局部噪声方差可通过当前点及邻域的像素值（简称为“当前块”）、图像传感器的噪声特性参数和图像信号的增益计算得到。首先对“当前块”内的像素进行加权平均得到当前点所在区域的平均亮度值，然后以平均亮度值并结合噪声特性参数和系统增益计算点前点的噪声方差。

单元303、运动强度计算单元用于计算当前点相对于参考点的运动强度值，值越大说明运动越剧烈，时域滤波权值计算单元利用该运动强度值计算时域滤波权值。运动强度的计算需使用当前点及邻域的像素值（当前块）以及参考点及邻域的像素值（参考块），如图2所示，通过计算“当前块”相对于“参考块”的差异值得到当前点的运动强度值，差异值的计算有多种方法，例如：绝对差和，绝对平方差和以及加权平均绝对差。

单元304、时域噪声方差调整单元用于计算当前点和参考点噪声方差累加值，其中当前点的噪声方差为噪声方差计算的结果，而参考点的噪声方差在此基础上乘以一个平滑系数，具体计算的方法如下式所示：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中σ²为当前点噪声方差值，C为参考点对应的平滑系数值，为时域噪声方差调整单元输出结果，该值将提供给时域滤波权值计算单元使用。

单元305、时域滤波权值计算单元根据运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值，该值将提供给平滑系数计算单元和时域滤波计算单元使用。首先计算“绝对运动强度”，这里将运动强度值除以时域噪声方差所得到的值称为“绝对运动强度”，“绝对运动强度”越小，在时域滤波时分配给当前点的权值也越小，反之，分配给当前点的权值也越大。实现时可根据实际需求建立一个“绝对运动强度”与权值的映射函数，如果噪声方差跨度过大可对噪声方差分级，针对不同级别的噪声方差建立不同的映射函数，以提高整体时域降噪的性能，建立映射函数的约束是避免运动“拖尾”的同时尽可能提高静止区域时域降噪强度。另外，由于参考点的局部噪声消减幅度不一样，仅使用上述“权值”做时域降噪还不能达到最优的效果，还需要对该“权值”做调整以保证时域滤波后噪声最快的消减，调整的方法是：当“权值”小于时，将“权值”调整为这里C表示参考点的平滑系数。

单元306、平滑系数计算单元根据时域滤波的权值以及参考点的平滑系数计算当前点时域滤波后的平滑系数，平滑系数表示当前点做时域滤波后噪声方差相对于原始输入噪声方差的比值，具体计算的方法如下：

C_n=C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值，C_n为当前点时域滤波后的平滑系数。

平滑系数一方面可用来调整空域降噪的噪声方差保证空域降噪以合理强度对每个像素点进行降噪，另一方面将平滑系数存储到存储单元与参考帧对应记录参考帧各个像素点噪声消减的具体情况，可供下一帧图像降噪时使用，由于平滑系数在空间上具有较强的相关性，可将其压缩存储，以减少存储空间和访问带宽，压缩的方法可以是无损压缩也可以是有损压缩，一种简单的方法是对其进行下采样后再存储，使用时先做上采样处理。

单元307、时域滤波计算单元根据时域滤波权值对当前点和参考点进行加权平均，加权平均的计算方法如下式所示：

P_out=ω×P_in+(1-ω)×P_ref，

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果。

时域滤波的后绝对运动小的地方噪声残余小，而绝对运动大的地方还较大的噪声残余；但无论噪声残余大小如何，都需要将时域滤波的结果送给空域降噪单元做进一步的空域降噪处理，同时将时域滤波的结果存储到存储单元作为下一帧时域降噪的参考帧。

单元308、空域噪声方差调整单元根据平滑系数和噪声方差计算空域滤波的噪声方差，空域降噪单元根据该噪声方差调整降噪强度，调整的原则是保证空域降噪后全局噪声消减的幅度一致，噪声方差调整计算的方法如下式所示：

${\mathrm{\σ}}_{\mathrm{spatial}}^2={\mathrm{\σ}}^2\×C_n,$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差。

单元309、空域降噪单元用于对时域滤波的结果做进一步的降噪处理，根据空域噪声方差局部调整降噪强度，在噪声方差大的地方提高降噪强度保证噪声能够有效去除，而在噪声方差小的地方降低降噪强度保护图像的细节以防止图像模糊。空域降噪常用的方法有低通滤波法和带边界保留的滤波法，无论是采用那中空域降噪法，只要严格的按照空域噪声方差调整降噪强度，就可以得到局部噪声消减幅度一致的降噪效果。空域降噪的结果即为最终的降噪输出结果。

图5同时给出了时域降噪和空域降噪的分布，其中参考帧及其平滑系数存储单元、噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元、时域滤波计算单元属于时域降噪部分，而空域噪声方差调整单元和空域降噪计算单元属于空域降噪部分。时域降噪和空域降噪是串联的结构，所有的像素点都进行时域降噪和空域降噪，时域降传给空域降噪的数据包括：噪声方差，平滑系数和时域滤波运算结果。

本发明使用前一帧时域滤波的输出结果做参考，这样做的好处是在利用多帧参考信息的同时只需要一帧的存储和访问开销，降低了系统成本，另外本发明提出了平滑系数的概念以及平滑系数的计算和使用方法，平滑系数贯穿于整个降噪过程，如加权系数计算，平滑系数更新计算，权值的快速收敛计算和空域滤波噪声方差的调整等。平滑系数记录时域滤波后输出数据各像素点噪声相对于输入原始输入所消减的程度。利用平滑系数一方面可提高运动检测的准确度，避免运动剧烈的画面出现“拖尾”现象，另一方面可有效调整局部空域滤波的强度，使整个画面降噪强度趋向一致，从而提升整个系统的降噪性能，平滑系数是时域和空域降噪能够无缝结合的基础。

本发明的视频降噪方法在实际应用中包括以下内容：

根据输入图像当前点的平均亮度，传感器噪声特性参数和图像信号增益计算噪声方差；

根据运动强度、噪声方差和平滑系数计算时域滤波的权值；

根据时域滤波的权值递归的计算平滑系数,用平滑系记录时域降噪后输出图像局部噪声消减的值；

根据平滑系数修正时域滤波时局部的噪声方差，提高权值计算准确性；

根据平滑系数修正空域滤波时局部的噪声方差，使时域和空域降噪无缝结合；

将平滑系数和参考帧的数据一起存储在存储单元中，用存储的平滑系数记录参考帧的局部噪声消减的值；

将平滑系数压缩存储，减少系统存储空间和访问带宽。

具体而言，该时域空域结合的降噪处理方法。如图6所示，包括以下步骤：

步骤501、从CMOS（Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体）图像传感器或CCD(Charge Coupled Device，电荷耦合器件)图像传感器接收视频信号；

步骤502、根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差；

步骤503、计算当前点运动强度，运动强度计算的方法为：计算当前点及其邻域相对于参考块的差异大小，差异大小的计算可以是绝对差的和，绝对差平方和或是加权平均绝对差等；

步骤504、根据运动强度和噪声方差以及参考帧的平滑系数计算当前点的加权系数，运动强度相对于噪声强度的比值越大，当前点实际运动强度越强，此时增加当前点的权值以降低时域滤波的强度，这样可避免运动区域“拖尾”现象；运动强度相对于噪声强度的比值越小，当前点实际运动越弱，此时减小当前点的权值以提高时域滤波强度，这样可有效去除细微运动或静止区域的噪声。在计算权值时需要考虑的另外一个因素是参考帧的噪声强度，本实施例中用前一帧时域滤波的结果做参考帧，并同时存储相应的平滑系数用以记录每个点噪声消减的幅度，如果平滑系数值小说明参考区域噪声消减幅度较大，在保证不出现“拖尾”情况下适当的增强时域滤波强度（减小当前点的权值），如果平滑系数值大说明参考区域本身就有较大的噪声，适当减弱时域滤波强度，使噪声最快消减；

步骤505、根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数；

步骤506、根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果；

步骤507、根据平滑系数和噪声强度计算空域滤波的噪声方差；

步骤508、根据实际噪声方差对时域滤波输出图像做空域滤波，空域滤波的方法既可是低通滤波也可以是边界保留滤波例如双边滤波、非局部均值滤波等。

实现上述方法的装置如图3所示，包括：

单元601为图像传感器，将光信号转为电信号再转为数字图像信号得到图像数据。

单元602为平滑系数存储单元，用于平滑系数的存储与访问。

单元603为时域降噪单元，根据参考帧和平滑系数对输入的图像数据进行时域滤波处理，输出时域降噪结果和对应的平滑系数。

单元604为参考帧存储单元，用于参考帧的存储与访问。

单元605为空域降噪单元，根据平滑系数对时域滤波结果进行空域滤波，得到降噪后的图像数据。

进一步的，在图3所示的装置的基础上还可以添加对平滑系数进行压缩和解压的处理单元，如图7所示，其中：

单元701为平滑系数解压单元，对压缩的平滑系数进行解压处理得到逐点的平滑系数值。

单元702为平滑系数压缩单元，对压缩的平滑系数进行压缩处理减少平滑系数的存储空间，得到压缩的平滑系数值。

本发明的降噪方法可以是时域降噪和空域降噪都在Bayer格式图像进行处理的方法，如图8所示：

单元801为图像传感器，接受Bayer格式图像。

单元802为时域降噪单元，对Bayer格式图像进行时域降噪，并输出和降噪后Bayer图像相对应的平滑系数。

单元803为参考帧和平滑系数存储单元，用于存储时域降噪后的Bayer格式参考帧的数据和平滑系数。

单元804为空域降噪单元、对时域降噪后输出的Bayer格式图像进行空域降噪。

单元805为内插单元、用于将降噪后的Bayer格式图像转换为RGB格式的图像。

本发明的降噪方法也可以是时域降噪在Bayer格式图像上进行，而空域降噪都在RGB格式的图像进行的处理方法。

如图9所示：与图8所示装置结构不同的是，空域降噪从Bayer格式的图像该到RGB格式图像，在Bayer格式上一个像素点只有一个通道的数据，一个像素点也只有一个平滑系数值；而对于RGB格式的数据一个像素点有3个通道的值，在进行空域降噪时R、G和B通道都使用同一个平滑系数。

与图8、图9所示的降噪装置及方法相类似，时域降噪和空域降噪可以有多种组合，例如时域降噪在Bayer格式图像上，空域降噪在YUV格式图像上；时域降噪在RGB格式图像上，空域降噪在RGB格式或YUV格式图像上；时域降噪和空域降噪都在YUV格式图像上；对于其它格式的图像降噪算法同样适用。

采用了该发明的时域与空域结合的视频降噪装置及方法，其装置包括时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块。其中的时域降噪模块能根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差，根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度；根据运动强度和噪声方差以及参考帧的平滑系数计算当前点的加权系数；再根据加权系数以及参考点平滑系数计算当前点时域滤波后的平滑系数，并将其发送至所述的平滑系数存储模块和空域降噪模块；根据当前点和参考点以及加权系数获得当前帧的时域滤波的结果，并将该时域滤波的结果发送至所述的参考帧存储模块和空域降噪模块；进而利用空域降噪模块根据平滑系数和噪声强度计算空域滤波的噪声方差；最终根据实际噪声方差对时域滤波输出图像进行空域滤波，获得降噪后的图像数据。从而实现将时域降噪和空域降噪组合应用，相较于现有技术，本发明的方法能够获得更好的降噪效果，又能够有效减少降噪所需的系统开销，降低系统成本，且本发明的时域与空域结合的视频降噪装置的结构简单，降噪方法的应用方式简便，应用范围也较为广泛。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (7)

1.一种时域与空域结合的视频降噪装置，其特征在于，所述的装置包括：

时域降噪模块，用于从外部图像传感器获得的视频图像数据，并参考前一帧图像的平滑系数和时域降噪结果，对当前帧图像进行处理，输出当前帧的平滑系数和时域降噪结果，其中：

所述的时域降噪模块包括：

噪声方差估计单元，连接于所述的外部图像传感器，用于根据下式计算当前输入视频图像数据的噪声方差σ²：

σ²＝(k×G+o)×L+n，

其中，L为当前点所在区域的平均亮度，k、o和n为传感器噪声特性参数，G为图像信号增益；

运动强度计算单元，分别连接所述的外部图像传感器和参考帧存储模块，用于从所述的外部图像传感器获得当前帧，并从所述的参考帧存储模块获得参考帧，通过计算当前点及邻域的像素值相对于参考点及邻域的像素值之间的差异值得到当前点的运动强度值；

时域噪声方差调整单元，分别连接于所述的噪声方差估计单元和所述的平滑系数存储模块，用于通过下式计算当前点和参考点噪声方差累加值：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中，为时域噪声方差调整单元输出结果，σ²为当前点噪声方差值，C为参考点对应的平滑系数值；

时域滤波权值计算单元，分别连接所述的运动强度计算单元、时域噪声方差调整单元和所述的平滑系数存储模块，用于根据所述的运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值ω，并当时域滤波的权值ω小于时，将时域滤波的权值ω调整为其中C表示参考点的平滑系数；

平滑系数计算单元，分别连接所述的时域滤波权值计算单元和平滑系数存储模块，用于根据时域滤波的权值以及参考点的平滑系数通过下式计算当前点时域滤波后的平滑系数C_n：

C_n＝C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值，

并将获得的当前点时域滤波后的平滑系数C_n分别发送至所述的空域降噪模块和平滑系数存储模块；

时域滤波计算单元，分别连接所述的外部图像传感器、时域滤波权值计算单元和参考帧存储模块，用于根据时域滤波权值ω对当前点和参考点通过下式进行加权平均：

P_out＝ω×P_in+(1-ω)×P_ref

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果，

并将时域滤波的结果P_out分别发送至所述的空域降噪模块和参考帧存储模块；

平滑系数存储模块，连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧平滑系数，并向所述的时域降噪模块提供前一帧平滑系数；

参考帧存储模块，连接于所述的时域降噪模块，用于存储所述的时域降噪模块输出的当前帧时域降噪结果，并向所述的时域降噪模块提供前一帧时域降噪结果作为参考帧；

空域降噪模块，连接于所述的时域降噪模块，根据所述的当前帧平滑系数对当前帧时域降噪结果进行空域降噪，得到降噪后的图像数据，其中：

所述的空域降噪模块包括：

空域噪声方差调整单元，分别连接所述的平滑系数计算单元和噪声方差估计单元，用于根据平滑系数和噪声方差通过下式计算空域滤波的噪声方差：

${\mathrm{\σ}}_{\mathrm{spatial}}^2{=\mathrm{\σ}}^2\×C_n$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差；

空域降噪计算单元，分别连接所述的空域噪声方差调整单元和所述的时域滤波计算单元，用于根据空域噪声方差对时域滤波的结果局部调整降噪强度，并输出最终降噪后的图像数据。

2.根据权利要求1所述的时域与空域结合的视频降噪装置，其特征在于，所述的装置还包括平滑系数压缩单元和平滑系数解压单元，所述的时域降噪模块的当前帧平滑系数输出端通过所述的平滑系数压缩单元连接所述的平滑系数存储模块的输入端，该平滑系数存储模块的输出端通过所述的平滑系数解压单元连接所述的时域降噪模块的前一帧平滑系数输入端。

3.根据权利要求1或2所述的时域与空域结合的视频降噪装置，其特征在于，所述的外部图像传感器获得的视频图像数据为Bayer格式图像，所述的装置还包括内插模块，所述的内插模块的Bayer格式图像输入端连接所述的空域降噪模块的输出端，该内插模块的RGB格式图像输出端为该装置降噪后的图像数据的输出端。

4.根据权利要求1或2所述的时域与空域结合的视频降噪装置，其特征在于，所述的外部图像传感器获得的视频图像数据为Bayer格式图像，所述的装置还包括内插模块，所述的内插模块的Bayer格式图像输入端连接所述的时域降噪模块的输出端，该内插模块的RGB格式图像输出端连接所述的空域降噪模块的输入端。

5.一种实现时域与空域结合的视频降噪的方法，该方法应用于时域与空域结合的视频降噪装置，所述的装置包括时域降噪模块、平滑系数存储模块、参考帧存储模块和空域降噪模块，所述的时域降噪模块包括噪声方差估计单元、运动强度计算单元、时域噪声方差调整单元、时域滤波权值计算单元、平滑系数计算单元和时域滤波计算单元，所述的空域降噪模块包括空域噪声方差调整单元和空域降噪计算单元，其特征在于，所述的方法包括以下步骤：

(1)所述的时域降噪模块从外部图像传感器接收到视频图像数据；

(2)所述的时域降噪模块根据当前点及其邻域的平均亮度，并结合传感器噪声特性参数以及图像信号增益计算噪声方差，该步骤具体为：

所述的噪声方差估计单元根据下式计算当前输入视频图像数据的噪声方差σ²：

σ²＝(k×G+o)×L+n，

其中，L为当前点所在区域的平均亮度，k、o和n为传感器噪声特性参数，G为图像信号增益；

(3)所述的时域降噪模块根据当前点及其邻域相对于参考块的差异大小计算当前点运动强度，该步骤具体为：

所述的运动强度计算单元通过计算当前点及邻域的像素值相对于参考点及邻域的像素值之间的差异值得到当前点的运动强度；

(4)所述的时域降噪模块根据运动强度和噪声方差以及参考帧的平滑系数计算时域滤波的权值，该步骤具体包括以下步骤：

(41)所述的时域噪声方差调整单元通过下式计算当前点和参考点噪声方差累加值：

${\mathrm{\σ}}_{\mathrm{temperal}}^2=(1+C)\×{\mathrm{\σ}}^2,$

其中，为时域噪声方差调整单元输出结果，σ²为当前点噪声方差值，C为参考点对应的平滑系数值；

(42)所述的时域滤波权值计算单元根据所述的运动强度值、时域噪声方差和参考帧的平滑系数计算时域滤波的权值ω，并当时域滤波的权值ω小于时，将时域滤波的权值ω调整为其中C表示参考点的平滑系数；

(5)所述的时域降噪模块根据时域滤波的权值以及参考点平滑系数计算当前点时域滤波后的平滑系数，并将其发送至所述的平滑系数存储模块和空域降噪模块，其中：

所述的时域降噪模块根据权值以及参考点平滑系数计算当前点时域滤波后的平滑系数，具体为：

所述的平滑系数计算单元根据时域滤波的权值以及参考点的平滑系数通过下式计算当前点时域滤波后的平滑系数C_n：

C_n＝C_n-1×(1-ω)²+1×ω²

其中，C_n-1为对应参考点的平滑系数，ω为时域滤波的权值；

(6)所述的时域降噪模块根据当前点和参考点以及时域滤波的权值获得当前帧的时域滤波的结果，并将该时域滤波的结果发送至所述的参考帧存储模块和空域降噪模块，其中：

所述的时域降噪模块根据当前点和参考点以及时域滤波的权值获得当前帧的时域滤波的结果，具体为：

所述的时域滤波计算单元根据时域滤波的权值ω对当前点和参考点通过下式进行加权平均：

P_out＝ω×P_in+(¹-ω)×P_ref

其中P_in为当前点的值，P_ref为参考点的值，ω为当前点权值，P_out为时域滤波的结果；

(7)所述的空域降噪模块根据平滑系数和噪声方差计算空域滤波的噪声方差；

(8)所述的空域降噪模块根据空域滤波的噪声方差对时域滤波的结果进行空域滤波，获得降噪后的图像数据。

6.根据权利要求5所述的实现时域与空域结合的视频降噪的方法，其特征在于，所述的空域降噪模块包括：空域噪声方差调整单元和空域降噪计算单元，所述的空域降噪模块根据平滑系数和噪声方差计算空域滤波的噪声方差，具体为：

所述的空域噪声方差调整单元根据平滑系数和噪声方差并通过下式计算空域滤波的噪声方差：

${\mathrm{\σ}}_{\mathrm{spatial}}^2{=\mathrm{\σ}}^2\×C_n$

其中，σ²为原始输入的噪声方差，C_n为时域滤波后的平滑系数，为调整后的空域噪声方差。

7.根据权利要求6所述的实现时域与空域结合的视频降噪的方法，其特征在于，所述的空域降噪模块根据空域滤波的噪声方差对时域滤波的结果进行空域滤波，获得降噪后的图像数据，具体为：

所述的空域降噪计算单元根据空域滤波的噪声方差对时域滤波的结果局部调整降噪强度，并输出最终降噪后的图像数据。