CN104125474B

CN104125474B - 一种自适应夜视视频降噪方法

Info

Publication number: CN104125474B
Application number: CN201410319459.8A
Authority: CN
Inventors: 贺超; 马敬锐; 姜河; 孙建军; 赵莹; 陈乃澍
Original assignee: Shandong Sheenrun Optics Electronics Co Ltd
Current assignee: Shandong Sheenrun Optics Electronics Co Ltd
Priority date: 2014-07-07
Filing date: 2014-07-07
Publication date: 2017-03-08
Anticipated expiration: 2034-07-07
Also published as: CN104125474A

Abstract

本发明的自适应夜视视频降噪方法，包括：a).获取灰度值图像，存至图像和中；b).获取当前帧图像，存至图像中；c).求取当前帧图像与前一帧图像的相关系数；d).求取相关系数矩阵；e).求取当前图像中所有像素点的帧累积滤波系数；f).图像滤波处理，根据步骤e)中所求出的每个像素点的帧累积滤波系数，进行自适应帧累积滤波处理；g).依次滤波，采用步骤b)至步骤f)相同的方法进行滤波。本发明的夜视视频降噪方法，通过计算相关系数，然后自适应的确定帧累积的滤波系数，采用自适应的滤波系数对当前帧图像进行滤波，既减轻了运动区域的拖尾现象，又避免了整块运动补偿产生的块现象，并且计算复杂度低，可用于实时处理。

Description

一种自适应夜视视频降噪方法

技术领域

本发明涉及一种自适应夜视视频降噪方法，更具体的说，尤其涉及一种根据当前帧与前一帧图像的相关系数来实时调整滤波系数的自适应夜视视频降噪方法。

背景技术

在安防领域中，夜间监控一直是重要的应用领域，但受制于夜间的低光照环境，监控设备获取的图像都伴有大量的噪声，严重影响视觉质量及视频编码效率。

目前对于夜间的噪声图像处理，通常使用的方法主要有两类，一类是利用单帧图像信息进行空域滤波算法，这类算法的噪声消除能力很弱，并且很容易造成图像细节的模糊，虽然有BM3D等边缘保持滤波算法，但是其过大的计算复杂度使其无法应用于实时的视频监控领域。

另一类方法是利用多帧视频画面进行平均的帧累积时域滤波方法，这种方法对于噪声的抑制有明显的效果，但由于会在当前帧图像中保留大量的历史信息，会造成运动区域的模糊，也就是通常所说的拖尾现象。帧累积滤波算法的公式为，其中为滤波系数，为滤波结果，为上一帧的滤波结果，为当前帧图像。

现在有通过运动检测改进的帧累积算法，这些算法通常使用基于块匹配的运动检测技术对图像进行运动检测，对图像中的静止区域与运动区域进行区分，并根据检测的结果进行相应的运动补偿。由于使用的基于块的运动检测，当对不同的块采用不同滤波系数或不同滤波方法时，很容易产生块现象。这种块现象造成的视觉降质往往比视频中原有的噪声更加明显。

发明内容

本发明为了克服上述技术问题的缺点，提供了一种根据当前帧与前一帧图像的相关系数来实时调整滤波系数的自适应夜视视频降噪方法。

本发明的自适应夜视视频降噪方法，其特别之处在于，通过以下步骤来实现：a).获取灰度值图像，对于待处理的数字量视频信号，提取灰度值图像作为待处理图像；获取待处理图像的第一帧图像并对其进行处理，将处理后的图像保存到图像和中；b).获取当前帧图像，获取待处理图像中当前帧的灰度值图像，将其存储至图像中； c).求取相关系数，选取当前帧图像上的某一点，以此像素点为中心，选取边长为L的方块中所有像素点作为采样集合,同时选取前一帧图像上相同位置的所有像素点作为采样集合，然后利用公式（1）计算出两个结合的相关系数:

（1）

、分别为两个采样集合、的方差，其通过公式（2）进行求取：

（2）

为两采样集合的协方差，其通过公式（3）进行求取：

（3）

其中，表示样本的均值；d).求取相关系数矩阵，对于当前帧图像上的所有像素点依次按照步骤c)所述的方法计算出其对应的相关系数，相关系数就组成与视频图像维数相同的相关系数矩阵，其中为图像宽度，为图像高度；e).求取滤波系数，相关系数矩阵中的元素用表示；选取出相关系数矩阵中数值较小的个相关系数，求取其平均值，设求取的平均值为，作为运动区域的平均相关系数；选取出相关系数矩阵中数值较大的个相关系数，求取其平均值，设求取的平均值为，作为无运动区域的平均相关系数；利用公式（4）求取出当前图像中所有像素点的帧累积滤波系数：

（4）

其中，、为提前设定的帧累积滤波系数，＜，为以坐标点为中心所计算出的相关系数，为当前图像中坐标点为的帧累积滤波系数；f).图像滤波处理，根据步骤e)中所求出的每个像素点的帧累积滤波系数，利用公式（5）对其进行自适应帧累积滤波处理，以获取当前帧的滤波结果；

（5）

其中，为上一帧图像的滤波结果，为当前帧图像，为当前帧滤波处理后的图像；g).依次滤波，将步骤f)中获取的当前帧的滤波结果存入至，前一帧图像的值更新为当前帧图像的值，采用步骤b)至步骤f)相同的方法对视频帧图像进行滤波；滤波过程中滤波结果即为滤波后的视频数据。

本发明的自适应夜视视频降噪方法，步骤c)中相关系数求取的过程中，采用滑动窗口的方式对图像的所有采样集合的相关系数进行计算；步骤e)中，可由帧累积滤波系数形成滤波系数矩阵，利用滤波系数矩阵对当前帧图像进行滤波处理。

本发明的自适应夜视视频降噪方法，步骤e)中，所述的帧累积滤波系数、的取值范围分别为10%～30%、50%～70%。

本发明的有益效果是：本发明的夜视视频降噪方法，通过计算当前帧图像与前一帧图像对应采样集合的相关系数，来得到每个像素点的运动强度，然后自适应的确定帧累积的滤波系数，采用自适应的滤波系数对当前帧图像进行滤波，既减轻了运动区域的拖尾现象，又避免了整块运动补偿产生的块现象，并且计算复杂度低，可用于实时处理。

附图说明

图1为本发明中采用滑动窗口的方式计算相关系数的原理图；

图2给出了一种典型的自适应夜视视频降噪系统的原理图；

图3为本发明的自适应夜视视频降噪方法的流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图2所示，给出了一种典型的自适应夜视视频降噪系统的原理图，本系统主要由视频采集设备、嵌入式图像处理模块、视频输出显示系统组成，针对夜视黑白图像进行降噪处理。

视频采集设备获取PAL或者NTSC制式的模拟视频信号，通过TVP5158视频解码器转换为可以供图像处理使用的数字视频信号，数字信号送入DM6467TARM+DSP异构双核处理器中，转换为灰度图像，然后利用本发明提出的图像处理算法进行图像滤波处理，处理后的图像输出至ADV7343视频编码器中，经编码形成标准视频制式进行输出。

如图3所示，给出了本发明的自适应夜视视频降噪方法的流程图，其通过以下步骤来实现：

a).获取灰度值图像，对于待处理的数字量视频信号，提取灰度值图像作为待处理图像；获取待处理图像的第一帧图像并对其进行处理，将处理后的图像保存到图像和中；

、以及为图像存储空间，分别存储前一帧图像、前一帧图像的滤波结果以及当前帧图像；在灰度值图像获取时，对于采集的YUV数字量视频信号，单独提取Y通道分量即可获取灰度值图像；

b).获取当前帧图像，获取待处理图像中当前帧的灰度值图像，将其存储至图像中；

c).求取相关系数，选取当前帧图像上的某一点，以此像素点为中心，选取边长为L的方块中所有像素点作为采样集合,同时选取前一帧图像上相同位置的所有像素点作为采样集合，然后利用公式（1）计算出两个结合的相关系数:

（1）

（2）

为两采样集合的协方差，其通过公式（3）进行求取：

（3）

其中，表示样本的均值；

如图1所示，给出了采用滑动窗口的方式计算相关系数的原理图，前一帧图像中的方形实线区域为以左侧像素点为中心的采样区域，其在当前帧图像对应的区域也为实线方形区域；计算出方形实线区域的相关系数之后，再对当前帧图像和前一帧图像中虚线区域的相关系数进行计算，依次进行下去，直至所有的像素点计算完毕。

d).求取相关系数矩阵，对于当前帧图像上的所有像素点依次按照步骤c)所述的方法计算出其对应的相关系数，相关系数就组成与视频图像维数相同的相关系数矩阵，其中为图像宽度，为图像高度；

e).求取滤波系数，相关系数矩阵中的元素用表示；选取出相关系数矩阵中数值较小的个相关系数，求取其平均值，设求取的平均值为，作为运动区域的平均相关系数；

选取出相关系数矩阵中数值较大的个相关系数，求取其平均值，设求取的平均值为，作为无运动区域的平均相关系数；

利用公式（4）求取出当前图像中所有像素点的帧累积滤波系数：

（4）

其中，、为提前设定的帧累积滤波系数，＜，为以坐标点为中心所计算出的相关系数，为当前图像中坐标点为的帧累积滤波系数；

相关系数越大，说明两点相似程度越高，相对运动不明显，滤波系数相应的增大；相关系数越小，说明两点相似程度越低，相对运动明显，滤波系数相应的减小。因此，滤波系数与相关系数应具有正相关性。

其中，帧累积滤波系数、的取值范围可分别为10%～30%、50%～70%。

f).图像滤波处理，根据步骤e)中所求出的每个像素点的帧累积滤波系数，利用公式（5）对其进行自适应帧累积滤波处理，以获取当前帧的滤波结果；

（5）

其中，为上一帧图像的滤波结果，为当前帧图像，为当前帧滤波处理后的图像；

g).依次滤波，将步骤f)中获取的当前帧的滤波结果存入至，前一帧图像的值更新为当前帧图像的值，采用步骤b)至步骤f)相同的方法对视频帧图像进行滤波；滤波过程中滤波结果即为滤波后的视频数据。

Claims

1.一种自适应夜视视频降噪方法，其特征在于，通过以下步骤来实现：

a).获取灰度值图像，对于待处理的数字视频信号，提取灰度值图像作为待处理图像；获取待处理图像的第一帧图像并对其进行处理，将处理后的图像保存到图像I_pre和I_out中；

b).获取待处理图像中当前帧的灰度值图像，将其存储至图像I_cur中；

c).求取相关系数，选取当前帧图像I_cur上的某一点，以此像素点为中心，选取边长为L的方块中所有像素点作为采样集合X1,同时选取前一帧图像I_pre上相同位置的所有像素点作为采样集合X2，然后利用公式(1)计算出两个结合的相关系数R(X1，X2):

R (X 1, X 2) = \frac{cov (X 1, X 2)}{\sqrt{D (X 1)} \cdot \sqrt{D (X 2)}} - - - (1)

D(X1)、D(X2)分别为两个采样集合X1、X2的方差，其通过公式(2)进行求取：

D(X)＝E(X²)-E²(X) (2)

cov(X1，X2)为两采样集合的协方差，其通过公式(3)进行求取：

cov(X1，X2)＝E(X1*X2)-E(X1)E(X2) (3)

其中，E(X)表示样本X的均值；

d).求取相关系数矩阵，对于当前帧图像上的所有像素点依次按照步骤c)所述的方法计算出其对应的相关系数，相关系数就组成与视频图像维数相同的相关系数矩阵R_wid+hei，其中wid为图像宽度，hei为图像高度；

e).求取滤波系数，相关系数矩阵R_wid+hei中的元素用R_ij表示；选取出相关系数矩阵中数值较小的N1个相关系数，求取其平均值，设求取的平均值为R₁，R₁作为运动区域的平均相关系数；

选取出相关系数矩阵中数值较大的N2个相关系数，求取其平均值，设求取的平均值为R₂，R₂作为无运动区域的平均相关系数；

利用公式(4)求取出当前图像中所有像素点的帧累积滤波系数：

\{\begin{matrix} w_{i j} = K 1 & R_{i j} < R_{1} \\ w_{i j} = \frac{K 2 - K 1}{R 2 - R 1} * R_{i j} & R_{1} \leq R_{i j} \leq R_{2} \\ w_{i j} = K 2 & R_{i j} > R_{2} \end{matrix} - - - (4)

其中，K1、K2为提前设定的帧累积滤波系数，K1＜K2，R_ij为以坐标点(i，j)为中心所计算出的相关系数，w_ij为当前图像中坐标点为(i，j)的帧累积滤波系数；

f).图像滤波处理，根据步骤e)中所求出的每个像素点的帧累积滤波系数，利用公式(5)对其进行自适应帧累积滤波处理，以获取当前帧的滤波结果；

I′_out＝w*I_out(1-w)*I_cur (5)

其中，I_out为上一帧图像的滤波结果，I_cur为当前帧图像，I′_out为当前帧滤波处理后的图像；

g).依次滤波，将步骤f)中获取的当前帧的滤波结果I′_out存入至I_out，前一帧图像I_pre的值更新为当前帧图像I_cur的值，采用步骤b)至步骤f)相同的方法对视频帧图像进行滤波；滤波过程中滤波结果I′_out即为滤波后的视频数据。

2.根据权利要求1所述的自适应夜视视频降噪方法，其特征在于：步骤c)中相关系数求取的过程中，采用滑动窗口的方式对图像的所有采样集合的相关系数进行计算；步骤e)中，可由帧累积滤波系数w_ij形成滤波系数矩阵，利用滤波系数矩阵对当前帧图像进行滤波处理。

3.根据权利要求1或2所述的自适应夜视视频降噪方法，其特征在于：步骤e)中，所述的帧累积滤波系数K1、K2的取值范围分别为10％～30％、50％～70％。