CN100454972C - 一种视频图像3d降噪方法 - Google Patents

Abstract

一种视频图像3D降噪方法，其基于帧间预测噪音方法，依据图像噪音的分布统计规律，在图像空间二维和时间一维上同时进行估计、预测和降噪处理，去除或降低该些噪音对图像的影响，尽可能地还原视频图像本来的亮度和色彩。本发明提供的视频图像3D降噪方法，在处理视频运动噪音方面非常有效，通过降低运动噪音，可以大大减小观看视频图像时由噪音引起的不舒适感觉。

Description

一种视频图像3D降噪方法

技术领域

本发明涉及一种视频图像领域的视频图像3D降噪方法，主要应用于视频图像处理、视频图像显示、视频图像传输等。

背景技术

视频图像降噪是视频处理领域的一个重要内容。由于图像在摄录、数字压缩、存储过程、传输过程中将不可避免地受到传输介质、外界和环境的光信号、电信号、机械损伤的干扰影响，在视频图像到达显示终端的时候，使得视频信号所承载的图像内容(各个像素点的亮度数值和色彩数值)发生变化，这些变化的具有空间上和时间上的随机性，因此称为图像噪音。

图像噪音分静止噪音和运动噪音两种，静止噪音是指噪音发生在图像顺序显示时具有相同或缓慢变化的空间位置，而运动噪音是指在图像顺序显示过程中噪音的发生位置不断变化，具有随机性。运动噪音对人眼视觉的影响要大于静止噪音，更不容易为图像观察者所接受。

已有的很多图像降噪方法停留在利用噪音在图像平面的随机性来降噪，这些技术手段对静止噪音比较有效；而对运动噪音的处理要进行帧间预测，必须估计视频图像间的帧间运动，具有较高的难点。

所述的帧间预测噪音方法的原理是基于视频图像间具有较强的相关性和可预测性和噪音的空间和时间上的随机性。

设序列图像第n-1帧和第n帧的信号亮度值分别为S(n-1)和S(n)，噪音为高斯型N(σ)，σ为噪音的分布参数，则有：

S’(n)＝(1-L)×S(n)+L×S(n-1)；

使用S’(n)代替当前值，当噪音为高斯分布时，L为0.5时，S’(n)的噪音分布下降为0.707σ；

若希望更多地利用帧间预测能力，则使用S’(n-1)来代替S(n-1)，即：

S’(n)＝(1-L)×S(n)+L×S’(n-1)；

这样使用第n-2帧对第n帧的预测能力，能更好地利用视频图像序列间的可预测性。

L的取值基于帧间的亮度相关系数，在0～1间；前k帧对当前帧的影响因子为L^k，显然，随着k的增加，影响力L^k迅速趋近零，所以合理地设计L是使用帧间预测能力的关键。

L的设计与两个因素有关：

1、信噪比(SNR)：噪音越大，信噪比越小，帧间相关系数小，L应该越小；

2、信号的时域变化：显然由于运动或光照改变，都可能使信号在时域上发生迅速或缓慢的变化。

发明内容

本发明要解决的技术问题是，提供一种视频图像3D降噪方法，其基于帧间预测噪音方法，依据图像噪音的分布统计规律，在图像空间二维和时间一维上同时进行估计、预测和降噪处理，去除或降低该些噪音对图像的影响，尽可能地还原视频图像本来的亮度和色彩。

为了达到上述目的，本发明提供一种视频图像3D降噪方法，其包含以下步骤：

步骤1、输入序列图像信号；

步骤2、初始化视频序列的参数；

步骤3、对每个像素点的三个亮度和色彩分量信号值，计算局部帧间信号差；

步骤4、对每个像素点的三个亮度和色彩分量信号值，计算其局部3×3邻域内的差和；

步骤5、对每个像素点的三个亮度和色彩分量信号值，计算其局部3×3邻域内的绝对差和的和；

步骤6、对每个像素点，计算三个亮度和色彩分量信号的平均差和的相对偏移，以及各分量信号的最大相对偏移；

步骤7、对单幅图像的噪音进行累加统计；

步骤8、计算并控制运动估计因子；

步骤9、对每个像素点，进行信号转换，得到输出信号；

步骤10、判断是否对当前帧/场的整幅图像处理完毕，若是，继续执行步骤11；若否，返回步骤3；

步骤11、对序列图像噪音进行更新；

步骤12、输出图像分量信号，并将该输出信号转存为下一帧/场进行图像降噪的参考帧，返回步骤2，进行下一帧/场图像的降噪处理。

步骤2中，包括以下初始化步骤：

步骤2.1、初始化视频序列噪音NoiseSeqAver(n)，其中，n为帧/场序列号，n＝0，1，2……；且令NoiseSeqAver(0)＝0；

步骤2.2、每当一帧/场开始时，令当前帧/场累加噪音NoisePicSum＝0，令当前帧/场噪音点个数NoisePixelNum＝0。

步骤3中，对每个像素点的分量信号值计算局部帧间信号差的步骤是：

Adiff(n，j，i)＝Ain(n，j，i)-Aref(n，j，i)；

Cdiff(n，j，i)＝Cin(n，j，i)-Cref(n，j，i)；

Ddiff(n，j，i)＝Din(n，j，i)-Dref(n，j，i)；

其中，Ain(n，j，i)、Cin(n，j，i)、Din(n，j，i)分别表示输入图像的分量信号值；

Aref(n，j，i)，Cref(n，j，i)，Dref(n，j，i)表示参考帧的分量信号值；

Adiff(n，j，i)，Cdiff(n，j，i)，Ddiff(n，j，i)表示对各分量信号值计算的局部帧间信号差；

n为帧/场序列号，n＝0，1，2……；

j表示图像像素的行数，j＝0，1，...，(Width-1)，Width为图像横向的像素点数；

i表示图像像素的列数，i＝0，1，...，(Height-1)，Height为图像纵向的像素点数。

所述的参考帧为上一帧/场的输出图像；当n等于0时，参考帧无效，直接跳转步骤12，输出：Ain(0，j，i)，Cin(0，j，i)，Din(0，j，i)。

步骤4中，对每个像素点的分量信号值，计算其局部3×3邻域内的差和的步骤是：

$\mathrm{Adiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Adiff}(n,j+a,i+b)\right];$

$\mathrm{Cdiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Cdiff}(n,j+a,i+b)\right];$

$\mathrm{Ddiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Ddiff}(n,j+a,i+b)\right];$

其中，a，b为整数；Adiffsum(n，j，i)，Cdiffsum(n，j，i)，Ddiffsum(n，j，i)表示对各分量信号值计算的局部信号的差和。

步骤5中，包括以下步骤：

步骤5.1、对每个像素点的分量信号值，计算其局部3×3邻域内的绝对差和：

$\mathrm{Adiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Adiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Cdiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Cdiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Ddiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Ddiff}(n,j+a,i+b)\right)\right];$

其中，a，b为整数，abs表示求绝对值；Adiffsumabs(n，j，i)，Cdiffsumabs(n，j，i)，Ddiffsumabs(n，j，i)表示对各分量信号值计算的局部信号绝对差和；

步骤5.2、对每个像素点的分量信号值，计算其局部3×3邻域内的绝对差和的和：

ACDdiffsumabs(n，j，i)＝Adiffsumabs(n，j，i)+Cdiffsumabs(n，j，i)+Ddiffsumabs(n，j，i)。

步骤6中，包括以下步骤：

步骤6.1、对每个像素点，计算分量信号的平均差和的相对偏移：

步骤6.1.1、若Adiffsumabs(n，j，i)的值不为0，则有：

Adeviation(n，j，i)＝abs(Adiffsum(n，j，i))/Adiffsumabs(n，j，i)；

若Adiffsumabs(n，j，i)的值等于0，则有：

Adeviation(n，j，i)＝0；

步骤6.1.2、若Cdiffsumabs(n，j，i)的值不为0，则有：

Cdeviation(n，j，i)＝abs(Cdiffsum(n，j，i))/Cdiffsumabs(n，j，i)；

若Cdiffsumabs(n，j，i)的值等于0，则有：

Cdeviation(n，j，i)＝0；

步骤6.1.3、若Ddiffsumabs(n，j，i)的值不为0，则有：

Ddeviation(n，j，i)＝abs(Ddiffsum(n，j，i))/Ddiffsumabs(n，j，i)；

若Ddiffsumabs(n，j，i)的值等于0，则有：

Ddeviation(n，j，i)＝0；

其中，Adeviation(n，j，i)，Cdeviation(n，j，i)，Ddeviation(n，j，i)表示各分量信号的平均差和的相对偏移；

步骤6.2、对每个像素点，计算分量信号的最大相对偏移：

ACDdeviation(n，j，i)＝max(Adeviation(n，j，i)，Cdeviation(n，j，i)，Ddeviation(n，j，i))，

其中，ACDdeviation(n，j，i)表示三个信号分量的最大相对偏移。

步骤7中，对单幅图像的噪音进行累加统计的步骤是：

依次对图像每个像素点的最大相对偏移值ACDdeviation(n，j，i)进行噪音点的阈值判断：

当ACDdeviation(n，j，i)＜P_DeviationNoiseMax时，进行噪音累加，即：

NoisePicSum＝NoisePicSum+ACDdiffsumabs(n，j，i)；

NoisePixelNum＝NoisePixelNum+1；

当ACDdeviation(n，j，i)＞＝P_DeviationNoiseMax时，则当前像素3×3邻域内的绝对差和的和ACDdiffsumabs(n，j，i)不计入噪音累加；

其中，P_DeviationNoiseMax为用于判断噪音点的阈值参数，其取值范围是[0，1]；NoisePixelNum表示每帧噪音点个数；NoisePicSum表示每帧噪音数值和。

步骤8中，包括以下步骤：

步骤8.1、计算运动估计因子MovingProb(n，j，i)：

M＝ACDdeviation(n，j，i)×(1+P_NoiseAdaptive×NoiseSeqAver(n))；

N＝P_LocalAdaptive×ACDdiffsumabs(n，j，i)；

MovingProb(n，j，i)＝M/N；

其中，P_NoiseAdaptive表示噪音功率自适应系数，取值范围是[0，1]；P_LocalAdaptive表示图像局部自适应系数，取值范围是[0，1]；

步骤8.2、控制运动估计因子的值域：

当MovingProb(n，j，i)＞1时，令MovingProb(n，j，i)＝1；

当MovingProb(n，j，i)＜P_MovingProbMin时，令MovingProb(n，j，i)＝P_MovingProbMin；

其中，P_MovingProbMin表示最小的运动判断几率，取值范围是[0，1]。

步骤9中，对每个像素点进行信号转换的步骤是：

Aout(n，j，i)＝MovingProb(n，j，i)×Ain(n，j，i)+(1-MovingProb(n，j，i))×Aref(n，j，i)；

Cout(n，j，i)＝MovingProb(n，j，i)×Cin(n，j，i)+(1-MovingProb(n，j，i))×Cref(n，j，i)；

Dout(n，j，i)＝MovingProb(n，j，i)×Din(n，j，i)+(1-MovingProb(n，j，i))×Dref(n，j，i)；

其中，Aout(n，j，i)，Cout(n，j，i)，Dout(n，j，i)表示三个输出分量信号；Ain(n，j，i)，Cin(n，j，i)，Din(n，j，i)表示三个输入分量信号；Aref(n，j，i)，Cref(n，j，i)，Dref(n，j，i)表示参考帧的三个分量信号。

步骤11中，对序列图像噪音进行更新的步骤是：

当NoisePixelNum＞(P_PicNoiseRatio×Width×Height)时，有：

NoisePicAver＝NoisePicSum/NoisePixelNum；

NoiseSeqAver(n)＝NoiseSeqAver(n)×(P_Lemda)+NoisePicAver×(1-P_Lemda)；

其中，P_PicNoiseRatio表示更新序列噪音功率的阈值，取值范围是[0，0.5]；P_Lemda表示噪音功率估计因子，取值范围是[0，1]；NoisePicAver表示每帧平均噪音数值；NoiseSeqAver(n)表示序列到第n帧的平均噪音。

本发明步骤1中，若输入RGB格式图像，则图像的分量信号分别为R、G、B；若输入YCbCr格式图像，则图像的分量信号分别为Y、Cb、Cr；若输入转化到HSV空间的图像，则图像的分量信号分别为H、S、V。

本发明提供的视频图像3D降噪方法，在处理视频运动噪音方面非常有效，通过降低运动噪音，可以大大减小观看视频图像时由噪音引起的不舒适感觉。

附图说明

图1是本发明提供的视频图像3D降噪方法的流程图。

具体实施方式

以下根据图1，以RGB格式的图像为例，具体说明本发明的一种较佳实施方式：

如图1所示，本发明提供的视频图像3D降噪方法，包含以下步骤：

步骤1、输入RGB格式的序列图像信号；

步骤2、初始化视频序列的参数；

步骤3、对每个像素点的RGB分量信号值，计算局部帧间信号差；

步骤4、对每个像素点的RGB分量信号值，计算其局部3×3邻域内的差和；

步骤5、对每个像素点的RGB分量信号值，计算其局部3×3邻域内的绝对差和的和；

步骤6、对每个像素点，计算RGB分量信号的平均差和的相对偏移，以及各分量信号的最大相对偏移；

步骤7、对单幅图像的噪音进行累加统计；

步骤8、计算并控制运动估计因子；

步骤9、对每个像素点，进行信号转换；

步骤10、判断是否对当前帧/场的整幅图像处理完毕，若是，继续执行步骤11；若否，返回步骤3；

步骤11、对序列图像噪音进行更新；

步骤12、输出RGB信号Rout，Gout，Bout，并将Rout，Gout，Bout转存为下一帧/场进行图像降噪的参考帧，返回步骤2，进行下一帧/场图像的降噪处理。

步骤2中，包括以下初始化步骤：

步骤2.1、初始化视频序列噪音NoiseSeqAver(n)，其中，n为帧/场序列号，n＝0，1，2……；且令NoiseSeqAver(0)＝0；

步骤2.2、每当一帧/场开始时，令当前帧/场累加噪音NoisePicSum＝0，令当前帧/场噪音点个数NoisePixelNum＝0。

步骤3中，对每个像素点的RGB分量信号值计算局部帧间信号差的步骤是：

Rdiff(n，j，i)＝Rin(n，j，i)-Rref(n，j，i)；

Gdiff(n，j，i)＝Gin(n，j，i)-Gref(n，j，i)；

Bdiff(n，j，i)＝Bin(n，j，i)-Bref(n，j，i)；

其中，Rin(n，j，i)、Gin(n，j，i)、Bin(n，j，i)分别表示输入图像的各个RGB分量信号值；

Rref(n，j，i)，Gref(n，j，i)，Bref(n，j，i)表示参考帧的RGB分量信号值；

Rdiff(n，j，i)，Gdiff(n，j，i)，Bdiff(n，j，i)表示对各分量信号值计算的局部帧间信号差；

n为帧/场序列号，n＝0，1，2……；

j表示图像像素的行数，j＝0，1，...，(Width-1)，Width为图像横向的像素点数；

i表示图像像素的列数，i＝0，1，...，(Height-1)，Height为图像纵向的像素点数。

所述的参考帧为上一帧/场的输出图像；当n等于0时，参考帧无效，直接跳转步骤12，输出：Rin(0，j，i)，Gin(0，j，i)，Bin(0，j，i)。

步骤4中，对每个像素点的RGB分量信号值，计算其局部3×3邻域内的差和的步骤是：

$\mathrm{Rdiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Rdiff}(n,j+a,i+b)\right];$

$\mathrm{Gdiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Gdiff}(n,j+a,i+b)\right];$

$\mathrm{Bdiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Bdiff}(n,j+a,i+b)\right];$

其中，a，b为整数，Rdiffsum(n，j，i)，Gdiffsum(n，j，i)，Bdiffsum(n，j，i)表示对各分量信号值计算的局部信号的差和。

步骤5中，包括以下步骤：

步骤5.1、对每个像素点的RGB分量信号值，计算其局部3×3邻域内的绝对差和：

$\mathrm{Rdiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Rdiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Gdiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Gdiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Bdiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Bdiff}(n,j+a,i+b)\right)\right];$

其中，a，b为整数，abs表示求绝对值；Rdiffsumabs(n，j，i)，Gdiffsumabs(n，j，i)，Bdiffsumabs(n，j，i)表示对各分量信号值计算的局部信号绝对差和；

步骤5.2、对每个像素点的RGB分量信号值，计算其局部3×3邻域内的绝对差和的和：

RGBdiffsumabs(n，j，i)＝Rdiffsumabs(n，j，i)+Gdiffsumabs(n，j，i)+Bdiffsumabs(n，j，i)。

步骤6中，包括以下步骤：

步骤6.1、对每个像素点，计算RGB分量信号的平均差和的相对偏移：

步骤6.1.1、若Rdiffsumabs(n，j，i)的值不为0，则有：

Rdeviation(n，j，i)＝abs(Rdiffsum(n，j，i))/Rdiffsumabs(n，j，i)；

若Rdiffsumabs(n，j，i)的值等于0，则有：

Rdeviation(n，j，i)＝0；

步骤6.1.2、若Gdiffsumabs(n，j，i)的值不为0，则有：

Gdeviation(n，j，i)＝abs(Gdiffsum(n，j，i))/Gdiffsumabs(n，j，i)；

若Gdiffsumabs(n，j，i)的值等于0，则有：

Gdeviation(n，j，i)＝0；

步骤6.1.3、若Bdiffsumabs(n，j，i)的值不为0，则有：

Bdeviation(n，j，i)＝abs(Bdiffsum(n，j，i))/Bdiffsumabs(n，j，i)；

若Bdiffsumabs(n，j，i)的值等于0，则有：

Bdeviation(n，j，i)＝0；

其中，Rdeviation(n，j，i)，Gdeviation(n，j，i)，Bdeviation(n，j，i)表示各分量信号的平均差和的相对偏移；

步骤6.2、对每个像素点，计算RGB分量信号的最大相对偏移：

RGBdeviation(n，j，i)＝max(Rdeviation(n，j，i)，Gdeviation(n，j，i)，Bdeviation(n，j，i))

其中，RGBdeviation(n，j，i)表示三个信号分量的最大相对偏移。

步骤7中，对单幅图像的噪音进行累加统计的步骤是：

依次对图像每个像素点的最大相对偏移值RGBdeviation(n，j，i)进行噪音点的阈值判断：

当RGBdeviation(n，j，i)＜P_DeviationNoiseMax时，进行噪音累加，即：

NoisePicSum＝NoisePicSum+RGBdiffsumabs(n，j，i)；

NoisePixelNum＝NoisePixelNum+1；

当RGBdeviation(n，j，i)＞＝P_DeviationNoiseMax时，则当前像素3×3邻域内的绝对差和的和RGBdiffsumabs(n，j，i)不计入噪音累加；

其中，P_DeviationNoiseMax为用于判断噪音点的阈值参数，其取值范围是[0，1]，本实施例中，取P_DeviationNoiseMax＝0.25；NoisePixelNum表示每帧噪音点个数；NoisePicSum表示每帧噪音数值和。

步骤8中，包括以下步骤：

步骤8.1、计算运动估计因子MovingProb(n，j，i)：

M＝RGBdeviation(n，j，i)×(1+P_NoiseAdaptive×NoiseSeqAver(n))；

N＝P_LocalAdaptive×RGBdiffsumabs(n，j，i)；

MovingProb(n，j，i)＝M/N；

其中，P_NoiseAdaptive表示噪音功率自适应系数，取值范围是[0，1]；P_LocalAdaptive表示图像局部自适应系数，取值范围是[0，1]；本实施例中，取P_NoiseAdaptive＝P_LocalAdaptive＝1。

步骤8.2、控制运动估计因子的值域：

当MovingProb(n，j，i)＞1时，令MovingProb(n，j，i)＝1；

当MovingProb(n，j，i)＜P_MovingProbMin时，令MovingProb(n，j，i)＝P_MovingProbMin；

其中，P_MovingProbMin表示最小的运动判断几率，取值范围是[0，1]；本实施例中，取P_MovingProbMin＝0.5。

步骤9中，对每个像素点进行信号转换的步骤是：

Rout(n，j，i)＝MovingProb(n，j，i)×Rin(n，j，i)+(1-MovingProb(n，j，i))×Rref(n，j，i)；

Gout(n，j，i)＝MovingProb(n，j，i)×Gin(n，j，i)+(1-MovingProb(n，j，i))×Gref(n，j，i)；

Bout(n，j，i)＝MovingProb(n，j，i)×Bin(n，j，i)+(1-MovingProb(n，j，i))×Bref(n，j，i)；

其中，Rout(n，j，i)，Gout(n，j，i)，Bout(n，j，i)表示三个输出分量信号；Rin(n，j，i)，Gin(n，j，i)，Bin(n，j，i)表示三个输入分量信号；Rref(n，j，i)，Gref(n，j，i)，Bref(n，j，i)表示参考帧的三个分量信号。

步骤11中，对序列图像噪音进行更新的步骤是：

当NoisePixelNum＞(P_PicNoiseRatio×Width×Height)时，有：

NoisePicAver＝NoisePicSum/NoisePixelNum；

NoiseSeqAver(n)＝NoiseSeqAver(n)×(P_Lemda)+NoisePicAver×(1-P_Lemda)；

其中，P_PicNoiseRatio表示更新序列噪音功率的阈值，取值范围是[0，0.5]；P_Lemda表示噪音功率估计因子，取值范围是[0，1]；本实施例中，取P_PicNoiseRatio＝0.1；取P_Lemda＝0.75；NoisePicAver表示每帧平均噪音数值；NoiseSeqAver(n)表示序列到第n帧的平均噪音。

本发明也适用于YCbCr格式的视频图像，其3个分量信号为Y、Cb、Cr，代替上述实施例中的R、G、B三个分量信号，本方法同样可对YCbCr格式的视频图像进行3D降噪。

本发明也适用于转化到HSV空间的视频图像，其3个分量信号为H、S、V，代替上述实施例中的R、G、B三个分量信号，本方法同样可对转化到HSV空间的视频图像进行3D降噪。

本发明提供的视频图像3D降噪方法，在处理视频运动噪音方面非常有效，通过降低运动噪音，可以大大减小观看视频图像时由噪音引起的不舒适感觉。

Claims (14)

1.一种视频图像3D降噪方法，其特征在于，包括以下步骤：

步骤1、输入序列图像信号；

步骤2、初始化视频序列的参数；

步骤3、对每个像素点的三个亮度和色彩分量信号值，计算局部帧间信号差；

步骤4、对每个像素点的三个亮度和色彩分量信号值，计算其局部3×3邻域内的差和；

步骤5、对每个像素点的三个亮度和色彩分量信号值，计算其局部3×3邻域内的绝对差和的和；

步骤6、对每个像素点，计算三个亮度和色彩分量信号的平均差和的相对偏移，以及各分量信号的最大相对偏移；

步骤7、对单幅图像的噪音进行累加统计；

步骤8、计算并控制运动估计因子；

步骤9、对每个像素点，进行信号转换，得到输出信号；

步骤10、判断是否对当前帧/场的整幅图像处理完毕，若是，继续执行步骤11；若否，返回步骤3；

步骤11、对序列图像噪音进行更新；

步骤12、输出图像分量信号，并将该输出信号转存为下一帧/场进行图像降噪的参考帧，返回步骤2，进行下一帧/场图像的降噪处理。

2.如权利要求1所述的视频图像3D降噪方法，其特征在于，步骤2中，包括以下初始化步骤：

步骤2.1、初始化视频序列噪音NoiseSeqAver(n)，其中，n为帧/场序列号，n＝0，1，2……；且令NoiseSeqAver(0)＝0；NoiseSeqAver(n)表示序列到第n帧的平均噪音；

步骤2.2、每当一帧/场开始时，令当前帧/场累加噪音NoisePicSum＝0，令当前帧/场噪音点个数NoisePixelNum＝0。

3.如权利要求1所述的视频图像3D降噪方法，其特征在于，步骤3中，对每个像素点的三个亮度和色彩分量信号值计算局部帧间信号差的步骤是：

Adiff(n，j，i)＝Ain(n，j，i)-Aref(n，j，i)；

Cdiff(n，j，i)＝Cin(n，j，i)-Cref(n，j，i)；

Ddiff(n，j，i)＝Din(n，j，i)-Dref(n，j，i)；

其中，Ain(n，j，i)、Cin(n，j，i)、Din(n，j，i)分别表示输入图像的分量信号值；

Aref(n，j，i)，Cref(n，j，i)，Dref(n，j，i)表示参考帧的分量信号值；

Adiff(n，j，i)，Cdiff(n，j，i)，Ddiff(n，j，i)表示对各分量信号值计算的局部帧间信号差；

n为帧/场序列号，n＝0，1，2……；

j表示图像像素的行数，j＝0，1，...，(Width-1)，Width为图像横向的像素点数；

i表示图像像素的列数，i＝0，1，...，(Height-1)，Height为图像纵向的像素点数。

4.如权利要求3所述的视频图像3D降噪方法，其特征在于，步骤3中，所述的参考帧为上一帧/场的输出图像；当n等于0时，参考帧无效，直接跳转步骤12，输出：Ain(0，j，i)，Cin(0，j，i)，Din(0，j，i)。

5.如权利要求3所述的视频图像3D降噪方法，其特征在于，步骤4中，对每个像素点的分量信号值，计算其局部3×3邻域内的差和的步骤是：

$\mathrm{Adiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Adiff}(n,j+a,i+b)\right];$

$\mathrm{Cdiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Cdiff}(n,j+a,i+b)\right];$

$\mathrm{Ddiffsum}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{Ddiff}(n,j+a,i+b)\right];$

其中，a，b为整数；

Adiffsum(n，j，i)，Cdiffsum(n，j，i)，Ddiffsum(n，j，i)表示对各分量信号值计算的局部信号的差和。

6.如权利要求3所述的视频图像3D降噪方法，其特征在于，步骤5中，包括以下步骤：

步骤5.1、对每个像素点的分量信号值，计算其局部3×3邻域内的绝对差和：

$\mathrm{Adiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Adiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Cdiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Cdiff}(n,j+a,i+b)\right)\right];$

$\mathrm{Ddiffsumabs}(n,j,i)=\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}\underset{b=-1}{\overset{1}{\mathrm{\Σ}}}\left[\mathrm{abs}\left(\mathrm{Ddiff}(n,j+a,i+b)\right)\right];$

其中，a，b为整数，abs表示求绝对值；

Adiffsumabs(n，j，i)，Cdiffsumabs(n，j，i)，Ddiffsumabs(n，j，i)表示对各分量信号值计算的局部信号绝对差和；

步骤5.2、对每个像素点的分量信号值，计算其局部3×3邻域内的绝对差和的和：

ACDdiffsumabs(n，j，i)＝Adiffsumabs(n，j，i)+Cdiffsumabs(n，j，i)+Ddiffsumabs(n，j，i)。

7.如权利要求6所述的视频图像3D降噪方法，其特征在于，步骤6中，包括以下步骤：

步骤6.1、对每个像素点，计算分量信号的平均差和的相对偏移：

步骤6.1.1、若Adiffsumabs(n，j，i)的值不为0，则有：

Adeviation(n，j，i)＝abs(Adiffsum(n，j，i))/Adiffsumabs(n，j，i)；

若Adiffsumabs(n，j，i)的值等于0，则有：

Adeviation(n，j，i)＝0；

步骤6.1.2、若Cdiffsumabs(n，j，i)的值不为0，则有：

Cdeviation(n，j，i)＝abs(Cdiffsum(n，j，i))/Cdiffsumabs(n，j，i)；

若Cdiffsumabs(n，j，i)的值等于0，则有：

Cdeviation(n，j，i)＝0；

步骤6.1.3、若Ddiffsumabs(n，j，i)的值不为0，则有：

Ddeviation(n，j，i)＝abs(Ddiffsum(n，j，i))/Ddiffsumabs(n，j，i)；

若Ddiffsumabs(n，j，i)的值等于0，则有：

Ddeviation(n，j，i)＝0；

其中，Adeviation(n，j，i)，Cdeviation(n，j，i)，Ddeviation(n，j，i)表示各分量信号的平均差和的相对偏移；

步骤6.2、对每个像素点，计算分量信号的最大相对偏移：

ACDdeviation(n，j，i)＝max(Adeviation(n，j，i)，Cdeviation(n，j，i)，Ddeviation(n，j，i))，

其中，ACDdeviation(n，j，i)表示三个信号分量的最大相对偏移。

8.如权利要求2所述的视频图像3D降噪方法，其特征在于，步骤7中，对单幅图像的噪音进行累加统计的步骤是：

依次对图像每个像素点的最大相对偏移值ACDdeviation(n，j，i)进行噪音点的阈值判断：

当ACDdeviation(n，j，i)<P_DeviationNoiseMax时，进行噪音累加：

NoisePicSum＝NoisePicSum+ACDdiffsumabs(n，j，i)；

NoisePixelNum＝NoisePixelNum+1；

当ACDdeviation(n，j，i)>＝P_DeviationNoiseMax时，则当前像素3×3邻域内的绝对差和的和ACDdiffsumabs(n，j，i)不计入噪音累加；

其中，P_DeviationNoiseMax为用于判断噪音点的阈值参数，其取值范围是[0，1]；

j表示图像像素的行数，j＝0，1，...，(Width-1)，Width为图像横向的像素点数；

i表示图像像素的列数，i＝0，1，...，(Height-1)，Height为图像纵向的像素点数；

NoisePixelNum表示每帧噪音点个数；

NoisePicSum表示每帧噪音数值和。

9.如权利要求8所述的视频图像3D降噪方法，其特征在于，步骤8中，包括以下步骤：

步骤8.1、计算运动估计因子MovingProb(n，j，i)：

M＝ACDdeviation(n，j，i)×(1+P_NoiseAdaptive×NoiseSeqAver(n))；

N＝P_LocalAdaptive×ACDdiffsumabs(n，j，i)；

MovingProb(n，j，i)＝M/N；

其中，P_NoiseAdaptive表示噪音功率自适应系数，取值范围是[0，1]；P_LocalAdaptive表示图像局部自适应系数，取值范围是[0，1]；

步骤8.2、控制运动估计因子的值域：

当MovingProb(n，j，i)＞1时，令MovingProb(n，j，i)＝1；

当MovingProb(n，j，i)＜P_MovingProbMin时，令MovingProb(n，j，i)＝P_MovingProbMin；

其中，P_MovingProbMin表示最小的运动判断几率，取值范围是[0，1]。

10.如权利要求9所述的视频图像3D降噪方法，其特征在于，步骤9中，对每个像素点进行信号转换的步骤是：

Aout(n，j，i)＝MovingProb(n，j，i)×Ain(n，j，i)+(1-MovingProb(n，j，i))×Aref(n，j，i)；

Cout(n，j，i)＝MovingProb(n，j，i)×Cin(n，j，i)+(1-MovingProb(n，j，i))×Cref(n，j，i)；

Dout(n，j，i)＝MovingProb(n，j，i)×Din(n，j，i)+(1-MovingProb(n，j，i))×Dref(n，j，i)；

其中，Aout(n，j，i)，Cout(n，j，i)，Dout(n，j，i)表示三个输出分量信号；

Ain(n，j，i)，Cin(n，j，i)，Din(n，j，i)表示三个输入分量信号；

Aref(n，j，i)，Cref(n，j，i)，Dref(n，j，i)表示参考帧的三个分量信号。

11.如权利要求8所述的视频图像3D降噪方法，其特征在于，步骤11中，对序列图像噪音进行更新的步骤是：

当NoisePixelNum＞(P_PicNoiseRatio×Width×Height)时，有：

NoisePicAver＝NoisePicSum/NoisePixelNum；

NoiseSeqAver(n)＝NoiseSeqAver(n)×(P_Lemda)+NoisePicAver×(1-P_Lemda)；

其中，P_PicNoiseRatio表示更新序列噪音功率的阈值，取值范围是[0，0.5]；P_Lemda表示噪音功率估计因子，取值范围是[0，1]；

NoisePicAver表示每帧平均噪音数值。

12.如权利要求1所述的视频图像3D降噪方法，其特征在于，步骤1中，输入的所述序列图像是RGB格式，所述序列图像的分量信号分别为R、G、B。

13.如权利要求1所述的视频图像3D降噪方法，其特征在于，步骤1中，输入的所述序列图像是YCbCr格式，所述序列图像的分量信号分别为Y、Cb、Cr。

14.如权利要求1所述的视频图像3D降噪方法，其特征在于，步骤1中，输入的所述序列图像转化到HSV空间，则所述序列图像的分量信号分别为H、S、V。

Images