CN1545812A - 估计噪声电平的装置及方法、噪声减少系统及编码系统 - Google Patents

Abstract

本发明涉及一种用于在编码之前估计视频图像噪声电平的设备及方法。该设备包括存储至少一幅输入图像的存储装置；块运动估计模块，将其设计为根据当前输入图像及之前存储于所述存储部件的至少一幅输入图像，产生第一块运动补偿图像变化的表示量；估计装置用于估计每一幅图像的全局噪声电平，所述全局噪声电平是至少一个所述第一运动补偿图像变化的表示量的函数。所述设备包括估计装置，用于估计每一个图像块的局部噪声电平，所述局部噪声电平是第二运动补偿图像变化的表示量以及全局噪声电平的函数。

Description

估计噪声电平的装置及方法、噪声减少系统及编码系统

技术领域

本发明涉及一种用于估计噪声电平的装置和方法，以及一种噪声减少系统和一种包括这种装置的编码系统。

背景技术

本发明涉及应用于数字视频信号的噪声电平估计技术。这些估计噪声电平的技术用于噪声减少技术。通常将噪声减少技术用于采用采样矩阵形式的数字视频图像；每一个采样由亮度信号以及针对彩色信号的色度信号组成。

目前，仍然以模拟形式执行视频图像信号序列的获取，因此一但获取并可能以模拟形式传送并存储的图像在其内容中显示出适当共有的噪声。一但进行了数字化，还经常会对这些图像进行存储/编辑，在此过程中又依次引入了数字特性的噪声。最后，通常图像序列经历了连续的转换，这些转换导致了具有强随机特性的空域-时域噪声。

为了得到高性能的功能，采用递归滤波的噪声减少方法考虑了视频序列的图像具有非常强的时域相关性。因此，在有效噪声减少的精密调谐中，运动和位移的概念是非常重要的。

将术语“位移”理解为指在一场景中一目标位置的变化，这种位置的变化被定位并专指此目标。将术语“运动”理解为指在视频序列中目标位移的整个集合。

常规地，利用简单的图像到图像求差或使用运动估计器来检测运动。

当使用运动估计器时，通过计算不同瞬间图像的差以及通过在帧之间空间性地移动，能够得到这种位移。利用用于象素(按象素(pixelwise)运动估计)或块(按块(blockwise)运动估计)运动矢量场来表示这种位移。因而可以得到被称作DFD(位移帧差)的按象素或按块的运动补偿图像差。

在已知系统中，在图像帧级别进行噪声电平的估计。这种估计导致噪声在帧上是一致的，结果滤波也是一样，这可能会引起某些缺陷，诸如在某些无噪声区损失清晰度，出现模糊或平滑了某些纹理(例如草地)。例如，在以汤姆森多媒体公司名义，于2000年7月24日提交的法国专利申请009684中描述了这种系统。

发明内容

本发明涉及一种设备，用于基于噪声的局部估计的噪声级别估计，因而考虑到了其强随机性质。上述负面效果在相当大的程度上被减少，从而提高了图像质量。

本发明还关于一种噪声减少系统、包括这种设备的编码系统以及对应的运动补偿递归滤波器。

出于此目的，本发明涉及一种用于在编码之前估计视频图像噪声电平的设备，包括：

-存储部件，用于存储至少一幅输入图像，

-块运动估计模块，将其设计为根据当前输入图像及之前存储于所述存储装置的至少一幅输入图像，产生块运动补偿图像变化的表示量，

-估计部件，用于估计每一幅图像的全局噪声电平，所述全局噪声电平至少是所述运动补偿图像变化的表示量的函数根据本发明，此设备包括：

-估计装置，用于估计每一幅图像的局部噪声电平，所述局部噪声电平是运动补偿图像变化的表示量及全局噪声电平的函数。

将表述“运动补偿图像变化的表示量”理解为指通过考虑到运动估计，测量(优选地，按块)图像序列中在时域的变化量。有优势的，这些量由DFD组成。

DFD能够清楚地表示视频序列中包含的噪声量。如果运动补偿是理想的，则DFD甚至还给出了噪声量的确切表述(即就是说，如果补偿是完美的，则可以不考虑运动和变形的性质)。

通过考虑到噪声的强随机性，局部噪声电平的估计可以减少滤波的人为错误；这种人为错误是整个帧上噪声电平一致的直接结果，这与对噪声块和无噪声块进行同样的滤波是同一个意思。

因此，在局部级别对噪声电平的估计尤其可以减少图像无噪声区清晰性的强损失、模糊的出现以及对某些纹理的平滑，例如草地。

通过估计作为帧全局噪声电平函数的局部噪声电平，可以确定相对于帧全局噪声电平的当前块噪声电平，并因而提高全局噪声电平的估计。

优选地，所述用于确定所述全局噪声电平的运动补偿图像变化的表示量是由块运动估计模块计算得到的最小量以及平均量。

优选地，所述用于确定所述局部噪声电平的运动补偿图像变化的表示量是由块运动估计模块计算得到的局部量以及平均量。

根据优选实施例，设计局部噪声电平估计装置，以使其确定局部噪声电平，所述局部噪声电平是平均DFD和局部DFD之差的函数以及所述差与平均DFD比率的函数。

优选地，不同地调整局部噪声电平，所述局部噪声电平是所述差的值和至少一个预定阈值之间比较的函数。

这使得可以调整作为预定阈值函数的噪声电平，因而通过禁止局部噪声电平脱离预定值的范围内，限制了局部噪声电平的波动。

本发明还涉及一种噪声减少设备，包括用于根据本发明估计噪声电平的设备。

本发明还涉及一种编码系统，包括用于根据本发明估计噪声电平的设备。

本发明还适用于在编码前估计视频图像噪声电平的方法，其中：

-存储至少一幅当前的输入图像，

-根据当前输入图像及之前存储于所述存储装置的至少一幅输入图像执行块运动估计，从而产生块运动补偿图像变化的表示量，

-确定每一幅图像的全局噪声电平，所述全局噪声电平至少是所述运动补偿图像变化的表示量的函数，

根据本发明，

-确定每一幅图像的局部噪声电平，所述局部噪声电平是运动补偿图像变化的表示量及全局噪声电平的函数。

附图说明

参考附图，利用整体上无限制的有利典型实施例以及实现模式，能更好地理解并演示本发明，其中：

-图1表示了根据本发明包括局部噪声电平估计模块的噪声电平估计设备，

-图2示出了用于估计图像块的局部噪声电平模块功能的流程图，以及

-图3表示了对全局噪声电平进行修改以得到作为预定阈值函数的局部噪声电平的示意图。

具体实施方式

使用了下列符号：

-x，y和t分别表示横坐标、纵坐标和时间，

-u(x，y；t)表示当前输入信号，

-u(x，y；t-T)表示延迟了时延T的输入信号(T表示例如一个视频帧的时延)，

-d(dx，dy)表示位移矢量，dx表示沿横坐标轴的位移偏移量(移位)，且dy表示沿纵坐标轴的位移偏移量，

-v(x，y；t)表示滤波器的输出，

-σ_global表示针对整幅图像估计的噪声电平，

-σ_local表示针对图像块估计的噪声电平，

-DFD(x，y；t)：用于一个象素或象素块的DFD(x，y；t)＝u(x，y；t)-u(x，y；t-T)。

滤波设备包括用于存储输入图像(信号u(x，y；t))的存储器1以及根据当前输入图像(信号u(x，y；t))和之前存储于存储器1中的输入图像u(x，y；t-T)产生块运动矢量d(dx，dy)和DFD的块运动估计器2。

该设备还配有模块3，用于估计作为平均DFD(DFD_mean)和最小DFD(DFD_min)函数的图像全局噪声电平。

该设备还包括用于存储在时刻t的局部DFD的存储器5。在遍历了此帧的所有局部DFD之后，计算平均DFD。

该设备还包括用于估计块局部噪声电平的模块4，该块局部噪声电平是用于估计图像全局噪声电平的模块3计算得到的全局噪声电平σ_global、局部DFD(DFD(x，y；t))以及平均DFD(DFD_mean)的函数。该模块的功能详见图2。

在计算局部DFD(DFD(x，y；t))之前，预先计算平均DFD(DFD_mean)和最小DFD(DFD_min)。

该设备最后包括用于减小运动调节和/或补偿噪声电平的模块6，该运动调节和/或补偿噪声电平是位移矢量d(dx，dy)和局部噪声电平σ_local(x，y；t)的函数

模块6输出当前滤波的图像v(x，y；t)。

模块6可以是用于噪声减少的滤波模块，或更一般地，是图像处理模块。

可以以多种方式计算块运动估计模块2输出的最小DFD(DFD_min)。

根据第一实施例，可以表示帧的最小DFD。由于为了得到最小DFD，此解决方案满足较小的DFD之一，因此它简单而廉价但不准确。因而可以给出：

${\mathrm{DFD}}_{\min }={\mathrm{MIN}}_{y=1,x=1}^{\frac{\mathrm{resY}}{\mathrm{blockY}},\frac{\mathrm{resX}}{\mathrm{blockX}}}\left[\mathrm{DF}{D}_{\mathrm{local}}(x,y;t)\right]$

其中

-resX(分别地，resY)电平(分别地，垂直)分辨率，

-blockX(分别地，blockY)电平块的大小，一般大小是16个象素电平(分别地，一般垂直块大小是8个象素)。

根据第二实施例，DFD_min表示此帧中最小DFD的百分比。因此在此实施例中，根据一组值计算DFD_min，且因此不会象前面的实施例一样用单个值来表示。由于这需要排列此帧中所有的DFD，所以这种解决方案更准确，但更复杂。

平均DFD，即DFD_mean表示一帧中所有DFD的平均值。因此平均DFD是一帧中局部DFD的总和除以DFD的数目。因而可以给出：

${\mathrm{DFD}}_{\mathrm{mean}}=\frac{\underset{x=1}{\overset{\frac{\mathrm{resX}}{\mathrm{blockX}}}{\mathrm{\Σ}}}\underset{y=1}{\overset{\frac{\mathrm{resY}}{\mathrm{blockY}}}{\mathrm{\Σ}}}\mathrm{DFDlocal}(x,y;t)}{\frac{\mathrm{resY}}{\mathrm{blockY}}\×\frac{\mathrm{resX}}{\mathrm{blockX}}}$

作为演示例子，针对分辨率为720*288的帧且块大小为16*8，有(720/16)*(288/8)个，即1620个DFD。在这种情况下，计算这1620个DFD的平均值并将其值赋给平均DFD。

此模块接收处理过的块局部DFD DFD(x，y；t)、平均DFD DFD_mean以及全局噪声电平σ_global作为输入。

此模块执行局部噪声电平调整，该局部噪声电平是当前块的平均DFD DFD_mean和局部DFD DFD(x，y；t)的函数。这种调整一方面由平均DFD和局部DFD之间差(ERROR DFD)控制，另一方面由此差与平均DFD的比率(Ratio DFD)控制。

平均DFD和局部DFD之间的差确定了调整的变化方向；特别地，当此误差为正时(表示此局部DFD小于平均DFD)，则必须减小此噪声电平。相反，当误差为负时，应引入噪声电平的增大。

平均DFD和局部DFD之间的差与平均DFD的比率以相对于平均DFD的归一化形式标记了误差的产生。

为了不使用会在图像中建立可见人为错误的二元校正，一种解决方案使用了校正，此校正是阈值的函数。因此将误差ERROR DFD的变化范围划分为几个区。

如图3所示，以下作为演示给出的例子定义了两个阈值，这两个阈值将此范围划分为四个区。

-当误差位于0和阈值1(S1)之间时，局部DFD小于平均DFD。因此必须减小噪声电平；如图2中步骤E9所示，针对接近0的误差，这种减小量要小，而针对接近阈值1的误差，减少量是在此区间中的最大值。

-当误差位于0和阈值2(S2)之间时，局部DFD大于平均DFD。因此必须增大噪声电平；如图2中步骤E4所示，针对接近0的误差，这种增大量要小，而针对接近阈值2(S2)的误差，增大量是在此区间中的最大值。

-当误差大于阈值1(S1)时，如图2中步骤E10所示，将噪声电平的减小限制在最大值，此最大值是参数的函数。

-当误差小于阈值2(S2)时，局部DFD大于平均DFD，因此必须增大局部噪声电平。为了执行局部噪声电平的调整，考虑两种情况：

-在出现相当大的运动时，认为运动估计器执行了较少的补偿。因此局部DFD表示了噪声和有用信号的混合。则如图2中步骤E6所示，最大值限制了噪声电平的局部增大。

-在相反情况下，即就是说出现轻微运动，认为运动估计器非常可靠。认为运动补偿的质量优良。结果，局部DFD表示噪声。因此如图2中步骤E7所示，不限制局部噪声电平的增大。

加权系数β₁和β₂允许较强或较弱强调局部调整的效果。可以利用多种方式实现这种加权，给出的典型实施例仅作为演示。

现在我们对图2进行说明，该图2描述了用于估计图像块局部噪声电平的模块4的实施例。

模块4接收平均DFD DFD_mean和局部DFD(DFD(x，y；t))作为输入，并在步骤E1计算被称作ERROR_DFD的平均DFD与局部DFD之间的差。

在步骤E2的过程中，执行比较测试以确定此差是正还是负。

如果此差是负的，进行步骤E3，将此差与阈值S2进行比较。

如果ERROR_DFD大于或等于阈值S2，则进行步骤E4。在步骤E4的过程中，增大局部噪声电平。作为演示，可以使用下式执行这种增大：

σ_local＝σ_global-Ratio_DFD×β₂

如果ERROR_DFD小于S2，则进行步骤E5。在步骤E5的过程中，执行测试并将位移矢量d(x，y)与运动阈值S3进行比较。如果d(x，y)大于S3，则进行步骤E7。在步骤E7过程中，增大局部噪声电平并设置阈值。作为演示，这可以使用下面的方式来进行：

σ_local＝σ_global+β₂/2

如果d(x，y)小于或等于S3，则进行步骤E6，在步骤E6的过程中，增大局部噪声电平。作为演示，这可以如下进行：

σ_local＝σ_real-Ratio_DFD×β₂

如果在步骤E2的过程中ERROR_DFD为负，则进行将此差与阈值S1进行比较的步骤E8。

如果ERROR_DFD小于或等于阈值S1，则进行步骤E9。在步骤E9的过程中，减小局部噪声电平。作为演示，可以使用下式执行这种减小：

σ_local＝σ_global-Ratio_DFD×β₁

如果ERROR_DFD大于阈值S1，则进行步骤E10。在步骤E10的过程中，根据作为演示给出的下式减小局部噪声电平并执行阈值的设置：

σ_local＝σ_global-β₁/2

下一步进行步骤E11，在步骤E11的过程中，通过施加最小值α_min和最大值α_max对局部噪声电平值进行平滑。最后得到的噪声电平值或者是在步骤E4、E6、E7、E9或E10中得到的值，或者如果此值大于α_max，则最后的噪声电平值是α_max，而如果此值小于α_min，则最后的噪声电平值是α_min。

在某些特定实施例中，作为演示，可以将下列值作为不同的阈值。

为了显示对称，可以设S1＝|S2|，且β₂＝β₁。

S1＝0.5×DFD_mean，

S2＝-0.5×DFD_mean，

β₂＝β₁＝6，(这些系数与β的性质相同)

S3＝20。

á_min＝3.5

á_max＝15.5

Claims (8)

1.一种用于在编码之前估计视频图像噪声电平的设备，包括：

—存储装置(1)，用于存储至少一幅输入图像u(x，y；t)，

—块运动估计模块(2)，将其设计为根据当前输入图像(u(x，y；t))及之前存储于所述存储装置(1)的至少一幅输入图像(u(x，y；t-T))，产生第一块运动补偿图像变化的表示量(DFD)，

—估计装置(3)，用于估计每一幅图像的全局噪声电平(σ_global)，所述全局噪声电平(σ_global)是至少一个所述第一运动补偿图像变化的表示量(DFD)的函数，

其特征在于所述设备还包括：

—估计装置(4)，用于估计每一个图像块的局部噪声电平(σ_local)，所述局部噪声电平(σ_local)是第二运动补偿图像变化的表示量(DFD)以及全局噪声电平(σ_global)的函数。

2.根据权利要求1所述的设备，其特征在于所述用于确定所述全局噪声电平(σ_global)的第一运动补偿图像变化的表示量(DFD)是由块运动估计模块(4)计算得到的最小量(DFD_min)以及平均量(DFD_mean)。

3.根据权利要求2所述的设备，其特征在于所述用于确定所述局部噪声电平(σ_local)的第二运动补偿图像变化的表示量(DFD)是由块运动估计模块(2)计算得到的局部量(DFD(x，y；t))和平均量(DFD_mean)。

4.根据权利要求1或2所述的设备，其特征在于设计所述局部噪声电平(σ_local)估计装置(4)，使其确定局部噪声电平，所述局部噪声电平是平均DFD(DFD_mean)和局部DFD(DFD(x，y；t))之差(ERROR_DFD)的函数以及所述差与平均DFD(DFD_mean)比率的函数。

5.根据权利要求4所述的设备，其特征在于不同地调整局部噪声电平(σ_local)，所述局部噪声电平(σ_local)是所述差(ERROR_DFD)值与至少一个预定阈值(S1，S2，S3)之间比较的函数。

6.一种噪声减少系统，其特征在于包括根据权利要求1至5所述的用于估计噪声电平的设备。

7.一种编码系统，包括根据权利要求1至5所述的用于估计噪声电平的设备。

8.一种用于在编码前估计视频图像噪声电平的方法，其中：

—存储至少一幅当前的输入图像(u(x，y；t))，

—根据当前的输入图像(u(x，y；t))以及之前存储于所述存储装置(1)的至少一幅输入图像(u(x，y；t-T))执行块运动估计，从而产生第一块运动补偿图像变化的表示量(DFD)，

—确定每一幅图像(u(x，y；t))的全局噪声电平(σ_global)，所述全局噪声电平(σ_global)是至少一个所述运动补偿图像变化的表示量(DFD)的函数，

其特征在于还包括

—确定(E4，E6，E7，E9，E10，E11)每一图像块的局部噪声电平(σ_local)，所述局部噪声电平(σ_local)是第二运动补偿图像变化的表示量(DFD)及全局噪声电平(σ_global)的函数。

Images