CN101662678B - 一种运动补偿时域滤波的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种运动补偿时域滤波的方法和装置，该方法包括：接收输入数据信号；获取所述输入信号的最终滤波系数；根据所述最终滤波系数对所述输入数据信号进行滤波，得到滤波后的数据信号。利用这种时域滤波的方法减轻或者消除了方块效应失真。

Description

一种运动补偿时域滤波的方法和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种运动补偿时域滤波的方法和装置。

背景技术

MCTF(Motion Compensated Temporal Filter，运动补偿时域滤波)是将运动预测和时域滤波结合起来消除帧间噪声，消除图像降噪和空间降噪中的重影和拖尾现象。在现有技术中，一种MCTF装置如图1所示，包括：运动估计模块110，用于对输入的图像序列以块为单位进行运动估计，通过运动搜索获得当前滤波块在参考帧中的匹配块，块匹配的判断通常使用最小化差值能量的方法；滤波系数计算模块120，用于根据当前滤波块与匹配块的匹配度计算当前滤波块与匹配块进行时域滤波时的滤波系数；滤波模块130，用于根据滤波系数计算模块120得到的滤波系数以块为单位进行时域滤波，输出图像序列。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

运动补偿时域滤波首先要识别真正的运动，然后在时域滤波过程中进行运动补偿。但是，现有技术中利用最小化差值能量等方法寻找到的匹配块不一定代表了当前滤波块的运动，特别是当运动不明显时，运动矢量可能不表示一个真实的运动，而只是一个好的匹配位置，基于运动补偿的时域滤波有可能会产生方块效应失真，使得某些滤波后的块呈现明显的边缘效应。

发明内容

本发明实施例提供了一种运动补偿时域滤波的方法和装置，以减轻或消除方块效应失真。

本发明实施例提供了一种运动补偿时域滤波的方法，包括：

接收输入数据信号；

获取所述输入信号的最终滤波系数；

根据所述最终滤波系数对所述输入数据信号进行滤波，得到滤波后的数据信号。

本发明实施例提供了一种运动补偿时域滤波的装置，包括：

接收模块，用于接收输入数据信号；

计算模块，用于根据所述输入数据信号获计算最终滤波系数；

滤波模块，用于根据所述计算模块输出的最终滤波系数对输入数据信号进行滤波并输出滤波后的数据信号。

本发明实施例具有以下优点：

本发明实施例中，通过参考当前块的相邻块的滤波系数以及当前块和匹配块的相似度确定当前块的滤波系数，根据所确定的滤波系数进行运动补偿时域滤波，使得滤波后图像块间过渡自然，减轻或消除了运动补偿时域滤波中的方块效应失真，避免了滤波后的块呈现明显的边缘效应。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中一种实现运动补偿时域滤波的装置示意图；

图2为本发明实施例一种运动补偿时域滤波的流程图；

图3为本发明实施例一种运动补偿时域滤波的流程图；

图4为本发明实施例一种匹配度与SSD的关系曲线示意图；

图5为本发明实施例一种获得初始滤波系数的流程图；

图6为本发明实施例一种对滤波系数进行调整的简化过程示意图；

图7为本发明实施例一种获得相似度的流程图；

图8为本发明实施例一种噪声的高斯分布曲线示意图；

图9为本发明实施例一种预设的相似度与像素差值分布的对应关系曲线示意图；

图10为本发明实施例一种运动补偿时域滤波的装置示意图；

图11为本发明实施例初始滤波系数计算模块的实现装置示意图；

图12为本发明实施例相似度计算模块的实现装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种运动补偿时域滤波的方法，如图2所示，包括：

步骤201，接收输入数据信号，该数据信号可以为图像序列；

步骤202，获取所述输入信号的最终滤波系数；

步骤203，根据所述最终滤波系数对所述输入数据信号进行滤波，得到滤波后的数据信号。

本发明实施例提供了一种运动补偿时域滤波的方法，如图3所示，包括：

步骤301，对输入图像序列通过运动搜索找到当前滤波帧中滤波图像块(当前块)的匹配块，并计算当前块与匹配块的能量残差值。其中，运动搜索可以采用块速搜索算法，也可以采用全搜索算法。寻找匹配块一般采用最小化能量方法，能量残差值可以采用不同的方法来衡量，比如可以采取MSE(Mean Squared Error，平均平方误差)或者使用SSD(Sum of SquareDifference，像素差平方和)值等参数来衡量。

步骤302，对图像序列的噪声进行估算，并计算图像序列的噪声方差值。其中，步骤301与步骤302的顺序可以交换。

步骤303，根据步骤301得到的能量残差值(比如SSD)和步骤302得到的噪声方差值，计算当前块和进行运动估计后找到的匹配块的匹配度。

以SSD作为能量残差值为例，匹配度的计算公式如下：

σ＝(Upper_th-Lower_th)/(SSD_th1-SSD_th2)*(SSD-SSD_th2)+Lower_th，

其中，σ表示匹配度；SSD_th1和SSD_th2分别表示当前滤波图像块与参考图像块对应像素差平方和门槛值1和门槛值2，当计算得到的当前滤波图像块与参考图像块对应像素差平方和SSD的值小于或者等于SSD_th1时，认为当前滤波图像块与参考图像块是完全匹配的，而当计算得到的当前滤波图像块与参考图像块对应像素差平方和SSD的值大于或者等于SSD_th2时，则认为当前滤波图像块与参考图像块是完全不匹配的，SSD_th1和SSD_th2的具体数值主要根据图像块的大小和噪声方差值确定；Upper_th和Lower_th分别表示匹配度的最大值和最小值。

该匹配度与SSD的关系曲线如图4所示，曲线分为三段：当计算得到的像素差平方和SSD的值小于或者等于SSD_th1时，匹配度σ＝Upper_th；当计算得到的像素差平方和SSD的值大于SSD_th1并小于SSD_th2时，匹配度σ＝(Upper_th-Lower_th)/(SSD_th1-SSD_th2)*(SSD-SSD_th2)+Lower_th；当计算得到的像素差平方和SSD的值大于或者等于SSD_th2时，匹配度σ＝Lower_th。

步骤304，根据步骤303得到的匹配度计算出滤波系数，然后根据相邻块的滤波系数对当前块的滤波系数进行调整，得到初始滤波系数。

步骤305，根据步骤302得到的图像序列的噪声方差值，计算当前块和匹配块的相似度。

步骤306，根据步骤305得到的相似度，对步骤304得到的初始滤波系数进行调整，得到最终滤波系数。

利用相似度对滤波系数进行调整的方式是：匹配块与当前块的相似度越大，滤波强度越大，即滤波系数越小；匹配块与当前块的相似度越小，滤波强度越小，即滤波系数越小(由该领域通用的滤波强度的定义可知，滤波强度的大小与滤波系数的大小成反比，该规律也可以从步骤307中给出的公式得出)。因此，可以利用相似度和初始滤波系数相乘得出最终的滤波系数，当然这只是一个利用相似度对滤波系数进行调整的例子，本发明的思想不仅仅局限于本例子所表示的情况。

步骤307，根据步骤306得到的最终滤波系数对输入图像序列进行滤波得到滤波后的图像序列。时域滤波的原理可以使用下面的公式表示：

F＇＝αF+(1-α)F_-1，

其中F＇是滤波后的图像，F是当前帧的图像，F_-1是参考帧的图像，α是滤波系数。

本发明实施例提供了步骤304中根据匹配度计算出滤波系数的实现方法，如图5所示，包括：

步骤501，根据匹配度计算滤波系数。计算方法是：匹配度越高，滤波强度就越大，即滤波系数越小；匹配度越低，滤波强度就越弱，即滤波系数越大。下面给出一个根据匹配度计算滤波系数的例子，但是本发明的思想不仅仅局限于本例子所表示的情况。由步骤307给出的公式可以看出，滤波强度越大，滤波系数α越小。所以，当匹配度σ＝Upper_th时，α取最小值，该最小值不小于0；当匹配度σ＝Lower_th时，α取最大值，该最大值不大于1；当σ＝(Upper_th-Lower_th)/(SSD_th1-SSD_th2)*(SSD-SSD_th2)+Lower_th时，取α＝(Upper_th-σ)/(Upper_th-Lower_th)。

对初始滤波系数进行调整的主要目的是减少方块效应。因为方块效应是块与块之间由于滤波过后彼此间像素的差别增大而造成的边界效应，所以当相邻块的滤波系数差别较大时导致方块效应的几率会较大。因此，在调整当前块的滤波系数时，需要参考与当前块相邻的块的滤波系数，即当前块的滤波系数由当前块的匹配度和相邻块的滤波系数共同决定。如图6所示，除了位于图像边缘的块外，在其他位置当前块的相邻块一共有八个：当前块MC、左端块ML、右端块MR、顶部块MT、顶部左端块MTL、顶部右端块MTR、底部块MB、底部左端块MBL和底部右端块MBR。如果要同时参考八个块的滤波系数会使计算非常复杂，因此，做如下简化：首先，由于当前块MC参考后面的块(MR、MBL、MB、MBR)的滤波系数需要耗费更多的资源，所以简化为只参考前面的块(MTL、MT、MTR、ML)的滤波系数值；其次，由于MTL块和MTR块与当前块MC都只有一点接触，即使滤波之后彼此块之间的差别较大也不会导致明显的边界效应，所以进一步简化为只参考ML块和MT块的滤波系数值。

步骤502，划分滤波级别并对每一个滤波级别赋予一个数值。例如把滤波过程分为五个级别：强滤波，较强滤波，中等滤波，较弱滤波和弱滤波，赋值如下：强滤波为1，较强滤波为2，中等滤波为3，较弱滤波为4，弱滤波为5。

步骤503，判断MC的滤波级别减去ML或者MT的滤波级别的差是否大于等于Delta(Delta被预设为3或4)。如果MC的滤波级别减去ML或者MT的滤波级别的差大于等于Delta，则进行步骤504，否则进行步骤505。

步骤504，把MC的滤波级别降低半个级别。

步骤505，判断MC的滤波级别减去ML或者MT的滤波级别的差是否小于等于-Delta。如果MC的滤波级别减去ML或者MT的滤波级别的差小于等于-Delta，则进行步骤506，否则进行步骤507。

步骤506，把MC的滤波级别调高一个级别。

步骤507，把调整后的滤波系数作为初始滤波系数。

该方法是对MC和ML、MT之间的滤波系数级别的限制，并且在调整过程中，当前块滤波等级由弱滤波等级向强滤波等级方向调整的限制程度相对较大，所以更有效地减少了方块效应。

本发明实施例提供了步骤305中计算当前块和匹配块的相似度的实现方法，如图7所示，包括：

步骤701，预设相似度与像素差值分布的对应关系。具体过程包括：

假设通过运动估计找到的匹配块是当前块经过运动在参考帧中所到达的实际位置，在没有噪声的理想情况下，找到的匹配块与当前块中的像素应该是一一对应的，而且在幅度值上是没有任何差异的；在被噪声污染的情况下，找到的匹配块与当前块中的对应像素在幅度值上的差异完全由噪声导致。在原始图像中，绝大部分噪声都是白噪声，白噪声可以使用高斯噪声的模型来近似。典型的高斯噪声曲线如图8所示，其中μ表示高斯噪声的平均值或者期望值，σ表示高斯噪声的标准差。高斯噪声的分布表达式可以表示为：

$\mathrm{\ρ}\left(z\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-{(z-\mathrm{\μ})}^2/2{\mathrm{\σ}}^2},$

高斯噪声的分布70％落在[(μ-σ)，(μ+σ)]范围内，95％落在[(μ-2σ)，(μ+2σ)]的范围内。如果像素差值的分布特点与高斯噪声的分布特点比较接近，那么可以认为匹配块是当前滤波块经过运动后所到达的位置，即匹配块与当前块的相似度较大；如果像素差值的分布特点与高斯噪声的分布特点差别很大，那么匹配块与当前块相似度会很小。根据该原则，下面给出一种预设相似度与像素差值分布的对应关系的具体例子：

如图9所示，横坐标表示像素差值分布的分散程度的大小，纵坐标表示相似度。delta是一个预设的常数，当像素差值小于该常数时，认为匹配块与当前块是完全相似的，匹配块与当前块的差异完全是由噪声导致的。从图9中可以看出像素差值分布越分散，匹配块与当前块的相似度越小。

步骤702，统计当前块和匹配块的像素差值。

步骤703，根据步骤702的统计结果，获得当前块和匹配块的像素差值分布。

步骤704，根据步骤701预设的相似度与像素差值分布的对应关系和步骤703获得的当前块和匹配块的像素差值分布，得到当前块和匹配块的相似度。

本发明实施例的装置图如图10所示，包括：

接收模块1010，用于接收输入数据信号，该数据信号可以为图像序列；

计算模块1020，用于根据所述输入数据信号获计算最终滤波系数；

滤波模块1030，用于根据所述计算模块1020输出的最终滤波系数对输入数据信号进行滤波并输出滤波后的数据信号。

其中，计算模块1020具体包括：

运动估计子模块1024，作用是对接收模块1010输入的数据信号通过运动搜索找到当前块的匹配块，然后把匹配块的运动矢量和当前块与匹配块的能量残差值输入到匹配度计算子模块1025和相似度计算子模块1022。

噪声估计模块1026，作用是对输入的数据信号的噪声进行估算，并把数据信号的噪声方差值输入到匹配度计算子模块1025、相似度计算模块1022和滤波模块1030。

匹配度计算子模块1025，作用是根据运动估计子模块1024输出的能量残差值和噪声估计子模块1026输出的噪声方差值，计算运动估计子模块1024找到的当前块和匹配块的匹配度，并把该匹配度输入到初始滤波系数计算子模块1021。

初始滤波系数计算子模块1021，作用是根据匹配度计算子模块1025输出的匹配度计算出滤波系数，然后根据相邻块的滤波系数对当前块的滤波系数进行调整得到初始滤波系数，并把该初始滤波系数输入到最终滤波系数计算子模块1023。

相似度计算子模块1022，作用是根据噪声估计子模块1026输出的噪声方差值，计算运动估计子模块10240找到的匹配块和当前块的相似度，并把该相似度输入到最终滤波系数计算子模块1023。

最终滤波系数计算子模块1023，作用是根据相似度计算子模块1022输出的相似度，对初始滤波系数计算子模块1021输入的初始滤波系数进行进一步调整，得到最终滤波系数，并把该最终滤波系数输入到滤波模块1030。

本发明实施例提供了初始滤波系数计算子模块1021的具体实现装置，如图11所示，包括：

滤波系数计算子单元1110，作用是根据匹配度计算子模块1025输出的匹配度计算并输出滤波系数。

滤波等级赋值子单元1120，作用是把滤波系数计算子单元1110输出的滤波系数划分滤波级别并对每一个滤波级别赋予一个数值。

调整子单元1130，作用是计算MC的滤波级别减去ML或者MT的滤波级别的差值，并根据该差值对滤波等级赋值子模块1120输入的滤波等级进行调整：当该差值大于等于Delta(Delta被预设为3或4)时，把MC的滤波级别降低半个级别；当该差值小于等于-Delta时，把MC的滤波级别调高一个级别。

初始滤波系数获取子单元1140，作用是把调整子单元1130输入的调整后的滤波系数作为初始滤波系数并输出。

本发明实施例提供了相似度计算子模块1022的具体实现装置，如图12所示，包括：

预设子单元1210，作用是预设并输出相似度与像素差值分布的对应关系。

像素差值分布获取子单元1220，作用是统计当前块和匹配块的像素差值并输出当前块和匹配块的像素差值分布。

相似度获取子单元1230，作用是根据预设子单元1210输出的对应关系和像素差值分布获取子单元1220输出的像素差值分布，获取并输出当前块和匹配块的相似度。

本发明实施例提供的运动补偿时域滤波的方法和装置是在根据匹配度计算和调整滤波系数的基础上又根据相似度进一步计算和调整滤波系数，这样就达到了减轻甚至消除方块效应失真的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (8)

1.一种运动补偿时域滤波的方法，其特征在于，包括：

接收输入数据信号，所述输入数据信号为图像序列；

获取所述输入数据信号的最终滤波系数；

根据所述最终滤波系数对所述输入数据信号进行滤波，得到滤波后的数据信号；

所述获取输入数据信号的最终滤波系数具体包括：

根据所述输入数据信号的匹配度获取初始滤波系数；

根据噪声方差值，计算当前块和匹配块的相似度；

根据所述相似度，对所述初始滤波系数进行调整，获取最终滤波系数；

所述根据输入数据信号的匹配度获取初始滤波系数具体包括：根据输入数据信号的匹配度计算滤波系数，匹配度越高，滤波系数越小；匹配度越低，滤波系数越大；对所述滤波系数进行调整获得初始滤波系数；

所述计算当前块和匹配块的相似度具体包括：预设相似度与像素差值分布的对应关系；对当前块和匹配块的像素差值进行统计并获取当前块和匹配块的像素差值分布；根据所述相似度与像素差值分布的对应关系、所述当前块和匹配块的像素差值分布，获取当前块和匹配块的相似度；

所述根据相似度，对所述初始滤波系数进行调整具体包括：当匹配块与当前块的相似度大时，调高所述初始滤波系数；当匹配块与当前块的相似度小时，调低所述初始滤波系数。

2.如权利要求1所述运动补偿时域滤波的方法，其特征在于，所述根据输入数据信号的匹配度获取初始滤波系数之前还包括：

对所述输入数据信号通过运动搜索找到当前块的匹配块，并计算所述当前块与所述匹配块的能量残差值；

对所述输入数据信号的噪声进行估算并获取所述输入数据信号的噪声方差值；

根据所述能量残差值和所述噪声方差值计算所述当前块和所述匹配块的匹配度。

3.如权利要求1所述运动补偿时域滤波的方法，其特征在于，所述对滤波系数进行调整获得初始滤波系数具体包括：

划分滤波级别并对每一个滤波级别赋予对应的数值；

判断当前块和相邻块的滤波级别的差值；

当差值大于等于第一预设值时，则把当前块滤波级别降低半个等级；

当差值小于等于第二预设值时，则把当前块滤波级别调高一个等级；

把调整后的滤波系数作为初始滤波系数。

4.如权利要求3所述运动补偿时域滤波的方法，其特征在于，所述相邻块包括当前块的左端块和顶部块。

5.一种运动补偿时域滤波的装置，其特征在于，包括：

接收模块，用于接收输入数据信号；

计算模块，用于根据所述输入数据信号获取最终滤波系数；

滤波模块，用于根据所述计算模块输出的最终滤波系数对输入数据信号进行滤波并输出滤波后的数据信号；

所述计算模块包括：

初始滤波系数计算子模块，用于根据输入数据信号的匹配度计算出滤波系数，根据相邻块的滤波系数对当前块的滤波系数进行调整，获取并输出初始滤波系数；

相似度计算子模块，用于根据输入的噪声方差值，计算并输出当前块和匹配块的相似度；

最终滤波系数计算子模块，用于根据所述相似度计算子模块输出的相似度，对所述初始滤波系数计算子模块输出的初始滤波系数进行调整，获取并输出最终滤波系数；

所述相似度计算子模块包括：

预设子单元，用于预设并输出相似度与像素差值分布的对应关系；像素差值分布获取子单元，用于统计当前块和匹配块的像素差值并输出当前块和匹配块的像素差值分布；相似度获取子单元，用于根据所述预设子单元输出的对应关系和所述像素差值分布获取子单元输出的像素差值分布，获取并输出当前块和匹配块的相似度；

所述对所述初始滤波系数计算子模块输出的初始滤波系数进行调整，具体包括：当匹配块与当前块的相似度大时，调高所述初始滤波系数；当匹配块与当前块的相似度小时，调低所述初始滤波系数。

6.如权利要求5所述运动补偿时域滤波的装置，其特征在于，所述计算模块还包括：

运动估计子模块，用于对所述输入数据信号通过运动搜索找到当前块的匹配块，并把匹配块的运动矢量和当前块与匹配块的能量残差值输入到匹配度计算子模块和所述相似度计算子模块；

噪声估计子模块，用于对所述输入数据信号的噪声进行估算，并把所述输入数据信号的噪声方差值输入到所述匹配度计算子模块、所述相似度计算子模块和所述滤波模块；

所述匹配度计算子模块，用于根据所述运动估计子模块输出的能量残差值和所述噪声估计子模块输出的噪声方差值，计算并输出当前块和匹配块的匹配度。

7.如权利要求5所述运动补偿时域滤波的装置，其特征在于，初始滤波系数计算子模块包括：

调整子单元，用于把滤波系数划分滤波级别并对每一个滤波级别赋予对应的数值，计算当前块和相邻块的滤波级别的差值，当所述差值大于等于第一预设值时，则把当前块滤波级别降低半个等级；当所述差值小于等于第二预设值时，则把当前块滤波级别调高一个等级；

初始滤波系数获取子单元，用于把所述调整子单元调整后的滤波系数作为初始滤波系数并输出。

8.如权利要求7所述运动补偿时域滤波的装置，其特征在于，初始滤波系数计算子模块还包括：

滤波系数计算子单元，用于根据匹配度计算子模块输出的匹配度计算并输出滤波系数；

滤波等级赋值子单元，用于把所述滤波系数计算子单元输出的滤波系数划分滤波级别并对每一个滤波级别赋予一个数值。

Images