CN101272450B - Sprite编码中的全局运动估计外点去除及运动参数细化方法 - Google Patents

Abstract

本发明公开了一种Sprite编码中的全局运动估计外点去除及运动参数细化方法，当摄像机或者其他的工业拍摄图象的装置存在散焦模糊、采样率不足导致模糊、快速运动导致模糊的情况下，本发明的技术依然可以比较精确的获得全局运动估计的参数，结果可以与采用直接方法的全局运动估计技术相媲美，并且运算速度快，运算时间只有经典直接方法的5％-10％。本发明使得快速鲁棒的Sprite编码技术变得更加现实可行，有利于MPEG-4国际标准在高清数字电视领域的使用和推广。

Description

Sprite编码中的全局运动估计外点去除及运动参数细化方法

技术领域

本发明涉及视频处理领域，特别地，涉及一种Sprite编码技术中的全局运动估计外点去除及运动参数细化方法。

背景技术

目前，数字电视领域主要使用MPEG-2国际标准进行压缩编码，可是，随着高清数字电视的发展，MPEG-2的压缩率已经渐渐难以满足实际需求。而新一代的国际标准MPEG-4 Visual/AVC给高清电视的推广带来了希望。MPEG-4视频国际标准已经被广泛使用于多媒体压缩领域中，而Sprite编码技术是包含在MPEG-4 Visual标准中的新一代编码技术。特别的，在视频监控、比赛直播等场景相对固定的应用中，Sprite编码技术更是可以有效提高视频压缩效率，节省大量的珍贵的传输带宽资源。

可是由于Sprite编码技术的运算复杂度比较大，该技术一直难以应付需要实时处理的场合，特别的，全局运动估计部分一直是Sprite编码里面的时间瓶颈。全局运动估计一般采用直接方法或者间接方法进行处理。直接方法当参与运算的像素点比较多的时候，直接法的运算代价比间接法高得多，限制了Sprite编码的应用。间接方法依赖于局部运动的获取。当获得的局部运动由于摄像机或者其他的获取图象的装置的缺陷模糊、散焦、高速运动等原因存在较大的失真的时候，间接法的精度受到很大影响。所以，目前的全局运动估计技术面临运算复杂度和运算精度的矛盾。

发明内容

本发明的目的在于针对现有技术的不足，提供一种Sprite编码中的全局运动估计外点去除及运动参数细化方法。

本发明的目的是通过以下技术方案来实现的：一种Sprite编码中的全局运动估计外点去除及运动参数细化方法，包括以下步骤：

(1)对摄像机拍摄得到的图象导入计算机，使用低通滤波器滤除图像噪声；

(2)使用图象区域化多阈值技术在图象中选取初始特征块，使用高通滤波器获得图象的空间梯度，使用帧差近似图象的时间梯度；

(3)使用块匹配技术对确认的特征块块进行局部运动估计，并对这些块进行标记；

(4)基于块匹配的结果对得到的特征块集合进行修正；

(5)采用RANSAC算法去除去除外点并得到全局运动参数。对运动矢量残差直方图先使用固定阈值T＝10％计算全局运动参数，再使用固定阈值T＝30％进行计算；

(6)使用种子生长的方法在步骤(5)的基础上进一步去除外点；

(7)以间接方法的结果为初值进行全局运动参数的优化，得到更加精确的运动参数。

进一步地，所述低通滤波器为中值滤波器；所述高通滤波器为Sobel边缘算子。

本发明的有益效果是：当摄像机或者其他的工业拍摄图象的装置存在散焦模糊、采样率不足导致模糊、快速运动导致模糊的情况下，本发明依然可以比较精确地获得全局运动估计的参数，结果可以与采用直接方法的全局运动估计技术相媲美，并且运算速度快，运算时间只有经典直接方法的5％-10％。本发明使得快速鲁棒的Sprite编码技术变得更加现实可行，有利于MPE6-4国际标准在高清数字电视领域的使用和推广。

附图说明

图1是技术流程图；

图2是基于8×8块，新的目标函数在一个特征块中选取的参与计算的点图，其中，(a)是水平选点图，(b)是对角线选点图；

图3是coastguard序列的第2帧图；

图4是coastguard序列的第2帧的空间梯度图；

图5是coastguard序列的第2帧的时间梯度图；

图6是被标记的参与BME的块图；

图7是寻找刚体内部的点图；

图8是使用种子生长的方式去除外点图；

图9是全局运动补偿的结果图。

具体实施方式：

一、特征点的选取原则与方法：

1.全局运动参数估计中BME(Block based Motion Estimation)本身无可避免要引入匹配误差，为了增加系统的抗干扰能力，应使得特征点尽可能不相关的分布于整幅图像的背景区域。

2.BME算法使用SAD(Sum of Absolute Difference)最小来作为匹配准则。在图像平坦区域或者细节很小的区域就算SAD很小往往也难以匹配到真实的运动，因此特征点应处于细节丰富的区域——近似于空间梯度大的区域。某一个区域，当时间梯度(用帧差来近似)比较小，即使空间梯度比较大，有可能是运动的方向垂直于梯度的方向或者没有任何运动，使得BME过程也难以捕捉真实运动。因此特征点应处于时间梯度比较大的区域。把这些符合空间梯度和时间梯度的区域成为运动边界。

3.可是并非所有的运动边界都是可信的。前景和背景交界处的BME得到的运动矢量本身就是可疑的，比如位于运动的“冒出”与“淹没”区域，BME过程也很难捕捉真正的运动。对于基于SAD的BME过程来说，刚体内部的运动边界才是可信的。

本发明的操作流程：包括以下步骤：

A).对摄像机拍摄得到的图象导入计算机，使用低通滤波器(中值滤波器)滤除图像噪声。

使用中值滤波器作为低通滤波器，主要是滤去图象的高频噪声，把图象带宽限制在一定范围之内，防止对后续的求解图象梯度的操作造成严重影响。

B).使用图象区域化多阈值技术在图象中选取初始特征块。使用高通滤波器(Sobel边缘算子)获得图象的空间梯度，使用帧差近似图象的时间梯度。

把当前帧均分成12(3×4)个区域，对每一个区域执行相同的运算。划分区域的目的是使得特征点尽可能均匀分布在整个图像上而使得他们的距离尽可能的远。此外，对于复杂的图像来说，单一阈值一般难以兼顾图像各处的局部情况。因此把图像进行分区也是多阈值的要求。求得每一个区域的时间梯度和空间梯度，使用如下的公式来获得初始化的特征块。

{block(x，y)，region(i)，i＝0...k-1|grad(s)_block(x，y)＞1.2*T_s_region(i)，grad(t)_block(x，y)≥1.0*T_t_region(i)}其中block(x，y)，region(i)，表示第i(i＝0，...k-1)个区域中由坐标(x，y)标记的块，grad(s)_block(x，y)和grad(t)_block(x，y)分别是块的空间梯度和时间梯度，T_s_region(i)和T_t_region(i)分别是区域region(i)的平均空间梯度和平均时间梯度。

C).使用块匹配技术对确认的特征块块进行局部运动估计，并对这些块进行标记。

当前的国际标准(MPEG-1，MPEG-2，MPEG-4 Visual/AVC)和我国的标准(AVS)的视频部分均使用块匹配技术进行局部运动的估计。

D).基于块匹配的结果对得到的特征块集合进行修正。

由于运动交界处一般沿着物体的轮廓有连续的运动轮廓，所以如果当前标记块是孤立块(8邻域中没有其他的标记块)，该块便很可能属于刚体内部的运动边界；如果当前标记块不是孤立块，那么剔除当前块的充分条件是：当前块的8邻域中存在有块，符合D＞T，D是该块与当前标记块的运动矢量之间的欧氏距离，T是合理设置的阈值。这是采用如下基本假设：如果当前块与临近块都位于同一个刚体内部，那么，他们的运动矢量的欧氏距离很可能就会比较接近。可是，如果当前块位于前景与背景的运动交界处，由于基于最小绝对残差(SAD)的块匹配过程难以描述这些块的真实运动，所以这些块的运动矢量的欧氏距离很可能就会比较大。

经过前面4步之后便得到了整个特征块集，既包含前景物体，也包含背景物体。本发明的算法在第4步之后把特征块进一步标记为“可能的前景块”和“可能的背景块”。这样的操作既不会使得参与迭代的特征块数目过分的少而且分布不均而影响迭代过程的鲁棒性，也为后续模块的处理提供良好的参考依据。

E).采用RANSAC算法去除去除外点并得到全局运动参数。对运动矢量残差直方图先使用固定阈值T＝10％计算全局运动参数，再使用固定阈值T＝30％进行计算。

F).使用种子生长的方法在第5步的基础上进一步去除外点。

画出运动矢量残差直方图；把运动矢量残差直方图中残差最大的30％特征块标记成“直接去除块”，取标号(1)，把剩余的特征块中运动矢量残差最大的30％标记为“选择去除块”，取标号(2)。(这样(1)和(2)标记的特征块占所有特征块总数就会有大约0.3+0.7*0.3＝50％)假如在标记成(1)的块的8邻域块中有标记成(2)的块，那么把(2)块标记成(1)。这样标记成(1)的块便以种子扩散的方式生长开来，所有特征块标记完成后(此时，(1)块的8邻域中已经没有(2)的块了)，把所有的(1)块剔除，剩余的特征块用公式(2)计算，得到结果；

G).以间接方法的结果为初值进行全局运动参数的优化，，得到更加精确的运动参数。

由于间接方法采用“运动矢量残差最小”作为目标函数，就算全部参与运算的特征块都属于背景，这也并不能保证得到的全局补偿亮度残差最小。因此在这里使用“亮度残差最小”作为目标函数，以之前得到的全局运动参数作为初值进行迭代求解，或者说进行运动参数的细化操作。

参数的细化指的是参数求解的一个由粗糙逐渐精确的过程。一般来说第6步之后得到的运动参数已经比较接近真值，在这种情况下具有二次收敛特性的Gauss-Newton迭代能很快的收敛。本发明采用成熟的Levenberg-Marquardt迭代法进行参数的优化。

本发明在Step7中采用新的目标函数。

其中θ＝(a，b，c，d，e，f)^T，γ′代表参与计算的特征点的亮度残差(如图2)，γ′＝(r₁，...，r_N)^T，W是加权矩阵，W＝diag(w₁，...，w_N)，N代表参与计算的特征点的总数量。

对第4步确认的“可能的前景块”取η≤1。

附图2对于8×8块，新的目标函数在一个特征块中选取的参与计算的点图

基于块处理的间接方法的问题在于：固定大小的块很难完全符合真实物体的弯曲边界。这样，传统的代价函数便无法完全去除块中外点的影响。在一个块中随机选取一定比例的像素点，在统计意义上与使用块中所有的像素点计算是一样的，可是运算量得到下降。于是，新的代价函数的目标是选取一个块中少量的并规律排布的像素点进行处理，在统计意义上，达到与传统的目标函数接近的计算结果。

H).完成

本发明的详细流程见附图1。

比如要对摄像机拍摄得到的序列coastguard进行处理：

A：使用低通滤波器对图象进行低通滤波。

使用的低通滤波器是中值滤波器。

B：使用高通滤波器对图象进行滤波。并使用图象区域化多阈值技术在图象中选取初始特征块。

B.1)利用空间梯度和时间梯度寻找用于块匹配操作的块。使用Sobel边缘算子计算图象的空间梯度(参见附图4)，利用帧差模拟时间梯度(参见附图5)。

B.2)把图象分成3×4的区域。

C：使用块匹配技术对确认的特征块块进行局部运动估计，并对这些块进行标记。

对时间梯度和空间梯度都符合公式

{block(x，y)，region(i)，i＝0...k-1|grad(s)_block(x，y)＞1.2*T_s_region(i)，grad(t)_block(x，y)≥1.0*T_t_region(i)}

的宏块进行标记。(参见附图6)

D：寻找刚体内部的点(参见附图7，这里刚好所有点都参与运算，所以，附图6与附图7一致)基于块匹配的结果对得到的特征块集合进行修正。

E：使用RANSAC算法进行迭代操作，使用T＝10％得到运动参数为(1.000，0，0，0.0046，1.0009，-2.1527)，然后使用T＝30％得到运动参数为(1.000，0，0，0.0058，1.0011，-2.4767)。

F：使用种子生长的方法在第5步的基础上进一步去除外点。参见附图8，与附图7的对比可以看出，这一步有效去除外点(属于前景的船只被去除了，留下了背景部分)。得到运动参数为(1.0000，0，0，0.0055，1.0004，-2.3908)

G：以间接方法的结果为初值进行全局运动参数的优化，得到更加精确的运动参数。全局补偿效果(参见图9)。可以发现背景得到有效补偿，使得属于前景的船只更加凸显了出来，而背景由于得到有效补偿而只含有很小的能量。

Claims (3)

1.一种Sprite编码中的全局运动估计外点去除及运动参数细化方法，其特征在于，包括以下步骤：

(1)对摄像机拍摄得到的图象导入计算机，使用低通滤波器滤除图像噪声；

(2)使用图象区域化多阈值技术在图象中选取初始特征块，使用高通滤波器获得图象的空间梯度，使用帧差近似图象的时间梯度；其中，所述图象区域化多阈值技术具体为：把当前帧均分成12个区域，对每一个区域执行相同的运算，使用如下的公式来获得初始化的特征块；{block(x，y)，region(i)，i＝0...k-1|grad(s)_block(x，y)＞1.2*T_s_region(i)，grad(t)_block(x，y)≥1.0*T_t_region(i)}其中block(x，y)，region(i)，表示第i(i＝0，...k-1)个区域中由坐标(x，y)标记的块，grad(s)_block(x，y)和grad(t)_block(x，y)分别是块的空间梯度和时间梯度，T_s_region(i)和T_t_region(i)分别是区域region(i)的平均空间梯度和平均时间梯度；

(3)使用块匹配技术对确认的特征块进行局部运动估计，并对这些块进行标记；

(4)基于块匹配的结果对得到的特征块集合进行修正；具体为：如果当前标记块是8邻域中没有其他标记块的孤立块，该块便很可能属于刚体内部的运动边界；如果当前标记块不是孤立块，那么剔除当前块的充分条件是：当前块的8邻域中存在有块，符合D＞T，D是该块与当前标记块的运动矢量之间的欧氏距离，T是合理设置的阈值；

(5)采用RANSAC算法去除外点并得到全局运动参数，对运动矢量残差直方图先使用固定阈值T＝10％计算全局运动参数，再使用固定阈值T＝30％进行计算；

(6)使用种子生长的方法在步骤(5)的基础上进一步去除外点；具体为：画出运动矢量残差直方图；把运动矢量残差直方图中残差最大的30％特征块标记成直接去除块，取标号一，把剩余的特征块中运动矢量残差最大的30％标记为选择去除块，取标号二；这样一和二标记的特征块占所有特征块总数就会有大约0.3+0.7×0.3＝51％；假如在标记成一的块的8邻域块中有标记成二的块，那么把二块标记成一，这样标记成一的块便以种子扩散的方式生长开来，所有特征块标记完成后，此时，一块的8邻域中已经没有二的块了，把所有的一块剔除；

(7)以间接方法的结果为初值进行全局运动参数的优化，得到更加精确的运动参数；具体为：使用亮度残差最小作为目标函数，以之前得到的全局运动参数作为初值进行迭代求解，或者说进行运动参数的细化操作，采用成熟的Levenberg-Marquardt迭代法进行参数的优化，采用目标函数进行优化：

$R\left(\mathrm{\θ}\right)=\underset{{\mathrm{FeatPoi}}^{\′}}{\mathrm{\Σ}}w{(I^{`}(x^{`},y^{`})-I(x,y))}^2={\mathrm{\γ}}^{\′}{\left(\mathrm{\θ}\right)}^{T}W{\mathrm{\γ}}^{\′}\left(\mathrm{\θ}\right);$

其中，θ＝(a，b，c，d，e，f)^T，γ′代表参与计算的特征点的亮度残差，γ′＝(r₁，...，r_N)^T，W是加权矩阵，W＝diag(w₁，...，w_N)，N代表参与计算的特征点的总数量。

2.根据权利要求1所述的Sprite编码中的全局运动估计外点去除及运动参数细化方法，其特征在于，所述低通滤波器为中值滤波器。

3.根据权利要求1所述的Sprite编码中的全局运动估计外点去除及运动参数细化方法，其特征在于，所述高通滤波器为Sobel边缘算子。

Images