CN103517078A - 分布式视频编码中边信息生成方法 - Google Patents

Abstract

一种分布式视频编码中边信息生成方法，包括以下步骤：分别对当前WZ帧的两个相邻关键帧进行SIFT特征提取；对提取的特征点，按照距离最近的原则进行帧间特征匹配，生成若干特征点对；用特征点对的运动向量生成用于解码当前WZ帧的边信息，所述特征点对的运动向量为特征点对中两个特征点的相对位移矢量。该方法能够有效提高分布式视频编码中边信息的质量。

Description

分布式视频编码中边信息生成方法

技术领域

本发明涉及分布式视频编码，更具体地说，涉及分布式视频编码中边信息生成方法。

背景技术

随着无线多媒体传感器网络应用的逐渐兴起，分布式视频编码近来逐渐成为研究的热点。由于分布式视频编码当前最大问题在于其率失真性能方面不如传统视频编码标准，如ITU-TH.264。为了提高分布式视频编码的率失真性能，国内外的研究人员在相关噪声模型优化以及改善边信息质量上做了大量的工作。

传统边信息生成算法一般采用运动预测和运动补偿方式进行，其基本步骤包含匹配最佳块、预测运动向量和运动补偿等。匹配算法往往采用最小均方差等方式进行，然后通过前后视频帧的运动向量加权求和来预测当前视频帧的运动向量，最后通过加权平均方式完成运动补偿来生成边信息。在分布式视频编码中，由于解码器并不知道当前帧的内容，因此通过传统方式得到的前后视频帧的最佳匹配块并不能准确反映当前视频帧的运动向量。

发明内容

本发明的目的是提供一种分布式视频编码中边信息生成方法，以提高分布式视频编码中边信息的质量。

图像边缘区域以及图像纹理复杂区域通常是提高边信息质量的瓶颈区域。通过SIFT算法提取的局部特征往往位于局部对象边缘区域以及纹理复杂区域，因此非常有利于准确估计运动向量，与传统基于视频块的运动预测运动补偿相比，有很大的优势。

为了实现上述目的，本发明的总体思路是：通过对相邻的两个关键帧（前后视频帧）的局部特征进行特征匹配来定位局部特征在视频序列中的运动矢量，然后基于局部特征的运动矢量来有效估计局部对象运动向量和/或全局背景运动向量。

本发明采用的技术方案如下：

一种分布式视频编码中边信息生成方法，包括以下步骤：

分别对当前WZ帧的两个相邻关键帧进行SIFT特征提取；

对提取的特征点，按照距离最近的原则进行帧间特征匹配，生成若干特征点对；以及

用特征点对的运动向量生成用于解码当前WZ帧的边信息，所述特征点对的运动向量为特征点对中两个特征点的相对位移矢量。

上述的边信息生成方法中，生成的边信息可以包括局部对象运动向量、和/或全局背景运动向量。

上述的边信息生成方法中，优选通过以下方法计算局部对象区域中像素的运动向量：

从所述的若干特征点对中选择与当前像素相邻的特征点对；

按照距离当前像素越近权重越大的原则，对选出的相邻的特征点对进行运动向量加权平均，所得平均值作为当前像素的运动向量。

上述的边信息生成方法中，优选地，全局背景运动向量的计算方法包括：

将当前WZ帧分割成宏块的集合；

对于含有特征点对的每个宏块，统计宏块内特征点对的所有运动向量的次数，将出现次数最多的运动向量作为该宏块的运动向量；

对于没有特征点对的宏块，将全局运动向量作为其运动向量；所述全局运动向量通过以下方法获得：统计帧内特征点对的所有运动向量的次数，将运动矢量出现次数最多的运动矢量作为全局运动向量。

本发明能够提升边信息的质量。经实验证明，采用本发明边信息生成方法后，分布式视频编码的率失真性能（尤其是低码率下的率失真性能）有很大改善。

附图说明

图1为基于特征点对的全局背景运动估计示意图；

图2为基于特征点对集合的局部对象运动估计示意图；

图3为帧率7.5，GOP大小为2的情况下，Foreman视频序列的性能比较图；

图4为帧率7.5，GOP大小为4的情况下，Foreman视频序列的性能比较图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下实施例中，当前WZ帧用X_2i表示，当前WZ帧的前、后两个相邻向关键帧分别用x_2i-1和X_2i+1表示。一些实施例分布式视频编码中边信息生成方法如下。

一.首先，对于视频序列中的当前WZ帧X_2i，先将其相邻的前、后两幅关键帧X_2i-1和X_2i+1进行SIFT特征提取，得到相应的特征点集合W_2i-1和w_2i+1。对于SIFT特征提取本身而言，是本领域的公知技术，这里不再赘述。

二.对提取的特征点，按照距离最近的原则进行帧间特征匹配，生成若干特征点对。

一种实施例中，用特征点集合w_2i+1来构建一棵Kd-树，遍历特征点集合W_2i-1中的每一个特征点ω_i，在Kd-树中寻找距离最近特征点。距离匹配函数采用欧氏距离：

$\mathrm{\Θ}({\mathrm{\ω}}_i,{\mathrm{\ω}}_j):=\left\{\sqrt{{\mathrm{\Σ}}_k{({\mathrm{\δ}}_{\mathrm{il}}-{\mathrm{\δ}}_{\mathrm{jk}})}^2}\right|{\mathrm{\δ}}_{\mathrm{ik}}\∈{\mathrm{\ω}}_i,{\mathrm{\δ}}_{\mathrm{jk}}\∈{\mathrm{\ω}}_j\}---\left(1\right)$

，其中δ_ik表示特征点ω_i的第k个特征分量，δ_jk表示对应特征点ω_j的第k个特征分量。所有找到的特征点对组成一个集合，表示为式（2）

$\mathrm{\ξ}:=\left\{({\mathrm{\ω}}_{2i-1m},{\mathrm{\ω}}_{2i+1n})\right|{\mathrm{\ω}}_{2i-1m}\∈{\mathrm{\ω}}_{2i-1},{\mathrm{\ω}}_{2i+1n}\∈w_{2i+1},\mathrm{\Θ}\≤\mathrm{\σ}\}---\left(2\right)$

，其中σ表示连个特征点是否相邻的阈值。

三.用特征点对的运动向量生成用于解码当前WZ帧X_2i的边信息，其中，所述的特征点对的运动向量为特征点对中两个特征点的相对位移矢量。

一种较佳实施例中，生成的边信息包括局部对象运动向量和全局背景运动向量。下面分别说明其生成方法。

1.全局背景运动向量的一种生成方法如下：

图1显示的是对WZ帧进行宏块分割示意图，每一个小的虚框表示宏块，每个宏块内包含一些特征点对。如图1所示，首先将图像分割为宏块的集合，将相同宏块内的特征点对组成同一组，当特征点对的两个特征点属于不同组时，则同时加入两组。接着，统计每一个宏块内特征点对的所有运动矢量的次数，然后将宏块内出现次数最多的运动矢量作为该宏块的运动向量，该方法的计算公式如下所示:

${\mathrm{\π}}_{\mathrm{ij}}:=\arg m{\mathrm{ax}}_{\mathrm{\δ}}\left\{(x,y)\right|\mathrm{\δ}=\mathrm{count}[U{\stackrel{\→}{\∈}}_k=(x,y)],{\∈}_k\∈m(i,j)\}---\left(3\right)$

其中，∈_k表示落在位置为(i,j)的宏块m(i,j)的特征点对，为了便于描述，

同时表示特征点对中两个特征点的相对位移矢量。δ是位置为(i,j)的宏块内特征点对的数量。运动向量(x,y)就是特征对中两个特征点的相对位移矢量。

对于那些没有特征点对的区域，通常是运动不剧烈区域，即使运动也是因为摄影机或者全局整体移动造成，通过计算整副图像的运动向量就能够很好预测它们的运动向量。为此，为那些没有特征点对的宏块计算一个通用的运动向量，具体可以通过统计当前WZ帧的所有的特征点对的所有运动向量的次数，将出现次数最多的运动矢量作为全局运动向量。该方法的计算公式如下：

$\mathrm{\π}:=\arg \mathrm{ma}{x}_{\mathrm{\δ}}\left\{(x,y)\right|\mathrm{\δ}=\mathrm{count}[U{\stackrel{\→}{\∈}}_k=(x,y)]\}---\left(4\right)$

其中，∈_k表示当前WZ帧的特征点对，同时表示特征点对中两个特征点的相对位移矢量。δ是特征点对的数量。运动向量(x,y)就是特征对中两个特征点的相对位移矢量。

2.局部对象运动向量的一种生成方法为，对于局部对象区域的每一个像素，分别计算其运动向量。像素的运动向量的一种计算方法如下：

首先，从生成的所有特征点对中选择与当前像素相邻的特征点对。更具体地说，对于当前像素P_ij，遍历所有特征点对，通过过滤函数选择当前像素P_ij附近的特征点对，得到相邻特征点对集合

，

${\mathrm{\ϵ}}_{\mathrm{ij}}^{\mathrm{neig}}:=\left\{{\∈}_k\right|{\∈}_k-p_{\mathrm{ij}}\≤\mathrm{\σ}\}---\left(5\right)$

其中，σ是过滤函数阈值。图2示意性地表示了WZ帧中像素的相邻特征点对集合，P_ij表示其中一个像素，虚框内的特征点对是其相邻特征点对。在图2中，特征点对∈₁-∈₄与像素p_ij的距离在过滤函数阈值以内，因此属于像素p_ij的相邻特征点对集合成员，然而特征点对∈₅与像素p_ij距离在过滤函数阈值以外，因此不在像素P_ij的相邻特征点对集合中，但是它可能是其他像素的相邻点对集合成员。

从图2还可以看出，当前像素p_ij的相邻特征点对集合

中的每一个特征点对都和当前像素P_ij相邻匹配，但是和当前像素P_ij的相关程度却不一样，因为相邻特征点对集合

中的元素与当前像素p_ij距离并不一样。那些距离当前像素更近的特征点对，其和当前像素的相关度应该更高一些；相反，那些和当前像素距离更远的特征点对，其和当前像素的相关度应该更低一些。

基于上述研究，提出的一种算法是：按照距离当前像素P_ij越近权重越大的原则，对选出的相邻的特征点对（即相邻特征点对集合

的成员）进行运动向量加权平均，所得平均值作为当前像素P_ij的运动向量。

对于每一个特征点对∈_k，假设它到当前像素P_ij的距离为P[p_ij-∈_k]，该特征点对∈_k和当前像素P_ij相关程度的权值函数可以定义为：

$\mathrm{\α}(p_{\mathrm{ij}},{\∈}_k):=1/e^{p[p_{\mathrm{ij}}-{\∈}_k]},{\∈}_k{\∈\mathrm{\ϵ}}_{\mathrm{ij}}^{\mathrm{neig}}---\left(6\right)$

当前像素P_ij的运动向量的计算公式如下：

${\mathrm{\π}\′}_{\mathrm{ij}}:=\frac{{\mathrm{\Σ}}_k\mathrm{\α}(p_{\mathrm{ij}},{\∈}_k)*{\stackrel{\→}{\∈}}_k}{{\mathrm{\Σ}}_k\mathrm{\α}(p_{\mathrm{ij}},{\∈}_k)},{\∈}_k{\∈\mathrm{\ϵ}}_{\mathrm{ij}}^{\mathrm{neig}}---\left(7\right)$

其中，α(p_ij，∈_k)表示特征点对∈_k的权值，

是特征点对∈_k的特征向量。

通过上述过滤函数，能够有效避免当前像素运动向量估计受到不相关特征点对的影响，特别是在与当前像素相近的特征点对比较少，整体特征点对比较多的情况下，使用过滤函数效果更佳。当一个像素附近有一个特征点对时，特别在当前像素距离特征点对非常近的时候，那么采用特征点对的相对运动矢量作为当前像素的运动向量应该非常可靠。

实验：为了评估本发明所提出的方法的性能，本实验采用和DISCOVER相同的测试条件进行试验。图3和图4表示了实验的结果。

图3显示的是帧率7.5，GOP大小为2的情况下，Foreman视频序列的表现，我们可以看到，由于边信息质量有很大的改进，本发明提出的方法在低码率下明显比DISCOVER系统有很大改进，PSNR性能比DISCOVER系统提高1(dB)。

图4显示的是帧率为7.5，GOP大小为4的情况下，Foreman视频序列的表现，我们可以看到，由于本发明提出的新方法在边信息质量方面有非常大的提升，本发明提出的方法和DISCOVER系统相比在率失真性能上有很大的改进。特别是在低码率情况下，系统采用的基于特征点对的运动估计方法对系统整体性能提高很大。

Claims (5)

1.分布式视频编码中边信息生成方法，其特征在于，包括以下步骤：

分别对当前WZ帧的两个相邻关键帧进行SIFT特征提取；

对提取的特征点，按照距离最近的原则进行帧间特征匹配，生成若干特征点对；以及

用特征点对的运动向量生成用于解码当前WZ帧的边信息，所述特征点对的运动向量为特征点对中两个特征点的相对位移矢量。

2.根据权利要求1所述的边信息生成方法，其特征在于，生成的边信息包括局部对象运动向量。

3.根据权利要求1或2所述的边信息生成方法，其特征在于，生成的边信息包括全局背景运动向量。

4.根据权利要求2所述的边信息生成方法，其特征在于，通过以下方法计算局部对象区域中像素的运动向量：

从所述的若干特征点对中选择与当前像素相邻的特征点对；

按照距离当前像素越近权重越大的原则，对选出的相邻的特征点对进行运动向量加权平均，所得平均值作为当前像素的运动向量。

5.根据权利要求3所述的边信息生成方法，其特征在于，全局背景运动向量的计算方法包括：

将当前WZ帧分割为宏块的集合；

对于含有特征点对的每个宏块，统计宏块内特征点对的所有运动向量的次数，将出现次数最多的运动向量作为该宏块的运动向量；

对于没有特征点对的宏块，将全局运动向量作为其运动向量；所述全局运动向量通过以下方法获得：统计帧内特征点对的所有运动向量的次数，将运动矢量出现次数最多的运动矢量作为全局运动向量。

Images