CN103475879B - 一种分布式视频编码中边信息生成方法 - Google Patents

Abstract

本发明公开了一种分布式视频编码中边信息生成方法，在编码端分别计算出原始帧与前后相邻关键帧之间相同位置块的离散余弦系数差值，并与预定的阈值比较，得到分类信息值，从而判定该位置块为运动缓慢或运动剧烈模式；如果位置块运动缓慢，编码端直接将该位置块丢弃不传，然后将分类信息值传送到解码端，解码端按照直接插值算法生成边信息；如果位置块运动剧烈，则将分类信息值传送到解码端，解码端按照精细的运动估计插值算法生成边信息。本发明方法在不增加编码复杂度的情况下，不仅提高了编码效率，又能以较小的解码代价获得更精确的边信息，从而有效提高图像解码质量。

Description

一种分布式视频编码中边信息生成方法

技术领域

本发明属于视频压缩领域，涉及一种在分布式视频编码中边信息生成方法。

背景技术

分布式视频编码(DistributedVideoCoding，DVC)是基于20世纪70年代Slepian.Wolf以及Wyner.Ziv提出的信息理论而建立的，将编码器运算复杂度转移到解码器。其特点是编码简单、解码较复杂、压缩性能接近传统的编码方式、抗误码能力强，适用于无线网络中资源受限的视频编码设备等。

目前，国内外对分布式视频编码方案的研究大多侧重于边信息的研究，因为边信息的质量严重影响着视频图像恢复的性能。分布式视频编码系统通常将视频帧分为关键帧(K帧)和Wyner-Ziv帧(W帧)。解码W帧时，首先利用前、后己解码的相邻关键帧生成当前W帧的一个估计帧，称之为边信息(SI)，然后结合边信息和接收到的码流信息对W帧进行解码。分布式视频编码性能很大程度上依赖于边信息与原始W帧的相关性，生成的边信息与原始W帧相似度越高，W帧的恢复图像质量就越高。因此，准确生成边信息是提高分布式视频编码效率的一个关键问题。产生边信息最简单的方法就是直接调用前一解码关键帧，或者前后两个关键帧的平均值来产生边信息。然而，当视频序列运动趋势剧烈时，直接法或平均法产生的边信息很不可靠。现有的生成边信息最典型的是基于运动补偿时域内插(MCTI)方法，它主要包括3个步骤：运动估计、运动矢量(MV)修正和运动补偿插值，但是会增加解码器的复杂度，导致一定的时延，不适合用在实时性传输的场景里。另外，传统的运动补偿插值方案对所有位置块都采用相同的边信息生成算法，忽略了视频序列中各区域运动强烈程度不均的特性。

实际场景中视频序列相邻帧之间的相似度非常高，特别是野外环境保护、地质灾害监测等应用场合，只有少量相邻帧有明显变动。本文从编码端去冗余及边信息获取两方面对其进行改进。实验结果表明，改进后的边信息方法既能消除大量的帧间冗余，又能以较小的解码代价获得更精确的边信息，从而有效提高图像解码质量。

发明内容

技术问题：本发明针对视频序列中各区域运动强烈程度不均的特性，提供一种能够在编码端消除大量帧间冗余，在解码端充分挖掘统计信息，生成更加准确的边信息图像，从而提高了整个编码系统率失真性能的分布式视频编码中边信息生成方法。

技术方案：本发明的分布式视频编码中边信息生成方法，包括如下步骤：

1)在编码端，通过采用绝对误差和准则，分别计算出原始帧与前后相邻关键帧之间相同位置块的离散余弦系数差值SAD；

2)将步骤1)中计算得到的两个离散余弦系数差值SAD与预定的阈值T₀比较，若都小于该阈值，则位置块的分类信息值为0，判定该位置块运动缓慢，编码端直接将该位置块丢弃不传，然后将分类信息值传送到解码端后进入步骤3)；反之，则该分类信息值为1，判定该位置块运动剧烈，并将分类信息值传送到解码端后进入步骤4)；

3)解码端按照直接插值算法生成边信息，即将与原始帧相关性强的关键帧对应块复制到边信息中；

4)解码端按照精细的运动估计插值算法生成边信息，即结合绝对误差和准则和边界绝对差准则对位置块进行运动估计，获得最佳初始运动矢量，然后对最佳初始运动矢量进行优化，最后利用优化后的最佳运动矢量内插生成边信息，优化为通过双向运动估计和加权中值滤波器对运动矢量场进行平滑修正。

本发明方法的步骤1)中，按照下式计算出原始帧和前后相邻关键帧之间相同位置块的离散余弦系数差值：

其中，M和N分别表示位置块的长和宽，(x,y)表示位置块内的像素点坐标，B_w(x,y)表示原始帧位置块B中(x,y)处像素点的离散余弦系数，B_K(x,y)表示与原始帧相邻的关键帧的位置块B中(x,y)处像素点的离散余弦系数。

本发明方法的步骤4)中，结合绝对误差和准则和边界绝对差准则对位置块进行运动估计的具体流程为：

首先在后向相邻关键帧的匹配窗H范围内搜索(X-M)*(Y-N)次与前向相邻关键帧的位置块最接近的匹配块，其中M和N分别表示位置块的长和宽，X和Y分别表示匹配窗的长和宽，并按照下式计算该匹配块与位置块之间的匹配误差：

D_ST(i,j)＝αBAD(i,j)+(1-α)SAD(i,j)，

然后将所有计算得到的匹配误差中的最小值对应的运动矢量的一半作为边信息中对应位置块的最佳初始运动矢量；

其中，α是加权系数，i是像素点的横坐标，j是像素点的纵坐标，SAD(i,j)是按照绝对误差和准则计算得到的匹配误差，公式如下：

其中，f_b(x,y)为前向相邻关键帧的位置块中坐标点(x,y)处的像素值，f_f(x+i,y+j)为后向相邻关键帧的位置块中坐标点(x+i,y+j)处的像素值，(i,j)表示两位置块的相对位移矢量；

BAD(i,j)是按照边界绝对差准则计算得到的匹配误差，公式如下：

有益效果：本发明与现有技术相比，具有以下优点：

a)本发明方案针对视频序列中各区域运动强烈程度不均的特性，提供出了一种分布式视频编码中边信息生成方法。通过在编码端增加位置块的分类模块，将位置块划分为运动缓慢和运动剧烈两种模式，并将计算得到的分类信息值传输至解码端；解码端则根据接收到的分类信息值选择不同边信息生成算法。

b)本文算法引入的计算量基本可以忽略不计，而且减少了总的编码码率开销，提高了编码的压缩性能；

c)在解码端根据不同的模式选择相应的边信息生成算法，也不增加额外的解码负担，即以较小的解码代价生成更加准确的边信息图像，从而提高了整个编码系统的率失真性能。

附图说明

图1是现有的基于变换域的分布式视频编码框架图。

图2是本发明改进的视频编码框架图。

图3是精细运动估计插值算法中运动矢量优化框架图。

图4是本发明方法的流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

图1是现有的基于变换域的分布式视频编码框架图，考虑到传统的运动补偿插值方案对所有位置块都采用相同的边信息生成算法，忽略了视频序列中各区域运动强烈程度不均的特性，本发明在编码端增加了位置块的分类模块，该模块的主要作用是在编码端通过简单离散余弦系数运算将位置块划分为运动缓慢和运动剧烈两种模式，并将得到的分类信息值传输至解码端。解码端根据接收到的分类信息值选择不同边信息生成算法，改进后的视频编码框架如图2所示。

下面给出本发明方法的具体实施例：

在编码端，通过采用绝对误差和准则，分别计算出原始帧与前后相邻关键帧之间相同位置块的离散余弦系数差值SAD，具体公式如下：

其中，M和N分别表示位置块的长和宽，(x,y)表示位置块内的像素点坐标，B_w(x,y)表示原始帧位置块B中像素点(x,y)的离散余弦系数，B_K(x,y)表示与原始帧相邻的关键帧的位置块B中对应像素点的离散余弦系数。

计算得到的两个离散余弦系数差值SAD与预定的阈值T₀作比较，确定位置块的运动类型：

当H_mode＝0时，表示运动平缓区域，原始帧与相邻关键帧K_n±1非常相似或相同，此类块舍弃不传，解码端原始帧的重建块直接用相邻前一关键帧K_n-1帧或相邻后一关键帧K_n+1帧的相同位置块填补。

通过比较SAD_n-1和SAD_n+1的大小，能够进一步判断出原始帧与哪个相邻帧的相关性强，以确定选择哪个相邻帧填补，使得原始帧的解码质量更高。当SAD_n-1<SAD_n+1时，表明原始帧的当前块与前向相邻关键帧K_n-1的对应块相关性强，在解码端直接将该关键帧K_n-1的对应块填补重建块；反之，将后向相邻关键帧K_n+1的数据填补。

当H_mode＝1时，表示运动剧烈区域，此类块由于运动幅度较大，相邻帧之间有较大变化，采用精细的运动估计插值算法生成边信息，即结合绝对误差和准则和边界绝对差准则对位置块进行运动估计。

阈值T₀的选取是通过统计测试序列中运动平缓帧之间所有位置块的离散余弦系数差值SAD，在这些离散余弦系数差值的波动范围内选择一个数值最为集中的离散余弦系数差值作为阈值。

本发明根据位置块的运动剧烈程度不同，根据两种不同的运动模式，解码端采用不同的边信息插值算法。

算法1(运动缓和区域)：直接插值

该模式下位置块运动缓慢，此类块的运动曲线几乎与相邻关键帧的相同位置块相似甚至相同，根据前面的原始帧与相邻帧之间的相关性，在解码端选择与之相关性强的关键帧对应块复制到边信息中，即：

其中(x_B,y_B)为边信息帧位置块B中像素点坐标，W_n′(x_B,y_B)为边信息帧位置块B中像素点(x_B,y_B)的值，K_n±1(x_B,y_B)为相邻关键帧相同位置块中对应像素点的值。

算法2(运动剧烈区域)：精细的运动估计插值法

基于块匹配运动估计的思想，将相邻关键帧分成若干大小相同、互不重叠的图像子块，在参考帧的一定范围(称为匹配窗)内按照一定的匹配准则搜索与之最接近的块(称为匹配块)，该匹配块到当前块的位移就是运动矢量。判断两个子块相似程度，采用误差函数匹配准则。误差函数返回的值越小，两像素块彼此越相似。现有多种误差函数可供选择，如平均绝对差，绝对误差和等。与平均绝对差相比，绝对误差和省去了乘法运算，实际中常用绝对误差和，具体公式如下：

其中，i是像素点的横坐标，j是像素点的纵坐标，f_b(x,y)为前向相邻关键帧的位置块中坐标点(x,y)处的像素值，f_f(x+i,y+j)为后向相邻关键帧的位置块中坐标点(x+i,y+j)处的像素值，M×N为位置块大小。

另一种误差函数是边界绝对差准则：

其中：f_b(i,n+j)为前向相邻关键帧的位置块中坐标点(i,n+j)处的像素值，f_f(i-1,n+j)为后向相邻关键帧的位置块中坐标点(i,n+j)处的像素值，f_b(i+j-1,n+j)为前向相邻关键帧的位置块中坐标点(i+j-1,n+j)处的像素值，f_f(i+N,n+j)为后向相邻关键帧的位置块中坐标点(i+N,n+j)处的像素值，f_b(m+i,j)为前向相邻关键帧的位置块中坐标点(m+i,j)处的像素值，f_f(m+i,j-1)为后向相邻关键帧的位置块中坐标点(m+i,j-1)处的像素值，f_b(m+i,j+M-1)为前向相邻关键帧的位置块中坐标点(m+i,j+M-1)处的像素值，f_f(m+i,j+M)为后向相邻关键帧的位置块中坐标点(m+i,j+M)处的像素值。

现有方法只采用单一的绝对误差和准则或者边界绝对差准则，得到的部分运动矢量与真实运动有较大误差，本发明结合绝对误差和准则和边界绝对差准则对位置块进行运动估计的具体流程为：

首先在后向相邻关键帧的匹配窗H范围内搜索(X-M)*(Y-N)次与前向相邻关键帧的位置块最接近的匹配块，其中M和N分别表示位置块的长和宽，X和Y分别表示匹配窗的长和宽，并按照下式计算该匹配块与位置块之间的匹配误差：

D_ST(i,j)＝αBAD(i,j)+(1-α)SAD(i,j)，

其中，α是加权系数，(i,j)表示两个相邻关键帧中位置块的相对位移矢量MV＝(i,j)。则内插边信息帧中对应位置块的运动矢量为

然后将所有计算得到的匹配误差中的最小值对应的运动矢量的一半作为边信息中对应位置块的最佳初始运动矢量。

在结合绝对误差和准则和边界绝对差准则的基础上，得到的运动矢量误差会较少。采用后处理方法对初始运动矢量进行优化，优化为通过双向运动估计和加权中值滤波器对运动矢量场进行平滑修正，最终估计的运动矢量更接近真实图像运动轨迹，优化算法流程如图3所示。最后，利用得到的最佳运动矢量内插生成边信息块：

其中，(x_B,y_B)为边信息帧位置块B中像素点坐标，是优化后的边信息位置块的最佳运动矢量。

Claims (3)

1.一种分布式视频编码中边信息生成方法，其特征在于，该方法包含以下步骤：

1)在编码端，通过采用绝对误差和准则，分别计算出原始帧与前后相邻关键帧之间相同位置块的离散余弦系数差值SAD；

2)将所述步骤1)中计算得到的两个离散余弦系数差值SAD与预定的阈值T₀比较，若都小于该阈值，则位置块的分类信息值为0，判定该位置块运动缓慢，编码端直接将该位置块丢弃不传，然后将分类信息值传送到解码端后进入步骤3)；反之，则该分类信息值为1，判定该位置块运动剧烈，并将分类信息值传送到解码端后进入步骤4)；

3)解码端按照直接插值算法生成边信息，即将与原始帧相关性强的关键帧对应块复制到边信息中；

4)解码端按照精细的运动估计插值算法生成边信息，即结合绝对误差和准则和边界绝对差准则对位置块进行运动估计，获得最佳初始运动矢量，然后对所述最佳初始运动矢量进行优化，最后利用优化后的最佳运动矢量内插生成边信息，所述优化为通过双向运动估计和加权中值滤波器对运动矢量场进行平滑修正。

2.根据权利要求1所述的一种分布式视频编码中边信息生成方法，其特征在于，所述步骤1)中，按照下式计算出原始帧和前后相邻关键帧之间相同位置块的离散余弦系数差值：

$SAD=\underset{x=1}{\overset{N}{\&Sigma;}}\underset{y=1}{\overset{M}{\&Sigma;}}|B_w(x,y)-B_K(x,y)|$

其中，M和N分别表示位置块的长和宽，(x,y)表示位置块内的像素点坐标，B_w(x,y)表示原始帧位置块B中(x,y)处像素点的离散余弦系数，B_K(x,y)表示与原始帧相邻的关键帧的位置块B中(x,y)处像素点的离散余弦系数。

3.根据权利要求1或2所述的一种分布式视频编码中边信息生成方法，其特征在于，在所述步骤4)中，结合绝对误差和准则和边界绝对差准则对位置块进行运动估计的具体流程为：

首先在后向相邻关键帧的匹配窗H范围内搜索(X-M)*(Y-N)次与前向相邻关键帧的位置块最接近的匹配块，其中M和N分别表示位置块的长和宽，X和Y分别表示匹配窗的长和宽，并按照下式计算该匹配块与位置块之间的匹配误差：

D_ST(i,j)＝αBAD(i,j)+(1-α)SAD(i,j)，

然后将所有计算得到的匹配误差中的最小值对应的运动矢量的一半作为边信息中对应位置块的最佳初始运动矢量；

其中，α是加权系数，i是像素点的横坐标，j是像素点的纵坐标，SAD(i,j)是按照绝对误差和准则计算得到的匹配误差，公式如下：

$SAD(i,j)=\underset{x=1}{\overset{N}{\&Sigma;}}\underset{y=1}{\overset{M}{\&Sigma;}}|f_b(x,y)-f_f(x+i,y+j)|,$

其中，f_b(x,y)为前向相邻关键帧的位置块中坐标点(x,y)处的像素值，f_f(x+i,y+j)为后向相邻关键帧的位置块中坐标点(x+i,y+j)处的像素值，(i,j)表示两位置块的相对位移矢量；

BAD(i,j)是按照边界绝对差准则计算得到的匹配误差，公式如下：

$\begin{array}{c}BAD(i,j)=\&lsqb;\underset{n=0}{\overset{N-1}{\&Sigma;}}\left(\right|f_b(i,n+j)-f_f(i-1,n+j)\left|\right)+\\ |f_b(i+j-1,n+j)-f_f(i+N,n+j)|)\&rsqb;+\\ \&lsqb;\underset{m=0}{\overset{N-1}{\&Sigma;}}\left(\right|f_b(m+i,j)-f_f(m+i,j-1)|-\\ |f_b(m+i,j+M-1)-f_f(m+i,j+M)|)\&rsqb;\end{array}.$