CN102333221B - 一种全景式背景预测的视频编解码方法 - Google Patents

Abstract

一种视频编解码方法，编码步骤包括：全景式背景图像生成步骤，使用训练集视频图像生成用于描述整个待编码视频所属场景的全部背景区域；映射关系确定步骤，确定待编码当前图像及其参考图像和全景式背景中像素点之间的映射关系；当前图像编码步骤，对全景式背景图像进行参数映射，得到当前图像和参考图像的背景，并利用该背景对当前图像进行基于预测的视频编码；解码步骤包括步骤：全景式背景导出步骤，对编码的全景式图像进行解码；背景生成步骤，根据获取的映射参数及运动参数，获取当前图像的背景；当前图像解码步骤，根据对应的编码方法，对当前图像解码。本发明能显著提高编码效率，以较低复杂度完成解码，实现极为显著的码率节省。

Description

一种全景式背景预测的视频编解码方法

技术领域

本发明涉及数字媒体处理技术领域中的视频编码技术，尤其涉及一种全景式背景预测的视频编解码方法。

背景技术

随着视频会议、视频监控等应用的不断发展，如何有效存储长时间拍摄的视频码流的成为一个急需解决的问题，而全景式背景增强编码方法就是解决该问题的一种重要方法。

视频监控领域中有两类摄像机，一类为静态摄像机，它们的指向和焦距固定；另外一类为PTZ摄像机，这种摄像机可以进行Pan/Tilt/Zoom，即可以进行上下左右移动以及变焦等控制。本发明针对的是后一种摄像机拍摄的视频序列。该类序列场景不断移动以及变焦，但是其移动的区域是有限的，而且是长时间重复这一场景。

全景式背景是指由视频序列中背景区域所有可见像素组成的图像，该图像包含了视频序列中的所有可见部分，因此可以直接重构或者预测编码每一时刻的背景区域。

现有的全景式背景编码方法包括：(1)基于对象的视频编解码方法；(2)全局多参考帧方法；(3)全景图像做参考帧。然而这些方法没有考虑全景图像已经存在不同程度的形变。因此，进一步提高压缩效率的方式是在全景式背景上做进一步的处理，为待编码图像生成一个更准确得描述其背景区域的参考帧，以达到进一步消除视频信息冗余、提高压缩效率的目的。

需要特别指出的是，全景式背景预测的编码方法尤其适用于视频监控领域中过高存储代价问题。这些应用场景的视频具有有限的场景区域内重复运动、长时间拍摄和存储的特点，有利于通过全景式背景构建背景图像提高视频压缩。

发明内容

本发明提出了一种高效的全景式背景预测的视频编解码方法。该方法的基本过程如下：首先使用训练集视频序列生成全景式背景图像，然后通过全局运动估计确定当前和参考图像的背景区域，并获取每个像素的对应背景，最后使用该背景进行基于预测的视频编码。

本发明提出的一种高效的全景式背景预测的视频编解码方法，编码步骤包括：

全景式背景图像生成步骤，使用训练集视频图像生成用于描述整个待编码视频所属场景的全部背景区域，即全景式背景图像。

映射关系确定步骤，确定待编码当前图像及其参考图像和全景式背景中像素点之间的映射关系。

当前图像编码步骤，对全景式背景图像进行参数映射，得到当前图像和参考图像的背景，并利用该背景对当前图像进行基于预测的视频编码。

如本发明所述的视频编解码方法的编码步骤，所述全景式背景生成步骤按照所使用的图像类型划分，全景式背景生成方法包括：

使用源视频图像进行全景式背景生成，在全景式背景生成过程中，使用了原始输入视频图像，其生成的全景式背景需要编入码流，编码过程中使用的全景式背景是解码该全景式背景码流得到的重建图像。

使用重建图像进行全景式背景生成，直接编码重建图像为输入训练集，进而计算得到当前图像在编码过程中所使用的全景式背景，其中，全景式背景图像不需要编入码流。

如本发明所述的视频编解码方法的编码步骤中全景式背景生成步骤，在全景式背景生成过程中，可以使用全景式背景生成参数，全景式背景生成参数需要写入码流。

如本发明所述的视频编解码方法的编码步骤，所述全景式图像生成步骤中，全景式背景图像生成可以自适应的根据场景的不断变化进行更新。

如本发明所述的视频编解码方法的编码步骤，所述的全景式背景生成步骤，按照过程划分，全景式背景生成方法包括：

全局运动估计步骤，使用全局运动估计算法，确定当前图像和当前已生成的全景式背景图像之间的映射关系。

图像形变步骤，根据全局运动估计参数，对训练集内输入的当前图像进行形变。

图像融合步骤，把形变图像映射到全景式背景图像中以更新全景式背景；对于已在全景图像中存在的像素点，使用均值方法更新其像素点的值。

如本发明所述的视频编解码方法的编码步骤，所述的映射关系确定步骤中还包括：

数据块划分步骤，将当前图像划分为一个或若干个数据块；

参数求取步骤，获取当前图像数据块与全景式背景之间的映射参数关系。如本发明所述的视频编解码方法的编码步骤的映射关系确定步骤，所述的数据块划分步骤中还包含如下方法：

均等分块方法，把当前图像水平或垂直均分为若干块。

基于特征点分布的分块方法，计算当前图像中特征点，根据特征点分布进行分块，使得特征点较为均匀得分布在每个图像数据块中。

如本发明所述的视频编解码方法的编码步骤的映射关系确定步骤，所述的参数求取步骤中还包含如下两类方法：

通过缩小搜索空间来提高搜索效率，包括图像的特征提取以及图像的金字塔分解或者小波分解等方法。

采用各种优化算法进行匹配操作，包括Gauss-Newton算法、模拟退火算法、LM算法以及智能优化算法。

如本发明所述的视频编解码方法的编码步骤的映射关系确定步骤，所述的参数求取步骤所使用的算法，可以在经过全局运动估计搜索后，得到当前和参考图像在全景式背景中的优选匹配位置后进行。

如本发明所述的视频编解码方法的编码步骤，所述的当前图像编码步骤中还包括：

参数写入码流步骤，对当前图像在全景式背景中的求得的映射关系参数写入码流。

编码待编码图像步骤，根据映射关系得到待编码的当前图像及其参考图像所对应的背景，使用基于背景预测的编码方法或可选差分编码方法，对当前图像进行编码。

如本发明所述的视频编解码方法的编码步骤的当前图像编码步骤，所述参数写入码流步骤至少包括下列参数中的一个：

全局运动参数，当前和参考图像与全景式背景之间的全局运动关系参数。

映射关系参数，当前和参考图像与全景式背景之间进行像素匹配过程中所求取的映射参数。

全局运动基础上的相变参数，基于当前和参考图像与全景式背景之间的全局运动关系，找到一个与当前和参考图像大小相近的背景区域，然后使用匹配算法，得到当前和参考图像和背景区域之间的形变参数。

全局运动和背景形变基础上的再搜索参数，当前和参考图像在形变后的背景区域再搜索，获得的参数。

如本发明所述的视频编解码方法，所述解码方法是与本发明所述的编码方法相对应的，解码方法包括如下步骤：

全景式背景导出步骤，对编码的全景式图像进行解码。

背景图像生成步骤，根据获取的映射参数及运动参数，获取当前图像的背景图像。

当前图像解码步骤，根据对应的编码方法，对当前图像解码。

如本发明所述的视频编解码方法的解码步骤，所述全景式背景导出方法与编码端相对应，按照所使用的图像类型划分包括：

直接解码码流中的全景式背景部分，解码出的图像即为全景式背景。

使用重建图像进行全景式背景生成，直接以解码重建图像为训练集，按照编码过程中所使用的方法建立生成全景式背景。

如本发明所述的视频编解码方法的解码步骤，所述全景式背景导出步骤的全景式背景导出方法，按照过程划分，全景式背景导出步骤可以包括：

全局运动估计，解码全局运动估计参数或使用全局运动估计算法，确定训练集内当前输入图像和当前已生成的全景式背景图像之间的映射关系。

图像形变步骤，解码形变参数或根据全局运动估计参数，求取全景背景和待解码当前图像之间的形变参数。

图像融合步骤，把形变图像映射到全景式背景图像中以更新全景式背景。对于已在全景图像中存在的像素点，更新其像素点的值。

如本发明所述的视频编解码方法的解码步骤，所述全景式背景导出步骤的全景式背景导出方法，需要解码全景式背景生成过程中，使用的全景式背景生成参数，并使用该解码参数完成全景式背景生成。

如本发明所述的的视频编解码方法的编码步骤，所述全景式背景导出步骤的全景式背景导出方法，全景式背景生成能自适应的根据场景的不断变化进行图像更新。

如本发明所述的视频编解码方法的解码步骤，所述的当前图像解码步骤中还包括：

映射参数导出步骤，计算待解码图像以及参考图像与全景式背景之间映射关系的写入码流的参数。

解码当前图像步骤，根据映射关系得到待编码的当前图像和参考图像对应的背景，使用基于背景预测的编码方法或可选差分编码方法对当前图像进行编码。

如本发明所述的视频编解码方法的解码步骤的当前图像解码步骤，所述映射参数导出步骤导出的映射参数至少包括下列参数中的一个：

全局运动参数，待解码图像、参考图像与全景式背景之间的全局运动关系参数。

映射关系参数，待解码图像、参考图像与全景式背景之间一一对应关系参数。

全局运动基础上的形变参数，基于待解码图像与全景式背景之间的全局运动关系，找到一个与待解码图像以及参考图像大小相近的背景区域，进而得到该区域在经过形变后得到待解码图像、参考图像的背景时所使用的参数。

全局运动和背景形变基础上的再搜索参数，待解码图像和参考图像在形变后的背景区域再搜索时获得的图像匹配参数。

如本发明所述的视频编解码方法的解码步骤的当前图像解码步骤，映射参数导出步骤中所使用的导出方法包括：

直接解码得到映射参数，直接解码码流中的映射参数标志，得到映射参数；

使用解码图像重新计算映射参数，使用解码图像按照现有的全景式背景匹配算法计算映射关系。

如本发明所述的视频编解码方法的解码步骤，所述的映射参数导出步骤中所述使用解码图像重新计算映射参数方法包括两类方法：

通过缩小搜索空间来提高搜索效率，包括图像的特征提取以及图像的金字塔分解或者小波分解等方法；

采用各种优化算法进行匹配操作，包括模板搜索快速算法，Gauss-Newton算法、模拟退火算法、LM算法以及智能优化算法。

相对于现有技术而言，本发明具有如下优势：

第一，通过将当前图像及其参考图像与全景式背景中的像素点进行参数映射，进而找到较为适合当前图像的背景，有利于完成背景预测，进而在相同编码质量下显著提高编码效率。

第二，在编码过程中，可以以当前图像、参考图像以及全景式背景为输入，直接通过特征提取等方法建立当前图像、参考图像与全景式背景较少待编码参数的参数模型，通过将该参数模型编码入码流，在解码端可以以较低复杂度完成解码。

第三，对于含有场景模型(如光照模型、全局背景)的视频，实验证明，在保证主客观视频编码质量的情况下，该方法可以实现极为显著的码率节省。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是用于实施本发明的全景式背景预测编码流程图；

图2是用于实施本发明的全景式背景预测编码解码框架；

图3是可以用于实施本发明的一种全景式背景生成框图；

图4是当前图像对应的背景图像生成方法框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明中，利用视频序列在有限的场景区域中重复运动、长时间拍摄和存储的特点，采用了一种全景式背景建模的方法，进而通过生成的背景图像对当前图像的背景区域进行描述，最后使用背景图像对源视频图像进行编码。

图1是本发明所述全景式背景预测编码方法的具体实施实例的步骤流程图，包括如下步骤：

全景式背景图像生成步骤S1：通过使用训练集视频图像生成全景式背景图像。

确定映射关系步骤S2：使用运动估计的方法，在全景式背景区域中确定当前图像的背景区域，使用LM算法等算法，获得表述背景区域和当前图像之间的映射关系参数。对于映射关系的描述，可以使用Homograph Matrix矩阵或者多项式以及更复杂的描述方法。运动估计的方法包括但不局限于全局运动搜索、三步搜索等方法。

利用背景图像进行编码步骤S3：根据映射关系参数及全局运动参数，生成背景图像，使用背景建模或可选差分方法对当前图像进行编码。

由于采取以上技术方法，本发明与传统的视频编解码方法的区别，在于对待编码图像需要动态生成一个背景图像。

本发明可以在如图2所示的全景式背景预测编码框架下完成。

如图2所示，实施本发明的全景式背景预测编码，包括首先使用一段能完整描述该视频场景的视频图像进行训练，获取全景式背景图像，然后通过对全景图像进行编码、解码，获取解码后的全景式背景图像，接着通过全局运动估计、图像变形，最终获取当前图像的背景图像，最后通过背景建模或可选差分编码方法对当前图像进行编码。

下面对图2所述的全景式背景预测视频编解码方法及所涉及的各操作的功能作用和实施方法，进行详细的描述：

一、全景式背景生成

如图3所示，全景式背景生成过程中，如果是第一帧，则该图像为当前的全景式背景图像。对于后续的视频序列，首先在前一帧的基础上对当前图像进行全局运动估计，获取该相邻两帧之间的全局运动参数；根据上一帧与全景图像的全局运动参数及相邻帧的运动参数，获取当前图像和全景式图像的运动参数，接着根据运动参数，产生形变图像；最后把该形变图像融合到全景图像中。对于运动参数估计，可以采用牛顿迭代算法或者用LM算法。

对于当前图像有前景物体的情况，需要做前景背景分割，以防止前景物体融合到全景图像中。视频序列中场景在不断的发生变化，包括场景的亮度变化、天气变化等，因此对于全景式图像，需要能够实时根据场景的变化，自适应的更新全景式背景图像。

二、映射关系确定

该模块的功能是获取当前图像相对于全景式背景图像的映射关系。如图4所示，首先对当前图像进行全局运动估计，计算其在全景图像中的大致位置，获得当前图像的背景区域。全局运动估计可以采用三步搜索或者全搜索等方法进行。然后获取背景区域与当前图像之间的映射参数关系，这种映射参数关系包括使用3x3投影矩阵、多项式或者更复杂的4x4矩阵描述。

获取映射参数，主要有两类方法：

1)通过缩小搜索空间来提高搜索效率，包括图像的特征提取以及图像的金字塔分解或者小波分解等方法。

2)采用各种优化算法进行匹配操作，包括Gauss-Newton算法、模拟退火算法、LM算法以及智能优化算法。上述的方法都需要进行特征点提取，可以使用但不限于经典的SIFT或SURF算法，也可以使用一些时间复杂度比较低特征提取、匹配方法。

三、对当前图像进行编码

本发明所述的对当前图像进行编码是使用背景图像对当前图像进行编码。根据映射参数及全局运动参数，对背景区域进行形变，获得形变背景区域，最后在形变背景区域中进行全局运动估计，获取准确的运动矢量，生成一个跟当前图像大小相等的背景图像。对当前图像进行编码可以使用背景预测或者可选差分方法进行编码。背景预测及可选差分方法已在专利(基于背景建模和可选差分模式的视频编/解码方法及系统专利申请号201010203823.6)中给出。

下面举一实例来说明本发明中一种全景式背景视频编解码方法可能的实现方式。设定输入视频为YUV4:2:0格式3000帧的动态PTZ摄像机拍摄的监控视频。

本发明首先使用一段训练视频序列进行全景式背景图像生成，该序列需保证包含了场景中的所有背景区域，在这里选择150帧大小的测试序列。对生成好的全景式背景进行编码，QP为0，在AVS标准的伸展档次下实现。

对于测试序列中当前图像，本发明会生成一背景图像，然后使用背景图像进行可选差分编码。针对上述实现，进行如下性能测试：在3个3000帧的CIF格式的室外场景的PTZ摄像机序列上，与传统的AVS伸展档次的编码方法相比，有约0.8dB的增益。

以上对本发明所提供的全景式背景的视频编解码方法进行了详细的描述，本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是有利于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，依据本发明思想，在具体实施方式及应用范围上均有会改变之处。综上所述，本发明书内容不应该理解为对本发明的限制。

Claims (19)

1.一种视频编解码方法，其特征在于编码步骤包括：

a)全景式背景图像生成步骤，使用训练集视频图像生成用于描述整个待编码视频所属场景的全部背景区域，即全景式背景图像；

b)映射关系确定步骤，确定待编码当前图像及其参考图像和全景式背景中像素点之间的映射关系；

c)当前图像编码步骤，对全景式背景图像进行参数映射，得到当前图像和参考图像的背景，并利用该背景对当前图像进行基于预测的视频编码；

解码步骤包括如下步骤：

d)全景式背景导出步骤，对编码的全景式图像进行解码；

e)背景生成步骤，根据获取的映射参数及运动参数，获取当前图像的背景；

f)当前图像解码步骤，根据对应的编码方法，对当前图像解码。

2.如权利要求1所述的视频编解码方法，其特征在于所述全景式背景图像生成步骤，按照所使用的图像类型划分，全景式背景生成方法包括：

a)使用源视频图像进行全景式背景生成，在全景式背景生成过程中，使用了原始输入视频图像，其生成的全景式背景需要编入码流，编码过程中使用的全景式背景是解码该全景式背景码流得到的重建图像；

b)使用重建图像进行全景式背景生成，直接编码重建图像为输入训练集，进而计算得到当前图像在编码过程中所使用的全景式背景，其中，全景式背景图像不需要编入码流。

3.如权利要求1所述的视频编解码方法，其特征在于所述全景式背景图像生成步骤，在全景式背景生成过程中可以使用全景式背景生成参数，全景式背景生成参数需要写入码流。

4.如权利要求1所述的视频编解码方法，其特征在于所述全景式背景图像生成步骤中，全景式背景图像生成可以自适应的根据场景的不断变化进行更新。

5.如权利要求1所述的视频编解码方法，其特征在于所述的全景式背景图像生成步骤，按照过程划分，全景式背景生成方法包括：

a)全局运动估计步骤，使用全局运动估计算法，确定当前图像和当前已生成的全景式背景图像之间的映射关系；

b)图像形变步骤，根据全局运动估计参数，对训练集内输入的当前图像进行形变；

c)图像融合步骤，把形变图像映射到全景式背景图像中以更新全景式背景；对于已在全景图像中存在的像素点，使用均值方法更新其像素点的值。

6.如权利要求1所述的视频编解码方法，其特征在于所述的映射关系确定步骤中还包括：

a)数据块划分步骤，将当前图像划分为一个或若干个数据块；

b)参数求取步骤，获取当前图像数据块与全景式背景之间的映射参数关系。

7.如权利要求6所述的视频编解码方法，其特征在于所述的数据块划分步骤中还包含如下方法：

a)均等分块方法，把当前图像水平或垂直均分为若干块；

b)基于特征点分布的分块方法，计算当前图像中特征点，根据特征点分布进行分块，使得特征点较为均匀得分布在每个图像数据块中。

8.如权利要求6所述的视频编解码方法，其特征在于所述的参数求取步骤中还包含如下两类方法：

a)通过缩小搜索空间来提高搜索效率，包括图像的特征提取以及图像的金字塔分解或者小波分解等方法；

b)采用各种优化算法进行匹配操作，包括Gauss-Newton算法、模拟退火算法、LM算法以及智能优化算法。

9.如权利要求6所述的视频编解码方法，其特征在于，所述的参数求取步骤所使用的算法，可以在经过全局运动估计搜索后，得到当前图像在全景式背景中的优选匹配位置后进行。

10.如权利要求1所述的视频编解码方法，其特征在于所述的当前图像编码步骤中还包括：

a)参数写入码流步骤，对当前图像在全景式背景中的求得的映射关系参数写入码流；

b)编码待编码图像步骤，根据映射关系得到待编码的当前图像和参考图像所对应的背景，使用基于背景预测的编码方法或可选差分编码方法对当前图像进行编码。

11.如权利要求10所述的视频编解码方法，其特征在于，所述参数写入码流步骤至少包括下列参数中的一个：

a)全局运动参数，当前和参考图像与全景式背景之间的全局运动关系参数；

b)映射关系参数，当前和参考图像与全景式背景之间进行像素匹配过程中所求取的映射参数；

c)全局运动基础上的相变参数，基于当前和参考图像与全景式背景之间的全局运动关系，找到一个与当前和参考图像大小相近的背景区域，然后使用匹配算法得到当前和参考图像和背景区域之间的形变参数；

d)全局运动和背景形变基础上的再搜索参数，当前和参考图像在形变后的背景区域再搜索，获得的参数。

12.如权利要求1所述的视频编解码方法，其特征在于所述全景式背景导出步骤与编码端相对应，按照所使用的图像类型划分包括：

a)直接解码码流中的全景式背景部分，解码出的图像即为全景式背景；

b)使用重建图像进行全景式背景生成，直接以解码重建图像为训练集，按照编码过程中所使用的方法建立生成全景式背景。

13.如权利要求1所述的视频编解码方法，其特征在于全景式背景导出步骤包括：

a)全局运动估计，解码全局运动估计参数或使用全局运动估计算法，确定训练集内当前输入图像和当前已生成的全景式背景图像之间的映射关系；

b)图像形变步骤，解码形变参数或根据全局运动估计参数，求取全景背景和待解码当前图像之间的形变参数；

c)图像融合步骤，把形变图像映射到全景式背景图像中以更新全景式背景；对于已在全景图像中存在的像素点，更新其像素点的值。

14.如权利要求12所述的视频编解码方法，其特征在于，需要解码全景式背景生成过程中使用的全景式背景生成参数，并使用该解码参数完成全景式背景生成。

15.如权利要求12所述的视频编解码方法，其特征在于全景式背景生成能自适应的根据场景的不断变化进行图像更新。

16.如权利要求1所述的视频编解码方法，其特征在于所述的当前图像解码步骤中还包括：

a)映射参数导出步骤，计算待解码图像以及参考图像与全景式背景之间映射关系的写入码流的参数；

b)解码当前图像步骤，根据映射关系得到待解码的当前图像对应的背景，并使用基于背景预测的解码方法或可选差分解码方法，对当前图像进行解码。

17.如权利要求16所述的视频编解码方法，其特征在于映射参数导出步骤导出的映射参数至少包括下列参数中的一个：

a)全局运动参数，待解码图像、参考图像与全景式背景之间的全局运动关系参数；

b)映射关系参数，待解码图像、参考图像与全景式背景之间一一对应关系参数；

c)全局运动基础上的形变参数，基于待解码图像与全景式背景之间的全局运动关系，找到一个与待解码图像以及参考图像大小相近的背景区域，进而得到该区域在经过形变后得到待解码图像、参考图像的背景时所使用的参数；

d)全局运动和背景形变基础上的再搜索参数，待解码图像和参考图像在形变后的背景区域再搜索时获得的图像匹配参数。

18.如权利要求16的视频编解码方法，其特征在于映射参数导出步骤中所使用的导出方法包括：

e)直接解码得到映射参数，直接解码码流中的映射参数标志，得到映射参数

f)使用解码图像重新计算映射参数，使用解码图像按照现有的全景式背景匹配算法计算映射关系。

19.如权利要求16所述的视频编解码方法，所述映射参数导出步骤中使用解码图像重新计算映射参数方法包括两类方法：

a)通过缩小搜索空间来提高搜索效率，包括图像的特征提取以及图像的金字塔分解或者小波分解等方法；

b)采用各种优化算法进行匹配操作，包括模板搜索快速算法，Gauss-Newton算法、模拟退火算法、LM算法以及智能优化算法。

Images