CN105306946A - 一种基于均方误差门限的质量可分级视频编码方法 - Google Patents

Abstract

本发明公开一种基于均方误差门限的质量可分级视频编码方法，其利用模式矢量大小不同对于重建图像质量的影响，对于不同质量层采用具有不同大小模式矢量的特征模式库进行编码，从而实现视频质量可分级。首先，对视频图像进行分块，对于基本层采用具有较大模式矢量的特征模式库进行编码；通过与均方误差门限比较，对于均方误差较大的图像块进一步分割，采用具有较小模式矢量的特征模式库对这些分割后的图像块进行编码形成增强层。本发明只需要对图像块进行搜索匹配最佳模式矢量，并对索引进行编码，摒弃了现有非常复杂的帧内预测、帧间预测和层间预测，大大降低了复杂度，提升了压缩性能。

Description

一种基于均方误差门限的质量可分级视频编码方法

技术领域

本发明涉及视频编码领域，具体一种基于均方误差门限的质量可分级视频编码方法。

背景技术

互联网、智能终端和无线宽带通信技术的发展，大大促进了各种视频应用的飞速增长。由于不同智能终端具有不同的分辨率和解码能力，不同网络的传输带宽也不相同。为了适应不同的视频应用需求需要采用可分级视频编码技术。目前，较为成熟的可分级视频编码标准是H.264/SVC。可分级视频编码技术主要包括时间可分级、空间可分级和质量可分级。其中，质量可分级编码主要分为粗粒度质量可分级、中间粒度质量可分级和精细粒度质量可分级。粗粒度质量可分级的实现方式是在基本层使用较大的量化系数，在增强层使用较小的量化系数；中间粒度质量可分级则是在粗粒度质量可分级的基础上，增加了对量化后系数的分片编码，从而实现更加精细的可分级编码；精细粒度质量可分级是采用位平面编码技术来实现最为精细的质量可分级。

但是上述质量可分级视频编码技术需要采用繁琐精细的帧内预测、帧间预测和层间预测算法才能实现，复杂度非常高。随着视频分辨率越来越高，视频编码的计算量将会越来越巨大，对处理速度提出了非常越来越高的要求。同时存储视频所需要的空间也越来越巨大，上述质量可分级视频编码算法的压缩性能难以满足视频应用的新需求。

发明内容

本发明所要解决的现有质量可分级视频编码算法复杂度高的不足，提供一种基于均方误差门限的质量可分级视频编码方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于均方误差门限的质量可分级视频编码方法，包括如下步骤：

步骤1、基本层特征模式库的生成；将所要编码的视频的每一帧图像都采用预定的基本层尺寸进行分块，将所得的基本层图像块作为基本层训练矢量集并采用自组织映射方法训练，得到基本层特征模式库；

步骤2、基本层编码的产生；对于所要编码的视频的每一帧图像的每一个基本层尺寸图像块，分别在基本层特征模式库中搜索匹配，从基本层特征模式库中找出均方误差最小的模式矢量，并将该模式矢量在基本层特征模式库中的索引序号作为该基本尺寸图像块的基本层编码，同时在每一个索引前设置一个标志位标示该图像块是否需要进行增强层编码；将所要编码的视频的每一帧采用基本层编码进行编码。

上述方案中，步骤1具体为：

步骤1.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为a×a的基本层尺寸图像块组成基本层训练矢量集X(n)，n＝1,2,…,L，其中L为X(n)中训练矢量个数；

步骤1.2、计算基本层训练矢量集X(n)中各训练矢量的均方差，将X(n)中各训练矢量根据其均方差的大小进行顺序排列；

步骤1.3、从重新排序后的基本层训练矢量集中随机或以固定间隔抽取一定数量的模式矢量形成层初始模式库；

步骤1.4、利用基本层训练矢量集X(n)训练基本层初始模式库，得到基本层特征模式库。

上述方案中，步骤2具体为：

步骤2.1，将分解后的视频图像分割为a×a的基本层尺寸图像块，在基本层，在基本层特征模式库中搜索匹配得到均方误差最小的模式矢量，并得到与该模式矢量对应得索引；

步骤2.2，求出原图像块与对应的模式矢量的均方误差；

步骤2.3，在基本层每个图像块对应的索引前插入一个标志位Flag；若均方误差值小于等于预设阀值，则跳过该图像块并将Flag置为0；若均方误差值大于等于预设阀值，则Flag置为1；最后将Flag的值和该图像块对应的索引一起编码作为基本层。

上述方案中，步骤1.3进一步为：

首先，将重新排序后的基本层训练矢量集均分为p个部分，得到均方差依次增加的p个部分，即X₁(n)、X₂(n)、…、X_p(n)，其中n＝1,2,…,L/p，p为大于等于1的正整数；

然后，分别随机或以固定的间隔从X₁(n)～X_p(n)中分别抽取N₁～N_P个模式矢量，合在一起组成含有N个模式矢量的基本初始模式库；其中N₁+N₂+…+N_P＝N，N为设定值，且N＜L。

上述一种基于均方误差门限的质量可分级视频编码方法，还进一步包括如下步骤：

步骤3、增强层特征模式库的生成；将所要编码的视频的每一帧图像都采用预定的增强层尺寸进行分块，将所得的增强层图像块作为增强层训练矢量集并采用自组织映射方法训练，得到增强层特征模式库；

步骤4、增强层编码的产生；对于增强层标志位的值为1的对应的基本层图像块采用预定的增强层尺寸进行分块，分为4个等大的图像块，对于每个细分后的图像块，分别在增强层特征模式库中搜索匹配，在增强层特征模式库中找出均方误差最小的模式矢量，并将该最佳匹配的模式矢量在增强层特征模式库中的索引序号编码作为增强层。

上述方案中，步骤3具体为：

步骤3.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为b×b的增强层尺寸的图像块组成增强层训练矢量集Y(m)，m＝1,2,…,K，其中K为Y(m)中训练矢量个数；

步骤3.2、计算增强层训练矢量集Y(m)中各矢量的均方差，将增强层训练矢量根据其均方差的大小进行顺序排列；

步骤3.3、从重新排序后的增强层训练矢量集中随机或以固定间隔抽取一定数量的模式矢量形成增强层初始模式库；

步骤3.4、利用增强层训练矢量集Y(m)训练增强层初始模式库，得到增强层特征模式库。

上述方案中，步骤3.3进一步为：

首先，将重新排序后的增强层训练矢量集均分为q个部分，得到均方差依次增加的q个部分，即Y₁(m)、Y₂(m)、…、Y_q(m)，其中m＝1,2,…,K/q，q为大于等于1的正整数；

然后，分别随机或以固定的间隔从Y₁(m)～Y_q(m)中分别抽取M₁～M_q个模式矢量，合在一起组成含有M个模式矢量的增强初始模式库，其中M₁+M₂+…+M_q＝M，M为设定值，且M＜K。

上述方案中，基本层图像块和增强层图像块均为正方形的图像块，且基本层图像块的面积为增强层图像块面积的4倍。

与现有技术相比，本发明采用基于模式识别的方法对视频进行编码，即将自组织映射方法用于质量可分级视频编码，只需要对图像块进行搜索匹配最佳模式矢量，并对索引进行编码，摒弃了现有非常复杂的帧内预测、帧间预测和层间预测，大大降低了复杂度。同时，由于自组织映射方法优秀的聚类性能，利用模式矢量索引编码代替现有DCT编码，提高了视频编码算法压缩性能。

附图说明

图1为一种基于均方误差门限的质量可分级视频编码的原理框图。

具体实施方式

一种基于均方误差门限的质量可分级视频编码方法，其采用两层编码方法，首先，对视频图像进行分块，对于基本层采用具有较大尺寸模式矢量的特征模式库进行编码；然后对于均方误差较大的图像块进一步分割，采用具有较小尺寸模式矢量的特征模式库对这些分割后的图像块进行编码形成增强层。如图1所示，具体步骤如下：

步骤1、基本层特征模式库产生。将所要编码的视频的每一帧图像都采用规定的大尺寸进行分块，将所得的图像块作为训练矢量集并采用自组织映射方法训练，得到基本层特征模式库。

步骤1.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为16×16的图像块组成基本层训练矢量集X(n)，n＝1,2,…,L，其中L为X(n)中训练矢量个数。

步骤1.2、计算基本层训练矢量集X(n)中各训练矢量的均方差，将X(n)中各训练矢量根据其均方差的大小按从小到大的顺序排列。

步骤1.3、将重新排序后的基本层训练矢量集均分为两部分，得到均方差依次增加的两部分，即低频部分和高频部分X₁(n)和X₂(n)，其中n＝1,2,…,L/2。分别以固定的间隔从X₁(n)和X₂(n)抽取N₁和N₂个模式矢量(N₁+N₂＝N)，合在一起组成含有N个模式矢量的基本层初始模式库。此处可不对基本层训练矢量集进行分割，也可划分为两个以上的部分，可以以固定间隔抽取模式矢量，也可以随机抽取模式矢量，但是要保证抽取N个模式矢量组成初始模式库。

步骤1.4、利用基本层训练矢量集X(n)训练基本层初始模式库，得到基本层特征模式库。

步骤2、增强层特征模式库的产生。将所要编码的视频的每一帧图像都采用规定的小尺寸进行分块，将所得的图像块作为训练矢量集并采用自组织映射方法训练，得到增强层特征模式库。在本发明优选实施例中，采用大尺寸分块所得的每个图像块面积为采用小尺寸分块所得的每个图像块的4倍。

步骤2.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为8×8的图像块组成增强层训练矢量集Y(m)，m＝1,2,…,K，其中K为Y(m)中训练矢量个数。

步骤2.2、计算增强层训练矢量集Y(m)中各训练矢量的均方差，将Y(m)中各训练矢量根据其均方差的大小按从小到大的顺序排列。

步骤2.3、将重新排序后的增强层训练矢量集均分为两部分，得到均方差依次增加的两部分，即低频部分和高频部分Y₁(m)和Y₂(m)，其中m＝1,2,…,K/2。分别以固定的间隔从Y₁(m)和Y₂(m)抽取M₁和M₂个模式矢量(M₁+M₂＝M)，合在一起组成含有M个模式矢量的增强初始模式库。此处可不对增强训练矢量集进行分割，也可划分为两个以上的部分，可以以固定间隔抽取模式矢量，也可以随机抽取模式矢量，但是要保证抽取M个模式矢量组成初始模式库。

步骤2.4、利用增强层训练矢量集Y(m)训练增强层初始模式库，得到增强层特征模式库。

步骤3、基本层编码。将所要编码的视频的每帧图像以较大尺寸分块，使用基本层特征模式库对每个图像块进行模式匹配，得到最佳匹配的模式矢量，并将与之对应的索引进行编码作为基本层。

步骤3.1、对于分解后的视频图像，取其中一帧，将图像分割为16×16的图像块，在基本层特征模式库中搜索匹配得到均方误差最小的模式矢量，并得到与该模式矢量对应的索引。

步骤3.2、求出原图像块与对应的模式矢量之间的均方误差值。

步骤3.3、在基本层每个图像块对应的索引前插入一个标志位Flag。若均方误差值小于等于预设阀值，则跳过该图像块并将Flag置为0；若均方误差值大于等于预设阀值，则Flag置为1。最后将Flag的值和该图像块对应的索引一起编码作为基本层。对所要编码视频的每一帧图像的每一个图像块都采用步骤3.1-3.3的方法进行基本层编码。

步骤4、增强层编码。对于步骤3.1中已划分为16×16的图像块，其对应的Flag值为1的图像块进一步细分为4个8×8的图像块，在增强层特征模式库中分别对4个8×8的图像块搜索匹配得到均方误差最小的模式矢量，将与该模式矢量对应的索引进行编码得到增强层。所要编码视频的每一帧图像每一个图像块都采用步骤4的方法进行增强层编码。

本发明利用模式矢量大小不同对于重建图像质量的影响，对于不同质量层采用具有不同大小模式矢量的特征模式库进行编码，从而实现视频质量可分级。首先，对视频图像进行分块，对于基本层采用具有较大模式矢量的特征模式库进行编码；通过与均方误差门限比较，对于均方误差较大的图像块进一步分割，采用具有较小模式矢量的特征模式库对这些分割后的图像块进行编码形成增强层。本发明只需要对图像块进行搜索匹配最佳模式矢量，并对索引进行编码，摒弃了现有非常复杂的帧内预测、帧间预测和层间预测，大大降低了复杂度，提升了压缩性能。

Claims (8)

1.一种基于均方误差门限的质量可分级视频编码方法，具特征是，包括如下步骤：

步骤1、基本层特征模式库的生成；将所要编码的视频的每一帧图像都采用预定的基本层尺寸进行分块，将所得的基本层图像块作为基本层训练矢量集并采用自组织映射方法训练，得到基本层特征模式库；

步骤2、基本层编码的产生；对于所要编码的视频的每一帧图像的每一个基本层尺寸图像块，分别在基本层特征模式库中搜索匹配，从基本层特征模式库中找出均方误差最小的模式矢量，并将该模式矢量在基本层特征模式库中的索引序号作为该基本尺寸图像块的基本层编码，同时在每一个索引前设置一个标志位标示该图像块是否需要进行增强层编码；将所要编码的视频的每一帧采用基本层编码进行编码。

2.根据权利要求1所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，步骤1具体为：

步骤1.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为a×a的基本层尺寸图像块组成基本层训练矢量集X(n)，n＝1,2,…,L，其中L为X(n)中训练矢量个数；

步骤1.2、计算基本层训练矢量集X(n)中各训练矢量的均方差，将X(n)中各训练矢量根据其均方差的大小进行顺序排列；

步骤1.3、从重新排序后的基本层训练矢量集中随机或以固定间隔抽取一定数量的模式矢量形成层初始模式库；

步骤1.4、利用基本层训练矢量集X(n)训练基本层初始模式库，得到基本层特征模式库。

3.根据权利要求2所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，步骤1.3进一步为：

首先，将重新排序后的基本层训练矢量集均分为p个部分，得到均方差依次增加的p个部分，即X₁(n)、X₂(n)、…、X_p(n)，其中n＝1,2,…,L/p，p为大于等于1的正整数；

然后，分别随机或以固定的间隔从X₁(n)～X_p(n)中分别抽取N₁～N_P个模式矢量，合在一起组成含有N个模式矢量的基本初始模式库；其中N₁+N₂+…+N_P＝N，N为设定值，且N＜L。

4.根据权利要求1所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，步骤2具体为：

步骤2.1，将分解后的视频图像分割为a×a的基本层尺寸图像块，在基本层，在基本层特征模式库中搜索匹配得到均方误差最小的模式矢量，并得到与该模式矢量对应得索引；

步骤2.2，求出原图像块与对应的模式矢量的均方误差；

步骤2.3，在基本层每个图像块对应的索引前插入一个标志位Flag；若均方误差值小于等于预设阀值，则跳过该图像块并将Flag置为0；若均方误差值大于等于预设阀值，则Flag置为1；最后将Flag的值和该图像块对应的索引一起编码作为基本层。

5.根据权利要求1所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，还进一步包括如下步骤：

步骤3、增强层特征模式库的生成；将所要编码的视频的每一帧图像都采用预定的增强层尺寸进行分块，将所得的增强层图像块作为增强层训练矢量集并采用自组织映射方法训练，得到增强层特征模式库；

步骤4、增强层编码的产生；对于增强层标志位的值为1的对应的基本层图像块采用预定的增强层尺寸进行分块，分为4个等大的图像块，对于每个细分后的图像块，分别在增强层特征模式库中搜索匹配，在增强层特征模式库中找出均方误差最小的模式矢量，并将该最佳匹配的模式矢量在增强层特征模式库中的索引序号编码作为增强层。

6.根据权利要求5所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，步骤3具体为：

步骤3.1、将所要编码的视频分解为一帧一帧的图像，然后将所有图像分割为b×b的增强层尺寸的图像块组成增强层训练矢量集Y(m)，m＝1,2,…,K，其中K为Y(m)中训练矢量个数；

步骤3.2、计算增强层训练矢量集Y(m)中各矢量的均方差，将增强层训练矢量根据其均方差的大小进行顺序排列；

步骤3.3、从重新排序后的增强层训练矢量集中随机或以固定间隔抽取一定数量的模式矢量形成增强层初始模式库；

步骤3.4、利用增强层训练矢量集Y(m)训练增强层初始模式库，得到增强层特征模式库。

7.根据权利要求6所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，步骤3.3进一步为：

首先，将重新排序后的增强层训练矢量集均分为q个部分，得到均方差依次增加的q个部分，即Y₁(m)、Y₂(m)、…、Y_q(m)，其中m＝1,2,…,K/q，q为大于等于1的正整数；

然后，分别随机或以固定的间隔从Y₁(m)～Y_q(m)中分别抽取M₁～M_q个模式矢量，合在一起组成含有M个模式矢量的增强初始模式库，其中M₁+M₂+…+M_q＝M，M为设定值，且M＜K。

8.根据权利要求5所述的一种基于均方误差门限的质量可分级视频编码方法，具特征是，基本层图像块和增强层图像块均为正方形的图像块，且基本层图像块的面积为增强层图像块面积的4倍。