CN103596012A

CN103596012A - 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法

Info

Publication number: CN103596012A
Application number: CN201310566428.8A
Authority: CN
Inventors: 徐新艳; 刘兆广; 李冬芸; 刘新峰; 刘学
Original assignee: Shandong College of Electronic Technology
Current assignee: Shandong College of Electronic Technology
Priority date: 2013-11-14
Filing date: 2013-11-14
Publication date: 2014-02-19
Anticipated expiration: 2033-11-14
Also published as: CN103596012B

Abstract

一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，属于多媒体信号处理领域，主要解决帧率转码中宏块类型快速选择的问题。本发明的关键是利用四个参数建立起来的模型进行宏块类型的选择，宏块类型的选择过程就是参数计算，阈值选择，并根据阈值决定宏块类型。本方法不仅可以显著加快转码速度，而且充分保证了重新编码中的较优的宏块类型，从而得到很低的比特率。适用于无线视频监控，互联网视频监控，无线视频点播等领域。

Description

一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法

技术领域

本发明涉及一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，属于多媒体信号处理的技术领域。

背景技术

在视频点播应用中，为了能给更广泛的用户提供丰富的视频资源，视频内容提供商需要保存各种格式下的视频资源，如高清品质的，标清品质的，一般品质的等等，这样才能满足各类不同用户的需求，如个人电脑用户，手机用户等。这就要求视频内容提供商必须配置大量的资源来保存不同的视频源，因而增加了商家的负担。视频转码技术可以很好的解决此类问题。在该技术支持下，商家只需要提供单一的高清品质视频源。根据不同的用户终端，转码技术实时地对视频流中的图像大小、帧率、图像质量等各参数进行调整，从而符合接入网络和播放终端的要求。比如在图1所述的视频点播中，可以在视频服务器中加入视频转码模块，用户就可以通过无线终端完成视频点播，解决了无线终端用户因无线信道过窄而无法点播的问题。

视频转码的输入是一种比特流格式（如图像大小，帧率，码率，编码标准等），经过转码模块，输出的可以是另一种比特流格式。根据输入和输出比特流的格式，视频转码通常分为标准间转码和标准内转码两种。标准间转码是指输入比特流和输出比特流属于不同的标准。标准内转码是指输入和输出比特流属于同一标准，又常分为图像尺寸转码，帧率转码，比特率转码三个方面。

发明内容

针对现有技术的不足，本发明提供一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，该方法适用于无线视频监控，互联网视频监控，视频点播等，本发明所述的方法不仅显著加快转码速度，而且保证了重新编码后的图像质量，满足了视频信息实时性的要求。

本发明的技术方案如下：

本发明提供一种实时的基于AVS视频标准的帧率转码中帧间宏块类型选择方法，步骤如下：

1）选择当前宏块：选择图像中16x16像素的子块作为一个宏块，称为当前宏块，该宏块为待编码宏块；所述图像是指在初始时对样本视频序列进行AVS解码所得的像素域数据；当进入转码阶段后，所述图像是对输入的视频流进行AVS解码得到的像素域数据；

2）确定当前宏块的初始运动矢量：使用现有技术的各种公开算法计算当前宏块的初始运动矢量；

在视频帧率转码中，有些帧会被舍弃，如附图2给出了视频帧率转码中一个宏块的运动示意：F_n为当前帧，F_n-1为被丢弃帧，则F_n中指向F_n-1中的运动矢量就要重新计算，即初始运动矢量为当前帧F_n指向帧F_n-2；

3）统计当前宏块的NZ值：所述NZ值是指当前宏块运动路径上残差数据的非零系数的个数比例，这里的宏块运动路径是指附图2中阴影部分图像，在输入视频流经AVS解码得到像素域数据后经统计算出当前宏块的NZ值；

4）计算阈值TL和TH：TL和TH分别是确定当前宏块帧间类型所用的两个阈值，按照以下公式(i)和公式(ii)计算：

TL=a₁+b₁·Q (i)

TH=a₂+b₂·Q (ii)

在上面公式(i)和公式(ii)中，Q为当前宏块的量化参数，该量化参数是编码时赋予当前宏块的，由公开的率失真算法决定；a₁，b₁，a₂，b₂是四个参数，所述四个参数的计算公式如公式(iii)：

\{\begin{matrix} b_{k} = \frac{n Σ_{i = 1}^{n} Q_{i} T_{i} - Σ_{i = 1}^{n} Q_{i} Σ_{i = 1}^{n} T_{i}}{n Σ_{i = 1}^{n} Q_{i}^{2} - {(Σ_{i = 1}^{n} Q_{i})}^{2}} \\ a_{k} = \frac{Σ_{i = 1}^{n} T_{i} - b_{k} Σ_{i = 1}^{n} Q_{i}}{n} \end{matrix}, k = 1,2 - - - (iii)

在公式(iii)中，n是总的帧数目；Q_i是第i帧的量化参数；当k=1时T_i是第i帧的TL阈值的平均值，当k=2时，T_i是第i帧的TH阈值的平均值。这里的TL和Q_i，以及TH和Q_i构成了两个集合，分别称为TL-Q集合和TH-Q集合，转码开始前，需要离线建模得到TL-Q和TH-Q初始集合；在转码过程中，将TL-Q和TH-Q初始集合代入公式(iii)，即得到a₁，b₁，a₂，b₂四个参数，并进一步利用公式(i)和公式(ii)计算出TL和TH。

根据本发明优选的，上述离线建模是得到TL-Q和TH-Q初始集合的流程，包括如下步骤1）-5）：

1)挑选视频：首先需要挑选出常用的具备各种典型特征的视频序列，并将这些视频序列使用AVS标准进行编码；所述各种典型特征是指视频中如运动是否剧烈，是否存在镜头切换，纹理是否丰富等特征；如果某视频点播系统是针对特定的应用，例如篮球比赛，则挑选的典型序列最好也是篮球比赛片段；

2)视频解码：使用AVS解码器，将压缩好的样本视频序列进行完全解码，得到像素域数据；这样可以保证在整个转码过程中不会引入漂移误差，从而保证图像质量；基于AVS的解码器可以自主开发，也可以使用官方提供的开源解码软件系统；

3)舍弃帧：根据终端的需要，丢弃某些帧；此处所述的舍弃帧可以使用公开的算法；

4)提取信息：从视频解码得到的数据中提取出宏块类型，残差数据，量化参数三类信息；同时使用全模式搜索法获取当前宏块的最优模式；全模式搜索法就是遍历宏块所有可用的预测模式，并选择一个压缩性能最优的结果，该搜索方法的实施过程可以借鉴官方提供的开源软件系列软件，该软件在AVS工作组官方网站上可以下载；

5)模型建立：用步骤4）所述三类信息和最优模式，使用阈值的方法确定初始TL-Q和TH-Q集合；经过步骤1）-4），可以得到量化参数Q，残差数据，最优宏块类型的对应关系；在固定的Q值时，以80%的宏块是选择最优宏块为前提，选择TL和TH值。这样就针对每个Q都能确定一个TL和TH，从而形成TL-Q和TH-Q的初始集合；

根据本发明优选的，上述a₁，b₁，a₂，b₂四个参数是按照如下流程更新参数的：

1)输入初始TL-Q和TH-Q集合；所述初始TL-Q和TH-Q集合是通过统计大量视频并计算得到，作为先验知识输入到计算流程中；

2)使用当前TL-Q和TH-Q集合，根据公式(iii)计算参数a₁，b₁，a₂，b₂；

3)使用参数a₁，b₁，a₂，b₂，根据公式(i)和公式(ii)计算TL和TH；

4)需要对待转码的每一帧的所有宏块按同样流程逐一处理，下面是单个宏块的处理过程：

为当前宏块统计NZ值；

这里的Q是当前宏块采用的量化参数，Q值的确定由公开的率失真算法决定。

本发明的有益效果是：

1）转码速度快。本发明充分利用了原始码流的丰富信息，快速进行宏块类型选择，并尽可能保证选择的正确性；从解码信息中提取了残差数据，确定宏块类型，量化参数等信息，这些信息都与编码端的块类型息息相关。没有提取比较耗时的运动矢量信息，这样保证了提取信息耗时较少，从而转码速度较快。

2）无任何漂移效应。本发明是基于像素域的视频转码，不会出现漂移误差，也就不会导致漂移效应，从而保证了重新编码后的图像质量。

3）适于实时性转码。本发明的宏块预测模式的选择中，使用了初始TL-Q和TH-Q集合。在线转码时，仅仅是计算四个参数就能决定宏块类型，因此转码速度快，计算复杂度低，从而满足了实时性的要求。

4）适于各类视频类型。本发明在计算初始TL-Q和TH-Q集合中，选用了具备各类特征的视频序列，因此该发明适用于各种视频类型，包括运动剧烈，运动平缓，纹理丰富，纹理简单等。

5）实时低比特率转换效果明显。本发明设计的方法提取的信息较少，运算复杂度低，因此，在实时的低比特率下的转换更为有效。

附图说明

图1本发明转码在视频点播服务中的应用原理图；

图2本发明帧率转码中NZ值的计算路径示意图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步详细描述。但不限于此。

实施例、

如图1，在无线视频点播中，已编码的视频流存放在视频服务器上，这些视频流都是在高比特率的前提下压缩的，即图像尺寸大，帧率高，图像质量较好。当有用户点播某个视频段时，会将相应所要求的参数同时发送到视频服务器，这些参数包括：图像尺寸，帧率，比特率等。视频服务器根据这些参数的要求，启动转码模块，将已经编码好的视频流转码到所要求的格式下，并实时地将转码后的视频流发送到用户终端。

一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法应用到转码系统中，包括如下步骤1）-6）：

1）视频解码：使用AVS解码器，对输入的视频流进行完全解码，得到像素域数据；这样可以保证在整个转码过程中不会引入漂移误差，从而保证图像质量；基于AVS的解码器可以自主开发，也可以使用官方提供的开源解码软件系统；

2）提取信息：从在线解码信息中提取出宏块类型，残差数据，量化参数等信息；

3）舍弃帧：根据终端的需要，丢弃某些帧；此处所述的舍弃帧可以使用公开的算法；

4）宏块类型选择：利用步骤2）所述提取的信息，为当前帧每个宏块选择一个类型；

5）重新计算运动矢量：针对选择的宏块类型，重新计算运动矢量；每种宏块类型，都对应着一个或多个运动矢量，因此选择宏块类型之后需要重新计算运动矢量。计算方法可参考公开的算法。重新计算后的运动矢量需要进一步细化，才能准确反映运动的实际情况，一般细化步长为2个像素；

6）重新编码：使用选择好的宏块类型和重新计算的运动矢量，重新对视频进行编码并输出。

上述步骤4）中所述宏块类型的选择方法如下：

TL=a₁+b₁·Q (i)

TH=a₂+b₂·Q (ii)

在上面公式(i)和公式(ii)中，Q为当前宏块的量化参数，该量化参数是编码时赋予当前宏块的，由公开的率失真算法决定；a₁，b₁，a₂，b₂是四个参数，所述四个参数的计算公式如公式（iii）：

\{\begin{matrix} b_{k} = \frac{n Σ_{i = 1}^{n} Q_{i} T_{i} - Σ_{i = 1}^{n} Q_{i} Σ_{i = 1}^{n} T_{i}}{n Σ_{i = 1}^{n} Q_{i}^{2} - {(Σ_{i = 1}^{n} Q_{i})}^{2}} \\ a_{k} = \frac{Σ_{i = 1}^{n} T_{i} - b_{k} Σ_{i = 1}^{n} Q_{i}}{n} \end{matrix}, k = 1,2 - - - (iii)

上述离线建模是得到TL-Q和TH-Q初始集合的流程，包括如下步骤1）-5）：

2)视频解码：使用AVS解码器，将压缩好的样本视频序列进行完全解码，得到像素域数据；这样可以保证在整个转码过程中不会引入漂移误差，从而保证图像质量。基于AVS的解码器可以自主开发，也可以使用官方提供的开源解码软件系统；

4)提取信息：从视频解码得到的数据中提取出宏块类型，残差数据，量化参数三类信息；同时使用全模式搜索法获取当前宏块的最优模式。全模式搜索法就是遍历宏块所有可用的预测模式，并选择一个压缩性能最优的结果，该搜索方法的实施过程可以借鉴官方提供的开源软件系列软件，该软件在AVS工作组官方网站上可以下载。

1）输入初始TL-Q和TH-Q集合；所述初始TL-Q和TH-Q集合是通过统计大量视频并计算得到，作为先验知识输入到计算流程中；

2）使用当前TL-Q和TH-Q集合，根据公式(iii)计算参数a₁，b₁，a₂，b₂；

3）使用参数a₁，b₁，a₂，b₂，根据公式(i)和公式(ii)计算TL和TH；

4）需要对待转码的每一帧的所有宏块按同样流程逐一处理，下面是单个宏块的处理过程：

为当前宏块统计NZ值；

使用本发明的方法对视频编解码常用序列进行了实时的转码实验。相比于AVS的参考软件的全模式搜索法，在压缩性能损失很小的前提下，本发明的转码速度是参考软件的10-15倍。在无线视频点播等低比特率情况下，本方法的转码速度更快，是参考软件的20倍左右。

Claims

1.一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，其特征在于，所述宏块类型的选择方法，步骤如下：

3）统计当前宏块的NZ值：所述NZ值是指当前宏块运动路径上残差数据的非零系数的个数比例，输入视频流经AVS解码得到像素域数据后经统计算出当前宏块的NZ值；

TL=a₁+b₁·Q (i)

TH=a₂+b₂·Q (ii)

\{\begin{matrix} b_{k} = \frac{n Σ_{i = 1}^{n} Q_{i} T_{i} - Σ_{i = 1}^{n} Q_{i} Σ_{i = 1}^{n} T_{i}}{n Σ_{i = 1}^{n} Q_{i}^{2} - {(Σ_{i = 1}^{n} Q_{i})}^{2}} \\ a_{k} = \frac{Σ_{i = 1}^{n} T_{i} - b_{k} Σ_{i = 1}^{n} Q_{i}}{n} \end{matrix}, k = 1,2 - - - (iii)

在公式(iii)中，n是总的帧数目；Q_i是第i帧的量化参数；当k=1时T_i是第i帧的TL阈值的平均值，当k=2时，T_i是第i帧的TH阈值的平均值；这里的TL和Q_i，以及TH和Q_i构成了两个集合，分别称为TL-Q集合和TH-Q集合，转码开始前，需要离线建模得到TL-Q和TH-Q初始集合；在转码过程中，将TL-Q和TH-Q初始集合代入公式(iii)，即可得到a₁，b₁，a₂，b₂四个参数，并进一步利用公式(i)和公式(ii)计算出TL和TH。

2.根据权利要求1所述的一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，其特征在于，所述离线建模得到TL-Q和TH-Q初始集合的流程包括如下步骤1）-5）：

1)挑选视频：首先需要挑选出常用的具备各种典型特征的视频序列，并将这些视频序列使用AVS标准进行编码；所述各种典型特征是指视频中如运动是否剧烈，是否存在镜头切换，纹理是否丰富等特征；

2)视频解码：使用AVS解码器，将压缩好的样本视频序列进行完全解码，得到像素域数据；

4)提取信息：从视频解码得到的数据中提取出宏块类型，残差数据，量化参数三类信息；同时使用全模式搜索法获取当前宏块的最优模式；

5)模型建立：用步骤4）所述三类信息和最优模式，使用阈值的方法确定初始TL-Q和TH-Q集合；经过步骤1）-4），可以得到量化参数Q，残差数据，最优宏块类型的对应关系；在固定的Q值时，以80%的宏块是选择最优宏块为前提，选择TL和TH值。

3.根据权利要求1所述的一种实时的基于AVS的视频帧率转码中帧间宏块类型选择方法，其特征在于，所述a₁，b₁，a₂，b₂四个参数是按照如下流程更新参数的：

为当前宏块统计NZ值；