CN102938840A

CN102938840A - 应用于多视点视频编码系统的关键帧量化参数选择方法

Info

Publication number: CN102938840A
Application number: CN2012104880887A
Authority: CN
Inventors: 刘峰; 何银环
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University; Nanjing University of Posts and Telecommunications
Priority date: 2012-11-26
Filing date: 2012-11-26
Publication date: 2013-02-20

Abstract

本发明提供了一种应用于多视点视频编码系统的关键帧量化参数选择方法，根据视频信号的传输码率、帧率、基本视点关键帧的本身复杂度，以及前一个序列已编码图像组GGOP中基本视点关键帧所占的实际编码比特数，确定当前基本视点关键帧的量化参数；根据前一个序列已编码图像组GGOP中对应位置的辅助视点关键帧实际编码比特在整个序列编码图像组中所占的比例进行比特分配及平均绝对差值的预测，从而利用率失真模型得到该辅助视点关键帧的量化参数，并利用前一个序列编码图像组所有关键帧的平均量化参数值进行调整。本方法充分考虑了多视点视频不同视点的编码特性及其相关性，提高了码率控制精确性并最大限度的减小了计算复杂度。

Description

应用于多视点视频编码系统的关键帧量化参数选择方法

技术领域

本发明涉及视频编码技术领域，特别涉及基于多视点视频编码系统的码率控制算法。

背景技术

随着无线通信网络的广泛应用和多媒体技术的飞速发展，视频通信技术在过去的几十年里得到了前所未有的发展，而视频编码技术作为视频通信的一个关键因素，在视频信号的压缩和传输过程中，起着重要作用。

如今，随着移动设备以及通信网络的不断改进，人们对移动视频通信也有了更高层次的需求，因此，多视点视频编码技术应运而生，多视点视频通过在场景中放置多台摄像机，记录多个视点的数据，从而蕴含了景物的深度信息，在自然场景的表征上更具有真实感，能供给用户以视点选择和场景漫游的交互能力，在3D电视、自由视点电视、沉浸式可视会议及虚拟现实等领域展现了广阔的应用前景。然而，多视点视频数据量巨大，必须有一套高效的编码压缩机制，才能真正的使多视点视频编码从理论走向实践。其中，多视点视频编码码率控制是多视点视频编码技术走向实际应用的一项关键技术。只有通过一套有效的码率控制方案，才能根据信道传输带宽的特性，灵活的传输多视点视频流，并获得良好稳定的视频重建质量。

发明内容

技术问题：本发明的目的是公开一种应用于多视点视频编码系统的码率控制方案中的关键帧量化参数选择算法，与采用已编码帧平均量化参数值作为关键帧量化参数相比，该算法能在不明显影响计算复杂度的前提下，提高图像重建质量，同时，进行精确的码率控制。

技术方案：本发明的一种应用于多视点视频编码系统的关键帧量化参数选择方法应用于基于多视点视频编码平台的码率控制过程中，是基于多视点视频编码系统，该系统中一个序列编码图像组GGOP包括一个基本视点：I-View，和多个辅助视点：非I-View；基本视点关键帧为I帧，不参考其它帧只进行帧内编码，辅助视点的关键帧为P帧或者B帧，参考其它已编码视点的关键帧进行编码；

该方法包括基本视点的关键帧量化参数选择和辅助视点的关键帧量化参数选择两个部分；基本视点关键帧量化参数的确定需要考虑到信道的传输码率、帧率、当前编码图像的本身特性以及同类型编码帧间的相似性；辅助视点关键帧量化参数的确定根据同类型帧编码的相似性，及前一个序列编码图像组GGOP中所有关键帧平均编码量化参数值计算；

根据信道的传输码率、帧率及图像帧的像素数，确定每个像素所占的平均比特数，以此来度量可用带宽，通常，若当前可用带宽较大时，相应的初始量化参数就会较小，反之，若当前可用带宽较小时，相应的初始量化参数就会变大；

图像的本身特性通过图像的复杂度进行度量，由于基本视点的关键帧只进行帧内编码，所以不考虑其动态复杂度，即：只考虑图像背景的内容复杂度，本方法中，定义为一帧图像的平均绝对差值，对于复杂的图像，选择小的量化参数进行编码，反之，对于平坦的图像，选择大的量化参数进行编码；

同类型编码帧具有相似的编码特性，根据前一个序列已编码图像组中同类型关键帧所占的实际编码比特，分配当前帧的编码比特，根据率失真模型计算量化参数。

所述的传输码率、帧率，由编码器特性和信道容量决定，本系统中，由人为设定目标码率和帧率。

所述当前编码图像的本身特性包括图像的格式、图像大小、图像复杂度。

所述图像的复杂度，只考虑静态复杂度，即图像背景复杂度，定义为该帧图像的平均梯度MAD_s。

所述的同类型编码帧表示不同编码图像组GGOP中同一视点、同一平行位置、同种帧类型的编码帧。

所述的前一个序列编码图像组GGOP所有关键帧包括前一个已编码GGOP中基本视点和所有非基本视点关键帧。

有益效果：本发明通过一种更精确的算法计算多视点视频编码系统中关键帧量化参数，与采用已编码帧平均量化参数值作为关键帧量化参数相比，该算法能在不明显影响计算复杂度的前提下，提高图像质量，同时，进行精确的码率控制。

附图说明

图1码率控制基本原理图，

图2关键帧量化参数确定算法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步描述。

本发明的应用于多视点视频编码系统的关键帧量化参数选择算法，应用于基于多视点视频编码平台的码率控制过程中。该算法包括基本视点（I-View）的关键帧量化参数选择和辅助视点（非I-View）的关键帧量化参数选择两个部分。基本视点关键帧为I帧，不参考其它帧只进行帧内编码，辅助视点的关键帧可以为P帧或者B帧，参考其它视点的关键帧进行编码。

基本视点关键帧根据信道的传输码率、帧率、图像本身特性以及同类型编码帧间的相似性计算得到量化参数。辅助视点关键帧根据同类型帧编码的相似性，及前一个编码GGOP所有关键帧平均编码量化参数计算得到量化参数。

基本视点关键帧量化参数的确定需要考虑到信道的传输码率、帧率、图像本身特性以及同类型编码帧间的相似性，通过如下算法得到关键帧量化参数：

根据信道的传输码率、帧率及图像帧的像素数，确定每个像素所占的平均比特数，以此来度量可用带宽，通常，若当前可用带宽较大时，相应的初始量化参数就会较小，反之，若当前可用带宽较小时，相应的初始量化参数就会较大；

图像的本身特性通过图像的复杂度进行度量，由于基本视点的关键帧只进行帧内编码，所以不考虑其动态复杂度，即：只考虑图像背景的内容复杂度，本方法中，定义为一帧图像的平均绝对差值MAD_s。对于较复杂的图像，选择较小的量化参数进行编码，反之，对于较为平坦的图像，选择较大的量化参数进行编码；

同类型编码帧具有相似的编码特性，根据前一个GGOP中同类型关键帧在实际编码比特中所占比例，分配当前帧的编码比特，根据率失真模型计算量化参数；

将两次计算得到的量化参数进行加权平均，得到最终编码的量化参数。

辅助视点关键帧量化参数的确定根据同类型帧编码的相似性，及前一个编码GGOP中所有关键帧平均编码量化参数计算，通过如下算法得到关键帧量化参数：

同类型编码帧具有相似的编码特性，根据前一个GGOP中同类型关键帧在实际编码比特中所占比例，分配当前帧的编码比特，并预测当前帧的编码复杂度MAD，编码复杂度MAD定义为图像编码前后的平均绝对差值。最后，根据率失真模型计算量化参数。

根据前一个编码图像组GGOP中所有关键帧的平均量化参数，对根据率失真模型计算得到的量化参数进行调整，得到辅助视点关键帧的最终编码量化参数。

本发明的应用于多视点视频编码系统的关键帧量化参数选择方法，用于基于多视点视频编码平台的码率控制过程中，该算法包括基本视点的关键帧量化参数选择和辅助视点的关键帧量化参数选择两个部分；

上述应用于多视点视频编码系统的关键帧量化参数选择方法，是基于多视点视频编码系统，该系统中一个序列编码图像GGOP包括一个基本视点：I-View，和多个辅助视点：非I-View；基本视点关键帧为I帧，不参考其它帧只进行帧内编码，辅助视点的关键帧可以为P帧或者B帧，参考其它已编码视点的关键帧进行编码；

基本视点关键帧量化参数的确定需要考虑到信道的传输码率、帧率、当前编码图像的本身特性以及同类型编码帧间的相似性，辅助视点关键帧量化参数的确定根据同类型帧编码的相似性，及前一个序列编码图像组GGOP中所有关键帧平均编码量化参数值计算；

所述的传输码率和帧率，由编码器特性和信道容量决定，本系统中，由人为设定目标码率和帧率。

所述当前编码图像本身的特性包括图像的格式、图像大小、图像复杂度。

所述的当前编码图像的复杂度只考虑静态复杂度，即图像背景复杂度，定义为该帧图像的平均梯度MAD_s。

所述的前一个编码图像组GGOP所有关键帧包括前一个已编码GGOP中基本视点和所有非基本视点关键帧。

实施例1：如图1是码率控制算法的基本原理，为使编码后的码率能与信道相匹配，一般的码率控制在视频编码器和信道之间采用缓存器来平滑比特率的波动，而码率控制器则负责采集码率、缓冲区状态和图像活动性等信息，据此来调整编码参数，使得性能指标（如码率）维持在给定的水平上。

如图2是关键帧量化参数的计算过程。根据码率控制器采集到的信道传输码率R、帧率F,以及图像帧的像素数N，确定每个像素所占的平均比特数bpp。

其中：

bpp = \frac{R}{F \times N}

以此来度量信道可用带宽，通常，若当前可用带宽较大时，相应的初始量化参数就会较小，反之，若当前可用带宽较小时，相应的初始量化参数就会较大。

图像的本身特性通过图像的复杂度进行度量，由于基本视点的关键帧只进行帧内编码，所以不考虑其动态复杂度，即：只考虑图像背景的内容复杂度，即一帧图像的平均梯度MAD_s，设pixel_i为第i个像素值，m为该帧图像的平均像素值，N为该帧图像像素数，

则：

MA D_{s} = Σ_{i = 1}^{N} | {pixel}_{i} - m | / N

对于较复杂的图像，选择较小的量化参数进行编码，反之，对于较为平坦的图像，选择较大的量化参数进行编码。

根据可用信道带宽及图像本身复杂度，初步计算得到该帧量化参数：

lg(QP_curr)=C₀+C₁lg(bpp)+C₂(MAD_s)

其中，C₀,C₁,C₂为模型参数，根据线性回归方法计算获得。根据经验值，初值分别设为：c₀=0.1213737,c₁=-0.1860614,c₃=1.1157172

再根据同类型编码帧的相似性，计算相应的量化参数，对之前计算得到的量化参数进行调整。若前一个GGOP中同类型关键帧在实际编码比特中所占比例为K，且前一个GGOP中同类型关键帧的平均绝对差值为MAD_pb，分配当前帧的编码比特T，当前编码帧的预测平均绝对差值为MAD_cb。

则：T=K×T_GGOP；MAD_cb=a₁×MAD_pb+a₂

其中T_GGOP为编码图像组GGOP的总比特数。a₁,a₂为模型参数，通过线性回归方法计算获得，初值分别设置为：a₁=1,a₂=0。

根据计算得到的当前帧编码比特、平均绝对差值以及二次率失真模型计算得到编码量化参数QP_curr，线性结合QP_curr和QP′得到最终编码量化参数QP。

辅助视点关键帧量化参数的确定根据同类型帧编码的相似性，及前一个编码GGOP所有关键帧平均编码量化参数计算。

根据同类型编码帧相似特性计算参考量化参数与上述基本视点关键帧通过编码帧相似性计算量化参数方法相同。再计算前一个编码图像组GGOP中所有关键帧平均量化参数，对根据率失真模型计算得到的量化参数进行调整，得到辅助视点关键帧的最终编码量化参数。

Claims

1. 一种应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于，该方法应用于基于多视点视频编码平台的码率控制过程中，是基于多视点视频编码系统，该系统中一个序列编码图像组GGOP包括一个基本视点：I-View，和多个辅助视点：非I-View；基本视点关键帧为I帧，不参考其它帧只进行帧内编码，辅助视点的关键帧为P帧或者B帧，参考其它已编码视点的关键帧进行编码；

2. 根据权利要求1所述的应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于所述的传输码率、帧率，由编码器特性和信道容量决定，本系统中，由人为设定目标码率和帧率。

3. 根据权利要求1所述的应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于所述当前编码图像的本身特性包括图像的格式、图像大小、图像复杂度。

4. 根据权利要求1所述的应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于所述图像的复杂度，只考虑静态复杂度，即图像背景复杂度，定义为该帧图像的平均梯度

。

5. 根据权利要求1所述的应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于所述的同类型编码帧表示不同编码图像组GGOP中同一视点、同一平行位置、同种帧类型的编码帧。

6. 根据权利要求1所述的应用于多视点视频编码系统的关键帧量化参数选择方法，其特征在于，所述的前一个序列编码图像组GGOP所有关键帧包括前一个已编码GGOP中基本视点和所有非基本视点关键帧。