CN107071422B - 基于图像相关模型的低复杂度hevc码率适配转换编码方法 - Google Patents

Abstract

本发明公开了一种基于图像相关模型的低复杂度HEVC码率适配转换编码方法，该方法步骤：（1）依据极大量化为零的原则，对码率‑量化参数模型进行估计；（2）根据估计的码率‑量化参数模型和目标码率选取初始量化参数；（3）据码率失真估计模型，生成初始编码树；（4）基于图像相关模型，求取图像相关系数和图像能量项；（5）计算运动矢量的位移项；（6）通过各子编码单元的残差系数对相关系数项进行估计；（7）失真代价进行求解，基于自底向上编码框架进行转换编码的编码模式的快速选择。本发明结合图像相关模型和输入视频的编码信息，以降低视频转换编码复杂度为核心，对提高转换编码的效率具有重要的意义。

Description

基于图像相关模型的低复杂度HEVC码率适配转换编码方法

技术领域

本发明涉及一种针对异构网络环境下码率适配问题的快速转换编码的新技术，特别涉及一种基于图像相关模型的低复杂度HEVC码率适配转换编码方法。

背景技术

随着多媒体技术和网络通信技术的快速发展，视频应用作为最常见的多媒体技术应用，已经覆盖了人类生活的各个方面。这些视频应用包括视频点播、视频会议、高清电视和可视电话等。据2015年中国网络视听发展研究报告显示，2015年网络视频的用户规模达到4.61亿，网络视频的网民使用率为69.1％；该报告还显示，视频终端设备呈现出多样性，包括个人电脑、手机、电视和平板电脑等，视频接收的环境也有很大的差异，主要包括家庭网络、工作单位和公共场所等。

针对设备的多样性和网络的异构性，如何通过转换编码以适配具体的应用条件(包括传输带宽、终端显示能力和解码速度等)是视频应用中的核心问题之一。视频转换编码是对已编码视频流进行再编码，产生能够适配于具体应用条件的新视频流。然而，作为一项极具挑战的工作，转换编码的一个关键问题是如何调整视频流的大小，使其适用于新的网络传输带宽限制，即码率适配转换编码。码率适配转换编码承担着调整视频编码参数，为视频网络传输提供合适视频流的任务，在视频传输应用中起到了关键作用。

码率适配转换编码的核心问题是，如何根据带宽限制调整编码参数实现对已编码视频流的高效再编码。现有转换编码技术可以分为两类：变换域转换编码和像素域转换编码。变换域转换编码对输入视频流进行部分解码，其中相关编码参数(包括运动矢量、编码模式等)不需要做任何改变。仅对变换域的离散余弦变换系数进行解码。然后对解码系数进行再量化和再编码，最后把输入视频的编码参数和再编码的变换系数组成新的视频流。这类转换编码技术的编码复杂度很低，但是由于存在偏移误差，对视频编码质量的影响较大。像素域转换编码则通过直接级联解码器和编码器来实现，即对输入视频流进行完全解码，然后对已解码视频进行再编码，从而产生新的视频流。之所以被称为像素域转换编码，是因为其中包括像素域的预测编码过程，如帧内预测，运动补偿等。这类转换编码技术的优点是对视频编码质量影响更小，但是其编码复杂度较高。因此在转换编码过程中，针对编码质量和转换编码复杂度两方面，如何获取良好的折衷是一项重要的研究课题。

发明内容

本发明所要解决的技术问题是：

1)如何根据输入视频编码信息建立HEVC转换编码的低复杂度率失真优化模型？

传统方法需要获取重构图像，以计算与源图像之间差值，编码复杂度很高。为满足码率适配转换编码的低复杂度要求，如何把输入视频的编码信息融入到转换编码新率失真优化模型是本发明的一个关键问题。

2)如何基于转换编码率失真优化新模型解决快速编码单元优化选择？

然而新率失真优化模型的引入使得转换编码的编码框架和优化方式均发生改变。基于转换编码率失真优化新模型，如何针对新的编码框架和优化方式，实现快速编码单元选择和快速运动估计是本发明的一个关键问题。

因此，本发明提出一种基于图像相关模型的低复杂度HEVC码率适配转换编码方法，该方法提出了低复杂度转换编码率失真优化模型，以及快速编码单元优化选择方法和快速运动估计方法，为面向超高清视频应用的HEVC码率适配技术提供新的解决途径。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，包括以下步骤：

步骤1，根据输入视频的编码信息来估计量化参数取极大值条件下的编码比特数，获取自适应的码率-量化参数模型，从而根据网络传输带宽来选取初始量化参数；

步骤2，根据步骤1中的码率-量化参数模型，针对网络带宽的视频码率，设定初始量化参数；

步骤3，在输入视频的编码树结构基础上，生成转换编码的初始编码树；

步骤4，根据输入视频流的运动矢量信息，基于图像相关系数模型构建失真估计模型；

步骤5，基于步骤3中的初始编码树以及步骤4中的失真估计模型，构建转换编码率失真优化模型，实现编码单元的快速优化选择。

作为本发明的进一步技术方案，步骤1中码率-量化参数模型表示为：

QP＝a×log(bpp)+b

其中，QP为输入视频编码的量化参数，bpp表示平均编码比特数，a和b均为码率-量化参数模型的参数，Q₀表示输入视频的量化参数，bpp₀表示输入视频的编码比特数，Q₁表示量化参数的极大值，bpp₁表示极大量化参数下的编码比特数。

作为本发明的进一步技术方案，步骤3中生成转换编码的初始编码树的方法具体为：

对输入视频的编码树结构中的任一节点，该节点划分为四个子编码单元与不划分条件下的率失真代价差值其中，ΔQP表示转换编码中量化参数的增量，λ表示，R_s表示该节点划分为四个子编码单元编码的码率，D_s表示该节点划分为四个子编码单元编码的失真，R_u表示该节点不划分时的码率，D_u表示该节点不划分时的失真，β表示失真-量化参数模型的参数；若diff≥0，则裁剪掉该节点，否则保留该节点，完成裁剪后的输入视频的编码树结构即为初始编码树结构。

作为本发明的进一步技术方案，失真-量化参数模型的参数β＝2.25。

作为本发明的进一步技术方案，步骤4中图像相关系数模型表示为：

其中，表示输入视频的第t帧中坐标位置为的像素值；表示输入视频的第t帧中坐标位置为的像素值；n表示零均值噪声；表示输入视频的第t帧中坐标位置为的像素与输入视频的第t帧中坐标位置为的像素之间的相关系数，表示图像中两个像素之间的位移矢量，v_x表示水平方向的位移，v_y表示垂直方向的位移，ρ表示输入视频编码单元的相关系数，且0≤ρ≤1。

作为本发明的进一步技术方案，失真估计模型表示为：

其中，表示编码单元X的输入视频运动矢量，表示运动估计过程中候选运动矢量，表示位置对应的像素值。

作为本发明的进一步技术方案，在初始编码树的基础上，采用自底向上的编码单元优化选择方式，分别对编码单元及其子编码单元的率失真代价进行估计，构建率失真优化模型，其优化函数表示为：

其中，J表示失真代价函数，表示运动估计过程中候选运动矢量，表示编码单元X输入视频的第k个子编码单元的运动矢量，X_k表示编码单元X的输入视频的第k个子编码单元，ρ_k表示X_k的相关系数，表示像素位置的像素值，表示第k个子编码单元的编码比特数，表示候选运动矢量对应的编码比特数。

作为本发明的进一步技术方案，实现编码单元的快速优化选择的方法具体为：

1)通过各子编码单元的残差系数对相关系数项log²ρ进行估计，并建立映射关系其中，f(C)表示编码残差系数C的函数；

2)失真代价函数进一步表示为：

其中，表示简化的率失真代价差值，f(C_k)表示第k个子块编码残差像素C的函数，表示位置对应的像素值，表示拉格朗日乘数；

3)根据2)中的失真代价函数对失真代价进行估计，基于自底向上编码框架进行转换编码的编码模式的快速选择。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明所提出的低复杂度HEVC码率适配转换编码方法，具有编码质量高、转换编码速度快等特点。本发明的主要创新点在于提出了转换编码的初始编码树生成方案，提出了失真估计模型生成方案，以及基于该模型的编码单元快速选择方案。相比于传统方法，极大地提升了转换编码的效率。

附图说明

图1是本发明的方法流程图；

图2是本发明实施例的过程示意图；

图3是本发明实施例的方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

视频转换编码是视频编码和多媒体通信中的重要研究内容。随着HEVC新编码技术的应用和网络结构的复杂化，如何调整视频流的码率使其适用于具体的网络环境，仍然是一个极具挑战的问题。

本发明针对HEVC超高清视频转换编码的研究现状，提出低复杂度码率适配转换编码新方法，利用输入视频的编码信息，提出针对码率适配的自适应初始量化参数选定方法；基于图像相关模型，建立转换编码率失真优化策略，构建自底向上的低复杂度转换编码框架。本发明与传统方法相比，编码效率更高，更适用于超清视频的应用。

如图1和图2所示，本发明的技术方案包括以下几个部分：

1)码率适配初始量化参数选定方案

为了适用于新的网络传输带宽限制，码率适配转换编码的首要任务就是要选定合适的初始量化参数。传统方法采用经验性的码率-量化参数(R-QP rate-quantizationparameter)模型来选取初始量化参数，模型中的关键参数均根据经验设定为固定值，缺乏对多样化视频内容的自适应调整能力。本发明依据“极大量化参数下残差变换系数接近于零”的特性，被称为极大量化全零特性，根据输入视频的编码信息来估计量化参数取极大值(如QP＝51)条件下的编码比特数，以获取自适应的码率-量化参数模型，从而根据网络传输带宽来选取初始量化参数。

具体地，本发明将量化参数选定问题转换为码率-量化参数模型的估计问题。首先，采用对数模型描述编码比特和量化参数之间的关系：

QP＝a×log(bpp)+b (1)

其中，a和b为模型参数，QP为量化参数，bpp表示平均编码比特数。

将量化参数的选取问题转换为模型参数a和b的估计问题。对于给定的视频内容，估计两组(QP,bpp)并联立方程组求取模型参数。一方面，输入视频的量化参数和编码比特数通过解码均可以获取，分别表示为Q₀和bpp₀，即(bpp₀,Q₀)满足对数码率-量化参数模型(公式(1))。另一方面，估计量化参数取极大值(如Q₁＝51)时的编码比特数。具体思路是，考虑到极大值量化参数的编码条件下，预测残差的变换系数被量化后接近于全零。这种情况下仅需要采用少量的比特对编码模式或头信息进行编码。基于极大值量化参数条件下头信息和编码模式的编码比特数分布特性、及其与输入视频的编码模式和头信息之间的联系。考虑到量化参数的取值对编码模式和头信息的编码影响有限，可以根据输入视频的编码模型和头信息比特数来估计极大量化参数下的编码比特数，表示为bpp₁，即(bpp₁,Q₁)也满足公式(1)。联立方程组求解可得模型参数为：

已知以上模型参数，从而可以根据网络传输带宽的大小，选择合适的初始量化参数。

本方案的核心是依据输入视频的量化参数以及编码比特数对模型参数进行估计，确保了模型参数的自适应能力。同时根据输入视频的编码模式和头信息比特数估计极大量化参数下的编码比特数，合理地利用了极大量化全零特性，保证了对模型参数的正确估计。

2)转换编码的初始编码树生成方案

快速生成初始编码树是实现低复杂度转换编码技术的重要步骤。传统方法多利用输入视频和转换视频编码树之间的经验性关联，缺乏足够的理论支撑，鲁棒性不高。本发明针对转换编码量化参数的增量，采用码率-量化参数模型和失真-量化参数指数模型分别评估码率和失真的变化特性。在输入视频的编码树结构基础上，快速生成转换编码的初始编码树。

具体地，以QP表示输入视频编码的量化参数，QP+ΔQP则为1)中选定的转换编码量化参数。R_s和D_s分别表示输入视频的编码树中某节点划分为四个子编码单元编码的码率和失真，R_u和D_u表示该节点不划分时的码率和失真。

首先，基于码率-量化参数模型，获取码率与量化参数之间的函数关系，表示如下：

其次，基于失真-量化参数模型获得编码失真和量化参数之间的指数表示关系：

D＝α·SAD^γQP^β (4)

其中，D表示编码失真，SAD表示当前编码块和对应预测编码块之间的绝对差值和，α、β和γ均为失真-量化参数模型的参数，其中β＝2.25。

依据上述两个模型，分析转换编码中量化参数增量ΔQP引起的码率和失真变化。不考虑SAD失真影响，新量化参数下该节点划分为四个子编码单元与不划分条件下的率失真代价差值表示如下：

最后，基于输入视频的编码树结构评估λ(R_s-R_u)和(D_u-D_s)之间的数值关系，结合对公式(5)的评估。对输入视频的编码树结构中的任一节点，若diff≥0，则裁剪掉该节点，否则保留该节点，完成对完整编码四叉树(输入视频的编码树)的裁剪，生成初始编码树结构。本方案的核心是针对转换编码中量化参数增大的现象，有效地利用相关理论模型对码率和失真进行评估，结合输入视频的编码树结构，生成初始转换编码初始编码树。

3)失真估计模型生成方案

率失真优化是视频编码中编码单元选择的核心问题。率失真估计模型包括两个部分，失真部分和码率部分。传统方法对失真的估计需要获取重构图像后，求取源图像与重构图像的绝对差值和，然而重构图像的获取计算复杂度很高，无法满足转换编码的低复杂度要求。本发明基于理想图像相关模型，根据输入视频流的运动矢量信息，假定该运动矢量对应的图像块为最佳匹配块，从而构建失真估计模型。

具体地，首先采用静态马尔科夫过程来描述图像像素之间的关系，即像素之间存在相关关系。采用理想的图像相关模型描述该相关系数。在该模型中，像素之间的相关系数与像素之间的距离有关。具体表示如下：

其中，表示输入视频的第t帧中坐标位置为的像素值；表示输入视频的第t帧中坐标位置为的像素值；n表示零均值噪声；表示两像素之间的相关系数，ρ为图像块的相关系数，且0≤ρ≤1。

第二，基于输入视频的运动矢量信息，以参考帧中对应的图像块为最佳匹配块，构建基于图像相关模型的失真估计方法。具体思路是，在转换编码中输入视频通常采用较小的量化参数进行编码，视频编码质量较高，输入视频流的运动信息能够较准确地描述实际的运动，因此可以假定输入视频运动矢量对应参考块为最佳匹配块。最佳匹配块和预测块均属于同一幅图像(参考帧)，可以利用图像相关模型对预测块的失真进行表示。

设编码单元X的输入视频运动矢量为那么对于新的运动矢量预测块对应的失真可以表示为：

其中，和分别表示为第t-1帧、位置为和的像素值。

因此，根据图像相关模型理论并求取一阶泰勒展开式，可得失真估计模型为：

其中，log²ρ为相关系数项，为图像能量项，则为位移项。

本方案的核心是以转换编码中输入视频的运动信息为基准，利用图像相关模型构建转换编码失真估计方法。

4)编码单元快速选择方案

针对HEVC四叉树结构的编码单元率失真优化选择是编码的重要模块。传统方法采用基于四叉树结构的自顶向下递归方法，这种基于图像重构的率失真优化方法复杂度很高。为此，本发明基于2)中的初始编码树和3)中的失真估计模型，构建自底向上编码框架、以及相关系数估计方法，实现编码单元快速优化选择。

具体地，首先在初始编码树的基础上，采用自底向上的编码单元优化选择方式，即从编码树的叶节点开始优化，分别对编码单元及其子编码单元的率失真代价进行估计。采用基于3)中图像相关模型的失真估计方法，构建编码单元选择的率失真优化模型。优化函数表示如下：

其中，为编码单元的运动矢量；为第k个子编码单元的运动矢量，R_m'和分别表示运动矢量对应的编码比特数。也就是说，当J≤0时，对初始编码树的叶节点进行裁剪，即把当前编码单元作为整体进行编码；当J>0时，将把当前编码单元划分为四个子块进行编码。

第二，采用残差系数和运动矢量等信息实现率失真优化，完成编码单元的快速选择。其中，为有效评估代价函数J，需要对图像能量项和相关系数项进行估计，本发明利用当前编码单元的对能量项进行估计，具体采用下采样等方式进行低复杂度的估计，避免遍历所有的像素。接着，考虑到相关系数大小与图像梯度之间的关系，本发明通过各子编码单元的残差系数对相关系数项进行估计，并建立映射关系其中，C表示编码残差系数，新的率失真优化模型表示如下：

最后，乘子参数在代价函数中很重要，起到了平衡编码失真和编码比特的作用，本方案依据映射函数关系，对乘子参数进行调整。经过对上述参数的计算，通过对公式(10)的估计可以实现编码单元的快速选择。本方案的核心是基于残差系数和运动信息实现低复杂度失真估计，构建自底向上的编码单元快速优化选择模型。

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明。

本实施例在HM16.0(HEVC官方测试软件)实验平台上进行实现，如图3所示主要包括几个步骤：对HEVC码流进行转换编码。其中

步骤一：

第1步：依据公式(2)对码率-量化参数模型进行估计。执行第2步；

第2步：根据估计的码率-量化参数模型和目标码率选取量化参数。执行第3步；

步骤二：

第3步：根据码率失真估计模型和公式(5)，生成初始编码树。

步骤三：

第4步：依据公式(8)求取图像相关系数和图像能量项。

第5步：计算运动矢量位移项。

第6步：通过各子编码单元的残差系数对相关系数项进行估计，并建立映射关系

第7步：依据公式(10)失真代价进行求解，基于自底向上编码框架进行转换编码的编码模式的快速选择。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，包括以下步骤：

步骤1，根据输入视频的编码信息来估计量化参数取极大值条件下的编码比特数，获取自适应的码率-量化参数模型，从而根据网络传输带宽来选取初始量化参数；其中码率-量化参数模型表示为：

QP＝a×log(bpp)+b

其中，QP为输入视频编码的量化参数，bpp表示平均编码比特数，a和b均为码率-量化参数模型的参数，Q₀表示输入视频的量化参数，bpp₀表示输入视频的编码比特数，Q₁表示量化参数的极大值，bpp₁表示极大量化参数下的编码比特数；

步骤2，根据步骤1中的码率-量化参数模型，针对网络带宽的视频码率，设定初始量化参数；

步骤3，在输入视频的编码树结构基础上，生成转换编码的初始编码树；具体为：

对输入视频的编码树结构中的任一节点，该节点划分为四个子编码单元与不划分条件下的率失真代价差值其中，ΔQP表示转换编码中量化参数的增量，λ表示拉格朗日乘子，R_s表示该节点划分为四个子编码单元编码的码率，D_s表示该节点划分为四个子编码单元编码的失真，R_u表示该节点不划分时的码率，D_u表示该节点不划分时的失真，β表示失真-量化参数模型的参数；若diff≥0，则裁剪掉该节点，否则保留该节点，完成裁剪后的输入视频的编码树结构即为初始编码树结构；

步骤4，根据输入视频流的运动矢量信息，基于图像相关系数模型构建失真估计模型；图像相关系数模型表示为：

其中，表示输入视频的第t帧中坐标位置为的像素值；表示输入视频的第t帧中坐标位置为的像素值；n表示零均值噪声；表示输入视频的第t帧中坐标位置为的像素与输入视频的第t帧中坐标位置为的像素之间的相关系数，表示图像中两个像素之间的位移矢量，v_x表示水平方向的位移，v_y表示垂直方向的位移，ρ表示输入视频编码单元的相关系数，且0≤ρ≤1；

步骤5，基于步骤3中的初始编码树以及步骤4中的失真估计模型，构建转换编码率失真优化模型，实现编码单元的快速优化选择。

2.根据权利要求1所述的基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，失真-量化参数模型的参数β＝2.25。

3.根据权利要求1所述的基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，失真估计模型表示为：

其中，D表示编码失真，表示编码单元X的输入视频运动矢量，表示运动估计过程中候选运动矢量，表示位置对应的像素值。

4.根据权利要求3所述的基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，在初始编码树的基础上，采用自底向上的编码单元优化选择方式，分别对编码单元及其子编码单元的率失真代价进行估计，构建率失真优化模型，其优化函数表示为：

其中，J表示失真代价函数，表示运动估计过程中候选运动矢量，表示编码单元X输入视频的第k个子编码单元的运动矢量，X_k表示编码单元X的输入视频的第k个子编码单元，ρ_k表示X_k的相关系数，表示像素位置的像素值，表示第k个子编码单元的编码比特数，表示运动矢量对应的编码比特数。

5.根据权利要求4所述的基于图像相关模型的低复杂度HEVC码率适配转换编码方法，其特征在于，实现编码单元的快速优化选择的方法具体为：

1)通过各子编码单元的残差系数对相关系数项log²ρ进行估计，并建立映射关系其中，f(C)表示编码残差系数C的函数；

2)失真代价函数进一步表示为：

其中，表示简化的率失真代价差值，f(C_k)表示第k个子块编码残差像素C的函数，表示位置对应的像素值，表示拉格朗日乘数；

3)根据2)中的失真代价函数对失真代价进行估计，基于自底向上编码框架进行转换编码的编码模式的快速选择。