CN113784130B

CN113784130B - 一种基于梯度模相似度离差最小化的比特分配方法

Info

Publication number: CN113784130B
Application number: CN202110927328.8A
Authority: CN
Inventors: 牟轩沁; 李杨
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2021-08-09
Filing date: 2021-08-09
Publication date: 2024-05-07
Anticipated expiration: 2041-08-09
Also published as: CN113784130A

Abstract

本发明公开了一种基于梯度模相似度离差最小化的比特分配方法，本发明首先求解基于均方误差最小化的比特分配问题，计算编码比特约束所对应的量化步长；扩大计算得到的量化步长，根据基于均方误差的量化步长‑拉格朗日乘子‑编码比特关系，计算每个图像块所对应的编码比特范围；根据基于梯度模相似度离差的编码比特‑拉格朗日乘子关系，计算每个图像块所对应的基于梯度模相似度离差的拉格朗日乘子范围。通过使用该范围对图像块的拉格朗日乘子进行约束，使实际编码可准确达到使得梯度模相似度离差最小化的最优比特分配结果。

Description

一种基于梯度模相似度离差最小化的比特分配方法

技术领域

本发明属于视频编码优化领域，具体涉及一种基于梯度模相似度离差最小化的比特分配方法。

背景技术

随着智能手机等多媒体设备的普及，基于视频的直播、点播、会议及通讯等众多基于视频的应用已经成为人们日常生活中必不可少的组成。而同时，视频数据的传输和存储给视频应用提供商和消费者个人都带来了高昂的成本。面对这一问题，使用有限的编码比特数来获得尽可能高的视频质量具有重要的研究意义和实用价值。

解决这一问题的常用方法被称为比特分配。比特分配研究了如何将有限的编码比特分配给视频中各编码单元，以获得最小的视频失真。传统方法使用原始视频帧和编码后重建视频帧的像素之间的均方误差失真(Mean Squared Error，MSE)作为视频的失真度量。然而，均方误差失真与人类对失真的主观感知并不一致。即使编码后获得了最小的均方误差失真，人类对视频失真的主观感知并不是最小的。为解决这一问题，很多考虑到了人类视觉特性的失真指标被提出。这类指标被称为感知失真指标。其中，最有代表性的指标之一为梯度模相似度离差(Gradient Magnitude Similarity Deviation，GMSD)指标(WufengXue,Lei Zhang,and Xuanqin Mou."Gradient magnitude similarity deviation:Ahighly efficient perceptual image quality index."IEEE Transactions on ImageProcessing,vol.23,no.2,pp,684-695,2013)。这一指标计算复杂度低，且具有与人类对失真主观感知的高一致性，因而被广泛用于视频质量评价等众多应用领域。

然而，GMSD指标首先计算了原始视频帧与编码重建视频帧的基于像素点的梯度模相似度，进而通过计算梯度模相似度在整个视频帧的标准差作为重建视频帧失真的度量。而视频编码使用图像块作为最小编码单元。因此，如果将GMSD指标用于视频编码优化中，必须建立GMSD指标基于图像块的表示方法。然而，目前尚无解决这一问题的相关研究。

发明内容

本发明的目的在于克服上述不足，提供一种基于梯度模相似度离差最小化的比特分配方法，实现了基于GMSD最小化比特分配问题的求解。

为了达到上述目的，本发明包括以下步骤：

S1，建立基于图像块的梯度模相似度离差表示形式；

S2，估计每个图像块基于梯度模相似度离差的拉格朗日乘子范围；

S3，求解基于图像块的梯度模相似度离差最小化的比特分配问题。

S1中，梯度模相似度离差基于图像块的表示形式为：

式中，U_i为视频帧中第i个图像块，N为视频帧中图像块数量，p∈U_i为U_i中所有像素，S(p)为像素点p处的梯度模相似度，μ_i为U_i中S(p)的均值，VAR为方差算子。

由于μ_i的均值操作减小了不同图像块之间梯度模相似度的差异，因此占据GMSD²的主要成分；

按照下式对GMSD²在图像块层的表示进行近似：

S2的具体方法如下：

S21，求解基于均方误差最小化的比特分配问题，计算编码比特约束所对应的量化步长；

S22，扩大编码比特约束所对应的量化步长，根据基于均方误差的量化步长-拉格朗日乘子-编码比特关系，计算每个图像块所对应的编码比特范围；

S23，根据基于梯度模相似度离差的编码比特-拉格朗日乘子关系，计算每个图像块所对应的基于梯度模相似度离差的拉格朗日乘子范围。

S3中，在比特约束范围内，根据S2总所估计的拉格朗日乘子范围，求解GMSD最小化问题。

与现有技术相比，本发明依据梯度模相似度离差的计算公式，理论推导得出梯度模相似度离差基于图像块的等价表示形式和简化表示形式。通过所公开的简化表示形式，梯度模相似度离差的最小化可通过拉格朗日优化法求解。此外，由于不同图像块的内容不同，基于梯度模相似度离差的拉格朗日乘子范围不同，使得实际编码无法达到拉格朗日乘子一致的最优解。为解决该问题，本发明首先求解基于均方误差最小化的比特分配问题，计算编码比特约束所对应的量化步长；扩大计算得到的量化步长，根据基于均方误差的量化步长-拉格朗日乘子-编码比特关系，计算每个图像块所对应的编码比特范围；根据基于梯度模相似度离差的编码比特-拉格朗日乘子关系，计算每个图像块所对应的基于梯度模相似度离差的拉格朗日乘子范围。通过使用该范围对图像块的拉格朗日乘子进行约束，使实际编码可准确达到使得梯度模相似度离差最小化的最优比特分配结果。

具体实施方式

下面结合实施例对本发明做进一步说明。

实施例：

使用高效视频编码标准(High Efficiency Video Coding,HEVC)对视频进行编码，使用梯度模相似度离差GMSD指标作为一个视频帧的失真度量，通过求解基于GMSD最小化的比特分配问题实现对视频编码表现的优化。具体包括以下步骤：

步骤1、建立梯度模相似度离差基于图像块的表示形式。

具体的，GMSD首先使用一个尺寸3×3的Prewitt滤波器对原始图像r和编码重建图像d在水平和竖直方向进行滤波。水平和竖直方向的滤波器用h_x和h_y表示，定义如下：

原始图像r和编码重建图像d在像素p处的梯度模计算如下：

式中，符号*表示卷积运算。

m_r和m_d的相似度计算用S(p)表示，计算如下：

GMSD为视频帧中所有像素处梯度模相似度的标准差，即：

式中，P为视频帧中的像素总数。

基于式(5)，按照下式展开GMSD的平方：

令U_i表示视频帧中第i个最大编码单元(Largest Coding Unit，LCU)。视频帧被分割为N个LCU。若视频帧的长或宽不为LCU尺寸的整数倍，则对视频帧进行边界镜像扩充。此时有：

式中，μ_i表示LCU中梯度模相似度的均值，表示LCU中梯度模相似度平方的均值。将式(7)代入到式(6)中可得：

式中，左项减去右项加上/>可得：

可观察到上式左项为S(p)的方差，而右项为μ_i的方差。用VAR表示方差算子，则式(9)可重写为：

式(10)即为GMSD的平方在LCU层的等价表示形式。其中，A项为LCU层梯度模相似度方差的全局均值，B项为LCU层梯度模相似度均值的全局方差。

式(10)中，μ_i是一个LCU中S(p)的均值。因此相较于S(p)，μ_i的变化幅度更小。因此，A项为式(10)的主要部分。相应的，本发明提出如下GMSD的平方在LCU层的近似表示形式：

步骤2、估计每个LCU的编码比特范围。

具体的，令表示第i个LCU的MSE失真。本实施例使用双曲线函数对编码比特与MSE失真之间关系进行建模，使用c_i和k_i表示模型参数，则有/>令/>表示基于MSE的拉格朗日乘子，则有：

基于MSE最小化的比特分配问题可表述为：

根据拉格朗日优化，式(12)的最优拉个朗日乘子满足如下条件：

将代入HEVC所采用的/>关系即可得到基于MSE最小化的比特分配问题所对应的最优QP：

令QP*表示计算得到的最优QP。为满足比特约束条件，即使采用视频优化算法来改变每个LCU的QP，不同LCU的QP也应围绕QP*上下波动。使用ΔQP表示每个LCU所允许的QP波动范围。本实施例设置ΔQP＝4。进而，根据式(15)和式(12)，可计算出ΔQP波动所对应的编码比特范围：

令D_i表示根据式(11)所计算的第i个LCU的图像块层GMSD失真。本实施例使用双曲线函数对编码比特与图像块层GMSD失真的关系进行建模。使用α_i和β_i表示模型参数，则有令λ_i表示给予GMSD的拉个朗日乘子，则有：

将式(16)代入到式(17)所述的编码比特与基于GMSD的拉格朗日乘子的关系，便可以分别得到一个LCU所对应的基于GMSD的拉格朗日乘子的最大与最小值，表示为[λ_i,min,λ_i,max]。则有：

步骤3、根据步骤2所求解的拉格朗日乘子范围，求解基于图像块的梯度模相似度离差最小化的比特分配问题。

具体的，基于GMSD最小化的比特分配问题可表述为：

根据拉格朗日乘子法，该比特分配问题的最优解总在拉格朗日乘子一致时取得。本实施例使用λ^*表示相应的最优拉格朗日乘子。然而受式(18)所述的拉格朗日乘子范围所约束，λ^*不能被所有LCU所达到，而要受到[λ_i,min,λ_i,max]约束。

因此，本实施例通过二分法求解满足如下约束条件时的λ^*：

式中，min和max分别为取最小值和取最大值函数。

相应的，本实施例使用表示第i个LCU的最优分配比特。则有：

本发明一方面提出GMSD指标在图像块层的表示形式，另一方面提出图像块基于GMSD的拉格朗日乘子范围估计方法，从而实现基于GMSD最小化比特分配问题的精确求解。

Claims

1.一种基于梯度模相似度离差最小化的比特分配方法，其特征在于，包括以下步骤：

S1，建立基于图像块的梯度模相似度离差表示形式；梯度模相似度离差基于图像块的表示形式为：

式中，GMSD为视频帧的梯度模相似度离差，U_i为视频帧中第i个图像块，N为视频帧中图像块数量，p∈U_i为U_i中所有像素，S(p)为像素点p处的梯度模相似度，μ_i为U_i中S(p)的均值，VAR为方差算子；

按照下式对GMSD²在图像块层的表示进行近似：

S2，估计每个图像块基于梯度模相似度离差的拉格朗日乘子范围；具体方法如下：

S23，根据基于梯度模相似度离差的编码比特-拉格朗日乘子关系，计算每个图像块所对应的基于梯度模相似度离差的拉格朗日乘子范围；

S3，在比特约束范围内，根据S2所估计的拉格朗日乘子范围，求解基于图像块的梯度模相似度离差最小化的比特分配问题。