CN108347611A - 用于经纬图的编码块级拉格朗日乘子的优化方法 - Google Patents

Abstract

本发明涉及视频编码的方法，特别是针对VR360视频经纬图格式下的编码技术领域，提供了一种用于经纬图的编码块级拉格朗日乘子的优化方法，其根据编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，根据ρ(θ)对λ_sys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，并根据λ(ρ(θ))编码该编码块，通过面积比的形式将编码块的位置信息引入块级拉格朗日乘子的修正及优化，使得经纬图编码的整体性能得到了显著的提升，适用于VR360视频经纬图格式下的视频编码。

Description

用于经纬图的编码块级拉格朗日乘子的优化方法

技术领域

本发明涉及视频编码的方法，特别是针对VR360视频经纬图格式下的编码技术领域，尤其一种用于经纬图的编码块级拉格朗日乘子的优化方法，经纬图也即柱面投影(EquiRectangular Projection)图，简称ERP图。

背景技术

虚拟现实(Virtual Reality,VR)技术是一种创建和体验沉浸式的虚拟世界的计算机仿真系统。它集成了电脑图形、电脑仿真、人工智能、感应、显示及网络并行处理等技术的最新发展成果。VR技术通常由计算机技术辅助生成，常见的形式是模拟的虚拟显示系统。随着VR技术的快速发展，与VR相关的消费类电子产品逐步走进人们的生活。目前，大部分VR的内容都面向视觉体验。一般通过电脑屏幕、特殊显示设备或立体显示设备呈现。VR技术应用场景已经体现在游戏业和影视业，近几年大量的VR游戏产品和VR视频内容不断投入市场。更为广泛地，VR在医学、教育、航空航天、轨道交通等领域也有大量的应用。VR技术已然成为当下热门的研究领域。

为了增强用户体验的感受，VR视频图像的分辨率、像素表示范围、帧率等信源参数一般都显著高于普通视频，以8K和4K为主。与高清1080P视频相比，数据量有几十倍的提高。因此，如何通过技术手段不断提高VR视频的压缩效率逐渐成为新的技术挑战。

率失真优化(Rate Distortion Optimation，RDO)是视频编码中的最关键的核心优化技术，它由率失真理论所支撑。率失真优化技术可以解决编码器最优化码流的生成问题，它由率失真优化理论来保障。率失真理论的基本问题是：视频编码的率失真优化技术对于一个给定的信源分布与失真度量，在特定的码率下能达到的最小期望失真。

在具体应用中，率失真优化将问题转化为在给定的编码参数集中选取一组参数，使得在限定失真条件下，能够以最少的比特率对视频进行编码。采用穷举法遍历所有可选的编码参数集可以获得理论最优编码参数，但是穷举法运算的时间复杂度极高，编码所需时间极长，往往不能应用于实际编码中。同时，由于视频编码是以编码单元为单位进行，每个编码单元的参数相互独立，故可以认为每个编码单元的最优编码参数属于整个编码过程的最优编码参数集，即将全局最优问题分解为若干局部最优问题的集合。

率失真优化过程引入拉格朗日乘子λ(lambda)，将无约束优化问题改造成为了有约束的优化问题。自拉格朗日优化方法被引入到求解率失真优化问题以来，视频编码率失真优化在技术上具备了实际应用价值。因其较低的复杂度和较高的性能表现，随即广泛普及开来。目前，基于拉格朗日乘子的率失真优化技术现已被应用于主流的H.264/AVC和HEVC/H.265编码器。通常，λ的值依靠高比特假设推导公式确定，在实际使用中，根据不同的编码器特性，增加经验值做修正。而λ的值选取的好坏直接关系到编码性能的优劣。

评价视频编码的质量优劣，通常采用BD-RATE和BD-PSNR进行描述，其描述方法可详见文献：[Gisle Bjontegaard,Calculation of Average PSNR Differences betweenRD curves,ITU-T SC16/Q6,13th VCEG Meeting,Austin,Texas,USA,April 2001,Doc.VCEG-M33]。两者的计算过程类似，通过采集测试点的客观质量PSNR和编码比特率(Bit-Rate)在进行高阶插值连线的基础上进行积分差运算。一般而言，比特率的统计规范且没有歧义，但是在客观质量PSNR方面，普通的二维视频和VR360经纬图视频就不大相同了。

普通的二维视频编码通常使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)作为客观质量评价指标。而VR360视频序列，由于其常以经纬图的形式存放在存储介质中，播放时将其投影映射成球面，从而呈现出360°立体环绕的效果。从经纬图映射至球面的过程中不可避免地会产生像素压缩效应。即除赤道外同纬度的像素映射至球面时会产生像素压缩现象，且纬度越高，压缩越剧烈。极端情况下，经纬图中南北极的一行像素点，将被压缩为球体两极的一个像素点。因此，鉴于360VR视频经纬图表示格式本身的特殊性，它在播放过程中并非直接被显示，而是在球面上进行合成后再输出显示，这就使得用二维的PSNR不能够准确描述三维球面的客观质量。

为此，业内专家提出了球面峰值信噪比(Spherically uniform Peak Signal toNoise Ratio,SPSNR)、带权重球面峰值信噪比(Weighted Spherically Peak Signal toNoise Ratio,WSPSNR)、克拉斯特抛物线投影峰值信噪比(Crasters ParabolicProjection Peak Signal to Noise Ratio,CPP-PSNR)等改进型客观评价模型，作为目前较为通用的360VR视频客观评价指标，其中，SPSNR又细分为带插值球面峰值信噪比(Spherically Peak Signal to Noise Ratio with Interpolation,SPSNR-I)、最临近球面峰值信噪比(Nearest Neighbor Spherically Peak Signal to Noise Ratio,SPSNR-NN)。

因此，值得注意的是，现有的视频编码器都是针对一般的二维图像所设计，没有专门考虑VR360经纬图格式的信源属性，即使PSNR性能保持很好也可能导致SPSNR或WSPSNR的性能损失严重。

发明内容

本发明提供了一种用于经纬图的编码块级拉格朗日乘子的优化方法，可对拉格朗日乘子进行优化，以有利于经纬图编码的整体性能提升。

本发明的用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：

A.获取视频序列的1帧图像；

B.在当前帧中顺序地获得1个编码块；

C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；

D.根据ρ(θ)对λ_sys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λ_sys是步骤A所获取当前帧的拉格朗日乘子系统值；

E.根据步骤D得到的λ(ρ(θ))编码该编码块；

F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；

G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。

进一步的，步骤D中的λ(ρ(θ))＝λ_sys·(ξ+ρ(θ))^γ，其中，λ_sys为格朗日乘子系统值，θ为当前编码块在球面中的天顶角计算值，ξ为防止除零操作的极小值，是与图像内容相关的模型参数，β是与信源特性相关的模型参数。

具体的，步骤C中，该编码块在球面中的天顶角计算值为θ，其中，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r·sinθ·h_ring计算获得，其中h_ring为所述球面环带的高度，其中r为球面的半径；

经纬图像素环带的面积S_erp(θ)由公式：计算获得。

进一步的，所述环带的高度h_ring＝r·sin dθ，则该编码块，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r²·sinθ·sin dθ计算获得，

经纬图像素环带的面积S_erp(θ)由公式：计算获得，

步骤C中所述面积比上述dθ为所述环带的上边缘和下边缘形成的天顶角的角度差。

最优的，上述步骤C中获得天顶角计算值θ的步骤包括：

C1.将当前编码块所在经纬图上的坐标位置表示为：当前编码块的首行在整个经纬图中的行下标为k，该编码块的像素高N，经纬图总的像素高h；

C2.根据步骤C1得到的数据，当前编码块中行下标为i的像素所对应的天顶角为θ(i)，所述通过公式计算得到当前编码块各行像素的天顶角θ(i)的算术平均值并将算术平均值作为ρ(θ)中的天顶角计算值θ，获得

具体的，在步骤A中，确定所述图像在序列中的位置，确定它的帧类型、帧属性和所在画面组中的位置及层次；并根据所获得的当前帧的帧属性，通过编码器计算得出帧级的拉格朗日乘子系统值λ_sys。

本发明的有益效果是：

目前，对于360VR视频的客观质量评价仍然以传统失真像素误差的二阶距(MeanSquare Error,MSE)为依据。VR360经纬图上的失真计算过程不再像2D图像的点对点MSE统计，而是放在3D球面上进行有效表示面积等价意义上的均值计算。明显地，在VR360经纬图上的率失真优化，应当作出相应修改以契合球面的失真计算规律。因为，VR360经纬图失真计算是球面上相同的面积的失真累计，那么有必要根据经纬图到球面的映射过程分析来说明不同纬度的像素CTU(编码块)在最终的SPSNR(球面峰值信噪比)计算中的比值。

由本领域的公知常识可知，球面到VR360经纬图的经度映射是等比例的，纬度的映射是从球面到圆柱面的直接投影过程。那么球面环带面积与VR360经纬图行像素面积的比值关系仅涉及纬度方向，不涉及经度方向。

而拉格朗日乘子通常被表示为与量化步长紧密相关的函数。各种编码平台对拉格朗日乘子有不同的参数修正因子来贴近其R-D曲线以取得尽可能高的编码增益。

本发明创造性的以编码块所在球面环带的面积与其所在经纬图像素环带的面积之比构造权重，通过面积比的形式将编码块的位置信息引入，然后用这个包含了位置信息的权重进行编码块级拉格朗日乘子的修正及优化，最后用新的量化参数进行编码，因此，使得经纬图编码的整体性能得到了显著的提升。

附图说明

图1为VR360视频经纬图与球面像素的映射关系示意图。

图2为VR360经纬图的球面投影示意图。

图3为图2的主视图。

图4为图2的右视图。

图5为图2的后视图。

图6为图2的左视图。

图7为图2的俯视图。

图8为图2的仰视图。

图9为本发明用于经纬图的编码块级拉格朗日乘子的优化方法的流程图。

图10为图9中对拉格朗日乘子系统值优化的流程图。

具体实施方式

如图1至图8所示所示，本发明用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：

A.获取视频序列的1帧图像；

B.在当前帧中顺序地获得1个编码块；

C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；

D.根据ρ(θ)对λ_sys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λ_sys是步骤A所获取当前帧的拉格朗日乘子系统值；

E.根据步骤D得到的λ(ρ(θ))编码该编码块；

F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；

G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。

通常，拉格朗日乘子一般通过大量实验数据训练，依靠经验公式计算给出，并被表示为与量化步长紧密相关的函数。各种编码平台对拉格朗日乘子有不同的参数修正因子来贴近其R-D曲线以取得尽可能高的编码增益，由此能够获得该帧的拉格朗日乘子系统定义值λ_sys。

本发明进一步的，以编码块所在球面环带的面积与其所在经纬图像素环带的面积之比λ(ρ(θ))构造权重，通过面积比的形式将编码块的位置信息引入，然后用这个包含了位置信息的权重进行编码块级拉格朗日乘子的修正及优化，最后用新的量化参数进行编码，因此，使得经纬图编码的整体性能得到了显著的提升。

上述步骤D中的λ(ρ(θ))的计算公式，可以根据对面积比权重构造、优化目的等的不同而构建不同的公式。在本实施例中，具体的，步骤D中的

λ(ρ(θ))＝λ_sys·(ξ+ρ(θ))^γ (1)

其中，λ_sys为格朗日乘子系统值，θ为当前编码块在球面中的天顶角计算值，ξ为防止除零操作的极小值，是与图像内容相关的模型参数，β是与信源特性相关的模型参数。

上述公式(1)的推导过程如下：

SPSNR(球面峰值信噪比)的计算，根据映射像素密度进行采样。具体来说，在纬度低即像素密度高的位置，采样点数多；在纬度高即像素密度低的位置，采样点数少。基于分配给VR360经纬图的比特数应该与其对应球面环带的面积比例一致的原则，在保持主观质量和客观质量的同时减少了编码消耗的比特数。

考虑到面积比例是天顶角计算值θ的正弦函数，期望经纬图比特率分配符合球面显示需求，通过公式(2)建立比值模型：

其中，和R(θ)分别是在赤道和天顶角计算值为θ环带的编码比特率。基于公式(2)给出的模型，球面λ能够从以下几步中推导获得：

比特率与拉格朗日乘子的关系R-λ模型是

R＝α·λ^β (3)

其中，α和β是与信源特性有关的模型参数。

将公式(3)带入公式(2)，可以得到公式(4)

其中，λ(θ)和分别是在赤道处和天顶角计算值为θ的球面λ的取值。从公式(4)中，可整理得到球面λ的比例公式，如公式(5)所示：

其中，是模型参数，它与图像内容有关。

因此，根据上述推导过程，建立了公式(1)。

根据几何计算可知，步骤C中，该编码块在球面中的天顶角计算值为θ，其中，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r·sinθ·h_ring计算获得，其中h_ring为所述球面环带的高度，其中r为球面的半径；

经纬图像素环带的面积S_erp(θ)由公式：计算获得。

为进一步方便计算，所述环带的高度h_ring＝r·sin dθ，则该编码块，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r²·sinθ·sin dθ计算获得，

经纬图像素环带的面积S_erp(θ)由公式：计算获得，

步骤C中所述面积比

上述dθ为所述环带的上边缘和下边缘形成的天顶角的角度差。

当然根据面积比计算过程和取值方式的不同，ρ(θ)不一定等于sinθ，但其并不影响本发明的实现，仅对本发明实现过程的计算难度构成影响。

上述θ被称为天顶角计算值，而非天顶角，其原因在于：

如图1所示，VR360经纬图，也即柱面投影图(EquiRectangular Projection，ERP)与球面像素的映射关系，经度用角度表示，纬度用天顶角θ表示，球面环带像素其上下边界对应的纬度夹角为dθ。其中，dθ在球面环带宽度确定的前提下为确定值，而受球面环带宽度影响，环带所含各行像素的θ并不唯一，因此，为方便计算，将θ称为天顶角计算值，其取值可以是极值、特定值、最大最小值的平均值以及算术平均值等，具体可以根据编码块的划分规则、优化的要求等进行取值。

在本实施例中，天顶角计算值θ取值为算术平均值，因此，上述步骤C中获得天顶角计算值θ的步骤包括：

C1.将当前编码块所在经纬图上的坐标位置表示为：当前编码块的首行在整个经纬图中的行下标为k，该编码块的像素高N，经纬图总的像素高h；

C2.根据步骤C1得到的数据，当前编码块中行下标为i的像素所对应的天顶角为θ(i)，所述通过公式计算得到当前编码块各行像素的天顶角θ(i)的算术平均值并将算术平均值作为ρ(θ)中的天顶角计算值θ，获得

因此，将公式(7)带入公式(1)，最终得到的本实施例的优化计算公式为

如图9所示，为本实施例用于经纬图的编码块级拉格朗日乘子的优化方法的具体过框程图，而图10则本实施例λ(ρ(θ))的具体计算过框程图，其整个优化过程步骤如下：

1)获取视频序列的1帧图像；

2)确定所获取当前帧在序列中的位置，确定它的帧类型、帧属性和所在画面组中的位置及层次；

3)根据所获得的当前帧的帧属性，通过编码器计算得出帧级的拉格朗日乘子系统值λ_sys；

4)在当前帧中顺序地获得1个编码块，并确定该编码块在经纬图中的位置信息，并表示为：当前编码块的首行在整个经纬图中的行下标为k，该编码块的像素高N，经纬图总的像素高h；

5)根据该编码块在经纬图中的位置信息，当前编码块中行下标为i的像素所对应的天顶角为θ(i)，所述通过公式计算得到当前编码块各行像素的天顶角θ(i)的算术平均值

6)根据ρ(θ)对λ_sys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，公式为：

7)根据计算获得的λ(ρ(θ))编码该编码块；

8)判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤9)，否则转入步骤4)；

9)判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤1)继续编码。

表1给出了国际电子电气工程师协会1857.9专题组虚拟现实联合标准组(IEEE1857.9VRU)的测试序列，表2和表3分别给出了本发明在两种不同测试配置条件下与现有未优化的拉格朗日乘子测试对比的性能增益情况。上述ξ为防止除零操作的极小值，因此其为越小越好；而γ、β则是与图像内容相关的模型参数，与信源特性相关，在本实施例中，ξ取经验值为0.015，根据测试数据γ取值0.20。

Sequence Name	Resolution	Frame Count	FPS	Bit depth
					Fengjing1	4096×2048	300	30	8
Fengjing3	4096×2048	300	30	8
					Hangpai1	4096×2048	300	30	8
Hangpai2	4096×2048	300	30	8
					Hangpai3	4096×2048	300	30	8
Xinwen1	4096×2048	300	30	8
					Xinwen2	4096×2048	300	30	8

表1、经纬图视频测试序列

测试集是通用的7个4K VR360经纬图视频测试序列，测试采用全序列测试。性能指标以本领域通用的BD-RATE性能统计进行，负值表示在同等客观质量下节省的比特率比值，正值表示在同等客观质量下浪费的比特率比值。BD-RATE的负值一般表明了算法的增益程度。测试基线基于AVS2(中国第二代音视频标准)通用测试条件。以四个QP点27、32、38、45在系统默认配置下的测试结果为对照依据(Anchor)，以本实施例的方法在相同码率点的四个测试结果为测试依据(Test)，BD-RATE分别在传统PSNR(峰值信噪比)和经纬图SPSNR(球面峰值信噪比)两种情况下进行分别计算和统计。测试分为低延迟(low delay,LD)和随机访问(random access,RA)两种典型配置结构。

表2、本发明的优化方法在低延迟(LD)配置下的实验结果。

表2中，统计了在低延迟(LD)的配置下，客观质量在传统PSNR和SPSNR两种不同的评价方式下的增益程度。我们可以清楚地看到，在SPSNR方面的增益达到2.8％，高于PSNR-Y的0.4％增益。特别的在序列Fengjing1上，PSNR-Y的增益达到3.3％，SPSNR的增益达到5.8％；在Hangpai1序列上，SPSNR的增益更是高达6.4％。

表3、本发明的优化方法在随机访问(RA)配置下的实验结果

表3中，统计了在随机访问(RA)配置下，客观质量在传统PSNR和SPSNR两种不同的评价方式下的增益程度。我们可以清楚地看到，在SPSNR方面的增益达到1.5％。特别地，在Hangpai1、Hangpai2、Hangpai3这三个序列的增益分别高达2.8％、2.1％、2.3％，平均取得了2.4％的增益。

通过表2和表3的测试结果能够清楚的表明，本发明的优化方法能够非常显著的对VR360视频图像编码的编码块级拉格朗日乘子进行优化，而且在这两种配置下都能够显著的提升视频编码效率。

Claims (6)

1.用于经纬图的编码块级拉格朗日乘子的优化方法，包括如下步骤：

A.获取视频序列的1帧图像；

B.在当前帧中顺序地获得1个编码块；

C.根据步骤B所得到的编码块在经纬图中的位置信息，计算该编码块所在球面环带的面积与其所在经纬图像素环带的面积之比ρ(θ)，上述θ为该编码块在球面中的天顶角计算值；

D.根据ρ(θ)对λ_sys进行优化计算得到优化后的拉格朗日乘子λ(ρ(θ))，上述λ_sys是步骤A所获取当前帧的拉格朗日乘子系统值；

E.根据步骤D得到的λ(ρ(θ))编码该编码块；

F.判断当前帧中是否所有编码块都已经编码完毕，是则进入步骤G，否则转入步骤B；

G.判断当前帧编码完毕后是否全序列编码完毕，是则结束，否则转入步骤A继续编码。

2.如权利要求1所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：步骤D中的λ(ρ(θ))＝λ_sys·(ξ+ρ(θ))^γ，其中，λ_sys为格朗日乘子系统值，θ为当前编码块在球面中的天顶角计算值，ξ为防止除零操作的极小值，是与图像内容相关的模型参数，β是与信源特性相关的模型参数。

3.如权利要求2所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：步骤C中，该编码块在球面中的天顶角计算值为θ，其中，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r·sinθ·h_ring计算获得，其中h_ring为所述球面环带的高度，其中r为球面的半径；

经纬图像素环带的面积S_erp(θ)由公式：计算获得。

4.如权利要求3所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：

所述环带的高度h_ring＝r·sin dθ，则该编码块，

球面环带的面积S_spher(θ)由公式：S_spher(θ)＝2π·r²·sinθ·sin dθ计算获得，

经纬图像素环带的面积S_erp(θ)由公式：计算获得，

步骤C中所述面积比上述dθ为所述环带的上边缘和下边缘形成的天顶角的角度差。

5.如权利要求4所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：上述步骤C中获得天顶角计算值θ的步骤包括：

C1.将当前编码块所在经纬图上的坐标位置表示为：当前编码块的首行在整个经纬图中的行下标为k，该编码块的像素高N，经纬图总的像素高h；

C2.根据步骤C1得到的数据，当前编码块中行下标为i的像素所对应的天顶角为θ(i)，所述通过公式计算得到当前编码块各行像素的天顶角θ(i)的算术平均值并将算术平均值作为ρ(θ)中的天顶角计算值θ，获得

6.如权利要求4所述的用于经纬图的编码块级拉格朗日乘子的优化方法，其特征为：

在步骤A中，确定所述图像在序列中的位置，确定它的帧类型、帧属性和所在画面组中的位置及层次；并根据所获得的当前帧的帧属性，通过编码器计算得出帧级的拉格朗日乘子系统值λ_sys。