CN106331711A - 一种基于网络特征与视频特征的动态码率控制方法 - Google Patents

Abstract

本发明公开一种基于网络特征与视频特征的动态码率控制方法，通过两类特征与接收端视频质量之间的相互关系，建立接收端视频质量失真模型；进一步通过分析接收端视频质量与输出码率之间的关系，结合前述的视觉关注度重构率失真模型；然后研究融合反馈信息的编码参数动态偏置范围预测方法，实现接收端视频质量与码率控制误差联动调整；最终建立融合网络特征和视频内容特征的分级动态码率控制机制，力争在保证编码器输出码率与信道环境相匹配的同时，实现接收端视频质量的提升，在保持视频重建图像质量的前提下，提高码率控制精度。

Description

一种基于网络特征与视频特征的动态码率控制方法

技术领域

本发明属于视频压缩编码领域，涉及一种基于网络特征与视频特征的动态码率控制方法。

背景技术

在复杂的网络环境下，视频数据的可靠与流畅传输需求与日俱增。从传统高速宽带网络、到现代移动网络，乃至以5G为代表的未来网络，视频传输的基本载体正在向着多元化和异构化发展。不可否认，移动互联网硬件与网络通信技术的日趋成熟为实现流畅级别的视频传输提供了更多可能性，但同时网络环境的复杂性也使得当前视频编码技术所面临的延时抖动、丢包、解码视频质量下降等问题日益严重。因此，视频编码领域迫切需要具有更强网络适应性的编码技术。

在HEVC(High efficiency video coding,HEVC)视频编码标准的制定过程中，研究者们就已经开始致力于提升视频编码标准的网络适应性。通过利用合理的比特分配策略调节编码器的输出码率，以寻求在视频质量与网络带宽利用率上的最佳平衡点是实现精确码率控制的常用手段之一。但实际上，码率控制过程可以看作由比特分配策略和率失真模型构建两项关键技术构成。比特分配结果的实施仍然需要依赖于率失真模型，只有通过率失真模型对编码参数进行选择后，才能最终达成实际码率与目标码率相匹配的目的。因此，为了获得更好的码率控制效果，一些研究通过利用融合视觉因子的失真函数重构率失真模型，并将其应用于码率控制运算过程中，在与目标码率保持相对一致的前提下，有效提升了编码器的率失真性能。但其不足之处在于：在率失真模型构建方面，缺少对于实际信道状态的监测，仅从信源端单方面进行优化，而接收端视频质量与网络状态间依旧彼此独立，从而限制了码率控制技术在网络适应性方面的性能提升。

因此，在面对复杂网络传输时，如果能够发现并构建编码层和网络层的两者联动关系模型，无疑既可以提高网络性能的利用率，又可以达到“事倍功半”的码率控制效果。为了实现这一目的，编码器需要在视频接收端与发送端之间建立反馈通道，重新构建融合网络特征与视频特征的率失真模型，并在此模型的基础上实现码率的优化分配。

发明内容

本发明要解决的技术问题是，提供一种基于网络特征与视频特征的动态码率控制方法，将复杂网络环境下信道传输参数与接收端视频质量相关联，融合网络传输特性和视频内容特性，针对不同的视觉关注度区域构建独立的率失真模型；协同制定编码器的码率分配策略与参数反馈更新机制，实现复杂网络环境下编码器输出码流控制精准度，以及接收端质量的同步提升；在保持视频重建图像质量的前提下，提高码率控制精度。

为解决上述问题，本发明所采用如下的技术方案：

一种基于网络特征与视频特征的动态码率控制方法包括以下步骤：

步骤S1、构建融合网络特征与视频特征的率失真模型

1)、划分感兴趣区域与非感兴趣区域；

2)、建立接收端视频质量失真模型D；

将待编码视频输入到原始HEVC编码器中进行编码，并记录编码结果；

依据编码结果，分别计算每帧编码图像的压缩编码失真d和场景复杂度s、以及统计当前网络信道状态下视频传输过程中的误码率e、丢包率l以及网络带宽b；

根据上述e、l、b值与d、s值，得到每帧编码图像的接收端视质量失真D₁,D₂…D_n，其中，n表示视频帧数，以此构建接收端视频质量失真模型D＝(D₁,D₂…D_n)；

3)、建立率失真(R-D)模型；

根据步骤2所得编码结果，分别计算每帧图像感兴趣区域的输出码率与非感兴趣区域输出码率；

对感兴趣区域输出码率和接收端视频质量失真模型、以及非感兴趣区域输出码率和接收端视频质量失真模型进行拟合，得到感兴趣区域的率失真模型以及模型参数α_ROI、β_ROI和非感兴趣区域的率失真模型以及模型参数α_n-ROI、β_n-ROI；

步骤S2、确定编码参数

1)、根据模型参数α_ROI，β_ROI和α_n-ROI，β_n-ROI计算得到感兴趣区域的拉格朗日乘子λ_ROI,T与非感兴趣区域的拉格朗日乘子λ_n-ROI,T；

2)、根据拉格朗日乘子λ_ROI,T，λ_n-ROI,T计算得到感兴趣区域的量化参数QP_ROI,T，以及非感兴趣区域的与量化参数QP_n-ROI,T；

步骤S3、编码以及记录编码后输出码率

利用重构后融合了网络特征与视频特征的率失真模型替代HEVC编码器中的原有率失真模型；将待编码视频帧输入到改进后的HEVC编码器中，读取配置文件，根据选定的量化参数，依次进行预测编码、变换量化编码、熵编码过程，最终得到当前编码帧的实际输出码率；

第四步，根据码率控制误差修正编码参数编制范围

待当前帧编码完成后，通过计算当前编码帧目标码率与实际输出码率间的控制误差，分别得出ROI区域的码率误差的Error_ROI以及非ROI区域的码率误差的Error_n-ROI，用于指导码率控制参数偏置范围的更新与修正；修正后量化参数的动态偏置范围分别为(QP_pic-ΔQP_ROI,QP_pic+ΔQP_ROI)和(QP_pic-ΔQP_n-ROI,QP_pic+ΔQP_n-ROI)，且修正后的编码参数将用于参与下一编码帧的码率控制过程，其中，QP_Pic表示当前编码帧的量化参数，th₁，th₂分别表示ROI区域与非ROI区域的码率误差阈值，

当Error_ROI≤th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI＜1；

当Error_ROI≤th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI＜1。

作为优选，步骤S1中，依据人眼的选择性注意机制，以编码对象的运动信息和纹理信息为主导视觉关注特征，将运动程度剧烈且纹理信息丰富的区域定义为感兴趣区域(Region of interest,ROI)，剩余区域定义为非感兴趣区域(non-Region of interest,non-ROI)。

本发明的有益效果是，面向复杂网络传输环境，提出融合网络特征和视频内容特征的码率控制机制。通过建立网络特征参数、视频特征参数与接收端视频质量之间的关联关系，重构率失真模型，并参与进行码率控制参数偏置范围预测过程，以同步提升HEVC视频编码标的码率控制精确度以及接收端视频质量。

附图说明

图1为本发明的接收端视频质量失真模型的构建关系示意图；

图2为本发明的基于网络特征和视频特征的动态码率控制流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的基于网络特征与视频特征的动态码率控制方法，分为以下两个方面：

第一、融合网络特征与视频特征的率失真模型构建

网络传输性能与视频自身特性共同决定了视频编码输出码流的可靠性与接收端视频质量的稳定性，同时也是复杂网络环境下保证多种类视频业务得以普及应用的重要影响因素。因此，本发明首先研究并筛选能够描述传输信道状态的网络特征参数以及能够反映视频内容特性的视频特征参数，通过探索两类特征与接收端视频质量之间的映射关系，对于多个网络特征参数与视频特征参数的耦合强度进行分析，并评估各个参数与接收端视频质量之间的关联程度，以此建立接收端视频质量失真模型D：

D＝f(p_network(e,l,b),p_video(s,d)) (1)

其中，p_network(·)表示网络特征，e表示误码率，l表示网络丢包率，b表示网络信道带宽；p_video(·)表示视频特征，s表示视频场景复杂度，d表示信源压缩编码失真。接收端视频质量失真模型的构建关系如图1所示。

其次，研究同等程度视觉关注区域下，接收端视频质量失真模型D与对应输出码率R之间的关联度，并面向不同视觉关注度区域设计具有差异性的模型参数，以此重构率失真模型。

第二、码率控制参数动态偏置范围预测

基于HEVC标准中最新采纳的R-λ码率控制模型，建立基于网络特征和视频特征的动态码率控制机制。重点解决融合编码反馈信息的码率控制参数动态偏置范围预测问题。研究编码信息反馈机制，将接收端视频质量与码率控制误差相关联，构建码率控制误差评估模型；进一步，分别计算编码帧目标码率和实际码率的控制误差，对比具有不同等级的视觉关注区域对码率控制误差的敏感度，得出有针对性的分析结果，进而指导码率控制参数偏置范围的预测、更新和修正。通过反馈及联动调节，提高编码参数预测的准确度，在保证接收端重建视频质量的同时，增强码率控制精度。

如图2所示，本发明实施例提供一种基于网络特征与视频特征的动态码率控制方法，包括以下步骤：

步骤S1、构建融合网络特征与视频特征的率失真模型

1)划分感兴趣区域与非感兴趣区域

依据人眼的选择性注意机制，以编码对象的运动信息和纹理信息为主导视觉关注特征，将运动程度剧烈且纹理信息丰富的区域定义为感兴趣区域(Region of interest,ROI)，剩余区域定义为非感兴趣区域(non-Region of interest,non-ROI)。

2)建立接收端视频质量失真模型D

①将待编码视频输入到原始HEVC编码器中进行编码，并记录编码结果；

②依据编码结果，分别计算每帧编码图像的压缩编码失真d、场景复杂度s。其中，压缩编码失真d使用图像亮度分量的均方误差(Mean Square Error,MSE)表示，按照公式(2)进行计算，而场景复杂度s使用图像亮度分量的方差(variance)表示，按照公式(3)进行计算。

$MSE=\frac{1}{N}\underset{i}{\Σ}{({\mathrm{Dec}}_i-{\mathrm{Org}}_i)}^2---\left(2\right)$

其中，N代表总图像的总像素数量，Dec_i和Org_i分别表示解码重建图像的像素值和原始图像的像素值。

$\mathrm{var}iance=\underset{i=1}{\overset{N}{\Σ}}{({\mathrm{Org}}_i-\mathrm{\μ})}^2---\left(3\right)$

其中，μ代表原始图像的均值。

③统计当前网络信道状态下视频传输过程中的误码率e、丢包率l以及网络带宽b；

④将步骤③统计得到的变量e、l、b值与步骤②计算得到的变量d、s值代入公式(1)中，得到每帧编码图像的接收端视质量失真D₁,D₂…D_n，其中，n表示视频帧数，以此构建接收端视频质量失真模型D＝(D₁,D₂…D_n)。

3)建立率失真(R-D)模型

①依据步骤2)所得编码结果，以帧为单位，分别计算每帧图像感兴趣区域的输出码率R_ROI＝(R_ROI1,R_ROI2,…R_ROIn)与非感兴趣区域输出码率R_n-ROI＝(R_n-ROI1,R_n-ROI2,…R_n-ROIn)。码率R使用每像素消耗比特bpp表示，按照公式(4)进行计算。

$bpp=\frac{R}{f\·number}---\left(4\right)$

其中，f表示视频的帧率，number表示感兴趣区域或非感兴趣区域内像素点个数。

②利用双曲模型对感兴趣区域的输出码率R_ROI＝(R_ROI1,R_ROI2,…R_ROIn)和接收端视频质量失真模型D＝(D₁,D₂…D_n)进行拟合，得到感兴趣区域的率失真模型以及模型参数α_ROI，β_ROI；

③同上，利用双曲模型对非感兴趣区域的输出码率R_n-ROI＝(R_n-ROI1,R_n-ROI2,…R_n-ROIn)和接收端视频质量失真模型D＝(D₁,D₂…D_n)进行拟合，得到非感兴趣区域的率失真模型以及模型参数α_n-ROI，β_n-ROI。

$-\frac{\∂D}{\∂R}=\mathrm{\α}\·R^{\mathrm{\β}}---\left(5\right)$

步骤S2、确定编码参数

1)确定拉格朗日乘子λ

将所得模型参数α_ROI，β_ROI和α_n-ROI，β_n-ROI分别代入公式(6)，计算得到感兴趣区域的拉格朗日乘子λ_ROI,T与非感兴趣区域的拉格朗日乘子λ_n-ROI,T。

λ＝α·R^β (6)

2)确定量化参数QP

将所得拉格朗日乘子λ_ROI,T，λ_n-ROI,T分别代入公式(7)，计算得到感兴趣区域的量化参数QP_ROI,T，以及非感兴趣区域的与量化参数QP_n-ROI,T。

QP＝4.2005lnλ+13.7122 (7)

步骤S3、编码以及记录编码后输出码率

利用重构后融合了网络特征与视频特征的率失真模型替代HEVC编码器中的原有率失真模型；将待编码视频帧输入到改进后的HEVC编码器中，读取配置文件，根据选定的量化参数，依次进行预测编码、变换量化编码、熵编码过程，最终得到当前编码帧的实际输出码率。

第四步，根据码率控制误差修正编码参数编制范围

待当前帧编码完成后，通过计算当前编码帧目标码率与实际输出码率间的控制误差，分别得出ROI区域的码率误差的Error_ROI以及非ROI区域的码率误差的Error_n-ROI，用于指导码率控制参数偏置范围的更新与修正；修正后量化参数的动态偏置范围分别为(QP_pic-ΔQP_ROI,QP_pic+ΔQP_ROI)和(QP_pic-ΔQP_n-ROI,QP_pic+ΔQP_n-ROI)，且修正后的编码参数将用于参与下一编码帧的码率控制过程，其中，QP_Pic表示当前编码帧的量化参数，th₁，th₂分别表示ROI区域与非ROI区域的码率误差阈值，

当Error_ROI≤th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI＜1；

当Error_ROI≤th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI＜1。

通过实际码率与目标码率之间的反馈及联动调节，提高编码参数预测的准确度，在保证码率控制精度的同时，提升接收端视频质量。

Claims (2)

1.一种基于网络特征与视频特征的动态码率控制方法，其特征在于，包括以下步骤：

步骤S1、构建融合网络特征与视频特征的率失真模型

1)、划分感兴趣区域与非感兴趣区域；

2)、建立接收端视频质量失真模型D；

将待编码视频输入到原始HEVC编码器中进行编码，并记录编码结果；

依据编码结果，分别计算每帧编码图像的压缩编码失真d和场景复杂度s、以及统计当前网络信道状态下视频传输过程中的误码率e、丢包率l以及网络带宽b；

根据上述e、l、b值与d、s值，得到每帧编码图像的接收端视质量失真D₁,D₂…D_n，其中，n表示视频帧数，以此构建接收端视频质量失真模型D＝(D₁,D₂…D_n)；

3)、建立率失真(R-D)模型；

根据步骤2所得编码结果，分别计算每帧图像感兴趣区域的输出码率与非感兴趣区域输出码率；

对感兴趣区域输出码率和接收端视频质量失真模型、以及非感兴趣区域输出码率和接收端视频质量失真模型进行拟合，得到感兴趣区域的率失真模型以及模型参数α_ROI、β_ROI和非感兴趣区域的率失真模型以及模型参数α_n-ROI、β_n-ROI；

步骤S2、确定编码参数

1)、根据模型参数α_ROI，β_ROI和α_n-ROI，β_n-ROI计算得到感兴趣区域的拉格朗日乘子λ_ROI,T与非感兴趣区域的拉格朗日乘子λ_n-ROI,T；

2)、根据拉格朗日乘子λ_ROI,T，λ_n-ROI,T计算得到感兴趣区域的量化参数QP_ROI,T，以及非感兴趣区域的与量化参数QP_n-ROI,T；

步骤S3、编码以及记录编码后输出码率

利用重构后融合了网络特征与视频特征的率失真模型替代HEVC编码器中的原有率失真模型；将待编码视频帧输入到改进后的HEVC编码器中，读取配置文件，根据选定的量化参数，依次进行预测编码、变换量化编码、熵编码过程，最终得到当前编码帧的实际输出码率；

第四步、根据码率控制误差修正编码参数编制范围

待当前帧编码完成后，通过计算当前编码帧目标码率与实际输出码率间的控制误差，分别得出ROI区域的码率误差的Error_ROI以及非ROI区域的码率误差的Error_n-ROI，用于指导码率控制参数偏置范围的更新与修正；修正后量化参数的动态偏置范围分别为(QP_pic-ΔQP_ROI,QP_pic+ΔQP_ROI)和(QP_pic-ΔQP_n-ROI,QP_pic+ΔQP_n-ROI)，且修正后的编码参数将用于参与下一编码帧的码率控制过程，其中，QP_Pic表示当前编码帧的量化参数，th₁，th₂分别表示ROI区域与非ROI区域的码率误差阈值，

当Error_ROI≤th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI＜1；

当Error_ROI≤th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI＜2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI＞th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI≥1；

当Error_ROI＞th₁且Error_n-ROI≤th₂时，设置ΔQP_ROI≥2，ΔQP_n-ROI＜1。

2.如权利要求1所述的基于网络特征与视频特征的动态码率控制方法，其特征在于，步骤S1中，依据人眼的选择性注意机制，以编码对象的运动信息和纹理信息为主导视觉关注特征，将运动程度剧烈且纹理信息丰富的区域定义为感兴趣区域(Region of interest,ROI)，剩余区域定义为非感兴趣区域(non-Region of interest,non-ROI)。