CN103780901B - 基于视频空间和时间信息的视频质量及压缩码率估计方法 - Google Patents

Abstract

本发明提供一种基于视频空间和时间信息的视频质量及压缩码率估计方法，其中：根据Sobel算子提取出视频图像帧的空间信息，用序列中空间信息最大的图像帧的空间信息表示视频序列的空间信息；根据视频前后两帧的亮度信息之差来表示视频序列当前帧的时间信息，用序列中时间信息最大的图像帧的时间信息表示视频序列的时间信息。用视频的空间和时间信息作为视频内容的复杂程度，结合视频编码器类型、视频源分辨率、帧率来对压缩编码后的视频进行质量预测评估；同时，也可以根据视频序列的时间和空间信息预测达到要求等级的视频质量时所需要的压缩码率范围。本发明充分考虑了视频内容对视频质量的影响，因而能够获得较高的预测性能。

Description

基于视频空间和时间信息的视频质量及压缩码率估计方法

技术领域

本发明涉及一种视频图像处理技术领域中的视频质量评价方法，具体是一种基于视频时间和空间信息，对压缩编码后的视频进行视频质量预测评估的方法，同时也是对达到要求视频质量的压缩码率范围进行预测的方法。

背景技术

由于各种视频应用和服务的快速推进，对视频质量评估的需求不断增长。准确而有效的视频质量评估对视频编解码器的发展、网络协议的规划、终端用户的网络质量监测和保证用户QoE至关重要。运用视频质量评价技术来对视频服务，进行准确的质量评估，进而找出影响视频质量的因素，为提升视频质量乃至用户体验质量度具有重要意义。近年来，随着视频业务的跨越性发展，针对不同视频服务、应用场景的视频质量评估方法相继被提出，VQEG也正在为相应的标准化工作努力。

传统的视频质量评估根据对视频参考源的依赖程度分为全参考、部分参考和无参考评估方法。随着大数据时代的带来，在视频质量评估领域，部分参考和无参考评估方法将有着更大的发展空间。其中，基于视频参数的视频质量评估模型就是部分参考方法的代表。这种参数模型在对视频进行简单的分析后，结合其他的视频处理参数信息，对视频质量进行评估。基于一组视频参数，如编码处理、视频内容和传输处理等，来预测视频质量的参数模型以一个或一组数学公式的形式对视频质量进行预测。在视频质量预测过程中，由于不需要对视频源数据进行任何处理，视频质量评估的参数模型具有方便快捷等特点。

在视频质量评价领域，不考虑传输对视频质量带来的损伤时，影响视频质量的最关键的因素是编码器类型、视频分辨率、视频帧率、压缩码率和视频内容。在之前提出的很多基于视频参数的模型中，或多或少都涉及到了以上5个因素。如，Joskowicz等人在2013年IEEE Transactions onBroadcasting(IEEE广播期刊)上发表的“Towards a General Parametric Model for Perceptual Video QualityEstimation(面向视频感知质量评估的一般参数模型)”一文中对不同的视频质量参数评估模型进行分析，最后提出了一个通用模型。

由于视频内容的描述方式不一致，因此，在视频质量评估方法研究中考虑视频内容的也从多种角度来描述。本发明以时间和空间信息的角度来描述视频内容，对视频质量进行评估和预测。

发明内容

本发明的目的在于提供一种基于视频空间和时间信息的视频质量及压缩码率估计方法，以时间和空间信息的角度来描述视频内容，对视频质量进行评估和预测，可实现更为精确地估计。

本发明采用的技术方案如下：根据Sobel算子提取出视频图像帧的空间信息，用序列中空间信息最大的图像帧的空间信息表示视频序列的空间信息；根据视频前后两帧的亮度信息之差来表示视频序列当前帧的时间信息，用序列中时间信息最大的图像帧的时间信息表示视频序列的时间信息。用视频的空间和时间信息作为视频内容的复杂程度，结合视频编码器类型、视频源分辨率、帧率来对压缩编码后的视频进行质量预测评估；同时，也可以根据视频序列的时间和空间信息预测达到要求等级的视频质量时所需要的压缩码率范围。本发明充分考虑了视频内容对视频质量的影响，因而能够获得较高的预测性能。

具体的，本发明针对视频业务在压缩编码时，结合ITU-T P.910中提出的视频空间信息(SI)和时间信息(TI)(具体计算表达式如下)，对视频压缩编码的码率和视频质量之间的关系进行评估和预测。

SI=max{std[Sobel(F_n)]},n=1,..N；

TI=max{std[F_n-F_n-1]},n=1,..N；

其中F_n是当前帧的亮度信息，F_n-1表示前一帧的亮度信息，Sobel()表示经典图像处理中的Sobel算子，std[]表示求标准差。

根据本发明的一个方面，提供一种基于视频空间和时间信息的视频质量估计方法，该方法步骤如下：

步骤1，分别求出视频源序列的空间信息(SI)和时间信息(TI)；

步骤2，根据视频压缩码率，将步骤1中的视频源序列的空间信息、视频源序列的时间信息结果带入到以下视频质量预测模型中，对应不同的编码码率，得到视频质量的预测值，实现对压缩编码后的视频的质量评估；

$V_q=1+4(1-\frac{1}{1+{\left(\frac{\mathrm{aBit}}{c_{1}1n\left(\mathrm{SI}\right)+c_{2}1n\left(\mathrm{TI}\right)+c_3}\right)}^{c4}});$

其中，V_q代表视频质量，取值范围为1～5，对应主观视频质量评价中的五级损伤等级。c1，c2，c3，c4和a为模型参数，Bit为压缩码率，SI和TI分别表示空间和时间信息，反映视频内容对视频质量的影响。此方法通常可以应用于压缩编码后对视频质量的评估。

根据本发明的另一方面，提供一种基于视频空间和时间信息的压缩码率估计方法，即达到要求的视频质量时所需要的视频压缩码率范围的估计方法，该方法基于以上提出的预测模型，通过恒等式变形的方式进行变换，从而得出在达到要求的视频质量时视频编码需要的码率范围。该方法步骤如下：

步骤1，分别求出视频源序列的空间信息(SI)和时间信息(TI)；

步骤2，将步骤1中的视频源序列的空间信息和时间信息结果带入到视频质量预测模型的变形式中，求出压缩码率的范围，实现对达到要求的视频质量进行压缩码率范围的估计；

所述视频质量预测模型的变形式为：

$\mathrm{Bit}=\frac{c_{1}1n\left(\mathrm{SI}\right)+c_{2}1n\left(\mathrm{TI}\right)+c_3}{a}{\left(\frac{V_q-1}{5-V_q}\right)}^{\frac{1}{c_4}};$

其中各参数表示意义与上述一致，此方法通常可以在编码之前，用来确定达到要求视频质量时所需的压缩编码码率范围。

本发明充分考虑视频内容对视频质量的影响，并用视频的时间和空间信心作为视频内容的描述，结合压缩码率对视频质量进行预测；对模型进行简单变形后，就可以反过来根据要求的视频质量来估计所需的压缩码率范围。

与现有技术相比，本发明具有以下有益效果：

本发明在固定编码器类型、视频源分辨率和帧率后，综合考虑了视频内容和压缩码率对视频质量的影响，因而能够很好地应用于视频质量评估以及对达到要求视频质量时所需的编码码率范围进行较为精确的估计。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是分析影响视频质量的因素示意图；

图2是实施例中用来回归模型参数的视频源的空间和时间信息的图示；

图3是实施例中视频源Marathon的第2帧及其时间和空间信息的图示，其中：(a)是4K视频序列的第二帧；(b)4K视频序列中第二帧与第一帧的亮度信息之差，反映的是第二帧的时间信息的图示；(c)是实施例中第一帧的空间信息的图示；

图4是实施例中所发明的方法对4K视频主观质量评价所用的视频材料的视频质量评估结果与分析的图示；

图5是实施例中对4K视频序列Marathon达到要求的视频质量所需的压缩码率范围的估计的图示。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

此处把本发明应用到HEVC压缩编码的4K超高清视频。需要说明的是，本发明以HEVC编码的4K视频序列为实例，给出的参数仅适用于HEVC编码、帧率为30的4K视频。对于不同场景下的应用，模型参数需要通过重新回归得出，但这并不影响本发明的实质。

(I)模型参数的确定

建立基于时间和空间信息的视频质量预测模型后，为了得到完整的视频质量预测模型，需要用主观质量评价选用的视频源序列的空间和时间信息以及主观视频质量评价结果对提出的视频质量预测模型进行回归，通过最小二乘回归求出模型参数a和c1,c2,c3,c4。图2是10个用来进行主观质量评价的视频源的空间和时间信息的图，对应的HEVC编码的4K视频主观质量评价结果已经以数据集的形式，发布到http://medialab.sjtu.edu.cn/相应的网页上提供下载。

由于主观质量评价中选取的视频序列毕竟有限，为了选出最优的模型参数，利用十折交叉验证法确定回归模型参数。轮流使用其中的9组数据做训练样本，其余一个为测试样本。最后对10次得出的预测性能进行比较，选出预测性能最佳的模型参数值如下表。

表1视频质量预测模型参数

在用主观质量评价结果以及主观质量评价中选用的视频源序列的空间和时间信息回归出模型参数后，就可以在实际中应用。

(II)计算测试视频源序列的空间和时间信息

为了应用模型来对压缩后的视频进行视频质量预测或是对达到要求的视频质量所需的压缩码率范围进行估计，首先要对视频源的内容进行分析，即计算出视频的时间和空间信息。以4K视频序列Marathon为例，图3是视频源的第2帧及其时间和空间信息的图示，其中：(a)是4K视频序列的第二帧；(b)是4K视频序列中第二帧与第一帧的亮度信息之差，反映的是第二帧的时间信息的图示；(c)是实施例中第二帧的空间信息的图示；对所有视频帧进行相同的计算，并以视频序列中空间和时间信息最大的图像帧的空间和时间信息表示视频序列的空间和时间信息。在实施例中，计算出所有进行主观质量评价的视频源的空间和时间信息，如图2所示。

(III)运用模型进行视频质量评估

图4是本发明方法对所有HEVC编码的4K视频主观质量评价视频材料进行质量评估的结果与主观质量评价结果之间的关系示意图。从图可以看出，本发明的预测结果与主观质量评价结果基本均匀分布在直线Y=X的两边。由此可以看出，本发明具有较好的预测性能。通过皮尔逊相关系数和斯皮尔曼等级相关系数分析，本发明的预测结果与主观质量评价结果的相关系数分别为0.7045和0.7316.

对于像4K这样的高分辨率视频，在研究视频质量与编码性能时，往往更关注视频质量较高时对应的压缩码率区域，因此，对4K视频质量评价的性能更倾向于高质量区域，如MOS值大于4时对应的码率范围。从图4可以就看出，提出的模型对于用来做主观测试的60个测试视频的预测性能在较高质量区域有更好的准确性。本发明在MOS值大于4的区域预测性能比视频质量较低的区域要更好，符合4K视频质量评价方法更加注重高质量区域的评估性能的要求。

(IV)运用模型估计达到要求视频质量的压缩码率范围

本发明提出的视频质量预测模型结果变形后如发明内容中的第二个表达式，是3个自变量的函数，其中SI和TI表示用来描述视频复杂度，当视频复杂度也确定以后，模型变为压缩码率与视频质量之间的一一对应关系。从几何的角度来说，对应着一条视频质量与压缩码率之间的曲线，如图5中实线曲线表示。在视频源还未压缩时，在计算出视频的时间和空间信息后，根据所要求的视频质量，就可以在曲线上进行标注，确定达到要求的视频质量时所需要的码率范围。通过对比图5中虚线，可以得出与(II)中类似的结果，本发明在高视频质量区域的预测性能比低质量区域的预测性能更好。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，如对视频内容的描述，SI和TI只是其中的一种方法，精确描述视频内容对提高视频质量预测无疑将有更大帮助，但这并不影响权利要求书中的模型和发明的实质内容。

Claims (2)

1.一种基于视频空间信息和时间信息的视频质量预测方法，其特征在于所述方法包括如下步骤：

步骤1，按以下两式分别求出视频源序列的空间信息(SI)和时间信息(TI)：

SI＝max{std[Sobel(F_n)]},n＝1,..N；

TI＝max{std[F_n-F_n-1]},n＝1,..N；

其中F_n是当前帧的亮度信息，F_n-1表示前一帧的亮度信息，Sobel表示经典图像处理中的Sobel算子，std表示求标准差；

步骤2，将步骤1中的视频源序列的空间信息、视频源序列的时间信息结果带入到以下视频质量预测模型中，对应不同的编码码率，得到视频质量的预测值，实现对压缩编码后的视频的质量评估；

所述视频质量预测模型具体如下：

$V_q=1+4(1-\frac{1}{1+{\left(\frac{\mathrm{aBit}}{c_1\ln \left(\mathrm{SI}\right)+c_2\ln \left(\mathrm{TI}\right)+c_3}\right)}^{c4}});$

其中，V_q代表视频质量，取值范围为1～5，对应主观视频质量评价中的五级损伤等级；c1，c2，c3，c4和a为模型参数，Bit为压缩码率，SI和TI分别表示空间和时间信息；

所述模型参数c1，c2，c3，c4和a通过以下方法确定：在保证实际应用中的编码器类型、视频分辨率和帧率与主观视频质量评价材料一致情况下，运用主观质量评价结果对提出的数学模型进行最小二乘回归计算，求出针对特定应用的模型参数。

2.一种基于视频空间和时间信息的压缩码率估计方法，其特征在于：所述方法包括如下步骤：

步骤1，按以下两式分别求出视频源序列的空间信息(SI)和时间信息(TI)：

SI＝max{std[Sobel(F_n)]},n＝1,..N；

TI＝max{std[F_n-F_n-1]},n＝1,..N；

其中F_n是当前帧的亮度信息，F_n-1表示前一帧的亮度信息，Sobel表示经典图像处理中的Sobel算子，std表示求标准差；

步骤2，将步骤1中的视频源序列的空间信息和时间信息结果带入到视频质量预测模型的变形式中，求出压缩码率的范围，实现对达到要求的视频质量进行压缩码率范围的估计；

所述视频质量预测模型的变形式如下：

$\mathrm{Bit}=\frac{c_1\ln \left(\mathrm{SI}\right)+c_2\ln \left(\mathrm{TI}\right)+c_3}{a}{\left(\frac{V_q-1}{5-V_q}\right)}^{\frac{1}{c_4}};$

其中，V_q代表视频质量，取值范围为1～5，对应主观视频质量评价中的五级损伤等级；c1，c2，c3，c4和a为模型参数，Bit为压缩码率，SI和TI分别表示空间和时间信息；

所述模型参数c1，c2，c3，c4和a通过以下方法确定：在保证实际应用中的编码器类型、视频分辨率和帧率与主观视频质量评价材料一致情况下，运用主观质量评价结果对提出的数学模型进行最小二乘回归计算，求出针对特定应用的模型参数。