CN104661021A - 一种视频流的质量评估方法和装置 - Google Patents

Abstract

本发明提供一种视频流的质量评估方法和装置。所述视频流的质量评估方法包括：获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号；根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。本发明能够不增加网络传输负担的情况下，实现分别针对视频流的不同处理阶段的视频客观质量的全参考评估。

Description

一种视频流的质量评估方法和装置

技术领域

本发明涉及通讯领域的多媒体通信技术，特别涉及一种视频流的质量评估方法装置。

背景技术

目前，随着互联网和移动通信网络的飞速发展，人们对视频业务的需求不断增加，视频监控、视频会议、在线视频播放等业务日益壮大。各类视频处理与传输系统所共有的基本特征是:将一个节点产生的视频流通过网络传输到另一个节点。其中影响视频流质量的环节包括视频流的产生、传输和重建阶段。由于原始视频信源数据量巨大，视频流的产生阶段通常采用有损压缩标准大幅降低需传输的数据量，同时会带来视频质量的下降；网络传输过程中的网络丢包、时延、抖动等问题同样会带来视频质量的下降；另外,在视频流重建阶段，终端设备的显示质量和光照环境等因素也对视频质量有所影响。由于上述各种类型的视频降质因素各不相同，给视频接收端的视频质量评估带来了很大困难。

目前对视频质量进行的评估方法根据是否由人眼观测给出评估结论划分，可分为视频主观质量评估方法(Video Subjective Quality Assessment，简称VSQA)和视频客观质量评估方法(Video Objective Quality Assessment，简称VOQA)。

视频主观质量评估就是在测试者根据国际标准(如ITU-R BT 500)规定的测试环境下播放一系列的测试视频序列，让受测者对这些测试视频序列的质量给出主观评分。由于测试视频序列给出的主观评分都是测试视频在人眼视觉下的感受值，因此主观评估的结果被认为是准确的。然而主观评估的过程是比较繁琐的、耗时的，而且评估所得的测试结果也没有扩展性，因此无法用于对于实时性有较高要求的领域。

视频客观质量评估通过对原始视频序列和测试视频序列的分析搭建合适的数学模型，然后提取表征视频损伤的关键数据参数，将这些参数作为客观视频质量的评估值，该方法操作简单快速，可以满足实时性的需求，获得了广泛应用。

视频客观质量评估方法又分为全参考类型的视频质量评估方法、部分参考类型的视频质量评估方法和无参考类型的视频质量评估方法。全参考类型和部分参考类型的视频质量评估方法通常需要参考原始视频序列的所有信息或部分信息，而在实际应用中，接收端往往很难获得原始视频序列的信息。无参考类型的视频质量评估方法不需要传输原始视频序列的任何信息，可直接根据接收端接收到的视频码流的某些失真特征估计出视频失真的程度，这一类型的方法尚处于研究阶段，并不能精确地获得真实视频失真程度，其应用具有一定局限性。

在各类网络视频业务的实际应用中，需要的是一种易于配置，简单高效，同时能够分别精确检测视频流的产生、传输和重建阶段视频客观质量的评估方法。

发明内容

本发明要解决的技术问题是，提供一种视频流的质量评估方法和装置，能够不增加网络传输负担的情况下，实现分别针对视频流的不同处理阶段的视频客观质量的全参考评估。

所述视频流的质量评估方法包括：

获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号；

根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；

根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；

根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。

本发明还提供一种视频流的质量评估方法，包括：

获取原始视频序列、所述原始视频序列对应的序列标识以及所述原始视频序列对应的一图像序列号；

根据所述序列标识和所述图像序列号，生成所述原始视频序列对应的原始压缩视频流。

本发明还提供一种视频流的质量评估装置，包括：

第一获取单元，获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号；

第二获取单元，根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；

第三获取单元，根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；

第一评估单元，根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。

本发明还提供一种视频流的质量评估装置，包括：

获取单元，获取原始视频序列、所述原始视频序列对应的序列标识以及所述原始视频序列对应的一图像序列号；

生成单元，根据所述序列标识和所述图像序列号，生成所述原始视频序列对应的原始压缩视频流。

本发明的上述技术方案的有益效果如下：

本发明能够在不增加网络传输负担的情况下，在接收端识别对应的压缩视频码流和原始视频序列，从而实现分别针对视频流的不同处理阶段的视频客观质量的全参考评估，具有应用灵活、精度较高、评价客观等特点，可广泛应用于视频领域。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面结合附图和实施实例对本发明作进一步说明。显然，本发明所描述的实施例是本发明的一部分实施例，基于本发明所描述的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的视频流的质量评估方法的流程示意图；

图2为本发明实施例提供的视频流的质量评估装置的连接示意图；

图3为本发明实施例提供的一种视频码流客观质量评估的装置示意图；

图4为本发明实施例提供的一种视频流产生单元的方法示意图；

图5为本发明实施例提供的一种视频采集与帧信息识别单元的方法示意图；

图6为本发明实施例提供的一种视频流客观质量计算单元的方法示意图；

图7为本发明实施例提供的一种针对视频流传输质量评估的应用场景示意图；

图8为本发明实施例提供的一种针对视频编码设备压缩质量评估的应用场景示意图。

图9为本发明实施例提供的一种针对视频流重建质量评估的应用场景示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

如图1所示，为本发明提供一种视频流的质量评估方法，包括：

步骤11，获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号。也就是说，每个视频序列都是一系列的视频图像构成的，按一定帧率播放就会形成活动图像。本发明具有多个原始视频序列，不同的原始视频序列对应不同的序列标识。同一原始视频序列对应不同的视频图像，同一原始视频序列的不同视频图像对应不同的图像序列号。

其中，所述对原始视频序列进行的处理包括：对所述原始视频序列的编码处理；或者，对所述原始视频序列生成的原始压缩视频流的传输处理；或者，对接收的根据所述原始视频序列生成的原始压缩视频流的解码处理。相应的，步骤11为：步骤11A,接收所述原始压缩视频流经过传输处理的视频，作为第一压缩视频流；或者,步骤11B,接收所述原始压缩视频流经过解码处理的视频，作为第一压缩视频流；或者,步骤11C,采集对所述原始压缩视频流显示的视频，作为第一压缩视频流。以处理为传输处理为例，原始视频序列和对应的原始压缩视频流位于发送端，第一视频序列和对应的第一压缩视频流位于接收端。

步骤12，根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；

步骤13，根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；

步骤14，根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。

所述的方法，还包括：

步骤15，获取所述第一压缩视频流对应的第一视频序列；步骤15具体为：

步骤15A，对所述第一压缩视频流进行解码，生成第一视频序列；或者

步骤15B，采集对所述原始压缩视频流显示的视频，生成第一视频序列。

步骤16，根据所述第一视频序列和所述原始视频序列，对所述第一视频序列的视频质量进行评估。

可选的，步骤16之前，所述方法还包括：

步骤16A,判断所述第一视频序列是否有丢帧：

步骤16B,如有丢帧，则补齐丢失的视频帧，生成补帧后的第一视频序列；

步骤16具体为：根据补帧后的所述第一视频序列和所述原始视频序列，对补帧后的所述第一视频序列的视频质量进行评估。

在一个实施例中，步骤12包括：

步骤121A,提取所述第一压缩视频流携带的序列标识；

步骤122A,根据所述序列标识与原始视频序列之间的对应关系，获取所述序列标识对应的原始视频序列。

在另一个实施例中，步骤12包括：

步骤121B,提取所述第一压缩视频流携带的序列标识；

步骤122B,根据所述序列标识，生成所述序列标识对应的原始视频序列。

在一个实施例中，步骤13包括：

步骤131A,提取所述第一压缩视频流携带的序列标识和图像序列号；

步骤132A,根据所述序列标识和图像序列号与原始压缩视频流之间的对应关系，获取所述序序列标识和图像序列号对应的原始压缩视频流。

在另一个实施例中，步骤13包括：

步骤131B,提取所述第一压缩视频流携带的序列标识和图像序列号；

步骤131B,在所述原始视频序列的帧上叠加所述序列标识和所述图像序列号，生成原始压缩视频流。

步骤14步骤具体为：步骤141，根据所述第一压缩视频流与所述原始压缩视频流，计算所述第一压缩视频流相对于所述原始压缩视频流的视频丢包率.

或者,步骤14步骤具体为:步骤142，根据所述第一压缩视频流与所述原始压缩视频流，计算所述第一压缩视频流相对于所述原始压缩视频流的视频信源误码率。

步骤141具体为：

步骤142具体为：

错误比特数的计算方法是：第一压缩视频流和原始压缩视频流直接相互比较后即可确定错误bit数量有多少，比较方法为：比较对应两个二进制文件中间不一样的比特个数。

步骤16具体为：步骤161，所述根据所述第一视频序列和所述原始视频序列，计算所述第一视频序列相对于所述原始视频序列的均方误差；

或者，步骤16具体为：步骤162，所述根据所述第一视频序列和所述原始视频序列，计算所述第一视频序列相对于所述原始视频序列的峰值信噪比；

或者，步骤16具体为：步骤163，所述根据所述第一视频序列和所述原始视频序列，计算所述第一视频序列相对于所述原始视频序列的结构相似均值。

步骤161具体为：

$\mathrm{MSE}=\frac{1}{\mathrm{NM}}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[X(i,j)-Y{(i,j)}^2]---\left(3\right);$

其中，方误差；所述第一压缩视频流的帧分辨率为M像素×N像素，X(i，j)为所述原始视频序列的其中一帧图像在点(i,j)处的像素值；Y(i，j)表示所述一帧图像在所述第一视频序列中的对应帧图像在点(i,j)处的像素值；像素值可以为灰度或者色差。

步骤162具体为：

$\mathrm{PSNR}=10\log \left[\frac{N\×M\×E^2}{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[X(i,j)-Y{(i,j)}^2]}\right]---\left(4\right)$

其中，PSNR为峰值信噪比，所述第一压缩视频流的帧分辨率为M像素×N像素，X(i,j)为所述原始视频序列的其中一帧图像在点(i,j)处的像素值；Y(i,j)表示所述一帧图像在所述第一视频序列中的对应帧图像在点(i,j)处的像素值；E是所述第一压缩视频流在预订比特的采样条件下的峰值幅度；

步骤163具体为：

$\mathrm{MSSIM}=\frac{1}{M}\underset{k=0}{\overset{M}{\mathrm{\Σ}}}\mathrm{SSIM}(x_k,y_k)---\left(5\right);$

其中，SSIM为结构相似度参数，k为所述第一视频序列的其中一帧图像的局部窗口的序号；M是所述第一视频序列的其中一帧图像的局部窗口的总个数；xk和yk是第k个局部窗口的视频帧的内容；内容是窗口内所有数字图像的统称。

SSIM根据以下公式计算；

SSIM＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ    (6)；

其中，α，β，γ>0，分别是亮度比较函数l(x,y)、对比度比较函数c(x,y)和结构信息比较函数s(x,y)的加权系数；

$l(x,y)=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+C_1}{{{\mathrm{\μ}}_x}^2+{{\mathrm{\μ}}_y}^2+C_1},C_1={\left(K_{1}L\right)}^2---\left(7\right);$

$c(x,y)=\frac{2{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{{\mathrm{\σ}}_x}^2+{{\mathrm{\σ}}_y}^2+C_2},C_2={\left(K_{2}L\right)}^2---\left(8\right);$

$s(x,y)=\frac{{\mathrm{\σ}}_{\mathrm{xy}}+C_3}{{\mathrm{\σ}}_{\mathrm{xy}}+C_3},C_3=C_2/2---\left(9\right);$

其中，表示原始视频序列的平均亮度；N为原始视频序列的总帧数。

表示第一视频序列的平均亮度；

表示原始视频序列的标准差，

表示第一视频序列的标准差；

表示原始视频序列和第一视频序列的协方差；

C₁、C₂、C₃为常数；

K₁、K₂<<1，L表示像素值的动态变化范围。

如图2所示，本发明还提供一种视频流的质量评估装置，包括：

第一获取单元21，获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号；

第二获取单元22，根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；

第三获取单元23，根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；

第一评估单元24，根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。

所述的装置，还包括：

第四获取单元25，获取所述第一压缩视频流对应的第一视频序列；

第二评估单元26，根据所述第一视频序列和所述原始视频序列，对所述第一视频序列的视频质量进行评估。

所述第一获取单元21包括：

传输模块，接收所述原始压缩视频流经过传输处理的视频，作为第一压缩视频流；

解码模块，接收所述原始压缩视频流经过解码处理的视频，作为第一压缩视频流；或者

第一采集模块，采集对所述原始压缩视频流显示的视频，作为第一压缩视频流。

述第四获取单元25包括：

解码模块，对所述第一压缩视频流进行解码，生成第一视频序列；或者

第二采集模块，采集对所述原始压缩视频流显示的视频，生成第一视频序列。

所述第二获取单元22包括：

第一提取模块，提取所述第一压缩视频流携带的序列标识；

第一获取模块，根据所述序列标识与原始视频序列之间的对应关系，获取所述序列标识对应的原始视频序列。

可选的，所述第二获取单元22包括：

第二提取模块，提取所述第一压缩视频流携带的序列标识；

第一生成模块，根据所述序列标识，生成所述序列标识对应的原始视频序列。

所述第三获取单元23包括：

第三提取模块，提取所述第一压缩视频流携带的序列标识和图像序列号；

第二获取模块，根据所述序列标识和图像序列号与原始压缩视频流之间的对应关系，获取所述序序列标识和图像序列号对应的原始压缩视频流。

可选的，所述第三获取单元23包括：

第四提取模块，提取所述第一压缩视频流携带的序列标识和图像序列号；

第二生成模块，在所述原始视频序列的帧上叠加所述序列标识和所述图像序列号，生成原始压缩视频流。

本发明实施例通过不同的配置方式，能够在不增加网络传输负担的情况下，在接收端识别对应的压缩视频码流和原始视频序列，从而实现分别针对视频流的产生、传输和重建阶段的视频客观质量的全参考评估，具有应用灵活、精度较高、评价客观等特点，可广泛应用于视频领域。

以下描述本发明的方法的应用场景。

如图4所示，本发明提供一种测试专用的视频流(等同于上述的原始压缩视频流)的生成方法，包括：

首先，将原始视频测试序列(等同于上述的原始视频序列)依据镜头运动特征划分为静止、快速移动、慢速移动和缩放四种类型，并对所有序列进行字母编号(等同于上述的序列标识)，测试序列数量和编码控制参数可依具体测试环境决定。

然后，依据选取的视频压缩方式和参考帧结构，对所述单个测试序列的图像序列号(Picture Order Count，简称POC)进行字母编号(等同于上述的图像序列号)，并在每一个原始视频帧的特定位置上(可根据实际情况确定位置)叠加序列字母编号和POC编号。

选择所需的视频压缩标准，并根据标准推荐的编码参数表(主要包括档次级别、量化步长和预设值的码率等编码控制参数)，生成测试专用的压缩视频流，同时记录所生成的视频流的平均峰值信噪比和码率。

本发明实施例还提供了一种视频码流客观质量的全参考评估装置，可供在需相互进行视频通信的两个用户端测试使用。包括：视频流产生单元、视频流接收与分析单元、视频流重建与显示单元、视频采集与帧信息识别单元和视频客观质量计算单元。其中，视频流产生单元连接视频流重建与显示单元、视频客观质量计算单元；视频流接收与分析单元连接视频流重建与显示单元；视频流重建与显示单元连接视频采集与帧信息识别单元；视频采集与帧信息识别单元连接视频客观质量计算单元；视频客观质量计算单元连接视频流产生单元。

在发送端和接收端同时部署的视频流产生单元，产生测试专用压缩视频流；

视频流接收与分析单元，在接收端接收到视频流后，提取视频流中的网络抽象层单元(Network Abstract Layer Unit，简称NALU)中的编码档次级别、量化步长、预设值的码率参数控制参数和POC等参数进行分析，同时可根据接收到的参数同步产生与当前接收的视频流一致的压缩视频流，以供视频流客观质量计算单元使用；

视频流重建与显示单元，完成视频流的解码与显示功能；

视频采集与帧信息识别单元，通过对视频显示单元的采集与指定区域的图像信号识别，收集本地采集的视频序列，以及识别当前接收视频序列编号和POC编号，以供视频客观质量计算单元使用；

视频客观质量计算单元，通过对当前接收到的视频流的检测和识别，在接收端利用视频流产生单元同步产生一致性视频流，以供视频客观质量评估计算；或者，直接提取存储在接收端的一致性视频流与原始视频数据，以供视频客观质量评估计算；同时，也可利用一致性视频码流，计算信道传输时视频码流的丢包率、误码率等客观质量指标。

本发明产生的有益效果是：

一方面，本发明首先将视频序列的类型信息和对应图像序列号直接叠加，作为测试视频序列图像的一部分，方便了在接收端的视频信息识别；同时，在不需单独传输原始视频流且不会增加网络传输负担的情况下，可实现全参考条件下的视频流客观质量检测。

另一方面，本发明所公布的装置同时具备原始视频流输出、压缩视频流输出和接收视频流输入处理功能，因而可单独测试单个视频通信节点；或者，同时测试多个视频通信节点，可单独针对视频流的产生、传输和重建阶段配置测试环境，具有较灵活的配置方式。

另一方面，本发明可以客观定量分析视频压缩、传输和重建过程中所引入的视频质量降质，避免了主观测试方法引入的主观性；同时，可采用权威客观评估指标来精确描述视频流质量和视频传输系统的可靠性。本发明不仅仅适用于各类视频通信系统，而且也可以用于视频采集、编码系统的设备评估。

以下描述本发明的实施例。

实施例一：

本实施例是一种精确检测通过网络传输后的视频流客观质量的方法，所述方法使用的硬件系统包括：在发送端，本发明实施例所述的视频码流客观质量评估装置与视频码流发送装置连接，如图7所示；在接收端，视频码流接收装置与本发明实施例所述的视频码流客观质量评估装置连接，如图7所示。

如附图7与附图4所示，本实施例所述方法的基本原理是：

在发送端，首先，决定当前测试所用视频类别与具体序列，同时根据所选择的视频压缩方法选择对应编码控制参数；

然后，利用视频码流客观质量评估装置的视频流产生单元选取对应原始视频序列，并产生视频序列编号与图像序列号，叠加到原始视频序列上，再用相应视频编码器压缩成测试专用压缩视频流。

为节约视频流产生时间，也可事先按确定参数将各类型原始视频序列压缩成各类型视频流存放，在使用时直接根据视频编码控制参数选取对应视频流输出，最终利用视频流发送装置将不少于10s的测试专用压缩视频流循环送入网络传输。循环发送时间可根据具体测试要求决定，传输格式与协议可根据具体网络物理层传输协议决定。

本发明所述方法可适应以下情况；在接收端，首先利用视频流接收装置接收并依据具体网络传输协议还原成视频解码器可处理的视频流序列；

然后，将其送入视频码流客观质量评估装置处理。其中，视频流接收与分析单元提取视频码流的NALU单元并分析提取视频流的基本参数，如帧类型、POC号、视频分辨率和量化步长等以供后续分析使用；

视频流重建与显示单元解码并存储接收到的压缩视频流并输送至显示设备播放；

视频采集与帧信息识别单元采集并存储显示设备上播放的解码视频，并提取指定位置的信息字符获得解码视频类型与POC号，以供后续分析使用；

视频客观质量计算单元根据前述各单元输出的视频流参数与各类型视频序列，提取视频流产生单元中对应的原始视频序列与压缩视频流，并计算输出视频流客观质量评估结果。

如图5所示，其中，所述提取对应原始视频序列与压缩视频流的方法包括：二进制码流比较法和视频帧信息提取法。两类方法可根据检测环境的配置单独使用或一起使用以相互验证。

其中，二进制码流比较法需在接收端事先已将各类型原始视频序列压缩成各类型视频流存放；或，在获得接收视频流类型和编码参数后，调用接收端视频流生成单元生成对应压缩视频流。具体为：二进制码流比较法利用视频流接收与分析单元提取的参数，限定视接收端压缩视频流分析的范围。当获得一个不少于10s的测试专用压缩视频流的码流结构后，视频客观质量计算单元利用二进制比较器，将该码流的每个NALU单元与接收端存放的压缩视频流进行比较，获得与接收到的视频码流相匹配的压缩视频流，据此提取对应原始视频序列与压缩视频流以供视频客观质量计算使用，该方法较精确。

视频帧信息提取法则直接从解码视频序列中提取视频流类型和图像序列号。具体为：视频帧信息提取法提取视频帧上指定位置叠加的视频序列编号字母图像，与字符特征库中的字母特征进行相关匹配，以确定字母信息与对应的序列编号，据此提取对应原始视频序列与压缩视频流，以供视频客观质量计算使用。该方法易受网络丢包后引发的视频降质影响，若读取不准确，则需通过延长观测时间待网络恢复稳定后获得准确的识别结果。

其中，所述根据接收到的压缩视频流与提取的对应原始视频序列计算视频客观质量的步骤包括：

从接收到的一个不少于10s的压缩视频流单元中解码产生视频序列；

判断前述单元提取的POC号分析压缩视频流中有无丢包产生；

若有丢包情况，则需在解码视频序列中补齐所丢失的视频帧。补齐方法可用直接用帧拷贝法或运动补偿法。帧拷贝法直接将前一视频帧拷贝至当前丢失的视频帧位置；运动补偿法根据前后帧的运动补偿关系补全当前丢失帧位置的信息。

如图6所示，当解码视频序列补齐后，即可计算其与对应原始视频序列之间的客观误差。可采用均方误差(Mean Squared Error,简称MSE)、峰值信噪比(Peak Signal to Noise Ratio,简称PSNR)与结构相似均值(MeanStructural Similarity Index Method,简称MSSIM)等全参考视频客观质量评估参数。

假设视频帧分辨率为M×N(像素)，X表示原始视频序列，Y表示解码视频序列，则上述评估参数可分别计算如下：

MSE可按公式(10)获得：

$\mathrm{MSE}=\frac{1}{\mathrm{NM}}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}[X(i,j)-Y{(i,j)}^2]---\left(10\right)$

其中，X(i，j)为原始视频序列某一帧图像在点(i,j)处的像素值，Y(i，j)表示解码视频序列对应帧的图像在点(i,j)处的像素值。

PSNR可按公式(11)获得：

$\mathrm{PSNR}=10\log \left[\frac{N\&times;M\&times;{255}^2}{\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}[X(i,j)-Y{(i,j)}^2]}\right]---\left(11\right)$

其中X(i,j)为原始视频序列某一帧图像在点(i,j)处的像素值，Y(i,j)表示解码视频序列对应帧的图像在点(i,j)处的像素值，255是视频信号在8bit的采样条件下的峰值幅度。

MSSIM可按公式(12)、(13)、(14)、(15)、(16)获得：

首先，计算结构相似度参数(Structural Similarity Index Method,简称SSIM)，计算表达式如下：

SSIM＝[l(x,y)]^α·[c(x,y)]^β·[s(x,y)]^γ        (12)

其中，α，β，γ>0，分别是亮度比较函数l(x,y)、对比度比较函数c(x,y)和结构信息比较函数s(x,y)的加权系数。这三个函数的计算表达式如下：

$l(x,y)=\frac{2{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1}{{{\mathrm{\&mu;}}_x}^2+{{\mathrm{\&mu;}}_y}^2+C_1},C_1={\left(K_{1}L\right)}^2---\left(13\right)$

$c(x,y)=\frac{2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_2}{{{\mathrm{\&sigma;}}_x}^2+{{\mathrm{\&sigma;}}_y}^2+C_2},C_2={\left(K_{2}L\right)}^2---\left(14\right)$

$s(x,y)=\frac{{\mathrm{\&sigma;}}_{\mathrm{xy}}+C_3}{{\mathrm{\&sigma;}}_{\mathrm{xy}}+C_3},C_3=C_2/2---\left(15\right)$

其中，表示原始视频序列的平均亮度，表示解码视频序列的平均亮度；表示原始视频序列的标准差， ${\mathrm{\&sigma;}}_y={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(x_i-{\mathrm{\&mu;}}_y)}^2\right)}^{1/2}$ 表示解码视频序列的标准差； ${\mathrm{\&sigma;}}_{\mathrm{xy}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(x_i-{\mathrm{\&mu;}}_y)(y_i-{\mathrm{\&mu;}}_y)$ 表示原始视频序列和解码视频序列的协方差；C₁、C₂、C₃为常数，K₁、K₂<<1。L表示像素值的动态变化范围。当L＝255，说明视频图像是8位图像。

整个视频帧的质量评估值用结构相似均值(MSSIM，Mean StructuralSimilarity)来表示：

$\mathrm{MSSIM}=\frac{1}{M}\underset{k=0}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{SSIM}(x_k,y_k)---\left(16\right)$

其中M是视频一帧图像中局部窗口(局部窗口的大小为8X8)的个数，x_k和y_k是第k个局部窗口视频帧的内容。

所述根据接收到的压缩视频流与提取的对应本地存储的压缩视频流计算视频网络传输质量的步骤具体为：根据前述单元在一个不少于10s的压缩视频流单元中提取的POC号，分析接收到的压缩视频流中有无丢包产生。可按(17)式计算视频网络传输中的丢包率：

同时，可按(18)式计算视频压缩信源在网络传输中的误码率：

由于在网络传输过程中，网络状态并不稳定，为保证测试结果准确，可将循环进行大量测试，将大量不少于10s的压缩视频流单元中解码产生视频序列的上述客观质量评估结果进行算术平均后输出。

实施例二：

本实施例是一种精确检测视频通信系统中视频编码器的压缩质量的评估方法。所述方法使用的硬件系统包括：本发明实施例所述的视频码流客观质量评估装置与视频编码器装置连接，如附图8所示。

如附图8和附图3所示，实施例所述方法包括：

首先，由视频码流客观质量评估装置中的视频流产生单元依据输入的测试视频类别与参数，生成原始视频序列；

然后，将该序列送入待评测的视频编码设备中生成压缩视频流；

然后，将压缩视频流送回至视频码流客观质量评估装置，由视频流接收与分析单元和视频流重建与显示单元处理后，生成解码视频序列。

最后，由视频客观质量计算单元参考原始视频序列和解码视频序列，计算MSE、PSNR与MSSIM等全参考视频客观质量评估参数。

上述方法可以较方便的实现对视频通信系统中视频流生成阶段的视频编码器的压缩质量评估。

实施例三：

本实施例是一种精确检测视频通信系统中视频码流重建阶段中，视频播放与显示设备的视频重建质量的评估方法。所述方法使用的硬件系统包括：本发明实施例所述的视频码流客观质量评估装置与独立的播放与显示装置连接，如附图9所示。

如附图9图3所示，本实施例所述方法包括：

首先，由视频码流客观质量评估装置中的视频流产生单元依据输入的测试视频类别与参数，产生原始视频序列；

然后，将该序列送入视频流重建与显示单元，由该单元控制外部独立的视频播放与显示装置播放原始视频序列；

然后，利用视频采集与帧信息识别单元采集、识别并存储从外部独立的视频播放与显示装置中获取的视频序列；

最后，由视频客观质量计算单元参考原始视频序列和存储的播放视频序列计算MSE、PSNR与MSSIM等全参考视频客观质量评估参数。

上述在视原始视频序列产生过程中叠加视频编号与图像序列号，在视频客观质量评估可实现采集视频序列与原始视频序列的识别与对齐，从而可以较方便的实现对视频通信系统中视频重建阶段生成的视频质量评估。

本发明还提供一种视频流的质量评估方法，可以应用于发送端，包括：

获取原始视频序列、所述原始视频序列对应的序列标识以及所述原始视频序列对应的一图像序列号；

根据所述序列标识和所述图像序列号，生成所述原始视频序列对应的原始压缩视频流。

所述根据所述序列标识和所述图像序列号，生成所述原始视频序列对应的原始压缩视频流的步骤具体为：

在所述原始视频序列的帧上叠加所述序列标识和所述图像序列号，生成原始压缩视频流。

本发明还提供一种视频流的质量评估装置，可以设置在发送端，包括：

获取单元，获取原始视频序列、所述原始视频序列对应的序列标识以及所述原始视频序列对应的一图像序列号；

生成单元，根据所述序列标识和所述图像序列号，生成所述原始视频序列对应的原始压缩视频流。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频流的质量评估方法，其特征在于，包括：

获取对原始视频序列进行处理而生成的第一压缩视频流；所述第一压缩视频流携带所述原始视频序列对应的序列标识和图像序列号；

根据所述序列标识，获取所述第一压缩视频流对应的所述原始视频序列；

根据所述序列标识和图像序列号，获取所述原始视频序列对应的原始压缩视频流；

根据所述第一压缩视频流与所述原始压缩视频流，对所述第一压缩视频流的视频质量进行评估。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取所述第一压缩视频流对应的第一视频序列；

根据所述第一视频序列和所述原始视频序列，对所述第一视频序列的视频质量进行评估。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一视频序列和所述原始视频序列，对所述第一视频序列的视频质量进行评估的步骤之前，所述方法还包括：

判断所述第一视频序列是否有丢帧：如有丢帧，则补齐丢失的视频帧，生成补帧后的第一视频序列；

所述根据所述第一视频序列和所述原始视频序列，对所述第一视频序列的视频质量进行评估的具体为：根据补帧后的所述第一视频序列和所述原始视频序列，对补帧后的所述第一视频序列的视频质量进行评估。

4.根据权利要求1所述的方法，其特征在于，所述对原始视频序列进行的处理包括：

对所述原始视频序列的编码处理；

对所述原始视频序列生成的原始压缩视频流的传输处理；或者

对接收的根据所述原始视频序列生成的原始压缩视频流的解码处理。

5.根据权利要求1所述的方法，其特征在于，所述获取对原始视频序列进行处理而生成的第一压缩视频流的步骤为：

接收所述原始压缩视频流经过传输处理的视频，作为第一压缩视频流；

接收所述原始压缩视频流经过解码处理的视频，作为第一压缩视频流；或者

采集对所述原始压缩视频流显示的视频，作为第一压缩视频流。

6.根据权利要求2所述的方法，其特征在于，所述获取所述第一压缩视频流对应的第一视频序列的步骤具体为：

对所述第一压缩视频流进行解码，生成第一视频序列；或者

采集对所述原始压缩视频流显示的视频，生成第一视频序列。

7.根据权利要求1所述的方法，其特征在于，所述根据所述序列标识，获取所述第一压缩视频流对应的原始视频序列的步骤包括：

提取所述第一压缩视频流携带的序列标识；

根据所述序列标识与原始视频序列之间的对应关系，获取所述序列标识对应的原始视频序列。

8.根据权利要求1所述的方法，其特征在于，所述根据所述序列标识，获取所述第一压缩视频流对应的原始视频序列的步骤包括：

提取所述第一压缩视频流携带的序列标识；

根据所述序列标识，生成所述序列标识对应的原始视频序列。

9.根据权利要求1所述的方法，其特征在于，所述根据所述序列标识和图像序列号，获取所述第一压缩视频流对应的原始压缩视频流的步骤包括：

提取所述第一压缩视频流携带的序列标识和图像序列号；

根据所述序列标识和图像序列号与原始压缩视频流之间的对应关系，获取所述序序列标识和图像序列号对应的原始压缩视频流。

10.根据权利要求1所述的方法，其特征在于，所述获取所述第一压缩视频流对应的原始压缩视频流的步骤：

提取所述第一压缩视频流携带的序列标识和图像序列号；

在所述原始视频序列的帧上叠加所述序列标识和所述图像序列号，生成原始压缩视频流。