CN107105226A

CN107105226A - 一种视频质量评价装置

Info

Publication number: CN107105226A
Application number: CN201710481380.9A
Authority: CN
Inventors: 陈春东; 张昆鹏; 张文江; 彭明喜; 杨新; 王宇文; 雷晓伦; 苏静; 董霞; 林永生; 方翔; 余忠洋; 黄奎
Original assignee: Shanghai DS Communication Equipment Co Ltd
Current assignee: Shanghai DS Communication Equipment Co Ltd
Priority date: 2017-06-22
Filing date: 2017-06-22
Publication date: 2017-08-29
Anticipated expiration: 2037-06-22
Also published as: CN107105226B

Abstract

本发明公开了一种视频质量评价装置，包括：处理器，用于实现各指令；及存储器，用于存储多条指令，所述指令适用于处理器加载并执行；所述多条指令包括：接收视频码流；根据发送和接收视频码流的时间得到视频码流中各帧图像的帧延时信息；根据各帧图像的帧延时信息得到帧间相对延时信息；根据所述帧间相对延时信息得到各帧图像的延时间隔；根据各帧图像的延时间隔对视频质量进行评价。以此在评价公共安全领域的视频传输质量的过程中，不仅考虑到传输的图像质量，同时把帧图像延时因素加入评价方法内容中，从而有利于对视频发送端采用的发送协议和发送策略做出全面的评价分析。

Description

一种视频质量评价装置

技术领域

本发明涉及视频传输技术领域，尤其涉及一种视频质量评价装置。

背景技术

近些年来，随着移动网络的普及，基于网络传输的视频流媒体应用逐渐得到了广泛的应用。虽然有很多学者投入研究视频质量评价标准，但在公共安全领域的智能手机终端视频传输，作为典型的一种端到端视频业务，其视频流媒体业务的体验质量尚未引起人们的关注。由于公共安全领域的特殊性，常常处于十分糟糕的无线信道环境中，导致传输的视频极不稳定性，很大程度上影响了用户对视频流媒体业务的体验质量QoE。

视频质量评价从方法上可以分为主观质量评价和客观质量评价。其中，主观质量评价是通过观察者观测一系列的失真视频和参考视频，然后按照失真视频损伤的视觉效果给出评分。该方法劳动强度大、费时，且受到观察者背景知识，环境等因素影响，结果稳定性差，可移植性也差。实际使用时受到的限制较多。客观评价就是利用一定的数学模型对影响视频的质量各种因素进行建模，最终由计算机根据该模型客观的给出评分。

客观视频质量评价是模拟人的主观视频质量评价过程，对视频的质量进行评价，有利于对采用编码效率或优化策略好坏做出判断。由于主观视频质量评价的过程消耗的时间、人力资源较大，使用范围非常有限。相比之下，客观视频质量评估由计算机完成，在效率和使用范围具有明显的优越性。

目前，对视频传输质量的研究局限于对人眼观测图像的模型分析上，且在对视频传输质量的评判时仅考虑图像的清晰度，即传输过程中的保真度，但是，在公共安全领域中，实时视频的传输有着全天候、全地形的要求，高清晰、低延时的视频传输有利于现场情况的及时决策，延时过长的视频帧图像对现场情况的帮助非常小，可见，现有的视频传输评价方法并不适用于公共安全领域中传输视频质量的评价。

发明内容

本发明的目的是提供一种视频质量评价装置，有效解决了现有视频质量评估方法不适用于公共安全领域中对传输视频质量进行评价的技术问题。

本发明提供的技术方案如下：

一种视频质量评价装置，包括：

处理器，用于实现各指令；及

存储器，用于存储多条指令，所述指令适用于处理器加载并执行；所述多条指令包括：

接收视频码流；

根据发送和接收视频码流的时间得到视频码流中各帧图像的帧延时信息；

根据各帧图像的帧延时信息得到帧间相对延时信息；

根据所述帧间相对延时信息得到各帧图像的延时间隔；

根据各帧图像的延时间隔对视频质量进行评价。

在本技术方案中，在评价公共安全领域的视频传输质量的过程中，不仅考虑到传输的图像质量，同时把帧图像延时因素加入评价方法内容中，以此有利于对视频发送端采用的发送协议和发送策略做出全面的评价分析。

进一步优选地，在所述指令根据发送和接收视频码流的时间得到视频码流中各帧图像的帧延时信息中，包括：

解析视频码流得到接收各帧图像的时间戳信息；

根据发送各帧图像的时间戳信息和接收各帧图像的时间戳信息计算得各帧图像得到帧延时信息并存入数组arr[N+1]，其中，N为图像的帧数。

进一步优选地，在所述指令根据各帧图像的帧延时信息得到帧间相对延时信息中，所述帧间相对时延IFD[N]为：

IFD[N]＝arr[N+1]-arr[N]

其中，N为图像的帧数。

进一步优选地，在所述指令根据所述帧间相对延时信息得到各帧图像的延时间隔中包括：

获取预存的帧间相对延时信息与延时间隔之间的关联关系；

根据所述帧间相对延时信息和关联关系得到各帧图像的延时间隔。

在本技术方案中，在使用各帧图像的延时间隔对视频传输质量进行评价之前，对各帧图像的帧图像延时信息进行处理得到各帧图像的延时间隔，便于后续的评价。

进一步优选地，在所述指令根据各帧图像的延时间隔对视频质量进行评价中包括：

对发送和接收视频码流的SSIM结构相似性进行评估；

结合SSIM结构相似性评估结果和各帧图像的延时间隔对视频质量进行综合评价。

SSIM(structural similarity)结构相似性是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。DI是根据帧间间隔的延迟对图像信息的影响做的衰减因子，便于在最后的评价结果中增加整体的图像评价信息。在本技术方案中，DI与SSIM融合在一起对视频传输质量进行评价，不仅仅从图像的保真度方面描述了视频传输质量，进一步从图像的延时对用户的影响考虑，以此在公共安全领域更加全面准确的评判视频编码器和码流发送策略的优劣。

进一步优选地，在所述指令结合SSIM结构相似性评估结果和各帧图像的延时间隔对视频质量进行综合评价中，所述综合评价SDDIM为：

SDDIM＝SSIM×(1-DI)

其中，SSIM为结构相似性评估结果，DI为各帧图像的延时间隔。

根据发送和接收视频码流计算得到峰值信噪比；

结合所述峰值信噪比和各帧图像的延时间隔对视频质量进行综合评价。

进一步优选地，在所述指令结合所述峰值信噪比和各帧图像的延时间隔对视频质量进行综合评价中，所述综合评价DPSNR为：

DPSNR＝PSNR×(1-DI)

其中，PSNR为峰值信噪比，DI为各帧图像的延时间隔。

在本技术方案中，PSNR和DI的融合，能够从时效性和计算量方面极大地缩短对视频传输质量的评价，PSNR作为一种客观视频质量传输评价方法，在计算量方面具有极大的优势，尽管会出现在视频图像的描述与人眼观测的不一致情况，作为一个定性判断，与DI进行融合后，得到的关于图像延时的特征，有利于实时调整网络发送策略。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对倒置定量气雾剂阀门的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明存储器中存储指令一种实施方式示意图；

图2为本发明存储器中存储指令一实例流程示意图；

图3为本发明中如图2所示实例中对帧图像进行SDDIM质量评价的流程图；

图4为本发明存储器中存储指令另一实例流程示意图；

图5为本发明中如图4所示实例中PSNR与DI融合评价流程图；

附图标号说明：

100-视频数据获取设备，200-视频服务器，300-网关，400-视频接收端。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中的只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。

本发明了一种视频质量评价装置，包括：相互连接的处理器和存储器，其中，处理器用于实现各指令；存储器用于存储多条指令，指令适用于处理器加载并执行。

如图1所示，在一种实施方式中，该多条指令中包括：

S10接收视频码流；

S20根据发送和接收视频码流的时间得到视频码流中各帧图像的帧延时信息；

S30根据各帧图像的帧延时信息得到帧间相对延时信息；

S40根据帧间相对延时信息得到各帧图像的延时间隔；

S50根据各帧图像的延时间隔对视频质量进行评价。

在本实施方式中，视频发送端在发送视频码流的过程中，在每帧视频图像中加入发送该帧图像的时间戳信息S_i，以此，视频接收端在接收视频发送端发送的视频码流的过程中，解析出得到各帧图像，存储接收到的视频文件，并记录下接收各帧图像的时间戳信息R_i。之后，计算得到各帧图像的帧延时信息并存入数组arr[N+1]，其中，N为图像的帧数，具体帧延时信息具体为接收该帧图像的时间戳信息R_i减去发送该帧图像的时间戳信息S_i，更具体来说，这里时间戳信息以第三时间为参考基准，如网络时间。之后，根据数组arr[N+1]计算得到帧间相对延时信息，具体，该帧间相对时延IFD[N]为：IFD[N]＝arr[N+1]-arr[N](即后一帧图像的帧延时信息减去前一帧图像的帧延时信息)，其中，N为图像的帧数。

得到帧间相对延时信息之后，进一步根据帧间相对延时信息与延时间隔之间的关联关系得到各帧图像的延时间隔，具体，在该过程中，首先获取预存的帧间相对延时信息与延时间隔之间的关联关系，进而根据帧间相对延时信息和关联关系得到各帧图像的延时间隔。具体，这里的视频发送端和视频接收端可以为任意能够实现该功能的电子设备，如智能手机、平板电脑、智能摄像头等，在此不做具体限定。

在一实例中，帧间相对延时信息与延时间隔之间的关联关系如表1所示，其中，IFD为帧间相对时延，DI为各帧图像的延时间隔。

表1：

IFD(秒)	<2	3-5	6-8	9-12	13-15	>15
							DI	0	0.1	0.2	0.4	0.8	1

基于此，在一实例中，如图2所示，在根据各帧图像的延时间隔对视频质量进行评价的过程中包括：

S51对发送和接收视频码流的SSIM结构相似性进行评估；

S52结合SSIM结构相似性评估结果和各帧图像的延时间隔对视频质量进行综合评价。

我们知道，SSIM(structural similarity)结构相似性是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。基于上述描述，延时间隔DI是根据帧间间隔的延迟对图像信息的影响做的衰减因子，便于在最后的评价结果中增加整体的图像评价信息。基于此，在本实施方式中，将DI与SSIM融合在一起对视频传输质量进行评价：

在SSIM结构相似性评估中，首先根据以下公式分别计算评估因子l(X,Y)、c(X,Y)以及s(X,Y)：

其中，μ_X、μ_Y分别表示图像X和图像Y的均值(具体这里的图像X为接收端接收到视频码流中的视频图像，Y为发送端发送的视频码流中的视频图像)，σ_X、σ_Y分别表示图像X和图像Y的方差，σ_XY表示图像X和Y的协方差，即：

其中，X(i.j)表示图线X中某一点的像素值，Y(i.j)表示图线Y中某一点的像素值，H和W分别为相应图像的高度和宽度，C1、C2、C3为常数，为了避免分母为0的情况，取C1＝(K1*L)^2，C2＝(K2*L)^2，C3＝C2/2。另外，考虑到公共安全领域的实际情况，在一实例中，设置K1＝0.01，K2＝0.03，L＝255。

以此，得到结构相似性SSIM：

SSIM(X，Y)＝l(X，Y)·c(X，Y)·s(X，Y)

进一步得到综合评价SDDIM为：

SDDIM＝SSIM×(1-DI)

其中，SSIM为结构相似性评估结果，DI为各帧图像的延时间隔。具体，在[0,1]内，SDDIM越大说明视频传输的质量越好。

如图3所示为该实例中对帧图像进行SDDIM质量评价的流程图，从图中可以看出，在整个评价过程中，依次对源视频帧图像(发送端发送的视频码流中的视频图像)进行亮度和对比度观测，对失真视频帧图像(接收端接收到的视频码流中的视频图像)进行亮度和对比度观测，同时对视频传输过程中帧间延时信息进行计算，并进行IFD(帧间相对延时)观测；之后，进行源视频帧图像和失真视频帧图像之间的亮度比较、对比度比较以及结构比较，并将其结果与IFD观测得到的DI(帧间延迟)信息衰减值进行融合，实现对视频传输质量的综合评价。在该综合评价过程中，不仅仅从图像的保真度方面描述了视频传输质量(从亮度、对比度、结构三方面度量图像相似性)，还从图像的延时对用户的影响考虑，以此在公共安全领域更加全面准确的评判视频编码器和码流发送策略的优劣。

在另一实例中，如图4所示，在根据各帧图像的延时间隔对视频质量进行评价的过程中包括：

S53根据发送和接收视频码流计算得到峰值信噪比；

S54结合峰值信噪比和各帧图像的延时间隔对视频质量进行综合评价。

与全参考方法SSIM相类似，峰值信噪比(PSNR)是一种图像客观评价指标，然而它是基于对应像素点间的误差，即基于误差敏感的图像质量评价。基于此，在本实施方式中，将DI与PSNR融合在一起对视频传输质量进行评价：

在PSNR算法中，首先计算接收端接收到视频码流中的视频图像X和发送端发送的视频码流中的视频图像Y的均方误差MSE，之后进一步计算得到PSNR，具体：

其中，MSE表示图像X和图像Y的均方误差(Mean Square Error)；H和W分别为相应图像的高度和宽度；n为每像素的比特数，一般取8，即像素灰阶数为256；峰值信噪比PSNR的单位是dB，数值越大表示失真越小。

基于此，进一步得到综合评价DPSNR：

DPSNR＝PSNR×(1-DI)

其中，PSNR为峰值信噪比，DI为各帧图像的延时间隔。

如图5所示为PSNR与DI融合评价流程图，从图中可以看出，在整个评价过程中，首先基于源视频帧图像(发送端发送的视频码流中的视频图像)和失真视频帧图像(接收端接收到的视频码流中的视频图像)计算均方误差MSE，之后进一步计算峰值信噪比PSNR，于此同时对视频传输过程中帧间延时信息进行计算，并进行IFD(帧间相对延时)观测；之后，将峰值信噪比PSNR与IFD观测得到的DI(帧间延迟)信息衰减值进行融合，实现对视频传输质量的综合评价。在该评价过程中，PSNR和DI的融合，从时效性和计算量方面极大地缩短对视频传输质量的评价，PSNR作为一种客观视频质量传输评价方法，在计算量方面具有极大的优势，作为一个定性判断，与DI进行融合后，得到的关于图像延时的特征，有利于实时调整网络发送策略。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种视频质量评价装置，其特征在于，所述视频质量评价装置中包括：

处理器，用于实现各指令；及

接收视频码流；

根据各帧图像的帧延时信息得到帧间相对延时信息；

根据所述帧间相对延时信息得到各帧图像的延时间隔；

根据各帧图像的延时间隔对视频质量进行评价。

2.如权利要求1所述的视频质量评价装置，其特征在于，在所述指令根据发送和接收视频码流的时间得到视频码流中各帧图像的帧延时信息中，包括：

解析视频码流得到接收各帧图像的时间戳信息；

3.如权利要求2所述的视频质量评价装置，其特征在于，在所述指令根据各帧图像的帧延时信息得到帧间相对延时信息中，所述帧间相对时延IFD[N]为：

IFD[N]＝arr[N+1]-arr[N]

其中，N为图像的帧数。

4.如权利要求1-3任意一项所述的视频质量评价装置，其特征在于，在所述指令根据所述帧间相对延时信息得到各帧图像的延时间隔中包括：

获取预存的帧间相对延时信息与延时间隔之间的关联关系；

5.如权利要求1-3任意一项所述的视频质量评价装置，其特征在于，在所述指令根据各帧图像的延时间隔对视频质量进行评价中包括：

对发送和接收视频码流的SSIM结构相似性进行评估；

6.如权利要求5所述的视频质量评价装置，其特征在于，在所述指令结合SSIM结构相似性评估结果和各帧图像的延时间隔对视频质量进行综合评价中，所述综合评价SDDIM为：

SDDIM＝SSIM×(1-DI)

7.如权利要求1-3任意一项所述的视频质量评价装置，其特征在于，在所述指令根据各帧图像的延时间隔对视频质量进行评价中包括：

根据发送和接收视频码流计算得到峰值信噪比；

8.如权利要求7所述的视频质量评价装置，其特征在于，在所述指令结合所述峰值信噪比和各帧图像的延时间隔对视频质量进行综合评价中，所述综合评价DPSNR为：

DPSNR＝PSNR×(1-DI)

其中，PSNR为峰值信噪比，DI为各帧图像的延时间隔。