CN106888376A - 基于丢包分析的多级联网监控视频质量实时评价方法 - Google Patents

Abstract

本发明提供一种基于丢包分析的多级联网监控视频质量实时评价方法，将丢包检测技术与视频压缩技术特点相结合，通过评估丢包的时空分布对于压缩视频还原的影响大小，对视频图像质量进行实时评价。本发明的视频质量评价方法有以下指标组成：（1）丢包关键帧比例；（2）头部丢包关键帧比例；（3）关键帧平均丢包率；计算公式如下：视频质量评价指标=HLIR×R1+LIR×R2+LIER×R3+LER；其中各参数如下：HLIR：头部丢包关键帧比例；LIR：丢包关键帧比例；LIER：关键帧平均丢包率；LER：平均丢包率（即传统丢包率）。本发明对于大型视频联网系统中掌握大量视频的动态质量状况具有非常重要的意义。

Description

基于丢包分析的多级联网监控视频质量实时评价方法

技术领域

本发明涉及一种视频质量的快速评估方法，针对多级联网的监控视频，属于视频监控技术领域。

背景技术

视频监控（安防行业）发展多年，各地公安部门、交通部门等公共部门在公路、公共场所、室内安装部署了大量的视频监控设备。随之而来的就是联网的需要。近年来随着以国标GBT28181为代表的一批视频联网标准的公布，各公共部门及跨部门、跨区域的视频联网飞速发展。

发展也带来了新的问题，由于管理与安全需要，各部门的网络结构往往相当复杂，特别是跨部门、跨区域的联网，由此造成了视频联网中多级联网、层层转发的现状。

图1是公安视频联网的典型架构；如此复杂的路由、多层次的转发很容易由于数据传输丢包产生视频质量问题，尤其是国标GBT28181等主流视频联网标准多基于不可靠信息传输的UDP协议，更容易发生丢包。事实上，丢包问题已经是视频联网中主要视频质量问题。

图像质量评价方法包括主观评价方法与客观评价方法，主观评价（即人工分析）效率低下，无法用于大量视频的实时分析。而传统的客观评价方法须对前后图像进行比较分析，通过信噪比，均方误差等方式进行评价。

这一方面具体项目工程中难以实时提供前后图像进行比较，另一方面对于图像的识别分析需要配置大量专门的图像检测设备，代价过于高昂。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种基于丢包分析的多级联网监控视频质量实时评价方法，本发明针对视频多级联网下视频质量问题主要由丢包引起的特点，将丢包检测技术与视频压缩技术特点相结合，通过评估丢包的时空分布对于压缩视频还原的影响大小，对视频图像质量进行实时评价。本发明采用的技术方案是：

一种基于丢包分析的多级联网监控视频质量实时评价方法，通过评估丢包的时空分布对于压缩视频还原的影响大小，对视频质量进行实时评价。

本发明重点在通过关键帧丢包的状况评价视频质量。

该视频质量实时评价方法采用一个视频质量评价指标进行评价；

当视频编码标准为H.264及以上版本时，公式如下：

视频质量评价指标 = HLIR×R1 + LIR×R2 + LIER×R3+ LER

当视频编码标准为H.264以下版本时，公式如下：

视频质量评价指标 = LIR×R2 + LIER×R3+ LER

其中各参数如下：

HLIR：头部丢包关键帧比例；定义为一段视频片段中存在丢包现象而且是前半部分丢包的关键帧比例；

LIR：丢包关键帧比例；定义为一段视频片段中存在丢包现象的关键帧在所有关键帧中的比例；

LIER：关键帧平均丢包率；定义为一段视频片段中位于关键帧上的丢包比例；

LER：平均丢包率即传统丢包率；

R1、R2、R3为加权系数。

R1、R2、R3是经验值，满足以下条件的情况下自行调节：

R3>1，表明关键帧平均丢包率对视频质量的影响大于平均丢包率；

R2>R3，表明丢包关键帧比例对于视频质量的影响大于关键帧平均丢包率；

R1>R2，表明头部丢包关键帧比例对于视频质量的影响大于丢包关键帧比例。

进一步地，关键帧通过历史经验法进行识别：在视频码流周期性的时间段内特定范围内连续选定的一个或多个RTP包构成视频的关键帧。

或者，

关键帧通过实时检测法进行识别：将确定数量的RTP包组成一个完整的视频帧，或将一串连续相同长度的RTP包和该串连续相同长度RTP包之后的一个RTP包组成一个完整的视频帧；将组成的完整视频帧的长度与一个长度阈值比较，超过长度阈值即判定为是一个关键帧。

本发明的优点：本发明能够快速实时地评估多级联网后的视频图像质量；对于大型视频联网系统中掌握大量视频的动态质量状况具有非常重要的意义。

附图说明

图1为公安视频联网架构示意图。

图2为本发明的帧间预测视频片段示意图。

图3为本发明的实施例流程图。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

本发明的基本思路是，多级视频联网中的视频质量问题主要由传输中丢包造成，那么通过对丢包特征的分析就能大致地评估出最终的视频图像质量。

由于丢包检测是视频联网中很多编解码设备、流媒体转发服务器、客户端的已有模块，通过丢包实时自动评价图像质量，仅须少许改造就可以在几乎不需要额外投入的情况下，实现实用的实时视频图像质量评估系统。

目前各种视频监控系统对于视频传输丢包的检查，仅限于平均丢包率。然而实际检查结果表明，平均丢包率并不能准确反映最终的视频图像质量。相同平均丢包率的两路视频，图像质量可能天差地远。

究其原因，在于视频图像传输采用了动态的压缩算法，丢包的时空分布对于最后解码后的图像影响不同所致，有些丢包问题可以通过算法修复，而有些不仅无法恢复，而且会造成未丢包的数据失效。

以国标GBT28181规定使用H.264视频编码（视频压缩格式）为例，其最重要的编解码流程就是帧内与帧间预测。其中帧间预测也是先前的H.26x系列和MPEG-x系列标准的普遍流程。典型的帧间预测视频片段如图2：

视频片段中分为三种视频帧：

I帧:帧内编码帧即关键帧，是一帧画面的完整保留；

P帧:前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面；

B帧:双向预测内插编码帧。B帧是双向差别帧，记录的是本帧与前后帧的差别。

简言之，视频片段中，大部分的画面（P帧、B帧）依赖于关键帧画面。在P帧、B帧丢包对图像质量影响有限，而一旦关键帧丢包，会导致整个视频片段失真。

H.264标准又增加了帧内预测功能，即一个关键帧内，前半部分的画面被完整保留，而后半部分的画面则只记录与之前的差别。如果关键帧的前半部分发生丢包，则整个视频片段都将失真。

本发明针对视频多级联网下视频质量问题主要由丢包引起的特点，将丢包检测技术与视频压缩技术特点相结合，通过评估丢包的时空分布对于压缩视频还原的影响大小，对视频图像质量进行实时评价。

以GBT28181标准视频联网为例，其媒体流采用H.264编码，媒体流传输基于实时传输协议（RTP）。由于每个RTP包头中有顺序号与时间戳，所以丢包时间、丢包位置、丢包数量可以很容易实时检测出来。本发明中所指丢包，即指RTP数据包丢失。

一帧视频数据通常由多个RTP包传输，监控视频的RTP包一般与视频帧有对应关系。由于H.264编码采用了帧间预测、帧内预测等技术，不同视频帧上的丢包对视频图像质量会产生不同的影响，尤其是关键帧上的丢包对视频图像质量影响尤其巨大。通过丢失RTP包的分布与数量能快速实时地大致评估多级联网后的视频图像质量。对于大型视频联网系统中掌握大量视频的动态质量状况具有非常实际的意义。

本发明的视频质量实时评价方法包括以下指标：

1、丢包关键帧比例

一段视频片段中存在丢包现象的关键帧在所有关键帧中的比例；该指标针对视频压缩技术的帧间预测，当丢包关键帧比例较高时，通过由于视频压缩的帧间预测，从而扩大了对视频质量的影响。

该指标适用于H.26x系列和MPEG-x系列流媒体编码标准监控视频。

2、头部丢包关键帧比例

一段视频片段中存在丢包现象而且是前半部分丢包的关键帧比例；该指标针对视频压缩技术的帧内预测，当关键帧中前半部分丢包时，会导致后半部分的编码失效，进而导致后续非关键帧编码失效，从而对视频质量产生特别严重的影响。

该指标适用于H.264系列以上流媒体编码标准监控视频。

3、关键帧平均丢包率

一段视频片段中位于关键帧上的丢包比例；该指标是对传统丢包率的补充，有助于区分关键帧丢包率与普通帧丢包率，关键帧丢包率显然对视频质量的影响更大。

通过对这几个指标进行加权处理，加上丢包率就得到了视频质量评价指标，该指标数值越高，说明视频质量越差。

计算公式如下：

视频质量评价指标 = HLIR×R1 + LIR×R2 + LIER×R3+ LER

当视频编码标准为H.264以下版本时，公式如下：

视频质量评价指标 = LIR×R2 + LIER×R3+ LER

其中各参数如下：

HLIR：头部丢包关键帧比例；

LIR：丢包关键帧比例；

LIER：关键帧平均丢包率；

LER：平均丢包率（即传统丢包率）；

R1、R2、R3为加权系数，是一个经验值，满足以下条件的情况下自行调节：

R3>1，表明关键帧平均丢包率对视频质量的影响大于平均丢包率；

R2>R3，表明丢包关键帧比例对于视频质量的影响大于关键帧平均丢包率；

R1>R2，表明头部丢包关键帧比例对于视频质量的影响大于丢包关键帧比例。

观察这些指标，可以发现均是基于关键帧的，因此本发明的基础就是关键帧的识别。

关键帧的识别方法，一种是历史经验法，另一种是实时检测法。

历史经验法基于一个假设：由于每一路视频来自于同一视频编码设备，当设备没有改变的情况下，其编码的规律是一定的。

比如对某编码设备码流多样本检测（通过解码分析工具，很容易进行这样的样本检测），发现：以秒为单位，首帧为关键帧，其后的帧为P帧，关键帧由16个RTP包封装传输，那么可以假定以后的每一秒都是这样的规律。可以通过检查每秒中前16个RTP包的完整情况，实时判断视频图像质量。

实时检测法主要的方法基于一个对编码软件开发习惯的统计结果：由于RTP包为不定长包，为提高软件解码效率与可靠性，编码软件倾向于将大小不一的视频帧以不定长度，封装在确定数量的RTP包中，或者是定长长度封装在不同数量的RTP包中（最后一个RTP包长度不同），且不会出现两个视频帧在同一RTP包中。这也是一个经验原理，但却是经得起检验的。

基于这个原理，将确定数量的RTP包组成一个完整的视频帧，或将一串连续相同长度的RTP包和该串相同长度RTP包之后的一个RTP包组成一个完整的视频帧；由于关键帧的编码长度显著大于非关键帧（P帧、B帧），因此将组成的完整视频帧的长度与一个长度阈值比较，超过长度阈值即可判定为是一个关键帧；这样仅仅通过RTP包组合后的长度异常检测，就可以从一段视频中找出关键帧的范围来，实时地检测出代表关键帧的RTP包的丢包情况。

本发明假设视频发送端和检测端的RTP包发送和接收是同步的，如何同步的方法不是本发明的重点，故未展开介绍。

Claims (6)

1.一种基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，通过评估丢包的时空分布对于压缩视频还原的影响大小，对视频质量进行实时评价。

2.如权利要求1所述的基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，

通过关键帧丢包的状况评价视频质量。

3.如权利要求2所述的基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，

该视频质量实时评价方法采用一个视频质量评价指标进行评价；

当视频编码标准为H.264及以上版本时，公式如下：

视频质量评价指标 = HLIR×R1 + LIR×R2 + LIER×R3+ LER

当视频编码标准为H.264以下版本时，公式如下：

视频质量评价指标 = LIR×R2 + LIER×R3+ LER

其中各参数如下：

HLIR：头部丢包关键帧比例；定义为一段视频片段中存在丢包现象而且是前半部分丢包的关键帧比例；

LIR：丢包关键帧比例；定义为一段视频片段中存在丢包现象的关键帧在所有关键帧中的比例；

LIER：关键帧平均丢包率；定义为一段视频片段中位于关键帧上的丢包比例；

LER：平均丢包率即传统丢包率；

R1、R2、R3为加权系数。

4.如权利要求3所述的基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，

R1、R2、R3是经验值，满足以下条件的情况下自行调节：

R3>1，表明关键帧平均丢包率对视频质量的影响大于平均丢包率；

R2>R3，表明丢包关键帧比例对于视频质量的影响大于关键帧平均丢包率；

R1>R2，表明头部丢包关键帧比例对于视频质量的影响大于丢包关键帧比例。

5.如权利要求2、3或4所述的基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，

关键帧通过历史经验法进行识别：在视频码流周期性的时间段内特定范围内连续选定的一个或多个RTP包构成视频的关键帧。

6.如权利要求2、3或4所述的基于丢包分析的多级联网监控视频质量实时评价方法，其特征在于，

关键帧通过实时检测法进行识别：将确定数量的RTP包组成一个完整的视频帧，或将一串连续相同长度的RTP包和该串连续相同长度RTP包之后的一个RTP包组成一个完整的视频帧；将组成的完整视频帧的长度与一个长度阈值比较，超过长度阈值即判定为是一个关键帧。