CN105578185B - 一种网络视频流的无参考图像质量在线估计方法 - Google Patents

Abstract

本发明公开了一种网络视频流的无参考图像质量在线估计方法。所述方法利用P帧PSNR相对于I帧纹理复杂度和P帧运动量的线性预测模型，估计网络视频流的P帧PSNR值；同时结合模型系数随P帧帧长和场景的变化而动态变化的规律，利用I帧的PSNR调整纹理系数，利用上一P帧的运动系数和当前帧的运动信息调整当前帧的运动系数，最终得出了较为准确的适应视频内容变化的P帧PSNR估计方法。本发明提供的线性预测模型，只需解码I帧，无需解码P帧，系统运行开销小，而且在线动态更新运动系数和纹理系数可及时反映视频流中相邻P帧间的运动变化和场景切换时纹理复杂度的变化，从而使得估计得到的PSNR较为准确，系统自适应性好。

Description

一种网络视频流的无参考图像质量在线估计方法

技术领域

本发明属于视频质量评估领域，更具体地，涉及一种网络视频流的无参考图像质量在线估计方法。

背景技术

近年来，网络视频在实时视频监控、高清数字电视和移动视频等领域得到广泛应用，并向更高清晰度、更高分辨率方向迅速发展。由于视频的原始数据量巨大，网络视频一般都是进行压缩后再存储和传输。由于视频压缩是一种有损压缩，并且压缩后的视频在传输过程中的丢包以及信道噪声都会降低视频质量。因此，视频服务提供商要确保提供给用户高质量视频服务，首先必须对传送到用户端的视频质量进行评估，由评估得到的结果动态调节编码参数与信道参数，最终达到既能提供良好的用户体验，又能节省网络带宽资源等开销，降低服务成本的目的。

在实际应用中，主观视频质量评估方法无法满足实时的视频质量评估需求，一般要使用客观的质量评估方法。峰值信噪比(PSNR)可以较好地评估视频编码过程中由于量化误差导致的图像失真，是目前最有效的视频图像客观质量评估准则之一。目前常用的视频客观质量评估方法包括三类：全参考，半参考和无参考。由于带宽限制，视频流在网络中传输时，应尽量少传输甚至不传输额外信息，而全参考和半参考方法需要全部或部分原始视频信息，因此，本发明提出一种仅根据所接收的视频压缩码流来估计PSNR的无参考视频质量评估方法。

目前，无参考视频质量评估方法的研究主要分为两大类：基于像素的评估方法和基于码流的评估方法。基于像素的评估方法需要完全解码视频流，具有很高的计算复杂度；基于码流的评估方法，只需提取码流中的离散余弦变换(DCT)系数，帧长等信息来进行视频质量评估，因此具有更高的灵活性和更快的计算速度。目前已经有较为准确的利用DCT系数来对视频压缩帧内编码帧(I帧)的PSNR进行估计的方法。如[Deepak S.Turaga,YingweiChen,Jorge Caviedes.No reference PSNR estimation for compressed pictures.IEEEImage Procesing.2002,III-61-III-64vol.3]^[1]提出：在不参考原始视频数据并且只解码I帧的情况下，利用I帧的统计信息来估计PSNR值，最终误差可控制在1dB以内。对于压缩视频流来说，一般进行一个I帧编码后，后面会连续编码多个预测编码帧(P帧)，因此P帧一般占有更大的比例，但目前还未见有较准确，且简单易用的预测P帧PSNR的方法。

为了解决上述问题，迫切需要一种能够快速准确预测P帧PSNR的估计方法，同时保持相对较低的计算复杂度。

发明内容

针对现有技术的以上缺陷或不足，本发明提供了网络视频流的无参考图像质量在线估计方法，具体从压缩视频流率失真性能主要受视频纹理复杂度和运动量这两个因素影响的角度出发，提出一种在线动态预测P帧PSNR的方法，通过执行本发明中的方案，可以不参考原始视频就能够对压缩视频流质量进行实时评估，在获得较准确的预测结果的同时进一步显著降低了运行开销，因而尤其适用于网络流媒体视频质量评估的应用场合。

为实现上述目的，本发明提出了一种网络视频流的无参考图像质量在线估计方法，其特征在于，所述方法包括以下步骤：

(1)对网络视频流的各帧图像进行场景分割，将每一个视频压缩帧内编码帧I帧及紧随其后的N个预测编码帧P帧划分为一个场景S_j,j≥1；

(2)建立同一场景中预测编码帧P帧峰值信噪比PSNR的线性预测模型：

其中，M为预测编码帧P帧运动系数；T为当前场景视频压缩帧内编码帧I帧的纹理系数；为第i个P帧帧长l_i与当前场景下所有P帧帧长均值l_avg的差值，i＝1,…,N；其中，其中，N为当前场景中P帧总数。

(3)利用步骤(2)建立的线性预测模型依次对网络视频流所有场景预测编码帧P帧的峰值信噪比PSNR值进行估计。

作为进一步优选的，所述步骤(3)具体包括：

(3-1)估计当前场景S_j,j≥1中视频压缩帧内编码帧I帧的PSNR，得到当前场景S_j的视频压缩帧内编码帧I帧的纹理系数T；

(3-2)通过离线统计分析得到当前场景S_j的中预测编码帧P帧运动系数初始值M_init；

(3-3)利用步骤(3-1)中得到的当前场景的纹理系数T及运动系数初始值M_init，通过所述线性预测模型得到当前场景第一个P帧的峰值信噪比PSNR值

(3-4)针对当前场景中N-1个P帧，保持纹理系数T不变，依次更新运动系数M后，再通过所述线性预测模型得到当前场景对应P帧的峰值信噪比PSNR值i＝2，…,N；

(3-5)针对网络视频流中的后续场景，依次执行步骤(3-1)-(3-4)。

作为进一步优选的，所述更新运动系数M具体为：

其中Δl_i,i-1为当前P帧与前一个P帧的帧长差，Δl_i,i-1＝L_i-L_i-1,i＝2，…,N；为当前P帧与所有P帧帧长均值l_avg的差值；Q为离线统计分析得出的量化系数；M_i-1为上一帧的运动系数。作为进一步优选的，所述当前场景S_j的帧内编码帧I帧的纹理系数T具体为：

T＝I_psnr

通过I帧的离散余弦变换DCT系数估计I帧的PSNR值I_psnr：

其中，D为均方误差MSE， 是直流DC系数平均量化误差的平方，是每一个交流AC系数的误差平方。

总体而言，按照本发明点的以上技术方案与现有技术相比，主要具备以下的技术优点：

1、本发明提出了一种网络视频流的无参考图像质量在线估计方法，通过执行本发明，进一步降低了系统运行时开销小，而且在线动态更新运动系数M和纹理系数T可及时反映视频流中相邻P帧间的运动变化和场景纹理复杂度的变化，从而使得估计得到的PSNR较为准确，提高了系统的自适应性；

2、此外，本发明利用离线分析得到P帧PSNR相对于I帧纹理复杂度和P帧运动量的统计模型，即线性预测模型，并挖掘出模型系数随着P帧帧长和场景变化而变化的规律。利用上述线性预测模型对压缩视频流的P帧PSNR进行估计；同时结合模型系数随P帧帧长和场景的变化而动态变化的规律，利用前面帧的模型系数动态调整后续帧的模型系数，最终得到能快速准确地估计并适应视频内容变化的P帧PSNR估计方法；

3、按照本发明提出的一种网络视频流的无参考图像质量在线估计方法，对于线性预测模型中参数的获取并未存在过多的计算复杂度，显著降低了系统开销，因而具有一定的可实施性及实用推广价值。

附图说明

图1为本发明网络视频流的无参考图像质量在线估计方法总体流程图；

图2为本发明网络视频流的无参考图像质量在线估计方法具体流程图；

图3为基于I帧的视频场景分割示意图；

图4为运动系数和纹理系数更新规则示意图；

图5为视频场景变化和视频运动量与线性模型中纹理系数和运动系数的关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1及图2所示，本发明方法对网络视频流的各帧图像均按照如下步骤处理：

(1)对各帧图像进行场景分割。如图3所示，即对于“IPP…PPIPP…PPIPP…PPI…”帧序列，I帧的出现代表场景切换(Scene cut),所以将每一个I帧及紧随其后的N个P帧划分为一个场景(Scene)。将每一个场景作为独立的分析对象，执行后续步骤。

(2)建立同一场景中预测编码帧P帧峰值信噪比PSNR的线性预测模型：

其中，M为预测编码帧P帧运动系数；T为当前场景视频压缩帧内编码帧I帧的纹理系数；为第i个P帧帧长l_i与当前场景下所有P帧帧长均值l_avg的差值，i＝1,…,N；其中，其中，N为当前场景中P帧总数。

通过离线统计分析得出：同一场景的纹理信息基本不变；帧长l越长，说明运动量越大，量化的宏块数就越多，图像失真越大，PSNR也就越小。如图5所示给出了视频场景变化和视频运动量与线性模型中纹理系数和运动系数的关系示意图。因而本发明提出了上述在同一场景中P帧PSNR的线性预测模型。

(3)利用步骤(2)建立的线性预测模型依次对网络视频流所有场景预测编码帧P帧的峰值信噪比PSNR值进行估计。

(3-1)估计当前场景S_j,j≥1中视频压缩帧内编码帧I帧的PSNR，得到当前场景S_j的视频压缩帧内编码帧I帧的纹理系数T；

(3-2)通过离线统计分析得到当前场景S_j中预测编码帧P帧运动系数初始值M_init；

(3-3)利用步骤(3-1)中得到的当前场景的纹理系数T及运动系数初始值M_init，通过所述线性预测模型得到当前场景第一个P帧的峰值信噪比PSNR值

(3-4)针对当前场景中其余N-1个P帧，保持纹理系数T不变，依次更新运动系数M后，再通过所述线性预测模型得到当前场景对应P帧的峰值信噪比PSNR值i＝2，…,N；

(3-5)针对网络视频流中的后续场景，依次执行步骤(3-1)-(3-4)。

在同一场景下，表征P帧运动量的运动系数M也要随P帧运动量的变化实时更新，如图4所示，也就是说，对于同一场景，M的初始值M_init可通过离线统计分析得出；对于同一场景中后续的P帧(i>1)，统筹考虑P帧的局部运动量和全局运动量后，运动系数M更新方法为：

其中Δl_i,i-1＝L_i-L_i-1,i＝2,…,N)，为当前P帧与前一个P帧的帧长差，表征了当前P帧的局部运动量；为当前P帧与所有P帧帧长均值l_avg的差值，表征了当前P帧的全局运动量；Q为离线统计分析得出的量化系数；M_i-1上一帧的运动系数。

随场景的切换，表征同一场景的纹理系数T同样进行动态更新，如图4所示，由于I帧没有运动量，那么可直接将估计得到的I帧PSNR作为表征这一场景纹理复杂度的系数。即所述当前场景S_j中的帧内编码帧I帧的纹理系数T具体为：

T＝I_psnr

通过I帧的离散余弦变换DCT系数估计I帧的PSNR值I_psnr：

其中，D为均方误差MSE， 是直流DC系数平均量化误差的平方，是每一个交流AC系数的误差平方。

对于同一场景，纹理复杂度是基本不变的，所以T在此场景中是常量。每当场景切换，就重新计算I帧的纹理复杂度，以此动态更新T值。

下面结合H.264/AVC标准压缩的CIF(352×288)格式视频流Football(假设编码时只允许I帧和P帧存在),对P帧PSNR进行动态预测。利用这个具体实例对本发明做进一步的说明：

(1)首先读取Football视频流的I帧，标识场景切换。

(11)解码I帧，重构图像。

(12)计算此I帧的PSNR，公式如下：

其中，D为均方误差(MSE)，是直流(DC)系数平均量化误差，是每一个交流(AC)系数的总体误差方。

(2)读取Football视频流的后续所有P帧直到下一个I帧或视频结束，将这些P帧放入队列Queue，获得P帧总数N。

(21)分别确定纹理系数T的值和运动系数M初值：

(211)由于I帧没有运动量，所以直接将步骤(1)得出的I帧PSNR值作为表征这一场景纹理复杂度的系数：T＝I_psnr。

(212)对于同一场景的CIF格式视频，M初始值通过离线统计分析得M_init＝-0.005。

(22)计算P帧运动量：

(221)首先，计算P帧帧长的均值:

其中，l_i是第i(i≥1)个P帧帧长，N为当前场景的P帧总数。

(222)其次，计算每个P帧的帧长与当前场景P帧长均值的差值：

(223)最后，计算相邻P帧的帧长差值：

Δl_i，i-1＝L_i-L_i-1，[＝2，...，N

(3)在同一场景中，利用本发明提出的线性预测模型:

估计每一个P帧的PSNR。

(31)对于第一个P(i＝1)帧，在步骤(222)中已经算出，所以直接使用运动系数M_init＝-0.005和纹理系数T＝I_psnr来计算此P帧的PSNR。

(32)对于后续P(i>1)帧，纹理系数T不变，运动系数M更新为：

其中，Q为离线统计分析得出的量化系数，对于H.264/AVC编码的CIF视频，Q可取M_i-1上一帧的运动系数。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种网络视频流的无参考图像质量在线估计方法，其特征在于，所述方法包括以下步骤：

(1)对网络视频流的各帧图像进行场景分割，将每一个帧内编码帧I帧及紧随其后的N个预测编码帧P帧划分为一个场景S_j,j≥1；

(2)建立同一场景中预测编码帧P帧峰值信噪比PSNR的线性预测模型：

其中，M为当前场景预测编码帧P帧运动系数；T为当前场景帧内编码帧I帧的纹理系数；为第i个P帧帧长l_i与当前场景下所有P帧帧长均值l_avg的差值，其中，N为当前场景中P帧总数；

(3)利用步骤(2)建立的线性预测模型依次对网络视频流所有场景预测编码帧P帧的峰值信噪比PSNR值进行估计；

所述步骤(3)具体包括：

(3-1)估计当前场景S_j,j≥1中I帧的峰值信噪比PSNR，得到当前场景S_j的I帧的纹理系数T；

(3-2)通过离线统计分析得到当前场景S_j中P帧运动系数初始值M_init；

(3-3)利用步骤(3-1)中得到的当前场景的纹理系数T及运动系数初始值M_init，通过所述线性预测模型得到当前场景第一个P帧的峰值信噪比PSNR值

(3-4)针对当前场景中其余N-1个P帧，保持纹理系数T不变，依次更新运动系数M后，再通过所述线性预测模型得到当前场景对应P帧的峰值信噪比PSNR值

(3-5)针对网络视频流中的后续场景，依次执行步骤(3-1)-(3-4)；

所述更新运动系数M具体为：

其中Δl_i,i-1为当前P帧与前一个P帧的帧长差，Δl_i,i-1＝L_i-L_i-1,i＝2，…,N；为当前P帧与所有P帧帧长均值l_avg的差值；Q为离线统计分析得出的量化系数；M_i-1为上一帧的运动系数；

所述当前场景S_j的帧内编码帧I帧的纹理系数T具体为：

T＝I_psnr

通过I帧的离散余弦变换DCT系数估计I帧的PSNR值I_psnr：

其中，D为均方误差MSE， 是直流DC系数平均量化误差的平方，是每一个交流AC系数的误差平方。