CN107888931B - 一种利用视频统计特征预测差错敏感度的方法 - Google Patents

Abstract

本发明涉及一种利用视频统计特征预测差错敏感度的方法，具体步骤是：提取丢包视频特征：对测试视频随机丢包处理，获取丢失块周围块的丢失情况，计算丢失块所处区域的纹理复杂度，计算丢失块区域梯度，估计丢失块的运动矢量；同时将周围块的丢失情况、纹理复杂度、梯度以及运动矢量联合构成丢失块的统计特征；计算差错敏感度：将丢包后的视频进行差错隐藏，再以块为单位统计仍存在的错误像素，计算差错敏感度；训练模型并预测：丢失块的统计特征及其相应的差错敏感度构成训练集，使用训练集训练支持向量回归器SVR，把丢失块的统计特征输入训练好的SVR模型，输出预测的差错敏感度。本方法精确预测出丢包对视频帧不同区域影响严重程度，减少复杂度。

Description

一种利用视频统计特征预测差错敏感度的方法

技术领域

本发明涉及一种利用视频统计特征预测差错敏感度的方法。

背景技术

近年来，随着视频技术的飞速发展，视频会议、网络电视、视频电话等各种视频通信应用越来越广泛。面对不断增多的视频数据以及有限的传输带宽等问题，视频编码技术应运而生。目前，世界上的视频编解码标准主要来源于国际电信联盟(ITU-T)和国际标准化组织(ISO)。他们制定并颁布的H26x系列和MPEG系列编解码技术，可有效满足各种视频通信需求。其中，H.264/AVC因其良好的稳定性以及网络传输性，目前已被广泛应用于视频技术中。然而随着超高清视频的发展，传统编码技术处理性能逐渐落后，为顺应时代新一代视频编码标准—高效率视频编码(High Efficiency Video Coding，HEVC)于2013年问世。与H.264/AVC相比，HEVC支持更高分辨率的视频以及改进的并行处理模式，在重建视频同等质量下可减少50％比特率。

然而不管是H.264/AVC或者HEVC，视频码流经压缩传输的过程中由于噪声干扰强、环境复杂性以及带宽不稳定等原因，极易造成数据包丢失或比特出错。由于编解码特性出错码流内部还会产生一定的错误传播，这些都将严重影响重建帧质量，导致视频在终端不能正常显示。研究有效的错误控制技术成为视频通信不可或缺的一部分。

差错隐藏技术作为错误控制技术之一，在解码端利用已接收的正确信息，根据视频的时间、空间以及视点间的相关性，恢复由于比特流差错造成的视频帧内容的缺失。它因为具有提高带宽利用率、编码效率、降低编码器负担等优点，得广泛应用和研究。目前，差错隐藏方法很多，如时域差错隐藏和空域差错隐藏等。有些视频标准(例如，H.264/AVC)也采纳了其中的经典算法，但在不同的网络状况下、对不同视频序列的隐藏效果并非都能达到理想状态。各种差错隐藏算法优劣并存，适用点亦不同。不同区域、不同形式的丢包，都将影响最终隐藏效果，因此单一的差错隐藏算法常无法满足复杂多变的丢包情况。

研究丢包对视频的影响，可用于引导不同丢包情况下实施不同的差错隐藏算法，从而实现高效、快速隐藏。目前国内外众多学者对丢包的影响做了大量研究。Tang S,Alface P R.Impact of Random and Burst Packet Losses on H.264Scalable VideoCoding[J].IEEE Transactions on Multimedia,2014,16(8):2256-2269.公开了一个基于编码的预测模型学习丢包的影响，该模型用马尔科夫链来描述图像组(Group ofPictures，GOP)中的错误传输过程，分析给定可分级层被正确接收的概率即可估计出由丢包引起的质量下降。Pauliks R,Slaidins I,Pauliks R,et al.Assessment of IP packetloss influence on perceptual quality of streaming video[C]//Multimedia andBroadcasting.IEEE,2015:1-6.公开了不同的丢包概率分布(高斯、泊松、均匀)、不同丢包率与视频平均主观意见得分(Mean Opinion Score，MOS)的关系，并得出当丢包率大时，可用失真图像与原始图像的累积平方误差来预测MOS。Saputra Y M,Hendrawan.The effectof packet loss and delay jitter on the video streaming performance usingH.264/MPEG-4Scalable Video Coding[C]//International Conference onTelecommunication Systems Services and Applications.IEEE,2017.公开了丢包对视频帧质量即峰值信噪比(Peak Signal to Noise Ratio，PSNR)的影响，重点研究了数据包丢失发生在不同层级(单层、PSNR可分级、PSNR-时域可分级编码)、不同类型帧(I帧、P帧、B帧)的情况下对视频PSNR的影响。

目前对丢包影响的研究大多都是针对视频帧整体质量的影响，而极少研究单独一个丢包对帧局部造成的影响。若预知丢包对帧不同区域的影响程度，即差错敏感度，便可指导人们在不同的差错敏感度区域实施不同的隐藏算法。Gao P,Peng Q,Wei X.Analysis ofPacket-Loss-Induced Distortion in View Synthesis Prediction-Based 3-D VideoCoding[J].IEEE Transactions on Image Processing,2017,PP(99):1-1.公开了一个评估丢包所致的视点合成失真的数学模型。该模型通过分析解码端重建纹理图像的功率谱密度以及信道和传播错误的能量密度，用一个递归函数即可直接估计出由丢包造成的视点合成预测失真。虽然此模型在以编码块为单位上预测准确度不错，但由于块内每个像素都要进行递归函数计算，复杂度较高。考虑到丢包的影响与丢包所在区域特征密切相关，本发明提出一种利用视频统计特征预测差错敏感度的方法。

发明内容

本发明的目的在于克服现有预测丢包影响模型的不足，提出了一种利用视频统计特征预测差错敏感度的方法。该方法利用丢包所处区域的一些简单统计特征，更精确地预测出丢包对视频帧不同区域影响的严重程度，又减少复杂度。

本发明具体的构思是：

本发明中视频码流以块的形式进行丢包。主要分为数据收集阶段以及训练回归阶段。在数据收集阶段，先模拟视频序列在不同丢包率下丢包，对于每个丢失块，收集其统计特征。然后对丢包序列进行差错隐藏，计算每个丢失块对应的差错敏感度。在训练回归阶段，每一个丢失块作为一个样本，训练回归模型。达到只要已知测试序列的统计特征，便可迅速且准确地输出相应差错敏感度的目的。

根据上述的构思，本发明采用下述技术方案：

一种利用视频统计特征预测差错敏感度的方法，具体步骤如下：

步骤1.提取丢包视频特征：对测试视频随机丢包处理，获取丢失块周围块的丢失情况，计算丢失块所处区域的纹理复杂度，计算丢失块区域梯度，估计丢失块的运动矢量；同时将周围块的丢失情况、纹理复杂度、梯度以及运动矢量联合构成丢失块的统计特征；

步骤2.计算差错敏感度：将丢包后的视频进行差错隐藏，再以块为单位统计仍存在的错误像素，计算差错敏感度；

步骤3.训练模型并预测：丢失块的统计特征及其相应的差错敏感度构成训练集，使用训练集训练支持向量回归器(Support Vector Regression，SVR)，把丢失块的统计特征输入训练好的SVR模型，输出预测的差错敏感度。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明利用视频统计特征预测差错敏感度，根据丢包所处区域的一些简单统计特征，训练回归模型，可以更加精确地预测出丢包对视频帧不同区域影响的严重程度，同时降低复杂度。

附图说明

图1为本发明方法的流程框图。

图2为丢失块与周围块关系图。

图3为运动矢量关系图。

图4为丢包后的视频帧：(a)为GT_Fly的第6帧，(b)为Dancer的第6帧，丢包率均为10％。

图5为差错隐藏后的视频帧：(a)为GT_Fly的第6帧，(b)为Dancer的第6帧。

具体实施方式

本发明的优选实施例结合附图详述如下：

参见图1，一种利用视频统计特征预测差错敏感度的方法，本实施例在HM 12.0以及Matlab2016a下实施，具体实施步骤如下：

步骤1.提取丢包视频特征：对测试视频随机丢包处理，获取丢失块周围块的丢失情况，计算丢失块所处区域的纹理复杂度，计算丢失块区域梯度，估计丢失块的运动矢量；同时将周围块的丢失情况、纹理复杂度、梯度以及运动矢量联合构成丢失块的统计特征；

步骤2.计算差错敏感度：将丢包后的视频进行差错隐藏，再以块为单位统计仍存在的错误像素，计算差错敏感度；

步骤3.训练模型并预测：丢失块的统计特征及其相应的差错敏感度构成训练集，使用训练集训练支持向量回归器SVR，把丢失块的统计特征输入训练好的SVR模型，输出预测的差错敏感度。

所述步骤1中，提取丢失块特征的基本步骤为：

如图2所示，步骤1.1.丢包是以块为单位，尺寸为2N×2N，本实施例中N取32，丢包后的视频帧如图4所示，取与当前丢失块MB₀空域相邻的上、下、左、右、左上、右上、左下和右下共8个块作为周围块，分别记为MB₁、MB₂、MB₃、MB₄、MB₅、MB₆、MB₇、MB₈；

步骤1.1.1.判断周围块是否正确接收，得到对应的标志位F_i：

丢失为0，反之为1；

步骤1.1.2.计算正确接收的周围块的灰度共生矩阵，获得统计量熵，取熵平均以表征当前丢失块所处区域的纹理复杂度blk_complexity，计算过程如下：

ENT_i＝-∑_m∑_np(m,n)log p(m,n)(i＝1,2,…,8)

其中，p(m,n)为MB_i的灰度共生矩阵(m,n)处的值，ENT_i为MB_i的统计量熵；

步骤1.1.3.分别计算正确接收的周围块的灰度梯度值，丢失块区域梯度值blk_gradient则为周围块的平均灰度梯度值；

如图3所示，步骤1.2.估计当前丢失块的运动矢量时，先取当前丢失块相邻上下左右32个像素宽的区域；求得区域内正确接收的像素点的运动矢量(MV₁、MV₂、MV₃、MV₄)；再求均值得到最终丢失块的运动矢量blk_MV，若区域内无正确接收像素点，则当前丢失块运动矢量blk_MV为0；

步骤1.3.把F_i(i＝1,2,…,8)、blk_complexity、blk_gradient和blk_MV联合构成丢失块的统计特征。

所述步骤2中计算差错敏感度，具体步骤为：

步骤2.1.对丢包视频进行差错隐藏；本实施例采用时域拷贝法，直接从前面帧拷贝对应位置块，隐藏后的结果如图5所示，当然也不限制于这一种差错隐藏算法。

步骤2.2.判断隐藏后的块内的每个像素是否正确：若隐藏后的像素值与原始像素值差异大于阈值，视该像素为错误像素；

步骤2.3.统计每个块中的错误像素数，计算差错敏感度S：

其中，n为块内的错误像素数，块的大小为2N×2N。

所述步骤3中训练回归模型并预测差错敏感度：

步骤3.1.将样本80％作为训练集，20％作为测试集，用训练集训练支持向量回归器SVR。

步骤3.2.把测试集中丢失块统计特征输入训练好的SVR模型，输出预测的差错敏感度。

由上述步骤可以看出，利用丢失块周围统计特征，本发明可以有效预测出其对应的差错敏感度，且复杂度不高。

Claims (1)

1.一种利用视频统计特征预测差错敏感度的方法，其特征在于，具体步骤如下：

步骤1.提取丢包视频特征：对测试视频随机丢包处理，获取丢失块周围块的丢失情况，计算丢失块所处区域的纹理复杂度，计算丢失块区域梯度，估计丢失块的运动矢量；同时将周围块的丢失情况、纹理复杂度、梯度以及运动矢量联合构成丢失块的统计特征；

步骤2.计算差错敏感度：将丢包后的视频进行差错隐藏，再以块为单位统计仍存在的错误像素，计算差错敏感度；

步骤3.训练模型并预测：丢失块的统计特征及其相应的差错敏感度构成训练集，使用训练集训练支持向量回归器SVR，把丢失块的统计特征输入训练好的SVR模型，输出预测的差错敏感度；在所述步骤1中，提取丢失块特征的基本步骤为：

步骤1.1.丢包是以块为单位，尺寸为2N×2N，取与当前丢失块MB₀空域相邻的上、下、左、右、左上、右上、左下和右下共8个块作为周围块，分别记为MB₁、MB₂、MB₃、MB₄、MB₅、MB₆、MB₇、MB₈；

步骤1.1.1.判断周围块是否正确接收，得到对应的标志位F_i：

丢失为0，反之为1；

步骤1.1.2.计算正确接收的周围块的灰度共生矩阵，获得统计量熵，取熵平均以表征当前丢失块所处区域的纹理复杂度blk_complexity，计算过程如下：

ENT_i＝-∑_m∑_np(m,n)log p(m,n)(i＝1,2,…,8)

其中，p(m,n)为MB_i的灰度共生矩阵(m,n)处的值，ENT_i为MB_i的统计量熵；

步骤1.1.3.分别计算正确接收的周围块的灰度梯度值，丢失块区域梯度值blk_gradient则为周围块的平均灰度梯度值；

步骤1.2.估计当前丢失块的运动矢量时，先取当前丢失块相邻上下左右N个像素宽的区域；求得区域内正确接收的像素点的运动矢量；再求均值得到最终丢失块的运动矢量blk_MV，若区域内无正确接收像素点，则当前丢失块运动矢量blk_MV为0；

步骤1.3.把F_i(i＝1,2,…,8)、blk_complexity、blk_gradient和blk_MV联合构成丢失块的统计特征；

在所述步骤2中，计算差错敏感度，具体步骤为：

步骤2.1.对丢包视频进行差错隐藏；

步骤2.2.判断隐藏后的块内的每个像素是否正确：若隐藏后的像素值与原始像素值差异大于阈值，视该像素为错误像素；

步骤2.3.统计每个块中的错误像素数，计算差错敏感度S：

其中，n为块内的错误像素数，块的大小为2N×2N。

Images