CN107465914B - 基于局部纹理特征和全局亮度特征的视频质量评价方法 - Google Patents

Abstract

本发明公开一种基于局部纹理特征和全局亮度特征的视频质量评价方法，涉及图像及视频处理技术领域，包括如下步骤：S1：提取网络视频的每一帧图像的局部纹理特征和全局亮度特征；S2：根据每一帧图像的纹理特征和亮度特征进行迟滞帧检测；S3：对检测到的迟滞帧进行总迟滞频次和总迟滞时长的统计；S4：以迟滞频率和迟滞时间的线性组合结果作为预测的视频质量。本发明解决的问题是：(1)用户端无法从接收到的网络流直接判断网络迟滞的位置及时间；(2)传统的视频质量评价方法通过自然场景统计特征提取和回归技术等基于机器学习的方法进行视频质量测度的构建，其计算复杂度高，对计算和存储资源的消耗大。

Description

基于局部纹理特征和全局亮度特征的视频质量评价方法

技术领域

本发明涉及图像及视频处理技术领域，尤其涉及一种基于局部纹理特征和全局亮度特征的视频质量评价方法。

背景技术

近年来，随着网络技术和各种智能视频采集设备的不断进步，流媒体视频规模正呈现急速增长趋势，并成为我们日常交流及获取信息的重要媒介。清晰流畅的播放效果是用户舒适准确地从视频中获取信息的重要保障。然而，受到带宽限制、噪声干扰和压缩等后处理操作的影响，流媒体视频质量将呈现不同程度的退化，从而大大降低视频传输服务的用户体验，甚至造成关键信息的丢失和错判。因此，开发有效的流媒体视频质量评价方法，及时捕捉和反馈不同网络环境下用户体验的变化，已成为网络视频服务行业亟待解决的关键问题。

传统的视频质量评价方法专注于定量描述压缩、噪声等视频画面的成像失真问题。然而，对于流媒体视频中普遍存在的网络迟滞影响则鲜有研究。尤其是对于加密网络数据及非标准网络环境，用户端无法从接收到的网络流直接判断网络迟滞的位置及时间，从而对视频质量的评价带来极大困难。另外，传统的视频质量评价方法通过自然场景统计特征提取和回归技术等基于机器学习的方法进行视频质量测度的构建，其计算复杂度高，对计算和存储资源的消耗大，难以胜任智能终端设备上的实时流媒体视频质量检测任务。

发明内容

本发明的目的在于：传统的视频质量评价方法存在的问题是：(1)用户端无法从接收到的网络流直接判断网络迟滞的位置及时间；(2)传统的视频质量评价方法通过自然场景统计特征提取和回归技术等基于机器学习的方法进行视频质量测度的构建，其计算复杂度高，对计算和存储资源的消耗大；为了解决这两个问题，本发明提供一种基于纹理变换和亮度梯度的流媒体视频质量评价方法。

本发明的技术方案如下：

一种基于局部纹理特征和全局亮度特征的视频质量评价方法，包括如下步骤：

S1：提取网络视频的每一帧图像的局部纹理特征和全局亮度特征；这两种互补的图像特征可以有效捕捉不同时序下视频的内容变化。其中，局部纹理特征通过比较局部块中心像素和边界像素的大小关系来刻画图像局部结构，亮度特征用于捕捉整幅图像的平均明暗程度。

S2：根据每一帧图像的纹理特征和亮度特征进行迟滞帧检测。当视频流畅播放时，视频帧内容不断变化，从而带来纹理特征幅值的不断起伏；相反，当网络视频出现迟滞时，图像内容长时间不变，从而造成纹理特征在该段时间出现恒定。

同时，由于上述基于近邻像素对比的纹理特征忽略了不同时序下视频帧的亮度变化，可能造成视频迟滞的误判。为此，应当进一步结合全局亮度特征的判断结果来联合进行视频内容变化与否的推断。与纹理特征相似，假设当视频帧的亮度特征长时间出现恒定时，则该段视频出现迟滞的可能性则较高，相反，则较低。

S3：对检测到的迟滞帧进行总迟滞频次和总迟滞时长的统计。为了便于度量，我们将出现频次和时长分别归一化到[0,1]的动态范围。基于视觉心理学统计，用户对网络视频的观看体验与迟滞出现的频次和总时长呈反比关系，即迟滞出现频次和时长越接近0，用户对视频的感知质量越好；反之，若迟滞出现频次和时长越接近越接近1，则视频质量越差。

S4：以迟滞频率和迟滞时间的线性组合结果作为预测的视频质量。此步骤中，将预测的视频质量限制在[0,1]的动态范围，预测值越小则表示视频质量越好。

具体地,S1的具体步骤为：

S11：计算边界像素亮度值高于中心像素的个数G_i：

其中，T(x)表示单位阶跃函数，I_i和I_j分别表示图像中以第i个像素为中心的3×3局部块内的中心像素的亮度值和第j个边界像素的亮度值，边界像素数目为4个；

S12：计算局部纹理特征α_m：

其中，α_m为第m帧图像的局部纹理特征，δ(x)表示单位冲激函数，N表示视频帧的像素数目；

S13：计算全局亮度特征β_m：

S14：将α_m和β_m按下式归一化到[0,1]：

其中，α_min＝min{α₁,α₂,...,α_M},α_max＝max{α₁,α₂,...,α_M}，M表示帧的数目。

进一步地,S2的具体步骤包括：

S21：计算基于纹理梯度计算得到的第m帧图像的序号l_v(m)：

其中，α_base为基准纹理特征，t_v＝1为纹理梯度门限；对于初始帧，l_v(1)＝1，α_base＝α₁。

在后续帧中，该基准纹理特征随纹理特征幅值的变化按下式更新

S22：计算基于亮度梯度的第m(m>1)帧图像的序号：

其中，β_base1和β_base2为对于m帧亮度特征的两个基准亮度特征，对于初始帧，β_base1＝β₁+t_b2+1,β_base2＝β₁，t_b1＝5和t_b2＝1表示两个亮度梯度门限。

在后续帧中，β_base1和β_base2随亮度特征幅值的变化按下式更新：

S23：根据基于纹理特征的判定迟滞帧的函数s_v(m)和基于亮度特征的判定迟滞帧的函数s_b(m)判定迟滞帧结果，其中，s_v(m)＝1表示根据纹理特征判断，第m帧被认定为迟滞帧；反之，则不被认定为迟滞帧；同样的定义应用于s_b(m)：

其中，u表示l_v(m)和l_b(m)中任意视频帧序号，Ω表示l_v(m)或l_b(m)中所有序号为u的视频帧的集合，std(.)表示标准差运算符，对于l_v(m)，当多个视频帧出现连续相同序号次数大于门限t_c＝f时则可能为迟滞帧，其中f表示该视频帧率；S(m)＝s_v(m)∧s_b(m)表示最终的迟滞帧判定结果，其中符号∧表示逻辑与操作。

进一步地,S3的具体步骤包括：

S31：计算第k段迟滞发生的起始帧z_s(k)和终止帧z_e(k)的位置：

其中，R(·)表示激活函数，

S32：获得视频中迟滞出现的频次K和总时长L：

K＝numel(Z_s) (18)

其中，numel(.)是计数函数，统计向量Z_s＝{z_s(1),...,z_s(K)}中元素的个数。

优选地,S31中，对该两段迟滞进行合并：

进一步地,S4的具体步骤为：

S41：将K和L归一化到[0,1]的动态范围：

其中，c₁＝3.71和c₂＝0.49是两个归一化参数；

S42：计算预测的视频质量p：

p＝w₁·K+w₂·L (22)

其中，w₁＝0.5和w₂＝0.5是两个权重参数。

采用上述方案后，本发明的有益效果在于：

(1)本发明提出了利用图像纹理和亮度特征进行迟滞帧检测的方法，摆脱了对网络流数据的依赖。

(2)本发明提出的基于帧间纹理和亮度梯度的流媒体视频质量评价方法可以在不访问网络流数据的情况下快速有效地给出视频质量打分，为视频服务的用户体验分析和反馈，以及带宽资源的自适应分配提供重要依据。

(3)本发明构建了一种无需机器学习训练的质量预测模型，从而大大降低算法的复杂度，使本发明可在计算及存储资源有限的硬件平台上实现对流媒体视频质量的实时监测。

(4)在计算迟滞帧的时候，当两段近邻的迟滞帧的时间间隔小于给定门限时，对该两段迟滞进行合并，这避免将长段的连续迟滞帧错分为多个小段的迟滞帧，使得迟滞帧的计算结果更加准确。

(5)本发明结合了视觉心理学统计，将迟滞出现的频次和时长量化并归一化到[0,1]的动态范围，使结果一目了然，简单有效。本发明已在德州大学LIVE Mobile VideoStall Database-I数据库通过测试，结果表明，本发明构建的质量评价模型能准确而实时地估计用户对流媒体视频的观看体验。

(6)本发明对局部纹理特征α_m和全局亮度特征β_m采用归一化处理，这是因为视频内容变化会造成帧间纹理梯度和亮度梯度的变化。比如，晴天拍摄的视频出现迟滞时亮度梯度比较大，相反阴天拍摄的视频亮度梯度较小。因此，很难采用统一的门限值来判断迟滞帧。归一化可以避免上述视频内容变化带来的亮度和纹理梯度波动。

附图说明

图1为本发明具体实施例中的算法流程图；

图2为本发明具体实施例中用于描述局部纹理的近邻像素关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完成地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中的基于局部纹理特征和全局亮度特征的视频质量评价方法，包括如下步骤：

S1：提取网络视频的每一帧图像的局部纹理特征和全局亮度特征。S1的具体步骤为：

S11：计算边界像素亮度值高于中心像素的个数G_i：

其中，T(x)表示单位阶跃函数，如图2所示，I_i和I_j分别表示图像中以第i个像素为中心的3×3局部块内的中心像素的亮度值和第j个边界像素的亮度值，边界像素数目为4个。这里的3×3局部块也可以替换成其他尺寸的局部块，同时，边界像素数目也会发生相应的变化，内从计算复杂度来说，局部块的尺寸越大比如3×3换成5×5，或者边界像素从4换成16，会增加特征计算的复杂度。从精度来说，块的尺寸和近邻像素数过大会降低特征的精度。所以，经过多次实验后，以3×3为一局部块，能够保证特征的精度。

S12：计算局部纹理特征α_m：

其中，α_m为第m帧图像的局部纹理特征，δ(x)表示单位冲激函数，N表示视频帧的像素数目。

S13：计算全局亮度特征β_m：

S14：将α_m和β_m按下式归一化到[0,1]：

其中，α_min＝min{α₁,α₂,...,α_M},α_max＝max{α₁,α₂,...,α_M}，M表示帧的数目。

S2：根据每一帧图像的纹理特征和亮度特征进行迟滞帧检测。S2的具体步骤包括：

S21：计算基于纹理梯度计算得到的第m帧图像的序号l_v(m)：

其中，α_base为基准纹理特征，t_v＝1为纹理梯度门限；对于初始帧，l_v(1)＝1，α_base＝α₁。

公式(7)的含义为：只有在当前帧纹理特征与基准纹理特征的梯度超过门限t_v时才增加图像序号。

在后续帧中，该基准纹理特征随纹理特征幅值的变化按下式更新

公式(8)的含义为：只有在当前帧纹理特征与基准纹理特征的梯度超过门限t_v时才更新基准纹理特征。

S22：计算基于亮度梯度的第m(m>1)帧图像的序号：

其中，β_base1和β_base2为对于m帧亮度特征的两个基准亮度特征，对于初始帧，β_base1＝β₁+t_b2+1,β_base2＝β₁，t_b1＝5和t_b2＝1表示两个亮度梯度门限。t的脚标中v表示vein纹理梯度门限，b1和b2是br ightness前项和后项两级亮度梯度门限。

公式(9)的含义为：如果β_base1大于当前帧亮度特征t_b1以上，且β_base2与当前帧亮度特征梯度幅值小于t_b2时，上述两个基准亮度特征不变。否则，增加当前图像序号。

在后续帧中，β_base1和β_base2随亮度特征幅值的变化按下式更新：

公式(10)和公式(11)的含义为：如果β_base1大于当前帧亮度特征t_b1以上，且β_base2与当前帧亮度特征梯度小于t_b2时，上述两个基准亮度特征不变。否则，β_base1和β_base2按(10)-(11)式的先后顺序进行更新。

S23：根据基于纹理特征的判定迟滞帧的函数s_v(m)和基于亮度特征的判定迟滞帧的函数s_b(m)判定迟滞帧结果，在获得l_v(m)和l_b(m)后，假设当多个视频帧出现连续相同序号次数大于门限t_c＝f时则可能为迟滞帧，其中f表示该视频帧率。其中，s_v(m)＝1表示根据纹理特征判断，第m帧被认定为迟滞帧；反之，则不被认定为迟滞帧；同样的定义应用于s_b(m)：

其中，u表示l_v(m)和l_b(m)中任意视频帧序号，Ω表示l_v(m)或l_b(m)中所有序号为u的视频帧的集合，std(.)表示标准差运算符。

公式(12)和公式(13)的含义为：当序号相同的视频帧连续出现t_c次以上，且这些帧的纹理/亮度特征标准差小于门限t_s＝0.35时该帧可判定为迟滞帧。

S(m)＝s_v(m)∧s_b(m)表示最终的迟滞帧判定结果，其中符号∧表示逻辑与操作，此公式的含义为：只有纹理和亮度特征同时判定第m帧为迟滞帧时，S(m)才置为1。

S3：对检测到的迟滞帧进行总迟滞频次和总迟滞时长的统计。S3的具体步骤包括：

S31：计算第k段迟滞发生的起始帧z_s(k)和终止帧z_e(k)的位置：

其中，R(·)表示激活函数，

为了避免将长段的连续迟滞帧错分为多个小段的迟滞帧，我们假定当两段近邻的迟滞帧的时间间隔小于给定门限时，则对该两段迟滞进行合并，即：

S32：获得视频中迟滞出现的频次K和总时长L：

K＝numel(Z_s) (18)

其中，numel(.)是计数函数，统计向量Z_s＝{z_s(1),...,z_s(K)}中元素的个数。

优选地,S31中，对该两段迟滞进行合并：

S4：以迟滞频率和迟滞时间的线性组合结果作为预测的视频质量。S4的具体步骤为：

S41：将K和L归一化到[0,1]的动态范围：

其中，c₁＝3.71和c₂＝0.49是两个归一化参数；

S42：计算预测的视频质量p：

p＝w₁·K+w₂·L (22)

其中，w₁＝0.5和w₂＝0.5是两个权重参数。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制。任何熟悉本领域的技术人员，在不脱离本方面的技术方案范围的情况下，都可利用上述揭示的方法和技术内容对本方面技术方案作出可能存在的合理性变动和修饰。因此，凡是未脱离本发明方法和技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围。

Claims (4)

1.基于局部纹理特征和全局亮度特征的视频质量评价方法，其特征在于，包括如下步骤：

S1：提取网络视频的每一帧图像的局部纹理特征和全局亮度特征；S1的具体步骤为：

S11：计算边界像素亮度值高于中心像素的个数G_i：

其中，T(x)表示单位阶跃函数，I_i和I_j分别表示图像中以第i个像素为中心的3×3局部块内的中心像素的亮度值和第j个边界像素的亮度值，边界像素数目为4个；

S12：计算局部纹理特征α_m：

其中，α_m为第m帧图像的局部纹理特征，δ(x)表示单位冲激函数，N表示视频帧的像素数目；

S13：计算全局亮度特征β_m：

S14：将α_m和β_m按下式归一化到[0,1]：

其中，α_min＝min{α₁,α₂,...,α_M},α_max＝max{α₁,α₂,...,α_M}，M表示帧的数目；

S2：根据每一帧图像的纹理特征和亮度特征进行迟滞帧检测；

S2的具体步骤包括：

S21：计算基于局部纹理特征计算得到的第m帧图像的序号l_v(m)：

其中，α_base为基准局部纹理特征，t_v＝1为局部纹理特征门限；对于初始帧，l_v(1)＝1，α_base＝α₁；

在后续帧中，该基准局部纹理特征随纹理特征幅值的变化按下式更新

S22：计算基于全局亮度特征的第m帧图像的序号， m>1 ：

其中，β_base1和β_base2为对于m帧亮度特征的两个基准全局亮度特征，对于初始帧，β_base1＝β₁+t_b2+1,β_base2＝β₁，t_b1＝5和t_b2＝1表示两个全局亮度特征门限；

在后续帧中，β_base1和β_base2随亮度特征幅值的变化按下式更新：

S23：根据基于纹理特征的判定迟滞帧的函数s_v(m)和基于全局亮度特征的判定迟滞帧的函数s_b(m)判定迟滞帧结果，其中，s_v(m)＝1表示根据纹理特征判断，第m帧被认定为迟滞帧；反之，则不被认定为迟滞帧；同样的定义应用于s_b(m)：

其中，u表示l_v(m)和l_b(m)中任意视频帧序号，Ω表示l_v(m)或l_b(m)中所有序号为u的视频帧的集合，std(.)表示标准差运算符，对于l_v(m)，当多个视频帧出现连续相同序号次数大于门限t_c＝f时则可能为迟滞帧，其中f表示该视频帧率；S(m)＝s_v(m)∧s_b(m)表示最终的迟滞帧判定结果，其中符号∧表示逻辑与操作；

S3：对检测到的迟滞帧进行总迟滞频次和总迟滞时长的统计；

S4：以迟滞频率和迟滞时间的线性组合结果作为预测的视频质量。

2.根据权利要求1所述的基于局部纹理特征和全局亮度特征的视频质量评价方法，其特征在于,S3的具体步骤包括：

S31：计算第k段迟滞发生的起始帧z_s(k)和终止帧z_e(k)的位置：

其中，R(·)表示激活函数，

S32：获得视频中迟滞出现的频次K和总时长L：

K＝numel(Z_s) (18)

其中，numel(.)是计数函数，统计向量Z_s＝{z_s(1),...,z_s(K)}中元素的个数。

3.根据权利要求2所述的基于局部纹理特征和全局亮度特征的视频质量评价方法，其特征在于,S31中，对该两段迟滞进行合并：

4.根据权利要求2或3所述的基于局部纹理特征和全局亮度特征的视频质量评价方法，其特征在于,S4的具体步骤为：

S41：将K和L归一化到[0,1]的动态范围：

其中，c₁＝3.71和c₂＝0.49是两个归一化参数；

S42：计算预测的视频质量p：

p＝w₁·K+w₂·L (22)

其中，w₁＝0.5和w₂＝0.5是两个权重参数。