CN111083468B - 一种基于图像梯度的短视频质量评价方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像梯度的短视频质量评价方法及系统，该方法包括步骤：S1、对短视频进行截帧处理，将短视频分解成多个图像帧；S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score₁，Score₂，...，Score_N}，其中Score_i表示第i个子图的梯度得分，i＝1,2,...,N；S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；S5、基于所有截帧图像帧的质量得分，计算短视频质量得分。本发明将短视频分解成多个图像序列帧，引入优化后的图像梯度作为客观度量图像信息量方法，从而实现实时客观短视频质量评价。

Description

一种基于图像梯度的短视频质量评价方法及系统

技术领域

本发明涉及图像处理领域，具体涉及一种基于图像梯度的短视频质量评价方法及系统。

背景技术

近年来，随着移动互联网的飞速发展以及4G网络的普及，日常生活中接触到的信息内容呈现指数级的增长。短视频作为信息内容的载体，逐渐进入了大众群体的视野。相较于传统的图像与文字，短视频的表现方式比文字和图像更加具有感官冲击力，并且其展现内容也更加丰富和生动。随着短视频的发展，视频质量高低影响着用户的观看体验的好坏，因此对发布的短视频进行质量分析便成了短视频平台首要任务。

视频质量评估主要分为三大块：全参考视频质量评估，部分参考视频质量评估和无参考视频质量评估。现有视频质量评估方法大都为全参考视频质量评估和部分参考视频质量。上述两种评估方法均需要原始视频作为对照，然后通过对比分析失真的视频的质量。然而，日常社交平台上发布的短视频均没有原始视频进行对照分析，因此，全参考视频质量评估、部分参考视频质量评估均不适用于短视频质量评价。传统的无参考视频质量评估处理流程为：视频分解成图像帧序列；对图像帧进行图像质量评估；综合图像帧得分返回视频质量得分。然而，传统分析图像方法鲁棒性低，通常单一计算整图质量忽略图像局部质量，这通常在整图质量低、但局部信息大的情况下尤为突出。

随着深度学习方法的发展，有学者尝试引入学习方法到视频质量评估中。公开号为CN 110517237A的发明专利申请公开了一种基于膨胀三维卷积神经网络的无参考视频质量评价方法，具体为：构建由粗特征提取模块、三维时空特征学习模块、非线性回归模块组成的膨胀三维卷积神经网络，生成无参考的训练数据集和测试数据集，训练膨胀三维卷积神经网络，输出测试集中每个失真视频的质量评价分数值。

上述基于深度学习对图像质量评价仍然存在以下问题：1.学习方法需要大量训练样本，而视频标注将耗费大量人力物力；2.视频质量评估偏主观，多人标注存在不同标准，间接影响后续训练准确性；3.学习方法需要消耗大量计算机资源。

因此，如何克服现有的短视频质量评价的问题，实现鲁棒性强、处理效率高的短视频质量评价方法是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于图像梯度的短视频质量评价方法及系统。本发明将短视频分解成多个图像序列帧，实现无参考视频质量评估。引入优化后的图像梯度作为客观度量图像信息量方法，从而实现实时客观短视频质量评价。

为了实现以上目的，本发明采用以下技术方案：

一种基于图像梯度的短视频质量评价方法，其特征在于，包括步骤：

S1、对短视频进行截帧处理，将短视频分解成多个图像帧；

S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score₁，Score₂，…，Score_N}，其中Score_i表示第i个子图的梯度得分，i＝1，2，...，N；

S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

S5、基于所有截帧图像帧的质量得分，计算短视频质量得分。

进一步地，所述步骤S4具体为：

S41、计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，执行步骤S42；

S42、计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，执行步骤S43；S43、返回图像帧的质量得分res＝Score。

进一步地，所述步骤S5具体为：

S51、由每帧图像质量得分组成的集合为F＝{res₁，res₂，...，res_T}，其中res_j表示第j个图像帧的质量得分，j＝1，2，...，T，将集合F中的元素进行大小排序得到新的集合F1＝{Ores₁，Ores₂，…，Ores_T}，其中Ores₁＞Ores₂＞…＞Ores_T；

S52、求取集合F1中前m个(m＜T)得分的平均值

作为短视频质量得分。

进一步地，采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)。

进一步地，采用Tenengrad梯度函数计算梯度得分。

本发明还提出一种基于图像梯度的短视频质量评价系统，包括：

截帧模块，用于对短视频进行截帧处理，将短视频分解成多个图像帧；

灰度化模块，用于对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

第一计算模块，用于将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score₁，Score₂，...，Score_N}，其中Score_i表示第i个子图的梯度得分，i＝1，2，...，N；

第二计算模块，用于基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

第三计算模块，用于基于所有截帧图像帧的质量得分，计算短视频质量得分。

进一步地，所述第二计算模块包括：

第一判断模块，用于计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，调用第二判断模块；

第二判断模块，用于计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，调用第三判断模块；

第三判断模块，用于返回图像帧的质量得分res＝Score。

进一步地，所述第三计算模块包括：

排序模块，用于将集合F中的元素进行大小排序得到新的集合F1＝{Ores₁，Ores₂，…，Ores_T}，其中Ores₁＞Ores₂＞…＞Ores_T，由每帧图像质量得分组成的集合为F＝{res₁，res₂，…，res_T}，其中res_j表示第j个图像帧的质量得分，j＝1，2，...，T；

均值模块，用于求取集合F1中前m个(m＜T)得分的平均值

作为短视频质量得分。

进一步地，采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)。

进一步地，采用Tenengrad梯度函数计算梯度得分。

本发明提供了一种基于图像梯度的短视频质量评价方法及系统，针对短视频的特点，将短视频分解成多个图像序列帧，并计算输入图像帧的整图梯度信息，然后该图像帧等分成N个子图并计算子图的梯度信息，通过分析N个子图梯度信息分布得出整幅图的内容分布并决策出改图像帧的最终质量得分，最后，通过加权视频抽离出的图像帧的评分得出最后视频质量。本发明实现了无参考视频质量，不需要原始视频进行对照分析。通过将短视频分解成多个图像序列帧，克服了现有的无参考视频质量评价时人为标准效率低、准确率低、评价处理复杂、资源消耗大的问题，实现了快速、准确、客观的短视频质量评价。通过同时计算整图梯度及子图梯度，在考虑图像帧整图质量的同时，充分考虑图像帧的局部质量，能够更全面、精确地对图像帧的质量进行评价。此外，本发明选择质量评分排名前m的图像帧，本发明采用平均得分来对短视频的质量进行评价，避免了采用图像帧的最高分值来评价短视频质量时鲁棒性低的问题，提高了系统鲁棒性，同时降低了纯色填充帧对短视频质量的影响。

附图说明

图1是实施例一提供的一种基于图像梯度的短视频质量评价方法流程图；

图2是实施例二提供的一种基于图像梯度的短视频质量评价系统结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

实施例一

如图1所示，本实施例提出了一种基于图像梯度的短视频质量评价方法，包括：

S1、对短视频进行截帧处理，将短视频分解成多个图像帧；

短视频是由多帧图像拼接组合而成，通常意义上的30fps、60fps视频代表着该视频1秒钟由30或60张图像构成，而如果一个10秒钟的视频就对应300或者600张图像。如果对视频中所有图像帧进行处理无疑会影响系统的性能，而且连续图像帧变化甚微，导致系统的冗余计算。因此，本发明按照一定时间间隔对短视频进行截帧处理，将短视频分解成多个图像帧，仅提取特定位置的图像帧进行处理。例如，可以按照按1秒钟的间隔抽取图像帧进行分析，意味着一段10秒钟的视频仅分析10张图像帧。

S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

通常人眼看到的彩色图像均由RGB三个色彩分量组成，每个分量的值一般从0到255。本发明的图像帧通常也为RGB格式，但是RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。本发明基于梯度信息来表征图像信息，因此，在图像处理过程中需要对RGB图像进行灰度化。灰度图像上每个像素的颜色值又称为灰度，指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。所谓灰度值是指色彩的浓淡程度，灰度直方图是指一幅数字图像中，对应每一个灰度值统计出具有该灰度值的象素数。灰度就是没有色彩，RGB色彩分量全部相等。例如，一个256级灰度的图象，如果RGB三个量相同时，如：RGB(100，100，100)就代表灰度为100，RGB(50，50，50)代表灰度为50。

目前主流的灰度化方法有：最大值法、平均值法和加权平均法。假设生成的灰度图用^Grad，彩色图像三个颜色通道分别用R，G，B表示，那么有

最大值法：

Grad(i，j)＝max{R(i，j)，G(i，j)，B(i，j)}

平均值法：

Grad(i，j)＝(R(i，j)+G(i，j)+B(i，j))/3

加权平均法：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)

由于人眼对绿色最敏感，对蓝色敏感度最低，通常采用加权平均法对图像进行灰度化。本发明不对具体的灰度化方法进行限定，优选地，本发明利用加权平均法进行图像灰度化。

S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score₁，Score₂，...，Score_N}；

本发明通过对短视频包括的图像帧进行质量评价，以进一步评价短视频的质量。图像的质量与图像信息量密切相关，本发明采用图像清晰度评价函数对图像质量进行评价，常用的清晰度评价函数包括tenengrad函数和brenner函数。以Tenengrad梯度函数为例，本发明引入Tenengrad梯度函数作为计算图像信息量的函数。梯度信息能直接反应出图像清晰度的高低：图像梯度越大，图像轮廓边界越清晰，对应着图像清晰度越高。

由于Tenengrad梯度计算将引入Sobel算子分别提取水平和垂直方向的梯度值。本发明引入的Sobel算子模板为：

其中g_x为水平梯度卷积模板，g_y为垂直梯度卷及模板。通过梯度算子与灰度图的卷积可计算出该灰度图的水平梯度图G_x和垂直梯度图G_y，然后利用该两项得到联合梯度图G，公式如下：

最终可计算出Tenengrad梯度得分D：

现有的图像帧的质量评价通常是单一计算整图质量忽略图像局部质量，当图像帧的局部信息量大而整图质量较低时，并不能准确地对图像质量进行评价。因此，本发明将图像帧灰度图N等分成N个子图。例如，通过将长和宽分别进行三等分得出9个子区域。除计算图像帧灰度图的梯度得分Score外，还依次对N个子图进行处理，计算各子图的梯度得分，由此生成N个子图梯度得分集合S＝{Score₁，Score₂，...，Score_N}，其中Score_i表示第i个子图的梯度得分。因此，本发明能够全面获取图像帧的信息，精确评价图像的质量。

S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

本发明基于图像帧的整图信息及局部信息共同确定图像帧的质量。作为本发明的一个实施例，图像帧的质量得分具体为：

S41、计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，执行步骤S42；

本发明遍历集合S，如果梯度得分集合S中的最大值max(S)＞0.8×Score，则认为某个子图包含整图的绝大部分内容，随着N越大，这类图观感体验越差。对于此类图，采用整图信息对图像帧的质量进行评价会忽略图像的局部质量，进而严重影响图像帧质量的精确度。因此，本发明将N各子图的梯度得分均值

作为图像帧的质量得分。

S42、计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，执行步骤S43；

本发明根据经验设置一个阈值thr，如果集合S中存在至少0.5*N个子图得分小于thr，则认为该图纯色占比较多，与某个子图包含整图的绝大部分内容类似，对于此类图，采用整图信息对图像帧的质量进行评价会忽略图像的局部质量，进而严重影响图像帧质量的精确度。因此，本发明将N各子图的梯度得分均值

作为图像帧的质量得分。

S43、返回图像帧的质量得分res＝Score。

当图像帧中并不存在某个子图包含整图的绝大部分内容，也不存在大量纯色子图时，图像帧的整图信息能够很好地指示图像帧的质量。在此情况下，本发明将图像帧灰度图的梯度得分Score作为图像帧的质量得分。

本发明根据不同图像帧的特点，选择不同的图像帧质量得分计算方式，在考虑图像帧整图质量的同时，充分考虑图像帧的局部质量，能够更全面、精确地对图像帧的质量进行评价。

S5、基于所有截帧图像帧的质量得分，计算短视频质量得分。

由于短视频是由多帧图像拼接组合而成，因此短视频质量得分由所有截帧图像帧的质量得分共同决定。对于短视频提取的T个图像帧，由每帧图像质量得分组成的集合为F＝{res₁，res₂，...，res_T}，其中res_j表示第j个图像帧的质量得分，j＝1，2，...，T。对于按1秒钟的间隔抽取图像帧的短视频而言，对一个时长为T秒的短视频，就会提取T个图像帧。

如果将集合F中分值最高作为最终短视频质量得分，容易降低整个系统的鲁棒性。如果取集合F中的平均得分，由于本发明截帧方式为等间隔截帧，可能存在在该时间帧上截取到纯色填充帧，影响集合F的平均得分，造成短视频质量得分不准确的问题。因此，本发明优选的质量得分计算流程为：

S51、将集合F中的元素进行大小排序得到新的集合F1＝{Ores₁，Ores₂，...，Ores_T}，其中Ores₁＞Ores₂＞…＞Ores_T；

为了剔除纯色填充图像帧对视频质量评价的影响，本发明仅选取质量评分排名前m的图像帧对短视频的质量进行评价。本发明能够避免纯色填充图像帧对视频质量评价的影响，更能准确地评价短视频的质量。

S52、求取集合F1中前m个(m＜T)得分的平均值

作为短视频质量得分。

选择出质量评分排名前m的图像帧后，本发明采用平均得分来对短视频的质量进行评价，避免了采用图像帧的最高分值来评价短视频质量时鲁棒性低的问题。

实施例二

如图2所示，本实施例提出了一种基于图像梯度的短视频质量评价系统，包括：

截帧模块，用于对短视频进行截帧处理，将短视频分解成多个图像帧；

短视频是由多帧图像拼接组合而成，通常意义上的30中s、60fps视频代表着该视频1秒钟由30或60张图像构成，而如果一个10秒钟的视频就对应300或者600张图像。如果对视频中所有图像帧进行处理无疑会影响系统的性能，而且连续图像帧变化甚微，导致系统的冗余计算。因此，本发明按照一定时间间隔对短视频进行截帧处理，将短视频分解成多个图像帧，仅提取特定位置的图像帧进行处理。例如，可以按照按1秒钟的间隔抽取图像帧进行分析，意味着一段10秒钟的视频仅分析10张图像帧。

灰度化模块，用于对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

通常人眼看到的彩色图像均由RGB三个色彩分量组成，每个分量的值一般从0到255。本发明的图像帧通常也为RGB格式，但是RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色的调配。本发明基于梯度信息来表征图像信息，因此，在图像处理过程中需要对RGB图像进行灰度化。灰度图像上每个像素的颜色值又称为灰度，指黑白图像中点的颜色深度，范围一般从0到255，白色为255，黑色为0。所谓灰度值是指色彩的浓淡程度，灰度直方图是指一幅数字图像中，对应每一个灰度值统计出具有该灰度值的象素数。灰度就是没有色彩，RGB色彩分量全部相等。例如，一个256级灰度的图象，如果RGB三个量相同时，如：RGB(100，100，100)就代表灰度为100，RGB(50，50，50)代表灰度为50。

目前主流的灰度化方法有：最大值法、平均值法和加权平均法。假设生成的灰度图用Grad，彩色图像三个颜色通道分别用R，G，B表示，那么有

最大值法：

Grad(i，j)＝max{R(i，j)，G(i，j)，B(i，j)}

平均值法：

Grad(i，j)＝(R(i，j)+G(i，j)+B(i，j))/3

加权平均法：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)

由于人眼对绿色最敏感，对蓝色敏感度最低，通常采用加权平均法对图像进行灰度化。本发明不对具体的灰度化方法进行限定，优选地，本发明利用加权平均法进行图像灰度化。

第一计算模块，用于将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score₁，Score₂，…，Score_N}；

本发明通过对短视频包括的图像帧进行质量评价，以进一步评价短视频的质量。图像的质量与图像信息量密切相关，本发明采用图像清晰度评价函数对图像质量进行评价，常用的清晰度评价函数包括tenengrad函数和brenner函数。以Tenengrad梯度函数为例，本发明引入Tenengrad梯度函数作为计算图像信息量的函数。梯度信息能直接反应出图像清晰度的高低：图像梯度越大，图像轮廓边界越清晰，对应着图像清晰度越高。

由于Tenengrad梯度计算将引入Sobel算子分别提取水平和垂直方向的梯度值。本发明引入的Sobel算子模板为：

其中g_x为水平梯度卷积模板，g_y为垂直梯度卷及模板。通过梯度算子与灰度图的卷积可计算出该灰度图的水平梯度图G_x和垂直梯度图G_y，然后利用该两项得到联合梯度图G，公式如下：

最终可计算出Tenengrad梯度得分D：

现有的图像帧的质量评价通常是单一计算整图质量忽略图像局部质量，当图像帧的局部信息量大而整图质量较低时，并不能准确地对图像质量进行评价。因此，本发明将图像帧灰度图N等分成N个子图。例如，通过将长和宽分别进行三等分得出9个子区域。除计算图像帧灰度图的梯度得分Score外，还依次对N个子图进行处理，计算各子图的梯度得分，由此生成N个子图梯度得分集合S＝{Score₁，Score₂，...，Score_N}，其中Score_i表示第i个子图的梯度得分。因此，本发明能够全面获取图像帧的信息，精确评价图像的质量。

第二计算模块，用于基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

本发明基于图像帧的整图信息及局部信息共同确定图像帧的质量。作为本发明的一个实施例，第二计算模块包括：

第一判断模块，用于计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，调用第二判断模块；

本发明遍历集合S，如果梯度得分集合S中的最大值max(S)＞0.8×Score，则认为某个子图包含整图的绝大部分内容，随着N越大，这类图观感体验越差。对于此类图，采用整图信息对图像帧的质量进行评价会忽略图像的局部质量，进而严重影响图像帧质量的精确度。因此，本发明将N各子图的梯度得分均值

作为图像帧的质量得分。

第二判断模块，用于计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，调用第三判断模块；

本发明根据经验设置一个阈值thr，如果集合S中存在至少0.5*N个子图得分小于thr，则认为该图纯色占比较多，与某个子图包含整图的绝大部分内容类似，对于此类图，采用整图信息对图像帧的质量进行评价会忽略图像的局部质量，进而严重影响图像帧质量的精确度。因此，本发明将N各子图的梯度得分均值

作为图像帧的质量得分。

第三判断模块，用于返回图像帧的质量得分res＝Score。

当图像帧中并不存在某个子图包含整图的绝大部分内容，也不存在大量纯色子图时，图像帧的整图信息能够很好地指示图像帧的质量。在此情况下，本发明将图像帧灰度图的梯度得分Score作为图像帧的质量得分。

本发明根据不同图像帧的特点，选择不同的图像帧质量得分计算方式，在考虑图像帧整图质量的同时，充分考虑图像帧的局部质量，能够更全面、精确地对图像帧的质量进行评价。

第三计算模块，用于基于所有截帧图像帧的质量得分，计算短视频质量得分。

由于短视频是由多帧图像拼接组合而成，因此短视频质量得分由所有截帧图像帧的质量得分共同决定。对于短视频提取的T个图像帧，由每帧图像质量得分组成的集合为F＝{res₁，res₂，…，res_T}，其中res_j表示第j个图像帧的质量得分，j＝1，2，...，T。对于按1秒钟的间隔抽取图像帧的短视频而言，对一个时长为T秒的短视频，就会提取T个图像帧。

如果将集合F中分值最高作为最终短视频质量得分，容易降低整个系统的鲁棒性。如果取集合F中的平均得分，由于本发明截帧方式为等间隔截帧，可能存在在该时间帧上截取到纯色填充帧，影响集合F的平均得分，造成短视频质量得分不准确的问题。因此，本发明优选的第三计算模块包括：

排序模块，用于将集合F中的元素进行大小排序得到新的集合F1＝{Ores₁，Ores₂，...，Ores_T}，其中Ores₁＞Ores₂＞…＞Ores_T；

为了剔除纯色填充图像帧对视频质量评价的影响，本发明仅选取质量评分排名前m的图像帧对短视频的质量进行评价。本发明能够避免纯色填充图像帧对视频质量评价的影响，更能准确地评价短视频的质量。

均值模块，用于求取集合F1中前m个(m＜T)得分的平均值

作为短视频质量得分。

选择出质量评分排名前m的图像帧后，本发明采用平均得分来对短视频的质量进行评价，避免了采用图像帧的最高分值来评价短视频质量时鲁棒性低的问题。

由此可知，本发明提供的一种基于图像梯度的短视频质量评价方法及系统，针对短视频的特点，将短视频分解成多个图像序列帧，并计算输入图像帧的整图梯度信息，然后该图像帧等分成N个子图并计算子图的梯度信息，通过分析N个子图梯度信息分布得出整幅图的内容分布并决策出改图像帧的最终质量得分，最后，通过加权视频抽离出的图像帧的评分得出最后视频质量。本发明实现了无参考视频质量，不需要原始视频进行对照分析。通过将短视频分解成多个图像序列帧，克服了现有的无参考视频质量评价时人为标准效率低、准确率低、评价处理复杂、资源消耗大的问题，实现了快速、准确、客观的短视频质量评价。通过同时计算整图梯度及子图梯度，在考虑图像帧整图质量的同时，充分考虑图像帧的局部质量，能够更全面、精确地对图像帧的质量进行评价。此外，本发明选择质量评分排名前m的图像帧，本发明采用平均得分来对短视频的质量进行评价，避免了采用图像帧的最高分值来评价短视频质量时鲁棒性低的问题，提高了系统鲁棒性，同时降低了纯色填充帧对短视频质量的影响。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (2)

1.一种基于图像梯度的短视频质量评价方法，其特征在于，包括步骤：

S1、对短视频进行截帧处理，得到多个图像帧；

S2、对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

S3、将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score 1 ，Score 2 ，...，Score N }，其中Score i 表示第i个子图的梯度得分，i＝1,2,...,N；

S4、基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

S5、基于所述多个图像帧的质量得分，计算短视频质量得分；

所述步骤S4具体为：

S41、计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，执行步骤S42；

S42、计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，执行步骤S43；

S43、返回图像帧的质量得分res＝Score；

所述步骤S5具体为：

S51、由每帧图像质量得分组成的集合为F＝{res 1 ，res 2 ，...，res T }，其中res j表示第j个图像帧的质量得分，j＝1,2,...,T，将集合F中的元素进行大小排序得到新的集合F1＝{Ores 1 ，Ores 2 ，...，Ores T }，其中Ores 1 ＞Ores 2 ＞...＞Ores T ；

S52、求取集合F1中前m个(m<T)得分的平均值

作为短视频质量得分；

其中，在所述步骤S2中采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0.299*R(i，j)+0.587*G(i，j)+0.114*B(i，j)；

其中，在所述步骤S3中采用Tenengrad梯度函数计算梯度得分。

2.一种基于图像梯度的短视频质量评价系统，其特征在于，包括：

截帧模块，用于对短视频进行截帧处理，得到多个图像帧；

灰度化模块，用于对所述多个图像帧进行图像灰度化处理，得到对应的图像帧灰度图；

第一计算模块，用于将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score及所述N个子图梯度得分集合S＝{Score 1 ，Score 2 ，...，Score N }，其中Score i 表示第i个子图的梯度得分，i＝1,2,...,N；

第二计算模块，用于基于所述梯度得分Score及梯度得分集合S计算图像帧的质量得分；

第三计算模块，用于基于所述多个图像帧的质量得分，计算短视频质量得分；

所述第二计算模块包括：

第一判断模块，用于计算梯度得分集合S中的最大值max(S)，判断max(S)＞0.8×Score是否成立，若是，图像帧的质量得分

否则，调用第二判断模块；

第二判断模块，用于计算梯度得分集合S中小于阈值thr的个数Num，判断Num≥0.5*N是否成立，若是，图像帧的质量得分

否则，调用第三判断模块；

第三判断模块，用于返回图像帧的质量得分res＝Score；

所述第三计算模块包括：

排序模块，用于将集合F中的元素进行大小排序得到新的集合F1＝{Ores 1 ，Ores 2，...，Ores T }，其中Ores 1 ＞Ores 2 ＞…＞Ores T ，由每帧图像质量得分组成的集合为F＝{res 1 ，res 2 ，...，res T }，其中res j 表示第j个图像帧的质量得分，j＝1,2,...,T；

均值模块，用于求取集合F1中前m个(m<T)得分的平均值

作为短视频质量得分；

其中，在灰度化模块，用于对所述多个图像帧进行图像灰度化处理，具体采用加权平均法对图像进行灰度化，彩色图像三个颜色通道分别用R、G、B表示，则灰度图Grad为：

Grad(i，j)＝0 .299*R(i，j)+0 .587*G(i，j)+0 .114*B(i，j)；

其中，在第一计算模块，用于将所述图像帧灰度图N等分成N个子图，计算所述图像帧灰度图的梯度得分Score,具体采用Tenengrad梯度函数计算梯度得分。

Images