CN109816625A - 一种视频质量评分实现方法 - Google Patents

Abstract

本发明涉及深度学习技术领域，更具体地，涉及视频质量评分实现方法，包括有以下步骤：对输入视频进行质检，使用训练好的基于卷积神经网络的视频图像失真分类模型对输入视频进行分类，并将模型分类的中间结果存储在视频质检数据库中；采用正负例均衡方法和自适应学习解决模型分类中的过拟合和局部最小值问题；通过CNN视频图像失真分类模型的卷积神经网络，采用仿真标准图像库训练最终模型或在视频质检前选择与测试视频特征相似的视频进行模型训练。本发明克服手动提取特征的繁琐性和避免对相关专业先验知识的要求，实现图像特征自动提取和识别分析。

Description

一种视频质量评分实现方法

技术领域

本发明涉及深度学习技术领域，更具体地，涉及一种视频质量评分实现方法。

背景技术

无参考视频质量评价方法，不需要原始视频的任何信息，直接根据待评价视频的信息得到视频质量。无参考视频质量评价方法适用于所有视频相关的应用，尤其适合视频接收终端的质量评价，是目前视频质量评价领域最热门的研究方向。由于参考视频的缺失，无参考方法主要通过模拟人眼对视频的感知来估计视频质量。但是，由于目前学术界对HVS和人脑认知能力的研究还比较有限，无参考方法的评价准确度还有一定差距。同时，一些不可量化的因素加大了无参考方法的实现难度，如审美学差异，认知能力和知识积累等。由于视频相关的应用种类繁多，普适性一直以来是困扰视频质量评价方法投入实用的一个难点，要设计一个可以适用于所有应用场合的视频质量评价方法难度颇大，而对于无参考方法，其难度更大。对于某些场景有较高准确度的方法，换到其他场合，可能效果会大打折扣。

无参考视频质量评价方法关键点在于对视频图像失真及分类的准确性。而图像质量评价的关键都在于特征提取的好坏。一些二步框架的无参考图像质量评价算法，如BIQI_4l、DIIVINE-51和BRISQUEL6。等，都要先识别失真图像，再对图像质量进行评价。BIQI基于失真图像的统计特征，采用SVM分类器得到图像的失真类型。DIIVINE首先通过小波变换对失真图像进行分解，然后使用高斯尺度混合模型拟合小波系数，将拟合参数作为特征向量来识别失真图像；BRIS—QUE根据规范化亮度系数分布提取空域统计特征，利用支持向量机得到图像失真类别。有一种做法将自然图像及其对应的规范化亮度图像和局部标准差图像作为输入，利用自相关互信息来描述输入图像邻近像素的相关性，并结合多方向和多尺度分析提取互信息特征，从而实现对失真图像的分类。另外，还有一些提取失真图像特征的方法，如提取图像的均值、方差、梯度、熵等感知特征。还有一种做法是将自然场景统计和感知特征或空域变换结合在一起等。以上算法具有较好的主观一致性，但是都需要手动提取特征，对存在混合失真的视频图像难以有效表示。

深度学习是近年来人工智能领域的研究热点之一，其在图像识别、语音识别、自然语言处理、计算机视觉等诸多领域取得了巨大成功。深度学习与传统模式识别方法最大的不同在于它能从大数据中自动学习特征，而不用手工设计的特征。因此，利用深度学习解决图像质量相关问题也是一个值得研究的方向。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种视频质量评分实现方法，克服手动提取特征的繁琐性和避免对相关专业先验知识的要求，实现图像特征自动提取和识别分析。

为解决上述技术问题，本发明采用的技术方案是：一种视频质量评分实现方法，其特征在于，包括有以下步骤：

S1：对输入视频进行质检，使用训练好的基于卷积神经网络的视频图像失真分类模型对输入视频进行分类，并将模型分类的中间结果存储在视频质检数据库中；

S2：采用正负例均衡方法和自适应学习解决模型分类中的过拟合和局部最小值问题；

S3：使用视频图像失真分类模型及仿真标准图像库进行模型训练，对训练完成的视频图像失真分类模型进行准确率验证，若准确率在阈值范围内，使用视频图像失真分类模型对真实待测的视频进行测试；

S4：将视频图像失真分类模型产生的结果存在后端数据库中，再根据数据库中的参数得出视频评分。

本申请技术方案中，首先建立训练好的基于卷积神经网络的视频图像失真分类模型，使用训练好的基于卷积神经网络的视频图像失真分类模型对输入视频进行分类，并将模型分类的中间结果存储在视频质检数据库中。对于分类中过拟合和局部最小值问题，通过正负例均衡方法和自适应学习解决模型进行处理，处理完成后，通过CNN视频图像失真分类模型的卷积神经网络，采用仿真标准图像库训练最终模型或在视频质检前选择与测试视频特征相似的视频进行模型训练。

在一个实施方式中，步骤S1中，包括有以下步骤：

S11：测试输入视频，对视频进行抽帧并进行帧解码；

S12：进行图像切割，并将切割后的图像输入到视频图像失真分类模型进行分类处理；

S13：将分类结果存入后端数据库，进行视频结果评分。

在一个实施方式中，步骤S1中，卷积神经网络视频图像失真分类模型用于识别视频图像中的过亮异常、过暗异常、偏色和模糊4种异常图像，并将异常的帧信息和分类类型保留下来。

在一个实施方式中，步骤S1中，卷积神经网络视频图像失真分类模型后台数据库用于保存测试视频名称、测试时间、异常帧信息、异常帧类型信息。

在一个实施方式中，步骤S2中，采用正负例均衡化方法防止过拟合；正负例均衡化原理表现为样本分布不均导致分类准确率下降，当正样本数Np和负样本数Nn的比值在区间[0.716,1.141]时，采用旋转和尺寸缩放对样本进行仿射变换。

在一个实施方式中，步骤S2中，采用自适应学习模型防止局部最小值问题；自适应学习模型原理表现为在对CNN的代价函数最小化时，本次权值更新的速率由上一个的更新速率和上一次得到的代价函数值决定。

在一个实施方式中，步骤S2中，正负例均衡方法如下：

正样本Np和负样本数Nn的比值：

如果ρ∈ρ'，样本分布较为均匀，算法的分类性能不会受到影响；

其中

若则

K'＝A_rA_sK

其中，K表示原样本，K'为K经过仿射变换后的的新样本，Ar和As为变化矩阵：

θ和s分别为旋转角度和缩放比例，随机取θ和s的值，重复执行K'＝A_rA_sK，直到ρ∈ρ'。

在一个实施方式中，步骤S2中，自适应学习解决模型如下：

训练时采用批处理的方式，批处理量为100，权值更新表示为

W^t＝W^t-1+ΔW^t，

其中ΔW^t表示每次权重更新的变化量，

ΔW^t＝p^tΔW^t-1-(1-p^t)ε^t＜▽_wL＞，

p^t为权重因子，表示为：

在一个实施方式中，步骤S3中，包括有以下步骤：

S31：选取用于模型训练的视频，对视频库中的视频进行取帧，产生视频图像库；

S32：对视频图像库中的样本使用正负例样本均衡法，得到分布均匀的实验样本；

S33：将实验样本随机分成三个子集，60％作为训练集，20％作为验证集，20％作为测试集；

S34：CNN权重训练中对权值更新使用随机梯度下降算法和反向传播算法，学习速率根据损失函数值自适应变化，当代价函数值进入平滞期，学习速率随之减小为原来的一半；

S35：对训练出来的卷积神经网络视频图像失真分类模型进行准确率验证，若准确率在自定义的接受范围内，使用该卷积神经网络视频图像失真分类模型对真实待测的视频进行测试；

S36：将视频图像失真分类模型产生的结果存在后端数据库中，再根据数据库中的参数得出最后的视频评分。

在一个实施方式中，步骤S3中，CNN视频图像失真分类模型的卷积神经网络包括有依次顺接的输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6，以及与池化层S6连接的全连接层F7。

本发明与现有技术相比，具有以下特点：

1、克服手动提取特征的繁琐性和避免对相关专业先验知识的要求，实现图像特征自动提取和识别分析。通过采用卷积神经网络(CNN)算法，对实际测试视频图像中出现的过量异常、过暗异常、偏色和模糊四种失真类型进行检测和识别，并针对对失真类型的统计结果对视频进行评分；

2、针对过拟合和局部最小值问题，引入了正负例均衡化方法和自适应学习速率，提升网络的学习能力，具有更好的收敛性和鲁棒性；

3、将视频图像分割成若干个较小的图像块作为CNN的输入，不用任何失真视频图像的先验知识，能在网络训练过程中主动学习到复杂的特征映射；

4、采用多数表决规则，可由图像块的预测类别得到视频图像的分类结果，实验结果表明，本文方法能主动学习特征，且网络结构具有模块化特点，可以通用于任意失真类型的视频图像失真检测及分类问题，具有较好的鲁棒性和实用性。

附图说明

图1是经典的卷积神经网络结构图。

图2是本发明实施例中系统方法的工作流程图。

图3是本发明实施例中八层卷积神经网络示意图。

图4是本发明实施例中卷积神经网络(CNN)视频图像失真分类模型训练流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例：

本发明提供一种视频质量评分实现方法，包括有以下步骤：

S1：对输入视频进行质检，使用训练好的基于卷积神经网络的视频图像失真分类模型对输入视频进行分类，并将模型分类的中间结果存储在视频质检数据库中；

步骤S1中，卷积神经网络视频图像失真分类模型用于识别视频图像中的过亮异常、过暗异常、偏色和模糊4种异常图像，并将异常的帧信息和分类类型保留下来。卷积神经网络视频图像失真分类模型后台数据库用于保存测试视频名称、测试时间、异常帧信息、异常帧类型信息。

如图2所示，步骤S1中，包括有以下步骤：

S11：测试输入视频，对视频进行抽帧并进行帧解码；

S12：进行图像切割，并将切割后的图像输入到视频图像失真分类模型进行分类处理；

S13：将分类结果存入后端数据库，进行视频结果评分。

S2：采用正负例均衡方法和自适应学习解决模型分类中的过拟合和局部最小值问题；采用正负例均衡化方法防止过拟合；正负例均衡化原理表现为样本分布不均导致分类准确率下降，当正样本数Np和负样本数Nn的比值在区间[0.716,1.141]时，采用旋转和尺寸缩放对样本进行仿射变换。采用自适应学习模型防止局部最小值问题；自适应学习模型原理表现为在对CNN的代价函数最小化时，本次权值更新的速率由上一个的更新速率和上一次得到的代价函数值决定。

正负例均衡方法如下：

正样本Np和负样本数Nn的比值：

如果ρ∈ρ'，样本分布较为均匀，算法的分类性能不会受到影响；

其中

若则

K'＝A_rA_sK

其中，K表示原样本，K'为K经过仿射变换后的的新样本，Ar和As为变化矩阵：

θ和s分别为旋转角度和缩放比例，随机取θ和s的值，重复执行K'＝A_rA_sK，直到ρ∈ρ'。

自适应学习解决模型如下：

训练时采用批处理的方式，批处理量为100，权值更新表示为

W^t＝W^t-1+ΔW^t，

其中ΔW^t表示每次权重更新的变化量，

ΔW^t＝p^tΔW^t-1-(1-p^t)ε^t＜▽_wL＞，

p^t为权重因子，表示为：

S3：使用视频图像失真分类模型及仿真标准图像库进行模型训练，对训练完成的视频图像失真分类模型进行准确率验证，若准确率在阈值范围内，使用视频图像失真分类模型对真实待测的视频进行测试；

S4：将视频图像失真分类模型产生的结果存在后端数据库中，再根据数据库中的参数得出视频评分。

如图4所示，步骤S3包括有以下步骤：

S31：选取用于模型训练的视频，对视频库中的视频进行取帧，产生视频图像库；

S32：对视频图像库中的样本使用正负例样本均衡法，得到分布均匀的实验样本；

S33：将实验样本随机分成三个子集，60％作为训练集，20％作为验证集，20％作为测试集；

S34：CNN权重训练中对权值更新使用随机梯度下降算法和反向传播算法，学习速率根据损失函数值自适应变化，当代价函数值进入平滞期，学习速率随之减小为原来的一半；

S35：对训练出来的卷积神经网络视频图像失真分类模型进行准确率验证，若准确率在自定义的接受范围内，使用该卷积神经网络视频图像失真分类模型对真实待测的视频进行测试；

如图3所示，本实施例中，步骤S3中，视频图像失真分类模型基于卷积神经网络，视频图像失真分类模型包括有依次顺接的输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6，以及与池化层S6连接的全连接层F7。

本发明方法在具体实施方面，分为以下内容：

1、训练视频样本选取：

如果对于视频的特征分布没有特殊要求，可以选取默认提供的LIVE5中专家视频库作为训练视频样本。对于特殊的场合需求，比如对于监控视频质量评分，可以选取监控视频作为训练视频样本。

2、训练视频样本预处理；

使用正负例样本均衡法对视频样本的异常分布进行预处理，训练视频样本库主要划分为正常视频、模糊异常视频、偏色异常视频、过亮视频和过暗视频，统计以上五类视频的数量，如果正样本数Np和负样本数Nn的比值在区间[0.716，1.141]则不用调整，否则采用旋转和尺寸缩放对样本进行仿射变换。并将训练用的视频样本随机分成三个子集，60％作为训练集，20％作为验证集，20％作为测试集。

3、卷积神经网络权重更新；

训练的视频图像失真分类模型中的权重更新原理。

4、模型验证；

对训练出来的卷积神经网络(CNN)视频图像失真分类模型进行准确率验证，将步骤2中训练样本训练出来的模型对验证样本进行验证，如果准确率在预先自定义的可接受范围，就可以使用该卷积神经网络(CNN)视频图像失真分类模型对真实待测的视频进行测试。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种视频质量评分实现方法，其特征在于，包括有以下步骤：

S1：对输入视频进行质检，使用训练好的基于卷积神经网络的视频图像失真分类模型对输入视频进行分类，并将模型分类的中间结果存储在视频质检数据库中；

S2：采用正负例均衡方法和自适应学习解决模型分类中的过拟合和局部最小值问题；

S3：使用视频图像失真分类模型及仿真标准图像库进行模型训练，对训练完成的视频图像失真分类模型进行准确率验证，若准确率在阈值范围内，使用视频图像失真分类模型对真实待测的视频进行测试；

S4：将视频图像失真分类模型产生的结果存在后端数据库中，再根据数据库中的参数得出视频评分。

2.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S1中，包括有以下步骤：

S11：测试输入视频，对视频进行抽帧并进行帧解码；

S12：进行图像切割，并将切割后的图像输入到视频图像失真分类模型进行分类处理；

S13：将分类结果存入后端数据库，进行视频结果评分。

3.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S1中，卷积神经网络视频图像失真分类模型用于识别视频图像中的过亮异常、过暗异常、偏色和模糊4种异常图像，并将异常的帧信息和分类类型保留下来。

4.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S1中，卷积神经网络视频图像失真分类模型后台数据库用于保存测试视频名称、测试时间、异常帧信息、异常帧类型信息。

5.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S2中，采用正负例均衡化方法防止过拟合；正负例均衡化原理表现为样本分布不均导致分类准确率下降，当正样本数Np和负样本数Nn的比值在区间[0.716，1.141]时，采用旋转和尺寸缩放对样本进行仿射变换。

6.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S2中，采用自适应学习模型防止局部最小值问题；自适应学习模型原理表现为在对CNN的代价函数最小化时，本次权值更新的速率由上一个的更新速率和上一次得到的代价函数值决定。

7.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S2中，正负例均衡方法如下：

正样本Np和负样本数Nn的比值：

如果ρ∈ρ'，样本分布较为均匀，算法的分类性能不会受到影响；

其中

若则

K'＝A_rA_sK

其中，K表示原样本，K'为K经过仿射变换后的的新样本，Ar和As为变化矩阵：

θ和s分别为旋转角度和缩放比例，随机取θ和s的值，重复执行K'＝A_rA_sK，直到ρ∈ρ'。

8.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S2中，自适应学习解决模型如下：

t表示自适应学习的时刻，L^t表示在t时刻的模型误差损失，ε^t表示在t时刻的学习率；

训练时采用批处理的方式，批处理量为100，权值更新表示为：

W^t＝W^t-1+ΔW^t，

其中W^t表示在t时刻的模型权重，ΔW^t表示在t时刻权重更新的变化量，

p^t为权重因子，表示为：

9.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S3中，包括有以下步骤：

S31：选取用于模型训练的视频，对视频库中的视频进行取帧，产生视频图像库；

S32：对视频图像库中的样本使用正负例样本均衡法，得到分布均匀的实验样本；

S33：将实验样本随机分成三个子集，60％作为训练集，20％作为验证集，20％作为测试集；

S34：CNN权重训练中对权值更新使用随机梯度下降算法和反向传播算法，学习速率根据损失函数值自适应变化，当代价函数值进入平滞期，学习速率随之减小为原来的一半；

S35：对训练出来的卷积神经网络视频图像失真分类模型进行准确率验证，若准确率在自定义的接受范围内，使用该卷积神经网络视频图像失真分类模型对真实待测的视频进行测试。

10.根据权利要求1所述的视频质量评分实现方法，其特征在于，所述步骤S3中，视频图像失真分类模型包括有依次顺接的输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6，以及与池化层S6连接的全连接层F7。