CN111062439A - 一种视频清晰度分类方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种视频清晰度分类方法、装置、设备和存储介质，所述方法通过对待分类视频的清晰度进行多维度的特征分析，从待分类视频的小波域特征、空域特征、熵特征和美学特征中获取多个清晰度分值，基于所述清晰度分值对待分类视频进行分类，判断所述待分类视频是清晰或者模糊。所述方法采用了多个清晰度分析模型从各个维度的特征进行待分类视频的清晰度分析，能够对待分类视频的清晰度进行综合评价，并基于综合评价，获得更为准确的分类结果，提高了清晰度分类的准确率。所述方法可以对待分类视频进行无参考的清晰度分类，提高了视频审核的效率，降低了审核成本。

Description

一种视频清晰度分类方法、装置、设备和存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种视频清晰度分类方法、装置、设备和存储介质。

背景技术

随着各个应用平台上网络用户的活跃，用户原创内容正在成为各个视频或者社交等应用程序的主流内容。用户原创内容即用户将自己原创的内容通过互联网平台进行展示或者提供给其他用户，伴随着以提倡个性化为主要特点的互联网概念而兴起的。用户原创内容并不是某一种具体的业务，而是一种用户使用互联网的新方式，网络上内容的产出主要是由用户，每一个用户都可以生成自己的内容，互联网上的所有内容由用户创造，即由原来的以下载为主变成下载和上传并重。

由于各个用户使用的录像设备或者处理设备等的不同，用户上传内容的质量没有一个统一的标准，会出现质量参差不齐的情况，需要平台方对用户上传的内容进行审核和筛选。在进行审核时一个较为重要的标准就是用户上传的内容的清晰度。现有技术中可以通过人工对清晰度进行审核。由于业界内没有一种稳定可靠的无参考清晰度评价算法，现有视频无参考清晰度算法在用户原创内容上的评测效果较差，在给实际业务中的用户原创内容做清晰度评分时，模型输出的分值与质量评价中的客观指标和质量相关性评价指标较低，同时，基于上述评分进行视频清晰度分类时的准确率也不够理想，无法满足业务的实际需求。

发明内容

本发明提供了一种视频清晰度分类方法、装置、设备和存储介质。可以提高清晰度分类的准确率。

一方面，本发明提供了一种视频清晰度分类方法，所述方法包括：

获取待分类视频；

对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，所述每个清晰度分值分别对应不同的特征维度；

基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

另一方面提供了一种视频清晰度分类装置，所述装置包括：

所述待分类视频获取模块用于获取待分类视频；

所述清晰度分析模块用于对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，每个清晰度分值分别对应不同的特征维度；

所述清晰度分类模块用于基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

另一方面提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的一种视频清晰度分类方法。

另一方面提供了一种存储介质，其特征在于，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述所述的一种视频清晰度分类方法。

本发明提供的一种视频清晰度分类方法、装置、设备和存储介质，所述方法通过对待分类视频的清晰度进行多维度的特征分析，从待分类视频的小波域特征、空域特征、熵特征和美学特征中获取多个清晰度分值，基于所述清晰度分值对待分类视频进行分类，判断所述待分类视频是清晰或者模糊。所述方法采用了多个清晰度分析模型从各个维度的特征进行待分类视频的清晰度分析，能够对待分类视频的清晰度进行综合评价，并基于综合评价，获得更为准确的分类结果，提高了清晰度分类的准确率。所述方法可以对待分类视频进行无参考的清晰度分类，提高了视频审核的效率，降低了审核成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频清晰度分类方法的应用场景示意图；

图2为本发明实施例提供的一种视频清晰度分类方法的流程图；

图3为本发明实施例提供的一种视频清晰度分类方法中通过多个清晰度分析模型获得清晰度分值的方法的流程图；

图4为本发明实施例提供的一种视频清晰度分类方法中通过第一清晰度分析模块获得第一清晰度分值的流程图；

图5为本发明实施例提供的一种视频清晰度分类方法中通过第二清晰度分析模块获得第二清晰度分值的流程图；

图6为本发明实施例提供的一种视频清晰度分类方法中通过第三清晰度分析模块获得第三清晰度分值的流程图；

图7为本发明实施例提供的一种视频清晰度分类方法中通过第四清晰度分析模块获得第四清晰度分值的流程图；

图8为本发明实施例提供的一种视频清晰度分类方法中获得所述待分类视频的清晰度类别的流程图；

图9为本发明实施例提供的一种视频清晰度分类方法的训练数据模型的示意图；

图10为本发明实施例提供的一种视频清晰度分类方法应用于视频分类时的流程示意图；

图11为本发明实施例提供的一种视频清晰度分类装置的结构示意图；

图12为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

请参见图1，其显示了本发明实施例提供的一种视频清晰度分类方法的应用场景示意图，所述应用场景包括用户终端110和服务器120，所述用户终端110向服务器上传待分类视频，服务器120对所述待分类视频的清晰度进行多维度的特征分析，并对多维度特征分析的结果评分，根据评分对所述待分类视频的清晰度进行分类，区分清晰的视频和模糊的视频。

在本发明实施例中，所述用户终端110包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中网络节点上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、Unix、windows等。用户终端110可以基于API(ApplicationProgramming Interface，应用程序接口)将待分类视频发送给服务器120。

在本发明实施例中，所述服务器120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器120可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器120可以对待分类视频的清晰度进行评分，并根据评分的结果对待分类视频进行分类。

请参见图2，其显示了一种视频清晰度分类方法，可应用于服务器侧，所述方法包括：

S210.获取待分类视频；

具体地，所述待分类视频可以为用户生成内容(UGC，User Generated Content)视频，即用户原创的视频。例如用户自己拍摄的短视频等。服务器审核用户自己的拍摄的视频时可以根据本发明实施例提供的视频清晰度分类的方法，对UGC视频进行分类，使得清晰的视频通过审核，进入视频库，模糊的视频则无法过审，省去了大部分的人工审核步骤，提高审核效率，缩减审核成本。

所述待分类视频也可以为经过压缩相应视频码率后的视频，即转码后的视频，基于本发明实施例所述的视频清晰度分类的方法，对转码后的视频进行清晰度分类，检测出转码后清晰度变为模糊的视频，可以根据检测结果对视频转码技术进行优化。

S220.对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，每个清晰度分值分别对应不同的特征维度；

进一步地，请参见图3，所述对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值包括：

S310.根据第一清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第一清晰度分值；

S320.根据第二清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第二清晰度分值；

S330.根据第三清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第三清晰度分值；

S340.根据第四清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第四清晰度分值。

具体地，对所述待分类视频的清晰度进行多维度的特征分析的方法是将待分类视频输入到不同的清晰度分析模型中。由于不同的清晰度模型会根据不同的维度对待分类视频的清晰度进行特征分析，因此可能会得到不相同的评分结果。例如基于小波域的特征提取模型，可以考虑到与人的视觉具有一致性的特征；基于空域的特征提取模型，可以考虑到视频图像中对比度高的区域的特征；基于熵特征的特征提取模型，可以获得视频图像的边缘锐利程度的特征，基于卷积神经网络的特征提取模型，则可以在人类的美学评价上获得视频图像清晰度的特征信息。基于不同的清晰度分析模型输出的评分结果，可以对待分类视频进行综合评价，可以提高待分类视频的清晰度分析的准确性。

进一步地，请参见图4，所述根据第一清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第一清晰度分值包括：

S410.对所述待分类视频进行小波分解，获得分解后的待分类视频；

S420.对所述分解后的待分类视频进行特征提取，获取第一特征信息；

S430.根据所述第一特征信息，对所述待分类视频中每一种失真类型的可能性进行计算，获得所述待分类视频的失真概率信息；

S440.基于预设的失真回归模型和所述第一特征信息，得到所述待分类视频的视频质量信息；

S450.根据所述失真概率信息和所述视频质量信息，确定所述待分类视频的第一清晰度分值。

具体地，所述第一清晰度分析模型为DIIVINE模型，所述DIIVINE模型是两阶段框架下的无参考图像质量评估模型，所述DIIVINE模型的特征分析侧重于图像的小波域特征，能够考虑到与人的视觉具有一致性的特征。

通过小波变换将待分类视频进行分解，得到待分类视频的子带视频信息。小波变换是空间和频率的局部变换，能够从待分类视频中提取信息。例如对所述待分类视频在两个尺度和六个方向上进行小波分解，可以得到12个子带视频信息和一个高频信息。对所有的子带视频信息进行统计特征提取，将特征提取的结果组成待分类视频的统计特征向量。所述统计特征向量为第一特征信息。

对统计特征向量进行两个方面的分析。第一方面利用分类器获取待分类视频的失真类型，基于统计特征向量，获得每种失真类型在统计特征向量的条件下发生的概率，将各个概率组成一个待分类视频的失真概率向量，所述失真概率向量即失真概率信息。第二方面利用回归模型，将统计特征向量映射到每种失真的回归模型上，得到待分类视频在每种失真上的视频质量评价，将各个视频质量评价组成一个视频质量评估值向量，所述视频质量评估值向量即视频质量信息。

将失真概率向量和视频质量评估值向量做内积，最终可以得到待分类视频的清晰度评价值，即第一清晰度分值。

通过DIIVINE模型对待分类视频的小波域特征信息进行提取，确定第一清晰度分值，DIIVINE模型提取了全面复杂的小波域统计特征，因此与人类的主观评价取得了较好的一致性。

进一步地，请参见图5，所述根据第二清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第二清晰度分值包括：

S510.基于预设的空域系数，计算所述待分类视频的归一化像素信息；

S520.根据所述归一化像素信息，提取所述待分类视频的第二特征信息；

S530.基于预设的特征分布模型，对所述第二特征信息进行分布曲线的拟合，获得所述待分类视频的第二清晰度分值。

具体地，所述第二清晰度分析模型为自然图像质量评价(Natural image qualityevaluator，NIQE)模型，所述NIQE模型可以进行空域特征的提取，在空域特征提取时，NIQE模型可以考虑到人的视觉对图像中对比度高的区域更加敏感的特性。所述NIQE模型具体执行清晰度分析的过程为在计算其局部归一化图像后，根据局部活性选择部分图像块作为训练数据，以广义高斯模型拟合得到模型参数作为特征，采用多变量高斯模型描述这些特征，评价过程中利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量。

所述NIQE模型会先对待分类的视频进行像素归一化，计算出归一化亮度，在进行归一化时，基于空域系数对待分类视频的信息进行变换，最终得到归一化计算的结果。

根据归一化计算的结果，对所述待分类视频中的信息进行选择，获取显著图像块的特征，即第二特征信息。将提取到的第二特征信息通过多变量高斯模型进行拟合，根据拟合结果和自然图像拟合结果之间的距离来衡量待分类视频的质量，获得第二清晰度分值。

所述NIQE模型对待分类视频进行空域特征的提取，确定第二清晰度分值，所述NIQE模型复杂程度低且执行速度快，具有较好的实时性。

进一步地，请参见图6，所述根据第三清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第三清晰度分值包括：

S610.计算所述待分类视频与预设的样本视频的距离；

S620.将所述距离作为所述待分类视频的第三特征信息；

S630.计算所述第三特征信息的和值和所述第三特征信息的加权和值；

S640.基于所述第三特征信息的和值和所述第三特征信息的加权和值，确定所述待分类视频的第三清晰度分值。

具体地，所述第三清晰度分析模型为广义回归神经网络(General RegressionNeural Network，GRNN)模型，所述GRNN模型包括输入层、隐藏层、加和层和输出层。所述GRNN模型基于待分类视频的熵特征，在一定程度上反映视频中边缘锐利程度等细节。

在输入层中，输入层神经元的数目与输入信息的维度相等，各个神经元是简单的分布单元，线性函数为传输函数，主要用于将输入信息传递到隐藏层。将所述待分类视频输入到输入层中，传递所述待分类视频到隐藏层。

在隐藏层中，隐藏层的神经元数目与样本视频的数目相等，各个神经元对应不同的样本视频，隐藏层中的传递函数为径向基函数，径向基函数是样本到数据中心之间的径向距离的单调函数。隐藏层接收到待分类视频后，在隐藏层中通过径向基传递函数计算待分类视频与样本视频之间的距离，获得第三特征信息。将第三特征信息作为输出信息，输入到求和层中进行求和计算。

在求和层中，求和层通过两种类型的神经元进行求和，第一类神经元对所有隐藏层神经元的输出进行算术求和，第二类神经元对所有隐藏层神经元的输出进行加权求和。

最终在输出层中将求和层中各个神经元的输出进行降维，即第二类神经元输出的加权和结果除以第一类神经元输出的算术和结果，获得第三特征分值。

所述GRNN模型对待分类视频进行熵特征的提取，确定第三特征分值，所述熵特征可以反映视频的边缘和纹理等细节，识别视频的各向异性，因此GRNN模型可以在视频的细节特征上具有较好的识别能力，且GRNN模型的计算复杂程度低。

进一步地，请参见图7，所述根据第四清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第四清晰度分值包括：

S710.对所述待分类视频进行卷积计算，获得所述待分类视频的第四特征信息；

S720.基于所述第四特征信息，获取所述待分类视频的清晰度分布结果；

S730.根据所述清晰度分布结果和预设的经验概率质量函数，确定所述待分类视频的第四清晰度分值。

具体地，所述第四清晰度分析模型为自然图像评估模型(Neural ImageAssessment，NIMA)，所述NIMA模型基于卷积神经网络(Convolutional Neural Networks，CNN)进行深度学习，获取高级特征进行清晰度分析。CNN模型可以从两类样本集中学习与人类审美评价较为接近的清晰度分析方法。其中一类样本为美学评价样本视频，另一类为失真样本视频。美学评价样本视频是通过人工进行美学程度上的评分，评级范围从1到10，其中10是与视频相关的最高美学评分，每个样本视频都是多人评分的平均值。失真样本视频是通过人工进行失真程度上的评分，比较两个视频样本，人工判断失真程度，标注得到失真样本视频。

根据美学评价样本视频和失真样本视频训练CNN模型，使得CNN模型能够在美学程度上对待分类视频的清晰度进行分析，获取第四特征信息，确定第四清晰度分值。

对输入的待分类视频进行卷积计算，提取到第四特征信息，根据所述第四特征信息获取所述待分类视频的质量分布信息，基于所述质量分布信息和预设的经验概率质量函数，确定所述待分类视频的第四清晰度分值。所述经验概率质量函数是通过人工评分得到的，即通过美学评价样本视频和失真样本视频，可以在训练CNN模型时获得经验概率质量函数，应用在对待分类视频进行清晰度分析时。

所述NIMA模型能够根据人类的主观评价训练CNN网络，对待分类视频进行高级特征提取，确定第四清晰度分值。所述NIMA模型可以预测与人类感知相关的质量得分，通过预测质量评级的分布可以提高预测结果的准确度，并与人类的主观审美具有更高的相关性。

S230.基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

进一步地，请参见图8，所述基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别包括：

S810.将所述多个清晰度分值作为清晰度分类模型的输入；

S820.基于所述清晰度分类模型中预设的线性函数和输入的多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

具体地，所述清晰度分类模型可以为支持向量机(support vector machines，SVM)的模型进行分类，SVM模型是一种二分类模型，通过预设的线性函数对待分类视频的各个清晰度分值进行分类，确定待分类视频是清晰还是模糊的视频。所述清晰度类别可以为清晰和模糊两个类别，作为二分法分类模型的输出信息。

预设的线性函数是通过训练SVM模型得到的函数，能够将训练样本视频分为清晰和模糊两类，并且使得距离所述线性函数最近的清晰类别中的视频和模糊类别中的视频间隔最大。从而可以基于输入的多个清晰度分值，对待分类视频的清晰度进行分类，确定所述待分类视频是清晰的还是模糊的。例如如果一个待分类视频的四个清晰度分值分别为7分、8分、8分和9分，那么将这四个清晰度分值输入到清晰度分类模型中，可以做出这个待分类视频的清晰度类别为清晰的判断。如果一个待分类视频的四个清晰度分值分别为1分、2分、3分和2分，那么将这四个清晰度分值输入到清晰度分类模型中，可以做出这个待分类视频的清晰度类别为模糊的判断。

除了所述SVM模型以外，其余可以应用二分类的方法的分类模型都可以用来进行待分类视频清晰度的分类。

基于SVM模型构建的清晰度分类模型，能够综合多维度的特征对业务中的待分类视频进行准确有效的清晰度分类，一定程度上保证分类的准确率。

进一步地，请参见图9，对清晰度分类模型进行训练的方法包括：

S910.获取标注有清晰度类别的训练样本视频；

S920.对所述训练样本视频的清晰度进行多维度的特征分析，获得所述训练样本视频的多个清晰度分值；

S930.将所述多个清晰度分值作为清晰度分类模型的输入信息，将所述训练样本视频的清晰度类别作为清晰度分类模型的输出信息；

S940.对比所述清晰度分类模型的输出信息和所述训练样本视频；

S950.根据对比的结果，训练生成清晰度分类模型。

具体地，筛选出一定数量的待分类视频，使得该样本的覆盖范围尽可能的覆盖所有视频的类别，例如户外，游戏，动漫等，对上述筛选出的视频进行人工清晰度分类，从而生成训练样本视频。其中，训练样本视频的筛选的策略为首先对视频库中的所有视频进行分类，最后在所有类别的视频中随机抽取等数量的视频来作为待标注的训练样本视频。

选取多个清晰度评价效果较好的通用型无参考视频清晰度评价算法，利用这些算法对上述训练样本进行清晰度评分，对于每个训练样本视频，都输出多个清晰度分值。其中，具体的算法选取策略为：由于现有技术中的视频清晰度评价算法大多提取一个单一领域的特征来训练模型评价视频的清晰度。在本发明提供的一种视频清晰度分类方法中，在传统评价算法中分别选取了基于小波域特征的DIIVINE算法，基于空域特征选取的NIQE算法以及基于图像熵特征的GRNN算法，同时也选取了基于卷积神经网络的NIMA算法，将上述所选算法对视频的清晰度评价分数作为后续清晰度分类模型的特征输入，那么最终的模型即全面考虑到了视频在小波域，空域等方面的特征，提高模型的分类准确率。

基于SVM算法构成的清晰度分类模型，将训练样本视频的多清晰度分值作为清晰度分类模型的输入，将所述训练样本视频的清晰度类别作为清晰度分类模型的输出，并将输出结果与人工清晰度分类标注的清晰度类别进行比对，训练生成视频无参考清晰度分类模型。

在一个具体的示例中，在应用训练好的清晰度分类模型时，请参见图10，可以针对实际业务需求中的待评测UGC视频，当用户提交一个UCG视频时，可以基于所述清晰度分类模型对用户提交的UCG视频的清晰度进行评分，获得4个清晰度分值。然后将4个清晰度分值作为待评测UGC视频的特征输入训练生成的SVM模型中，得到输出即为待评测UGC视频的清晰度类别。若为清晰，则将UCG视频上传到服务器的视频库中，并对用户显示上传成功，若为模糊，则无法通过审核，对用户显示上传失败。

在一个具体的示例中，在应用训练好的清晰度分类模型时，可以对转码后的视频进行测评。将转码后的视频输入到所述清晰度分类模型中，可以基于所述清晰度分类模型对转码后的视频的清晰度进行评分，获得4个清晰度分值。然后将4个清晰度分值作为转码后的视频的特征输入训练生成的SVM模型中，得到输出即为转码后的视频的清晰度类别。根据转码后的视频的清晰或者模糊，可以对转码技术进行测评，若为模糊，则需要对转码技术进行优化。

本发明实施例提供了一种视频清晰度分类方法，所述方法通过从待分类视频的小波域特征、空域特征、熵特征和美学特征中对待分类视频的清晰度进行多维度的特征分析，获取多个清晰度分值，基于所述清晰度分值对待分类视频进行分类，判断所述待分类视频是清晰或者模糊。所述方法采用了多个清晰度分析模型从各个维度的特征进行待分类视频的清晰度分析，能够对待分类视频的清晰度进行综合评价，并基于综合评价，获得更为准确的分类结果，提高了清晰度分类的准确率。所述方法可以对待分类视频进行无参考的清晰度分类，提高了视频审核的效率，降低了审核成本。

本发明实施例还提供了一种视频清晰度分类装置，请参见图11，所述装置包括：待分类视频获取模块1110、清晰度分析模块1120和清晰度分类模块1130；

所述待分类视频获取模块1110用于获取待分类视频；

所述清晰度分析模块1120用于对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，每个清晰度分值分别对应不同的特征维度；

所述清晰度分类模块1130用于基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

进一步地，所述清晰度分析模块还包括第一清晰度分值获得单元、第二清晰度分值获得单元、第三清晰度分值获得单元和第四清晰度分值获得单元；

所述第一清晰度分值获得单元用于根据第一清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第一清晰度分值；

所述第二清晰度分值获得单元用于根据第二清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第二清晰度分值；

所述第三清晰度分值获得单元用于根据第三清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第三清晰度分值；

所述第四清晰度分值获得单元用于根据第四清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第四清晰度分值。

进一步地，所述装置还可以对模型进行训练，因此所述装置还包括清晰度标注模块、样本清晰度分值获取模块、样本清晰度分类模块、对比模块和模型生成模块：

所述清晰度标注模块用于获取标注有清晰度类别的训练样本视频；

所述样本清晰度分值获取模块用于对所述训练样本视频的清晰度进行多维度的特征分析，获得所述训练样本视频的多个清晰度分值；

所述样本清晰度分类模块将所述多个清晰度分值作为清晰度分类模型的输入信息，将所述训练样本视频的清晰度类别作为清晰度分类模型的输出信息；

所述对比模块用于对比所述清晰度分类模型的输出信息和所述训练样本视频；

所述模型生成模块用于根据对比的结果，训练生成清晰度分类模型。

上述实施例中提供的装置可执行本发明任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的一种视频清晰度分类方法。

本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令由处理器加载并执行本实施例上述的一种视频清晰度分类方法。

本实施例还提供了一种视频清晰度分类设备，所述设备包括处理器和存储器，其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本实施例上述的一种视频清晰度分类方法。

所述设备可以为计算机终端、移动终端或服务器，所述设备还可以参与构成本发明实施例所提供的装置或系统。如图12所示，移动终端12(或计算机终端12或服务器12)可以包括一个或多个(图中采用1202a、1202b，……，1202n来示出)处理器1202(处理器1202可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1204、以及用于通信功能的传输装置1206。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动设备12还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

应当注意到的是上述一个或多个处理器1202和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端12(或移动终端)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器1204可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器1202通过运行存储在存储器1204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1204可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端12。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端12的通信供应商提供的无线网络。在一个实例中，传输装置1206包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1206可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端12(或移动终端)的用户界面进行交互。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。

基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种视频清晰度分类方法，其特征在于，所述方法包括：

获取待分类视频；

对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，每个清晰度分值分别对应不同的特征维度；

基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

2.根据权利要求1所述的一种视频清晰度分类方法，其特征在于，所述对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值包括：

根据第一清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第一清晰度分值；

根据第二清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第二清晰度分值；

根据第三清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第三清晰度分值；

根据第四清晰度分析模型对所述待分类视频的清晰度进行特征分析，获得所述待分类视频的第四清晰度分值。

3.根据权利要求2所述的一种视频清晰度分类方法，其特征在于，所述根据第一清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第一清晰度分值包括：

对所述待分类视频进行小波分解，获得分解后的待分类视频；

对所述分解后的待分类视频进行特征提取，获取第一特征信息；

根据所述第一特征信息，对所述待分类视频中每一种失真类型的可能性进行计算，获得所述待分类视频的失真概率信息；

基于预设的失真回归模型和所述第一特征信息，得到所述待分类视频的视频质量信息；

根据所述失真概率信息和所述视频质量信息，确定所述待分类视频的第一清晰度分值。

4.根据权利要求2所述的一种视频清晰度分类方法，其特征在于，所述根据第二清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第二清晰度分值包括：

基于预设的空域系数，计算所述待分类视频的归一化像素信息；

根据所述归一化像素信息，提取所述待分类视频的第二特征信息；

基于预设的特征分布模型，对所述第二特征信息进行分布曲线的拟合，获得所述待分类视频的第二清晰度分值。

5.根据权利要求2所述的一种视频清晰度分类方法，其特征在于，所述根据第三清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第三清晰度分值包括：

计算所述待分类视频与预设的样本视频的距离；

将所述距离作为所述待分类视频的第三特征信息；

计算所述第三特征信息的和值和所述第三特征信息的加权和值；

基于所述第三特征信息的和值和所述第三特征信息的加权和值，确定所述待分类视频的第三清晰度分值。

6.根据权利要求2所述的一种视频清晰度分类方法，其特征在于，所述根据第四清晰度分析模型对所述待分类视频的清晰度进行分析，获得所述待分类视频的第四清晰度分值包括：

对所述待分类视频进行卷积计算，获得所述待分类视频的第四特征信息；

基于所述第四特征信息，获取所述待分类视频的清晰度分布结果；

根据所述清晰度分布结果和预设的经验概率质量函数，确定所述待分类视频的第四清晰度分值。

7.根据权利要求1所述的一种视频清晰度分类方法，其特征在于，所述基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别包括：

将所述多个清晰度分值作为清晰度分类模型的输入；

基于所述清晰度分类模型中预设的线性函数和输入的多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

8.根据权利要求1所述的一种视频清晰度分类方法，其特征在于，所述获取待分类视频之前，还包括：

获取标注有清晰度类别的训练样本视频；

对所述训练样本视频的清晰度进行多维度的特征分析，获得所述训练样本视频的多个清晰度分值；

将所述多个清晰度分值作为清晰度分类模型的输入信息，将所述训练样本视频的清晰度类别作为清晰度分类模型的输出信息；

对比所述清晰度分类模型的输出信息和所述训练样本视频；

根据对比的结果，训练生成清晰度分类模型。

9.一种视频清晰度分类装置，其特征在于，所述装置包括：待分类视频获取模块、清晰度分析模块和清晰度分类模块；

所述待分类视频获取模块用于获取待分类视频；

所述清晰度分析模块用于对所述待分类视频的清晰度进行多维度的特征分析，获得所述待分类视频的多个清晰度分值，每个清晰度分值分别对应不同的特征维度；

所述清晰度分类模块用于基于所述多个清晰度分值，对所述待分类视频的清晰度进行分类，获得所述待分类视频的清晰度类别。

10.一种视频清晰度分类设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-8任一项所述的一种视频清晰度分类方法。

11.一种存储介质，其特征在于，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-8任一项所述的一种视频清晰度分类方法。

Images