CN115909166A - 一种视频评估方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种视频评估方法、装置、电子设备和存储介质，其中，该方法包括：确定待评估视频对应视频数据的感知指标信息，按照流行度和视频长度将所述待评估视频划分为至少一个视频分类，在各所述视频分类内提取所述视频数据的所述感知指标信息，按照各所述视频分类对应的视频评估模型确定所述感知指标信息对应的视频评估值。本发明实施例实现了不同视频长度下的用户感知值确定，可提高感知值确定的准确性，可提高视频数据的利用效率，增强用户的使用体验。

Description

一种视频评估方法、装置、电子设备和存储介质

技术领域

本发明涉及多媒体应用技术领域，尤其涉及一种视频评估方法、装置、电子设备和存储介质。

背景技术

当前人们的时间呈现碎片化，在此背景下，具有时间短、分享速度快特性的短视频流媒体服务逐渐成为新媒体用户社交娱乐的主流方式，展现出广阔的市场前景。同时，随着各大短视频平台迅速发展和服务提供商的激烈竞争，使得用户对观看短视频的体验质量要求越来越高。具体地说，优质的视频观看体验决定了视频提供商和平台是否能够赢得消费者的欢心。这不仅可以保持现有消费者的忠诚度，还可以吸引更多的消费者，提升平台竞争优势。此时，对于提供商和视频平台来说，如何精准地评估所提供的服务、感知用户体验质量至关重要。因此，研究长短视频用户体验感知算法具有重要意义。

为了精准描述用户视频感知体验，国际电信联盟通信标准化组织(InternationalTelecommunication Union Telecommunication Standardization Sector,ITU-T)发布了用户者体验质量(Quality of Experience，QoE)标准，采用平均意见得分(Mean OpinionScore，MOS)反映用户主观视频体验。在此基础上，大部分视频用户感知研究通过提取多元网络特性指标(如传输时延、抖动等)，采用神经网络、线性回归等方法分析网络特征与用户感知体验之间的线性相关性；进而建立用户QoE感知模型，高精度感知视频的质量。然而，随着提取指标种类增加，新引入的冗余的指标与QoE相关性低，并且多元指标与用户主观体验之间的线性关系变得不明显。此时，采用传统多元线性模型解释多元指标与QoE关系，无法达到预期的细粒化感知精度，同时算法复杂度较高。

此外，目前大多数在线视频流媒体感知算法是为长视频设计的，不能直接应用于当前短视频用户感知。具体地说，这些感知算法的用户主观感知测试中，视频样本以3D视频、直播视频等类型的长视频为主，测试差网环境下用户观看体验与长视频的画质、网络波动等评估指标之间的映射关系。然而，与长视频不同，短视频呈现时长短、流行度高等特殊性质。用户在线观看短视频时，对于卡顿、黑屏等特征的视频的敏感度较高，对于画质、帧率等指标的敏感度较低。例如，用户在线观看短视频(时长16s及其以下视频)时，倾向于选择观看流畅的热门短视频，并不太在意视频画质。同时，对于出现一次卡顿或缓冲的冷门短视频，用户往往无法耐心地观看完整视频内容。综上，当前的视频评估方法仍存在局限性，它们更适用于感知传统的长视频的用户体验，亟需进一步挖掘不同时长视频，以及不同流行度的视频内容下新的评估指标与用户体验质量之间的联系。

发明内容

本发明提供了一种视频评估方法、装置、电子设备和存储介质，以解决不同长度的视频评估问题，提高用户体验感知的准确采集，可提高视频数据的利用效率，增强用户的使用体验。

根据本发明的一方面，提供了一种视频评估方法，其中，该方法包括：

确定待评估视频对应视频数据的感知指标信息；

按照流行度和视频长度将待评估视频划分为至少一个视频分类；

在各视频分类内提取视频数据的感知指标信息；

按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。

根据本发明的另一方面，提供了一种视频评估装置，包括：

指标确定模块，用于确定待评估视频对应视频数据的感知指标信息；

视频分类模块，用于按照流行度和视频长度将待评估视频划分为至少一个视频分类；

指标提取模块，用于在各视频分类内提取视频数据的感知指标信息；

评估确定模块，用于按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的视频评估方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的视频评估方法。

本发明实施例的技术方案，通过确定待评估视频对应视频数据的感知指标信息，按照流行度和视频长度将待评估视频划分为至少一个视频分类，在各视频分类内提取视频数据的感知指标信息，按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值，实现了不同视频长度下的用户感知值确定，可提高感知值确定的准确性，可提高视频数据的利用效率，增强用户的使用体验。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种视频评估方法的流程图；

图2是根据本发明实施例二提供的一种视频评估方法的流程图；

图3是根据本发明实施例三提供的一种视频评估模型的示例图；

图4是根据本发明实施例三提供的一种不同流行度下的皮尔逊相关系数；

图5是根据本发明实施例三提供的一种不同视频长度下的皮尔逊相关系数；

图6是根据本发明实施例三提供的一种不同感知模型下的评估结果示例；

图7是根据本发明实施例三提供的一种不同流行度下的视频播放成功率与平均意见得分的对应关系；

图8是根据本发明实施例三提供的一种不同视频长度下的视频停留时间与平均意见得分得到对应关系；

图9是根据本发明实施例四提供的一种视频评估装置的结构示意图；

图10是实现本发明实施例的视频评估方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种视频评估方法的流程图，本实施例可适用于不同长度的视频的用户感知评估值生成的情况，该方法可以由视频评估装置来执行，该视频评估装置可以采用硬件和/或软件的形式实现，该视频评估装置可配置于电子设备中。如图1所示，本实施例一提供的一种视频评估方法，具体包括如下步骤：

S110、确定待评估视频对应视频数据的感知指标信息。

在本发明实施例中，待评估视频可以理解为需要进行评估的视频，待评估视频可以为厂商拥有管理权限的视频数据，待评估视频可以位于云端服务器或者用户终端。感知指标信息可以理解为影响用户观看视频体验的信息，感知指标信息可以包括视频传输和视频播放等方面的参数信息，感知指标信息可以通过对待评估视频对应的视频数据进行处理获取。

具体地，可以对待评估视频对应的视频数据进行处理，进而获取到视频数据的感知指标信息。在一个实施例中，感知指标信息可以为视频数据的属性信息，可以直接在视频数据中提取到。在另一个实施例中，感知指标信息可以通过统计视频数据的传输过程确定，例如，可以通过测量视频数据的传输时延，可以将该传输时延作为感知指标信息。进一步地，在获取到待评估视频对应视频数据的感知指标信息后，可以将视频数据和对应的感知指标信息存储在数据库中。

S120、按照流行度和视频长度将待评估视频划分为至少一个视频分类。

在本发明实施例中，流行度可以理解为视频的受欢迎程度，流行度可以通过视频的点赞数、转发数以及评论数等与用户喜欢程度相关的属性确定。视频长度可以理解为视频的持续长度，可以包括30秒、5分钟和1小时等不同的时间粒度。视频分类可以理解为不同的视频数据归属的不同分类，每个视频分类可以具有各自对应的流行度以及视频长度。

具体地，针对采集到的待评估视频，可以在各待评估视频数据中的属性内提取流行度以及视频长度，示例性地，可以将待评估视频在一些主流视频网站上的点赞数、转发数和评论数等属性进行统计并作为流行度，视频长度可以直接在待评估视频对应视频数据的属性信息中进行获取，可以将各待评估视频按照各自的流行度和视频长度划分到不同的视频分类，使得相同视频分类内的待评估视频可以具有相同或者相近的流行度和视频长度。

S130、在各视频分类内提取视频数据的感知指标信息。

具体地，可以基于S110中确定的待评估视频对应视频数据的感知指标信息，直接在各视频分类内提取该视频数据的感知指标信息。在一个实施例中，可以根据视频分类后的待评估视频，在数据库中提取出该评估视频对应视频数据的感知指标信息。

S140、按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。

在本发明实施例中，视频评估模型可以理解为用于确定用户对视频数据的感知评价结果，视频评估模型可以包括感知指标信息与视频评估值的映射关系，根据视频评估模型的构建方式不同，不同的视频评估模型内采用不同的算法确定感知指标信息与视频评估值的映射关系，示例性地，视频评估模型可以包括由支持向量机和非线性最小二乘法等方式确定。视频评估值可以理解为基于感知指标信息预测的用户针对视频数据的数值化的观看感受。

具体地，针对不同视频分类可以读取各自对应的视频评估模型，可以理解的是，不同流行度以及视频长度的视频分类可以关联于不同的视频评估模型，可以按照视频分类的标识信息查找与之关联的视频评估模型，可以将提取到的该视频分类下的感知指标信息输入关联的视频评估模型中从而获取对应的视频评估值。

本发明实施例的技术方案，通过确定待评估视频对应视频数据的感知指标信息，按照流行度和视频长度将待评估视频划分为至少一个视频分类，在各视频分类内提取视频数据的感知指标信息，按照述视频分类对应的视频评估模型确定感知指标信息对应的视频评估值，实现了不同视频长度下的用户感知值确定，可提高感知值确定的准确性，可提高视频数据的利用效率，增强用户的使用体验。

进一步地，在上述发明实施例的基础上，还可以包括：待评估视频的获取来源包括以下至少之一：5G基站、终端本地采集、局域网数据共享。

进一步地，在上述发明实施例的基础上，还可以包括：根据主观验证数据确定所述视频分类与所述视频评估模型的对应关系。

在本发明实施例中，主观验证数据可以理解为预先经过人工实验提取到的视频评估值，主观验证数据可以通过由指定数量的人员观看不同视频分类的视频数据后打分确定。

具体地，可以通过预先采集生成主观验证数据，针对各视频分类验证由不同视频评估模型确定出的预测视频评估值，根据主观验证数据检验不同视频评估模型的预测视频评估值，确定出最符合某个视频分类的对应的视频评估模型，进而可以建立起该视频分类与视频评估模型的对应关系，需要理解的是，该对应关系可以包括物理关系以及逻辑关系，示例性地，视频分类可以与视频评估模型具有相同的标识信息，或者，视频分类可以与是评估模型存储在相同的存储区域。

实施例二

图2为本发明实施例二提供的一种视频评估方法的流程图，本实施例是在上述发明实施例基础上的具体化，针对主观验证数据的获取以及视频分类与视频评估模型对应关系的建立进行详细描述。如图2所示，本实施例二提供的一种视频评估方法，具体包括如下步骤：

S210、按照对应各视频分类的样本视频数据采集用户主观评分数据作为主观验证数据。

在本发明实施例中，样本视频数据可以理解为用于建立视频分类与视频评估模型对应关系的视频数据，样本视频数据可以包括不同流行度和不同视频长度的视频数据。

具体地，可以针对不同的视频分类分别设置对应的样本视频数据，可以理解的是，不同视频分类下的视频数据的流行度以及视频长度可以不同，用户可以针对上述不同视频分类下的样本视频数据进行观看，该观看过程可以符合Video Quality Experts Group(VQEG)规定的环境和光照设置，在观看后可以采集用户评述的视频评估分作为主观验证数据。在一个示例性的实施方式中，主观验证数据可以包括一个或多个视频评估值分组，每组视频评估分可以分别对应一个视频分类。

S220、确定不同视频分类的样本视频数据的感知指标信息分别在支持向量机评估模型下的第一评估值和非线性最小二乘评估模型下的第二评估值。

在本发明实施例中，支持向量机评估模型可以理解为基于支持向量机确定感知指标信息与视频评估值对应关系的视频评估模型。非线性最小二乘评估模型可以理解为基于非线性最小二乘法确定感知指标信息与视频评估值对应关系的视频评估模型。

具体地，可以提取不同视频分类下的样本视频数据的感知指标信息，将不同视频分类的感知指标数据分别输入到支持向量机评估模型和非线性最小二乘评估模型中，将不同视频分类下支持向量机评估模型输出的视频评估值作为第一评估值，非线性最小二乘评估模型输出的视频评估值作为第二评估值，可以理解的是，每个视频分类存在至少一个第一评估值和至少一个第二评估值。

S230、针对各视频分类确定第一评估值和第二评估值分别与主观验证数据的容忍度误差。

在本发明实施例中，容忍度误差可以理解为不同视频分类的第一评估值和第二评估值分别与对应的主观验证数据的误差，容忍度误差可以具体为均值、方差和协方差等。

具体地，针对各视频分类提取主观验证数据中的主观评分数据，可以确定该主观评分数据与第一评估值的容忍度误差以及该主观评分数据与第二评估值的容忍度误差。在一个实施例中，可以使用均方根误差(Root Mean Square Error，RMSE)来确定不同视频分类的评估值与对应的主观验证数据之间的误差。

S240、将各视频分类对应的视频评估模型设定为产生较小容忍度误差的视频评估模型。

具体地，针对各视频分类，可以将主观评分数据与第一评估值的容忍度误差以及主观评分数据与第二评估值的容忍度误差进行比较，确定其中的较小容忍度误差，可以将产生该较小容忍度误差的视频评估模型作为该视频分类对应的视频评估模型。

S250、提取待评估视频的流行度和视频长度。

具体地，可以针对各待评估视频分别提取其流行度以及视频长度，可以理解的是，流行度可以通过视频的点赞数、转发数以及评论数等与用户喜欢程度相关的属性确定，视频长度可以由视频数据的属性信息中进行获取。

S260、按照流行度和视频长度将待评估视频划分至具有相同流行度范围和视频长度范围的视频分类。

在本发明实施例中，流行度范围可以理解为针对视频分类配置的视频流行度归属范围，当流行度属于该流行度范围时，则该流行度对应的待评估视频属于该视频分类。视频长度范围可以理解为针对视频分类配置的视频长度归属范围，当一个待评估视频的视频长度属于一个视频分类的视频长度范围，则该视频长度对应的待评估视频属于该视频分类。可以理解的是，不同的视频分类可以预先配置不同的流行度范围和视频长度范围。

具体地，可以将各待评估视频的流行度和视频长度与不同的视频分类的流行度范围和视频长度范围进行比较，在确定待评估视频的流行度属于一个视频分类的流行度范围和视频长度范围时，可以将该待评估视频划分到该视频分类，可以理解的是，划分视频分类的过程可以包括将待评估视频的标识信息存储到对应视频分类的存储区域，或者，对待评估视频设置对应视频分类的分类标识。

S270、在各视频分类内提取视频数据的感知指标信息。

S280、按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。

本发明实施例的技术方案，通过按照对应各视频分类的样本视频数据采集用户主观评分数据作为主观验证数据，确定不同视频分类的样本视频数据的感知指标信息分别在支持向量机评估模型下的第一评估值和非线性最小二乘评估模型下的第二评估值，针对各视频分类确定第一评估值和第二评估值分别与主观验证数据的容忍度误差，将各视频分类对应的视频评估模型设定为产生较小容忍度误差的视频评估模型，提取待评估视频的流行度和视频长度，按照流行度和视频长度将待评估视频划分至具有相同流行度范围和视频长度范围的视频分类，在各视频分类内提取视频数据的感知指标信息，按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。本发明实施例根据时长和流行度细分视频类型，实现了不同视频长度下的用户感知值确定，可提高感知值确定的准确性，可提高视频数据的利用效率，增强用户的使用体验。

进一步地，在上述发明实施例的基础上，通过视频处理软件模拟得到感知指标信息的过程，可以包括：

调用预设视频处理软件模拟待评估视频在播放过程中的缓冲、卡顿以及黑屏效果；将模拟过程中获取到的视频播放缓冲时长、卡顿次数以及黑屏时长作为感知指标信息；其中，预设视频处理软件包括以下至少之一：Premiere、Matlab。

在本发明实施例中，预设视频处理软件可以理解为用于对待评估视频对应的视频数据进行处理的软件工具，视频处理软件可以包括Premiere和Matlab等软件。

具体地，可以利用预设视频处理软件对待评估视频对应视频数据进行处理，例如可以使用Premiere和Matlab等软件模拟待评估视频在播放过程中缓冲、卡顿以及黑屏等效果，可以在模拟过程中获取到视频数据的视频播放缓冲时长、卡顿次数以及黑屏时长等信息，并将上述视频播放信息作为感知指标信息。

进一步地，在上述发明实施例的基础上，按照对应各视频分类的样本视频数据采集用户主观评分数据作为主观验证数据的过程，可以包括：

针对各视频分类的样本视频数据采用测试人员的用户主观评分数据；将各视频分类内的用户主观评分数据作为主观验证数据。

具体地，可以针对不同的视频分类设置不同的样本视频数据，可以理解的是，不同视频分类下的样本视频数据可以具备不同的流行度和视频长度，测试人员可以在符合Video Quality Experts Group(VQEG)规定的环境和光照设置的环境下观看设置的样本视频数据，可以统计测试人员对各样本视频数据的主观评分数据，对于采集到的主观评分数据可以按照不同的视频分类进行分类后作为主观验证数据。

实施例三

本发明实施例针对当前用户感知评估模型提取的评估指标相关性低，以及忽视不同时长视频中多元化指标与用户体验之间非线性关系等导致长短视频用户感知精确度低的问题，建立了如图3所示的视频评估模型——基于多元非线性回归的长短视频用户体验感知系统模型，并基于该模型提出了一种视频评估方法——长短视频用户体验感知(Userexperience perception algorithm for long and short videos based on multiplenonlinear regression，LSMNR)方法，该方法包括如下步骤：

首先，预处理5G网络中的视频业务数据，并根据时长和流行度细分视频类型，建立基于多元非线性回归的长短视频用户体验感知系统模型，分析不同视频类型下多元评估指标(视频卡顿、黑屏以及抖动、丢包率等)对用户体验质量的影响；其次，提取多元评估指标中数据特征，基于VQEG标准设计用户主观评估实验，建立一个包含六种不同视频类型的主观感知测试数据库；最后，设计LSMNR算法，分别采用非线性最小二乘法和非线性支持向量机等方法，对样本数据进行拟合和交叉验证，训练得到最优模型参数，进一步分析不同类型视频下多元评估指标与用户体验质量之间的非线性关系，使评估结果达到最优。其中，该视频评估方法中预先可以建立基于多元非线性回归的长短视频用户体验感知系统模型、长短视频的主观感知测试数据库，以及基于非线性回归的视频用户体验感知模型。

在一个实施例中，建立基于多元非线性回归的长短视频用户体验感知系统模型的方法如下：

如图3所述，基于多元非线性回归的长短视频用户体验感知系统模型主要由四部分组成，包括5G基站、大数据预处理模块、特征提取模块和用户感知模型训练模块。其中，5G基站负责提供和采集原始视频，生成视频数据库；大数据预处理模块负责对5G网络中视频业务数据预处理；特征提取模块负责提取原始数据中的影响用户感知精度的关键信息；用户感知模型训练模块负责训练数据，对原始视频进行客观用户体验评估。具体定义如下：

对于大数据预处理模块，从用户体验感知的角度，需要考虑视频业务中的主客观影响因素，例如网络卡顿、缓冲时延等等均会对用户感知准确度产生影响。在实际在线观看长短视频时，一方面，考虑视频时长相差较大(如16s以下的短视频以及30min以上的长视频)，传统抽象的网络量化参数无法进一步细粒化感知不同时长视频中主观用户体验。另一方面，用户对于热门视频内容、冷门内容等不同内容的视频质量的观看容忍度是截然不同的。因此，本发明实施例考虑对视频业务大数据进行预处理，感知和存储不同原始视频的网络参数，基于时长和流行度进一步细化视频分类，建立不同的样本数据库，进一步优化后续训练模型过程中的用户感知精度。

对于特征提取模块，本发明实施例综合考虑KQI(Key Quality Indicator，关键质量指标)、QoS(Quality of Service，服务质量)变量指标以及量化指标等多元指标变量对于感知精度的影响，通过提取多元指标变量特征信息，保证变量指标贴合用户体验感知规律。首先，在视频业务中KQI变量指标主要可以反映用户感知体验的主观感受，包含视频播放成功率和视频播放平均卡顿次数。其次，视频业务中QoS变量指标也可以一定程度反映用户感知体验的客观感受，包含视频黑屏时长和视频播放缓冲时长。此外，视频业务中网络层服务质量量化参数，也会对用户感知体验质量造成影响，如抖动延迟和丢包率，这些参数可以直接通过Wireshark软件采集得到。

对于用户感知模型训练模块，本发明实施例在提取KQI、QoS以及量化参数等多元视频业务变量指标的基础上，生成对应的数据库。随后，基于后续工作中进行的主观评估实验，本发明实施例建立样本数据库和的测试数据库，进一步分析多元变量指标与用户体验质量之间的非线性关系，进而提供细粒度、高感知的用户体验感知。

在一个实施例中，建立长短视频的主观感知测试数据库的方法如下：

考虑到目前尚未有长短视频的主观实验以及相应的数据库，本发明实施例从各大视频网站平台下载了300条原始视频，并建立长短视频的专用测试数据库，从而进行后续的用户主观评估实验。该数据库包含150条时长小于等于16秒的短视频集合，以及150条30分钟以上的长视频集合，其定义如下：

首先，数据库的每个集合中，本发明实施例按照播放量和点赞量等指标，将集合内视频平均划为热门视频、普通视频和冷门视频等三种类型；视频的分辨率均为1280×720，它们都是免版税的。本发明实施例利用Premiere软件和Matlab软件模拟视频播放过程中缓冲、卡顿以及黑屏等效果，并在导出视频时基于H.264标准对原始视频进行封装。此外，本发明实施例采用QNET软件模拟差网环境下的视频播放效果，设置不同延迟抖动和丢包率，对原始视频进行处理。

然后，本发明实施例的主观评估实验由来自北京信息科技大学的20位实验者参与测试；所有实验者都在20岁至30岁之间，视力正常。主观评估实验是按照Video QualityExperts Group(VQEG)规定的环境和光照设置方面进行的；实验者根据MOS标准对观看的视频进行评分。此外，VQEG给出了均方根误差(Root Mean Square Error，RMSE)和皮尔逊相关系数(Pearson Correlation Coefficient，PCC)作为衡量感知算法精确度和有效性的标准。其中RMSE数值大小反映了客观模型计算出的评估值与主观用户感知的评估值之间的偏差的大小，数值距离0越近，证明模型的评估越准确。PCC的大小在[-1,1]之间，其数值越接近于1，证明评估模型的效果越好。

在一个实施例中，建立基于非线性回归的视频用户体验感知模型的方法如下；

本发明实施例通过细分视频类型，针对性地建立和训练相互独立的感知评估模型；与传统多元线性回归类似，本发明实施例通过将输入变量映射到高维空间，分别采用非线性最小二乘法和支持向量机(Support Vector Machine，SVM)方法进行拟合，训练得到感知模型的最优模型参数，其定义如下：

首先，考虑到多元自变量X与因变量Y之间不是指数、对数等关系，无法直观用常见函数关系式表达；此时，非线性最小二乘问题无法构造出来一个矩阵线性方程组；因此，本发明实施例通过一阶泰勒展开，将其转化为线性最小二乘问题求解；其模型训练过程是求解如下问题：

其中，M为原始视频样本总数，y_j表示感知模型对第j个视频的客观评估结果，Y_j表示用户主观实验中观看第j个视频后的主观评估结果(MOS值)，

为函数g_j(x,θ)的一阶导函数，也可表示为雅可比矩阵J的第j行，e_j＝Y_j-g_j(x_k,θ)。

此外，对于非线性情况，本发明实施例还采用非线性SVM方法，引入适当的核函数，将低维度不可分的空间向量映射到高维度的特征空间中，使其训练所求非线性解的优化问题也转化为求解其对偶问题；设分离超平面为ω^Tx+b＝0，ω为法向量，b为超平面截距，该方法的模型训练过程是求解如下问题：

其中，λ＞0表示惩罚权衡因子，ζ_j≥0是松弛变量，表示容忍适度分类误差；令核函数为K(x_m',x_n')＝exp(-γ||x_m'-x_n'||²)，γ为径向基函数参数，一般取0.125；则上述模型训练求解问题的公式可以转化为：

0≤α_j≤C

其中，α为拉格朗日乘子向量，C为惩罚因子。

综上，基于上述两种方法计算出不同的模型参数；并在此基础上，导入测试样本，根据不同类型视频，将训练输出结果与主观评估实验结果进行有效性比较，通过选择精度高的模型参数，建立对应视频类型的用户感知评估模型，进而实现细粒度、高感知的用户体验感知。

图4和图5分别是本实施例三提出的视频评估方法在不同流行度和不同视频长度下的皮尔逊相关系数。在图4和图5中，横轴分别表示流行视频(Popular)，普通视频(Common)、冷门视频(Unpopular)以及长视频(Long video)，短视频(Short video)，纵轴表示皮尔逊相关系数(PCC)。从图4中可以看出，LSMNR算法、MLR(Mixed LogisticRegression，混合逻辑斯特回归)算法、SVM算法和NN(Neural Network，神经网络)算法对于热门视频的用户感知精度远小于普通视频和冷门视频。这是因为不同流行度的视频中影响用户感知体验的因素较多，现有算法中选择的评估指标与用户感知体验之间的相关性较低。在此基础上，用户观看热门视频时，对视频内容期待值更高，对视频损伤的容忍度更低，导致算法较难基于客观评估指标准确评估实际用户的主观体验。从图5中可以看出，所有算法对于长视频的用户感知精度高于短视频，同时LSMNR算法对于视频的用户精确度远高于MLR、SVM和NN算法。这是因为当前在线视频流媒体感知算法是为长视频设计的，它们研究的评估指标与长视频的用户感知体验之间的相关性更高，感知精度也更高。然而，本实施例三提出的LSMNR算法细化了长视频和短视频下不同的评估指标，引入卡顿、黑屏等相关性高的评估指标，可以根据不同视频类型，训练不同的模型参数，来达到细粒化的用户感知精度。此外，从图4中可以看出，LSMNR、MLR、SVM和NN算法，对于流行视频的感知精度分别为0.9645，0.9125，0.8962和0.9140；对于普通视频的感知精度分别为0.9851，0.9250，0.9594和0.9590；对于冷门视频的感知精度分别为0.9771，0.8957，0.9481和0.9432。从图5中可以看出，LSMNR、MLR、SVM和NN算法，对于短视频，感知精度分别达到0.9870，0.9037，0.9459和0.9401；对于长视频，感知精度分别达到0.9912，0.9178，0.9556和0.9592。综上，本实施例三提出的视频评估方法的平均感知精度达到0.9810，对比其他算法提升了7.7％，4.2％和4.0％。证明了本实施例三提出的视频评估方法的感知精度更高，适用的视频类型更广泛。

图6为不同感知模型下的评估结果示例，用于仿真比较不同算法的感知模型中，用户主观评估与感知模型客观评估之间的相关性以及模型的性能。图6中，横轴表示MOS基准值，纵轴表示感知算法模型训练后的客观评估分数。离散点到对角线的距离的远近与感知模型的准确度密切相关，即离散点到对角线的距离越小，对应模型的准确度越高。从图6可以看出，本实施例三提出的LSMNR算法的感知模型比其他算法的感知模型表现出更好的收敛性和评估性能。这是因为MLR、SVM和NN算法主要基于单一的长视频场景，根据网络波动指标作为评估标准进行用户体验感知，这些指标与短视频以及不同流行度视频下的用户主观感受之间的相关性较低，进而导致模型的客观评估结果精确度不高。而LSMNR算法考虑的黑屏、卡顿次数等评估指标更贴合用户的主观感受，这些指标的相关性较高；同时该算法通过细分视频类型，针对性地建立相互独立的感知模型，对长短视频以及不同流行度视频进行细粒化用户感知，进一步扩展感知视频场景，提高感知精度。此外，从图6中可以看出，LSMNR算法的均方根误差(RMSE)为0.28511，远小于MLR、SVM和NN算法的0.41352，0.33093和0.31514，证明了本实施例三提出的视频评估方法的评估误差最小，算法模型感知精度更高。

图7和图8为仿真比较不同类型视频中，不同影响参数与用户主观评估之间的相关性。图7和图8中，横轴分别表示视频播放成功率，视频播放平均卡顿次数，用户主观视频体验后的平均意见得分(MOS)。从图7和图8中可以看出，MOS随视频播放成功率提高而快速上升，随平均卡顿次数增加而快速下降。这是因为本实施例三提出的感知模型选择的视频播放成功率，视频播放平均卡顿次数等指标与用户体验质量之间相关性较高。此时，这些指标的变化极易影响用户的观影体验，也进一步证明了本实施例三提出的视频评估模型中评估参数选择的合理性和有效性。此外，从图7和图8中可以看出，热门视频的MOS曲线极易受到视频播放成功率，视频播放平均卡顿次数等指标的影响，而普通视频和冷门视频的MOS曲线的波动相对较小。这是因为实际用户观看视频时，对于关注度较高的热门视频的注意力更集中，进而对于视频的损伤程度更敏感；而用户对于普通视频和冷门视频的集中注意力较低，仅能感知较大损伤的视频，无法感知较小损伤的视频。这也说明了不同类型视频，用户的感知评估标准是不同的，本实施例三提出的视频评估方法通过细化视频类型建立相互独立的感知模型更具有广泛适用性，且感知结果也更理想。

实施例四

图9为本发明实施例四提供的一种视频评估装置的结构示意图。如图9所示，该装置包括：

指标确定模块41，用于确定待评估视频对应视频数据的感知指标信息。

视频分类模块42，用于按照流行度和视频长度将待评估视频划分为至少一个视频分类。

指标提取模块43，用于在各视频分类内提取视频数据的感知指标信息。

评估确定模块44，用于按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值。

本发明实施例的技术方案，通过指标确定模块确定待评估视频对应视频数据的感知指标信息，视频分类模块按照流行度和视频长度将待评估视频划分为至少一个视频分类，指标提取模块在各视频分类内提取视频数据的感知指标信息，评估确定模块按照各视频分类对应的视频评估模型确定感知指标信息对应的视频评估值，实现了不同视频长度下的用户感知值确定，可提高感知值确定的准确性，可提高视频数据的利用效率，增强用户的使用体验。

进一步地，在上述发明实施例的基础上，还包括：

关系确定模块，用于根据主观验证数据确定视频分类与视频评估模型的对应关系。

进一步地，在上述发明实施例的基础上，指标确定模块41，包括：

指标模拟单元，用于调用预设视频处理软件模拟待评估视频在播放过程中的缓冲、卡顿以及黑屏效果；将模拟过程中获取到的视频播放缓冲时长、卡顿次数以及黑屏时长作为感知指标信息；其中，预设视频处理软件包括以下至少之一：Premiere、Matlab。

进一步地，在上述发明实施例的基础上，视频分类模块42，包括：

属性提取单元，用于提取待评估视频的流行度和视频长度。

分类执行单元，用于按照流行度和视频长度将待评估视频划分至具有相同流行度范围和视频长度范围的视频分类。

进一步地，在上述发明实施例的基础上，关系确定模块包括：

验证数据采集单元，用于按照对应各视频分类的样本视频数据采集用户主观评分数据作为主观验证数据。

模型测试单元，用于确定不同视频分类的样本视频数据的感知指标信息分别在支持向量机评估模型下的第一评估值和非线性最小二乘评估模型下的第二评估值。

模型评估单元，用于针对各视频分类确定第一评估值和第二评估值分别与主观验证数据的容忍度误差。

关系设定单元，用于将各视频分类对应的视频评估模型设定为产生较小容忍度误差的视频评估模型。

进一步地，在上述发明实施例的基础上，验证数据采集单元具体用于：针对各视频分类的样本视频数据采用测试人员的用户主观评分数据；将各视频分类内的用户主观评分数据作为主观验证数据。

进一步地，在上述发明实施例的基础上，所述方法中的待评估视频的获取来源包括以下至少之一：5G基站、终端本地采集、局域网数据共享。

本发明实施例所提供的视频评估装置可执行本发明任意实施例所提供的视频评估方法，具备执行方法相应的功能模块和有益效果。

实施例五

图10示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备50包括至少一个处理器51，以及与至少一个处理器51通信连接的存储器，如只读存储器(ROM)52、随机访问存储器(RAM)53等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器(ROM)52中的计算机程序或者从存储单元58加载到随机访问存储器(RAM)53中的计算机程序，来执行各种适当的动作和处理。在RAM 53中，还可存储电子设备50操作所需的各种程序和数据。处理器51、ROM 52以及RAM 53通过总线54彼此相连。输入/输出(I/O)接口55也连接至总线54。

电子设备50中的多个部件连接至I/O接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理，例如视频评估方法。

在一些实施例中，视频评估方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，计算机程序的部分或者全部可以经由ROM 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到RAM 53并由处理器51执行时，可以执行上文描述的视频评估方法的一个或多个步骤。备选地，在其他实施例中，处理器51可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频评估方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种视频评估方法，其特征在于，所述方法包括：

确定待评估视频对应视频数据的感知指标信息；

按照流行度和视频长度将所述待评估视频划分为至少一个视频分类；

在各所述视频分类内提取所述视频数据的所述感知指标信息；

按照各所述视频分类对应的视频评估模型确定所述感知指标信息对应的视频评估值。

2.根据权利要求1所述方法，其特征在于，所述确定待评估视频对应视频数据的感知指标信息，包括：

调用预设视频处理软件模拟所述待评估视频在播放过程中的缓冲、卡顿以及黑屏效果；

将模拟过程中获取到的视频播放缓冲时长、卡顿次数以及黑屏时长作为所述感知指标信息；

其中，所述预设视频处理软件包括以下至少之一：Premiere、Matlab。

3.根据权利要求1所述方法，其特征在于，还包括：

所述待评估视频的获取来源包括以下至少之一：5G基站、终端本地采集、局域网数据共享。

4.根据权利要求1所述方法，其特征在于，所述按照流行度和视频长度将所述待评估视频划分为至少一个视频分类，包括：

提取所述待评估视频的所述流行度和所述视频长度；

按照所述流行度和所述视频长度将所述待评估视频划分至具有相同流行度范围和视频长度范围的所述视频分类。

5.根据权利要求1所述方法，其特征在于，还包括：

根据主观验证数据确定所述视频分类与所述视频评估模型的对应关系。

6.根据权利要求5所述方法，其特征在于，所述根据主观验证数据确定所述视频分类与所述视频评估模型的对应关系，包括：

按照对应各所述视频分类的样本视频数据采集用户主观评分数据作为所述主观验证数据；

确定不同所述视频分类的所述样本视频数据的所述感知指标信息分别在所述支持向量机评估模型下的第一评估值和所述非线性最小二乘评估模型下的第二评估值；

针对各所述视频分类确定所述第一评估值和所述第二评估值分别与所述主观验证数据的容忍度误差；

将各所述视频分类对应的所述视频评估模型设定为产生较小所述容忍度误差的所述视频评估模型。

7.根据权利要求6所述方法，其特征在于，所述按照对应各所述视频分类的样本视频数据采集用户主观评分数据作为所述主观验证数据，包括：

针对各所述视频分类的所述样本视频数据采用测试人员的用户主观评分数据；

将各所述视频分类内的所述用户主观评分数据作为所述主观验证数据。

8.一种视频评估装置，其特征在于，所述装置包括：

指标确定模块，用于确定待评估视频对应视频数据的感知指标信息；

视频分类模块，用于按照流行度和视频长度将所述待评估视频划分为至少一个视频分类；

指标提取模块，用于在各所述视频分类内提取所述视频数据的所述感知指标信息；

评估确定模块，用于按照各所述视频分类对应的视频评估模型确定所述感知指标信息对应的视频评估值。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的视频评估方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的视频评估方法。

Images