CN114584849B - 视频质量评估方法、装置、电子设备及计算机存储介质 - Google Patents

视频质量评估方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN114584849B
CN114584849B CN202210249325.8A CN202210249325A CN114584849B CN 114584849 B CN114584849 B CN 114584849B CN 202210249325 A CN202210249325 A CN 202210249325A CN 114584849 B CN114584849 B CN 114584849B
Authority
CN
China
Prior art keywords
video
image
frame
determining
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210249325.8A
Other languages
English (en)
Other versions
CN114584849A (zh
Inventor
李雷达
黄一珀
檀丰锋
张亚彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Tencent Technology Shenzhen Co Ltd
Original Assignee
China University of Mining and Technology CUMT
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT, Tencent Technology Shenzhen Co Ltd filed Critical China University of Mining and Technology CUMT
Priority to CN202210249325.8A priority Critical patent/CN114584849B/zh
Publication of CN114584849A publication Critical patent/CN114584849A/zh
Application granted granted Critical
Publication of CN114584849B publication Critical patent/CN114584849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种视频质量评估方法、装置、电子设备及计算机存储介质，该方法包括：获取待评估视频；确定待评估视频的视频评估参数，视频评估参数包括时域评估参数和空域评估参数；根据视频评估参数，确定待评估视频的视频质量。通过该方案，可基于时域和空域这两个维度的视频评估参数，来评估待评估视频的视频质量，由于，从时域和空域两个维度可以更加全面的反应出不同维度的视频评估参数对视频质量的影响，且时域评估参数和空域评估参数可以更加符合人眼视觉系统对视频质量的直观感受，因此，基于时域评估参数和空域评估参数对待评估视频进行质量评估，得到的视频质量更加准确。

Description

视频质量评估方法、装置、电子设备及计算机存储介质
本申请是申请号为201910906707.1、公开号为CN111193923A的专利申请的分案申请。
技术领域
本发明涉及视频处理技术领域，具体而言，本发明涉及一种视频质量评估方法、装置、电子设备及计算机存储介质。
背景技术
现有技术中，针对视频的视频质量评估的评估方法通常为：基于同一类型的视频评估参数来评估视频的视频质量，比如，基于视频的解码信息和帧参数来评估视频质量，或者，基于导致视频失真的某个特定视频评估参数来评估视频质量。由于导致视频质量差的因素有很多，如果只针对单一类型的参数来评估视频的视频质量，会使得评估出的视频质量不准确。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一，提高评估视频的视频质量的准确性。本发明采用的技术方案如下：
第一方面，本发明提供了一种视频质量评估方法，该方法包括：
获取待评估视频；
确定待评估视频的视频评估参数，视频评估参数包括时域评估参数和空域评估参数；
根据视频评估参数，确定待评估视频的视频质量。
可选的，时域评估参数包括视频卡顿信息、视频亮度变化信息、或者待评估视频所对应的视频采集设备的设备抖动信息中的至少一项；空域评估参数包括视频清晰度、视频颜色丰富度、或者视频曝光程度中的至少一项。
可选的，确定待评估视频的视频卡顿信息，包括：
确定待评估视频中各相邻帧之间的图像相似程度；
基于各个图像相似程度，确定待评估视频中的卡顿帧、以及卡顿帧的相关信息；
基于卡顿帧的相关信息，确定视频卡顿信息；
确定待评估视频的视频亮度变化信息，包括：
确定待评估视频中各帧图像的图像亮度；
基于各帧图像的图像亮度，确定待评估视频的视频亮度；
基于各帧图像的图像亮度和待评估视频的视频亮度，确定视频亮度变化信息；
确定待评估视频所对应的视频采集设备的设备抖动信息，包括：
确定待评估视频中各相邻帧之间的图像内容移动信息；
基于各个图像内容移动信息，确定设备抖动信息；
确定待评估视频的视频曝光程度，包括：
确定待评估视频中各帧图像的图像曝光程度；
基于各帧图像的图像曝光程度，确定视频曝光程度。
可选的，卡顿帧的相关信息包括待评估视频中卡顿帧的占比、卡顿帧的卡顿持续时长、或者卡顿出现的次数中的至少一项。
可选的，确定待评估视频中各帧图像的图像曝光程度，包括：
基于各帧图像的图像亮度，确定各帧图像中的不正常曝光区域，不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度。
可选的，基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度，包括：
确定各个不正常曝光区域中的对象；
基于各帧图像中的不正常曝光区域，以及各个不正常曝光区域中的对象的对象类型，确定各帧图像的图像曝光程度。
可选的，确定待评估视频中各相邻帧之间的图像内容移动信息，包括：
确定各相邻帧之间的光流图；
确定各光流图的信息熵，用信息熵表征图像内容移动信息；
基于各相邻帧之间的图像内容移动信息，确定设备抖动信息，包括：
基于各光流图的信息熵，确定设备抖动信息。
可选的，视频评估参数还包括待评估视频的分辨率或待评估视频中图像的信息熵中的至少一项。
可选的，根据视频评估参数，确定待评估视频的视频质量，包括：
将视频评估参数输入至神经网络模型，得到待评估视频的视频质量，其中，神经网络模型是基于样本视频的视频评估参数和视频质量，对初始网络模型训练得到的，初始网络模型的输入是样本视频的视频评估参数，输出是样本视频的视频质量。
可选的，待评估视频为直播视频。
第二方面，本发明提供了一种视频质量评估装置，该装置包括：
视频获取模块，用于获取待评估视频；
视频评估参数确定模块，用于确定待评估视频的视频评估参数，视频评估参数包括时域评估参数和空域评估参数；
视频质量确定模块，用于根据视频评估参数，确定待评估视频的视频质量。
可选的，时域评估参数包括视频卡顿信息、视频亮度变化信息、或者待评估视频所对应的视频采集设备的设备抖动信息中的至少一项；空域评估参数包括视频清晰度、视频颜色丰富度、或者视频曝光程度中的至少一项。
可选的，视频评估参数确定模块还用于确定待评估视频的视频卡顿信息：
确定待评估视频中各相邻帧之间的图像相似程度；
基于各个图像相似程度，确定待评估视频中的卡顿帧、以及卡顿帧的相关信息；
基于卡顿帧的相关信息，确定视频卡顿信息；
视频评估参数确定模块还用于确定待评估视频的视频亮度变化信息：
确定待评估视频中各帧图像的图像亮度；
基于各帧图像的图像亮度，确定待评估视频的视频亮度；
基于各帧图像的图像亮度和待评估视频的视频亮度，确定视频亮度变化信息；
视频评估参数确定模块还用于确定待评估视频所对应的视频采集设备的设备抖动信息：
确定待评估视频中各相邻帧之间的图像内容移动信息；
基于各个图像内容移动信息，确定设备抖动信息；
视频评估参数确定模块还用于确定待评估视频的视频曝光程度：
确定待评估视频中各帧图像的图像曝光程度；
基于各帧图像的图像曝光程度，确定视频曝光程度。
可选的，卡顿帧的相关信息包括待评估视频中卡顿帧的占比、卡顿帧的卡顿持续时长、或者卡顿出现的次数中的至少一项。
可选的，视频评估参数确定模块在确定待评估视频中各帧图像的图像曝光程度时，具体用于：
基于各帧图像的图像亮度，确定各帧图像中的不正常曝光区域，不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度。
可选的，视频评估参数确定模块在基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度时，具体用于：
确定各个不正常曝光区域中的对象；
基于各帧图像中的不正常曝光区域，以及各个不正常曝光区域中的对象的对象类型，确定各帧图像的图像曝光程度。
可选的，视频评估参数确定模块在确定待评估视频中各相邻帧之间的图像内容移动信息时，具体用于：
确定各相邻帧之间的光流图；
确定各光流图的信息熵，用信息熵表征图像内容移动信息；
视频评估参数确定模块在基于各相邻帧之间的图像内容移动信息，确定设备抖动信息时，具体用于：
基于各光流图的信息熵，确定设备抖动信息。
可选的，视频评估参数还包括待评估视频的分辨率或待评估视频中图像的信息熵中的至少一项。
可选的，视频质量确定模块在根据视频评估参数，确定待评估视频的视频质量时，具体用于：
将视频评估参数输入至神经网络模型，得到待评估视频的视频质量，其中，神经网络模型是基于样本视频的视频评估参数和视频质量，对初始网络模型训练得到的，初始网络模型的输入是样本视频的视频评估参数，输出是样本视频的视频质量。
可选的，待评估视频为直播视频。
第三方面，本发明提供了一种电子设备，该电子设备包括：
处理器和存储器；
存储器，用于存储计算机操作指令；
处理器，用于通过调用计算机操作指令，执行如本发明的第一方面的任一实施例中所示的方法。
第四方面，本发明提供了一种计算机可读存储介质，该存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本发明的第一方面的任一实施例中所示的方法。
本发明实施例提供的技术方案带来的有益效果是：
本发明实施例的视频质量评估方法、装置、电子设备及计算机存储介质，可基于时域和空域这两个维度的视频评估参数，来评估待评估视频的视频质量，由于，从时域和空域两个维度可以更加全面的反应出不同维度的视频评估参数对视频质量的影响，且时域评估参数和空域评估参数可以更加符合人眼视觉系统对视频质量的直观感受，因此，基于时域评估参数和空域评估参数对待评估视频进行质量评估，得到的视频质量更加准确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
图1为本发明的实施例提供的一示例中直播视频从获取到播放的示意图；
图2为本发明的实施例提供的一种视频质量评估方法的流程示意图；
图3a-图3d为本发明的实施例提供的一示例中不同视频质量的视频的卡顿帧情况示意图；
图4为本发明的实施例提供的一种视频质量评估装置的结构示意图；
图5为本发明的实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，该实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明的技术方案，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在该特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为了更好的理解及说明本发明实施例的方案，下面对本发明实施例中所涉及到的一些技术用语进行简单说明。
无损压缩：指的是利用数据的统计冗余进行压缩，可完全恢复原始数据而不引起任何失真。
时域：时间域，自变量是时间,即横轴是时间,纵轴是信号的变化。
空域：空间域，即所说的像素域，在空域的处理就是在像素级的处理。
LPC-Si：Local Phase Coherence-based Sharpness Index,局部相位一致性。
SDSP：Small Diamond Search Proto，小钻石搜索模式，或，小菱形搜索模式。
CCI：Color Contribution Index，色彩变化指数。
RGB：RGB色彩模式是工业界的一种颜色标准，是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。
RG_YB颜色空间：二维对立颜色空间。
SRCC(Spearman Rank-order Correlation Coefficient，斯皮尔曼等级相关系数)：可以作为一种图像质量评估指标。
PLCC(Pearson Linear Correlation Coefficient，皮尔逊相关系数)：可以作为一种图像质量评估指标。
RMSE(Root Mean Squared Error，均方根误差)：可以作为一种图像质量评估指标。
IQA(Image Quality Assessment)：图像质量评估。
VQA(Video Quality Assessment)：视频质量评估。
NIQE(Natural image quality evaluator，德克萨斯大学图像质量评估算法)：一种图像质量评估算法。
BRISQUE(Blind Referenceless Image Spatial QUality Evaluator，无参考的空间域图像质量评估算法)：一种图像质量评估算法。
QAC(quality-aware clustering，质量感知聚类)：一种评估图像质量的算法。
MLV(Maximum Local Variatio，最大变化)：该算法可以用来评估图像的模糊程度，作为一种评估图像质量的算法。
LPC(Local Phase Coherence,基于复小波域的局部相位相干性)：可用于估计图像的清晰度，作为一种评估图像质量的算法。
FISH(fast image sharpness，快速图像清晰度)：是一种基于离散小波的快速图像清晰度估计方法，该方法计算速度快，可用于估计图像的清晰度，作为一种评估图像质量的算法。
VIIDEO(video intrinsic integrity and distortion evaluation oracle,视频内在完整性和失真评估)：该方法用于量化由于失真而引入的干扰，可以在不需要任何关于视频的原始来源、预期失真或人类对视频质量的判断的外部知识的情况下预测失真视频的质量，是一种视频质量评估算法。
V-BLLINDS(video-BLind Image Integrity Notator using DCT Statistics，基于DCT(Discrete Cosine Transform，离散余弦变换)的全局框架方法)：是一种无参考视频质量评估算法。
在多媒体和通信领域，用户主观视觉质量评估一直都是十分重要的问题。随着智能手机的普及和网络硬件的不断提升，在即将到来的5G千兆移动网络和人工智能时代，视频通讯、直播以及短视频等将越来越被广泛应用，符合人眼主观视觉的视频质量评估方法对于保障和提升用户的视觉体验有着至关重要的作用。
对于直播视频，直播视频从获取到播放往往需要经历几个不同的阶段，而每个阶段都需要引入一些失真。不同的失真直接影响直播视频的视频质量，如图1所示，在直播视频的获取阶段，相机的分辨率、帧率和曝光度会影响视频的质量。在对视频进行编码之前的处理阶段(图中所示的前处理)，对视频进行美化、添加滤镜等处理方式也会影响到视频质量，在视频的编码阶段，编码器的类型和编码器的参数会影响到视频质量。在传输阶段，网络的丢包和时延会影响到视频质量。在视频的解码阶段，编码器的类型和解码器的参数会影响到视频质量，比如，解码器的性能不好，解码的参数不准确等，都会影响视频质量。在对视频进行解码之后的处理阶段(图中所示的后处理)，对视频进行超分辨率等处理也会影响到视频质量。由于这些影响因素，可能会导致用户端所播放的视频质量较差，从而影响用户的观看体验。
由此，本方案提供了一种视频质量的评估方法，通过该方法可基于确定出的视频质量对直播视频进行优化，为用户提供质量更好的视频，以满足日益增长的用户需求。
由于直播视频对直播环境、设备以及网速都有很高的要求，一旦某个环节出现问题，都会影响到用户观看视频的观看体验。同时，直播的场景也是各种各样的，直播场景对视频的质量也是有一定影响的。由此，直播视频具有更为复杂的失真，例如，帧卡顿、亮度突变、相机抖动、模糊、过曝光和欠曝光等。
现有技术中，针对视频的视频质量评估的评估方法通常为：基于同一类型的参数来评估视频的视频质量，比如，基于视频的解码信息和帧参数来评估视频质量，或者，基于视频的某种特定的失真信息来评估视频质量，由于导致视频质量差的因素有很多，如果只针对单一类型的参数来评估视频的视频质量，会使得评估出的视频质量与主观质量评价不一致，即评估得到的视频质量不准确，由此，这些方法用来评估直播视频的视频质量时，性能往往比较低。
下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
针对上述技术问题，本发明的实施例提供的一种视频质量评估方法，如图2所示，该方法可以包括步骤S110至步骤S130，其中：
步骤S110,获取待评估视频。
具体的，待评估视频是需要被进行视频质量评估的视频，该视频可以是失真视频，也可以是无损压缩的视频。在本发明的示例中，如果待评估视频是失真视频，则待评估视频可以是直播视频，对应于图1中所示的从获取到播放直播视频的几个不同阶段，该直播视频可以是其中任何一个阶段对应的直播视频。
步骤S120，确定待评估视频的视频评估参数，视频评估参数包括时域评估参数和空域评估参数。
具体的，视频评估参数表示的是影响视频质量的因素，时域评估参数指的是从时域的角度影响视频质量的因素，空域评估参数指的是从空域角度影响视频质量的因素。
步骤S130，根据视频评估参数，确定待评估视频的视频质量。
具体的，视频评估参数可以是量化参数，则基于时域评估参数和空域评估参数所确定的待评估视频的视频质量可以是一个量化的分数，基于该量化的视频质量，可以更加直观的了解该待评估视频的视频质量。
由于不同的视频评估参数可以从不同的维度反应出对视频质量的影响，基于各个视频评估参数对视频质量的影响，可对应为不同的视频评估参数配置不同的权重，则基于时域评估参数和空域评估参数确定待评估视频的视频质量的一种可以实现的方式为，基于各视频评估参数对应的权重，对时域评估参数和空域评估参数进行加权处理，得到待评估视频的视频质量。
本发明的实施例中的方案，可基于时域和空域这两个维度的视频评估参数，来评估待评估视频的视频质量，由于，从时域和空域两个维度可以更加全面的反应出不同维度的视频评估参数对视频质量的影响，且时域评估参数和空域评估参数可以更加符合人眼视觉系统对视频质量的直观感受，因此，基于时域评估参数和空域评估参数对待评估视频进行质量评估，得到的视频质量更加准确。
本发明的实施例中，时域评估参数包括视频卡顿信息、视频亮度变化信息、或者待评估视频所对应的视频采集设备的设备抖动信息中的至少一项；空域评估参数包括视频清晰度、视频颜色丰富度、或者视频曝光程度中的至少一项。
具体的，从时域的角度，时域评估参数从时间域上反应了对视频质量的影响。其中，考虑到视觉暂留效应，即人眼在观看物体时成像于视网膜上，并由视神经输入人脑，从而感觉到物体的像，当物体移去时，视神经对物体的印象不会立即消失，可能会有延迟，比如，延迟0.1-0.4秒，则基于视觉暂留效应，可以将视频卡顿信息作为评估视频质量的一个因素，视频卡顿信息可以反应视频的流畅度，即视频是否出现卡顿。由于拍摄设备焦点的变化和外界环境亮度的变化，会引起视频亮度的不稳定，从而影响视频质量，由此，可以将视频亮度变化信息作为评估视频质量的一个因素。在视频的拍摄过程中，视频的画面通常都是动态的，除了视频中所拍摄物体的移动外，由于拍摄设备的抖动也会导致拍摄的内容出现移动，这种移动直接影响了用户观看视频的视觉体验，因此，可以将待评估视频所对应的视频采集设备的设备抖动信息作为评估视频质量的一个因素。
从空域的角度，空域评估参数从空间域上反应了对视频质量的影响。其中，视频的清晰度直接影响到了用户的观看体验，因此，可以将视频清晰度作为评估视频质量的一个因素。颜色丰富度也直接影响到了用户的观看体验，因此，也可以将视频颜色丰富度作为评估视频质量的一个因素。不正常曝光(欠曝光和过曝光)的主要原因是因为外界环境亮度的影响导致画面中出现过亮或过暗的情况，另外，由于拍摄设备对焦的地方过亮或者过暗也会导致画面出现不正常曝光。不正常曝光直接影响到视频的质量，因此，也可以将视频曝光程度作为评估视频质量的一个因素。
在本发明的方案中，从时域和空域所对应的几个参数中，可以基于时域评估参数中的至少一个参数，以及空域评估参数中的至少一个参数来对待评估视频进行质量评估。
本发明的实施例中，基于视觉暂留效应，可以通过以下方式确定待评估视频的视频卡顿信息，具体为：对待评估视频进行帧采样，基于物体在视觉上延迟消失的时长确定采样率，比如，延迟消失的时长为0.1-0.4秒，则采样率可以为每秒12帧，基于此采样率对待评估视频进行帧采样，如果连续两次采样得到的图像的相似度大于预设的相似度阈值，表示该待评估视频出现卡顿。
本发明的实施例中，如果待评估视频的时长大于设定时长，可能表示待处理的视频帧的帧数过多，则可以先对待评估视频进行采样，即抽取待评估视频中的视频帧图像进行后续的处理，在本发明的方案中，抽取视频帧图像的抽取方式不限定，比如，按照预设间隔抽取待评估视频中的图像，或者，抽取待评估视频中的关键帧图像。可以理解的是，如果先对待评估视频进行抽帧处理，则后续方案中涉及的相邻帧指的是抽取后的视频帧图像中的相邻帧。
为了量化视频的视频卡顿信息，可以通过以下方式确定待评估视频的视频卡顿信息，具体为：
确定待评估视频中各相邻帧之间的图像相似程度；
基于各个图像相似程度，确定待评估视频中的卡顿帧、以及卡顿帧的相关信息；
基于卡顿帧的相关信息，确定视频卡顿信息。
具体的，卡顿帧的相关信息指的是与卡顿帧相关的信息，通过该相关信息可以反映出卡顿帧的卡顿情况。相邻帧之间的图像相似程度指的是当前帧图像和下一帧图像之间的图像相似程度，比如，当前帧为第k帧，下一帧为第k+1帧，相邻帧之间的图像相似程度为第k帧和第k+1帧之间的图像相似程度。通过该图像相似程度可以反应出当前帧图像是否为卡顿帧。
其中，确定待评估视频中各相邻帧之间的图像相似程度的一种可实现方式为：通过相邻帧的灰度值确定该相邻帧之间的图像相似程度，两帧图像之间的灰度值差异越小，表示这两帧图像之间越相似。具体可参见以下公式(1)和公式(2)：
Figure BDA0003546312730000111
其中，视频中共有M帧图像，M为大于k+1的正整数，FD(k)表示相邻帧之间的图像相似程度，即第k帧和第k+1帧之间的图像相似程度,Fk(i，j)表示的是第k帧图像在(i，j)处的灰度值，(i，j)表示像素点坐标，当连续两帧(相邻帧)相同时，FD(k)＝0，此时表示第k帧图像为卡顿帧，否则，如果FD(k)不为0，则表示第k帧图像不是卡顿帧。
在本示例中，通过FF(k)来表示第k帧是否为卡顿帧：
Figure BDA0003546312730000121
其中，当FF(k)＝1时，表示第k帧为卡顿帧，当FF(k)＝0时，表示第k帧不是卡顿帧。
可以理解的是，在实际应用中，两帧图像如果相似，这两帧图像的灰度值可能不完全一致，即这两帧图像之间可能存在灰度值差异，因此，可将两帧图像之间的灰度值差异小于第一设定值的FD(k)归一化为0，将两帧图像之间的灰度值差异大于第一设定值的FD(k)归一化为1。
在确定待评估视频中所有帧图像的FF(k)之后，可基于各帧图像的FF(k)，确定待评估视频中的卡顿帧、以及卡顿帧的相关信息；其中，卡顿帧的相关信息包括待评估视频中卡顿帧的占比、卡顿帧的卡顿持续时长、或者卡顿出现的次数中的至少一项。
其中，卡顿帧的占比指的是待评估视频中FF(k)＝1的图像占所有图像的占比，比如，待评估视频为100帧，卡顿帧为20帧，则卡顿帧的占比为20/100＝20％。卡顿帧的持续时长指的是相邻帧图像之间的卡顿时长，即出现卡顿的当前帧图像卡顿到下一帧图像时所对应的时长，比如，图像A和图像B为相邻帧图像，显示图像A时出现卡顿，时间为t1，显示图像B的时间为t2，则图像A卡顿的持续时长为t2-t1；在待评估视频中，如果有多帧卡顿帧，则可以根据需求基于多个卡顿帧的持续时长确定视频卡顿信息，比如，视频卡顿信息可以是所有卡顿帧的卡顿持续时长的均值，或者，是最长卡顿持续时长。卡顿出现的次数指的是在待评估视频中一共出现了多少次卡顿。
如图3所示的不同视频质量的视频的卡顿帧情况，图3a至图3d中示出了不同卡顿程度的视频对应的FF值和FD值，横轴表示视频的时间，纵轴表示视频中各帧图像对应的FF值和FD值，图3a表示的是无卡顿的视频对应的FF值和FD值，图3b表示的是轻度卡顿的视频对应的FF值和FD值，图3c表示的是中度卡顿的视频对应的FF值和FD值，图3d表示的是严重卡顿的视频对应的FF值和FD值，由图3a至图3d可知，随着视频卡顿的程度的增加，视频中的卡顿帧的占比越来越大，卡顿帧的卡顿持续时长越来越长，卡顿出现的次数越来越多，视频的视频质量越来越差，因此，可以基于上述三个信息来确定视频的视频卡顿信息，从而基于视频卡顿信息来评估视频的视频质量。
如表1中所示的不同卡顿程度的视频对应的卡顿帧的相关信息与视频质量的关系，其中，卡顿帧的相关信息为卡顿帧的占比，卡顿帧的最长卡顿持续时长和卡顿出现的次数。
表1
Figure BDA0003546312730000131
其中，MOS值(Mean Opinion Score平均意见值)是视频是否卡顿的主观评估值，是从主观上对视频是否卡顿的评估值。由表1可知上述三个相关信息与MOS值之间是具有线性关系的，随着卡顿帧的占比，卡顿帧的最长卡顿持续时长和卡顿出现的次数的增加，MOS值在下降。由此，可以通过卡顿帧的占比，卡顿帧的最长卡顿持续时长和卡顿出现的次数中的至少一项来确定视频卡顿信息。
本发明的实施例中，确定待评估视频的视频亮度变化信息，可以包括：
确定待评估视频中各帧图像的图像亮度；
基于各帧图像的图像亮度，确定待评估视频的视频亮度；
基于各帧图像的图像亮度和待评估视频的视频亮度，确定视频亮度变化信息。
具体的，在视频中，由于拍摄设备焦点的变化和外界环境亮度的变化，会引起视频亮度的不稳定，这种忽明忽暗的亮度变化，会影响用户观看视频的观看体验。考虑到这个因素，在时域上通过各帧图像的图像亮度和待评估视频的视频亮度来确定视频的视频亮度变化信息。其中，一帧图像的图像亮度可以为该帧图像的平均亮度值，该平均亮度值可以是基于各个像素点的亮度值计算得到的。则视频亮度变化信息可以通过视频帧图像的平均亮度的均值来表示。
其中，基于各帧图像的图像亮度和待评估视频的视频亮度，确定视频亮度变化信息的一种可实现方式为：
基于各帧图像的图像亮度和待评估视频的视频亮度之间的标准差来确定视频亮度变化信息。
作为一个示例，比如，一帧图像的图像亮度为该帧图像的平均亮度，视频亮度为所有帧图像的平均亮度的均值，通过以下公式(3)，可以得到各帧图像的图像亮度和待评估视频的视频亮度之间的标准差：
Figure BDA0003546312730000141
其中，待评估视频一共有k帧图像，k为大于1的正整数，Ik表示第k帧图像的平均亮度值，μ表示整个视频所有帧图像的平均亮度的均值，σ表示各帧图像的图像亮度和待评估视频的视频亮度之间的标准差，标准差越大，表示视频亮度变化越大，标准差越小，表示视频亮度变化越小。
本发明的实施例中，确定待评估视频所对应的视频采集设备的设备抖动信息，可以包括：
确定待评估视频中各相邻帧之间的图像内容移动信息；
基于各个图像内容移动信息，确定设备抖动信息。
具体的，在视频拍摄过程中，视频的画面通常都是动态的，除了视频中所拍摄物体的移动外，由于拍摄设备的抖动也会导致拍摄的内容出现移动，这种移动直接影响了用户观看视频的视觉体验，因此，基于以上的考虑，将待评估视频所对应的视频采集设备的设备抖动信息作为评估待评估视频的视频质量的一个指标。在本方案中，如果相邻帧中的图像内容除了所拍摄的物体的移动之外，图像内容仍存在移动，则该移动可能是由于拍摄设备的抖动造成的，则基于待评估视频中各相邻帧之间的图像内容移动信息可以确定出设备抖动信息。可以理解的是，拍摄设备指的是具有拍摄功能的电子设备，比如，手机、摄像机、相机、电脑等。
其中，确定待评估视频之间的中各相邻帧图像内容移动信息，可以包括：
确定各相邻帧之间的光流图；
确定各光流图的信息熵，用信息熵表征图像内容移动信息；
基于各相邻帧之间的图像内容移动信息，确定设备抖动信息，包括：
基于各光流图的信息熵，确定设备抖动信息。
具体的，采用光流法对相邻帧之间的对应物体进行检测与识别，基于相邻帧中的图像内容移动的程度来判断拍摄设备是否发生了抖动。在正常情况下，只有前景(图像分为前景和背景，一般来说靠近拍摄设备的叫做前景，远离拍摄设备的叫做背景)目标移动时，连续两帧的光流图具有比较低的信息熵。而发生了设备抖动的情况下，图像中的前景和背景都会发生移动，且移动程度更大，因此，在本发明的方案中，可以对光流图计算信息熵来量化设备抖动的情况，光流图的信息熵越大，表示图像内容的移动程度越大，则发生了全局抖动的视频所对应光流图的信息熵要大于未发生抖动的视频的光流图的信息熵。
其中，确定待评估视频之间的中各相邻帧图像内容移动信息，基于各相邻帧之间的图像内容移动信息，确定设备抖动信息的一种可实现方式为：首先，采用光流法对待评估视频中连续的两帧图像计算光流图，即确定各相邻帧之间的光流图，其中，光流图表征了从第t帧到第t+1帧，每个像素的运动速度和运动方向，其中，t为大于1的正整数；然后对计算得到的光流图求信息熵，用信息熵表征图像内容移动信息；最后再对整个待评估视频的所有连续帧对应的光流图的信息熵求均值，用该均值表征设备抖动信息，信息熵的均值越大，拍摄设备抖动的可能性越大。
本发明的实施例中，确定待评估视频的视频清晰度，可以包括：
基于待评估视频中各帧图像的图像亮度，确定各帧图像的图像清晰度；
基于各帧图像的图像清晰度，确定视频清晰度。
具体的，可以基于待评估视频中各帧图像的图像清晰度，对所有帧图像的图像清晰度求均值，用该均值表征视频清晰度。
其中，基于待评估视频中各帧图像的图像亮度，确定各帧图像的图像清晰度的一种可实现方式为：基于局部相位一致性，确定各帧图像的局部相位一致性图(LPC图)；基于各帧图像的局部相位一致性图在对应边缘位置的图像亮度，确定各帧图像的图像清晰度。
具体的，基于局部相位一致性LPC-Si(Local Phase Coherence-based SharpnessIndex)确定各帧图像中的局部相位一致性图，局部相位一致性图的一种确定方式为：基于图像在复数小波变换域相位的局部一致性，确定相位一致的局部图(LPC图)。当图像的图像清晰度比较高的时候，LPC图在对应的边缘位置的亮度值是比较大的，即图像亮度是比较亮的。随着模糊程度的增加，局部相位一致性图在对应边缘位置的亮度值也在减弱。因此，基于各帧图像的局部相位一致性图在对应边缘位置的图像亮度，可以确定出各帧图像的图像清晰度。局部相位一致性图在对应边缘位置的亮度值越大，代表图像越清晰。
然后，可以基于各帧图像的局部相位一致性图在对应边缘位置的图像亮度，比如，对所有帧图像的局部相位一致性图在对应边缘位置的图像亮度求均值，用该均值来表征视频清晰度。
在本发明的实施例中，对于图像的背景的边缘部分，该边缘部分对应的LPC图的亮度值并不大，但是却不会影响到图像的质量。因为，通常在判断图像清晰度时，是根据前景的轮廓来判断的。因此，为了确定整幅图像的清晰度，可以将LPC图的像素值进行降序排列，然后采用一个衰减因子作为降序的像素值的权重，计算公式如下：
Figure BDA0003546312730000161
其中，K表示一帧图像的LPC图中像素点的数量，K为大于1的正整数，
Figure BDA0003546312730000162
表示降序排列的第k个亮度值，uk表示的是LPC图中降序排列的第k个亮度值的权重，SLPC表示的是一帧图像的图像清晰度。
其中，uk的计算公式如下：
Figure BDA0003546312730000163
其中，这里，γk是控制uk衰减速度的参数。在本示例中，γk＝1e-4。
需要说明的是，本发明实施例上述所描述的图像清晰度的确定方法仅是一种示例，本方案中不限定图像清晰度的确定方式，也可采用现有技术中的图像清晰度确定方法。
本发明的实施例中，确定待评估视频的视频颜色丰富度，可以包括：
确定待评估视频中各帧图像的色彩变化指数；
基于各个色彩变化指数，确定视频颜色丰富度。
具体的，色彩变化指数的大小可以准确的反映出图像的颜丰富程度，因此对于视频颜色丰富度，也可以选用色彩变化指数进行评估。
其中，确定待评估视频中各帧图像的色彩变化指数的一种可实现方式为：基于一帧图像，将该图像的RGB空间转换到RG_YB颜色空间。具体的计算公式如下：
RG＝R-G  (6)
Figure BDA0003546312730000171
然后基于RG和YB颜色空间的均值，RG和YB颜色空间的方差，通过以下公式计算得到该帧图像的色彩变化指数CCI。
CCI＝σRGYB+0.3·μRGYB  (8)
Figure BDA0003546312730000172
Figure BDA0003546312730000173
其中，
Figure BDA0003546312730000174
和
Figure BDA0003546312730000175
分别代表RG和YB颜色空间的方差，μRG和μYB分别代表RG和YB颜色空间的均值，CCI为图像的色彩变化指数，CCI值越大，图像颜色越丰富。
基于各帧图像的色彩变化指数，确定视频颜色丰富度的一种可实现方式为：对所有帧图像的CCI值求均值，用该均值表征视频颜色丰富度。
另一种实现方式为，确定各帧图像在RG和YB颜色空间的方差，以及各帧图像在RG和YB颜色空间的均值，基于各帧图像在RG和YB颜色空间的方差和均值，通过上述公式(8)计算得到的CCI值可以表征视频颜色丰富度。
本发明的实施例中，确定待评估视频的视频曝光程度，可以包括：
确定待评估视频中各帧图像的图像曝光程度；
基于各帧图像的图像曝光程度，确定视频曝光程度。
具体的，不正常曝光(欠曝光和过曝光)的主要原因是因为外界环境亮度的影响导致画面中出现过亮或过暗的情况，另外，由于拍摄设备对焦的地方过亮或者过暗也会导致画面出现不正常曝光。不正常曝光直接影响到视频的质量，因此，可以基于各帧图像的图像曝光程度，确定视频曝光程度，从而将视频曝光程度作为评估视频质量的一个因素。
本发明的实施例中，确定待评估视频中各帧图像的图像曝光程度，可以包括：
基于各帧图像的图像亮度，确定各帧图像中的不正常曝光区域，不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度。
具体的，图像的亮度可以反应出图像是否存在过曝光区域或欠曝光区域，因此，可以基于图像的图像亮度确定各帧图像中的不正常曝光区域。
其中，确定基于各帧图像的图像亮度，确定各帧图像中的不正常曝光区域的一种可实现方式为：对于一帧图像，首先，确定该帧图像中一个预设尺寸的窗口(比如，预设尺寸为8*8的窗口)，确定该窗口对应的亮度值，该亮度值指的是该窗口在图像中所对应区域的亮度值，该亮度值可以是该窗口在图像中所对应区域中各像素的亮度值的均值；在确定该窗口的亮度值后，将该亮度值分别与预设的第一阈值和第二阈值进行比较，第一阈值大于第二阈值，如果该亮度值大于第一阈值，则表示该窗口在图像中所对应的区域为过曝光区域，如果该亮度值小于第二阈值，则表示该窗口在图像中所对应的区域为欠曝光区域。基于上述方式，可以基于滑窗的方式，即在该帧图像上不重叠的滑动预设尺寸的窗口，确定出各帧图像的不正常曝光区域。其中，一帧图像中可以包括多个不正常曝光区域。
其中，基于图像中的不正常曝光区域确定图像曝光程度可以基于现有技术中的方式确定，本方案中不作限定，比如，对于一帧图像，可以基于该帧图像中所包括的不正常曝光区域的数量、不正常曝光区域的面积占图像的面积(一个不正常曝光区域的面积指的是设定尺寸窗口所对应的图像区域的大小)的占比或者不正常曝光区域数量的占整个图像中所有区域的总数的占比，来确定该帧图像的曝光程度，具体可以采用一个数值(该数值可以是一个概率值)表征图像曝光程度，该数值越大，表示该帧图像包括的不正常曝光区域的曝光程度越差。
作为一个示例，对于一帧图像，基于该帧图像中不正常曝光区域数量的占整个图像中所有区域的总数的占比来确定该帧图像的图像曝光程度，该帧图像中共包括M个区域，一个区域对应一个设定尺寸的窗口，该帧图像中不正常区域为N个，N≤M，则该帧图像的图像曝光程度为N/M。
在确定出各帧图像的不正常曝光区域后，可以基于各帧图像的不正常区域在各帧图像中的概率(占比)来确定视频曝光程度，具体可将各帧图像的不正常区域在各帧图像中的概率求均值，用该均值表征视频曝光程度，该均值越大，表示不正常曝光区域在待评估视频中的占比越大，视频质量越差。
本发明的实施例中，基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度，可以包括：
确定各个不正常曝光区域中的对象；
基于各帧图像中的不正常曝光区域，以及各个不正常曝光区域中的指对象的对象类型，确定各帧图像的图像曝光程度。
具体的，考虑到人眼的特性，比如，假如一帧图像的背景部分和前景的人脸部分都出现了过曝光，但是，人眼可能对图像中的人脸更关注，如果人脸部分出现的过曝光，则基于人眼的特征，可能会觉得该图像的质量较差，即人脸部分的过曝光对图像质量影响更大。基于此，在本方案中，将图像中的不同类型的对象的曝光程度作为衡量该图像曝光程度的参考指标，其中，不同类型的对象可以对图像质量有不同的影响程度，不同类型的对象可以按照人眼对于图像中各对象的关注程度划分，比如，对图像中背景部分的关注度可能会小于对图像中人脸的关注度，则人脸部分的曝光程度相对于图像中背景部分的曝光程度对整个图像的曝光程度影响更大。也就是说，如果图像中人脸部分出现不正常曝光，该图像的图像质量相较于该图像中其他区域(背景部分)出现不正常曝光时对应的图像质量要差。由此，在确定出不正常曝光区域后，基于该不正常曝光区域中的对象的对象类型所确定的图像曝光程度，相较于仅基于不正常曝光区域确定的图像质量更准确。其中，一帧图像中可以同时包括多个指定对象，一个不正常曝光区域中可以包括多个指定对象。
具体的，基于一帧图像中的不正常曝光区域，以及该不正常曝光区域中的对象的对象类型，确定该帧图像的图像曝光程度的一种可实现方式为：为不同类型的对象设置影响权重，基于在不正常曝光区域中确定出的对象的对象类型，确定该不正常曝光区域中该对象对应的影响权重，基于该影响权重调整基于不正常曝光区域确定的图像曝光程度(为描述方便，下文称为第一图像曝光程度)，其中，基于影响权重，调整基于不正常曝光区域确定的图像曝光程度的一种实现方式为：基于影响权重对第一图像曝光程度进行加权处理，得到的第二图像曝光程度，第二图像曝光程度相较于第一图像曝光程度更严重，即如果不正常区域是过曝光区域，该图像的过曝光程度更加严重，如果不正常区域是欠曝光区域，该图像的欠曝光程度更加严重。可以理解的是，如果一帧图像的多个不正常曝光区域都包括指定对象，也可基于指定对象对应的权重对该帧图像的图像曝光程度进行加权处理。
作为一个示例，一帧图像A中包括一个不正常曝光区域，基于该不正常曝光区域确定的图像A的图像曝光程度用第一概率值表示，该第一概率值为A，不正常曝光区域中的对象为一个人脸，该人脸对应的影响权重为10％，基于该人脸对应的影响权重对第一概率值进行加权处理，得到的第二概率值为A(1+10％)，第二概率值大于第一概率值，该图像的图像曝光程度为第二概率值。
在本发明的实施例中，可以通过显著性检测的方法确定不正常曝光区域中的指定对象，比如，SDSP显著性检测方法。本发明中不限定显著性检测方法，只要能检测出图像中的指定对象的图像处理方法即可作为显著性检测方法。
在确定得到上述视频评估参数后，可以根据视频评估参数，确定待评估视频的视频质量。具体的，可以基于预先配置的各个视频评估参数对应的权重，确定出待评估视频的视频质量。
本发明的实施例中，根据视频评估参数，确定待评估视频的视频质量，可以包括：
将视频评估参数输入至神经网络模型，得到待评估视频的视频质量，其中，神经网络模型是基于样本视频的视频评估参数和视频质量，对初始网络模型训练得到的，初始网络模型的输入是样本视频的视频评估参数，输出是样本视频的视频质量。
具体的，还可以基于样本视频的视频评估参数和视频质量对初始网络模型训练得到的神经网络模型，来确定待评估视频的视频质量。模型的输入为视频的视频评估参数，输出为该视频的视频质量。
其中，神经网络模型的一种训练方式可以为：
获取样本数据，样本数据中包括样本视频和对应的视频质量(该视频质量可以理解为样本数据的标注信息，即样本标签，简称为标注结果)；其中，样本视频可以是直播视频，样本视频包含了各种真实场景的视频，样本视频的播放时长可以为不同长度的时长，样本视频的分辨率可以为不同的分辨率，比如，960*540、640*368和320*240。则基于多样性的样本视频训练得到的神经网络模型可以用来确定各种视频的视频质量，即模型的适用性更好。
在获取样本数据后，对于每个样本数据，可以确定出其样本视频的视频评估参数，在基于样本数据对神经网络模型进行训练时，初始网络模型的输入为样本视频的视频评估参数，输出为预测出的视频质量(简称为预测结果)，可以基于各样本数据所对应的预测结果和标注结果来判断模型训练是否结束，如通过模型的损失函数是否收敛来判断模型训练是否结束，该损失函数表征了各样本数据的预测结果和标注结果的差异程度，将训练结束时的模型作为本申请实施例应用时的神经网络模型。
在本示例中，可以利用反向传播，以及AdaBoosting算法来优化网络中的参数。作为一个示例，可以基于训练好的神经网络模型的输出与其相对应的样本视频的标注结果进行比较，得到误差，基于该误差反向传播，以对训练好的神经网络模型中的参数进行优化。
在本示例中，神经网络模型的网络结构可以为：包含一个输入层，两个隐藏层和一个输出层，输入层的节点数和输入的特征维度(视频评估参数的维度)有关，比如，输入的是6个视频评估参数，则对应输入层的节点数为6，一个节点对应一个视频评估参数，两个隐藏层各自有6个节点，输出层为1个节点。
为了得到精度更好的模型，在训练的时候，可以随机选取一定比例的样本视频作为训练集，同样选择一定比例的样本视频作为测试集。然后基于训练集和测试集反复迭代多次(比如，1000次)，以使得得到的神经网络模型的精度更好。
本发明的实施例中，视频评估参数还包括待评估视频的分辨率或待评估视频中图像的信息熵中的至少一项。
具体的，考虑到上述时域评估参数和空域评估参数可能受到视频分辨率和视频内容的影响，图像的信息熵可以反应出该图像中包含信息量的多少，即该图像中包含内容的多少，信息熵越大，表示该图像中包含的信息越多，信息熵越小，表示该图像中包含的信息越少，则基于图像的信息熵可以反应出对应视频的信息量，因此，可以将待评估视频的分辨率和待评估视频中图像的信息熵中的至少一项也作为视频评估参数，以使得基于视频评估参数确定的视频质量更加准确。
其中，待评估视频中图像的信息熵可以为待评估视频中一帧图像的信息熵，或者，各帧图像的信息熵的均值，或者，预设数量的图像的信息熵的均值，预设数量的图像可以为按照设定间隔抽取的预设数量图像，也可以是随机抽取的预设数量图像，本发明的方案中对图像的抽取方式不限定。
本发明的实施例中，视频评估参数可以通过卷积神经网络确定。通过卷积神经网络来确定视频评估参数，在图像处理中，通过机器学习的手段来自动生成这些视频评估参数，可以使视频质量评估更加智能化。
本发明的实施例中，在基于上述视频评估参数确定出待评估视频的视频质量之后，还可以基于评估指标对待评估视频的视频质量进行评估，其中，评估指标可以包括PLCC、SRCC或RMSE中的至少一种进行评估。PLCC、SRCC和RMSE的值在0-1的范围之内，PLCC和SRCC的值越接近1，说明能指标越好，RMSE的值越接近0，说明能指标越好。
作为一个示例，基于上述PLCC、SRCC或RMSE三个评估指标，对不同视频质量评估方法进行比较，比较结果如表2所示：
表2
Figure BDA0003546312730000221
其中，IQA表示图像质量评估算法，图像质量评估算法包括NIQE、BRISQUE、QAC、MLV、LPC、FISH，VQA表示视频质量评估算法，包括VIIDEO、V-BLLINDS、本发明的算法。由上表可知，通过本发明的算法对待评估视频进行质量评估后的PLCC值为0.8411，SRCC值为0.8325，相较于其他所有的算法，PLCC值和SRCC值明显高于其他算法对应的PLCC值和SRCC值，RMSE值为0.4602，相较于其他所有的算法，通过本发明的算法得到的RMSE值明显小于其他算法对应的RMSE值。对于PLCC、SRCC或RMSE三个评估指标，PLCC值和SRCC值越大，说明视频质量评价越准确，RMSE值越小，说明视频质量评价越准确；则基于本发明的算法所对应的PLCC、SRCC或RMSE三个评估指标，说明本发明的算法对视频的视频质量的评估结果更加准确。
为了进一步说明本算法的鲁棒性，还可以采取了不同比例的测试集和训练集进行评估，评估结果如下表3所示：
表3
训练集-测试集 PLCC SRCC RMSE
100％-20％ 0.8674 0.8572 0.4221
90％-10％ 0.8419 0.8277 0.4560
80％-20％ 0.8411 0.8352 0.4602
70％-30％ 0.8367 0.8270 0.4688
60％-40％ 0.8332 0.8259 0.4722
50％-50％ 0.8310 0.8250 0.4757
40％-60％ 0.8248 0.8187 0.4827
30％-70％ 0.8178 0.8133 0.4904
20％-80％ 0.8084 0.8052 0.5021
从上表可以看出，本发明的算法受训练样本的样本数量的影响不大，即便是采用20％的训练样本数据来进行训练，用80％的训练样本数来进行测试，得到的PLCC值为0.8084，SRCC值为0.8052，采用30％的训练样本数据来进行训练，用70％的训练样本数来进行测试，得到的PLCC值为0.8178，SRCC值为0.8133，采用20％的训练样本数据来进行训练，用80％的训练样本数来进行测试时所得到的PLCC值和SRCC值分别与采用30％的训练样本数据来进行训练，用70％的训练样本数来进行测试所得到的PLCC值和SRCC值进行比较可知，PLCC值和SRCC值的大小没有太大变化，且本发明算法的性能依然要高于现有的所有图像质量评估算法。由此，基于本发明的算法，可以实现仅使用一些少量的样本数据进行训练即可达到比较好的视频质量评估效果，表明了本发明的算法具有很高的鲁棒性能。即通过本发明的视频质量评估方法，可以基于相对较少的训练样本数据，得到性能较好的神经网络模型，基于该神经网络模型确定出的视频质量相对于其他算法确定的视频质量更加准确。
基于与图2中所示方法相同的原理，本发明的实施例中还提供了一种装置20，如图4所示，该装置20可以包括：视频获取模块210，视频评估参数确定模块220以及视频质量确定模块230，其中，
视频获取模块210，用于获取待评估视频；
视频评估参数确定模块220，用于确定待评估视频的视频评估参数，视频评估参数包括时域评估参数和空域评估参数；
视频质量确定模块230，用于根据视频评估参数，确定待评估视频的视频质量。
本发明的实施例中的方案，可基于时域和空域这两个维度的视频评估参数，来评估待评估视频的视频质量，由于，从时域和空域两个维度可以更加全面的反应出不同维度的视频评估参数对视频质量的影响，且时域评估参数和空域评估参数可以更加符合人眼视觉系统对视频质量的直观感受，因此，基于时域评估参数和空域评估参数对待评估视频进行质量评估，得到的视频质量更加准确。
可选的，时域评估参数包括视频卡顿信息、视频亮度变化信息、或者待评估视频所对应的视频采集设备的设备抖动信息中的至少一项；空域评估参数包括视频清晰度、视频颜色丰富度、或者视频曝光程度中的至少一项。
可选的，视频评估参数确定模块还用于确定待评估视频的视频卡顿信息：确定待评估视频中各相邻帧之间的图像相似程度；基于各个图像相似程度，确定待评估视频中的卡顿帧、以及卡顿帧的相关信息；基于卡顿帧的相关信息，确定视频卡顿信息；
视频评估参数确定模块还用于确定待评估视频的视频亮度变化信息：确定待评估视频中各帧图像的图像亮度；基于各帧图像的图像亮度，确定待评估视频的视频亮度；基于各帧图像的图像亮度和待评估视频的视频亮度，确定视频亮度变化信息；
视频评估参数确定模块还用于确定待评估视频所对应的视频采集设备的设备抖动信息：确定待评估视频中各相邻帧之间的图像内容移动信息；基于各个图像内容移动信息，确定设备抖动信息；
视频评估参数确定模块还用于确定待评估视频的视频曝光程度：确定待评估视频中各帧图像的图像曝光程度；基于各帧图像的图像曝光程度，确定视频曝光程度。
可选的，卡顿帧的相关信息包括待评估视频中卡顿帧的占比、卡顿帧的卡顿持续时长、或者卡顿出现的次数中的至少一项。
可选的，视频评估参数确定模块在确定待评估视频中各帧图像的图像曝光程度时，具体用于：
基于各帧图像的图像亮度，确定各帧图像中的不正常曝光区域，不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度。
可选的，视频评估参数确定模块在基于各帧图像的不正常曝光区域，确定各帧图像的图像曝光程度时，具体用于：
确定各个不正常曝光区域中的对象；
基于各帧图像中的不正常曝光区域，以及各个不正常曝光区域中的指对象的对象类型，确定各帧图像的图像曝光程度。
可选的，视频评估参数确定模块在确定待评估视频中各相邻帧之间的图像内容移动信息时，具体用于：
确定各相邻帧之间的光流图；
确定各光流图的信息熵，用信息熵表征图像内容移动信息；
视频评估参数确定模块在基于各相邻帧之间的图像内容移动信息，确定设备抖动信息时，具体用于：
基于各光流图的信息熵，确定设备抖动信息。
可选的，视频评估参数还包括待评估视频的分辨率或待评估视频中图像的信息熵中的至少一项。
可选的，视频质量确定模块在根据视频评估参数，确定待评估视频的视频质量时，具体用于：
将视频评估参数输入至神经网络模型，得到待评估视频的视频质量，其中，神经网络模型是基于样本视频的视频评估参数和视频质量，对初始网络模型训练得到的，初始网络模型的输入是样本视频的视频评估参数，输出是样本视频的视频质量。
可选的，待评估视频为直播视频。
本发明实施例的视频质量评估装置可执行图2所示的一种视频质量评估方法，其实现原理相类似，本发明各实施例中的视频质量评估装置中的各模块所执行的动作是与本发明各实施例中的视频质量评估方法中的步骤相对应的，对于视频质量评估装置的各模块的详细功能描述具体可以参见前文中所示的对应的视频质量评估方法中的描述，此处不再赘述。
基于与本发明的实施例中的方法相同的原理，本发明提供了一种电子设备，该电子设备包括处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行如本发明的方法中的任一实施例中所示的方法。
基于与本发明的实施例中的方法相同的原理，本发明提供了一种计算机可读存储介质，该存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本发明的数据处理方法中的任一实施例中所示的方法。
本发明的实施例中，如图5所示，其示出了适于用来实现本发明实施例的电子设备50(例如实现图2中所示的方法的终端设备或服务器)的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备50可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备30操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备50与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备50，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本发明实施例的方法中限定的上述功能。
需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述方法实施例所示的方法；或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述方法实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种视频质量评估方法，其特征在于，包括：
获取待评估视频；
确定所述待评估视频的视频评估参数，所述视频评估参数包括时域评估参数和空域评估参数，所述空域评估参数包括视频曝光程度；
根据所述视频评估参数，确定所述待评估视频的视频质量；
其中，所述视频曝光程度是通过以下方式确定的：
基于所述待评估视频中各帧图像的图像亮度，确定所述各帧图像中的不正常曝光区域，所述不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
确定所述各帧图像的各个不正常曝光区域中的对象的类型；
通过以下至少一项确定所述各帧图像的图像曝光程度，根据所述各帧图像的图像曝光程度，确定所述视频曝光程度：
获取所述各个不正常曝光区域中的对象的类型对应的质量影响权重；对于每帧图像，根据该帧图像中的不正常曝光区域、以及该帧图像中的不正常曝光区域中的对象的类型对应的质量影响权重，确定该帧图像的图像曝光程度；
对于每帧图像，根据该帧图像中的不正常曝光区域，确定该帧图像的第一曝光程度，若该帧图像的不正常曝光区域中包括指定类型的对象，根据所述指定类型的对象对应的质量影响权重对该帧图像的第一曝光程度进行加权，得到第二曝光程度，将所述第二曝光程度确定为该帧图像的图像曝光程度，若该帧图像的不正常曝光区域中不包括指定类型的对象，将所述第一曝光程度确定为该帧图像的图像曝光程度。
2.根据权利要求1所述的方法，其特征在于，所述时域评估参数包括视频卡顿信息、视频亮度变化信息、或者所述待评估视频所对应的视频采集设备的设备抖动信息中的至少一项；
所述空域评估参数还包括视频清晰度或视频颜色信息丰富度中的至少一项。
3.根据权利要求2所述的方法，其特征在于，所述视频评估参数包括视频卡顿信息，确定所述待评估视频的视频卡顿信息，包括：
确定所述待评估视频中各相邻帧之间的图像相似程度；
基于各个图像相似程度，确定所述待评估视频中的卡顿帧、以及所述卡顿帧的相关信息；
基于所述卡顿帧的相关信息，确定所述视频卡顿信息。
4.根据权利要求3所述的方法，其特征在于，所述确定所述待评估视频中各相邻帧之间的图像相似程度，包括：
对于所述待评估视频中各相邻帧，通过以下表达式确定相邻帧之间的图像相似度：
其中，FD(k)表示相邻帧之间的图像相似度，m和n分别表示每帧图像中水平方向上像素点的数量和垂直方向上像素点的数量，Fk(i，j)表示相邻帧中靠前一帧的图像中(i，j)处的灰度值，Fk+1(i，j)表示相邻帧中靠后一帧的图像中(i，j)处的灰度值，(i，j)表示像素点的坐标。
5.根据权利要求2所述的方法，其特征在于，所述视频评估参数包括视频亮度变化信息，确定所述待评估视频的视频亮度变化信息，包括：
确定所述待评估视频中各帧图像的图像亮度；
确定所述各帧图像的图像亮度对应的标准差，将所述标准差确定为所述视频亮度变化信息。
6.根据权利要求2所述的方法，其特征在于，所述视频评估参数包括所述设备抖动信息，确定所述设备抖动信息，包括：
确定所述待评估视频中各相邻帧之间的图像内容移动信息；
基于各个图像内容移动信息，确定所述设备抖动信息。
7.根据权利要求6所述的方法，其特征在于，所述确定所述待评估视频中各相邻帧之间的图像内容移动信息，包括：
确定各相邻帧之间的光流图；
确定各光流图的信息熵，用信息熵表征图像内容移动信息；
所述基于各个图像内容移动信息，确定所述设备抖动信息，包括：
确定各光流图的信息熵的均值，将所述均值确定为所述设备抖动信息。
8.根据权利要求2所述的方法，其特征在于，所述视频评估参数包括视频清晰度，确定所述视频清晰度，包括：
确定所述待评估视频中各帧图像的局部相位一致性LPC图；
对于每帧图像，将该帧图像的LPC图中的各像素点的像素值进行降序排列，对于排序后中的每个像素值，根据该像素值在排序中的位置，确定该像素值对应的图像清晰度影响权重；根据该帧图像的LPC图中各像素点对应的图像清晰度影响权重对LPC图中各像素点的像素值进行加权求和，得到该帧图像的图像清晰度；
根据各帧图像的图像清晰度，确定所述视频清晰度。
9.根据权利要求2所述的方法，其特征在于，所述视频评估参数还包括所述待评估视频的分辨率或所述待评估视频中图像的信息熵中的至少一项。
10.根据权利要求1至9中任一项所述的方法，其特征在于，所述根据所述视频评估参数，确定所述待评估视频的视频质量，包括：
将所述视频评估参数输入至神经网络模型，得到所述待评估视频的视频质量，其中，所述神经网络模型是通过以下方式训练得到的：
获取多个样本数据，每个所述样本数据包括样本视频的视频评估参数和视频质量标注结果；
基于所述多个样本数据对初始网络模型进行迭代训练直至满足训练结束条件，将满足所述训练结束条件的初始网络模型作为所述神经网络模型，其中，所述初始网络模型的输入是所述样本视频的视频评估参数，输出是所述样本视频的视频预测质量，在训练过程中，所述初始网络模型的训练损失是基于各所述样本数据对应的视频预测质量和视频质量标注结果确定。
11.一种视频质量评估装置，其特征在于，包括：
视频获取模块，用于获取待评估视频；
视频评估参数确定模块，用于确定所述待评估视频的视频评估参数，所述视频评估参数包括时域评估参数和空域评估参数，所述空域评估参数包括视频曝光程度；
视频质量确定模块，用于根据所述视频评估参数，确定所述待评估视频的视频质量；
其中，所述视频曝光程度是通过以下方式确定的：
基于所述待评估视频中各帧图像的图像亮度，确定所述各帧图像中的不正常曝光区域，所述不正常曝光区域包括过曝光区域或欠曝光区域中的至少一项；
确定所述各帧图像的各个不正常曝光区域中的对象的类型；
通过以下至少一项确定所述各帧图像的图像曝光程度，根据所述各帧图像的图像曝光程度，确定所述待评估视频的视频曝光程度：
获取所述各个不正常曝光区域中的对象的类型对应的质量影响权重；对于每帧图像，根据该帧图像中的不正常曝光区域、以及该帧图像中的不正常曝光区域中的对象的类型对应的质量影响权重，确定该帧图像的图像曝光程度；
对于每帧图像，根据该帧图像中的不正常曝光区域，确定该帧图像的第一曝光程度，若该帧图像的不正常曝光区域中包括指定类型的对象，根据所述指定类型的对象对应的质量影响权重对该帧图像的第一曝光程度进行加权，得到第二曝光程度，将所述第二曝光程度确定为该帧图像的图像曝光程度，若该帧图像的不正常曝光区域中不包括指定类型的对象，将所述第一曝光程度确定为该帧图像的图像曝光程度。
12.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储计算机程序；
所述处理器，用于通过调用所述计算机程序，执行权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序由处理器加载并执行时实现权利要求1至10中任一项所述的方法。
CN202210249325.8A 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质 Active CN114584849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210249325.8A CN114584849B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210249325.8A CN114584849B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质
CN201910906707.1A CN111193923B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910906707.1A Division CN111193923B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN114584849A CN114584849A (zh) 2022-06-03
CN114584849B true CN114584849B (zh) 2023-05-05

Family

ID=70710714

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910906707.1A Active CN111193923B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质
CN202210249325.8A Active CN114584849B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910906707.1A Active CN111193923B (zh) 2019-09-24 2019-09-24 视频质量评估方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (2) CN111193923B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112752146A (zh) * 2020-05-25 2021-05-04 腾讯科技（深圳）有限公司 视频质量评估方法、装置、计算机设备和存储介质
CN111754492A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像质量评估方法、装置、电子设备及存储介质
CN114125495A (zh) * 2020-08-11 2022-03-01 中国电信股份有限公司 视频质量评估模型训练方法、视频质量评价方法和装置
CN111784694B (zh) * 2020-08-20 2024-07-23 中国传媒大学 一种基于视觉注意力机制的无参考视频质量评价方法
CN112261437A (zh) * 2020-11-19 2021-01-22 贝壳技术有限公司 音视频质量评价方法和装置、可读存储介质、电子设备
CN112910961B (zh) * 2021-01-15 2022-11-08 华中师范大学 一种网络课程视频质量自动评价方法及系统
CN113436085A (zh) * 2021-05-18 2021-09-24 影石创新科技股份有限公司 防抖效果评估方法、装置、计算机设备和存储介质
CN113411218B (zh) * 2021-06-22 2023-03-24 北京金山云网络技术有限公司 即时通信质量的评价方法、装置和电子设备
CN113506260B (zh) * 2021-07-05 2023-08-29 贝壳找房(北京)科技有限公司 一种人脸图像质量评估方法、装置、电子设备及存储介质
CN116170606B (zh) * 2021-11-24 2024-09-06 中国移动通信有限公司研究院 直播质量评估方法、装置、电子设备及介质
CN114202728B (zh) * 2021-12-10 2022-09-02 北京百度网讯科技有限公司 一种视频检测方法、装置、电子设备及介质
CN115278303B (zh) * 2022-07-29 2024-04-19 腾讯科技（深圳）有限公司 视频处理方法、装置、设备以及介质
CN115426490A (zh) * 2022-08-31 2022-12-02 维沃移动通信有限公司 视频质量的评估方法、装置、电子设备和存储介质
CN115689819B (zh) * 2022-09-23 2023-06-30 河北东来工程技术服务有限公司 一种船舶应急训练方法、系统、装置及可读存储介质
CN117132511B (zh) * 2023-02-24 2024-09-17 荣耀终端有限公司 一种图像处理方法及电子设备
CN116074585B (zh) * 2023-03-03 2023-06-23 乔品科技(深圳)有限公司 基于ai和注意力机制的超高清视频编解码方法和装置
CN116863253B (zh) * 2023-09-05 2023-11-17 光谷技术有限公司 基于大数据分析的运维风险预警方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN104023227A (zh) * 2014-05-28 2014-09-03 宁波大学 一种基于空域和时域结构相似性的视频质量客观评价方法
CN105069801A (zh) * 2015-08-17 2015-11-18 江苏物联网研究发展中心 基于图像质量诊断的视频图像预处理方法
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105163106A (zh) * 2015-07-22 2015-12-16 天津科技大学 一种多重数据处理的视频质量评价系统
CN109120924A (zh) * 2018-10-30 2019-01-01 宁波菊风系统软件有限公司 一种实时视频通信的质量评价方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715146B (zh) * 2008-10-08 2011-09-07 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN103945214B (zh) * 2013-01-23 2016-03-30 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
CN105451016A (zh) * 2015-12-07 2016-03-30 天津大学 一种适用于视频监控系统的无参考视频质量评价方法
CN105761255B (zh) * 2016-02-04 2019-01-25 网易（杭州）网络有限公司 游戏画面卡顿测试方法及装置
CN105681663B (zh) * 2016-02-26 2018-06-22 北京理工大学 一种基于帧间运动几何平滑性的视频抖动检测方法
CN105913088A (zh) * 2016-04-13 2016-08-31 厦门美图移动科技有限公司 一种卡顿识别方法、装置及计算设备
CN107071399B (zh) * 2017-04-26 2019-02-19 华为技术有限公司 一种加密视频流的质量评估方法及装置
CN109005402A (zh) * 2017-06-07 2018-12-14 中国移动通信集团甘肃有限公司 一种视频的评估方法及装置
CN107515825B (zh) * 2017-08-22 2021-05-25 网易（杭州）网络有限公司 流畅度测试方法和装置、存储介质、终端
CN107909081B (zh) * 2017-10-27 2022-04-08 东南大学 一种深度学习中图像数据集的快速获取和快速标定方法
US20190238856A1 (en) * 2018-01-31 2019-08-01 Hewlett Packard Enterprise Development Lp Estimating video quality of experience
CN110046673B (zh) * 2019-04-25 2021-05-07 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
CN101312544A (zh) * 2008-06-25 2008-11-26 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101742355A (zh) * 2009-12-24 2010-06-16 厦门大学 基于空时域特征提取的无线视频部分参考测评方法
CN104023227A (zh) * 2014-05-28 2014-09-03 宁波大学 一种基于空域和时域结构相似性的视频质量客观评价方法
CN105100789A (zh) * 2015-07-22 2015-11-25 天津科技大学 一种视频质量评价方法
CN105163106A (zh) * 2015-07-22 2015-12-16 天津科技大学 一种多重数据处理的视频质量评价系统
CN105069801A (zh) * 2015-08-17 2015-11-18 江苏物联网研究发展中心 基于图像质量诊断的视频图像预处理方法
CN109120924A (zh) * 2018-10-30 2019-01-01 宁波菊风系统软件有限公司 一种实时视频通信的质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于线性回归分析的视频质量评估方法;张兆林等;《西北工业大学学报》;20120615(第03期);全文 *
融合空时感知特性的无参考视频质量评估算法;吴泽民等;《电子学报》;20170315(第03期);全文 *

Also Published As

Publication number Publication date
CN111193923B (zh) 2022-06-21
CN114584849A (zh) 2022-06-03
CN111193923A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN114584849B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
Gu et al. Hybrid no-reference quality metric for singly and multiply distorted images
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
Zeng et al. 3D-SSIM for video quality assessment
US20070172144A1 (en) Video noise reduction
Ghadiyaram et al. A no-reference video quality predictor for compression and scaling artifacts
Li et al. Recent advances and challenges in video quality assessment
US20220051382A1 (en) Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
WO2018153161A1 (zh) 一种视频质量评价方法及装置、设备、存储介质
CN113259594A (zh) 图像处理方法及装置、计算机可读存储介质、终端
CN105847970A (zh) 视频显示质量的计算方法及设备
Nezhivleva et al. Comparing of Modern Methods Used to Assess the Quality of Video Sequences During Signal Streaming with and Without Human Perception
Bohr et al. A no reference image blur detection using cumulative probability blur detection (cpbd) metric
Dosselmann et al. A prototype no-reference video quality system
CN116095291A (zh) 一种用于媒体流图像传输的图像预处理方法
Yue et al. Subjective quality assessment of animation images
Regis et al. Video quality assessment based on the effect of the estimation of the spatial perceptual information
Grbić et al. Real-time video freezing detection for 4K UHD videos
Akramullah et al. Video quality metrics
Babić et al. Real-time no-reference histogram-based freezing artifact detection algorithm for UHD videos
Aggarwal A review on video quality assessment
Mele et al. Using spatio-temporal saliency to predict subjective video quality: a new high-speed objective assessment metric
CN113038129A (zh) 一种用于机器学习的数据样本获取的方法及设备
Anitha et al. Quality assessment of resultant images after processing
Gurav et al. Full-reference video quality assessment using structural similarity (SSIM) index

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant