CN110582008A - 一种视频质量评价方法及装置 - Google Patents

一种视频质量评价方法及装置 Download PDF

Info

Publication number
CN110582008A
CN110582008A CN201910945515.1A CN201910945515A CN110582008A CN 110582008 A CN110582008 A CN 110582008A CN 201910945515 A CN201910945515 A CN 201910945515A CN 110582008 A CN110582008 A CN 110582008A
Authority
CN
China
Prior art keywords
video
parameters
evaluated
evaluation
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910945515.1A
Other languages
English (en)
Other versions
CN110582008B (zh
Inventor
李晨昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910945515.1A priority Critical patent/CN110582008B/zh
Publication of CN110582008A publication Critical patent/CN110582008A/zh
Application granted granted Critical
Publication of CN110582008B publication Critical patent/CN110582008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频质量评价方法及装置,该方法包括:获取待评价视频的编解码码流,从编解码码流中提取待评价视频的特征参数,然后,按照预设策略,对特征参数进行分析,得到待评价视频的评价参数,进而,将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的特征参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。这样,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。

Description

一种视频质量评价方法及装置
技术领域
本发明涉及视频处理技术领域,特别是涉及一种视频质量评价方法及装置。
背景技术
在视频传输过程中,视频质量可能会受到损伤,导致视频出现失真降质等现象,使得视频的清晰度和流畅度降低。通常,不同用户对视频质量的要求不同,因此,在向用户提供视频之前,需要对视频质量进行评价,以减少视频质量无法满足用户要求的情况,从而提升用户的体验。
相关技术中,可以通过全参考或部分参考的方式评价视频质量,具体的,首先,需要获取待评价视频及待评价视频对应的原始视频,然后,对待评价视频及原始视频之间的差异进行分析,从而得到待评价视频的视频质量。
但在实际应用中,进行视频质量评价时,通常只能获取到待评价视频,而待评价视频对应的原始视频是难以获取到的,因此,上述视频质量评价方法往往难以实现。
因此,目前亟需一种能够在不参考原始视频的情况下进行视频质量评价的方法。
发明内容
本发明实施例的目的在于提供一种视频质量评价方法,以实现在不参考原始视频的情况下进行视频质量评价。具体技术方案如下:
本发明实施例提供了一种视频质量评价方法,所述方法包括:
获取待评价视频的编解码码流;
从所述编解码码流中提取所述待评价视频的特征参数;
按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数;
将所述评价参数输入预先训练得到的视频质量评价模型进行处理,得到所述待评价视频的用于反映视频质量的峰值信噪比,其中,所述视频质量评价模型为利用多个视频序列的评价参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
可选的,当所述编解码码流为H.264编解码码流时,所述特征参数包括预测模式参数、运动矢量参数和量化参数;
所述按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数,包括:
根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,得到所述待评价视频的第一评价参数;
根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数;
将所述量化参数作为所述待评价视频的第三评价参数。
可选的,根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,包括:
根据所述预测模式参数,确定所述编解码码流中的P帧预测块的数量,作为第一数量,并确定所述编解码码流中的I帧预测块的数量,作为第二数量;
分别计算各类P帧帧内预测块的数量与所述第一数量之间的比例,得到第一类比例值;
分别计算各类P帧帧间预测块的数量与所述第一数量之间的比例,得到第二类比例值;
分别计算各类I帧预测块的数量与所述第二数量之间的比例,得到第三类比例值;
计算所述P帧预测块中跳过预测块的数量与所述第一数量之间的比例,得到第四类比例值;
将所述第一类比例值、所述第二类比例值、所述第三类比例值及所述第四类比例值中的至少一种作为所述待评价视频的第一评价参数。
可选的,所述根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数,包括:
计算所述待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与所述待评价视频的运动矢量参数的总个数的比值,作为所述待评价视频的第二评价参数。
可选的,所述视频质量评价模型为视频质量支持向量机模型。
可选的,采用如下步骤,训练得到所述视频质量评价模型:
获取多个视频序列,作为训练集;
采用预设编解码标准,对所述训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数;其中,所述预设编解码标准与对所述待评价视频进行编码的标准相同;
按照所述预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数;
对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比;
将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对所述预设映射模型中的模型参数进行迭代调整,得到所述视频质量评价模型。
本发明实施例还提供了一种视频质量评价装置,所述装置包括:
获取模块,用于获取待评价视频的编解码码流;
提取模块,用于从所述编解码码流中提取所述待评价视频的特征参数;
分析模块,用于按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数;
评价模块,用于将所述评价参数输入预先训练得到的视频质量评价模型进行处理,得到所述待评价视频的用于反映视频质量的峰值信噪比,其中,所述视频质量评价模型为利用多个视频序列的评价参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
可选的,当所述编解码码流为H.264编解码码流时,所述特征参数包括预测模式参数、运动矢量参数和量化参数;所述分析模块,具体用于:
根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,得到所述待评价视频的第一评价参数;
根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数;
将所述量化参数作为所述待评价视频的第三评价参数。
可选的,所述分析模块,具体用于:
根据所述预测模式参数,确定所述编解码码流中的P帧预测块的数量,作为第一数量,并确定所述编解码码流中的I帧预测块的数量,作为第二数量;
分别计算各类P帧帧内预测块的数量与所述第一数量之间的比例,得到第一类比例值;
分别计算各类P帧帧间预测块的数量与所述第一数量之间的比例,得到第二类比例值;
分别计算各类I帧预测块的数量与所述第二数量之间的比例,得到第三类比例值;
计算所述P帧预测块中跳过预测块的数量与所述第一数量之间的比例,得到第四类比例值;
将所述第一类比例值、所述第二类比例值、所述第三类比例值及所述第四类比例值中的至少一种作为所述待评价视频的第一评价参数。
可选的,所述分析模块,具体用于:
计算所述待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与所述待评价视频的运动矢量参数的总个数的比值,作为所述待评价视频的第二评价参数。
可选的,所述视频质量评价模型为视频质量支持向量机模型。
可选的,所述装置还包括模型训练模块,用于采用如下步骤,训练得到所述视频质量评价模型:
获取多个视频序列,作为训练集;
采用预设编解码标准,对所述训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数;其中,所述预设编解码标准与对所述待评价视频进行编码的标准相同;
按照所述预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数;
对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比;
将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对所述预设映射模型中的模型参数进行迭代调整,得到所述视频质量评价模型。
本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一所述的视频质量评价方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的视频质量评价方法。
本发明实施例提供的视频质量评价方法及装置,通过获取待评价视频的编解码码流,从编解码码流中提取待评价视频的特征参数,然后,按照预设策略,对特征参数进行分析,得到待评价视频的评价参数,进而,将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的特征参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。这样,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频质量评价方法的流程示意图;
图2(a)~图2(f)为样本视频序列训练集中视频序列的示意图;
图3为一种实现方式中,所采用的BP神经网络模型的模型结构图;
图4为本发明实施例提供的视频质量评价方法的一种方案示意图;
图5(a)~图5(r)为本发明实施例提供的采用不同参数组合得到的模型所对应的散点图;
图6(a)~图6(g)为一组待处理视频视频序列的示意图;
图7(a)~图7(g)为采用SVR模型的视频质量评价模型对图6(a)~图6(g)所示的视频序列进行质量评价所对应的散点图;
图8(a)~图8(g)为采用BP神经网络模型的视频质量评价模型对图6(a)~图6(g)所示的视频序列进行质量评价所对应的散点图;
图9为本发明实施例提供的一种视频质量评价装置的结构示意图;
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,可以通过全参考或部分参考的方式评价视频质量,具体的,首先,需要获取待评价视频及待评价视频对应的原始视频,然后,对待评价视频及原始视频之间的差异进行分析,从而得到待评价视频的视频质量。
但在实际应用中,进行视频质量评价时,通常只能获取到待评价视频,而待评价视频对应的原始视频是难以获取到的,因此,上述视频质量评价方法往往难以实现。
为了解决上述技术问题,本发明实施例提供了一种视频质量评价方法,该方法可以应用于各种电子设备中,如服务器、客户端、移动终端等,具体不做限定。
下面从总体上对本发明实施例提供的视频质量评价方法进行说明。
获取待评价视频的编解码码流;
从编解码码流中提取待评价视频的特征参数;
按照预设策略,对特征参数进行分析,得到待评价视频的评价参数;
将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的特征参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
由以上可见,应用本发明实施例提供的视频质量评价方法,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。
下面将通过具体的实施例,对本发明实施例提供的视频质量评价方法进行详细描述。
如图1所示,为本发明实施例提供的一种视频质量评价方法的流程示意图,包括如下步骤:
S101:获取待评价视频的编解码码流。
举例而言,待评价视频的编解码码流可以是本电子设备(执行主体)从其他设备处接收到的,比如,对于视频网站客户端而言,可以从服务器加载待评价视频的编解码码流,或者,对于图像处理器而言,可以从所连接的图像采集设备获取待评价视频的编解码码流;另外,待评价视频的编解码码流也可以是本电子设备(执行主体)对待处理视频进行编码后得到的,具体不做限定。
其中,待评价视频的编解码码流可以是基于H.264标准生成的码流,或者,也可以是基于H.265标准或其他标准生成的码流。
S102:从编解码码流中提取待评价视频的特征参数。
从编解码码流中可以提取出待评价视频的特征参数,其中,待评价视频的特征参数可以包括一种或多种。举例而言,特征参数可以包括待评价视频的预测模式参数、运动矢量参数及量化参数,还可以包括待评价视频的空间域特征分量和变换域特征分量等。可以说,这些特征参数是待评价视频的属性特征,是在对待评价视频进行编码,生成待评价视频的编解码码流时就已经决定好的。
为了便于理解,下面以H.264编解码码流为例,对待评价视频的特征参数进行详细说明。
可以理解,在对待评价视频进行编码时,通常采用预测编码的方法,其中,预测编码包括帧内预测和帧间预测两部分。帧内预测是指利用当前帧中已解码的预测块来预测当前帧中的其他预测块,这样,可以消除帧内冗余,减少编解码码流中的数据量。而帧间预测是指利用当前帧之前已解码的帧的预测块来预测当前帧中的预测块,这样,可以消除帧间冗余,进一步减少编解码码流中的数据量。
其中,帧内预测通常采用大小为4×4和16×16的两种预测块,而在帧间预测则可以采用大小为4×8、8×8、16×16、8×16等等多种预设大小的预测块。其中,4×4大小支持9种可选预测模式,常被用于带有大量细节的图像编码,16×16大小支持4种预测模式,常被用于平坦区域图像编码。对于帧间预测来说,H.264编码码流支持7种分割模式,并具有更精细的运动矢量精度,其中,分割尺寸在一定程度上反映了待评价视频的纹理信息,比如平坦区域一般适用大分割尺寸,细节丰富区域一般适用小分割尺寸。每个预测块可以是针对待评价视频的亮度而言的,也可以是针对待评价视频的色度而言的,具体不做限定。
通常情况下,在P帧中可以包括通过帧内预测和帧间预测两种预测模式,预测得到的预测块,而在I帧中,仅包括通过帧内预测模式得到的预测块。
举例而言,在进行预测时,首先获取到像素块A,然后,可以通过像素块A和像素块B之间的运动矢量参数,计算得到像素块B。在本发明实施例中,将上述像素块A称为参考块,将上述像素块B称为预测块。其中,预测块和参考块可以属于同一帧,也可以属于不同帧。
以及,在H.264编码码流中,帧间编码中预测块与参考块之间的偏移称为运动矢量。运动矢量的大小反映了预测块与参考块之间运动变化的快慢,其中,零运动矢量越多意味着预测块与参考块之间变化越不明显。
在对待评价视频进行编码时,可以将待评价视频的每一帧分割为多个预测块,然后,针对每个预测块,对该预测块及对应的参考块进行偏移计算,得到该预测块相对于参考块的运动矢量参数,进而,可以将待评价视频的运动矢量参数写入待评价视频的编解码码流中。
这样,在对待评价视频进行编码时,可以将P帧参考帧、I帧参考帧以及各预测块相对于同一帧中的其他预测块或相对于之前帧中对应位置的预测块的运动矢量参数写入编解码码流中,这样,在获取到待评价视频的编解码码流之后,可以根据预测模式参数确定P帧参考帧和I帧参考帧,进而根据P帧参考帧、I帧参考帧以及各个运动矢量参数,预测出除参考帧之外的其他帧的图像。
另外,可以对H.264编码码流进行ICT变换,然后,采用适当的量化操作,将ICT系数映射为较小的值,最后通过熵编码,得到量化参数,从而消除待评价视频中相邻帧之间的空间相关性。其中,在H.264/AVC编码标准中有52个量化步长Qstep值,通过量化参数QP索引,每隔6个QP,Qstep就增长一倍。
一种实现方式中,在对待评价视频进行编码时,可以对待评价视频的初始码流进行残差计算,对计算结果进行量化处理,得到待评价视频的量化参数,进而,可以将待评价视频的量化参数写入待评价视频的初始码流中,得到待评价视频的编解码码流。这样,在获取到待评价视频的编解码码流之后,就可以从编解码码流中提取待评价视频的量化参数。可以理解,量化参数可以用于表征量化环节对视频重建质量的影响。
举例而言,量化参数可以通过如下公式计算得到:
Qstep=2(Qp-4)/6
其中,Qstep是由QP决定的参数,因此,QP是反映编码失真的关键参数。
具体的,在H.264视频编码码流中,通常采取固定QP的编码方式,具体编码参数如表1所示。
表1编码参数
S103:按照预设策略,对特征参数进行分析,得到待评价视频的评价参数。
从编解码码流中提取出待评价视频的特征参数之后,可以基于提取出的特征参数,确定待评价视频的评价参数,可以理解,评价参数即为可以用于对待评价视频的视频质量进行评价的参数。
举例而言,当编解码码流为H.264编解码码流时,评价参数可以包括以下第一评价参数、第二评价参数及第三评价参数。
其中,第一评价参数是根据预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值得到的。
一种实现方式中,可以采取如下步骤获取第一评价参数:首先,根据预测模式参数,确定编解码码流中的P帧预测块的数量,作为第一数量,并确定编解码码流中的I帧预测块的数量,作为第二数量,然后,分别计算各类P帧帧内预测块的数量与第一数量之间的比例,得到第一类比例值,以及分别计算各类P帧帧间预测块的数量与第一数量之间的比例,得到第二类比例值,以及分别计算各类I帧预测块的数量与第二数量之间的比例,得到第三类比例值,同时,计算P帧预测块中跳过预测块的数量与第一数量之间的比例,得到第四类比例值,进而,将第一类比例值、第二类比例值、第三类比例值及第四类比例值中的至少一种作为待评价视频的第一评价参数。
其中,P帧帧内预测块即为P帧中基于帧内预测的预测块,其中,P帧帧内预测块具有多种不同的大小,每一类P帧帧内预测块对应相同大小的多个P帧帧内预测块。P帧帧间预测块即为P帧中基于帧间预测的预测块,其中,P帧帧间预测块具有多种不同的大小,每一类P帧帧间预测块对应相同大小的多个P帧帧间预测块。I帧预测块具有多种不同的大小,每一类I帧预测块对应相同大小的多个I帧预测块。跳过预测块是指与参考块的内容完全相同,可以直接复制得到的预测块。
举例而言,下面以H.264编解码码流为例,对第一类比例值、第二类比例值、第三类比例值及第四类比例值的计算过程进行描述。
其中,P帧帧内预测块可以包括P帧中基于帧内预测的4×4预测块及基于帧内预测的16×16预测块。在这种情况下,第一类比例值可以通过如下公式计算得到:
其中,I4x4表示P帧中基于帧内预测的4×4预测块的数量,Prdmode_P表示P帧预测块数量,即第一数量,Ratio_I4×4_in_P表示P帧预测块中I4x4预测块的数量所占比例;以及:
其中,I16x16表示P帧中基于帧内预测的16×16预测块的数量,Ratio_I16×16_in_P表示P帧预测块中I16x16预测块的数量所占比例。
P帧帧间预测块可以包括P帧中基于帧间预测的16×16预测块、基于帧间预测的16×8预测块、基于帧间预测的8×16预测块、基于帧间预测的8×8预测块、基于帧间预测的8×4预测块、基于帧间预测的4×8预测块以及基于帧间预测的4×4预测块。在这种情况下,第二类比例值可以通过如下公式计算得到:
其中,P16x16表示P帧中基于帧间预测的16×16预测块的数量,Ratio_P16×16_in_P表示P帧预测块中P16x16预测块的数量所占比例;以及:
其中,P16x8表示P帧中基于帧间预测的16×8预测块的数量,Ratio_P16×8_in_P表示P帧预测块中P16x8预测块的数量所占比例;以及:
其中,P8x16表示P帧中基于帧间预测的8×16预测块的数量,Ratio_P8×16_in_P表示P帧预测块中P8x16预测块的数量所占比例;以及:
其中,P8x8表示P帧中基于帧间预测的8×8预测块的数量,Ratio_P8×8_in_P表示P帧预测块中P8x8预测块的数量所占比例;以及:
其中,P8x4表示P帧中基于帧间预测的8×4预测块的数量,Ratio_P8×4_in_P表示P帧预测块中P8x4预测块的数量所占比例;以及:
其中,P4x8表示P帧中基于帧间预测的4×8预测块的数量,Ratio_P4×8_in_P表示P帧预测块中P4x8预测块的数量所占比例;以及:
其中,P4x4表示P帧中基于帧间预测的4×4预测块的数量,Ratio_P4×4_in_P表示P帧预测块中P4x4预测块的数量所占比例。
I帧预测块可以包括I帧预测块中基于帧内预测的4×4预测块以及基于帧内预测的16×16预测块的数量。在这种情况下,第三类比例值可以通过如下公式计算得到:
其中,I4x4表示I帧中基于帧内预测的4×4预测块的数量,Prdmode_I表示I帧预测块数量,即第二数量,Ratio_I4×4_in_I表示I帧预测块中I4x4预测块的数量所占比例;以及:
其中,I16x16表示I帧中基于帧内预测的16×16预测块的数量,Ratio_I16×16_in_I表示I帧预测块中I16x16预测块的数量所占比例。
另外,第四类比例值可以通过如下公式计算得到:
其中,Pskip表示P帧中跳过预测块的数量,Ratio_Pskip_in_P表示P帧预测块中Pskip预测块的数量所占比例。
另外,一种实现方式中,第二参数是根据待评价视频的运动矢量确定的,待评价视频的运动矢量可以从H.264编解码码流中获取。
第二评价参数是根据运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值得到的。
一种实现方式中,可以采取如下步骤获取第二评价参数:计算待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与待评价视频的运动矢量参数的总个数的比值,作为待评价视频的第二评价参数。
举例而言,第二评价参数可以通过如下公式计算得到:
其中,RatioZero_num表示取值为零的运动矢量参数的个数,MV_total表示运动矢量参数的总个数。
第三评价参数也就是待评价视频的量化参数。
S104:将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的特征参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
一种实现方式中,可以采用如下步骤,训练得到视频质量评价模型:首先,获取多个视频序列,作为训练集,并采用预设编解码标准,对训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数,然后,按照预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数,并对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比,进而,将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对预设映射模型中的模型参数进行迭代调整,得到视频质量评价模型。其中,预设编解码标准与对待评价视频进行编码的标准相同,预设策略与对待评价视频的特征参数进行分析,得到待评价视频的评价参数时的策略相同。
在训练视频质量评价模型时,所获取的多个视频序列是具有不同分辨率、纹理丰富程度与运动剧烈程度的,这样,训练得到的视频质量评价模型可以更好的适用于不同分辨率、纹理丰富程度与运动剧烈程度的待评价视频。
在本发明实施例中,视频质量评价模型利用峰值信噪比反映待评价视频的视频质量,可以理解,峰值信噪比是通过对视频序列及采用预设编解码标准对视频序列进行编码后得到的编码视频序列进行对比分析得到的,也就是说,视频质量是基于视频序列及编码后的编码视频序列的对比得到的,可以对编码失真的待评价视频进行质量评估。
下面通过具体实施例对视频质量评价模型的训练过程进行详细描述。
第一步,可以从VQEG(Video Quality Experts Group,视频质量专家组)公开数据集中多个具有不同分辨率、纹理丰富程度与运动剧烈程度的视频序列,作为训练集。
在训练集中,可以包括416×240分辨率的视频序列,如Basketball Pass(篮球传球)、BQSquare(BQ广场)和Flowervase(花瓶),还可以包括352×288分辨率的CIF(CommonIntermediate Format,通用影像传输格式)视频序列Mobile(电话)、Temp ele(温度传感器)、Hall(大厅)、Foreman(工人)、Highway(高速公路)、Waterfall(瀑布)、Mother-daughter(母女),以及176×144分辨率的QCIF(Quarter Common Intermediate Format,四分之一通用影像传输格式)视频序列Akiyo、Foreman(工人)。
如图2(a)~图2(f)所示,为训练集中部分视频序列的截图,其中,图2(a)为Basketball Pass视频序列的截图、图2(b)为Flowervase视频序列的截图、图2(c)为Mobile、图2(d)为Mother-daughter、图2(e)为Akiyo、图2(f)为Foreman。
第二步,可以采用H.264编解码标准,对训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数。
其中,采用H.264编解码标准,对视频序列进行编码时,可以为每个视频序列设置不同的QP值和GOP值。比如,可以采用11个不同的QP值对训练集中的视频序列进行编码。这样,可以提高模型对于不同QP值的待评价视频的适用性。
第三步,按照预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数。
其中,用于对每个编码视频序列的特征参数进行分析得到编码视频序列的评价参数的预设策略与S103中对特征参数进行分析得到待评价视频的评价参数的预设策略是一致的,在此不再赘述。
一种实现方式中,如表2所示,为编码视频序列的评价参数。
表2评价参数表
在另一种实现方式中,评价参数也可以仅包括表2中所示部分,具体不做限定。
第四步,对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比。其中,根据编码视频序列对应的视频序列,对编码视频序列的视频质量进行评价的方法,可以采用相关技术中的任一方法,本发明实施例对此不做限定。
第五步,将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对预设映射模型中的模型参数进行迭代调整,得到视频质量评价模型。
其中,预设映射模型可以为BP神经网络模型,也可以为SVR支持向量机模型,如开源的libSVR模型,等等。对于得到的视频质量评价模型而言,其输入为待评价视频的评价参数,输出为待评价视频的PSNR(Peak Signal to Noise Ratio,峰值信噪比)值。
如图3所示,为一种实现方式中,所采用的BP神经网络模型的模型结构图。首先,将评价参数输入至该BP神经网络模型输入层,根据输入层的权重矩阵w1及每个节点的偏置b1,得到各个隐含层节点的输入,其中,隐含层节点数为50。然后,各个隐含层节点对其输入进行处理,将处理结果输出至输出层,根据输出层的权重矩阵w2及每个节点的偏置b2,得到BP神经网络模型的输出,即峰值信噪比。其中,输入层的输出是非线性的,输出层的输出是线性的。
由以上可见,应用本发明实施例提供的视频质量评价方法,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。而且,该视频质量评价模型对待评价视频进行质量评价时,只需从编解码码流中提取待评价视频的特征参数,一方面,不需对待评价视频的编解码码流进行完全的解码,另一方面,还可以提高处理速度,可以适用于实时非侵入式的对待评价视频。
如图4所示,为应用本发明实施例提供的视频质量评价方法的方案示意图。在训练模型时,根据所获取的视频码流与其对应的原始视频序列的对比,确定该视频码流的PSNR,从而根据所获取的视频码流的评价参数和PSNR进行建模,得到视频质量评价模型。这样,在得到待评价视频的视频码流之后,可以对视频码流进行分析,得到预测模式参数、运动矢量参数及量化参数等特征参数,然后,根据这些特征参数确定待评价视频的评价参数,进而,将评价参数输入至建模得到的视频质量评价模型,以实现对待评价视频的质量评价。
可以理解,基于不同的评价参数训练得到的视频质量评价模型,对同一待评价视频进行质量评价时会具有不同的效果。
一种实现方式中,可以利用散点图较为直观的表现视频质量评价模型的评价效果。
举例而言,如图5(a)~图5(r)所示,为本发明实施例提供的采用不同评价参数得到的视频质量评价模型所对应的散点图,其中,为了便于描述,使用表1中的评价参数的序号,指示所采用的不同的评价参数,散点图的横坐标表示对每个编码视频序列及与其对应的视频序列进行对比分析得到的峰值信噪比,即实际测试值,纵坐标表示视频质量评价模型输出的峰值信噪比,即模型预测值。
其中,图5(a)对应于基于评价参数“1+2+3”组合训练得到的视频质量评价模型,图5(b)对应于基于评价参数“1+2+3+4”组合训练得到的视频质量评价模型,图5(c)对应于基于评价参数“1+2+3+4+5”组合训练得到的视频质量评价模型,图5(d)对应于基于评价参数“1+2+3+4+5+6”组合训练得到的视频质量评价模型,图5(e)对应于基于评价参数“1+2+3+4+5+6+7”组合训练得到的视频质量评价模型,图5(f)对应于基于评价参数“1+2+3+4+5+6+7+8”组合训练得到的视频质量评价模型,图5(g)对应于基于评价参数“1+2+3+4+5+6+7+8+9”组合训练得到的视频质量评价模型,图5(h)对应于基于评价参数“1+2+3+4+5+6+7+8+9+10”组合训练得到的视频质量评价模型,图5(i)对应于基于评价参数“1+2+3+4+5+6+7+8+9+10+11”组合训练得到的视频质量评价模型,图5(j)对应于基于评价参数“1+2+3+4+5+6+7+8+9+10+11+12”组合训练得到的视频质量评价模型,图5(k)对应于基于评价参数“1+2+3+4+5+6+7+8+9+10+11+12+13”组合训练得到的视频质量评价模型,图5(l)对应于基于评价参数“1+2+3+6+7+8+14”组合训练得到的视频质量评价模型,图5(m)对应于基于评价参数“1+2+3+13+14”组合训练得到的视频质量评价模型,图5(n)对应于基于评价参数“1+2+3+9+10+11+12+14”组合训练得到的视频质量评价模型,图5(o)对应于基于评价参数“2+3+4+5+13+14”组合训练得到的视频质量评价模型,图5(p)对应于基于评价参数“2+3+4+5…+10+11+12+13+14”组合训练得到的视频质量评价模型,图5(q)对应于基于评价参数“6+7+8+9+10+11+12+13+14”组合训练得到的视频质量评价模型,图5(r)对应于基于评价参数“1+2+3+4+…+11+12+13+14”组合训练得到的视频质量评价模型。
可以理解,在散点图中,性能越好的模型,模型预测值与实际测试值越接近,其散点图中的数据越接近x=y的线性关系。由图5(a)~图5(r)可见,基于评价参数“1+2+3+4+…+11+12+13+14”组合训练得到的视频质量评价模型效果更好。
另一种实现方式中,还可以采用皮尔逊系数(PLCC)和斯皮尔曼系数(SROCC)表现视频质量评价模型的评价效果。
其中,PLCC和SROCC的取值范围均是[-1,1],PLCC越接近1,说明视频质量评价模型的模型预测值与实际测试值之间的相关性越高,SROCC越接近1,说明视频质量评价模型的模型预测值与实际测试值之间越接近单调正相关。
举例而言,如表3所示,为采用不同评价参数得到的视频质量评价模型所对应的PLCC和SROCC的对比结果,可以看出,基于评价参数“1+2+3+4+…+11+12+13+14”组合训练得到的视频质量评价模型,PLCC和SROCC的取值均更接近于1,即,模型预测值和实际测试值更接近,相关性更高,视频质量评价模型的性能更好。
表3不同评价参数得到的视频质量评价模型所对应的PLCC和SROCC
另外,对不同的预设映射模型中的模型参数进行迭代调整,得到的视频质量评价模型也会具有不同的效果。
一种实现方式中,可以利用散点图较为直观的表现视频质量评价模型的评价效果。
举例而言,如图7(a)~图7(g)所示,为采用SVR模型的视频质量评价模型对图6(a)~图6(g)所示的视频序列进行质量评价所对应的散点图。如图8(a)~图8(g)所示,为采用BP神经网络模型的视频质量评价模型对图6(a)~图6(g)所示的视频序列进行质量评价所对应的散点图。可以看出,采用SVR模型的视频质量评价模型得到的模型预测值与实际测试值更接近,其散点图中的数据更接近x=y的线性关系,即,采用SVR模型的视频质量评价模型性能更好。
另一种实现方式中,还可以采用皮尔逊系数(PLCC)和斯皮尔曼系数(SROCC)表现视频质量评价模型的评价效果。
举例而言,如表4所示,为采用BP神经网络模型的视频质量评价模型和采用SVR模型的视频质量评价模型的模型所对应的PLCC和SROCC的对比结果,可以看出,采用SVR模型的视频质量评价模型,其PLCC和SROCC的取值均更接近于1,即,采用SVR模型的视频质量评价模型的性能更好。
表4 BP神经网络模型和SVR模型对应的PLCC和SROCC
如图9所示,为本发明实施例还提供的一种视频质量评价装置的结构示意图,该装置包括:
获取模块901,用于获取待评价视频的编解码码流;
提取模块902,用于从编解码码流中提取待评价视频的特征参数;
分析模块903,用于按照预设策略,对特征参数进行分析,得到待评价视频的评价参数;
评价模块904,用于将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的评价参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
一种实现方式中,当编解码码流为H.264编解码码流时,特征参数包括预测模式参数、运动矢量参数和量化参数;分析模块903,具体用于:
根据预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,得到待评价视频的第一评价参数;
根据运动矢量参数,计算取值为预设值的运动矢量参数与运动矢量参数的总数的比值,得到待评价视频的第二评价参数;
将量化参数作为待评价视频的第三评价参数。
一种实现方式中,分析模块903,具体用于:
根据预测模式参数,确定编解码码流中的P帧预测块的数量,作为第一数量,并确定编解码码流中的I帧预测块的数量,作为第二数量;
分别计算各类P帧帧内预测块的数量与第一数量之间的比例,得到第一类比例值;
分别计算各类P帧帧间预测块的数量与第一数量之间的比例,得到第二类比例值;
分别计算各类I帧预测块的数量与第二数量之间的比例,得到第三类比例值;
计算P帧预测块中跳过预测块的数量与第一数量之间的比例,得到第四类比例值;
将第一类比例值、第二类比例值、第三类比例值及第四类比例值中的至少一种作为待评价视频的第一评价参数。
一种实现方式中,分析模块903,具体用于:
计算待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与待评价视频的运动矢量参数的总个数的比值,作为待评价视频的第二评价参数。
一种实现方式中,视频质量评价模型为视频质量支持向量机模型。
一种实现方式中,装置还包括模型训练模块905,用于采用如下步骤,训练得到视频质量评价模型:
获取多个视频序列,作为训练集;
采用预设编解码标准,对训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数;其中,预设编解码标准与对待评价视频进行编码的标准相同;
按照预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数;
对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比;
将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对预设映射模型中的模型参数进行迭代调整,得到视频质量评价模型。
由以上可见,应用本发明实施例提供的视频质量评价装置,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。
本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信总线1004完成相互间的通信,
存储器1003,用于存放计算机程序;
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
获取待评价视频的编解码码流;
从编解码码流中提取待评价视频的特征参数;
按照预设策略,对特征参数进行分析,得到待评价视频的评价参数;
将评价参数输入预先训练得到的视频质量评价模型进行处理,得到待评价视频的用于反映视频质量的峰值信噪比,其中,视频质量评价模型为利用多个视频序列的特征参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
由以上可见,应用本发明实施例提供的视频质量评价方法,可以利用预先训练得到的视频质量评价模型,直接对待评价视频进行质量评价,评价过程中不需要参考原始视频,从而能够得到更广泛的应用。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频质量评价方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的视频质量评价方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种视频质量评价方法,其特征在于,所述方法包括:
获取待评价视频的编解码码流;
从所述编解码码流中提取所述待评价视频的特征参数;
按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数;
将所述评价参数输入预先训练得到的视频质量评价模型进行处理,得到所述待评价视频的用于反映视频质量的峰值信噪比,其中,所述视频质量评价模型为利用多个视频序列的评价参数及该视频序列的峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
2.根据权利要求1所述的方法,其特征在于,当所述编解码码流为H.264编解码码流时,所述特征参数包括预测模式参数、运动矢量参数和量化参数;
所述按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数,包括:
根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,得到所述待评价视频的第一评价参数;
根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数;
将所述量化参数作为所述待评价视频的第三评价参数。
3.根据权利要求2所述的方法,其特征在于,根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,包括:
根据所述预测模式参数,确定所述编解码码流中的P帧预测块的数量,作为第一数量,并确定所述编解码码流中的I帧预测块的数量,作为第二数量;
分别计算各类P帧帧内预测块的数量与所述第一数量之间的比例,得到第一类比例值;
分别计算各类P帧帧间预测块的数量与所述第一数量之间的比例,得到第二类比例值;
分别计算各类I帧预测块的数量与所述第二数量之间的比例,得到第三类比例值;
计算所述P帧预测块中跳过预测块的数量与所述第一数量之间的比例,得到第四类比例值;
将所述第一类比例值、所述第二类比例值、所述第三类比例值及所述第四类比例值中的至少一种作为所述待评价视频的第一评价参数。
4.根据权利要求2所述的方法,其特征在于,所述根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数,包括:
计算所述待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与所述待评价视频的运动矢量参数的总个数的比值,作为所述待评价视频的第二评价参数。
5.根据权利要求1所述的方法,其特征在于,所述视频质量评价模型为视频质量支持向量机模型。
6.根据权利要求1所述的方法,其特征在于,采用如下步骤,训练得到所述视频质量评价模型:
获取多个视频序列,作为训练集;
采用预设编解码标准,对所述训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数;其中,所述预设编解码标准与对所述待评价视频进行编码的标准相同;
按照所述预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数;
对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比;
将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对所述预设映射模型中的模型参数进行迭代调整,得到所述视频质量评价模型。
7.一种视频质量评价装置,其特征在于,所述装置包括:
获取模块,用于获取待评价视频的编解码码流;
提取模块,用于从所述编解码码流中提取所述待评价视频的特征参数;
分析模块,用于按照预设策略,对所述特征参数进行分析,得到所述待评价视频的评价参数;
评价模块,用于将所述评价参数输入预先训练得到的视频质量评价模型进行处理,得到所述待评价视频的用于反映视频质量的峰值信噪比,其中,所述视频质量评价模型为利用多个视频序列的评价参数及峰值信噪比,对预设映射模型的模型参数进行迭代调整得到的。
8.根据权利要求7所述的装置,其特征在于,当所述编解码码流为H.264编解码码流时,所述特征参数包括预测模式参数、运动矢量参数和量化参数;所述分析模块,具体用于:
根据所述预测模式参数,计算各类预测块的数量与P帧预测块的数量或I帧预测块的数量的比值,得到所述待评价视频的第一评价参数;
根据所述运动矢量参数,计算取值为预设值的运动矢量参数与所述运动矢量参数的总数的比值,得到所述待评价视频的第二评价参数;
将所述量化参数作为所述待评价视频的第三评价参数。
9.根据权利要求8所述的装置,其特征在于,所述分析模块,具体用于:
根据所述预测模式参数,确定所述编解码码流中的P帧预测块的数量,作为第一数量,并确定所述编解码码流中的I帧预测块的数量,作为第二数量;
分别计算各类P帧帧内预测块的数量与所述第一数量之间的比例,得到第一类比例值;
分别计算各类P帧帧间预测块的数量与所述第一数量之间的比例,得到第二类比例值;
分别计算各类I帧预测块的数量与所述第二数量之间的比例,得到第三类比例值;
计算所述P帧预测块中跳过预测块的数量与所述第一数量之间的比例,得到第四类比例值;
将所述第一类比例值、所述第二类比例值、所述第三类比例值及所述第四类比例值中的至少一种作为所述待评价视频的第一评价参数。
10.根据权利要求8所述的装置,其特征在于,所述分析模块,具体用于:
计算所述待评价视频的运动矢量参数中,取值为零的运动矢量参数的个数与所述待评价视频的运动矢量参数的总个数的比值,作为所述待评价视频的第二评价参数。
11.根据权利要求7所述的装置,其特征在于,所述视频质量评价模型为视频质量支持向量机模型。
12.根据权利要求7所述的装置,其特征在于,所述装置还包括模型训练模块,用于采用如下步骤,训练得到所述视频质量评价模型:
获取多个视频序列,作为训练集;
采用预设编解码标准,对所述训练集中的每个视频序列进行编码,得到编码视频序列集及每个编码视频序列的特征参数;其中,所述预设编解码标准与对所述待评价视频进行编码的标准相同;
按照所述预设策略,对每个编码视频序列的特征参数进行分析,得到每个编码视频序列的评价参数;
对每个编码视频序列及与其对应的视频序列进行对比分析,得到该编码视频序列的峰值信噪比;
将每个编码视频序列的评价参数及峰值信噪比对应输入预设映射模型,对所述预设映射模型中的模型参数进行迭代调整,得到所述视频质量评价模型。
13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN201910945515.1A 2019-09-30 2019-09-30 一种视频质量评价方法及装置 Active CN110582008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945515.1A CN110582008B (zh) 2019-09-30 2019-09-30 一种视频质量评价方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945515.1A CN110582008B (zh) 2019-09-30 2019-09-30 一种视频质量评价方法及装置

Publications (2)

Publication Number Publication Date
CN110582008A true CN110582008A (zh) 2019-12-17
CN110582008B CN110582008B (zh) 2022-01-21

Family

ID=68814224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945515.1A Active CN110582008B (zh) 2019-09-30 2019-09-30 一种视频质量评价方法及装置

Country Status (1)

Country Link
CN (1) CN110582008B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787319A (zh) * 2020-07-22 2020-10-16 腾讯科技(深圳)有限公司 一种视频信息处理方法、多媒体信息处理方法及、装置
CN112804530A (zh) * 2020-12-31 2021-05-14 北京睿芯高通量科技有限公司 一种视频编码质量的评价系统及其方法
CN113382232A (zh) * 2021-08-12 2021-09-10 北京微吼时代科技有限公司 监控音视频质量的方法和装置、系统、电子设备
CN115174919A (zh) * 2022-09-05 2022-10-11 腾讯科技(深圳)有限公司 一种视频处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
US20170339410A1 (en) * 2015-08-12 2017-11-23 Cisco Technology, Inc. Quality Metric for Compressed Video
US20180061459A1 (en) * 2016-08-30 2018-03-01 Yahoo Holdings, Inc. Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
CN108989802A (zh) * 2018-08-14 2018-12-11 华中科技大学 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN109429051A (zh) * 2017-07-12 2019-03-05 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282481A (zh) * 2008-05-09 2008-10-08 中国传媒大学 一种基于人工神经网络的视频质量评价方法
US20170339410A1 (en) * 2015-08-12 2017-11-23 Cisco Technology, Inc. Quality Metric for Compressed Video
US20180061459A1 (en) * 2016-08-30 2018-03-01 Yahoo Holdings, Inc. Computerized system and method for automatically generating high-quality digital content thumbnails from digital video
CN109429051A (zh) * 2017-07-12 2019-03-05 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法
CN108989802A (zh) * 2018-08-14 2018-12-11 华中科技大学 一种利用帧间关系的hevc视频流的质量估计方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卓力等: "基于支持向量回归的无参考MS-SSIM视频质量评价模型", 《北京工业大学学报》 *
雷霄骅等: "码流域无参考视频客观质量评价方法的发展现状", 《中国传媒大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787319A (zh) * 2020-07-22 2020-10-16 腾讯科技(深圳)有限公司 一种视频信息处理方法、多媒体信息处理方法及、装置
CN112804530A (zh) * 2020-12-31 2021-05-14 北京睿芯高通量科技有限公司 一种视频编码质量的评价系统及其方法
CN113382232A (zh) * 2021-08-12 2021-09-10 北京微吼时代科技有限公司 监控音视频质量的方法和装置、系统、电子设备
CN115174919A (zh) * 2022-09-05 2022-10-11 腾讯科技(深圳)有限公司 一种视频处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110582008B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN110582008B (zh) 一种视频质量评价方法及装置
Hu et al. Improving deep video compression by resolution-adaptive flow coding
US10841583B2 (en) Coding unit depth determining method and apparatus
CN1941911B (zh) 退色补偿的参数化
CN106961603B (zh) 帧内编码帧码率分配方法和装置
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN109286812B (zh) 一种hevc视频质量估计方法
RU2597493C2 (ru) Оценивание качества видео с рассмотрением искажений перехода сцен
CN106961604B (zh) 视频编码的码率分配、编码单元码率分配方法及装置
Valenzise et al. Quality assessment of deep-learning-based image compression
CN111524110B (zh) 视频质量的评价模型构建方法、评价方法及装置
Zvezdakova et al. BSQ-rate: a new approach for video-codec performance comparison and drawbacks of current solutions
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法
Xu et al. Detection of HEVC double compression with non-aligned GOP structures via inter-frame quality degradation analysis
Loh et al. A just noticeable difference-based video quality assessment method with low computational complexity
Singam et al. Revised One, a Full Reference Video Quality Assessment Based on Statistical Based Transform Coefficient
Singh et al. A distortion-agnostic video quality metric based on multi-scale spatio-temporal structural information
CN116489385A (zh) 视频编码方法、解码方法、装置、电子设备及存储介质
CN113038131B (zh) 视频编码方法、装置、计算机设备和存储介质
Mustafa et al. Perceptual quality assessment of video using machine learning algorithm
Goudarzi A no-reference low-complexity QoE measurement algorithm for H. 264 video transmission systems
JP2005348008A (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR100601846B1 (ko) 동영상 압축 부호화기의 왜곡 최적화 장치 및 방법
Zhang et al. Compressed-domain-based no-reference video quality assessment model considering fast motion and scene change
Sevcik et al. Prediction of subjective video quality based on objective assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant