CN109286812A - 一种hevc视频质量估计方法 - Google Patents

一种hevc视频质量估计方法 Download PDF

Info

Publication number
CN109286812A
CN109286812A CN201811244900.5A CN201811244900A CN109286812A CN 109286812 A CN109286812 A CN 109286812A CN 201811244900 A CN201811244900 A CN 201811244900A CN 109286812 A CN109286812 A CN 109286812A
Authority
CN
China
Prior art keywords
model
frame
video
average
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811244900.5A
Other languages
English (en)
Other versions
CN109286812B (zh
Inventor
郭红星
程浞
汤俊良
卢涛
夏涛
范晔斌
李榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811244900.5A priority Critical patent/CN109286812B/zh
Publication of CN109286812A publication Critical patent/CN109286812A/zh
Application granted granted Critical
Publication of CN109286812B publication Critical patent/CN109286812B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种HEVC视频质量估计方法，包括：(1)从HEVC视频的压缩码流中提取每一帧视频的估计参数；若压缩码流仅包含I帧，则估计参数包括量化参数、码流大小和空间复杂度；否则，估计参数包括量化参数、码流大小、空间复杂度和时间复杂度；(2)以像素为基准，对码流大小进行归一化；(3)根据已进行码流大小归一化操作的估计参数估计HEVC视频的质量。本发明能够准确地估计HEVC视频的质量，并自适应分辨力的变化。

Description

一种HEVC视频质量估计方法
技术领域
本发明属于视频质量评估领域，更具体地，涉及一种HEVC视频质量估计方法。
背景技术
在数字电视、移动视频、视频监控等应用中，全高清1080P数字视频已经非常普及，视频分辨率正朝着超高清，如4K、8K方向发展。视频分辨率的提高可以给用户提供更好的用户体验，但是同时也使得视频的数据量急剧上升，因此视频在传输和存储之前必须压缩。HEVC(High Efficiency Video Coding，高效视频编码)压缩方案可以使1080P视频内容时的压缩效率提高50％左右，但是压缩视频并非毫无代价，编码器在去除冗余信息的同时，不可避免的去除了一部分有效信息，这会导致用户体验的下降。因此解决问题的关键就在于提供一个恰好合适的码流，既满足用户对视频质量的基本需求，又不会因为视频质量过高而造成资源的浪费。
衡量码流合适与否的关键是估计视频质量。视频质量可以通过用户观测手动反馈调节，但这种调节方式非常不便捷。实际工程中，系统应当自动评估码流的质量，自适应地调整码流大小。如果有压缩前的原始视频序列作为参考，系统可以使用简单的方法计算出两者的差异。但实际通信过程与解码过程中，原始序列是完全不可得的。因此系统需要直接从降质码流中提取特征，对降质码流的质量进行估计。
在此方面，有的研究者试图通过分析码流内特征的概率分布来获得视频的质量。Aabed M A等人提出使用帧间能量光谱密度变化在时域的不连续来定位信道传输造成的错误帧，获得了很高的精度。但这些方法的实用性存在问题。首先，这些分析概率模型的方法都是基于像素的，也就是说需要将码流完全解码后才能进行相应分析，略微滞后于视频解码过程。第二，这些方法的复杂度较高，因为单一概率模型不足以预测视频质量，可行的方案都是混合概率模型，其时间复杂度较高。而有些研究者则使用更直接的特征，试图通过直接影响码流质量的因素评估视频质量。Antong Y等人提出使用视频的时间域运动信息TI和空间域纹理信息SI整合的一种新特征CI来进行定性分析。这些方法的优点在于使用的参数较少，这意味着实用性较高。第二，这些方法训练出的模型都是线性的，这意味着复杂度较低。但这些方法在预测的精确度上明显不如基于概率模型测得的方法。这是因为视频质量的影响因素较为复杂且相互影响，不同的参数对于模型质量有不同的影响，而这些方法没有对不同参数的权重进行分析。
分析现有研究可以发现，目前对于HEVC视频无参质量评估的研究有一定的成果，但是其无法自适应分辨率的变化，而且在精确度与实用性上没能达到一个较好的平衡。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种HEVC，其目的在于准确地估计HEVC视频的质量，并自适应分辨力的变化。
为实现上述目的，本发明提供了一种HEVC视频质量估计方法，包括如下步骤：
(1)从HEVC视频的压缩码流中提取每一帧视频的估计参数；
若压缩码流仅包含I帧，则估计参数包括量化参数、码流大小和空间复杂度；否则，估计参数包括量化参数、码流大小、空间复杂度和时间复杂度；
(2)以像素为基准，对码流大小进行归一化；通过以像素为基准的归一化操作，能够在对视频质量进行评估时自适应HEVC视频的压缩码流的分辨率变化；
(3)根据已进行码流大小归一化操作的估计参数估计HEVC视频的质量。
在HEVC的整个编码过程中量化是数据压缩的关键，也是对视频质量具有最大影响的因素。在HEVC的量化过程中，量化参数决定量化步长：量化参数越大，量化步长越大，越多的变换系数被量化为0，熵编码后的数据量就越小，但解码时缩放的数据与原数据的差别也会更大，造成视频质量下降；与此相对，量化参数越小，量化步长越小，视频降质的程度就越小，但数据量会变大。码流大小也是影响视频质量的一个重要因素。视频本身具有的最主要的特性是空间复杂度(纹理特性)和时间复杂度(运动特性)。对于纹理特性而言：纹理信息作为视频序列的特性，虽然不是视频降质失真的来源，但会在编码器内部机制的作用下，会间接影响视频质量；而对运动特性而言，HEVC对于运动有很好的处理，在P帧中对于运动矢量进行了预测，因此运动的复杂度需要特别关注；时间复杂度不同的视频，当其码流大小相同时，视频质量也是不同的。在本发明所提供的HEVC视频质量估计方法中，仅使用最为关键的少量信息作为估计参数，能够以较少的计算复杂度实现对视频质量的准确估计。
进一步地，步骤(1)包括：
(11)对压缩码流进行部分解码，得到压缩码流中每帧视频的量化参数和码流大小；
(12)若压缩码流中仅包含I帧，则对压缩码流进行完全解码，并计算压缩码流中每一帧视频的空间复杂度；否则，对压缩码流进行完全解码，并计算压缩码流中每一帧视频的空间复杂度和时间复杂度。
进一步地，步骤(3)包括：
(31)对于压缩码流中的I帧，利用已训练好的第一模型和第二模型分别计算每一个I帧视频的PSNR(Peak Signal to Noise Ratio，峰值信噪比)值和SSIM(structuralsimilarity index，结构相似性)值；第一模型和第二模型分别用于根据已归一化的码流大小、量化参数和空间复杂度计算I帧视频的PSNR值和SSIM值；
(32)计算压缩码流中所有I帧的平均量化参数和平均空间复杂度，并利用已训练好的第三模型和第四模型分别计算压缩码流中所有I帧的平均PSNR值和平均SSIM值；第三模型和第四模型分别用于根据已归一化的码流大小、所有I帧视频的平均量化参数和平均空间复杂度计算所有I帧视频的平均PSNR值和平均SSIM值；
(33)若压缩码流中还包含P帧，则利用已训练好的第五模型和第六模型分别计算每一个P帧视频的PSNR值和SSIM值；否则，转入步骤(35)；第五模型和第六模型分别用于根据已归一化的码流大小、量化参数和时间复杂度计算P帧视频的PSNR值和SSIM值；
(34)计算压缩码流中所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，并利用已训练好的第七模型和第八模型分别计算压缩码流中P帧视频的平均PSNR值和平均SSIM值；第七模型和第八模型分别用于根据已归一化的码流大小、所有P帧视频的平均量化参数、平均空间复杂度和时间复杂度标准差计算所有P帧视频的平均PSNR值和平均SSIM值；
(35)视频质量估计完成；
其中，各模型均为多元线性回归模型。
相比于常用的机器学习、深度学习等其他方法，在本发明所提取的量化参数的基础之上，使用多元线性回归方法对HEVC视频质量进行估计，能够使得所估计的视频质量更接近于真实的视频质量。因此，通过采用多元线性回归方法估计HEVC视频的质量，能够保证对视频质量估计的准确度。
更进一步地，第一模型、第二模型、第三模型和第四模型的训练方法包括：
确定M1个具有相同分辨率且具有不同纹理特性的标准视频序列作为训练序列，并确定N1个量化参数；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的前F1帧编码为I帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共M1×N1个训练样本构成的第一训练集；
确定M2个具有相同分辨率且具有不同纹理特性的标准视频序列作为测试序列，并确定N2个量化参数；对于任意一个测试序列，分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的所有帧编码为全I帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共M2×N2个测试样本构成的第一测试集；
分别构建第一模型、第二模型、第三模型和第四模型，并分别利用第一训练集和第一测试集训练并测试所构建的各个模型，由此完成模型的训练。
更进一步地，第一模型、第二模型、第三模型和第四模型的表达式分别为：
其中，i表示I帧在视频序列中的编号，PSNRi(x)和SSIMi(x)分别表示第i帧的PSNR值和SSIM值，xi,QP和xi,SI分别表示第i帧的量化参数和空间复杂度，和分别表示所有I帧的平均PSNR值和平均SSIM值，和分别表示所有I帧的平均量化参数和平均空间复杂度，K1表示第一训练集和第一测试集的分辨率比值，表示已归一化的码流大小，bmn表示回归系数，m,n∈{1,2,3,4}。
更近一步地，第五模型、第六模型、第七模型和第八模型的训练方法包括：
确定m1个具有相同分辨率且具有不同运动特性的标准视频序列作为训练序列，并确定n1个量化参数；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的第一帧编码为I帧、第2～f1帧编码为P帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共m1×n1个训练样本构成的第二训练集；
确定m2个具有相同分辨率且具有不同运动特性的标准视频序列作为测试序列，并确定n2个量化参数，对于任意一个测试序列分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的第一帧编码为全I帧、其余所有帧编码为P帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共m2×n2个测试样本构成的第二测试集；
分别构建第五模型、第六模型、第七模型和第八模型，并分别利用第二训练集和第二测试集训练并测试所构建的各个模型，由此完成模型的训练。
更进一步地，第五模型、第六模型、第七模型和第八模型的表达式分别为：
其中，j表示P帧在视频序列中的编号，PSNRj(x)和SSIMj(x)分别表示第j帧的PSNR值和SSIM值，xj,QP和xj,TI分别表示第j帧的量化参数和时间复杂度，和分别表示所有P帧的平均PSNR值和平均SSIM值，和分别表示所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，K2表示第二训练集和第二测试集的分辨率比值，表示已归一化的码流大小，buv表示回归系数，u∈{5,6,7,8},v∈{1,2,3,4,5}。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的HEVC视频质量估计方法，根据不同类型视频的特性从压缩码流中提取对视频质量影响最为关键的信息作为估计参数，具体地，对于仅含I帧的视频，提取量化参数、码流大小和空间复杂度作为估计参数，对于同时包含I帧和P帧的视频，则提取量化参数、码流大小、空间复杂度和时间复杂度作为估计参数，使得本发明能够以较少的计算复杂度实现对视频质量的准确估计。
(2)本发明所提供的HEVC视频质量估计方法，所提取的估计参数包括码流大小，并且会以像素为基准对码流大小进行归一化操作，因此，本发明能够在对视频质量进行评估时自适应HEVC视频的压缩码流的分辨率变化。
(3)本发明所提供的HEVC视频质量估计方法，在提取估计参数并对码流大小进行以像素为基准的归一化操作后，采用多元线性回归方法估计HEVC视频的质量，保证了对视频质量估计的准确度。
附图说明
图1为本发明实施例提供的HEVC视频质量估计方法的流程图；
图2为本发明实施例所使用的Sobel算子示意图；(a)和(b)分别表示Sobel算子的两个卷积核；
图3为本发明实施例提供的高速运动示意图；
图4为本发明实施例提供的复杂运动示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
HEVC视频序列中，用于传输视频画面的帧包括I帧、P帧和B帧，各类视频帧的简单含义如下：
I帧：又称帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面；视频序列中的第一个帧始终都是I帧，因为它是关键帧；
P帧：又称帧间预测编码帧，需要参考前面的I帧才能进行编码，表示的是当前帧画面与前一帧(前一帧可能是I帧也可能是P帧)的差别；解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面；
B帧：又称双向预测编码帧，记录的是本帧与前后帧的差别；解码时，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面；B帧压缩率高，但是对解码性能要求较高。
用户观看视频时要求视频画面是实时的，对画面的流畅性要求较高，仅采用I帧、P帧进行视频传输可以提高网络的适应能力并降低解码成本，因此，现阶段很多视频解码都只采用I帧和P帧进行传输。相应地，本发明所要处理的压缩码流包括两种：仅包含I帧的压缩码流和同时包含I帧和P帧的压缩码流。
在以下发明实施例中，待估计的HEVC视频为以HM编码器编码的1080P(1920×1080)视频。
本发明所提供的HEVC视频质量估计方法，如图1所示，包括如下步骤：
(1)从HEVC视频的压缩码流中提取每一帧视频的估计参数；
若压缩码流仅包含I帧，则估计参数包括量化参数、码流大小和空间复杂度；否则，估计参数包括量化参数、码流大小、空间复杂度和时间复杂度；
(2)以像素为基准，对码流大小进行归一化；通过以像素为基准的归一化操作，能够在对视频质量进行评估时自适应HEVC视频的压缩码流的分辨率变化；
由归一化之前的码流大小bitrate除以压缩码流的分辨率1080P(1920×1080)，即可得到归一化之后的码流大小bitratepixel，具体公式为：
(3)根据已进行码流大小归一化操作的估计参数估计HEVC视频的质量。
在一个可选的实施方式中，上述步骤(1)具体包括：
(11)对压缩码流进行部分解码，得到压缩码流中每帧视频的量化参数和码流大小；
(12)若压缩码流中仅包含I帧，则对压缩码流进行完全解码，并计算压缩码流中每一帧视频的空间复杂度；否则，对压缩码流进行完全解码，并计算压缩码流中每一帧视频的空间复杂度和时间复杂度；
具体地，空间复杂度SI和时间复杂度TI计算公式分别为：
其中，STDframe表示计算标准差，Frame(tn-1)和Frame(tn)分别表示视频序列中的第n-1帧和第n帧，Sobel表示Sobel算子；在本实施例中，所使用的Sobel算子具体为3*3算子模板，如图2所示，一个卷积核对应垂直边缘响应最大，另一个卷积核对应水平边缘响应最大，两个卷积的最大值作为该点的输出值；
若压缩码流包含P帧，编码压缩流的运动状况发生变化时，其时间复杂度TI值也会发生变化。当HEVC编码压缩流中的视频内容运动较大时，其TI值会偏大，当其运动比较简单时，其TI值会变小。具体的如图3和图4所示，图3表示的是运动相对比较简单的情况，第n帧Frame(tn)与第n-1帧Frame(tn-1)的差值相对比较小，而图4表示的是运动情况比较复杂的情况，第n帧Frame(tn)与第n-1帧Frame(tn-1)的差值比较大，不仅仅是运动块比较多，而且运动的幅度比较大。
在HEVC的整个编码过程中量化是数据压缩的关键，也是对视频质量具有最大影响的因素。在HEVC的量化过程中，量化参数决定量化步长：量化参数越大，量化步长越大，越多的变换系数被量化为0，熵编码后的数据量就越小，但解码时缩放的数据与原数据的差别也会更大，造成视频质量下降；与此相对，量化参数越小，量化步长越小，视频降质的程度就越小，但数据量会变大。码流大小也是影响视频质量的一个重要因素。视频本身具有的最主要的特性是空间复杂度(纹理特性)和时间复杂度(运动特性)。对于纹理特性而言：纹理信息作为视频序列的特性，虽然不是视频降质失真的来源，但会在编码器内部机制的作用下，会间接影响视频质量；而对运动特性而言，HEVC对于运动有很好的处理，在P帧中对于运动矢量进行了预测，因此运动的复杂度需要特别关注；时间复杂度不同的视频，当其码流大小相同时，视频质量也是不同的。在本发明所提供的HEVC视频质量估计方法中，仅使用最为关键的少量信息作为估计参数，能够以较少的计算复杂度实现对视频质量的准确估计。
在一个可选的实施方式中，步骤(3)具体包括：
(31)对于压缩码流中的I帧，利用已训练好的第一模型和第二模型分别计算每一个I帧视频的PSNR值和SSIM值；第一模型和第二模型分别用于根据已归一化的码流大小、量化参数和空间复杂度计算I帧视频的PSNR值和SSIM值；
(32)计算压缩码流中所有I帧的平均量化参数和平均空间复杂度，并利用已训练好的第三模型和第四模型分别计算压缩码流中所有I帧的平均PSNR值和平均SSIM值；第三模型和第四模型分别用于根据已归一化的码流大小、所有I帧视频的平均量化参数和平均空间复杂度计算所有I帧视频的平均PSNR值和平均SSIM值；
(33)若压缩码流中还包含P帧，则利用已训练好的第五模型和第六模型分别计算每一个P帧视频的PSNR值和SSIM值；否则，转入步骤(35)；第五模型和第六模型分别用于根据已归一化的码流大小、量化参数和时间复杂度计算P帧视频的PSNR值和SSIM值；
(34)计算压缩码流中所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，并利用已训练好的第七模型和第八模型分别计算压缩码流中P帧视频的平均PSNR值和平均SSIM值；第七模型和第八模型分别用于根据已归一化的码流大小、所有P帧视频的平均量化参数、平均空间复杂度和时间复杂度标准差计算所有P帧视频的平均PSNR值和平均SSIM值；
(35)视频质量估计完成；
其中，各模型均为多元线性回归模型；
相比于常用的机器学习、深度学习等其他方法，在本发明所提取的量化参数的基础之上，使用多元线性回归方法对HEVC视频质量进行估计，能够使得所估计的视频质量更接近于真实的视频质量。因此，通过采用多元线性回归方法估计HEVC视频的质量，能够保证对视频质量估计的准确度；
在本实施例中，第一模型、第二模型、第三模型和第四模型的训练方法具体包括：
确定分辨率均为1080P(1920×1080)的Tennis(文理简单)、BasketballDrive(纹理较简单)、ParkScene(纹理正常)、Cactus(纹理较复杂)、BQTerrace(纹理复杂)这5个具有不同纹理特性且具有相同分辨率的标准视频序列作为训练序列，并确定6个量化参数(5，15，25，35，45，51)，用于对训练序列进行HM压缩编码；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的前20帧编码为I帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共30个训练样本构成的第一训练集；
确定分辨率均为1080P(1920×1080)的BasketballDrive、BQTerrace、Cactus、ParkScene、Tennis、Kimono1这6个标准视频序列作为测试序列，并确定10个量化参数(13,16,19,22,25,28,31,34,37,40)，用于对测试序列进行HM压缩编码；对于任意一个测试序列，分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的所有帧编码为I帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共60个测试样本构成的第一测试集；
分别构建第一模型、第二模型、第三模型和第四模型，并分别利用第一训练集和第一测试集训练并测试所构建的各个模型，由此完成模型的训练；
第一模型、第二模型、第三模型和第四模型的表达式分别为：
其中，i表示I帧在视频序列中的编号，PSNRi(x)和SSIMi(x)分别表示第i帧的PSNR值和SSIM值，xi,QP和xi,SI分别表示第i帧的量化参数和空间复杂度，和分别表示所有I帧的平均PSNR值和平均SSIM值，和分别表示所有I帧的平均量化参数和平均空间复杂度，K1表示第一训练集和第一测试集的分辨率比值，在本实施例中， 表示已归一化的码流大小，bmn表示回归系数，m,n∈{1,2,3,4}；
采用以上训练方法训练得到的回归系数如表1所示。
表1第一模型至第四模型的回归系数
应当理解的是，上述模型训练方法中，训练序列和测试序列的确定，并不限于以上所给出的标准视频序列组合，具有相同分辨率和不同纹理特性的其他视频序列组合也可用于模型的训练。
在本实施例中，第五模型、第六模型、第七模型和第八模型的训练方法包括：
确定分辨率均为1080P(1920×1080)的BQTerrace(运动简单)、ParkScene(运动较简单)、Cactus(运动正常)、BasketballDrive(运动较复杂)、Tennis(运动复杂)这5个具有相同分辨率且具有不同运动特性的标准视频序列作为训练序列，并确定6个量化参数(5，15，25，35，45，51)，用于对训练序列进行HM压缩编码；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的第一帧编码为I帧、第2～20帧编码为P帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共30个训练样本构成的第二训练集；
确定分辨率均为1080P(1920×1080)的BasketballDrive、BQTerrace、Cactus、ParkScene、Tennis、Kimono1这6个标准视频序列作为测试序列，并确定10个量化参数(13,16,19,22,25,28,31,34,37,40)，用于对测试序列进行HM压缩编码；对于任意一个测试序列，分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的第一帧编码为I帧，其余所有帧编码为P帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共60个测试样本构成的第二测试集；
分别构建第五模型、第六模型、第七模型和第八模型，并分别利用第二训练集和第二测试集训练并测试所构建的各个模型，由此完成模型的训练；
第五模型、第六模型、第七模型和第八模型的表达式分别为：
其中，j表示P帧在视频序列中的编号，PSNRj(x)和SSIMj(x)分别表示第j帧的PSNR值和SSIM值，xj,QP和xj,TI分别表示第j帧的量化参数和时间复杂度，和分别表示所有P帧的平均PSNR值和平均SSIM值，和分别表示所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，K2表示第二训练集和第二测试集的分辨率比值，在本实施例中， 表示已归一化的码流大小，buv表示回归系数，u∈{5,6,7,8},v∈{1,2,3,4,5}；
采用以上训练方法得到的回归系数如表2所示。
表2第五模型至第八模型的回归系数
应当理解的是，上述模型训练方法中，训练序列和测试序列的确定，并不限于以上所给出的标准视频序列组合，具有相同分辨率和不同运动特性的其他视频序列组合也可用于模型的训练。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种HEVC视频质量估计方法，其特征在于，包括如下步骤：
(1)从HEVC视频的压缩码流中提取每一帧视频的估计参数；
若所述压缩码流仅包含I帧，则所述估计参数包括量化参数、码流大小和空间复杂度；否则，所述估计参数包括量化参数、码流大小、空间复杂度和时间复杂度；
(2)以像素为基准，对所述码流大小进行归一化；
(3)根据已进行码流大小归一化操作的估计参数估计所述HEVC视频的质量。
2.如权利要求1所述的HEVC视频质量估计方法，其特征在于，所述步骤(1)包括：
(11)对所述压缩码流进行部分解码，得到所述压缩码流中每帧视频的量化参数和码流大小；
(12)若所述压缩码流中仅包含I帧，则对所述压缩码流进行完全解码，并计算所述压缩码流中每一帧视频的空间复杂度；否则，对所述压缩码流进行完全解码，并计算所述压缩码流中每一帧视频的空间复杂度和时间复杂度。
3.如权利要求1或2所述的HEVC视频质量估计方法，其特征在于，所述步骤(3)包括：
(31)对于所述压缩码流中的I帧，利用已训练好的第一模型和第二模型分别计算每一个I帧视频的PSNR值和SSIM值；所述第一模型和所述第二模型分别用于根据已归一化的码流大小、量化参数和空间复杂度计算I帧视频的PSNR值和SSIM值；
(32)计算所述压缩码流中所有I帧的平均量化参数和平均空间复杂度，并利用已训练好的第三模型和第四模型分别计算所述压缩码流中所有I帧的平均PSNR值和平均SSIM值；所述第三模型和所述第四模型分别用于根据已归一化的码流大小、所有I帧视频的平均量化参数和平均空间复杂度计算所有I帧视频的平均PSNR值和平均SSIM值；
(33)若所述压缩码流中还包含P帧，则利用已训练好的第五模型和第六模型分别计算每一个P帧视频的PSNR值和SSIM值；否则，转入步骤(35)；所述第五模型和所述第六模型分别用于根据已归一化的码流大小、量化参数和时间复杂度计算P帧视频的PSNR值和SSIM值；
(34)计算所述压缩码流中所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，并利用已训练好的第七模型和第八模型分别计算所述压缩码流中P帧视频的平均PSNR值和平均SSIM值；所述第七模型和所述第八模型分别用于根据已归一化的码流大小、所有P帧视频的平均量化参数、平均空间复杂度和时间复杂度标准差计算所有P帧视频的平均PSNR值和平均SSIM值；
(35)视频质量估计完成；
其中，各模型均为多元线性回归模型。
4.如权利要求3所述的HEVC视频质量估计方法，其特征在于，所述第一模型、所述第二模型、所述第三模型和所述第四模型的训练方法包括：
确定M1个具有相同分辨率且具有不同纹理特性的标准视频序列作为训练序列，并确定N1个量化参数；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的前F1帧编码为I帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共M1×N1个训练样本构成的第一训练集；
确定M2个具有相同分辨率且具有不同纹理特性的标准视频序列作为测试序列，并确定N2个量化参数；对于任意一个测试序列，分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的所有帧编码为I帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数和空间复杂度，以及所有帧的平均量化参数和平均空间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共M2×N2个测试样本构成的第一测试集；
分别构建所述第一模型、所述第二模型、所述第三模型和所述第四模型，并分别利用所述第一训练集和所述第一测试集训练并测试所构建的各个模型，由此完成模型的训练。
5.如权利要求4所述的HEVC视频质量估计方法，其特征在于，所述第一模型、所述第二模型、所述第三模型和所述第四模型的表达式分别为：
其中，i表示I帧在视频序列中的编号，PSNRi(x)和SSIMi(x)分别表示第i帧的PSNR值和SSIM值，xi,QP和xi,SI分别表示第i帧的量化参数和空间复杂度，和分别表示所有I帧的平均PSNR值和平均SSIM值，和分别表示所有I帧的平均量化参数和平均空间复杂度，K1表示所述第一训练集和所述第一测试集的分辨率比值，表示已归一化的码流大小，bmn表示回归系数，m,n∈{1,2,3,4}。
6.如权利要求3所述的HEVC视频质量估计方法，其特征在于，所述第五模型、所述第六模型、所述第七模型和所述第八模型的训练方法包括：
确定m1个具有相同分辨率且具有不同运动特性的标准视频序列作为训练序列，并确定n1个量化参数；对于任意一个训练序列，分别根据每一个量化参数对该训练序列进行压缩编码，编码方式为：将该训练序列的第一帧编码为I帧、第2～f1帧编码为P帧；将每一个编码结果作为一个训练样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共m1×n1个训练样本构成的第二训练集；
确定m2个具有相同分辨率且具有不同运动特性的标准视频序列作为测试序列，并确定n2个量化参数，对于任意一个测试序列分别根据每一个量化参数对该测试序列进行压缩编码，编码方式为：将该测试序列的第一帧编码为全I帧、其余所有帧编码为P帧；将每一个编码结果作为一个测试样本，获得其中每一帧的量化参数、空间复杂度和时间复杂度，以及所有帧的平均量化参数、平均空间复杂度和平均时间复杂度，并以像素为基准，对其码流大小进行归一化，由此得到由全部共m2×n2个测试样本构成的第二测试集；
分别构建所述第五模型、所述第六模型、所述第七模型和所述第八模型，并分别利用所述第二训练集和所述第二测试集训练并测试所构建的各个模型，由此完成模型的训练。
7.如权利要求6所述的HEVC视频质量估计方法，其特征在于，所述第五模型、所述第六模型、所述第七模型和所述第八模型的表达式分别为：
其中，j表示P帧在视频序列中的编号，PSNRj(x)和SSIMj(x)分别表示第j帧的PSNR值和SSIM值，xj,QP和xj,TI分别表示第j帧的量化参数和时间复杂度，和分别表示所有P帧的平均PSNR值和平均SSIM值，和分别表示所有P帧的平均量化参数、平均空间复杂度和时间复杂度标准差，K2表示所述第二训练集和所述第二测试集的分辨率比值，表示已归一化的码流大小，buv表示回归系数，u∈{5,6,7,8},v∈{1,2,3,4,5}。
CN201811244900.5A 2018-10-24 2018-10-24 一种hevc视频质量估计方法 Expired - Fee Related CN109286812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811244900.5A CN109286812B (zh) 2018-10-24 2018-10-24 一种hevc视频质量估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811244900.5A CN109286812B (zh) 2018-10-24 2018-10-24 一种hevc视频质量估计方法

Publications (2)

Publication Number Publication Date
CN109286812A true CN109286812A (zh) 2019-01-29
CN109286812B CN109286812B (zh) 2020-06-05

Family

ID=65177317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811244900.5A Expired - Fee Related CN109286812B (zh) 2018-10-24 2018-10-24 一种hevc视频质量估计方法

Country Status (1)

Country Link
CN (1) CN109286812B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135465A (zh) * 2019-04-22 2019-08-16 腾讯科技（深圳）有限公司 模型参数表示空间大小估计方法及装置、推荐方法
CN110363159A (zh) * 2019-07-17 2019-10-22 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备及计算机可读存储介质
CN110611809A (zh) * 2019-10-16 2019-12-24 西安邮电大学 帧分辨率自适应的视频空时域复杂度评价方法
CN112367524A (zh) * 2020-12-08 2021-02-12 重庆邮电大学 一种全景视频编码方法
US11954910B2 (en) 2020-12-26 2024-04-09 International Business Machines Corporation Dynamic multi-resolution processing for video classification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
CN101151904A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN102158729A (zh) * 2011-05-05 2011-08-17 西北工业大学 无参考的视频序列编码质量客观评价方法
CN103747237A (zh) * 2013-02-06 2014-04-23 华为技术有限公司 视频编码质量的评估方法及设备
CN105592312A (zh) * 2015-12-18 2016-05-18 电子科技大学 一种基于重构的无参考视频图像质量估计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
CN101151904A (zh) * 2006-05-09 2008-03-26 日本电信电话株式会社 视频品质评估设备、方法和程序
CN101715146A (zh) * 2008-10-08 2010-05-26 中国移动通信集团公司 压缩视频质量评价方法及评价系统
CN102158729A (zh) * 2011-05-05 2011-08-17 西北工业大学 无参考的视频序列编码质量客观评价方法
CN103747237A (zh) * 2013-02-06 2014-04-23 华为技术有限公司 视频编码质量的评估方法及设备
CN105592312A (zh) * 2015-12-18 2016-05-18 电子科技大学 一种基于重构的无参考视频图像质量估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨建群: "《H.264压缩视频的无参考客观质量评估方法研究》", 《万方学位论文》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135465A (zh) * 2019-04-22 2019-08-16 腾讯科技（深圳）有限公司 模型参数表示空间大小估计方法及装置、推荐方法
CN110135465B (zh) * 2019-04-22 2022-12-09 腾讯科技（深圳）有限公司 模型参数表示空间大小估计方法及装置、推荐方法
CN110363159A (zh) * 2019-07-17 2019-10-22 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备及计算机可读存储介质
CN110611809A (zh) * 2019-10-16 2019-12-24 西安邮电大学 帧分辨率自适应的视频空时域复杂度评价方法
CN110611809B (zh) * 2019-10-16 2020-10-27 西安邮电大学 帧分辨率自适应的视频空时域复杂度评价方法
CN112367524A (zh) * 2020-12-08 2021-02-12 重庆邮电大学 一种全景视频编码方法
CN112367524B (zh) * 2020-12-08 2022-08-09 重庆邮电大学 一种全景视频编码方法
US11954910B2 (en) 2020-12-26 2024-04-09 International Business Machines Corporation Dynamic multi-resolution processing for video classification

Also Published As

Publication number Publication date
CN109286812B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN109286812A (zh) 一种hevc视频质量估计方法
CN110139109B (zh) 图像的编码方法及相应终端
US9282330B1 (en) Method and apparatus for data compression using content-based features
CN1251511C (zh) 用于生成具有恒定质量的可缩放编码视频比特流的方法
CN101583036B (zh) 像素域视频转码中确定运动特征和高效编码模式关系的方法
CN103533367B (zh) 一种无参考视频质量评价方法及装置
CN104349171B (zh) 一种视觉无损的图像压缩编、解码装置及编、解码方法
CN108989802A (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN104219525B (zh) 基于显著性和最小可察觉失真的感知视频编码方法
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
CN1596422A (zh) 用于估算压缩视频数据客观质量的方法和系统
CN107046639B (zh) 基于内容的hevc码流质量预测模型
CN102625102B (zh) 一种面向h.264/svc mgs编码的率失真模式选择方法
CN103634601B (zh) 基于结构相似度的高效视频编码感知码率控制优化方法
CN110062234A (zh) 一种基于区域恰可察觉失真的感知视频编码方法
CN106412572A (zh) 一种基于运动特性的视频流编码质量评价方法
CN104796690B (zh) 一种基于人脑记忆模型的无参考视频质量评价方法
Yao et al. Bitrate-based no-reference video quality assessment combining the visual perception of video contents
CN104410860B (zh) 一种高清roi视频实时质量调节的方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN103634600B (zh) 一种基于ssim评价的视频编码模式选择方法、系统
Li et al. Perceptual quality assessment of face video compression: A benchmark and an effective method
Huang No-reference video quality assessment by HEVC codec analysis
CN100469143C (zh) 一种视频数据压缩量化和反量化的方法
CN105357526B (zh) 基于压缩域的考虑场景分类的手机足球视频质量评估装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200605

Termination date: 20201024

CF01 Termination of patent right due to non-payment of annual fee