CN108989802A - 一种利用帧间关系的hevc视频流的质量估计方法及系统 - Google Patents

一种利用帧间关系的hevc视频流的质量估计方法及系统 Download PDF

Info

Publication number
CN108989802A
CN108989802A CN201810920052.9A CN201810920052A CN108989802A CN 108989802 A CN108989802 A CN 108989802A CN 201810920052 A CN201810920052 A CN 201810920052A CN 108989802 A CN108989802 A CN 108989802A
Authority
CN
China
Prior art keywords
frame
video
image group
quality
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810920052.9A
Other languages
English (en)
Other versions
CN108989802B (zh
Inventor
郭红星
汤俊良
卢涛
冯昊童
李榕
夏涛
范晔斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810920052.9A priority Critical patent/CN108989802B/zh
Publication of CN108989802A publication Critical patent/CN108989802A/zh
Application granted granted Critical
Publication of CN108989802B publication Critical patent/CN108989802B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

本发明公开了一种利用帧间关系的HEVC视频流的质量估计方法及系统，该方法包括：将HEVC视频流切分为多个图像组；对图像组中的I帧使用帧内预测的方法进行视频质量估计；对图像组中的B/P帧使用帧间预测的方法进行视频质量估计；将图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量，再依次组合图像组视频质量得到视频流质量。本发明通过四个参量来表征HEVC压缩流的内容变化，利用随机GBRT模型实现上述参量到时间序列模型参数间的映射，达到自适应估计HEVC压缩流视频质量的目的，时间序列模型ARIMA(2,1,3)对HEVC压缩流帧序列的质量变化进行建模，时间序列预测模型参数能随视频内容变化动态调整，实现对视频质量的自适应估计，提高了视频质量估计的精度和速度。

Description

一种利用帧间关系的HEVC视频流的质量估计方法及系统
技术领域
本发明属于视频质量评估领域，更具体地，涉及一种利用帧间关系的HEVC(HighEfficient Video Coding,高效视频压缩编码)视频流的质量估计方法及系统。
背景技术
网络直播、短视频、可视电话等网络视频流应用已经成为时下人们交流的主要方式。为了获得更好的用户视频体验，一方面，要保证价高的视频质量，这就要求传输较高的码率；另一方面，高码率需要高带宽传输，大容量存储和大量密集编解码运算，这对网络视频流系统资源提出极其苛刻的要求。一旦不能满足，则反过来会急剧降低用户体验。因此，为了获得好的用户体验，必须在传输码率和资源消耗间进行折中，这可借助于根据码流来预测视频质量来实现。近年来，国内外对以高效视频压缩编码(High Efficient VideoCoding,HEVC)为代表的新一代高效视频编码流的无参考视频质量评估的研究有很多进展，按照其使用的方法可以分为两个方面，其一为基于像素的无参考视频质量评估，其二为基于编码参数的无参考视频质量评估。
对于基于像素的无参考视频质量评估方法，Aabed M等人试图分析变换系数的概率分布来获取视频质量，提出使用帧间能量光谱密度变化在时域的不连续来定位信道传输造成的错误帧，获得了很高的精度。但该方法存在以下缺陷：首先，这些分析概率模型的方法都是基于像素的，即需要将编码流完全解码后才能进行相应分析，因此，略微滞后于视频解码过程；其次，这些方法使用概率分布的方法来对视频质量评估，计算复杂度高，无法实现实时的视频质量评估。
对于基于编码参数的无参考视频质量评估方法。Antong Y等人试图通过整合视频编码参数，利用整合后的编码参数来获取更高的视频预测精度，提出使用视频的时间域纹理信息TI和空间域纹理信息SI整合的一种新特征CI来进行定性分析，再利用多元线性回归的方法来对视频质量进行评估。该方法的优点在于使用的参数较少，实用性较高。但该方法存在缺陷：预测的视频质量精度降低。Vega M T等人使用更多的参数，以及更好的预测方法来对视频质量进行评估，从视频流中提取视频场景复杂度、运动矢量、网络的丢包情况以及码率的大小等视频参数，再通过9个机器学习的方法来对视频质量进行评估和建模，挑选最佳的模型来对视频质量进行评估，最终使用Ensemble Regression Tree来进行评估。该方法相比于使用参数少的模型具有相对较高的预测精度，但仍然具有很多问题，比如模型对特定的视频内容具有很高的精度，但是变换视频内容之后其预测精度急剧下降等问题。
综上所述，现有的视频质量评估方法已经解决了部分视频质量评估领域的问题，但是对于变换视频内容之后视频质量评估精度急剧下降的问题仍然无法得到很好的解决。其中一个重要原因是现有方法都是基于单帧的分析，割裂了视频所固有的帧间依赖关系，导致视频流质量预测不能与视频序列的变化趋势所匹配。因此需要一种利用帧间关系的视频质量评估的模型来对视频质量进行评估，并根据视频内容自适应变化模型来提供更高的视频质量评估精度。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有技术基于单帧的分析，割裂了视频所固有的帧间依赖关系，视频流质量预测不能与视频序列的变化趋势所匹配，从而导致了变换视频内容之后视频质量评估精度急剧下降的技术问题。
为实现上述目的，第一方面，一种利用帧间关系的HEVC视频流的质量估计方法，该方法包括以下步骤：
(1)将HEVC视频流切分为多个图像组，对每个图像组中的视频帧按照视频播放的顺序排序，得到预处理后的待预测图像组序列；
(2)对每个图像组中的I帧使用帧内预测的方法进行视频质量估计，得到每个图像组中的I帧预测质量；
(3)对每个图像组中的B/P帧使用帧间预测的方法进行视频质量估计，得到每个图像组中的B/P帧预测质量；
(4)将多个图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量，再依次组合图像组视频质量得到视频流质量。
具体地，步骤(1)具体为：
按照视频流中的语法信息对HEVC视频流进行切分，将I帧作为图像组的切分标志，将一个视频流切分为一个或多个图像组，并对每个图像组单独处理，按照视频播放的顺序对其图像组中的视频帧进行排序，得到预处理后的待预测图像组序列。
具体地，步骤(2)包括：
(20)从I帧中提取视频流编码参数，视频流编码参数包含量化参数、视频流码率、纹理信息；
(21)对提取出的编码参数进行像素的归一化操作，使其适应分辨率的变化；
(22)对归一化后的视频编码参数进行多元线性回归，得到图像组中I帧的预测质量PSNR值。
具体地，步骤(3)包括：
(30)对图像组中的B/P帧进行视频内容参数的提取；
(31)利用提取的视频内容参数作为随机GBRT模型的特征值，对时间序列模型的参数进行预测；
(32)利用预测的时间序列模型的参数进行构建时间序列模型ARIMA(2,1,3)；
(33)所有图像组的I帧的PSNR值组成一个序列，作为时间序列模型ARIMA(2,1,3)的输入，ARIMA(2,1,3)输出的PSNR序列值即图像组中的B/P帧的预测质量。
具体地，步骤(30)包括：
(301)对图像组中的B/P帧的运动矢量信息大小进行提取，通过运动矢量大小MV计算整个图像组的平均运动矢量MVmean，然后对其进行像素归一化得到MVpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，MVmean为图像组中所有的视频帧的运动矢量大小的平均值，MVpixel为归一化之后的运动矢量的大小；
(302)对图像组中的B/P帧的变换系数大小进行提取，通过每帧的变换系数DCT计算整个图像组的平均变换系数的大小DCTmean，然后对其进行像素归一化得到DCTpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，DCTmean为一个图像组中所有的帧的变换系数的大小的平均值，而DCTpixel为归一化后变换系数；
(303)对图像组帧的B/P帧的量化参数值进行提取，通过每帧的量化参数QP计算整个图像组的平均量化参数值QPmean以及量化参数的方差QPvar，作为时间序列参数进行预测的变量，QPvar的计算如下：
其中，QPmean为图像组中所有帧的QP值的平均值，n为图像组中B/P帧的个数。
为实现上述目的，第二方面，本发明实施例提供了一种利用帧间关系的HEVC视频流的质量估计系统，该系统包括视频预处理模块、帧内预测模块、帧间预测模块以及数据组合模块；
所述视频预处理模块用于将HEVC视频流切分为多个图像组，对每个图像组中的视频帧按照视频播放的顺序排序，得到预处理后的待预测图像组序列；
所述帧内预测模块用于对每个图像组中的I帧使用帧内预测的方法进行视频质量估计，得到每个图像组中的I帧预测质量；
所述帧间预测模块用于对每个图像组中的B/P帧使用帧间预测的方法进行视频质量估计，得到每个图像组中的B/P帧预测质量；
所述数据组合模块用于将多个图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量，然后再依次组合图像组视频质量得到视频流质量。
具体地，所述视频预处理模块按照视频流中的语法信息对HEVC视频流进行切分，将I帧作为图像组的切分标志，将一个视频流切分为一个或多个图像组，并对每个图像组单独处理，按照视频播放的顺序对其图像组中的视频帧进行排序，得到预处理后的待预测图像组序列。
具体地，所述帧内预测模块通过以下步骤实现对I帧的帧内预测：
首先，从I帧中提取视频流编码参数，视频流编码参数包含量化参数、视频流码率、纹理信息；
其次，对提取出的编码参数进行像素的归一化操作，使其适应分辨率的变化；
最后，对归一化后的视频编码参数进行多元线性回归，得到图像组中I帧的预测质量PSNR值。
具体地，所述帧间预测模块具体通过以下步骤实现对B/P帧的帧间预测：
首先，对图像组中的B/P帧进行视频内容参数的提取；
其次，利用提取的视频内容参数作为随机GBRT模型的特征值，对时间序列模型的参数进行预测；
然后，利用预测的时间序列模型的参数进行构建时间序列模型ARIMA(2,1,3)；
最后，所有图像组的I帧的PSNR值组成一个序列，作为时间序列模型ARIMA(2,1,3)的输入，ARIMA(2,1,3)输出的PSNR序列值即图像组中的B/P帧的预测质量。
具体地，所述帧间预测模块通过以下步骤实现对图像组中的B/P帧进行视频内容参数的提取：
(1)对图像组中的B/P帧的运动矢量信息大小进行提取，通过运动矢量大小MV计算整个图像组的平均运动矢量MVmean，然后对其进行像素归一化得到MVpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，MVmean为图像组中所有的视频帧的运动矢量大小的平均值，MVpixel为归一化之后的运动矢量的大小；
(2)对图像组中的B/P帧的变换系数大小进行提取，通过每帧的变换系数DCT计算整个图像组的平均变换系数的大小DCTmean，然后对其进行像素归一化得到DCTpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，DCTmean为一个图像组中所有的帧的变换系数的大小的平均值，而DCTpixel为归一化后变换系数；
(3)对图像组帧的B/P帧的量化参数值进行提取，通过每帧的量化参数QP计算整个图像组的平均量化参数值QPmean以及量化参数的方差QPvar，作为时间序列参数进行预测的变量，QPvar的计算如下：
其中，QPmean为图像组中所有帧的QP值的平均值，n为图像组中B/P帧的个数。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明通过四个参量来表征HEVC压缩流的内容变化，利用随机GBRT模型实现上述参量到时间序列模型参数间的映射，达到自适应估计HEVC压缩流视频质量的目的，时间序列预测模型参数能随视频内容变化进行动态调整，以实现对视频质量的自适应估计。
(2)本发明通过时间序列模型ARIMA(2,1,3)对HEVC压缩流帧序列的质量变化进行建模，通过分析HEVC的编码过程以及HEVC压缩码流帧间关系对视频质量的影响，确定HEVC压缩流视频质量的时间序列预测模型，提高了视频质量估计的精度和速度。
附图说明
图1为现有技术中HEVC视频编码流程图；
图2为现有技术中HEVC视频编码码率控制模块示意图；
图3为本发明实施例提供的利用帧间关系的高效视频编码流的质量估计系统结构图；
图4为本发明实施例提供的视频帧顺序调整示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为现有技术中HEVC视频编码流程图。如图1所示，HEVC的编解码流程主要包括：帧内预测、帧间预测、运动估计与补偿、变换和反变换、量化和反量化、环路滤波、熵编码等。
首先，视频序列输入编码器，并被分为若干个图像组GOP(Group ofPictures)，在一个GOP里，视频帧被分为I帧、P帧和B帧。这三种帧决定了各自不同的预测方式。I帧即Intra-coded Picture(帧内编码图像帧)，不参考其他图像帧，只利用本帧的信息进行编码。它是其他帧产生的基础。P帧即Predictive-coded Picture(预测编码图像帧)，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码。与I帧相同的信息不传送，只传送主体变化的差值，这样就省略了大部分重复信息。新生的P帧又可以作为下一帧的参考帧。B帧即Bidirectionally Predicted Picture(双向预测编码图像帧)，是利用前后的I帧或P帧进行运动补偿预测所产生的图像，它只反映I、P画面的运动主体变化情况，因此在重放时既要参考I帧内容，又要参考P帧内容，它既需要之前的图像帧(I帧或P帧)，也需要后来的图像帧(P帧)。B帧提供最高的压缩比。
当一个输入帧被提交编码。该帧会先被分割成互不叠加的块并以块为单位来进行处理。I帧以帧内模式编码，B帧或P帧则以帧间模式编码。在这两种情况下，会产生一个基于重建帧的预测块。对于帧内预测，预测块由当前帧中已编码并解码重建的块预测得到。对于帧间预测，预测块通过一个或多个参考帧的运动估计和运动补偿得到，参考帧表示为之前己经编码的帧。然而，每个宏块的预测块可能根据过去或将来(以时间为序)的一个或多个已经编码并重构的帧来产生。然后当前块减去预测块得到预测残差。预测残差数据进一步进行变化和量化，从而得到量化后的参数系数。对量化后的残差系数、预测模式、运动矢量等编码信息进行熵编码，从而得到压缩后的比特流。同时，另一路进行反量化和反变换，再和预测块相加进入到滤波器，形成重建帧用于帧间预测。
按照一定的判断准则，在参考帧中寻找与编码块最匹配的图像块，从而得到编码块的运动矢量，运动矢量参数被要求编码传送到接收端。运动估计在帧间编码中占据大部分运算时间，而且运动估计的精度直接影响帧间预测编码的效率。由运动矢量建立当前帧编码和重建帧预测块之间的空间位置对应关系，从而建立预测关系。因此，本发明选用运动矢量MV作为视频质量评估指标之一。
量化过程是根据图像的动态范围大小确定量化参数，既保留图像必要的细节，又减少码流。在量化和反量化的过程中，量化步长决定编码的压缩率和图像精度，如果量化步长较大，则相应的编码长度减少，但图像的细节损失较多；如果量化步长较小，相应的编码长度较大，但图像的细节信息损失较少。因此，本发明选用量化参数作为视频质量评估指标之一。
图2为现有技术中HEVC视频编码码率控制模块示意图。如图2所示，视频编码码率控制模块是依据视频内容，缓冲区状态以及信道带宽为编码器分配恰当的目标比特数；然后再对编码器独立确定编码参数实现分配的目标比特。实现在一个缓冲区内对一段时间里的视频编码帧数据大小进行控制，进而得到在当前码率下视频质量最佳的一种自适应算法。因此，在一段时间内视频质量PSNR(Peak Signal to Noise Ratio，峰值信噪比)具有很强的帧间相关性。
图3为本发明实施例提供的利用帧间关系的高效视频编码流的质量估计系统结构图。如图3所示，该系统将整个解码过程分成四个大的模块：视频预处理模块、帧内预测模块、帧间预测模块以及数据组合模块。其中，视频预处理模块是按照视频流中的图像组进行切分，将一个视频流切分为数个图像组来处理。帧内预测模块是对图像组中的I帧进行帧内预测，得到I帧的预测质量。帧间预测模块针对B/P帧，包括提取视频内容参数模块、预测时间序列模型参数模块以及利用时间序列模型对视频质量的预测模块。数据组合模块将图像组中的I帧、B帧以及P帧的预测质量组合成为图像组视频质量，然后再依次组合图像组视频质量为视频流质量。
本实施例以FFMEPG中x265解码器编码的1080P(1920×1080)视频为例，说明利用帧间关系的高效视频编码流的客观质量估计方法。
(1)将HEVC视频流切分为多个图像组，对每个图像组中的视频帧按照视频播放的顺序排序，得到预处理后的待预测图像组序列。
按照视频流中的语法信息对HEVC视频流进行切分，将I帧作为图像组的切分标志，将一个视频流切分为一个或多个图像组，并对每个图像组单独处理，按照视频播放的顺序对其图像组中的视频帧进行排序，得到预处理后的待预测图像组序列。一个图像组中包含一个I帧和多个B/P帧。
图4为本发明实施例提供的视频帧顺序调整示意图。具体的调整视频帧序列的解释图如图4所示，其中，调整前的视频帧序列是按照视频解码的顺序排列的，但是其与播放顺序并不一致，需要对其进行调整，按照视频的播放顺序来排列视频帧。
(2)对图像组中的I帧使用帧内预测的方法进行视频质量估计。
(20)从I帧中提取视频流编码参数，视频流编码参数包含量化参数(QP)、视频流码率(bitrate)、纹理信息(SI)；
(21)对提取出的编码参数进行像素的归一化操作，使其适应分辨率的变化。此处取视频流码率(bitrate)为例，归一化的公式如下：
通过公式(1)可以得到归一化的码率bitratepixel。
(22)对归一化后的视频编码参数进行多元线性回归，得到图像组中I帧的预测质量，多元线性回归的公式如下：
经过步骤(2)之后，每个I帧都得到其对应的PSNR值。
(3)对图像组中的B/P帧使用帧间预测的方法进行视频质量估计。
(30)对图像组中的B/P帧进行视频内容参数的提取。
(301)对图像组中的B/P帧的运动矢量信息大小进行提取，通过运动矢量大小MV计算整个图像组的平均运动矢量MVmean，然后对其进行像素归一化得到MVpixel作为时间序列参数预测的一个变量，平均运动矢量归一化后的计算公式如下：
其中，MVmean代表的是一个图像组中所有的视频帧的运动矢量大小的平均值，MVpixel代表的是归一化之后的运动矢量的大小。
(302)对图像组中的B/P帧的变换系数大小进行提取，通过每帧的变换系数大小DCT计算整个图像组的平均变换系数的大小DCTmean，然后对其进行像素归一化得到DCTpixel作为时间序列参数预测的一个变量，具体的DCTpixel计算如公式(4)所示：
其中，DCTmean代表的是一个图像组中所有的帧的变换系数的大小的平均值，而DCTpixel代表的是图像组像素归一化后的值。
(303)对图像组帧的B/P帧的量化参数值进行提取，通过每帧的量化参数的大小QP计算整个图像组的平均量化参数值QPmean以及量化参数的方差QPvar，作为时间序列参数进行预测的变量。其中，QPvar的计算如公式(5)所示：
其中，QPmean代表的是整个图像组中所有帧的QP值的平均值，n为图像组中B/P帧的个数。
(31)利用MVpixel、DCTpixel、QPmean、QPvar变量作为随机GBRT模型的特征值，对时间序列模型的参数进行预测：
(311)使用迭代次数为2000次的GBRT模型预测时间序列模型的第一个参数AR1。
在本例中使用Python的sklearn库来对其进行预测，使用HEVC官方测试集的部分测试序列作为训练集，通过交叉训练的方式建立GBRT(Gradient BoostRegression Tree渐进梯度回归树)模型，然后再使用GBRT模型来对测试序列的时间序列模型参数进行预测。
(312)使用迭代次数为1200的GBRT算法预测时间序列的第二个参数AR2。
(313)使用迭代次数为1800的GBRT算法预测时间序列的第三个参数MA1。
(314)使用迭代次数为1100的GBRT算法预测时间序列的第四个参数MA2。
(315)使用迭代次数为1400的GBRT算法预测时间序列的第五个参数MA3。
(32)利用参数AR1、AR2、MA1、MA2、MA3构建时间序列模型ARIMA(2,1,3)；
(33)所有图像组的I帧的PSNR值组成一个序列，作为时间序列模型ARIMA(2,1,3)的输入，ARIMA(2,1,3)输出的PSNR序列值即图像组中的B/P帧的预测质量。
(4)将图像组中的I帧、B/P帧的预测质量组合成为图像组视频质量，然后再依次组合图像组视频质量为视频流质量。
将图像组中的I帧的PSNR、B/P帧的PSNR值组合成为一个图像组帧的PSNR序列，然后再依次组合图像组帧的PSNR序列为整个视频帧的PSNR序列。
按照视频的播放顺序来组合图像组中的视频帧序列，对图像组中的I帧、B帧及P帧的预测视频质量进行整合，然后按照在视频流中各个图像组的播放顺序组合各个图像组的预测视频质量，最终得到视频流的视频质量。
整合指的是将前面得到每个视频帧的PSNR值，按照视频的播放帧顺序排列绘制折线图(横坐标为帧顺序序号，纵坐标为PSNR值)。
由于视频即一帧帧的图像组合而成，所以视频图像的质量组合在一起就得到视频的质量。
进一步地，可用皮尔森相关系数(PCC)、斯皮尔曼相关系数(SROCC)、均方根误差(RMSE)三个指标来进行评价视频质量评估准确度，其中，PCC以及SROCC主要评估了预测的PSNR与真实的PSNR之间的趋势相关以及数值的变化；而RMSE主要对两者间数值的差别进行描述。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种利用帧间关系的HEVC视频流的质量估计方法，其特征在于，该方法包括以下步骤：
(1)将HEVC视频流切分为多个图像组，对每个图像组中的视频帧按照视频播放的顺序排序，得到预处理后的待预测图像组序列；
(2)对每个图像组中的I帧使用帧内预测的方法进行视频质量估计，得到每个图像组中的I帧预测质量；
(3)对每个图像组中的B/P帧使用帧间预测的方法进行视频质量估计，得到每个图像组中的B/P帧预测质量；
(4)将多个图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量，再依次组合图像组视频质量得到视频流质量。
2.如权利要求1所述的质量估计方法，其特征在于，步骤(1)具体为：
按照视频流中的语法信息对HEVC视频流进行切分，将I帧作为图像组的切分标志，将一个视频流切分为一个或多个图像组，并对每个图像组单独处理，按照视频播放的顺序对其图像组中的视频帧进行排序，得到预处理后的待预测图像组序列。
3.如权利要求1所述的质量估计方法，其特征在于，步骤(2)包括：
(20)从I帧中提取视频流编码参数，视频流编码参数包含量化参数、视频流码率、纹理信息；
(21)对提取出的编码参数进行像素的归一化操作，使其适应分辨率的变化；
(22)对归一化后的视频编码参数进行多元线性回归，得到图像组中I帧的预测质量PSNR值。
4.如权利要求1所述的质量估计方法，其特征在于，步骤(3)包括：
(30)对图像组中的B/P帧进行视频内容参数的提取；
(31)利用提取的视频内容参数作为随机GBRT模型的特征值，对时间序列模型的参数进行预测；
(32)利用预测的时间序列模型的参数进行构建时间序列模型ARIMA(2,1,3)；
(33)所有图像组的I帧的PSNR值组成一个序列，作为时间序列模型ARIMA(2,1,3)的输入，ARIMA(2,1,3)输出的PSNR序列值即图像组中的B/P帧的预测质量。
5.如权利要求4所述的质量估计方法，其特征在于，步骤(30)包括：
(301)对图像组中的B/P帧的运动矢量信息大小进行提取，通过运动矢量大小MV计算整个图像组的平均运动矢量MVmean，然后对其进行像素归一化得到MVpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，MVmean为图像组中所有的视频帧的运动矢量大小的平均值，MVpixel为归一化之后的运动矢量的大小；
(302)对图像组中的B/P帧的变换系数大小进行提取，通过每帧的变换系数DCT计算整个图像组的平均变换系数的大小DCTmean，然后对其进行像素归一化得到DCTpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，DCTmean为一个图像组中所有的帧的变换系数的大小的平均值，而DCTpixel为归一化后变换系数；
(303)对图像组帧的B/P帧的量化参数值进行提取，通过每帧的量化参数QP计算整个图像组的平均量化参数值QPmean以及量化参数的方差QPvar，作为时间序列参数进行预测的变量，QPvar的计算如下：
其中，QPmean为图像组中所有帧的QP值的平均值，n为图像组中B/P帧的个数。
6.一种利用帧间关系的HEVC视频流的质量估计系统，其特征在于，该系统包括视频预处理模块、帧内预测模块、帧间预测模块以及数据组合模块；
所述视频预处理模块用于将HEVC视频流切分为多个图像组，对每个图像组中的视频帧按照视频播放的顺序排序，得到预处理后的待预测图像组序列；
所述帧内预测模块用于对每个图像组中的I帧使用帧内预测的方法进行视频质量估计，得到每个图像组中的I帧预测质量；
所述帧间预测模块用于对每个图像组中的B/P帧使用帧间预测的方法进行视频质量估计，得到每个图像组中的B/P帧预测质量；
所述数据组合模块用于将多个图像组中的I帧、B/P帧的预测质量组合得到图像组视频质量，然后再依次组合图像组视频质量得到视频流质量。
7.如权利要求6所述的质量估计系统，其特征在于，所述视频预处理模块按照视频流中的语法信息对HEVC视频流进行切分，将I帧作为图像组的切分标志，将一个视频流切分为一个或多个图像组，并对每个图像组单独处理，按照视频播放的顺序对其图像组中的视频帧进行排序，得到预处理后的待预测图像组序列。
8.如权利要求6所述的质量估计系统，其特征在于，所述帧内预测模块通过以下步骤实现对I帧的帧内预测：
首先，从I帧中提取视频流编码参数，视频流编码参数包含量化参数、视频流码率、纹理信息；
其次，对提取出的编码参数进行像素的归一化操作，使其适应分辨率的变化；
最后，对归一化后的视频编码参数进行多元线性回归，得到图像组中I帧的预测质量PSNR值。
9.如权利要求6所述的质量估计系统，其特征在于，所述帧间预测模块具体通过以下步骤实现对B/P帧的帧间预测：
首先，对图像组中的B/P帧进行视频内容参数的提取；
其次，利用提取的视频内容参数作为随机GBRT模型的特征值，对时间序列模型的参数进行预测；
然后，利用预测的时间序列模型的参数进行构建时间序列模型ARIMA(2,1,3)；
最后，所有图像组的I帧的PSNR值组成一个序列，作为时间序列模型ARIMA(2,1,3)的输入，ARIMA(2,1,3)输出的PSNR序列值即图像组中的B/P帧的预测质量。
10.如权利要求9所述的质量估计系统，其特征在于，所述帧间预测模块通过以下步骤实现对图像组中的B/P帧进行视频内容参数的提取：
(1)对图像组中的B/P帧的运动矢量信息大小进行提取，通过运动矢量大小MV计算整个图像组的平均运动矢量MVmean，然后对其进行像素归一化得到MVpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，MVmean为图像组中所有的视频帧的运动矢量大小的平均值，MVpixel为归一化之后的运动矢量的大小；
(2)对图像组中的B/P帧的变换系数大小进行提取，通过每帧的变换系数DCT计算整个图像组的平均变换系数的大小DCTmean，然后对其进行像素归一化得到DCTpixel作为时间序列参数预测的一个变量，计算公式如下：
其中，DCTmean为一个图像组中所有的帧的变换系数的大小的平均值，而DCTpixel为归一化后变换系数；
(3)对图像组帧的B/P帧的量化参数值进行提取，通过每帧的量化参数QP计算整个图像组的平均量化参数值QPmean以及量化参数的方差QPvar，作为时间序列参数进行预测的变量，QPvar的计算如下：
其中，QPmean为图像组中所有帧的QP值的平均值，n为图像组中B/P帧的个数。
CN201810920052.9A 2018-08-14 2018-08-14 一种利用帧间关系的hevc视频流的质量估计方法及系统 Expired - Fee Related CN108989802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810920052.9A CN108989802B (zh) 2018-08-14 2018-08-14 一种利用帧间关系的hevc视频流的质量估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810920052.9A CN108989802B (zh) 2018-08-14 2018-08-14 一种利用帧间关系的hevc视频流的质量估计方法及系统

Publications (2)

Publication Number Publication Date
CN108989802A true CN108989802A (zh) 2018-12-11
CN108989802B CN108989802B (zh) 2020-05-19

Family

ID=64552879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810920052.9A Expired - Fee Related CN108989802B (zh) 2018-08-14 2018-08-14 一种利用帧间关系的hevc视频流的质量估计方法及系统

Country Status (1)

Country Link
CN (1) CN108989802B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147843A (zh) * 2019-05-22 2019-08-20 哈尔滨工程大学 基于度量学习的语音时序数据相似性度量方法
CN110582008A (zh) * 2019-09-30 2019-12-17 北京奇艺世纪科技有限公司 一种视频质量评价方法及装置
CN111447511A (zh) * 2020-03-09 2020-07-24 重庆邮电大学 一种带有用户感知体验质量的带宽分配方法
CN112153370A (zh) * 2020-08-24 2020-12-29 清华大学 基于群敏感对比回归的视频动作质量评价方法及系统
WO2021196087A1 (zh) * 2020-04-01 2021-10-07 华为技术有限公司 视频增强的方法及装置
CN114071166A (zh) * 2020-08-04 2022-02-18 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN114630111A (zh) * 2022-05-13 2022-06-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN117135364A (zh) * 2023-10-26 2023-11-28 深圳市宏辉智通科技有限公司 一种视频解码方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630011A (zh) * 2012-03-31 2012-08-08 浙江师范大学 一种视频传感器网络中的压缩感知编解码方法及系统
CN105578185A (zh) * 2015-12-14 2016-05-11 华中科技大学 一种网络视频流的无参考图像质量在线估计方法
US20160234078A1 (en) * 2015-02-11 2016-08-11 At&T Intellectual Property I, Lp Method and system for managing service quality according to network status predictions
CN107329882A (zh) * 2017-06-12 2017-11-07 腾讯科技（深圳）有限公司 获取在线数据的方法和装置、存储介质及电子装置
CN107784387A (zh) * 2017-09-18 2018-03-09 国家计算机网络与信息安全管理中心 一种微博事件信息传播的连续动态预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102630011A (zh) * 2012-03-31 2012-08-08 浙江师范大学 一种视频传感器网络中的压缩感知编解码方法及系统
US20160234078A1 (en) * 2015-02-11 2016-08-11 At&T Intellectual Property I, Lp Method and system for managing service quality according to network status predictions
CN105578185A (zh) * 2015-12-14 2016-05-11 华中科技大学 一种网络视频流的无参考图像质量在线估计方法
CN107329882A (zh) * 2017-06-12 2017-11-07 腾讯科技（深圳）有限公司 获取在线数据的方法和装置、存储介质及电子装置
CN107784387A (zh) * 2017-09-18 2018-03-09 国家计算机网络与信息安全管理中心 一种微博事件信息传播的连续动态预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴丽丽: "码流感知型的无参考视频质量评价模型的研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
杨建群: "H.264压缩视频的无参客观质量评估方法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
钊魁: "基于卷积神经网络的电商数据深度挖掘", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147843A (zh) * 2019-05-22 2019-08-20 哈尔滨工程大学 基于度量学习的语音时序数据相似性度量方法
CN110582008A (zh) * 2019-09-30 2019-12-17 北京奇艺世纪科技有限公司 一种视频质量评价方法及装置
CN111447511A (zh) * 2020-03-09 2020-07-24 重庆邮电大学 一种带有用户感知体验质量的带宽分配方法
CN113767626B (zh) * 2020-04-01 2024-03-26 华为技术有限公司 视频增强的方法及装置
WO2021196087A1 (zh) * 2020-04-01 2021-10-07 华为技术有限公司 视频增强的方法及装置
CN113767626A (zh) * 2020-04-01 2021-12-07 华为技术有限公司 视频增强的方法及装置
CN114071166B (zh) * 2020-08-04 2023-03-03 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN114071166A (zh) * 2020-08-04 2022-02-18 四川大学 一种结合qp检测的hevc压缩视频质量提升方法
CN112153370A (zh) * 2020-08-24 2020-12-29 清华大学 基于群敏感对比回归的视频动作质量评价方法及系统
CN114630111A (zh) * 2022-05-13 2022-06-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN114630111B (zh) * 2022-05-13 2022-10-14 电子科技大学 一种基于编码信息的无参考压缩视频质量评估方法
CN117135364A (zh) * 2023-10-26 2023-11-28 深圳市宏辉智通科技有限公司 一种视频解码方法和系统
CN117135364B (zh) * 2023-10-26 2024-02-02 深圳市宏辉智通科技有限公司 一种视频解码方法和系统

Also Published As

Publication number Publication date
CN108989802B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108989802A (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN101461248B (zh) 自适应地确定用于视频图像编码的比特预算的方法和设备
CN103248893B (zh) 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN103533359B (zh) 一种h.264码率控制方法
CN101159875B (zh) 二重预测视频编解码方法和装置
EP3744096A1 (en) Hybrid motion-compensated neural network with side-information based video coding
CN101335892B (zh) 基于帧内模式决策的混合分布式视频编码方法
CN101835042B (zh) 基于无反馈速率控制的Wyner-Ziv视频编码系统及方法
CN101534436A (zh) 一种视频图像宏块级自适应码率分配方法
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN102281446B (zh) 一种分布式视频编码中基于视觉感知特性的量化方法
CN107087200A (zh) 针对高效率视频编码标准的跳过编码模式提前判决方法
CN101854548A (zh) 一种面向无线多媒体传感器网络的视频压缩方法
CN103002283A (zh) 多视角分布式视频压缩的边信息生成方法
CN103546749A (zh) 利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法
CN108259898B (zh) 基于质量可伸缩视频编码qshvc的帧内快速编码方法
CN109286812A (zh) 一种hevc视频质量估计方法
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN102572428B (zh) 面向多媒体传感网分布式编解码的边信息估计方法
Yan et al. CTU layer rate control algorithm in scene change video for free-viewpoint video
CN102082919A (zh) 数字视频矩阵
Ma et al. An adaptive lagrange multiplier determination method for dynamic texture in HEVC
CN105578185B (zh) 一种网络视频流的无参考图像质量在线估计方法
CN107749993B (zh) 基于mmse重构的分布式视频编码信源失真估算方法
Zhang et al. A study of FR video quality assessment of real time video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200519

Termination date: 20200814

CF01 Termination of patent right due to non-payment of annual fee