CN114630111B - 一种基于编码信息的无参考压缩视频质量评估方法 - Google Patents
一种基于编码信息的无参考压缩视频质量评估方法 Download PDFInfo
- Publication number
- CN114630111B CN114630111B CN202210526286.1A CN202210526286A CN114630111B CN 114630111 B CN114630111 B CN 114630111B CN 202210526286 A CN202210526286 A CN 202210526286A CN 114630111 B CN114630111 B CN 114630111B
- Authority
- CN
- China
- Prior art keywords
- frame
- level characteristic
- characteristic value
- video
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于无参考视频质量评估领域,具体提供一种基于编码信息的无参考压缩视频质量评估方法,实现在不解码的情况下以更低的时间复杂度获取与人眼主观感受更一致的评估结果。本发明首先提取HEVC码流中与质量相关的特征:编码树划分深度、运动矢量幅值、量化参数值以及跳过模式占比,并计算得到多个帧级特征值;然后利用邻近帧最小值池化与加权池化的结果加权得到池化后帧级特征值,再对池化后帧级特征值进行平均池化,得到视频级编码特征;最后通过GBRT回归的无参考压缩视频质量评估模型得到视觉质量预测分数。综上,本发明实现了在不解码情况下的视频质量评估,且以更低的时间复杂度获取与人眼主观感受更一致的评估结果。
Description
技术领域
本发明属于无参考视频质量评估领域,具体提供一种利用高效视频编码(HighEfficiency Video Coding,HEVC)码流编码信息的无参考压缩视频质量评估方法。
背景技术
伴随着互联网的快速发展,越来越多的短视频在网上快速传播;由于智能设备的普及,用户只需要一部手机就能够完成短视频的拍摄全程,为了能够实现对用户原创视频内容(User Generated Content,UGC)的视觉质量评估,无参考视频质量评估逐渐成为当今的研究热点。
视频在拍摄完成之后,受到硬件存储成本和网络带宽成本的限制,需要对视频进行编码,从而降低视频的文件大小。视频在编码过程中存在与其质量相关的编码信息,比如能够表征视频内容复杂程度的编码树划分深度、与视频质量相关度较高的量化参数值、进一步消除视频时间冗余的运动估计等;基于此,本发明提出一种基于编码信息的无参考压缩视频质量评估方法。
发明内容
本发明的目的在于提供一种基于编码信息的无参考压缩视频质量评估方法,用以实现在不解码情况下完成视频质量评估,以更低的时间复杂度获取与人眼主观感受更一致的评估结果。
为实现上述目的,本发明采用的技术方案为:
一种基于编码信息的无参考压缩视频质量评估方法,其特征在于,包括以下步骤:
步骤1. 编码特征提取;
步骤1.1 通过HM解码软件提取码流视频的编码信息,包含:编码树划分深度、运动矢量幅值、量化参数值、以及每个像素点的跳过模式标记;
步骤1.2针对码流视频的第k帧图像:计算该帧图像的编码树划分深度平均值作为帧级特征值,计算该帧图像的编码树划分深度标准差作为帧级特征值,计算该帧图像的运动矢量幅值平均值作为帧级特征值,计算该帧图像的运动矢量幅值标准差作为帧级特征值,计算该帧图像中零运动矢量像素点个数占像素点总数的比例作为帧级特征值,计算该帧图像中采用跳过模式的像素点个数占像素点总数的比例并取其相反数作为帧级特征值,取该帧图像的量化参数值的相反数作为帧级特征值;
步骤2. 编码特征的时间池化;
步骤3. 编码特征融合;
将视频级编码特征输入至预训练无参考压缩视频质量评估模型中,由无参考压缩视频质量评估模型输出视频质量预测分数。
进一步的,所述步骤3中,无参考压缩视频质量评估模型为GBRT回归树,GBRT回归树的个数设置为64、损失函数为平方误差;GBRT回归树的训练样本为带标签的码流视频,将训练样本经步骤1、步骤2提取得到视频级编码特征作为输入,GBRT回归树的训练目标为样本标签。
进一步的,所述步骤2.1中,池化处理具体为:对帧级特征值进行邻近帧最小值池化与Softmin加权池化,对两个池化结果进行线性加权得到池化后帧级特征值。
本发明的有益效果在于:
本发明提出了一种基于编码信息的无参考压缩视频质量评估方法,首先提取HEVC码流中与质量相关的特征:编码树划分深度、运动矢量幅值、量化参数值以及每个像素点的跳过模式标记,并计算得到多个帧级特征值;然后利用邻近帧最小值池化与加权池化的结果加权得到池化后帧级特征值,再对池化后帧级特征值进行平均池化,得到视频级编码特征;最后通过GBRT回归的无参考压缩视频质量评估模型得到视觉质量预测分数。综上所述,本发明提出了一种仅利用HEVC编码信息的无参考压缩视频质量评估模型,实现了在不解码情况下的视频质量评估,且以更低的时间复杂度获取与人眼主观感受更一致的评估结果。
附图说明
图1为本发明中基于编码信息的无参考压缩视频质量评估方法的流程图。
图2为本发明实施例与对比例在HEVC码流视频质量评估数据集下的性能表现箱型图。
具体实施方式
下面将结合附图对本发明中的技术方案进行进一步详细说明,以使本发明的目的与有益效果更加清楚。
本实施例提供一种基于高效视频编码(High Efficiency Video Coding,HEVC)码流编码信息的无参考压缩视频质量评估方法,其流程如图1所示,主要包括:编码特征提取、编码特征的时间池化、编码特征融合三个部分;具体步骤如下:
步骤1. 编码特征提取;
步骤1.1 通过HM解码软件提取HEVC码流视频的编码信息,包含:编码树划分深度、运动矢量幅值、量化参数值、以及每个像素点的跳过模式标记;
步骤1.2 针对码流视频的第k帧图像:
零运动矢量像素点为运动矢量幅值为零的像素点,采用跳过模式的像素点为跳过模式标记为1的像素点;
步骤2. 编码特征的时间池化;
步骤2.1针对码流视频的第k帧图像:
所述池化处理的具体为:对帧级特征值进行邻近帧最小值池化与Softmin加权池化,再进行线性加权得到池化后帧级特征值;邻近帧最小值池化具体为:
Softmin加权池化具体为:
线性加权具体为:
步骤2.2 针对码流视频的第k帧图像:
步骤2.3 针对码流视频:
步骤3. 编码特征融合;
将视频级编码特征输入至预训练无参考压缩视频质量评估模型中,由无参考压缩视频质量评估模型输出视频质量预测分数;
所述无参考压缩视频质量评估模型为GBRT回归树,GBRT回归树的个数设置为64、损失函数为平方误差;GBRT回归树的训练样本为带标签的码流视频,将训练样本经步骤1、步骤2提取样本的视频级编码特征作为输入,GBRT回归树的训练目标为样本标签。
本实施例还提供两个对比例,其中,对比例1:国际电信联盟组织提出的利用编码信息的视频质量评估方法ITU-P1204.3,对比例2:使用多特征融合的质量评估方法TLVQM;本实施例与对比例在相同测试集上进行测试,测试采用1000次随机划分,采用SROCC、PLCC、KROCC、RMSE、单视频平均耗时作为性能指标,测试结果如表1所示,进一步绘制性能表现箱型图如图2所示;
表1
由表1与图2可见,本发明提出基于编码信息的视频质量评估方法优于对比例1与对比例2,表面利用编码信息进行视频质量评估的有效性和优越性。
综上所述,本发明提出的基于编码信息的视频质量评估方法能够在不解码的情况下、以更低的时间复杂度获取与人眼主观感受更一致的评估结果。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (2)
1.一种基于编码信息的无参考压缩视频质量评估方法,其特征在于,包括以下步骤:
步骤1. 编码特征提取;
步骤1.1 通过HM解码软件提取码流视频的编码信息,包含:编码树划分深度、运动矢量幅值、量化参数值、以及每个像素点的跳过模式标记;
步骤1.2 针对码流视频的第k帧图像:计算该帧图像的编码树划分深度平均值作为帧级特征值,计算该帧图像的编码树划分深度标准差作为帧级特征值,计算该帧图像的运动矢量幅值平均值作为帧级特征值,计算该帧图像的运动矢量幅值标准差作为帧级特征值,计算该帧图像中零运动矢量像素点个数占像素点总数的比例作为帧级特征值,计算该帧图像中采用跳过模式的像素点个数占像素点总数的比例并取其相反数作为帧级特征值,取该帧图像的量化参数值的相反数作为帧级特征值;
步骤2. 编码特征的时间池化;
步骤2.1针对码流视频的第k帧图像:对每一个帧级特征值分别进行池化处理,分别得到池化后帧级特征值、、、、、、;所述池化处理具体为:对帧级特征值进行邻近帧最小值池化与Softmin加权池化,对两个池化结果进行线性加权得到池化后帧级特征值;
步骤3. 编码特征融合;
将视频级编码特征输入至预训练无参考压缩视频质量评估模型中,由无参考压缩视频质量评估模型输出视频质量预测分数。
2.按权利要求1所述基于编码信息的无参考压缩视频质量评估方法,其特征在于,所述步骤3中,无参考压缩视频质量评估模型为GBRT回归树,GBRT回归树的个数设置为64、损失函数为平方误差;GBRT回归树的训练样本为带标签的码流视频,将训练样本经步骤1、步骤2提取得到视频级编码特征作为输入,GBRT回归树的训练目标为样本标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210526286.1A CN114630111B (zh) | 2022-05-13 | 2022-05-13 | 一种基于编码信息的无参考压缩视频质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210526286.1A CN114630111B (zh) | 2022-05-13 | 2022-05-13 | 一种基于编码信息的无参考压缩视频质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114630111A CN114630111A (zh) | 2022-06-14 |
CN114630111B true CN114630111B (zh) | 2022-10-14 |
Family
ID=81907105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210526286.1A Active CN114630111B (zh) | 2022-05-13 | 2022-05-13 | 一种基于编码信息的无参考压缩视频质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114630111B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008077160A1 (en) * | 2006-12-22 | 2008-07-03 | Mobilkom Austria Aktiengesellschaft | Method and system for video quality estimation |
CN107046639A (zh) * | 2016-10-31 | 2017-08-15 | 上海大学 | 基于内容的hevc码流质量预测模型 |
CN108989802A (zh) * | 2018-08-14 | 2018-12-11 | 华中科技大学 | 一种利用帧间关系的hevc视频流的质量估计方法及系统 |
CN114332088A (zh) * | 2022-03-11 | 2022-04-12 | 电子科技大学 | 一种基于运动估计的全参考视频质量评估方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017023829A1 (en) * | 2015-07-31 | 2017-02-09 | Stc.Unm | System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery |
EP3291556A1 (en) * | 2016-08-30 | 2018-03-07 | Deutsche Telekom AG | Method and apparatus for determining the perceptual video quality of a chunk of multimedia content |
US10542262B2 (en) * | 2016-11-15 | 2020-01-21 | City University Of Hong Kong | Systems and methods for rate control in video coding using joint machine learning and game theory |
CN112771570A (zh) * | 2018-08-29 | 2021-05-07 | 瑞典爱立信有限公司 | 视频保真度度量 |
US20210385463A1 (en) * | 2021-08-20 | 2021-12-09 | Intel Corporation | Resource-efficient video coding and motion estimation |
-
2022
- 2022-05-13 CN CN202210526286.1A patent/CN114630111B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008077160A1 (en) * | 2006-12-22 | 2008-07-03 | Mobilkom Austria Aktiengesellschaft | Method and system for video quality estimation |
CN107046639A (zh) * | 2016-10-31 | 2017-08-15 | 上海大学 | 基于内容的hevc码流质量预测模型 |
CN108989802A (zh) * | 2018-08-14 | 2018-12-11 | 华中科技大学 | 一种利用帧间关系的hevc视频流的质量估计方法及系统 |
CN114332088A (zh) * | 2022-03-11 | 2022-04-12 | 电子科技大学 | 一种基于运动估计的全参考视频质量评估方法 |
Non-Patent Citations (1)
Title |
---|
基于编码参数的压缩视频流的图像质量自动评估方法研究;冯昊童;《中国优秀硕士学位论文全文数据库》;20200315;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114630111A (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barman et al. | No-reference video quality estimation based on machine learning for passive gaming video streaming applications | |
US20210051322A1 (en) | Receptive-field-conforming convolutional models for video coding | |
TWI805784B (zh) | 提高影像品質的方法 | |
CN107463989B (zh) | 一种基于深度学习的图像去压缩伪影方法 | |
US20200092556A1 (en) | Efficient Use of Quantization Parameters in Machine-Learning Models for Video Coding | |
CN108184129A (zh) | 一种视频编解码方法、装置及用于图像滤波的神经网络 | |
Göring et al. | nofu—a lightweight no-reference pixel based video quality model for gaming content | |
CN110751597B (zh) | 基于编码损伤修复的视频超分辨方法 | |
CN108293125A (zh) | 一种数字图像处理系统和方法 | |
WO2013143396A1 (zh) | 一种数字视频质量控制方法及其装置 | |
CN112053408B (zh) | 基于深度学习的人脸图像压缩方法及装置 | |
CN112637594B (zh) | 一种基于比特流的无参考3d点云质量评估方法 | |
CN107657228A (zh) | 视频场景相似性分析方法及系统、视频编解码方法及系统 | |
CN110751649A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
Li et al. | User-generated video quality assessment: A subjective and objective study | |
CN109587491A (zh) | 一种帧内预测方法、装置及存储介质 | |
CN114598864A (zh) | 一种基于深度学习的全参考超高清视频质量客观评价方法 | |
Zhu et al. | SJTU 4K video subjective quality dataset for content adaptive bit rate estimation without encoding | |
Löhdefink et al. | GAN-vs. JPEG2000 image compression for distributed automotive perception: Higher peak SNR does not mean better semantic segmentation | |
CN113162895B (zh) | 动态编码方法、流媒体质量确定方法及电子设备 | |
CN114630111B (zh) | 一种基于编码信息的无参考压缩视频质量评估方法 | |
CN108259914B (zh) | 基于物体库的云图像编码方法 | |
WO2023225808A1 (en) | Learned image compress ion and decompression using long and short attention module | |
CN116416216A (zh) | 基于自监督特征提取的质量评价方法、存储介质及终端 | |
Wang et al. | Quality assessment for MPEG-2 video streams using a neural network model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |