CN114071166B - 一种结合qp检测的hevc压缩视频质量提升方法 - Google Patents

一种结合qp检测的hevc压缩视频质量提升方法 Download PDF

Info

Publication number
CN114071166B
CN114071166B CN202010773917.0A CN202010773917A CN114071166B CN 114071166 B CN114071166 B CN 114071166B CN 202010773917 A CN202010773917 A CN 202010773917A CN 114071166 B CN114071166 B CN 114071166B
Authority
CN
China
Prior art keywords
video
sample block
quality
hevc
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010773917.0A
Other languages
English (en)
Other versions
CN114071166A (zh
Inventor
何小海
周航
帅鑫
王正勇
熊淑华
卡恩·普拉迪普
卿粼波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010773917.0A priority Critical patent/CN114071166B/zh
Publication of CN114071166A publication Critical patent/CN114071166A/zh
Application granted granted Critical
Publication of CN114071166B publication Critical patent/CN114071166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种结合QP检测的HEVC压缩视频质量提升方法，主要包括以下步骤：首先检测解码视频帧的QP，根据检测的结果选取对应的网络模型提升视频帧的质量。视频后处理模型采用时空网络结构，在空间上，采用了改进后的U‑Net分层的网络结构，通过减小特征映射的尺寸来减小数据量，同时减小压缩效应的尺寸。另外还结合了多个不同的卷积核提取视频帧的多尺度空间先验信息。在时间上，由于视频帧之间的相关性和质量波动特点，提取了目标帧与多个相邻帧之间的运动流图信息，这样助于弥补目标帧缺失的细节信息，并结合增强后的I帧来恢复目标帧的高频细节。实验结果表明，本发明方法能够有效地抑制视频的压缩效应，提升视频质量，获得更好的视觉效果。

Description

一种结合QP检测的HEVC压缩视频质量提升方法
技术领域
本发明涉及QP检测和压缩视频质量提升技术，具体涉及一种结合QP检测的HEVC压缩视频质量提升方法，属于图像通信领域。
背景技术
视频编码标准HEVC已经越来越广泛地运用在互联网上来生成视频流。与以前的视频编码标准一样，HEVC压缩视频也会产生压缩效应，如块效应、振铃效应、模糊等，这些压缩效应的存在严重影响了用户的体验。为了削弱压缩效应的影响，HEVC中采用了环路滤波技术，包括去方块滤波DF和样点自适应补偿SAO两个环路后处理模块，可恢复受损视频的主客观质量，也有助于提高压缩效率。尽管HEVC自带着环路滤波技术，但也很难保证其编码的最佳效率，所以关于去压缩效应的研究工作仍在进行中。
深度学习在计算机视觉和图像处理领域取得了令人瞩目的成就。当前，基于深度学习的方法也被应用于提高解码视频的质量。对于HEVC标准，大多数后处理方法均是在量化参数已知的情况下来进行的。然而，由于实际压缩视频的量化参数QP可能是未知的，在这种情况下，也需要实用的视频去压缩方法。众所周知，使用已知质量因子场景训练的CNN要比未知质量因子场景训练的CNN更有效果。那么对于视频而言，量化参数便成了一个很重要的纽带。通过检测量化参数便可以将实际的盲状态转换为非盲状态，对于压缩视频质量的提升会起到事半功倍的效果。
发明内容
本发明的目的是为了检测出HEVC标准压缩后的视频的质量因子，并根据此质量因子选择对应的后处理模型来提升HEVC标准压缩后的视频帧的质量。
本发明所提出的一种结合QP检测的HEVC压缩视频质量提升方法，主要包括以下操作步骤：
(1)设计HEVC压缩视频质量因子检测器。
(2)训练不同QP的HEVC压缩视频后处理模型。
(3)根据(1)中的QP检测器，检测HEVC标准测试视频序列压缩后的量化参数，根据检测结果选取(2)中对应的训练好的后处理模型，在输入端输入上述HEVC压缩后的测试视频序列，在输出端得到提升质量后的视频序列。
附图说明
图1是本发明结合QP检测的HEVC压缩视频质量提升方法的框图。
图2是本发明的QP检测网络。
图3是本发明的HEVC后处理结构图。
图4是本发明的MS多尺度模块结构图。
图5是本发明的PM投影模块。
图6是KristenAndSara_1280×720序列在QP＝42时，HEVC标准和本发明方法以及两种对比方法的主观效果视觉质量对比图，图(a)是该序列经过HEVC标准压缩后的一帧，PSNR为33.49dB，图(b)是该序列经过HEVC标准压缩后再经过对比方法[1]处理后的同一帧，PSNR为34.01dB，图(c)是该序列经过HEVC标准压缩后再经过对比方法[2]处理后的同一帧，PSNR为34.36dB，图(d)是该序列经过HEVC标准压缩后再经过本发明处理后的同一帧，PSNR为34.67dB。
图7是RaceHorses_416×240序列QP＝42时，HEVC标准和本发明方法以及两种对比方法的主观效果视觉质量对比图，图(a)是该序列经过HEVC标准压缩后的一帧，PSNR为26.09dB，图(b)是该序列经过HEVC标准压缩后再经过对比方法[1]处理后的同一帧，PSNR为26.37dB，图(c)是该序列经过HEVC标准压缩后再经过对比方法[2]处理后的同一帧，PSNR为26.32dB，图(d)是该序列经过HEVC标准压缩后再经过本发明处理后的同一帧，PSNR为26.69dB。
具体实施方式
下面结合附图对本发明作进一步说明。
图1中，具体涉及一种结合QP检测的HEVC压缩视频质量提升方法，具体可以分为以下几个步骤:
(1)设计HEVC压缩视频质量因子检测器。
(2)训练不同QP的HEVC压缩视频后处理模型。
(3)根据(1)中的QP检测器，检测HEVC标准压缩后的视频序列的量化参数，根据检测结果选取(2)中对应的训练好的后处理模型，在输入端输入HEVC标准压缩后的视频序列，在输出端得到提升质量后的视频序列。
具体地，所示步骤(1)中，构建视频帧样本块QP检测网络，本发明网络结构如图2所示，采用19层卷积核为3×3的卷积层，卷积步长固定为1个像素。网络中包含3个最大池化层，每个池化层在2×2的窗口上执行，步长为2，每两个池化层之间间隔4层卷积层。第3个池化层之后是3个完全连接层，每层包含512个信道，最后一层是Soft-max层。输入样本块的尺寸设置为64×64。
在构建训练集时，原始图像进行非重叠分块，分为64×64大小的样本块，然后采用Kirsch算子将样本块转换为梯度域，再分别计算样本块在像素域和梯度域的方差，若样本块在梯度域中的方差大于等于1028，则判断该样本块在像素域中的方差，若梯度域方差小于1028，则舍弃该样本块；若样本块在像素域中的方差大于等于3050，则将该样本块加入纹理样本块集合，若像素域方差小于3050，则舍弃该样本块。
所示步骤(2)中，本发明设计了结合相邻帧的时空网络结构，网络结构图如图3所示，在时间上，由于视频帧之间的相关性和质量波动特点，本发明利用PM投影模块结合目标帧与多个相邻帧之间的运动流图来弥补目标帧的细节信息，并结合恢复后的I帧来弥补更多的高频细节。在空间上，本发明利用MS多尺度模块捕获视频帧的多尺度空间先验信息。该模块采用了7×7，5×5，3×3大小的卷积捕获多尺度空间先验信息。网络整体上分为收缩路径和扩展路径两个部分。在收缩路径中采用7×7和5×5的卷积核获取视频帧的两种尺度的特征，获得特征的通道数均为64。本发明中，5×5卷积核的步长设置为2，特征映射被下采样为原始大小的四分之一，与此同时，将输出特征映射的数量加倍，即变为128，然后采用残差组进行特征增强。本章的网络结构沿着路径循环两次上述过程。第二次进行特征缩放时，采用3×3卷积核。在扩展路径中，采用亚像素插值方法对特征映射进行上采样，本发明通过Concat操作将上采样块的输出与下采样块的输入相连接。同样，在扩展路径中，本发明的网络沿着路径循环两次上述过程。经过扩展路径之后，网络采用1×1卷积来产生最终的输出。最后，将全局残差学习应用到本发明的网络中，通过将学习到的残差信息应用到输入视频帧来生成输出视频帧。
在训练阶段，
Figure BDA0002617667020000031
是原始帧的样本块，
Figure BDA0002617667020000032
是相应的编码帧的样本块。F(·)表示压缩视频后处理网络，θ1表示后处理网络的参数。由上，压缩视频后处理网络的损失函数表示为：
Figure BDA0002617667020000041
所示步骤(3)中，由于实际压缩视频的码流信息是未知的，码流信息中的重要参数—量化参数，可以作为反映视频帧压缩质量的代表参数，未知量化参数的压缩视频首先输入到步骤(1)中提出的视频质量因子检测器，估测到对应的质量因子，根据质量因子选择步骤(2)中训练好的对应的后处理模型，然后，这些压缩视频再输入到选择好的后处理模型，最后得到质量提升的视频帧。
为了更好地说明本发明的有效性，选择出两个测试序列“KristenAndSara_1280×720”,“RaceHorses_416×240”与压缩标准HEVC以及其他方法对比，主观视觉效果如图3及图4所示。表一展示了本发明方法及视频压缩标准HEVC的SSIM和PSNR对比，表明了本发明算法能有效提升压缩视频的质量。表二展示了本发明与其他方法的PSNR对比，表明了本发明优于经典的卷积神经网络方法，实验结果对于其他测试序列具有普适性。
对比的方法为:
方法1:Kim Y,Soh J W,Park J等人提出的方法，参考文献“A Pseudo-BlindConvolutional Neural Network for the Reduction of Compression Artifacts[J].IEEE Transactions on Circuits Systems for Video Technology,2019,30(4):1121-1135.”。
方法2:Lu M,Chen T,Liu H等人提出的方法,参考文献“Learned ImageRestoration for VVC Intra Coding[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition Workshops.2019:16-20.”。
表一 HEVC标准和本发明的PSNR对比
Figure BDA0002617667020000042
Figure BDA0002617667020000051
表二 本发明与对比方法的PSNR对比
Figure BDA0002617667020000052
Figure BDA0002617667020000061

Claims (1)

1.一种结合QP检测的HEVC压缩视频质量提升方法，其特征在于设计一种HEVC压缩视频质量因子检测器，然后设计并训练HEVC压缩视频质量后处理模型，并根据质量因子检测器的质量因子选择对应的后处理模型，得到质量提升的视频帧，其步骤如下：
(1)构建训练集，将原始图像进行非重叠分块，分为64×64大小的样本块，然后采用Kirsch算子提取压缩视频的空域边缘信息；
具体做法是将样本块转换为梯度域，再分别计算样本块在像素域和梯度域的方差，若样本块在梯度域中的方差大于等于1028，则判断该样本块在像素域中的方差，若梯度域方差小于1028，则舍弃该样本块；若样本块在像素域中的方差大于等于3050，则将该样本块加入纹理样本块集合，若像素域方差小于3050，则舍弃该样本块；
(2)构建质量因子检测网络，其输入是未舍弃的大小为64×64的样本块；
其网络结构如下，采用19层卷积核为3×3的卷积层，卷积步长固定为1个像素；网络中包含3个最大池化层，每个池化层在2×2的窗口上执行，步长为2，每两个池化层之间间隔4层卷积层；第3个池化层之后是3个完全连接层，每层包含512个信道，最后一层是Soft-max层；输入样本块的尺寸设置为64×64；
(3)检测HEVC标准压缩后的视频序列的量化参数，根据检测结果选取对应的后处理模型，在输入端输入HEVC标准压缩后的视频序列，在输出端得到提升质量后的视频序列。
CN202010773917.0A 2020-08-04 2020-08-04 一种结合qp检测的hevc压缩视频质量提升方法 Active CN114071166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010773917.0A CN114071166B (zh) 2020-08-04 2020-08-04 一种结合qp检测的hevc压缩视频质量提升方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010773917.0A CN114071166B (zh) 2020-08-04 2020-08-04 一种结合qp检测的hevc压缩视频质量提升方法

Publications (2)

Publication Number Publication Date
CN114071166A CN114071166A (zh) 2022-02-18
CN114071166B true CN114071166B (zh) 2023-03-03

Family

ID=80232110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010773917.0A Active CN114071166B (zh) 2020-08-04 2020-08-04 一种结合qp检测的hevc压缩视频质量提升方法

Country Status (1)

Country Link
CN (1) CN114071166B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194616A1 (en) * 2008-10-01 2011-08-11 Nxp B.V. Embedded video compression for hybrid contents
CN102970528A (zh) * 2012-12-28 2013-03-13 北京航空航天大学 基于变化检测和帧差累积的视频对象分割方法
CN103281554A (zh) * 2013-04-23 2013-09-04 宁波大学 一种基于人眼视觉特性的视频客观质量评价方法
CN108989802A (zh) * 2018-08-14 2018-12-11 华中科技大学 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194616A1 (en) * 2008-10-01 2011-08-11 Nxp B.V. Embedded video compression for hybrid contents
CN102970528A (zh) * 2012-12-28 2013-03-13 北京航空航天大学 基于变化检测和帧差累积的视频对象分割方法
CN103281554A (zh) * 2013-04-23 2013-09-04 宁波大学 一种基于人眼视觉特性的视频客观质量评价方法
CN108989802A (zh) * 2018-08-14 2018-12-11 华中科技大学 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法

Also Published As

Publication number Publication date
CN114071166A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
Liang et al. Vrt: A video restoration transformer
Lu et al. Deep kalman filtering network for video compression artifact reduction
Xu et al. Non-local convlstm for video compression artifact reduction
Chen et al. DPW-SDNet: Dual pixel-wavelet domain deep CNNs for soft decoding of JPEG-compressed images
Maggioni et al. Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
CN108900848B (zh) 一种基于自适应可分离卷积的视频质量增强方法
Moorthy et al. Efficient motion weighted spatio-temporal video SSIM index
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
Li et al. An in-loop filter based on low-complexity CNN using residuals in intra video coding
Lu et al. Learned quality enhancement via multi-frame priors for HEVC compliant low-delay applications
CN112218094A (zh) 一种基于dct系数预测的jpeg图像去压缩效应方法
CN113066022A (zh) 一种基于高效时空信息融合的视频比特增强方法
Jia et al. Residual guided deblocking with deep learning
Zhang et al. Spatial-temporal color video reconstruction from noisy CFA sequence
CN114071166B (zh) 一种结合qp检测的hevc压缩视频质量提升方法
Hsu et al. Wavelet approximation-aware residual network for single image deraining
Kirmemis et al. Learned compression artifact removal by deep residual networks
Nair et al. A combination of learning and non-learning based method for enhancement, compression and reconstruction of underwater images
Sadaka et al. Efficient super-resolution driven by saliency selectivity
Choudhury et al. Low bit-rate compression of video and light-field data using coded snapshots and learned dictionaries
CN115272113A (zh) 一种基于多尺度频率分离网络的图像去模糊方法
CN114549361A (zh) 一种基于改进U-Net模型的去图像运动模糊方法
Cao et al. Wavelet-supervision convolutional neural network for restoration of JPEG-LS near lossless compression image
Shuai et al. A video compression artifact reduction approach combined with quantization parameters estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant