CN115134598A - 一种基于qp估计的压缩视频质量盲增强方法 - Google Patents
一种基于qp估计的压缩视频质量盲增强方法 Download PDFInfo
- Publication number
- CN115134598A CN115134598A CN202110319011.6A CN202110319011A CN115134598A CN 115134598 A CN115134598 A CN 115134598A CN 202110319011 A CN202110319011 A CN 202110319011A CN 115134598 A CN115134598 A CN 115134598A
- Authority
- CN
- China
- Prior art keywords
- compressed video
- quality
- estimation
- network
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007906 compression Methods 0.000 claims description 17
- 230000006835 compression Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 235000020061 kirsch Nutrition 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公布了一种基于QP估计的压缩视频质量盲增强方法，主要包括以下步骤：首先预测压缩视频的质量因子(QP)，根据预测结果选取对应训练好的模型增强压缩视频的质量。QP估计通过提取压缩视频具有代表性的样本块，再使用QP估计网络预测样本块的QP从而得到压缩视频的QP。压缩视频增强模型采用多帧网络结构，输入的相邻帧首先通过运动补偿增益有益信息。目标帧与补偿后的相邻帧经过多尺度卷积层来获得细节信息，再进一步通过质量增强子块来补偿与恢复信息，最后利用残差学习加速网络收敛，输出增强后的帧。实验结果表明，本发明方法能够有估计压缩视频的QP，提高压缩视频质量，获得更好的人眼视觉体验。
Description
技术领域
本发明涉及QP估计和压缩视频质量增强技术，具体涉及一种基于QP估计的压缩视频质量盲增强方法，属于图像通信领域。
背景技术
视频编码标准HEVC已经越来越广泛地运用在互联网上来生成视频流。与以前的视频编码标准一样，HEVC压缩视频也会产生压缩效应，如块效应、振铃效应、模糊等，这些压缩效应的存在严重影响了用户的观影体验。为了削弱压缩效应，增强压缩视频的质量，HEVC中采用了环路滤波技术，包括去方块滤波DF和样点自适应补偿SAO两个环路后处理模块，可恢复受损视频的主客观质量，也有助于提高压缩效率。尽管HEVC自带着环路滤波技术，但压缩视频仍存在着压缩效应，所以关于去压缩效应的研究工作仍在进行中。
深度学习在计算机视觉和图像处理领域取得了令人瞩目的成就。当前，基于深度学习的方法也被应用于提高解码视频的质量。对于HEVC标准，大多数后处理方法均是在质量因子已知的情况下来进行的。然而，由于实际压缩视频的质量因子QP可能是未知的，在这种情况下，也需要实用的视频质量增强方法。而对于一些存在的盲方法，是训练全盲的模型，这种全盲的模型虽然能够应用于不知到质量因子的场合，但全盲模型的效果往往一般，因此，如果能将全盲模型转换为非盲模型，既能够用于盲场景，且能够提高效率。众所周知，不同质量因子的HEVC压缩视频，存在不同的压缩效应，可以依据这种不同来检测出压缩视频的质量因子，由此将盲场景转换为非盲场景，再训练非盲场景下训练的CNN网络，得到一个效果较好应用于压缩视频质量盲增强方法。
发明内容
本发明的目的是为了估计出HEVC标准压缩后的视频的质量因子，并根据此质量因子选择对应的质量增强模型来增强HEVC标准压缩后的视频质量。
本发明所提出的一种基于QP估计的压缩视频质量盲增强方法，主要包括以下操作步骤：
(1)提出一种压缩视频质量因子估计算法。
(2)训练不同QP的压缩视频质量增强模型。
(3)根据(1)中的QP估计算法，估计HEVC标准测试视频压缩后的质量因子，根据估计结果选取(2)中对应的训练好的质量增强模型，在输入端输入HEVC压缩后的测试视频序列，在输出端得到质量增强后的视频序列。
附图说明
图1是本发明基于QP估计的盲压缩视频质量增强方法的框图。
图2是本发明的QP估计算法。
图3是本发明的QP估计网络。
图4是本发明的压缩视频质量增强网络结构图。
图5是本发明的质量增强模块结构图。
图6是多尺度特征提取与融合子块结构图。
图7是本发明的质量增强子块结构图。
图8是从上到下分别是序列BasketballPass在QP＝37，序列FourPeople在QP＝37，序列Johnny在QP＝42，序列Akiyo在QP＝47时，HEVC标准和本发明方法以及原图的主观效果视觉质量对比图。
具体实施方式
下面结合附图对本发明作进一步说明。
图1中，具体涉及一种基于QP估计的压缩视频质量盲增强方法，具体可以分为以下几个步骤:
(1)提出一种压缩视频质量因子(QP)估计算法。
(2)提出一种压缩视频质量因子估计网络。
(3)提出一种压缩视频质量增强模型。
(4)根据(1)中的质量因子估计算法，检测HEVC标准压缩后的视频的质量因子，其中用到(2)中的网络，根据估计结果选取(3)中对应的训练好的质量增强模型，在输入端输入HEVC标准压缩后的视频，在输出端得到增强质量后的视频。
具体地，所示步骤(1)中，提出的QP估计算法的基础理论是，使用HEVC压缩视频时，设置不同的QP后，输出的不同QP压缩下的压缩视频存在不同的压缩效应，依据这种压缩效应来估计当前压缩视频的QP，通过提取压缩视频具有代表性的样本块，输入到本发明提出的QP估计网络来预测出当前压缩视频的QP，具体过程本如图2所示，对于压缩视频的若干帧，使用Kirsch提取当前帧的轮廓区域，具体过程是将当前帧分为若干个64×64的样本块，使用Kirsch算子将样本块转到像素域，计算当前帧的方差与样本块的方差，若样本块的方差大于当前帧的方法，则认为该样本块是当前帧的轮廓区域，并且将该样本块输入到(2)中的QP估计网络中预测QP。最后，在所有的QP预测结果中，被预测出次数最多的QP被认为是当前帧的QP，而在一个视频的被预测出QP的若干帧，预测次数最多的QP被认为是该压缩视频的QP。
所示步骤(2)中，设计了压缩视频质量因子估计网络，该网络将样本块输入到网络中来输出预测出的QP，该网络采用密集连接的思路来增强样本块的特征，通过连接层来控制数据量，最后用全局池化层与完全连接层来预测样本块的QP。
所示步骤(3)中，本发明设计了结合相邻帧的质量增强网络，该网络又提出了一种质量增强模块，该模块包含提出的多尺度特征提取与融合子块和一种质量增强子块，网络结构图如图4所示，质量增强模块如图5所示，多尺度特征提取与融合子块如图6所示，质量增强子块如图7所示。
如图4所示，该网络主要由一个运动补偿模块与质量增强模块组成。对于待增强的当前帧，其上下两帧首先通过运动补偿模块进行运动补偿。随后，补偿后的帧与当前帧输入到质量增强模块中得到增强后的帧。运动补偿模块采用的是STMC网络，质量增强模块结构如图5所示，输入的三帧通过多尺度特征提取与融合子块得到融合特征，如图6所示，该子块由3×3的卷积层，5×5的卷积层和7×7的卷积层，这些卷积层提取多尺度特征，随后用“Concat”操作进行特征融合，得到融合特征后，再经过三个质量增强块，最后在利用残差学习加速网络收敛，得到增强后的帧。其中，质量增强块的结构如图5所示，利用“Concat”操作增强特征，利用“split”操作控制特征数量，防止数量量过大。
在训练阶段，分为运动补偿模块与质量增强模块的训练，Ft是待增强的当前帧，F′t-1和F′t+1是运动补偿后的相邻上下帧，
是增强后的帧，θmc是运动补偿模块的参数，
是质量增强模块的参数，则运动补偿块的损失函数为：
质量增强模块的损失函数为：
整个质量增强网络采用联合训练的损失函数，为：
a和b是联合损失函数的权重。
所示步骤(4)中，由于不同质量因子的HEVC压缩视频存在不同的压缩效应，可以通过估计所提取的压缩视频具有代表性的样本块来得到当前压缩视频的质量因子，未知质量因子的压缩视频首先通过步骤(1)中提出的压缩视频质量因子估计算法，预测出对应的质量因子，根据质量因子选择步骤(3)中训练好的对应的质量增强模型，然后，这些压缩视频再输入到选择好的质量增强模型，得到质量增强后的视频。
为了更好地说明本发明的有效性，选择出四个测试序列“BasketballPass”,“FourPeople”，“Johnny”，“Akiyo”与压缩标准HEVC对比，主观视觉效果如图8所示。表二展示了本发明在压缩视频在QP＝37的QP估计结果与相较于HEVC压缩标准所提升的PSNR。表二展示了本发明方法与其他盲方法的PSNR对比，表三展示了本发明与其他非盲方法的PSNR对比，表明了本发明能有效提升压缩视频的质量，实验结果对于其他测试序列具有普适性。
对比的方法为:
方法1:Y.Kim,等人提出的方法，参考文献“A Pseudo-Blind ConvolutionalNeural Network for the Reduction of Compression Artifacts,"in IEEETransactions on Circuits and Systems for Video Technology,vol.30,no.4,pp.1121-1135,April2020,doi:10.1109/TCSVT.2019.2901919.
方法2:Z.Guan,Q.Xing,等人提出的方法，参考文献“MFQE 2.0:A New Approachfor Multi-Frame Quality Enhancement on Compressed Video”,in IEEE Transactionson Pattern Analysis and Machine Intelligence,vol.43,no.3,pp.949-963,1March2021,doi:10.1109/TPAMI.2019.2944806.
表一 本发明在QP＝37的估计结果与相对于HEVC压缩标准所提升的PSNR
表二 本发明方法与其他盲方法的PSNR对比
表三 本发明与其他非盲方法的PSNR对比
Claims (5)
1.一种基于QP估计的压缩视频质量盲增强方法，其特征在于包括以下步骤：
步骤一：提出一种基于QP估计的压缩视频质量盲增强方法，目前一般的HEVC压缩视频质量增强方法都是在已知质量因子(QP)下进行的，然而在实际应用中，真实场景下的压缩视频的QP往往是不知道，因此选择盲增强方法更加有效，但一般的盲方法是全盲方法，这种盲方法的提升效果往往一般，该基于QP估计的压缩视频质量盲增强方法通过步骤二中的压缩视频质量因子(QP)估计算法来估计HEVC压缩视频的QP，将盲场景转换为非盲场景，再通过步骤三中的非盲场景下训练的质量增强网络来提高HEVC压缩视频的质量，获得更好提升效果；
步骤二：提出一种压缩视频质量因子估计算法；
步骤三：提出一种压缩视频质量因子估计网络；
步骤四：提出一种压缩视频质量增强网络。
2.根据权利要求1所述的一种基于QP估计的压缩视频质量盲增强方法，其特征在于步骤一中所述的过程，该过程由于不同质量因子的HEVC压缩视频存在不同的压缩效应，可以通过估计所提取的压缩视频具有代表性的样本块来得到当前压缩视频的质量因子，再针对性选择对应的质量增强网络得到增强后的视频，具体过程是通过步骤二中提出的压缩视频质量因子估计算法，估计得到对应的质量因子，根据质量因子选择步骤四中训练好的对应的质量增强模型，然后，这些压缩视频再输入到选择好的质量增强模型，最后得到质量增强的视频。
3.根据权利要求1所述的一种基于QP估计的压缩视频质量盲增强方法，其特征在于步骤二中所述的压缩视频质量因子估计算法，该算法的基础理论是，使用HEVC压缩视频时，设置不同的QP后，输出的不同QP压缩下的压缩视频存在不同的压缩效应，依据这种压缩效应来估计当前压缩视频的QP，通过提取压缩视频具有代表性的样本块，输入到步骤三中提出的QP估计网络来预测出当前压缩视频的QP，对于压缩视频的若干帧，使用Kirsch提取当前帧的轮廓区域，具体过程是将当前帧分为若干个64×64的样本块，使用Kirsch算子将样本块转到像素域，计算当前帧的方差与样本块的方差，若样本块的方差大于当前帧的方法，则认为该样本块是当前帧的轮廓区域，并且将该样本块输入到QP估计网络中预测QP，最后，在所有的QP预测结果中，被预测出次数最多的QP被认为是当前帧的QP，而在一个视频的被预测出QP的若干帧，预测次数最多的QP被认为是该压缩视频的QP。
4.根据权利要求1所述的一种基于QP估计的压缩视频质量盲增强方法，其特征在于步骤三中所述的压缩视频质量因子估计网络，将样本块输入到网络中来输出预测出的QP，该网络采用密集连接的思路来增强样本块的特征，通过连接层来控制数据量，最后用全局池化层与完全连接层来预测样本块的QP。
5.根据权利要求1所述的一种基于QP估计的压缩视频质量盲增强方法，其特征在于步骤四中所述的压缩视频质量增强网络，该网络是一种多帧输入的质量增强网络，输入是连续的三帧，分别是目标帧与目标帧相邻的上一帧与下一帧，相邻的两帧首先输入到运动补偿模块进行运动补偿，随后，补偿后的相邻帧与目标帧一起输入到提出的质量增强模块中，经过特征提取，融合与增强等操作，再利用残差学习的思想来得到质量增强后的目标帧，质量增强模块中包含了所提出的融合子块，质量增强子块等网络结构，融合子块由3×3的卷积层，5×5的卷积层和7×7的卷积层组成，这些卷积层提取多尺度特征，随后用“Concat”操作进行特征融合，质量增强块运用残差学习的思路增强特征，其中，具体是利用“Concat”操作增强特征，利用“split”操作控制特征数量，防止数据量过大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319011.6A CN115134598A (zh) | 2021-03-25 | 2021-03-25 | 一种基于qp估计的压缩视频质量盲增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110319011.6A CN115134598A (zh) | 2021-03-25 | 2021-03-25 | 一种基于qp估计的压缩视频质量盲增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115134598A true CN115134598A (zh) | 2022-09-30 |
Family
ID=83374345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110319011.6A Pending CN115134598A (zh) | 2021-03-25 | 2021-03-25 | 一种基于qp估计的压缩视频质量盲增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115134598A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040114685A1 (en) * | 2002-12-13 | 2004-06-17 | International Business Machines Corporation | Method and system for objective quality assessment of image and video streams |
| US20090296808A1 (en) * | 2008-06-03 | 2009-12-03 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| CN108307193A (zh) * | 2018-02-08 | 2018-07-20 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
| CN112399176A (zh) * | 2020-11-17 | 2021-02-23 | 深圳大学 | 一种视频编码方法、装置、计算机设备及存储介质 |
| CN112422993A (zh) * | 2019-08-21 | 2021-02-26 | 四川大学 | 一种结合卷积神经网络的hevc视频质量增强算法框架 |
-
2021
- 2021-03-25 CN CN202110319011.6A patent/CN115134598A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040114685A1 (en) * | 2002-12-13 | 2004-06-17 | International Business Machines Corporation | Method and system for objective quality assessment of image and video streams |
| US20090296808A1 (en) * | 2008-06-03 | 2009-12-03 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| CN108307193A (zh) * | 2018-02-08 | 2018-07-20 | 北京航空航天大学 | 一种有损压缩视频的多帧质量增强方法及装置 |
| CN109257600A (zh) * | 2018-11-28 | 2019-01-22 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| CN111726638A (zh) * | 2019-03-18 | 2020-09-29 | 四川大学 | 一种结合去压缩效应与超分辨率的hevc编码优化方法 |
| CN112422993A (zh) * | 2019-08-21 | 2021-02-26 | 四川大学 | 一种结合卷积神经网络的hevc视频质量增强算法框架 |
| CN112399176A (zh) * | 2020-11-17 | 2021-02-23 | 深圳大学 | 一种视频编码方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| M. A. PAPADOPOULOS ET AL.: "Video quality enhancement via QP adaptation based on perceptual coding maps", 2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 22 February 2018 (2018-02-22) * |
| R. YANG ET AL.: "Multi-frame Quality Enhancement for Compressed Video", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 16 December 2018 (2018-12-16) * |
| Y. KIM ET AL.: "A Pseudo-Blind Convolutional Neural Network for the Reduction of Compression Artifacts", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 30, no. 4, 30 April 2020 (2020-04-30), pages 1 - 5, XP011781831, DOI: 10.1109/TCSVT.2019.2901919 * |
| 王婷;何小海;孙伟恒;熊淑华;KARN PRADEEP;: "结合卷积神经网络的HEVC帧内编码压缩改进算法", 太赫兹科学与电子信息学报, no. 02, 25 April 2020 (2020-04-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cui et al. | Convolutional neural networks based intra prediction for HEVC | |
| Zhao et al. | Enhanced bi-prediction with convolutional neural network for high-efficiency video coding | |
| CN108012157B (zh) | 用于视频编码分数像素插值的卷积神经网络的构建方法 | |
| CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
| CN111866521B (zh) | 一种视频图像压缩伪影去除方法 | |
| Moorthy et al. | Efficient motion weighted spatio-temporal video SSIM index | |
| Moorthy et al. | Efficient video quality assessment along temporal trajectories | |
| WO2007071172A1 (en) | Auto-regressive method and filter for denoising images and videos | |
| WO2018117896A1 (en) | Low complexity mixed domain collaborative in-loop filter for lossy video coding | |
| KR100929608B1 (ko) | 고속 전역탐색 블록정합 알고리즘을 이용한 동영상 움직임추정 방법 및 장치 | |
| Soh et al. | Reduction of video compression artifacts based on deep temporal networks | |
| CN111031315B (zh) | 基于注意力机制和时间依赖性的压缩视频质量增强方法 | |
| CN111479110A (zh) | 针对h.266/vvc的快速仿射运动估计方法 | |
| Al-Najdawi et al. | A frequency based hierarchical fast search block matching algorithm for fast video communication | |
| JP2001320713A (ja) | 画像予備処理方法 | |
| CN113592746B (zh) | 一种由粗到细地融合时空信息的压缩视频质量增强方法 | |
| EP4049244A1 (en) | Ultra light models and decision fusion for fast video coding | |
| CN114202463A (zh) | 面向云端融合的视频超分辨率方法及系统 | |
| Zhang et al. | Video compression artifact reduction by fusing motion compensation and global context in a swin-CNN based parallel architecture | |
| CN115134598A (zh) | 一种基于qp估计的压缩视频质量盲增强方法 | |
| Kulkarni et al. | Coding of video sequences using three step search algorithm | |
| Marvasti-Zadeh et al. | A novel boundary matching algorithm for video temporal error concealment | |
| CN114071166B (zh) | 一种结合qp检测的hevc压缩视频质量提升方法 | |
| Fengwei et al. | Fast Algorithm Design of HEVC Intra Prediction | |
| Sun et al. | IQNet: Image Quality Assessment Guided Just Noticeable Difference Prefiltering For Versatile Video Coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |