CN112422993A - 一种结合卷积神经网络的hevc视频质量增强算法框架 - Google Patents

一种结合卷积神经网络的hevc视频质量增强算法框架 Download PDF

Info

Publication number
CN112422993A
CN112422993A CN201910771568.6A CN201910771568A CN112422993A CN 112422993 A CN112422993 A CN 112422993A CN 201910771568 A CN201910771568 A CN 201910771568A CN 112422993 A CN112422993 A CN 112422993A
Authority
CN
China
Prior art keywords
frame
quality
hevc
video
distribution information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910771568.6A
Other languages
English (en)
Other versions
CN112422993B (zh
Inventor
何小海
孙伟恒
熊淑华
卡恩·普拉迪普
苏姗
卿粼波
滕奇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910771568.6A priority Critical patent/CN112422993B/zh
Publication of CN112422993A publication Critical patent/CN112422993A/zh
Application granted granted Critical
Publication of CN112422993B publication Critical patent/CN112422993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种结合卷积神经网络的HEVC视频质量增强算法框架，所提框架分为两个部分：首先在编码端对I帧构建CNN环路滤波网络IFN‑ND，以此替代HEVC原有的环路滤波器，这样就提升了I帧的质量。I帧作为后续P帧的参考帧，其质量的提升能够减少残差并初步提高P帧的质量；在解码端针对P帧构建了CNN后处理网络PQEN‑ND对解码后的P帧质量进行进一步的提升。算法框架还从码流信息中提取HEVC压缩噪声分布信息，加入到所提卷积神经网络中，以进一步提升网络效果。实验结果表明，所提算法框架能够显著地提升压缩视频质量。本发明可广泛应用于数字电影拍摄传输、文体活动直播、远程教育培训和目标检测等领域。

Description

一种结合卷积神经网络的HEVC视频质量增强算法框架
技术领域
本发明涉及图像通信领域中的视频编码及视频处理技术问题，尤其是涉及结合卷积神经网络的搭建和优化。
背景技术
近年来，随着智能手机和可穿戴智能设备的迅速发展，更多的视频应用逐渐开始被人们所使用在社交媒体、智能监控等领域。但受限于传输带宽和存储资源的不足，视频通常要经过有损压缩，目前主流的压缩标准HEVC于2013年2月被正式公布，它显著地提升了视频的编码效率。相较于前代视频编码标准H.264/AVC，在客观质量基本不变的前提下可节约50％的码率。然而，在有损压缩过程中尤其是在低码率段，会使视频中出现一定的压缩效应，如块效应，振铃效应，模糊等。这些压缩效应除了会使得解码端的视频质量严重下降，除了导致不佳的观看体验，也会影响一些视频处理应用的效果和精度，如目标识别和分类。因此，非常有必要去研究如何在编解码端两端有效提升解码视频质量。
受到深度学习在图像质量增强取得的成功的启发，许多学者尝试将深度卷积神经网络引入至压缩视频的质量增强。与压缩图片质量增强的思路相类似，一些学者提出在解码端对视频进行质量增强，Wang等人提出了一种非常深的卷积神经网络叫做DCAD，通过利用比特流和外部图像中剩余的未充分利用的信息，自动去除伪像并增强HEVC压缩视频的细节。Li等人采用了深度更深的网络及更丰富的数据集进行训练，提出了FECNN，在帧内编码实现了5.5％的码率提升。考虑到视频的时间冗余性，即视频的相邻帧往往比较相似。Yang等人提出了一种多帧增强的网络MFQE，首先在解码视频中检测质量高的帧，再利用解码视频中质量较高的帧对质量较低的帧进行质量提升，取得非常不错的效果。后续的作者在MFQE的基础上又继续提出了MFQE2.0，在主体思路不变的基础上构建了更大的数据集，优化了部分算法，进一步提升了多帧视频质量增强的效果。
考虑到视频的编码过程与图像编码不同，还包括帧间编码。在一帧编码完成后，编码端中所包含解码器会将编码好的码流重建为重建帧，作为后续P帧的参考帧，因此，提升重建帧的视频质量除了可以提升当前帧的视频质量更可以减少后续帧的预测误差，达到降低码率的作用。Park和Kim首先提出一种使用卷积神经网络来进行环内滤波的方法，称为IFCNN，采用神经网络替换HEVC后处理技术中的SAO，引入残差网络的思想提升训练的速度。Dai等人基于ARCNN和IFCNN的思想提出了VRCNN，完全替换HEVC的标准环路滤波器DF和SAO。
发明内容
针对HEVC压缩视频的质量提升问题，较少的工作考虑到利用编码信息和编码规律，以及考虑同时在编解码两端构建质量提升算法。针对以上问题，本文发明提出一种结合卷积神经网络的HEVC视频质量增强算法框架，在合理的时间复杂度范围内，尽可能地提高压缩视频质量。
本发明的基本思想是充分结合压缩视频码流中的噪声分布信息，在编解码两端分别构建卷积神经网络来充分去除压缩视频中的各类压缩效应，来达到提升HEVC压缩视频质量的目的。首先，关闭HEVC标准内置的环路滤波器SAO和DF，将原始视频通过HEVC压缩后，从码流中提取压缩噪声分布信息，将这些信息与所提的I帧环路滤波网络IFN-ND进行结合，从而提升I帧的编码质量；在解码端用类似的方式提取噪声分布信息，并与所提的P帧质量增强网络PQEN-ND进行结合，提升视频中P帧的质量。
具体主要包括以下过程步骤：
(1)构建一种从码流信息中提取噪声分布信息的方法。首先考虑到噪声主要分布于CU的块边界和视频中所包含对象的边缘区域，我们从码流信息中提取CU的分割信息，并利用Canny算子计算视频帧的梯度信息，通过二值化获得对应的边缘信息分布图，将二者进行合并，得到噪声信息分布图。这一过程如图1所示。
(2)构建了结合噪声分布信息的I帧环路滤波卷积神经网络IFN-ND，其网络结构如图2所示，分为特征提取、特征增强部分和重建三部分。首先采用一个卷积层提取噪声分布图和输入压缩图像的初步特征，而后这些特征通过Concat操作融合在一起。经过一个Decimation Layer能将原先的特征图下采为四个不丢失信息的小图，这样可以减少网络的复杂度，同时由于感受野的提升，也可以一定程度提高网络效果。然后经过多个级联的IMSRB模块输出不同层次的特征，再采用一个瓶颈层(Bottleneck Layer)从各层特征中自适应地提取有用信息。其中每一个IMSRB包含若干个1×1、3×3和5×5的卷积核来检测不同尺度的编码帧特征，还包含的卷积核来降低网络参数。网络中利用了大量局部残差学习和全局残差学习的方式让网络变得更加高效。
(3)将原始视频经H.265/HEVC编码，其中在编码端中嵌入了所提出的结合噪声分布信息的I帧环路滤波网络IFN-ND，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频。
(4)在解码端提出了针对P帧质量增强的卷积神经网络PQEN-ND，其网络结构如图3所示考虑到P帧压缩效应产生的原因比只有帧内编码模式的I帧编码更为复杂，需要同时抑制帧内编码块和帧间编码块造成的失真，在IFN-ND的基础上PQEN-ND具有双路结构，能达到更好的效果。
(5)将所提出的PQEN-ND嵌入解码端，构建成完整的HEVC压缩视频质量增强算法框架，如图4所示。原始视频在通过HEVC压缩时，其I帧通过编码端IFN-ND进行质量提升，I帧的质量更好，后续将I帧作为参考帧的P帧编码时可以获得更准确的预测编码，能一定程度降低编码码率，同时初步提升P帧的质量，在解码端，通过PQEN-ND对这些P帧进一步提升质量。
实验结果表明，本发明的HEVC压缩视频质量增强算法框架相比HEVC，能获得更优的质量提升。
附图说明
图1压缩噪声分布信息提取图；
图2(a)结合噪声分布信息的I帧环路滤波网络(IFN-ND)框图,(b)IMSRB模块；
图3结合噪声分布信息的P帧质量增强网络(PQEN-ND)框图；
图4所提HEVC压缩视频质量增强算法框图。
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
本发明的结合卷积神经网络的HEVC视频质量增强算法框架，与H.265/HEVC标准测试模型HM16.0比较过程如下：
1.配置文件为encoder_lowdelay_P_main.cfg，H.265/HEVC标准量化步长(QP)和本发明算法量化步长(QP)均选取27，32，37，42，47；
2.编码的对象为标准测试视频序列来自HEVC标准测试序列的5个Class的18个视频序列，其分辨率包括：2560×1600、1920×1080、1280×720、832×480、416×240；
3.将所提出的结合噪声分布信息的I帧环路滤波卷积神经网络IFN-ND嵌入至HEVC编码端，替代标准环路滤波器SAO和DF。
4.将待编码视频分别利用HM16.0标准方法和本发明所提算法框架进行编码和处理，本算法框架在解码端还要对解码视频通过所提出的结合噪声分布信息的P帧质量增强卷积神经网络PQEN-ND进行质量提升，计算得到的解码视频的客观参数PSNR；
5.实验结果如表1所示，统计显示，本发明方法PSNR超过H.265/HEVC。
表1本发明方法与H.265/HEVC标准PSNR的比较
Figure BDA0002173709830000051

Claims (6)

1.一种结合卷积神经网络的HEVC视频质量增强算法框架，其特征在于：
(1)构建一种结合HEVC压缩噪声特性的压缩视频质量增强算法框架，在编解码两端分别构建IFN-ND和PQEN-ND网络来提升I帧和P帧的质量；
(2)将原始视频经H.265/HEVC编码，并从编码码流中提取对应的CU分割信息和边缘信息，将二者合并后称之为噪声分布信息；
(3)结合噪声分布信息，提出I帧环路滤波网络IFN-ND来替代HEVC中环路滤波器SAO和DF对I帧进行质量提升，得到压缩后的视频码流，对视频码流经H.265/HEVC解码后得到解码视频；
(4)对解码视频提取噪声分布信息，提出一种结合噪声分布信息的P帧质量增强卷积神经网络PQEN-ND，对P帧进行质量增强。
2.如权利要求1所述的结合卷积神经网络的HEVC视频质量增强算法框架，其特征在于在编解码两端分别针对I帧和P帧的特性构建卷积神经网络，并从码流中提取噪声分布信息，加入至所提算法框架中，有效去除了视频压缩噪声、减少视频传输码率并增强重建视频质量。
3.如权利要求1所述的结合卷积神经网络的HEVC视频质量增强算法框架，其特征在于所述噪声分布信息分为CU分割信息和边缘信息两部分，其中边缘信息通过Canny算子获得，噪声分布信息能提升所提视频质量增强网络的性能。
4.如权利要求1所述的结合卷积神经网络的HEVC视频质量增强算法框架，其特征在于在编码端提出了环路滤波网络IFN-ND替代HEVC标准中原有的环路滤波器SAO和DF，并结合了噪声分布信息，对I帧进行质量提升，同时也阻止了I帧中压缩噪声的传播和扩散，所以初步提升了后续P帧的质量，降低了编码码率。
5.如权利要求1所述的结合卷积神经网络的HEVC视频质量增强算法框架，其特征在于在解码端以IFN-ND为基础，针对P帧中同时包含帧内编码块和帧间编码块这一特性，提出了结合噪声分布信息的P帧质量提升网络PQEN-ND，该网络能进一步提高HEVC的P帧质量。
6.一种用于执行权利要求1至5所述结合卷积神经网络的HEVC视频质量增强算法框架。
CN201910771568.6A 2019-08-21 2019-08-21 一种结合卷积神经网络的hevc视频质量增强方法 Active CN112422993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910771568.6A CN112422993B (zh) 2019-08-21 2019-08-21 一种结合卷积神经网络的hevc视频质量增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910771568.6A CN112422993B (zh) 2019-08-21 2019-08-21 一种结合卷积神经网络的hevc视频质量增强方法

Publications (2)

Publication Number Publication Date
CN112422993A true CN112422993A (zh) 2021-02-26
CN112422993B CN112422993B (zh) 2021-12-03

Family

ID=74779108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910771568.6A Active CN112422993B (zh) 2019-08-21 2019-08-21 一种结合卷积神经网络的hevc视频质量增强方法

Country Status (1)

Country Link
CN (1) CN112422993B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173130A (zh) * 2021-12-03 2022-03-11 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
WO2022218385A1 (en) * 2021-04-14 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Unified neural network filter model
US11949918B2 (en) 2021-04-15 2024-04-02 Lemon Inc. Unified neural network in-loop filter signaling
US11979591B2 (en) 2021-04-06 2024-05-07 Lemon Inc. Unified neural network in-loop filter

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
CN108520505A (zh) * 2018-04-17 2018-09-11 上海交通大学 基于多网络联合构建与自适应选择的环路滤波实现方法
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
CN109644268A (zh) * 2016-06-24 2019-04-16 韩国科学技术院 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置
WO2019072097A1 (en) * 2017-10-12 2019-04-18 Mediatek Inc. VIDEO ENCODING METHOD USING NEURAL NETWORK

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN109644268A (zh) * 2016-06-24 2019-04-16 韩国科学技术院 包括基于cnn的环路滤波器的编码方法与装置及解码方法与装置
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
WO2019072097A1 (en) * 2017-10-12 2019-04-18 Mediatek Inc. VIDEO ENCODING METHOD USING NEURAL NETWORK
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
CN108520505A (zh) * 2018-04-17 2018-09-11 上海交通大学 基于多网络联合构建与自适应选择的环路滤波实现方法
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHAO REN: "Image Deblocking via Joint Domain Learning", 《JOURNAL OF ELECTRONIC IMAGING》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
US11979591B2 (en) 2021-04-06 2024-05-07 Lemon Inc. Unified neural network in-loop filter
WO2022218385A1 (en) * 2021-04-14 2022-10-20 Beijing Bytedance Network Technology Co., Ltd. Unified neural network filter model
US11949918B2 (en) 2021-04-15 2024-04-02 Lemon Inc. Unified neural network in-loop filter signaling
CN114173130A (zh) * 2021-12-03 2022-03-11 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN114173130B (zh) * 2021-12-03 2023-02-10 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法

Also Published As

Publication number Publication date
CN112422993B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN112422993B (zh) 一种结合卷积神经网络的hevc视频质量增强方法
CN108184129B (zh) 一种视频编解码方法、装置及用于图像滤波的神经网络
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN111711824B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN106231214B (zh) 基于可调宏块的高速cmos传感器图像近似无损压缩方法
CN108347612B (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN107027029A (zh) 基于帧率变换的高性能视频编码改进方法
CN101626512A (zh) 一种基于相关性优化准则的多描述视频编码方法及装置
US20220239911A1 (en) Video Encoding and Decoding Methods and Apparatuses, Electronic Device, and Storage Medium
CN111711817A (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化研究
WO2020258055A1 (zh) 环路滤波的方法与装置
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
CN110677654A (zh) 高效视频编码标准低时延编码结构的量化参数级联方法
Li et al. Multi-scale grouped dense network for vvc intra coding
CN106550237B (zh) 一种监控视频压缩方法
CN114913250A (zh) 基于语义分割和匈牙利算法的视频编解码系统和方法
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN109587431A (zh) 一种多路视频码流合并方法、装置、设备和存储介质
CN115442613A (zh) 一种利用gan的基于帧间信息的噪声去除方法
CN103475878A (zh) 一种视频编码方法和编码器
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN112468826B (zh) 一种基于多层gan的vvc环路滤波方法及系统
CN114827616A (zh) 一种基于时空信息平衡的压缩视频质量增强方法
Yang et al. Graph-convolution network for image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant