CN111726638A - 一种结合去压缩效应与超分辨率的hevc编码优化方法 - Google Patents

一种结合去压缩效应与超分辨率的hevc编码优化方法 Download PDF

Info

Publication number
CN111726638A
CN111726638A CN201910202336.9A CN201910202336A CN111726638A CN 111726638 A CN111726638 A CN 111726638A CN 201910202336 A CN201910202336 A CN 201910202336A CN 111726638 A CN111726638 A CN 111726638A
Authority
CN
China
Prior art keywords
video
resolution
super
network model
hevc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910202336.9A
Other languages
English (en)
Inventor
何小海
周航
王正勇
熊淑华
卿粼波
滕奇志
吴晓红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910202336.9A priority Critical patent/CN111726638A/zh
Publication of CN111726638A publication Critical patent/CN111726638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种结合去压缩效应与超分辨率的HEVC编码优化方法。主要包括以下步骤：在编码端，原始视频首先经过下采样，然后进行压缩，这样可以减少视频的数据量；在解码端，采用了双网络结构的方法，首先训练不同量化参数下的下采视频与压缩后的低分辨率视频的映射关系，这样可以减弱压缩伪影，然后建立了质量增强的压缩视频与原始视频的映射关系，最终在输出端可以得到质量提升的视频帧。实验结果表明，在低码率段，本发明所述的方法可以有效地提升编码视频的率失真性能，并能获得更好的视觉效果。

Description

一种结合去压缩效应与超分辨率的HEVC编码优化方法
技术领域
本发明涉及视频压缩和超分辨率重建技术，具体涉及一种结合去压缩效应与超分辨率的 HEVC编码优化方法，属于图像通信领域。
背景技术
在图像和视频传输中，为适应带宽的限制和方便人们的存储，通常对其进行下采样和压 缩。图像和视频压缩标准普遍使用基于块的混合编码方式，这些压缩技术的主要目的是压缩 大量的冗余信息，以适应通信信道的带宽限制。这些技术的思想是量化变换域系数以减少数 据量，但是会造成块效应，从而降低图像和视频质量，而下采样和压缩技术相结合的方法在 降低分辨率的同时，往往会使得压缩图像和视频产生一定的失真。因此，需要更简单和实用 的视频质量提升方法。
图像和视频往往采用超分辨率重建的方法进行质量的提升，该方法大致可以分为基于插 值，基于重建，基于学习这三种，传统的插值算法并不能取得令人满意的视觉效果，特别是 对于经过压缩的低分辨率视频。基于重建的方法可以恢复边缘锐利的信息，但通常会忽略纹 理区域的高频细节。随着卷积神经网络在计算机视觉领域的成功，基于深度学习的方法在图 像和视频处理领域也很受欢迎。与此同时，深度学习的方法在图像和视频处理领域取得了显 著的研究成果。深度学习与传统方法相比的优势在于，其得到的特征具有更强的表征能力。 然而，现有的基于深度学习的方法，大多是针对下采样单个降质环节，而对于经过压缩的低 分辨率视频，其质量还有一定提升的空间。
发明内容
本发明的目的是为了将视频的下采样和压缩两个降质环节分开处理，在提高视频分辨率 的同时降低压缩噪声，从而有效提升压缩视频的率失真性能。
本发明所提出的一种结合去压缩效应与超分辨率的HEVC编码优化方法，主要包括以下 操作步骤：
(1)采用去压缩卷积神经网络模型分别训练不同量化参数下的下采样视频与压缩后的低 分辨率视频之间的映射关系；
(2)步骤一得到了质量增强的视频帧，训练其与原始视频帧的重建网络模型；
(3)将降质的低分辨率视频作为输入，根据步骤(1)，(2)训练出的卷积神经网络模型， 在输出端得到质量提升的视频帧。
附图说明
图1是本发明结合去压缩效应与超分辨率的HEVC编码优化方法的框架图
图2是本发明的网络结构图
图3是Keiba序列在码率基本相同的情况下，HEVC标准和本发明方法主观效果对比图
图4是RaceHorses832x480序列在码率基本相同的情况下，HEVC标准和本发明方法主观效 果对比图
图5是akiyo序列的不同方法及本发明方法重建后视频的率失真性能比较
图6是BasketballDrill序列的不同方法及本发明方法重建后视频的率失真性能比较
具体实施方式
下面结合附图对本发明作进一步说明：
图1中，具体涉及一种结合去压缩效应与超分辨率的HEVC编码优化方法，具体可以分 为以下几个步骤:
(1)采用去压缩卷积神经网络模型分别训练不同量化参数下的下采样视频与压缩后的低 分辨率视频之间的映射关系；
(2)步骤一得到了质量增强的视频帧，训练其与原始视频帧的重建网络模型；
(3)将降质的低分辨率视频作为输入，根据步骤(1)，(2)训练出的卷积神经网络模型， 在输出端得到质量提升的视频帧。
具体地，所述步骤(1)中，首先训练下采样视频和经过压缩的低分辨率视频的映射关系， 本发明网络结构如图2所示，包含4个密集残差模块。对于去压缩网络，首先利用第一层卷 积对压缩后的低分辨率视频进行特征提取，相当于用一组滤波器对输入进行卷积。第一层的 输出随后作为密集残差块的输入，将提取到的特征进行非线性映射得到更高维度的特征。为 了更好地利用层次特征，提取了局部密集特征之后，采用了特征融合的策略。随后，利用最 后一个卷积层将前面的高维特征进行组合，进而得到质量增强的视频帧。
在训练阶段，令
Figure BDA0001997887420000021
是训练的视频对，其中Xi表示原始的高分辨率视频，Yi表示 只经过下采样后的低分辨率视频，Zi表示经过下采样，压缩两个降质过程的低分辨视频。
首先，视频对
Figure BDA0001997887420000022
用于去压缩网络的训练，本发明采用残差学习的策略，定义残差 re,i＝Yi-Zi，它的大部分值为0或者接近0，残差学习是使用映射fe(Zi,Ω)预测该残差，在网 络中以均方误差为损失函数，测量预测值与原始值之间的差异，并通过最小化方式来更新网 络参数，去压缩网络的损失函数为：
Figure RE-GDA0002056759790000023
其中，Ω是网络的参数，fe(Zi,Ω)是残差的预测值。
所述步骤(2)中，提取步骤(1)中得到的增强的压缩视频，可以从压缩后的低分辨率 视频Zi中得到Yi的高质量估计Yi'。Yi'便和Xi作为超分网络的训练对
Figure BDA0001997887420000031
同样采用残 差学习的策略，使用映射fs(Yi',Ω)去预测残差rs,i＝Xi-Yi'，损失函数表示为：
Figure RE-GDA0002056759790000032
所述步骤(3)中，将压缩后的低分辨率视频输入到步骤(1)和(2)的网络模型中，得到最终的重建视频帧。
为了更好地说明本发明的有效性，选择出两个测试序列”Keiba”，“RaceHorses832×480”， 与压缩标准HEVC进行对比，主观视觉效果如图3及图4所示；并选出两个测试序列”akiyo”， “BasketballDrill”，与其他方法比较率失真性能，率失真曲线如图5及图6所示，其中横轴是 码率，单位是Kpbs；纵轴是峰值信噪比(PSNR)，单位是dB。在相同的码率下，PSNR越高， 率失真性能越好。表一展示了本发明方法及视频压缩标准HEVC的码率和PSNR对比，表明 了本发明算法能有效提升压缩视频的率失真性能。表二展示了本发明与其他方法的PSNR对 比，表明了本发明优于经典的卷积神经网络方法，实验结果对于其他测试序列具有普适性。
对比的方法为：
方法1：TAI Y等人提出的方法，参考文献“TAI Y,YANG J,and LIU X.Imagesuper-resolution via deep recursive residual network[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:3147-3155.”。
表一：
Figure BDA0001997887420000033
Figure BDA0001997887420000041
表二：
Figure BDA0001997887420000051
Figure BDA0001997887420000061

Claims (4)

1.一种结合去压缩效应与超分辨率的HEVC编码优化方法，其特征在于包括以下步骤：
步骤一：采用去压缩卷积神经网络模型分别训练不同量化参数下的下采样视频与压缩后的低分辨率视频之间的映射关系；
步骤二：步骤一得到了质量增强的视频帧，训练其与原始视频帧的重建网络模型；
步骤三：将降质的低分辨率视频作为输入，根据步骤(1)，(2)训练出的卷积神经网络模型，在输出端得到质量提升的视频帧。
2.根据权利要求1所述的一种结合去压缩效应与超分辨率的HEVC编码优化方法，其特征在于步骤一中所述的去压缩卷积神经网络模型，该模型首先对压缩环节处理，训练下采样视频和压缩后的低分辨率视频之间的映射关系，从而可以得到质量增强后的视频帧。
3.根据权利要求1所述的一种结合去压缩效应与超分辨率的HEVC编码优化方法，其特征在于步骤二中所述的重建网络模型，该模型训练步骤一得到的增强视频与原始视频的映射关系；这样，可以将下采样和压缩两个降质环节分开处理，从而可以有效地减少压缩伪影。
4.根据权利要求1所述的一种结合去压缩效应与超分辨率的HEVC编码优化方法，其特征在于步骤二中所述的重建网络模型，该模型采用密集残差结构，该结构结合残差网络和密集连接网络的特性，充分利用原始低分辨率视频的分层特征，一个密集残差块的输出可以直接访问下一个密集残差块中的每一个卷积层，保持密集残差块之间的连续记忆，所以能重建出较高质量的视频；同时采用全局残差学习的策略，只需要学习高频部分的残差，这样可以降低训练深层网络的难度。
CN201910202336.9A 2019-03-18 2019-03-18 一种结合去压缩效应与超分辨率的hevc编码优化方法 Pending CN111726638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910202336.9A CN111726638A (zh) 2019-03-18 2019-03-18 一种结合去压缩效应与超分辨率的hevc编码优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910202336.9A CN111726638A (zh) 2019-03-18 2019-03-18 一种结合去压缩效应与超分辨率的hevc编码优化方法

Publications (1)

Publication Number Publication Date
CN111726638A true CN111726638A (zh) 2020-09-29

Family

ID=72562996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910202336.9A Pending CN111726638A (zh) 2019-03-18 2019-03-18 一种结合去压缩效应与超分辨率的hevc编码优化方法

Country Status (1)

Country Link
CN (1) CN111726638A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113225590A (zh) * 2021-05-06 2021-08-06 深圳思谋信息科技有限公司 视频超分增强方法、装置、计算机设备和存储介质
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
CN117058002A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
US20160165264A1 (en) * 2010-01-14 2016-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using deblocking filtering, and method and apparatus for decoding video by using deblocking filtering
CN106709874A (zh) * 2016-12-29 2017-05-24 北京工业大学 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107181949A (zh) * 2017-06-23 2017-09-19 四川大学 一种结合超分辨率和残差编码技术的图像压缩框架
CN107463989A (zh) * 2017-07-25 2017-12-12 福建帝视信息科技有限公司 一种基于深度学习的图像去压缩伪影方法
CN107563965A (zh) * 2017-09-04 2018-01-09 四川大学 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
CN109361919A (zh) * 2018-10-09 2019-02-19 四川大学 一种联合超分辨率和去压缩效应的图像编码性能提升方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160165264A1 (en) * 2010-01-14 2016-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using deblocking filtering, and method and apparatus for decoding video by using deblocking filtering
CN105392009A (zh) * 2015-11-27 2016-03-09 四川大学 基于块自适应采样和超分辨率重建的低码率图像编码方法
CN106709874A (zh) * 2016-12-29 2017-05-24 北京工业大学 一种基于人脸结构相关的压缩低分辨率人脸图像复原方法
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN107181949A (zh) * 2017-06-23 2017-09-19 四川大学 一种结合超分辨率和残差编码技术的图像压缩框架
CN107463989A (zh) * 2017-07-25 2017-12-12 福建帝视信息科技有限公司 一种基于深度学习的图像去压缩伪影方法
CN107563965A (zh) * 2017-09-04 2018-01-09 四川大学 基于卷积神经网络的jpeg压缩图像超分辨率重建方法
CN109361919A (zh) * 2018-10-09 2019-02-19 四川大学 一种联合超分辨率和去压缩效应的图像编码性能提升方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HONGGANG CHEN等: "CISRDCNN: Super-resolution of compressed images using deep convolutional neural networks", 《ARXIV:1709.06229V1》 *
YULUN ZHANG等: "Residual Dense Network for Image Super-Resolution", 《ARXIV:1802.08797V2》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134598A (zh) * 2021-03-25 2022-09-30 四川大学 一种基于qp估计的压缩视频质量盲增强方法
CN113225590A (zh) * 2021-05-06 2021-08-06 深圳思谋信息科技有限公司 视频超分增强方法、装置、计算机设备和存储介质
CN117058002A (zh) * 2023-10-12 2023-11-14 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备
CN117058002B (zh) * 2023-10-12 2024-02-02 深圳云天畅想信息科技有限公司 视频帧超分辨率重构方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN109495741B (zh) 基于自适应下采样和深度学习的图像压缩方法
CN103607591A (zh) 结合超分辨率重建的图像压缩方法
CN108769677B (zh) 一种基于感知的高动态范围视频动态范围可分级编码方法
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN110751597B (zh) 基于编码损伤修复的视频超分辨方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN112218072B (zh) 一种基于解构压缩和融合的视频编码方法
EP4365820A1 (en) Video super-resolution network, and video super-resolution, encoding and decoding processing method and device
CN109361919A (zh) 一种联合超分辨率和去压缩效应的图像编码性能提升方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN105408935A (zh) 上采样和信号增强
CN109922339A (zh) 结合多采样率下采样和超分辨率重建技术的图像编码框架
CN101668196A (zh) 基于下采样和插值的低码率图像压缩方法
CN116916036A (zh) 视频压缩方法、装置及系统
CN111667406A (zh) 一种基于时域相关性的视频图像超分辨率重建方法
CN113132729A (zh) 一种基于多参考帧的环路滤波方法及电子装置
CN110545426A (zh) 基于编码损伤修复cnn的空域可分级视频编码方法
CN115442613A (zh) 一种利用gan的基于帧间信息的噪声去除方法
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN115150628A (zh) 具有超先验引导模式预测的由粗到细深度视频编码方法
CN115409695A (zh) 基于深度特征融合网络的压缩视频超分辨率
CN114079770B (zh) 一种结合非局部低秩和自适应量化约束的hevc后处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929