CN111726614A - 一种基于空域下采样与深度学习重建的hevc编码优化方法 - Google Patents

一种基于空域下采样与深度学习重建的hevc编码优化方法 Download PDF

Info

Publication number
CN111726614A
CN111726614A CN201910205331.1A CN201910205331A CN111726614A CN 111726614 A CN111726614 A CN 111726614A CN 201910205331 A CN201910205331 A CN 201910205331A CN 111726614 A CN111726614 A CN 111726614A
Authority
CN
China
Prior art keywords
video
key frame
hevc
frame
spatial domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910205331.1A
Other languages
English (en)
Inventor
何小海
林宏伟
卿粼波
滕奇志
熊淑华
任超
王正勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910205331.1A priority Critical patent/CN111726614A/zh
Publication of CN111726614A publication Critical patent/CN111726614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明提出了一种基于空域下采样与深度学习重建的HEVC编码优化算法。在视频编码前，将视频帧分为关键帧和非关键帧，非关键帧用空域下采样去除视频空间冗余，关键帧保持原始大小。得到低分辨率视频后，对该视频进行编解码后，将解码后的非关键帧利用基于深度学习的空域上采方法恢复到原视频帧率和大小，随后利用关键帧的信息对解码并恢复到原始大小的非关键帧进行后处理以增强视频的质量。

Description

一种基于空域下采样与深度学习重建的HEVC编码优化方法
技术领域
本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种基于空域下采样与重建的HEVC编码降码率方法。
背景技术
人们对于视频高清晰度和高流畅性的追求一直没有停止，已经出现的4K版本的电影保证了视频每一帧的画面清晰度。然而，高清视频技术的应用给人们带来更好的 观看感受的同时，其数据量也极大的增长，给网络带宽和设备存储能力带来巨大的挑 战。HEVC作为未来视频编码最主要的压缩标准，如何在HEVC标准基础上进一步 提高视频压缩效率是一个至关重要的问题。
由于视频具有很大的冗余性，所以可以通过去除视频冗余信息来提高视频的压缩效率。视频帧可以视为一幅图像，而图像中相邻像素之间往往十分相似，因此视频帧 中存在着较大的空间冗余。所以用空域下采样方法缩减视频中的空间冗余信息，可以 进一步提高视频压缩效率。
目前学术界关于如何在空域提高图像及视频压缩效率的算法已有很多，且大多数取得了不错的成果。Bruckstein在JPEG编码标准的基础上提出一种新的编码方法， 该方法将图像分辨率降低，然后进行JPEG编码，最后将结果内插到原始分辨率。陈 静涛提出了基于采样与重建的图像压缩编码方案，该方案在编码端首先对原始图像进 行下采样之后再进行编码得到图像的码流，在解码端先对接收到的码流进行解码得到 低分辨率图像，然后利用基于特征字典重建的算法对解码图像进行超分辨率重建，使 其恢复到与原始分辨率相同大小的图像，实验结果表明在同码率下所提方案与 JPEG2000对比，图像在客观评价上的质量大致相等或者稍微有一些提升。Barreto D 在编码端进行区域分割的空域降采样，在解码端利用分割信息对低分辨率图像序列进 行超分辨率重建。Glaister J在空域引入关键帧和非关键帧的概念，在H.264/AVC编 解码后，通过关键帧的信息来辅助重建普通帧。Dong J找到空域下采样和编码引起失 真的最优下采样比，从而实现整体最优的率失真性能。
发明内容
针对HEVC标准编码码率高的问题，本发明利用下采样方法去除视频帧空间的 冗余，提出了一种基于空域下采样与深度学习重建的HEVC编码优化方法，在保证 视频质量的前提下，尽可能降低视频压缩后的码率以适应信道带宽不足的限制。
本发明的基本思想是在不影响视频质量的前提下，充分去除视频冗余来达到提高视频压缩率的目的。在视频编码前，将视频帧分为关键帧和非关键帧，非关键帧用空 域下采样去除视频空间冗余，关键帧保持原始大小。得到低分辨率视频后，对该视频 进行编解码后，将解码后的非关键帧利用基于深度学习的空域上采方法恢复到原视频 帧率和大小，随后利用关键帧的信息对解码并恢复到原始大小的非关键帧进行后处理 以增强视频的质量。
本发明针对HEVC标准提出了一种基于空域下采样与重建的HEVC编码优化方 法。在编码端对原视频进行空域下采样得到低分辨率视频后，将低分辨率低帧率视频 经HEVC编码解码，最终将解码后的视频通过基于深度学习的超分辨率重建技术恢 复到原分辨率原帧率视频，然后再利用后处理技术提升恢复到原始大小视频的质量。 具体主要包括以下过程步骤：
(1)在编码前将原始视频帧分为关键帧和非关键帧，非关键帧进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样为双三次下采样，关键帧保持原始 大小；
(2)对低分辨率低帧率视频经HEVC编码，得到压缩后的视频码流，对视频码 流经HEVC解码后得解码视频；
(4)在解码端对视频解码后，利用基于深度学习的超分辨率算法将非关键帧恢复到原始大小；
(5)利用关键帧的信息增强非关键帧的质量，并最终提升整个视频序列的质量。
在本发明的上述技术方案中，所述基于空域下采样与重建的HEVC编码优化方 法，利用了空域降码率，有效地去除了视频空间冗余。
在本发明的上述技术方案中，所述基于空域下采样与重建的HVEC编码优化方 法，空域下采样为双三次下采样，降低视频空间冗余同时较好地保留了原始视频信息。
在本发明的上述技术方案中，所述基于空域下采样与重建的HEVC编码优化方 法，利用关键帧恢复非关键帧的方法，其作为一种后处理技术，极大的提升了恢复视 频的质量。
在本发明的上述技术方案中，所述在编码端，对输入视频帧进行判断，若为I帧 就设为关键帧，且不进行下采样直接编码，若为P帧设为非关键帧，对其下采样后再 编码。视频编码完成后得码流M，将码流传输到解码端。
在本发明的上述技术方案中，所述基于空域下采样与重建的HEVC编码优化方 法，空域上采方法为基于深度学习的超分辨率重建技术，重建视频质量较高。
根据本发明的上述方法可以编制执行上述一种基于空域下采样与重建的HEVC 编码优化方法。
本发明是基于以下思路分析而完成的：
在本发明的上述技术方案中，在解码端，经HEVC解码后，得到的若为关键帧， 一方面将其缓存起来供非关键帧重建参考使用，另一路对其下采样得到小图，对采样 后小图进行简单的插值重建，得到一个关键帧的低频大图，保存该低频大图供参考使 用。解码非关键帧后，对非关键帧进行与关键帧同样的插值操作，也得到一幅低频大 图，将关键帧和非关键帧都分为8×8的块，彼此做进行运动估计，搜索最匹配块，进 行运动搜索时是通过计算当前块与搜索块的求和绝对误差(SAD，Sum of Absolute Difference)值来判断匹配度的，当最匹配块与当前块的SAD值小于一定的阈值，说 明其与当前块较接近，那么该块可以用重叠块运动补偿(OBMC，Overlapped Block Motion Compensation)方法重建，那么利用运动搜索求得的MV，原始解码关键帧中 找到对应的块，采用OBMC方法来重建当前块。若SAD值大于该阈值，那么其不 适合采用OBMC方法重建。
实验结果表明，本发明的视频压缩方法在低码率段实现了同等重建视频质量情况下降低码率。
附图说明
图1基于空域下采样与重建的HEVC编码优化算法框架。
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技 术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实 施，应仍属于本发明的保护范围。
本发明的基于空时域下采样与重建的HEVC编码优化方法，与HEVC标准测试 模型HM16.2的编码方法比较过程如下：
1.同时打开两个算法的程序并设置好配置文件，HEVC标准量化步长(QP)选取 22,27,32,37,42,47,49，本发明算法量化步长(QP)选取20,27,32,37,42,47,47；
2.编码的对象为标准测试视频序列：PeopleOnStreet、ParkScene、Cactus、FourPeople、Johnny、Traffic_2560x1600；
3.利用HM16.2标准方法对视频序列在HEVC方式下进行视频编解码；
4.将视频空域下采样为帧低分辨率视频；
5.利用HEVC视频编码器对视频序列在HEVC方式下进行视频编码，形成HEVC 格式码流；
6.对HEVC格式码流解码，得到解码视频，对低分辨率视频进行超分辨率重建恢 复到原大小；
7.对非关键帧进行基于关键帧的质量补偿。
8.两个程序分别输出视频编码后的BDBR值，上述2个质量指标的结果如表1所 示。统计显示，低码率段本发明算法率失真性能基本超过了HEVC。
表1对比HEVC标准的平均PSNR增益
Figure BDA0001998797420000041

Claims (4)

1.一种基于空域下采样与重建的HEVC编码优化方法，其特征在于：
(1)先将原始视频帧分为关键帧和非关键帧，非关键帧进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样为双三次下采样，关键帧保持原始大小；
(2)对步骤(1)得到的低分辨率视频进行经HEVC编码，得到压缩后的视频码流，对视频码流经HEVC解码后得解码视频；
(3)在解码端对视频解码后，利用基于深度学习的超分辨率算法将非关键帧恢复到原始大小；
(4)利用关键帧的信息增强非关键的质量，并最终提升整个视频序列的质量。
2.如权利要求1所述的基于空域下采样与重建的HEVC编码优化方法，其在解码端将非关键帧恢复为关键帧时利用了基于深度学习的超分辨率算法。
3.如权利要求3所述，在将非关键帧变为原始大小后，使用基于运动估计的信息补偿技术对恢复为原始大小的非关键帧进行质量补偿。
4.一种用于执行权利要求1至4所述基于空时域下采样与重建的HEVC编码优化方法。
CN201910205331.1A 2019-03-18 2019-03-18 一种基于空域下采样与深度学习重建的hevc编码优化方法 Pending CN111726614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910205331.1A CN111726614A (zh) 2019-03-18 2019-03-18 一种基于空域下采样与深度学习重建的hevc编码优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910205331.1A CN111726614A (zh) 2019-03-18 2019-03-18 一种基于空域下采样与深度学习重建的hevc编码优化方法

Publications (1)

Publication Number Publication Date
CN111726614A true CN111726614A (zh) 2020-09-29

Family

ID=72562403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910205331.1A Pending CN111726614A (zh) 2019-03-18 2019-03-18 一种基于空域下采样与深度学习重建的hevc编码优化方法

Country Status (1)

Country Link
CN (1) CN111726614A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播系统、视频处理方法及相关装置
CN113179403A (zh) * 2021-03-31 2021-07-27 宁波大学 一种基于深度学习重建的水下视频对象编码方法
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备
CN115361582A (zh) * 2022-07-19 2022-11-18 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN102196256A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种视频编码方法及装置
CN102196253A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种帧类型自适应选择的视频编码方法及装置
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN106031144A (zh) * 2014-03-28 2016-10-12 华为技术有限公司 生成运动补偿视频帧的方法和设备
CN106961610A (zh) * 2017-03-15 2017-07-18 四川大学 结合超分辨率重建的超高清视频新型压缩框架
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
CN107211157A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于视频译码的重叠运动补偿
US20180020229A1 (en) * 2016-07-14 2018-01-18 Sharp Laboratories Of America, Inc. Computationally efficient motion compensated frame rate conversion system
CN109068134A (zh) * 2018-09-17 2018-12-21 鲍金龙 视频编码方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196256A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种视频编码方法及装置
CN102196253A (zh) * 2010-03-11 2011-09-21 中国科学院微电子研究所 一种帧类型自适应选择的视频编码方法及装置
CN101938656A (zh) * 2010-09-27 2011-01-05 上海交通大学 基于关键帧超分辨率重建的视频编解码系统
CN103813174A (zh) * 2012-11-12 2014-05-21 腾讯科技（深圳）有限公司 一种混合分辨率编解码方法和装置
CN106031144A (zh) * 2014-03-28 2016-10-12 华为技术有限公司 生成运动补偿视频帧的方法和设备
CN107211157A (zh) * 2015-01-26 2017-09-26 高通股份有限公司 用于视频译码的重叠运动补偿
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
US20180020229A1 (en) * 2016-07-14 2018-01-18 Sharp Laboratories Of America, Inc. Computationally efficient motion compensated frame rate conversion system
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
CN106961610A (zh) * 2017-03-15 2017-07-18 四川大学 结合超分辨率重建的超高清视频新型压缩框架
CN109068134A (zh) * 2018-09-17 2018-12-21 鲍金龙 视频编码方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179403A (zh) * 2021-03-31 2021-07-27 宁波大学 一种基于深度学习重建的水下视频对象编码方法
CN113179403B (zh) * 2021-03-31 2023-06-06 宁波大学 一种基于深度学习重建的水下视频对象编码方法
CN113115067A (zh) * 2021-04-19 2021-07-13 脸萌有限公司 直播系统、视频处理方法及相关装置
CN114363617A (zh) * 2022-03-18 2022-04-15 武汉大学 一种网络轻量级视频流传输方法、系统及设备
CN115361582A (zh) * 2022-07-19 2022-11-18 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN115361582B (zh) * 2022-07-19 2023-04-25 鹏城实验室 一种视频实时超分辨率处理方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
Hu et al. Coarse-to-fine deep video coding with hyperprior-guided mode prediction
US7379496B2 (en) Multi-resolution video coding and decoding
KR100913088B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
KR100597402B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
CN101835044B (zh) 一种频率域分布式视频编码中的分类组合方法
CN110493596B (zh) 一种基于神经网络的视频编码系统及方法
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
CN103607591A (zh) 结合超分辨率重建的图像压缩方法
CN106961610B (zh) 一种结合超分辨率重建的超高清视频新型压缩框架
CN109905717A (zh) 一种基于空时域下采样与重建的h.264/avc编码优化方法
WO2007035476A2 (en) Methods and systems for mixed spatial resolution video compression
EP4365820A1 (en) Video super-resolution network, and video super-resolution, encoding and decoding processing method and device
CN101883284A (zh) 基于背景建模和可选差分模式的视频编/解码方法及系统
CN112218072A (zh) 一种基于解构压缩和融合的视频编码方法
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
CN102595132A (zh) 一种应用于无线传感器网络的分布式视频编解码方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
KR100697516B1 (ko) 3차원 웨이블릿 변환 기반의 동영상 코딩 방법
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
KR100883591B1 (ko) 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
Tan et al. Image compression algorithms based on super-resolution reconstruction technology
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
CN111757126A (zh) 面向vr的实时图像压缩方法、系统和存储介质
JP4762486B2 (ja) マルチ・リゾルーション・ビデオ符号化および復号化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200929