CN111726636A - 一种基于时域下采样与帧率上转换的hevc编码优化方法 - Google Patents

一种基于时域下采样与帧率上转换的hevc编码优化方法 Download PDF

Info

Publication number
CN111726636A
CN111726636A CN201910205060.XA CN201910205060A CN111726636A CN 111726636 A CN111726636 A CN 111726636A CN 201910205060 A CN201910205060 A CN 201910205060A CN 111726636 A CN111726636 A CN 111726636A
Authority
CN
China
Prior art keywords
video
frame
hevc
frame rate
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910205060.XA
Other languages
English (en)
Inventor
何小海
林宏伟
滕奇志
熊淑华
任超
卿粼波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910205060.XA priority Critical patent/CN111726636A/zh
Publication of CN111726636A publication Critical patent/CN111726636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种基于时域下采样与帧率上转换的HEVC编码优化算法。在视频编码前，将视频帧分为奇数帧和偶数帧，奇数帧保留并使用HEVC进行编码，偶数帧被丢弃，得到低帧率视频。得到低帧率视频后，对该低帧率视频进行HEVC编解码，将解码后的低帧率视频利用HEVC编码过程中产生的运动信息恢复为原始帧率的视频，此方法及保证了恢复视频帧的质量，也大大降低了估计丢失帧时的时间。

Description

一种基于时域下采样与帧率上转换的HEVC编码优化方法
技术领域
本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种基于时域下采样与重建的HEVC编码降码率方法。
背景技术
人们对于视频高清晰度和高流畅性的追求一直没有停止，已经出现的高帧率的电影保证了视频高流畅度。然而，高帧率视频技术的应用给人们带来更好的观看感受的同时，其数据量也极大的增长，给网络带宽和设备存储能力带来巨大的挑战。HEVC作为未来视频编码最主要的压缩标准，如何在HEVC标准基础上进一步提高视频压缩效率是一个至关重要的问题。
新一代高效视频压缩标准(HEVC)与以前的H.264编码标准相比，在同等重建视频质量的前提下，节省了将近50％的码率，对于节省带宽资源做出了很大贡献。但即便如此，为了适应一些特定应用网络带宽的限制，通常仍需将视频信号帧率降低，以减少编码端进行编码的视频帧数，从而使编码后的数据量减少。在实际应用中这一目的可以通过帧率上转换(FRUC)技术来实现。FRUC能够实现对前后帧的插帧，将低帧率视频变换成高帧率视频。FRUC方法作为提高压缩率的技术，与HEVC标准编码相结合，在编码端降低视频的帧率，以减少编码帧数降低传输码流数据，然后在解码端插帧恢复成原帧率的视频。通过这样的操作，能有效地提高HEVC标准对视频的压缩率，以进一步适应有限的传输带宽的限制。
目前学术界关于如何在时域提高图像及视频压缩效率的算法已有很多，且大多数取得了不错的成果。Choi等人专门提出了用于帧率上转换技术的双向运动补偿内插(BMCI),根据插帧过程中使用的运动矢量信息的来源不同，运动补偿插帧可以分为两种，一类是基于像素域，即对解码后的视频重新进行运动估计，再用获得的运动矢量信息进行插帧重建，如Suk-Juk kang等人提出将基于扩展块的运动估计算法用于帧率上转换技术，另外还提出一种多重运动估计算法,Haiping Hu等人提出的一种块大小可变的运动估计算法，Inseo Hwang等人通过一种自适应运动估计方法获取的运动矢量用于运动补偿插帧，Gao Zhiyong等人提出的则是一种结合运动分割及边缘细化的运动估计方法,Yuan-zhouhan Cao等人提出一种基于多参考帧及软决策的运动估计算法，还有一些文章中使用快速光流运动估计方法来代替基于块匹配的运动估计方法，也取得了一定的效果，另外孙琰玥等人提出了一种适用于视频超分辨率重建的基于小波变换的改进的自适应十字模式搜索算法。第二类是基于压缩域的，该种方法通过从编码后的码流中提取相邻帧的运动矢量信息，用于运动补偿插帧，如Un Seob Kim等人提出了一种低计算复杂度的帧率提升算法，其中引入了基于预测的运动矢量平滑以及基于局部平均的运动补偿方法。鲁志红等人提出一种基于加权运动估计和运动矢量分割的内插方法，其中加权运动估计可以改善运动矢量的准确度，与前者相比，第二种方法省去了对编码后视频重新运动估计以获取运动矢量的过程，大大减少了计算量，提高了时间效率。
发明内容
针对HEVC标准编码码率高的问题，本发明利用下采样方法去除视频时域的冗余，提出了一种基于时域下采样与帧率上转换的HEVC编码优化方法，在保证视频质量的前提下，尽可能降低视频压缩后的码率以适应信道带宽不足的限制。
本发明的基本思想是在不影响视频质量的前提下，先在HEVC编码端，对原始视频进行自适应抽帧，然后对HEVC解码端解码出的视频插帧，以恢复到原始视频，这样做的目的主要是降低HEVC编码后信道传输的信息量，进而提高HEVC编码系统的压缩性能。在HEVC解码端，充分利用提取出来的HEVC运动矢量信息，进行运动补偿插帧，将解码后的视频恢复到原始帧率。由于在解码端绝大多数编码块，不需要重新进行运动矢量估计，避免了耗时的运动估计过程，使得整体框架压缩时效也相较于HEVC得到大幅度提高。本方法充分利用了HEVC编码时产生的运动信息，在降低编码复杂度的同时，很好的保证了插帧后视频的质量。
本发明针对HEVC标准提出了一种基于时域下采样与帧率上转换的HEVC编码优化方法。在编码端对原视频进行时域下采样得到低分帧率视频后，将低帧率视频经HEVC编码解码，最终将解码后的视频通过所提出的帧率上转换技术恢复到原帧率视频。具体主要包括以下过程步骤：
(1)在HEVC编码端将待编码视频序列进行抽帧保留只保留奇数帧；
(2)抽帧后的视频，通过HEVC进行编码。并将码流传到HEVC解码端，在HEVC解码端接收到的码流信息中，提取HEVC编码的运动矢量信息和帧内分块信息；
(4)利用基于双向运动估计算法，对融合后的MV不可靠块重新进行运动估计，保证每个融合后的块只有一个运动矢量；
(5)对待插帧进行运动矢量平滑处理；
(6)使用基于自适应块覆盖的双向运动补偿插帧方法对待插帧进行插值恢复；
在本发明的上述技术方案中，所述基于时域下采样与重建的HEVC编码优化方法，利用了时域降码率，有效地去除了视频帧率。
在本发明的上述技术方案中，所述基于时域下采样与重建的HVEC编码优化方法，时域下采样为丢弃偶数帧保留奇数帧。
在本发明的上述技术方案中，所述在编码端，对输入视频帧进行判断，若为偶数帧就丢弃，若为奇数帧则保留，将保留的低帧率视频通过HEVC进行编码。视频编码完成后得码流传输到HEVC解码端。
在本发明的上述技术方案中，所述基于时域下采样与重建的HEVC编码优化方法，HEVC解码端在恢复丢弃帧时使用的大部分运动向量(MV)为直接提取HEVC编码时的MV，即保证了重建视频的质量，又大大降低了重建的时间。
根据本发明的上述方法可以编制执行上述一种基于时域下采样与重建的HEVC编码优化方法。
本发明是基于以下思路分析而完成的：
在本发明的上述技术方案中，在解码端，直接提取HEVC解码端的MV信息，我们使用HEVC码流中的残差信息去判别不可靠的MV信息。因为直接利用这类MV所插值出的视频帧，极有可能产生视觉缺陷。判定为可靠的MV，可直接用来插值恢复丢失帧。我们使用基于双向运动估计对不可靠块内的MV进行重新估计。在所有的块都具有可靠的MV之后，我们使用了一种基于块覆盖特性的双向运动补偿插帧方法，进行插帧。这种插帧方法，其块覆盖特性充分利用了HEVC中基于可变块进行编码的特性，进一步提升了恢复帧的质量。
实验结果表明，本发明的视频压缩方法在低码率段实现了同等重建视频质量情况下降低码率。
附图说明
图1基于空域下采样与重建的HEVC编码优化算法框架。
具体实施方式
下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
本发明的基于空时域下采样与重建的HEVC编码优化方法，与HEVC标准测试模型HM16.2的编码方法比较过程如下：
1.同时打开两个算法的程序并设置好配置文件，HEVC标准量化步长(QP)选取22,27,32,37，本发明算法量化步长(QP)选取20,27,32,37；
2.编码的对象为标准测试视频序列：City、PeopleonStreet、FourPeople、Mobisode；
3.利用HM16.2标准方法对视频序列在HEVC方式下进行视频编解码；
4.将视频时域下采样为低帧率视频；
5.利用HEVC视频编码器对低帧率视频序列在HEVC方式下进行视频编码，形成HEVC格式码流；
6.对HEVC格式码流解码，得到解码视频，对低分辨率视频进行帧率上转换恢复到原帧率视频；
7.两个程序分别输出视频编码后的码率和PSNR值，上述2个质量指标的结果如表1所示。统计显示，低码率段本发明算法率失真性能基本超过了HEVC。
表1本方法与标准HM16.0码率及PSNR对比实验结果
Figure BDA0001998709190000041
Figure BDA0001998709190000051

Claims (3)

1.一种基于时域下采样与帧率上转换的HEVC编码优化方法，其特征在于：
(1)前将原始视频帧分为奇数帧和偶数键帧，非奇数帧保留后，将偶数帧丢弃；
(2)对步骤(1)得到的低帧率视频进行HEVC编码，得到压缩后的视频码流，对视频码流经HEVC解码后得到解码视频；
(3)在解码端对视频解码后，将解码后的低帧率视频利用HEVC编码时的运动信息恢复为原始帧率的视频。
2.如权利要求1所述的基于时域下采样与帧率上转换的HEVC编码优化方法，其在解码端利用帧率上转换恢复丢弃帧时，所使用的运动信息为HEVC编码过程中产生的运动信息,而无需对运动信息进行重新估计。
3.一种用于执行权利要求1至2所述基于空时域下采样与重建的HEVC编码优化方法。
CN201910205060.XA 2019-03-18 2019-03-18 一种基于时域下采样与帧率上转换的hevc编码优化方法 Pending CN111726636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910205060.XA CN111726636A (zh) 2019-03-18 2019-03-18 一种基于时域下采样与帧率上转换的hevc编码优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910205060.XA CN111726636A (zh) 2019-03-18 2019-03-18 一种基于时域下采样与帧率上转换的hevc编码优化方法

Publications (1)

Publication Number Publication Date
CN111726636A true CN111726636A (zh) 2020-09-29

Family

ID=72562302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910205060.XA Pending CN111726636A (zh) 2019-03-18 2019-03-18 一种基于时域下采样与帧率上转换的hevc编码优化方法

Country Status (1)

Country Link
CN (1) CN111726636A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468764A (zh) * 2021-01-28 2021-03-09 浙江华创视讯科技有限公司 一种流媒体自适应传输的方法、系统、服务器和存储介质
WO2023240835A1 (zh) * 2022-06-13 2023-12-21 北京大学深圳研究生院 视频压缩方法、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170693A (zh) * 2007-09-29 2008-04-30 上海广电（集团）有限公司中央研究院 一种具有信号实时监测功能的编码装置
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102111620A (zh) * 2009-12-23 2011-06-29 富士通株式会社 帧率下采样转码方法和装置
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
US20190014332A1 (en) * 2017-07-07 2019-01-10 Apple Inc. Content-aware video coding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170693A (zh) * 2007-09-29 2008-04-30 上海广电（集团）有限公司中央研究院 一种具有信号实时监测功能的编码装置
CN102111620A (zh) * 2009-12-23 2011-06-29 富士通株式会社 帧率下采样转码方法和装置
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置
CN103152566A (zh) * 2013-02-22 2013-06-12 华中科技大学 一种视频帧率提升方法
CN105100807A (zh) * 2015-08-28 2015-11-25 山东大学 一种基于运动矢量后处理的帧率提升方法
CN107027029A (zh) * 2017-03-01 2017-08-08 四川大学 基于帧率变换的高性能视频编码改进方法
US20190014332A1 (en) * 2017-07-07 2019-01-10 Apple Inc. Content-aware video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468764A (zh) * 2021-01-28 2021-03-09 浙江华创视讯科技有限公司 一种流媒体自适应传输的方法、系统、服务器和存储介质
CN112468764B (zh) * 2021-01-28 2021-05-04 浙江华创视讯科技有限公司 一种流媒体自适应传输的方法、系统、服务器和存储介质
WO2023240835A1 (zh) * 2022-06-13 2023-12-21 北京大学深圳研究生院 视频压缩方法、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN107027029B (zh) 基于帧率变换的高性能视频编码改进方法
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN103141097B (zh) 优化的去块滤波器
CN108347612B (zh) 一种基于视觉注意机制的监控视频压缩与重构方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
CN112218072B (zh) 一种基于解构压缩和融合的视频编码方法
CN102577377A (zh) 用于对图像数据进行去块滤波的设备和方法以及使用所述设备和方法的视频解码设备和方法
CN109905717A (zh) 一种基于空时域下采样与重建的h.264/avc编码优化方法
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
CN112422989A (zh) 一种视频编码方法
CN113592746B (zh) 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
KR100255917B1 (ko) 향상된 이동 보상을 위한 방법 및 장치
CN104219530A (zh) 基于预测模式拷贝的hevc多描述编码
CN112001854A (zh) 一种编码图像的修复方法及相关系统和装置
Tan et al. Image compression algorithms based on super-resolution reconstruction technology
CN108833920B (zh) 一种基于光流和块匹配的dvc边信息融合方法
CN115002482B (zh) 使用结构性保持运动估计的端到端视频压缩方法及系统
CN111741304A (zh) 一种基于运动矢量细化的帧率上变换与hevc相结合的方法
CN102790881B (zh) 基于帧级编码端速率控制的变换域分布式视频编解码器
CN115914654A (zh) 一种用于视频编码的神经网络环路滤波方法及装置
CN115150628A (zh) 具有超先验引导模式预测的由粗到细深度视频编码方法
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN110072105B (zh) 一种联合边信息的分布式视频压缩采样重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication