CN109982092B - 基于多分支循环卷积神经网络的hevc帧间快速方法 - Google Patents

基于多分支循环卷积神经网络的hevc帧间快速方法 Download PDF

Info

Publication number
CN109982092B
CN109982092B CN201910349667.5A CN201910349667A CN109982092B CN 109982092 B CN109982092 B CN 109982092B CN 201910349667 A CN201910349667 A CN 201910349667A CN 109982092 B CN109982092 B CN 109982092B
Authority
CN
China
Prior art keywords
branch
neural network
coding
convolutional neural
outputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910349667.5A
Other languages
English (en)
Other versions
CN109982092A (zh
Inventor
曾焕强
陈婧
左家宝
粘春湄
侯进辉
朱建清
马凯光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910349667.5A priority Critical patent/CN109982092B/zh
Publication of CN109982092A publication Critical patent/CN109982092A/zh
Application granted granted Critical
Publication of CN109982092B publication Critical patent/CN109982092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于多分支循环卷积神经网络的HEVC帧间快速方法，属于视频编码领域，方法包括：首先使用多分支卷积神经网络，对每个CTU进行预处理，并分别作为不同分支的卷积神经网络的输入，经过卷积计算之后，将得到的特征进行全连接，分为三个分支输出特征向量，再利用循环神经网络将特征向量和上一时刻的状态向量进行处理，并加入不同QP值的考量，最终输出三个分支的分类结果，三个分支分别对应每个CTU中深度等级0、1或2，判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支循环卷积神经网络的HEVC帧间快速方法能够减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

Description

基于多分支循环卷积神经网络的HEVC帧间快速方法
技术领域
本发明涉及视频编解码领域，尤其涉及一种基于多分支循环卷积神经网络的HEVC帧间快速方法。
背景技术
移动视频应用的流行，推动着现代视频编码技术向实时、高分辨率和高压缩率的方向发展。2013年，由动态图像专家组(Moving Picture Experts Group,MPEG)和隶属于国际电信联盟远程通信标准化组织(International Telecommunication Union-Telecommunication Standardization Sector,ITU-T)成立的联合专家组推出了新一代高效视频编码标准(High Efficiency Video Coding,HEVC)，在解决对庞大的视频数据进行有效地压缩使其能在有限的带宽内进行存储和传输，实现了编码质量相同的情况下，编码效率提升了50％。HEVC作为最新的视频编码标准，实现编码压缩率的提升，但同时也带来了极高的计算复杂度，严重影响了HEVC的实用性。
发明内容
本发明的目的在于克服现有HEVC编码复杂度和时间代价高的问题，提供一种基于多分支循环卷积神经网络的HEVC帧间快速方法，在保持编码性能基本不变的情况下，降低编码复杂度和时间开销。
为了实现上述目的，本发明的技术方案是：
一种基于多分支循环卷积神经网络的HEVC帧间快速方法，包括：
数据收集，选取多种纹理不同的视频，选取前25帧在不同QP下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个CTU中，作为训练集；
数据训练，对于训练集每一帧中的CTU，进行快速预编码获得残差CTU的亮度信息，将残差CTU进行去均值以及降采样的预处理，输出三个降采样程度不一的CTU作为每个分支的卷积神经网络的输入，随后进行四次卷积计算，每次卷积的卷积核不重叠；接下来将卷积结果输入到一维的全连接层中，再分为三个分支输出特征向量，随后把输出的特征向量输入到循环神经网络中，在循环神经网络中，除了接受当前时刻的输入向量还输入上一时刻卷积神经网络产生的状态向量，由此更新当前时刻卷积神经网络的状态向量和输出向量，然后将输出向量和对应QP值进行两次全连接，最后再次分成三个分支输出，经过数据训练后得到一个用于HEVC帧间编码的网络；
数据测试，选取20种不同分辨率不同视频内容的视频序列作为测试集，每一帧图像在编码之前，输入到训练好的用于HEVC帧间编码的网络中，判断每个CTU中不同深度等级CU的分类结果，并记录下来，随后在编码时，对记录的CU进行提前终止划分或者继续划分的判断。
优选的，所述再次分成三个分支输出，具体包括：
先输出第一分支对应的标签，若标签显示不继续划分，则不进行另外两个分支的输出，否则输出第二个分支对应的标签；
如果第二个分支有标签输出，判断标签是否显示不继续划分，如果是，不进行第三个分支的输出，否则输出第三个分支对应的标签。
本发明的有益效果如下：
1、本发明采用多分支卷积神经网络和循环神经网络结构，对应三种深度等级，可以有效区分不同深度等级CU的划分结果；
2、本发明可以直接测试每一帧所有CTU中不同深度等级的划分结果，而不需要对每个CU进行测试，这可以有效降低网络预测过程的计算时间。
以下结合附图及实施例对本发明作进一步详细说明，但本发明的一种基于多分支循环卷积神经网络的HEVC帧间快速方法不局限于实施例。
附图说明
图1是本发明基于多分支循环卷积神经网络的HEVC帧间快速方法的流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
参见图1所示，本发明为了解决现有HEVC标准计算复杂度高、时间代价高的问题，提供一种基于多分支循环卷积神经网络的HEVC帧间快速方法，具体步骤如下：
步骤1，收集数据时，选取多种纹理不同的视频，选取前25帧在不同QP下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个CTU中，作为训练集；
步骤2，训练数据时，对于训练集每一帧中的CTU，进行快速预编码获得残差CTU的亮度信息，将残差CTU进行去均值以及降采样的预处理，输出三个降采样程度不一的CTU作为每个分支的卷积神经网络的输入，随后进行四次卷积计算，每次卷积的卷积核不重叠，接下来将卷积结果输入到一维的全连接层中，再分为三个分支输出特征向量，随后把输出的特征向量输入到循环神经网络中，在循环神经网络中，除了接受当前时刻的输入向量(即CNN处理后的特征向量)还输入上一时刻卷积神经网络产生的状态向量，由此更新当前时刻卷积神经网络的状态向量和输出向量，然后将输出向量和对应QP值进行两次全连接，最后再次分成三个分支输出，且先输出第一分支对应的标签，若标签显示不继续划分，则不进行另外两个分支的输出，否则继续进行第二个分支的输出，同理判断第二个分支和第三个分支的输出，经过数据训练后得到一个适用于HEVC帧间编码的网络；
步骤3，测试数据时，选取20种不同分辨率不同视频内容的视频序列作为测试集，对每一帧图像在编码之前，输入到训练好的用于HEVC帧间编码的网络中，判断每个CTU中不同深度等级CU的分类结果，并记录下来，随后在编码时，对记录的CU进行提前终止划分或者继续划分的判断。
以上仅为本发明实例中一个较佳的实施方案。但是，本发明并不限于上述实施方案，凡按本发明所做的任何均等变化和修饰，所产生的功能作用未超出本方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种基于多分支循环卷积神经网络的HEVC帧间快速方法，其特征在于，包括：
数据收集，选取多种纹理不同的视频，选取前25帧在不同QP下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个CTU中，作为训练集；
数据训练，对于训练集每一帧中的CTU，进行快速预编码获得残差CTU的亮度信息，将残差CTU进行去均值以及降采样的预处理，输出三个降采样程度不一的CTU作为每个分支的卷积神经网络的输入，随后进行四次卷积计算，每次卷积的卷积核不重叠；接下来将卷积结果输入到一维的全连接层中，再分为三个分支输出特征向量，随后把输出的特征向量输入到循环神经网络中，在循环神经网络中，除了接受当前时刻的输入向量还输入上一时刻卷积神经网络产生的状态向量，由此更新当前时刻卷积神经网络的状态向量和输出向量，然后将输出向量和对应QP值进行两次全连接，最后再次分成三个分支输出，经过数据训练后得到一个用于HEVC帧间编码的网络；
数据测试，选取20种不同分辨率不同视频内容的视频序列作为测试集，每一帧图像在编码之前，输入到训练好的用于HEVC帧间编码的网络中，判断每个CTU中不同深度等级CU的分类结果，并记录下来，随后在编码时，对记录的CU进行提前终止划分或者继续划分的判断。
2.根据权利要求1所述的基于多分支循环卷积神经网络的HEVC帧间快速方法，其特征在于，所述再次分成三个分支输出，具体包括：
先输出第一分支对应的标签，若标签显示不继续划分，则不进行另外两个分支的输出，否则输出第二个分支对应的标签；
如果第二个分支有标签输出，判断标签是否显示不继续划分，如果是，不进行第三个分支的输出，否则输出第三个分支对应的标签。
CN201910349667.5A 2019-04-28 2019-04-28 基于多分支循环卷积神经网络的hevc帧间快速方法 Active CN109982092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910349667.5A CN109982092B (zh) 2019-04-28 2019-04-28 基于多分支循环卷积神经网络的hevc帧间快速方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910349667.5A CN109982092B (zh) 2019-04-28 2019-04-28 基于多分支循环卷积神经网络的hevc帧间快速方法

Publications (2)

Publication Number Publication Date
CN109982092A CN109982092A (zh) 2019-07-05
CN109982092B true CN109982092B (zh) 2022-11-01

Family

ID=67086760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910349667.5A Active CN109982092B (zh) 2019-04-28 2019-04-28 基于多分支循环卷积神经网络的hevc帧间快速方法

Country Status (1)

Country Link
CN (1) CN109982092B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414611A (zh) * 2019-07-31 2019-11-05 北京市商汤科技开发有限公司 图像分类方法及装置、特征提取网络训练方法及装置
CN110689509B (zh) * 2019-09-10 2024-04-19 上海大学 基于循环多列3d卷积网络的视频超分辨率重建方法
CN111556316B (zh) * 2020-04-08 2022-06-03 北京航空航天大学杭州创新研究院 一种基于深度神经网络加速的快速块分割编码方法和装置
CN112770120B (zh) * 2020-12-29 2022-05-20 南京理工大学 基于深度神经网络的3d视频深度图帧内快速编码方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001428A (ko) * 2016-06-24 2018-01-04 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN108924558A (zh) * 2018-06-22 2018-11-30 电子科技大学 一种基于神经网络的视频预测编码方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237343B2 (en) * 2012-12-13 2016-01-12 Mitsubishi Electric Research Laboratories, Inc. Perceptually coding images and videos
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001428A (ko) * 2016-06-24 2018-01-04 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN108924558A (zh) * 2018-06-22 2018-11-30 电子科技大学 一种基于神经网络的视频预测编码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A fast intra depth map algorithm based on sum-of-gradient and segment-wise direct component coding;Chunmei Nian等;《2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS)》;20180122;全文 *
纹理类型预判和SDC优化的3D-HEVC深度图帧内算法;粘春湄;《计算机科学与探索》;20180620;全文 *

Also Published As

Publication number Publication date
CN109982092A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109982092B (zh) 基于多分支循环卷积神经网络的hevc帧间快速方法
CN109996084B (zh) 一种基于多分支卷积神经网络的hevc帧内预测方法
CN111709896B (zh) 一种将ldr视频映射为hdr视频的方法和设备
CN110024398A (zh) 针对屏幕远程处理场景的局部的基于散列的运动估计
CN107251557A (zh) 高色度分辨率细节的编码/解码
US20230291909A1 (en) Coding video frame key points to enable reconstruction of video frame
CN110830803B (zh) 结合块匹配和串匹配的图像压缩方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
JPH0418509B2 (zh)
EP4365820A1 (en) Video super-resolution network, and video super-resolution, encoding and decoding processing method and device
AU2022286517A1 (en) Feature data encoding method and apparatus and feature data decoding method and apparatus
CN113822801B (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
CN114245126B (zh) 一种纹理协同的深度特征图压缩方法
CN111757126A (zh) 面向vr的实时图像压缩方法、系统和存储介质
CN111757109A (zh) 一种高实时性的并行视频编解码方法、系统和存储介质
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法
CN206283618U (zh) 基于感兴趣区域的空间可分级编码装置
CN106954074B (zh) 一种视频数据处理方法和装置
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
CN110913233A (zh) 一种3d-hevc深度图帧内快速编码的方法
CN116437089B (zh) 一种基于关键目标的深度视频压缩方法
Jacob et al. Deep Learning Approach to Video Compression
US11854165B2 (en) Debanding using a novel banding metric

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant