CN109996084B - 一种基于多分支卷积神经网络的hevc帧内预测方法 - Google Patents

一种基于多分支卷积神经网络的hevc帧内预测方法 Download PDF

Info

Publication number
CN109996084B
CN109996084B CN201910361446.XA CN201910361446A CN109996084B CN 109996084 B CN109996084 B CN 109996084B CN 201910361446 A CN201910361446 A CN 201910361446A CN 109996084 B CN109996084 B CN 109996084B
Authority
CN
China
Prior art keywords
branch
coding
output
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910361446.XA
Other languages
English (en)
Other versions
CN109996084A (zh
Inventor
曾焕强
陈婧
粘春湄
侯进辉
朱建清
马凯光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201910361446.XA priority Critical patent/CN109996084B/zh
Publication of CN109996084A publication Critical patent/CN109996084A/zh
Application granted granted Critical
Publication of CN109996084B publication Critical patent/CN109996084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多分支卷积神经网络的HEVC帧内预测方法，属于视频编码领域，本方法使用多分支卷积神经网络，对每个CTU进行预处理，并分别作为不同分支的卷积神经网络的输入，经过卷积计算之后，将得到的特征进行全连接，考虑不同QP值的影响，并最终输出三个分支的分类结果，三个分支分别对应每个CTU中深度等级0，1，2，判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支卷积神经网络的HEVC帧内预测方法能够有效地减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

Description

一种基于多分支卷积神经网络的HEVC帧内预测方法
技术领域
本发明涉及视频编解码领域，特别是指一种基于多分支卷积神经网络的HEVC帧内预测方法。
背景技术
随着视频逐渐地超高清化，且短视频、网络直播以及网络点播等新兴的视频应用方式的出现，对视频的存储与传输是一个巨大的挑战。因此，2013年，联合专家组发布了新一代高效视频编码标准(High Efficiency Video Coding,HEVC),旨在对庞大的视频数据进行有效地压缩使其能在有限的带宽内进行存储和传输，其压缩率比上一代视频编码标准H.264/AVC提高一倍。在提高编码效率的同时，HEVC采用四叉树划分方式等更复杂的编码结构，急剧增加了编码的复杂度，严重影响了HEVC的实用性。
因此，针对HEVC的编码复杂度高的问题，提出复杂度优化方法，在保持编码性能基本不变的情况下尽可能地降低编码复杂度，具有一定的研究意义和实用价值。
发明内容
本发明的主要目的在于克服现有HEVC编码复杂度高的不足，提出一种基于多分支卷积神经网络的HEVC帧内预测方法，在保持编码性能基本不变的情况下，降低编码时间开销。
本发明采用如下技术方案：
一种基于多分支卷积神经网络的HEVC帧内预测方法，其特征在于，包括：
收集数据时，选取多种不同纹理的视频，取前25帧在不同QP值下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个编码树单元CTU中，作为训练集；
训练数据时，对于训练集中的每一个编码树单元CTU，进行预处理，输出三个降采样程度不一的编码树单元CTU，并输入至多分支卷积神经网络进行训练，随后进行四层卷积层计算，每次卷积的卷积核不重叠，将输出的三个分支的卷积结果输入到一维的全连接层中，进行两次全连接，并加入对应QP值到全连接中进行计算；最后，再次分成三个分支，根据输出的标签确定分支的输出；得到训练好的多分支卷积神经网络；
测试数据时，选取20种不同分辨率不同视频内容的视频序列作为测试集，将每一帧图像的编码树单元CTU，输入到训练好的多分支卷积神经网络，输出每个编码树单元CTU中不同深度等级编码单元CU的最佳尺寸。
全连接层之后再次分成三个分支，根据输出的标签确定分支的输出，具体包括如下：
第一分支对应64×64的编码单元CU，第二分支对应32×32的编码单元CU，第三分支对应16×16的编码单元CU；第一分支先输出对应的标签，若标签显示不停止划分，则不进行另外两个分支的输出，若显示继续划分，则进行第二分支的输出；若第二分支输出标签显示停止划分，则停止第三分支的输出，否则，进行第三分支的输出。
测试数据时，所述每一帧图像的编码树单元CTU经过一些列预处理和卷积计算之后，首先处理第一分支的全连接计算，若输出的编码单元CU是停止划分，当前最佳编码单元CU尺寸为64×64；
若显示继续划分，则进行第二分支的全连接计算，输出有4个标签，对应不同位置的32×32的编码单元CU，若某32×32的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是32×32；
若显示继续划分，则进行第三分支的全连接计算，输出有16个标签，对应不同位置16×16的编码单元CU，若某16×16的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是16×16。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明采用多分支卷积神经网络结构，对应三种深度等级，可以有效区分不同深度等级CU的划分结果。
2、本发明可以直接测试每一帧所有CTU中不同深度等级的划分结果，而不需要对每个CU进行测试，可以有效地降低编码单元深度预测过程的计算时间。
附图说明
图1为本发明方法的流程示意图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
参见图1所示，本发明为了解决现有HEVC计算复杂度高的问题，提供一种基于多分支卷积神经网络的HEVC帧内预测方法，本方法使用多分支卷积神经网络，对每个CTU进行预处理，并分别作为不同分支的卷积神经网络的输入，经过卷积计算之后，将得到的特征进行全连接，考虑不同QP值的影响，并最终输出三个分支的分类结果，三个分支分别对应每个CTU中深度等级0，1，2，判断三个深度等级的CU是否继续划分或者停止划分。
本发明具体包括如下：
收集数据时，选取多种不同纹理的视频，取前25帧在不同QP值下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个编码树单元CTU中，作为训练集。
训练数据时，对于每一帧中的编码树单元CTU，进行去均值以及降采样的预处理，输出三个降采样程度不一的编码树单元CTU作为每个分支的卷积神经网络的输入，随后进行四层卷积层计算，每次卷积的卷积核不重叠，最后将三个分支的卷积结果输入到一维的全连接层中，并且进行两次全连接。最后分成三个分支输出，对第一个分支先输出对应的标签，若标签显示不继续划分，则不进行另外两个分支的输出，否则继续进行第二个分支的输出，同理判断，第二个以及第三个分支的输出。另外，在输出时加入对应QP值到全连接中进行计算。得到训练好的多分支卷积神经网络
其中，多分支卷积神经网络采用交叉熵损失函数形式：
L＝[ylogy'+(1-y)log(1-y')]
其中，y是CU划分的真实结果，y’是模型训练的预测结果。若L越小说明预测结果越接近真是结果，模型的性能越高。
而激活函数采用Sigmoid函数：
Figure BDA0002046944150000041
其中，z是模型上一层的输出。
测试数据时，选取20种不同分辨率不同视频内容的视频序列作为测试集，对每一帧图像的编码树单元CTU在编码之前，输入到训练后的多分支卷积神经网络中进行测试。
编码树单元CTU经过一系列预处理和卷积计算之后，首先处理第一分支的全连接计算，若输出的编码单元CU是停止划分，意味当前最佳编码单元CU尺寸64×64。若显示继续划分，则进行第二分支的全连接计算，输出有4个标签，对应不同位置的32×32的编码单元CU，若某32×32的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是32×32，若显示继续划分，则进行第三分支的全连接计算，输出有16个标签，对应不同位置16×16的编码单元CU，判断方式一样。
最终，通过测试结果，在编码树单元CTU编码时，提前判断最佳编码单元CU尺寸，跳过其它尺寸的计算，降低编码复杂度。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (3)

1.一种基于多分支卷积神经网络的HEVC帧内预测方法，其特征在于，包括：
收集数据时，选取多种不同纹理的视频，取前25帧在不同QP值下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个编码树单元CTU中，作为训练集；
训练数据时，对于训练集中的每一个编码树单元CTU，进行预处理，输出三个降采样程度不一的编码树单元CTU，并输入至多分支卷积神经网络进行训练，随后进行四层卷积层计算，每次卷积的卷积核不重叠，将输出的三个分支的卷积结果输入到一维的全连接层中，进行两次全连接，并加入对应QP值到全连接中进行计算；最后，再次分成三个分支，根据输出的标签确定分支的输出；得到训练好的多分支卷积神经网络；
测试数据时，选取20种不同分辨率不同视频内容的视频序列作为测试集，将每一帧图像的编码树单元CTU，输入到训练好的多分支卷积神经网络，输出每个编码树单元CTU中不同深度等级编码单元CU的最佳尺寸。
2.如权利要求1所述的一种基于多分支卷积神经网络的HEVC帧内预测方法，其特征在于：全连接层之后再次分成三个分支，根据输出的标签确定分支的输出，具体包括如下：
第一分支对应64×64的编码单元CU，第二分支对应32×32的编码单元CU，第三分支对应16×16的编码单元CU；第一分支先输出对应的标签，若标签显示不停止划分，则不进行另外两个分支的输出，若显示继续划分，则进行第二分支的输出；若第二分支输出标签显示停止划分，则停止第三分支的输出，否则，进行第三分支的输出。
3.如权利要求2所述的一种基于多分支卷积神经网络的HEVC帧内预测方法，其特征在于：测试数据时，所述每一帧图像的编码树单元CTU经过一系列预处理和卷积计算之后，首先处理第一分支的全连接计算，若输出的编码单元CU是停止划分，当前最佳编码单元CU尺寸为64×64；
若显示继续划分，则进行第二分支的全连接计算，输出有4个标签，对应不同位置的32×32的编码单元CU，若某32×32的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是32×32；
若显示继续划分，则进行第三分支的全连接计算，输出有16个标签，对应不同位置16×16的编码单元CU，若某16×16的编码单元CU显示停止划分，则该位置最佳编码单元CU尺寸是16×16。
CN201910361446.XA 2019-04-30 2019-04-30 一种基于多分支卷积神经网络的hevc帧内预测方法 Active CN109996084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361446.XA CN109996084B (zh) 2019-04-30 2019-04-30 一种基于多分支卷积神经网络的hevc帧内预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361446.XA CN109996084B (zh) 2019-04-30 2019-04-30 一种基于多分支卷积神经网络的hevc帧内预测方法

Publications (2)

Publication Number Publication Date
CN109996084A CN109996084A (zh) 2019-07-09
CN109996084B true CN109996084B (zh) 2022-11-01

Family

ID=67135800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361446.XA Active CN109996084B (zh) 2019-04-30 2019-04-30 一种基于多分支卷积神经网络的hevc帧内预测方法

Country Status (1)

Country Link
CN (1) CN109996084B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913233A (zh) * 2019-11-28 2020-03-24 华侨大学 一种3d-hevc深度图帧内快速编码的方法
CN116057976A (zh) * 2020-09-11 2023-05-02 高通股份有限公司 用于基于自动编码器的通信的基于尺寸的神经网络选择
CN112188310B (zh) * 2020-09-28 2022-08-16 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112770120B (zh) * 2020-12-29 2022-05-20 南京理工大学 基于深度神经网络的3d视频深度图帧内快速编码方法
CN113033424B (zh) * 2021-03-29 2021-09-28 广东众聚人工智能科技有限公司 一种基于多分支视频异常检测方法和系统
CN113382245A (zh) * 2021-07-02 2021-09-10 中国科学技术大学 图像划分方法和装置
CN113784147B (zh) * 2021-08-10 2023-06-09 浙江万里学院 一种基于卷积神经网络的高效视频编码方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495129A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 基于深度学习方法的块分割编码复杂度优化方法及装置
CN108737840A (zh) * 2018-05-28 2018-11-02 华侨大学 一种基于深度图纹理特性的3d-hevc帧内快速编码方法
WO2019031410A1 (ja) * 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
CN109618169A (zh) * 2018-12-25 2019-04-12 中山大学 用于hevc的帧内决策方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031410A1 (ja) * 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
CN108495129A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 基于深度学习方法的块分割编码复杂度优化方法及装置
CN108737840A (zh) * 2018-05-28 2018-11-02 华侨大学 一种基于深度图纹理特性的3d-hevc帧内快速编码方法
CN109618169A (zh) * 2018-12-25 2019-04-12 中山大学 用于hevc的帧内决策方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Deep Residual Network for Enhancing Quality of the Decoded Intra Frames of Hevc;Fan Li等;《2018 25th IEEE International Conference on Image Processing (ICIP)》;20180906;全文 *
基于3D-HEVC的编码单元快速划分算法研究;魏丽莎;《万方数据》;20170726;全文 *

Also Published As

Publication number Publication date
CN109996084A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109996084B (zh) 一种基于多分支卷积神经网络的hevc帧内预测方法
CN109982092B (zh) 基于多分支循环卷积神经网络的hevc帧间快速方法
CN110493596B (zh) 一种基于神经网络的视频编码系统及方法
CN107682698A (zh) 用于编码和解码图像信息的方法
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN104079937B (zh) 一种基于运动矢量分析的由h.264到hevc的快速帧间转码方法及转码装置
CN101895751A (zh) 帧内预测的方法及装置、基于帧内预测的编/解码方法及系统
CN112738511B (zh) 一种结合视频分析的快速模式决策方法及装置
CN109361919A (zh) 一种联合超分辨率和去压缩效应的图像编码性能提升方法
CN109040759B (zh) 一种图像并行压缩装置及方法
CN108921910A (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
CN112702599B (zh) 一种基于深度学习的vvc帧内快速编码方法
CN103297777A (zh) 一种用于加速视频编码速度的方法及装置
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
Zhang et al. Fast CU decision-making algorithm based on DenseNet network for VVC
CN110099280A (zh) 一种无线自组织网络带宽受限下的视频业务质量增强方法
CN105898300A (zh) 一种基于恢复变换系数的改进变换系数符号位隐藏方法
CN107005691A (zh) 使用从图模板导出的变换来对视频信号进行编码/解码的方法和装置
CN114157863B (zh) 基于数字视网膜的视频编码方法、系统及存储介质
CN111669588A (zh) 一种超低时延的超高清视频压缩编解码方法
CN112770120B (zh) 基于深度神经网络的3d视频深度图帧内快速编码方法
CN109391816A (zh) 基于cpu+gpu异构平台实现hevc中熵编码环节的并行处理方法
CN113784147B (zh) 一种基于卷积神经网络的高效视频编码方法及系统
CN104780377A (zh) 一种基于分布式计算机系统的并行hevc编码系统及方法
CN113194312B (zh) 结合视觉显著性的行星科学探测图像自适应量化编码系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant