CN112019854B - 基于深度学习神经网络的环路滤波方法 - Google Patents

基于深度学习神经网络的环路滤波方法 Download PDF

Info

Publication number
CN112019854B
CN112019854B CN201910450808.2A CN201910450808A CN112019854B CN 112019854 B CN112019854 B CN 112019854B CN 201910450808 A CN201910450808 A CN 201910450808A CN 112019854 B CN112019854 B CN 112019854B
Authority
CN
China
Prior art keywords
network
filtered
frame
mean value
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910450808.2A
Other languages
English (en)
Other versions
CN112019854A (zh
Inventor
刘家瑛
王德昭
夏思烽
杨文瀚
胡越予
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910450808.2A priority Critical patent/CN112019854B/zh
Publication of CN112019854A publication Critical patent/CN112019854A/zh
Application granted granted Critical
Publication of CN112019854B publication Critical patent/CN112019854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明为一种基于深度学习神经网络的环路滤波方法，利用了视频编码中块划分树的信息，进一步提升视频恢复质量。与传统的视频编码器内采用了手工设计的去块效应模块以及样点自适应补偿模块不同，本发明利用了深度卷积神经网络在大量训练数据集上进行学习，从而更准确地学习到从低质量视频到高质量视频的非线性映射。本发明为块与块间增加了连接，从而可以传递未被压缩的特征信息。此外，本发明还利用了视频编码器提供的块划分树中的多层块划分信息，生成多层编码单元均值图，进一步辅助神经网络更好地消除块效应。

Description

基于深度学习神经网络的环路滤波方法
技术领域
本发明涉及视频编码领域，尤其涉及一种基于深度学习神经网络的环路滤波方法。
背景技术
在数字视频的使用传播过程中，有损视频压缩是一项不可或缺的关键技术。有损视频压缩通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活得以被普遍使用。但是有损视频压缩技术在编码段不可避免地要损失信息，这也造成了解码视频质量的下降。
造成视频质量下降的原因主要有两点：第一，最新的视频编码技术往往把每一帧划分为大小不同的块，基于块来压缩与编码。这样就会导致块与块的边界处像素值会有突变，也就是块效应。第二，在量化过程中，高频信息被消除，导致振铃效应。
为了恢复视频质量，视频编码器往往会在反变换后，进行环路滤波，以提高视频质量。其中，去块效应模块对块与块的边界的像素值进行调整，缓解块效应；样点自适应补偿模块为视频帧补充高频信息，缓解振铃效应。
受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在环路滤波中引入了深度神经网络，并获得了一定的性能提升。但是已有的方法往往通过简单地串联设计好的网络块来搭建网络(比如利用串联残差稠密块搭建残差稠密网络，请参见Y.L.Zhang,Y.P.Tian,Y.Kong,B.N.Zhong,and Y.Fu,“Residual dense network forimage super-resolution,”in Proc.IEEE Int’l Conf.Computer Vision and PatternRecognition,2018.)。本发明在残差稠密块的基础上额外引进了块与块间的跳接，将前一个网络块未经压缩的特征图进行卷积操作后直接接入后一块的输出部分。通过这样的连接，形成了长期记忆的传输。此外，视频编码器提供了许多辅助信息，例如块划分树，可以用来辅助视频恢复。
发明内容
本发明在上述技术背景下，提供了一种基于深度学习神经网络的环路滤波方法。为相邻的网络块间提供长期记忆的连接，并且利用了块划分树提供的多层划分信息，获得了更佳的编码性能。
本发明的基于深度学习神经网络的环路滤波方法，如附图1所示。所述深度学习神经网络包括基线网络和辅助信息抽取网络，所述基线网络和辅助信息抽取网络均由带有长期记忆的残差稠密块连接而成，其步骤包括：
1、将原始帧送入视频编码器进行编码，经过反变换得到待滤波的重建帧；
2、根据视频编码器的块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值(请见Y.L.Zhang,Y.P.Tian,Y.Kong,B.N.Zhong,and Y.Fu,“Residual densenetwork for image)，组成多层编码单元均值图；
3、所述辅助信息抽取网络根据多层编码单元均值图进行特征抽取，得到多层编码单元均值图的特征图；
4、将所述待滤波的重建帧输入基线网络，并将所述多层编码单元均值图的特征图插入到基线网络的不同深度，进行前向传播，得到滤波后的重建帧。
本发明所述辅助信息抽取网络由两个带有长期记忆的残差稠密块连接而成。
本发明将所述待滤波的重建帧输入基线网络前进行去块效应。
本发明将前向传播输出的滤波后的帧进行样点自适应补偿。
本发明所述深度学习神经网络为一卷积神经网络模型，通过如下训练步骤得到：
1、收集N张图片，将各图片视为单帧视频，作为原始帧送入视频编码器中进行编码，经过反变换和去块效应模块后，得到待滤波的重建帧；
2、根据块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值，组成多层编码单元均值图；
3、输入辅助信息特征抽取网络，进行特征抽取，得到多层编码单元均值图的特征图；
4、将所述待滤波的重建帧输入神经网络模型的基线网络，并将所述多层编码单元均值图的特征图插入到神经网络模型的基线网络的不同深度，进行前向计算，生成滤波后的重建帧；
5、将步骤4得到的计算结果，与原始帧进行均方差的计算；
6、把计算的均方差反向传播到基线网络各层，以更新各层权值，进行下次迭代，直到基线网络的均方差收敛，得到优化的卷积神经网络模型。
本发明的基于深度学习神经网络的环路滤波系统，包括视频编码器及其环路滤波模块，所述环路滤波模块包含基线网络以及辅助信息特征抽取网络，所述基线网络和辅助信息抽取网络均由带有长期记忆的残差稠密块连接而成，其特征在于：
所述视频编码器用于将原始帧进行编码，并进行反变换生成待滤波的重建帧；并根据块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值，组成多层编码单元均值图；
所述辅助信息特征抽取网络用于对所述多层编码单元均值图进行特征抽取，得到多层编码单元均值图的特征图，并将所述多层编码单元均值图的特征图插入到所述基线网络的不同深度；
所述基线网络接收所述待滤波的重建帧和插入的特征图进行前向传播，输出滤波后的重建帧；
所述系统还包括一去块效应模块，用于将重建帧去块效应后再输入基线网络。
所述系统还包括一样点自适应补偿模块，以将前向传播输出的滤波后的重建帧进行样点自适应补偿。
所述辅助信息抽取网络的深度浅于所述基线网络。
本发明方法的滤波过程基于一个深度卷积神经网络实现。本发明的深度卷积神经网络可以分为两个部分：基线网络以及辅助信息特征抽取网络。基线网络由带有长期记忆的残差稠密块连接而成；辅助信息特征抽取网络由带有长期记忆的残差稠密块连接而成，其网络深度浅于基线网络。基线网络输入待滤波的重建帧；辅助信息特征抽取网络输入为多层编码单元均值图，输出为其特征图，并将特征图插入基线网络的不同深度网络。神经网络的输出是滤波后的重建帧。
本发明不仅仅是采用简单地串联网络块，而是额外增加了长期记忆连接，如附图2所示。其中，上一个网络块的长期信息(Md)直接传入当前块输出部分，弥补了在当前块运算过程中损失的信息。
本发明提取了编码器提供的块划分树的多层划分信息，通过计算每一层划分时编码单元的均值，形成了多层编码单元均值图，如附图3所示。其中，图片上半部分为块划分树，下半部分为其对应的编码单元均值图。
本发明为相邻的网络块间提供长期记忆的连接，并且利用了块划分树提供的多层划分信息，获得了更佳的编码性能。经过本发明的滤波，在JCT-VC的B-E类标准序列上(请参见K.Sharman and K.Suehring,“Common test conditions,”in document JCTVC-Z1100,Joint Collaborative Team on Video Coding,2017.)，全部帧内预测参数配置下，可达到了平均9.6％的BD-rate(请参见G.Bjontegaard,“Calculation of average PSNRdifferences between RD-curves,”in document VCEG-M33,ITU-T Video CodingExperts Group Meeting,2001)性能提升。
附图说明
图1是环路滤波方法流程图。
图2是带有长期记忆连接的稠密残差网络块示意图。
图3是提取多层编码均值图示意图。
具体实施方式
为了对本发明的技术方法进一步阐述，下面结合说明书附图和具体实例，对本发明的环路滤波方法进行进一步的详细说明。
假设目前已经构建了所需的卷积神经网络模型，并且有N张训练图像{I1,I2,…,IN}作为训练数据，其训练步骤包括：
1、将{I1,I2,…,IN}中的每一张图送入编码器中，将经过去块效应模块的帧保存下来，记为{I′1,I′2,...,I′n}；
2、根据附图3所示，提取每一张图片的多层编码单元均值图，记为{{S11,S12,…,S1m},{S11,S12,…,S1m},…,{S11,S12,…,S1m}}，其中m是块划分树的层数；
3、将每一张重建帧{I′1,I′2,...,I′n}送入基线网络，并将他们对应的多层编码单元均值图{{S11,S12,…,S1m},{S21,S22,…,S2m},…,{SN1,SN2,…,SNm}}送入辅助信息特征抽取网络，生成编码单元均值图的特征图{{SF11,SF12,…,F1m},{SF21,SF22,…,SF2m},…,{SFN1,SFN2,…,SFNm}}；
4、将这些上述的特征图插入到基线网络的不同深度，从而得到输出
Figure BDA0002075084580000041
计算输出与{I1,I2,…,IN}的均方差；
5、将计算的均方差反向传播到基线网络以及辅助信息特征提取网络各层，以训练网络更新模型权值；
6、重复步骤3-步骤5直到神经网络的均方差收敛，得到优化的卷积神经网络模型。
将优化的卷积神经网络模型运用到编码器的环路滤波模块中，介于去块效应模块与样点自适应补偿模块之间。
在编码器实际测试中，视频编码器将原始帧进行编码，并进行反变换和去块效应模块生成待滤波的重建帧；计算当前帧的多层编码单元均值图，将待滤波的重建帧和其多层编码单元均值图送入神经网络模型，得到滤波后的重建帧；将滤波后的重建帧送入样点自适应补偿模块中，得到最后的重建帧。

Claims (9)

1.一种基于深度学习神经网络的环路滤波方法，所述深度学习神经网络包括基线网络和辅助信息抽取网络，所述基线网络和辅助信息抽取网络均由带有长期记忆的残差稠密块连接而成，所述带有长期记忆的残差稠密块是在残差稠密块的基础上引进块与块间的跳接，以将前一个网络块未经压缩的特征图进行卷积操作后直接接入后一网络块的输出部分，其特征在于，包括以下步骤：
1)将原始帧送入视频编码器进行编码，经过反变换得到待滤波的重建帧；
2)根据视频编码器的块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值，组成多层编码单元均值图；
3)所述辅助信息抽取网络根据多层编码单元均值图进行特征抽取，得到多层编码单元均值图的特征图；
4)将所述待滤波的重建帧输入基线网络，并将所述多层编码单元均值图的特征图插入到基线网络的不同深度，进行前向传播，得到滤波后的重建帧。
2.如权利要求1所述的方法，其特征在于，所述辅助信息抽取网络的深度浅于所述基线网络。
3.如权利要求1所述的方法，其特征在于，所述待滤波的重建帧输入基线网络前进行去块效应。
4.如权利要求1所述的方法，其特征在于，将前向传播输出的所述滤波后的重建帧进行样点自适应补偿。
5.如权利要求1所述的方法，其特征在于，所述深度学习神经网络需先构建一个原始卷积神经网络模型，再通过如下训练步骤得到，包括：
1)收集N张图片，将各图片视为单帧视频，作为原始帧送入视频编码器中进行编码，经过反变换后，得到待滤波的重建帧；
2)根据块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值，组成多层编码单元均值图；
3)输入辅助信息特征抽取网络，进行特征抽取，得到多层编码单元均值图的特征图；
4)将所述待滤波的重建帧输入神经网络模型的基线网络，并将所述多层编码单元均值图的特征图插入到神经网络模型的基线网络的不同深度，进行前向计算，生成滤波后的重建帧；
5)将步骤4)得到的计算结果，与原始帧进行均方差的计算；
6)把计算的均方差反向传播到基线网络各层，以更新各层权值，进行下次迭代，直到基线网络的均方差收敛，得到优化的卷积神经网络模型。
6.一种基于深度学习神经网络的环路滤波系统，包括视频编码器及其环路滤波模块，所述环路滤波模块包含基线网络以及辅助信息特征抽取网络，所述基线网络和辅助信息抽取网络均由带有长期记忆的残差稠密块连接而成，所述带有长期记忆的残差稠密块是在残差稠密块的基础上引进块与块间的跳接，以将前一个网络块未经压缩的特征图进行卷积操作后直接接入后一网络块的输出部分，其特征在于：
1)所述视频编码器用于将原始帧进行编码，并进行反变换生成待滤波的重建帧；并根据块划分树，递归地提取待滤波的重建帧中每一层编码单元像素的均值，组成多层编码单元均值图；
2)所述辅助信息特征抽取网络用于对所述多层编码单元均值图进行特征抽取，得到多层编码单元均值图的特征图，并将所述多层编码单元均值图的特征图插入到所述基线网络的不同深度；
3)所述基线网络接收所述待滤波的重建帧和插入的特征图进行前向传播，输出滤波后的重建帧。
7.如权利要求6所述的系统，其特征在于，所述系统还包括一去块效应模块，用于将重建帧去块效应后再输入基线网络。
8.如权利要求6所述的系统，其特征在于，所述系统还包括一样点自适应补偿模块，以将前向传播输出的滤波后的重建帧进行样点自适应补偿。
9.如权利要求6所述的系统，其特征在于，所述辅助信息抽取网络的深度浅于所述基线网络。
CN201910450808.2A 2019-05-28 2019-05-28 基于深度学习神经网络的环路滤波方法 Active CN112019854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910450808.2A CN112019854B (zh) 2019-05-28 2019-05-28 基于深度学习神经网络的环路滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910450808.2A CN112019854B (zh) 2019-05-28 2019-05-28 基于深度学习神经网络的环路滤波方法

Publications (2)

Publication Number Publication Date
CN112019854A CN112019854A (zh) 2020-12-01
CN112019854B true CN112019854B (zh) 2023-01-17

Family

ID=73500838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910450808.2A Active CN112019854B (zh) 2019-05-28 2019-05-28 基于深度学习神经网络的环路滤波方法

Country Status (1)

Country Link
CN (1) CN112019854B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113068031B (zh) * 2021-03-12 2021-12-07 天津大学 一种基于深度学习的环路滤波方法
CN114173130B (zh) * 2021-12-03 2023-02-10 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
WO2024077575A1 (zh) * 2022-10-13 2024-04-18 Oppo广东移动通信有限公司 基于神经网络的环路滤波、视频编解码方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540908A (zh) * 2009-03-30 2009-09-23 北京大学 视频编码处理方法和装置
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540908A (zh) * 2009-03-30 2009-09-23 北京大学 视频编码处理方法和装置
CN107925762A (zh) * 2015-09-03 2018-04-17 联发科技股份有限公司 基于神经网络的视频编解码处理方法和装置
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于LT编码的视频多流并发传输研究;汤凯等;《北京大学学报(自然科学版)》;20150520(第03期);全文 *

Also Published As

Publication number Publication date
CN112019854A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN107018422B (zh) 基于深度卷积神经网络的静止图像压缩方法
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN110351568A (zh) 一种基于深度卷积网络的视频环路滤波器
CN112019854B (zh) 基于深度学习神经网络的环路滤波方法
CN107925762B (zh) 基于神经网络的视频编解码处理方法和装置
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
CN109120937B (zh) 一种视频编码方法、解码方法、装置及电子设备
CN110751597B (zh) 基于编码损伤修复的视频超分辨方法
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN105430416A (zh) 一种基于自适应稀疏域编码的指纹图像压缩方法
CN113132729A (zh) 一种基于多参考帧的环路滤波方法及电子装置
CN110619607B (zh) 图像去噪和包含图像去噪的图像编解码方法及装置
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
TW202209885A (zh) 影像處理方法、裝置、設備、電腦儲存媒介和系統
JP2024015184A (ja) 画像復号装置及び方法及びプログラム
KR102245682B1 (ko) 영상 압축 장치, 이의 학습 장치 및 방법
CN110677644A (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN104581173A (zh) 软解码验证模型平台
CN106559668B (zh) 一种基于智能量化技术的低码率图像压缩方法
CN111163320A (zh) 一种视频压缩方法及系统
CN115150628A (zh) 具有超先验引导模式预测的由粗到细深度视频编码方法
CN112954350B (zh) 一种基于帧分类的视频后处理优化方法及装置
WO2022037146A1 (zh) 图像处理方法、装置、设备、计算机存储介质和系统
CN115131254A (zh) 一种基于双域学习的恒定码率压缩视频质量增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant