CN111541894A - 一种基于边缘增强残差网络的环路滤波方法 - Google Patents

一种基于边缘增强残差网络的环路滤波方法 Download PDF

Info

Publication number
CN111541894A
CN111541894A CN202010316398.5A CN202010316398A CN111541894A CN 111541894 A CN111541894 A CN 111541894A CN 202010316398 A CN202010316398 A CN 202010316398A CN 111541894 A CN111541894 A CN 111541894A
Authority
CN
China
Prior art keywords
network
image
edge
edge enhancement
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010316398.5A
Other languages
English (en)
Other versions
CN111541894B (zh
Inventor
朱策
邓玲玲
丁可可
安平
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010316398.5A priority Critical patent/CN111541894B/zh
Publication of CN111541894A publication Critical patent/CN111541894A/zh
Application granted granted Critical
Publication of CN111541894B publication Critical patent/CN111541894B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明属于视频编码技术领域，具体涉及一种基于边缘增强残差网络的环路滤波方法。本发明通过对SRResNet进行改进，提出基于边缘增强残差网络EEResNet，主要解决传统环路滤波方案大多采用局部先验平滑使得重建图像无法恢复真实的边缘细节的问题，用于进一步提升视频重建质量，EEResNet主要由阶段滤波网络和边缘增强网络组成，阶段滤波网络的基本构建单元是残差网络单元，边缘增强网络为基于Laplace算子设计。本发明在AI编码结构下编码复杂度平均增加了4％，使用EEResNet滤波后的重建图像质量提升，使得后续VVC中的环路滤波模块的滤波操作变简化，编码时间减少。

Description

一种基于边缘增强残差网络的环路滤波方法
技术领域
本发明属于视频编码技术领域，具体涉及一种基于边缘增强残差网络的环路滤波方法。
背景技术
近几年，卷积神经网络(Convolutional Neural Network,CNN)在已经扩展到许多研究领域，特别是在超分辨率、去模糊、去噪等图像恢复方面，CNN已经表现出优于传统非学习方法的趋势。从深度学习的角度来看，可以认为CNN是基于庞大的训练数据集，从输入的失真图像和原始图像的特征中学习一个从失真图像到原始图像的非线性映射函数，达到恢复失真图像的目的。尽管输入图像的失真特性各不相同，但在不同的图像恢复任务中，CNN的学习过程是十分相似的。一般情况下，将失真图像和原始图像作为输入和目标共同输入到网络中，CNN便可以通过学习失真图像与原始图像的差异来学习如何从失真图像中恢复目标图像。同理，该方法也可用于视频编码中环路滤波的模块，去除因量化过程中高频信号的丢失而产生的各种量化失真，达到提高重建视频质量的目的。
目前VVC标准中的环路滤波模块主要由去方块滤波(Deblocking Filter,DBF)、样点自适应补偿(Sample Adaptive Offset,SAO)和自适应环路滤波(Adaptive LoopFilter,ALF)组成，对于传统的环路滤波技术，大多通过人工设计较多的经验公式及巧妙的滤波规则，提取重建像素之间的关系，对出现失真的像素进行滤波。例如去方块滤波技术，通过相邻编码块的编码参数获取边界强度，根据边界两边的块内像素值的变化程度判断该边界区域的内容特性实现滤波开关决策，通过边界两边的像素值的变化率、边界两侧是否平坦以及边界处像素的跨度选择滤波强度，最后使用经验公式对重建像素进行滤波。尽管这些传统算法滤波效果也是相当优秀，但大多属于人为经验设计，难以达到理想滤波效果，并且多是基于图像的局部先验平滑，这通常会导致对边缘和纹理的过度平滑。因此可利用卷积神经网络大量的参数所带来的强大的学习能力，进一步提升恢复边缘细节的能力，去除重建图像中的失真的同时保持图像的边缘细节。
Ledig,Christian等人提出基于GAN网络的单个图像的高分辨重建网络SRGAN,具体参考文献“Photo-Realistic Single Image Super-Resolution Using a GenerativeAdversarial Network”，SRGAN由生成网络和判别网络组成，判别网络的作用是尽可能多的准确判断当前图像是真实图像还是由生成网络生成的虚假图像，而生成网络SRResNet通过从低分辨率的图像生成高分辨率图像，希望尽可能地欺骗判别网络，混淆判别网络的判断，当生成网络成功骗过判别网络时，此时生成网络就训练完成了。由于使用了GAN结构，尽管SRGAN能够生成具有良好细节和生动纹理的图像，优于大多数CNN方法，也因此很难对其进行训练。
发明内容
本发明的目的，就是针对上述问题，通过对SRResNet进行改进，提出基于边缘增强残差网络EEResNet(Edge-Enhanced ResNet)，主要解决传统环路滤波方案大多采用局部先验平滑使得重建图像无法恢复真实的边缘细节的问题，用于进一步提升视频重建质量，EEResNet主要由阶段滤波网络和边缘增强网络组成。
本发明采用的技术方案是，一种基于边缘增强残差网络的环路滤波方法，边缘增强残差网络能利用重建图像的局部结构信息，在对包含噪声的重建图像进行恢复的同时进一步增强边缘，提高重建图像的主客观质量，将本发明提出的EEResNet集成到VTM3.0中，作为DBF之前的附加环路滤波器。本发明主要步骤包括：(1)构造训练数据集；(2)构造阶段滤波网络；(3)构造边缘增强网络；(4)网络训练；(5)使用训练好的EEResNet对重建图像进行滤波。
(1)构造训练数据集
利用不同于JEVT通用测试序列的DIV2K数据集生成训练集和验证集。它的训练集由800张图像生成，验证集由100张图像生成。在对DIV2K数据集中的图像进行压缩之前，先将图像从RGB颜色空间转换为YUV颜色空间，使用VVC视频编码标准的参考软件VTM3.0的AI编码结构对每张图片进行压缩，将未经过VTM中环路滤波模块DBF、SAO、ALF的重建图像输出，并划分为互不重叠的大小为64×64的重建块，该网络使用这些大小为64×64的编码重建块作为输入，编码重建块包含Y、U、V三个分量，由于亮度和色度分量尺寸不一致，需对输入做处理，将3通道的输入图像转换为6通道。如图1所示，假设一个输入图像的尺寸为W×H，将亮度分量均匀划分为4个大小为W/2×H/2的亮度块，并堆叠成4通道，同时将2个尺寸为W/2×H/2色度分量连接在4通道的亮度分量后，形成6通道输入图像。因此训练集由40万左右的大小为64×64的6通道重建块组成。对当前重建块的亮度和色度重建像素值进行缩放，除以(1<<bitDepth-1)，使得像素值在[0,1]的范围内，然后将处理好的训练集输入EEResNet进行训练。
(2)构造阶段滤波网络
如图2下半部边框内的部分网络所示，阶段滤波网络是基于SRResNet设计的，阶段滤波网络的基本构建单元是残差网络单元，如图3所示，每个模块包含两个连续的子模块，分别由两个卷积层、两个批处理归一化(Batch Normalization,BN)层和一个PReLU层组成。每个残差网络单元的输入和输出之间的快捷连接直接将输入信号连接到输出，因此残差网络单元可学习输入信号的残差特征，并复用有价值的特征。同理，网络的输入和输出之间的全局快捷连接引导网络生成输入图像和恢复图像之间的残差，能更好的实现恒等映射，防止过拟合，同时可以加速模型的收敛。本发明在网络中使用了12个残差网络单元，网络中的所有卷积层都使用3×3大小的卷积核。在网络的最后添加了两个3×3的卷积层，以自适应地融合前面的特征图并生成一个初步恢复但在边缘处具有噪声的重建图像。由于图像块经过卷积操作后图像尺寸都会缩小，因此每个卷积层的边界使用Padding操作，使输入尺寸和输出尺寸保持一致，图1中描述了卷积核的数目以及步长，n l km s h表示该卷积层的尺寸为l，卷积核的个数为m，步长为h。
(3)构造边缘增强网络
GAN网络可以生成人眼感知质量较高的图像，但在细节部分会产生一些区别于原始图像的噪声，同时由于GAN网络十分难以训练，因此本发明基于SRResNet设计了阶段滤波网络，但基于卷积层简单叠加的普通深度残差网络所生成的图像具有细节模糊的特点，为了解决这一问题，本发明设计了一种基于Laplace算子(如公式1.1所示)的边缘增强网络，学习真实图像边缘。如图2上半部边框部分网络所示，边缘增强网络的输入为阶段滤波网络的输出图像
Figure BDA0002459756620000031
但是从
Figure BDA0002459756620000032
中提取的边缘图像是包含大量噪声的，十分影响输出图像的主客观质量，因此通过边缘增强网络进一步恢复提取的边缘。整个滤波网络输出由阶段滤波网络的输出
Figure BDA0002459756620000033
减去Laplace算子提取的边缘
Figure BDA0002459756620000034
再加上边缘增强网络恢复的边缘
Figure BDA0002459756620000035
得到边缘增强的恢复图像
Figure BDA0002459756620000036
边缘增强网络由7个3×3的卷积层和7个Relu激活函数叠加组成的网络，用于学习边缘图像中的噪声。选择多个3×3的卷积层叠加除了增加网络参数提高学习能力以外，还可以增大感受野以针对大尺寸视频序列编码过程中重建图像的环路滤波问题。如图4所示，2个3×3卷积层叠加相当于1个5×5的卷积层，即一个中心像素可由周围5×5个像素共同表达，感受野的大小为5×5，同理可得3个3×3的卷积层叠加相当于1个7×7的卷积层。因此，卷积层的数目越多，感受野也就越大，更能提取高分辨率视频的重建失真特征，并且随着激活函数的数目的增加，使得边缘增强网络对于特征的学习能力更强。同时本发明在设计边缘增强网络时，随着卷积层的增加，卷积核个数也从64逐步增加到256再逐步减少到64，使得网络有能力提取更加精细的特征。由于需要恢复失真图像的边缘，因此需从高质量的原始视频帧中预先提取边缘结构作为真实值，以指导本发明的EEResNet实现多任务学习。阶段滤波网络与边缘增强网络相结合，能更有效地恢复量化编码所造成的各类失真，提升编码质量。
(4)网络训练
阶段滤波网络和边缘增强网络各自的损失函数分别由各自网络的输出图像与真实图像、真实边缘图像之间的MSE计算，将整个网络的损失函数定义为两者的加权和：
Figure BDA0002459756620000041
IR是整个网络输出的恢复图像，G是视频原始帧，IEdge是边缘增强网络的恢复边缘，GEdge是视频原始帧使用Laplace算子提取的真实边缘，α是一个常数，在本发明中设置为0.01。
使用RMSProp算法反向传播更新参数，实现最小化损失函数，训练周期为300个epoch。在每个epoch中，从训练样本随机抽取32个大小为64×64的重建块输入训练网络，学习率初始值为0.0001，每完成50个epoch的训练，学习率将衰减为原来的一半。一旦训练完成，参数是固定的，在EEResNet中用作滤波系数。本发明分别对22，27、32，37四个QP进行训练得到四个不同的模型，考虑到训练的效率，在QP＝37时对网络从零开始训练，在QP＝22，27，32时对训练后的QP＝37模型进行微调。
(5)使用训练好的EEResNet对重建图像进行滤波
在编码视频序列时，将还没有进行环路滤波的重建图像划分为64×64大小的重建块，用与训练数据相同的处理方式，将重建块转换为6通道的输入格式，输入到步骤(4)中训练好的网络，通过编码器和EEResNet的协同工作，将网络输出的滤波结果重新转换为3通道的YUV格式，网络输出通过乘以(1<<bitDepth-1)，使用四舍五入来将滤波后的重建块重新缩放至[0,1<<bitDepth-1]，编码器将滤波结果读入后存放在重建图像Buffer中继续进行后续的环路滤波操作。对于一帧重建图像，使用RDO计算滤波前后的率失真代价RDCost0和RDCost1，如果RDCost1高于不使用滤波器时的率失真代价RDCost0，则将该重建图像的帧级EEResNet滤波标志记为0，否则帧级EEResNet滤波标志记为1，将滤波标志传输至解码端告知解码端是否需要对当前重建图像使用EEResNet进行滤波。
本发明的有益效果为，本发明基于新兴的卷积神经网络提出边缘增强的深度残差网络EEResNet，针对普通卷积神经网络可能会带来细节模糊的问题，利用Laplace算子提取恢复图像中受到噪声影响的边缘，使用边缘增强网络学习失真边缘与真实边缘的映射方式，进一步提升重建图像的主客观质量和编码效率。
附图说明
图1为网络输入处理；
图2为EEResNet网络结构；
图3为残差网络单元；
图4为2个3×3卷积核的感受野；
图5为Fourpeople序列的率失真曲线对比图。
具体实施方式
下面使用仿真示例说明本发明方案的有效性：
本发明分别使用NVIDIA的Titan XP GPU和Intel的I7-8700CPU进行训练和测试。模型基于Windows10下的Python3在TensorFlow上实现，使用CUDA8.0和CUDNN5.1作为开发环境。在实验中,使用GTX 1080Ti GPU训练EEResNet大概需要40小时。
将本发明提出的EEResNet集成到VVC参考软件VTM3.0中，并将反量化后的重建图像划分为64×64的图像块，把每个图像块的Y、U、V三个分量输入EEResNet网络中，仅输出滤波后的亮度分量，滤波后的图像再使用VVC原有的环路滤波模块进行滤波，采用JEVT通用测试序列在AI编码结构进行测试，测试QP为22、27、32和37，根据当前编码序列设置的QP选择一个模型。
表1中以BD-Rate作为衡量标准验证了EEResNet在恢复重建图像质量方面的有效性，其中Y分量BD-rate平均节省0.75％。特别地，对于Class E的亮度分量BD-rate节省可达1.16％。
表1本发明提出的方法相比于VTM3.0的测试结果
Figure BDA0002459756620000051
Figure BDA0002459756620000061
表2显示了不同序列中在QP＝37的条件下进行编码时的亮度PSNR以及比特率的比较结果，可以看出本发明提出的基于边缘增强的残差网络作为新的环路滤波方法能有效提高重建图像视频的PSNR，并少量节省编码比特率。
表2QP＝37时测试序列在VTM3.0和本发明提出的方法的PSNR和比特率比较
Figure BDA0002459756620000062
Figure BDA0002459756620000071
图5为序列Fourpeople的率失真曲线对比图，横坐标表示编码Fourpeople序列所需码率，纵坐标表示压缩后的视频序列Y分量的峰值信噪比PSNR，三角标记的曲线表示引入本发明提出的EEResNet算法后编码Fourpeople序列的率失真曲线，方块标记的曲线表示原始VTM3.0的编码Fourpeople序列的率失真曲线，可看出该算法在亮度分量带来了一定的编码质量提升。
表3本发明提出的方法相比于VTM3.0的编码时间百分比
Figure BDA0002459756620000072
如表3所示，本发明在AI编码结构下编码复杂度平均增加了4％，并且随着视频尺寸的增加，编码时间增加的越多，这是因为较大尺寸的视频需要对更多的64×64的重建图像块使用EEResNet进行滤波，导致时间开销变大，同时Class A1、A2、D中编码复杂度反而减小，应该是使用EEResNet滤波后的重建图像质量提升，使得后续VVC中的环路滤波模块的滤波操作变简化，编码时间减少。

Claims (2)

1.一种基于边缘增强残差网络的环路滤波方法，其特征在于，包括以下步骤：
S1、构造训练数据集：
采用DIV2K数据集，在对DIV2K数据集中的图像进行压缩之前，先将图像从RGB颜色空间转换为YUV颜色空间，使用VVC视频编码标准的参考软件VTM3.0的AI编码结构对每张图片进行压缩，将未经过VTM中环路滤波模块DBF、SAO、ALF的重建图像输出，并划分为互不重叠的大小为64×64的重建块,编码重建块包含Y、U、V三个分量，将3通道的输入图像转换为6通道，具体为：定义一个输入图像的尺寸为W×H，将亮度分量均匀划分为4个大小为W/2×H/2的亮度块，并堆叠成4通道，同时将2个尺寸为W/2×H/2色度分量连接在4通道的亮度分量后，形成6通道输入图像，对当前重建块的亮度和色度重建像素值进行缩放，除以(1<<bitDepth-1)，使得像素值在[0,1]的范围内，获得训练数据集；
S2、构造阶段滤波网络：
基于SRResNet构造阶段滤波网络，即采用残差网络单元作为基本单元，同时在最后添加两个卷积层，阶段滤波网络中所有卷积层使用3×3大小的卷积核，每个卷积层的边界使用Padding操作，定义输入的图像为ID，阶段滤波网络的输出为
Figure FDA0002459756610000011
ID和
Figure FDA0002459756610000012
的尺寸是一致的；
S3、构造边缘增强网络：
基于Laplace算子构造边缘增强网络，
Figure FDA0002459756610000013
输入Laplace算子提取边缘后获得IEdge，将IEdge依次输入由7个3×3的卷积层和7个Relu激活函数叠加组成的边缘增强网络，获得边缘增强网络恢复的图像
Figure FDA0002459756610000014
S4、将阶段滤波网络和边缘增强网络融合，即将
Figure FDA0002459756610000015
IEdge、
Figure FDA0002459756610000016
通过矩阵加法融合得到最终的输出结果IR，IR即是整个网络输出的恢复图像；阶段滤波网络和边缘增强网络各自的损失函数分别由各自网络的输出图像与真实图像、真实边缘图像之间的MSE计算，将整个网络的损失函数定义为两者的加权和：
Figure FDA0002459756610000017
其中，G是视频原始帧，GEdge是视频原始帧使用Laplace算子提取的真实边缘，α是一个常数；
采用步骤S1的训练数据集对构造的阶段滤波网络和边缘增强网络进行训练，通过RMSProp算法反向传播更新参数，获得训练好的网络模型；
S5、在编码视频序列时，将还没有进行环路滤波的重建图像划分为64×64大小的重建块，用与步骤S1相同的处理方式，将重建块转换为6通道的输入格式，输入到步骤S4中训练好的网络，获得滤波结果。
2.根据权利要求1所述的一种基于边缘增强残差网络的环路滤波方法，其特征在于，在进行步骤S5之前，还包括：对于一帧重建图像，使用RDO计算滤波前后的率失真代价RDCost0和RDCost1，如果RDCost1高于不使用滤波器时的率失真代价RDCost0，则将该重建图像的帧级滤波标志记为0，否则帧级滤波标志记为1，将滤波标志传输至解码端告知解码端是否需要对当前重建图像使用进行滤波。
CN202010316398.5A 2020-04-21 2020-04-21 一种基于边缘增强残差网络的环路滤波方法 Active CN111541894B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010316398.5A CN111541894B (zh) 2020-04-21 2020-04-21 一种基于边缘增强残差网络的环路滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010316398.5A CN111541894B (zh) 2020-04-21 2020-04-21 一种基于边缘增强残差网络的环路滤波方法

Publications (2)

Publication Number Publication Date
CN111541894A true CN111541894A (zh) 2020-08-14
CN111541894B CN111541894B (zh) 2021-04-20

Family

ID=71980115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010316398.5A Active CN111541894B (zh) 2020-04-21 2020-04-21 一种基于边缘增强残差网络的环路滤波方法

Country Status (1)

Country Link
CN (1) CN111541894B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112929662A (zh) * 2021-01-29 2021-06-08 中国科学技术大学 解决码流结构化图像编码方法中对象重叠问题的编码方法
CN113422966A (zh) * 2021-05-27 2021-09-21 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
CN114173130A (zh) * 2021-12-03 2022-03-11 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN114449296A (zh) * 2020-11-06 2022-05-06 北京大学 基于卷积神经网络的环路滤波方法和装置
CN114596223A (zh) * 2022-02-24 2022-06-07 复旦大学 量化参数自适应的卷积神经网络环路滤波器及其构建方法
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736027A (zh) * 2015-06-12 2018-02-23 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
US20190246102A1 (en) * 2018-02-08 2019-08-08 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN110798690A (zh) * 2019-08-23 2020-02-14 腾讯科技（深圳）有限公司 视频解码方法、环路滤波模型的训练方法、装置和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107736027A (zh) * 2015-06-12 2018-02-23 松下知识产权经营株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
CN108184129A (zh) * 2017-12-11 2018-06-19 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
CN108134932A (zh) * 2018-01-11 2018-06-08 上海交通大学 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
US20190246102A1 (en) * 2018-02-08 2019-08-08 Electronics And Telecommunications Research Institute Method and apparatus for video encoding and video decoding based on neural network
CN109257600A (zh) * 2018-11-28 2019-01-22 福建帝视信息科技有限公司 一种基于深度学习的视频压缩伪影自适应去除方法
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN110798690A (zh) * 2019-08-23 2020-02-14 腾讯科技（深圳）有限公司 视频解码方法、环路滤波模型的训练方法、装置和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI LI; WANQING LI; CHRIS COOK; CE ZHU; YANBO GAO: "Indepedently Reccurent Neural Network (IndRNN):Building A Longer and Deeper RNN", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
丁丹丹等: "多特征增量学习的视频重建图像质量增强算法", 《华南理工大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112082915A (zh) * 2020-08-28 2020-12-15 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN112082915B (zh) * 2020-08-28 2024-05-03 西安科技大学 一种即插即用型大气颗粒物浓度检测装置及检测方法
CN114449296A (zh) * 2020-11-06 2022-05-06 北京大学 基于卷积神经网络的环路滤波方法和装置
CN114449296B (zh) * 2020-11-06 2023-07-18 北京大学 基于卷积神经网络的环路滤波方法和装置
CN112929662A (zh) * 2021-01-29 2021-06-08 中国科学技术大学 解决码流结构化图像编码方法中对象重叠问题的编码方法
CN113422966A (zh) * 2021-05-27 2021-09-21 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
CN113422966B (zh) * 2021-05-27 2024-05-24 绍兴市北大信息技术科创中心 一种多模型cnn环路滤波方法
CN114173130A (zh) * 2021-12-03 2022-03-11 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN114173130B (zh) * 2021-12-03 2023-02-10 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN114596223A (zh) * 2022-02-24 2022-06-07 复旦大学 量化参数自适应的卷积神经网络环路滤波器及其构建方法
CN117196999A (zh) * 2023-11-06 2023-12-08 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统
CN117196999B (zh) * 2023-11-06 2024-03-12 浙江芯劢微电子股份有限公司 一种自适应视频流图像边缘增强方法和系统

Also Published As

Publication number Publication date
CN111541894B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN111541894B (zh) 一种基于边缘增强残差网络的环路滤波方法
CN108184129B (zh) 一种视频编解码方法、装置及用于图像滤波的神经网络
Maggioni et al. Video denoising, deblocking, and enhancement through separable 4-D nonlocal spatiotemporal transforms
EP2123051B1 (en) Image compression and decompression
CN109842799B (zh) 颜色分量的帧内预测方法、装置及计算机设备
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN104378636B (zh) 一种视频图像编码方法及装置
CN105812805A (zh) 一种用于视频图像的编码方法和装置
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
JP2006340345A (ja) ビデオから抽出された画像を強調する方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN114173130B (zh) 一种适用于低码率条件的深度神经网络的环路滤波方法
CN113055674A (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
Zhang et al. High-efficiency image coding via near-optimal filtering
Huang et al. An efficient qp variable convolutional neural network based in-loop filter for intra coding
Santamaria et al. Overfitting multiplier parameters for content-adaptive post-filtering in video coding
CN114902276A (zh) 图像处理器
CN115941978A (zh) 一种基于多信息融合的深度神经网络的环路滤波方法
Yu et al. Deep learning based in-loop filter for video coding
Maharjan et al. DCTResNet: Transform Domain Image Deblocking for Motion Blur Images
CN108989812B (zh) 一种基于图像压缩的去块效应方法
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法
CN110933422B (zh) 一种基于edcnn的hevc环路滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant