CN113055674B - 一种基于两阶段多帧协同的压缩视频质量增强方法 - Google Patents

一种基于两阶段多帧协同的压缩视频质量增强方法 Download PDF

Info

Publication number
CN113055674B
CN113055674B CN202110314446.1A CN202110314446A CN113055674B CN 113055674 B CN113055674 B CN 113055674B CN 202110314446 A CN202110314446 A CN 202110314446A CN 113055674 B CN113055674 B CN 113055674B
Authority
CN
China
Prior art keywords
frame
quality
frames
network
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110314446.1A
Other languages
English (en)
Other versions
CN113055674A (zh
Inventor
叶茂
陈圣杰
朱策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110314446.1A priority Critical patent/CN113055674B/zh
Publication of CN113055674A publication Critical patent/CN113055674A/zh
Application granted granted Critical
Publication of CN113055674B publication Critical patent/CN113055674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Abstract

本发明公开了一种基于两阶段多帧协同的压缩视频质量增强方法，包括以下步骤：S1、将数据重新整理结合成IPPPI形式作为输入；S2、对I帧进行运动补偿；把补偿后的I帧和P帧拼接在一起输入到质量增强网络中进行增强，得到增强后的三个P帧；S3、对I帧进行运动补偿；把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强。本发明的压缩视频质量增强方法，充分考虑帧与帧之间的联系和帧之间的质量波动，对低质量帧进行两阶段增强，从而达到充分利用相邻高质量帧的目的，并且使得低质量帧获得更好的增强效果。同时，压缩视频以GOP而不是单帧的形式输入到质量增强网络中，对相邻低质量帧进行协同增强，从而使得整体达到更优的效果。

Description

一种基于两阶段多帧协同的压缩视频质量增强方法
技术领域
本发明属于图像处理技术领域，特别涉及一种基于两阶段多帧协同的压缩视频质量增强方法。
背景技术
视频编码质量增强方法自视频压缩国际标准被提出以来，就得到了工业界和学术界的广泛研究。在深度学习网络被提出以前，增强压缩视频质量的方法主要是以数学推导为基础的对单帧图像进行的空域法和频域法。在深度学习网络成功的应用到图像增强领域过后，各种新的网络被提出来用于增强压缩视频的质量，并且得到了比传统方法更好的结果和更强的泛化性。
现在最常用的H.265/HEVC标准，都采用基于块的混合编码框架，其核心过程包括预测编码、变换编码、量化和熵编码以及基于块的预测，变换和量化操作忽略了块与块之间的相关性，将导致编码重建图像呈现块效应，即人眼可以感知到块边界的明显不连续性；同时，量化是基于变换域中的块扩展，这个量化过程是不可逆的。当步长较大且比特率较低时，这些效果尤其明显。另外，运动补偿中的高精度插值可以很容易地产生振铃效应，由于帧间编码过程中误差的积累，上述效应也会影响后续帧的编码质量，从而导致视频图像的客观评价质量下降，并且人眼的视觉感知质量也会降低。
申请号为201710878189.8的专利申请公开了一种基于卷积神经网络的图像或视频质量增强方法。首先设计两个用于视频质量增强的卷积神经网络，两个网络具有不同的计算复杂度；然后选择若干个训练图像或视频对两个卷积神经网络中的参数进行训练；根据实际需要，选择一个计算复杂度较为合适的卷积神经网络，将质量待增强的图像或视频输入到选择的网络中；最后，该网络输出经过质量增强的图像或视频。该发明可以有效增强视频质量；用户可以根据设备的计算能力或剩余电量指定选用计算复杂度较为合适的卷积神经网络来进行图像或视频的质量增强。该专利申请设计了两个不同复杂度的卷积神经网络，由用户根据设备的情况来选择网络，两个网络的区别只是卷积神经网络的深度不同，仅仅通过加深网络深度来提高质量增强效果的方案是不可行的，而且没有针对图像视频的特点设计网络，质量增强的效果还有待提升。
申请号为201910554229.2的专利申请公开了一种基于深度学习的模糊视频超分辨率方法及系统。在单帧深度反投影超分辨率模型的基础上，设计了多帧模糊视频超分辨率模型，提升了模糊视频超分辨率重建质量并且支持高倍数(×8)重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰，视频质量低的问题，该发明通过在深度反投影超分辨率模型上引入递归学习和多帧融合策略构建模糊视频超分辨率模型。该模型通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射，能够重建边缘轮廓清晰的超分辨率视频，提升了运动模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息。该方案在单帧超分辨的基础上提出了多帧模糊视频的超分辨模型，使用对抗网络和光流的方案来去除低分辨视频的模糊，在低分辨的图像上使用光流估计的方案难以得到准确的帧间运动信息，所以得到的运动补偿也不够准确，可能会导致最终恢复的高质量帧的失真。
申请号为201810603510.6的专利申请公开了一种基于自适应可分离卷积的视频质量增强方法。将自适应可分离卷积作为第一个模块应用于网络模型当中，将每个二维卷积转化为一对水平方向和垂直方向的一维卷积核，参数量由n2变为n+n。第二，利用网络对于不同输入学习出来的自适应变化的卷积核以实现运动矢量的估计，通过选取连续的两帧作为网络输入，对于每两张连续输入可以得到一对可分离的二维卷积核，而后该2维卷积核被展开成四个1维卷积核，得到的1维卷积核随输入的改变而改变，提高网络自适应性。该发明用一维卷积核取代二维卷积核，使得网络训练模型参数减少，执行效高。该方案使用五个编码模块和四个解码模块、一个分离卷积模块和一个图像预测模块，其结构是在传统的对称编解码模块网络的基础上，把最后一个解码模块替换为一个分离卷积模块，虽然有效的降低了模型的参数，但是质量增强的效果还有待进一步的提高。
发明内容
本发明的目的在于克服现有技术的不足，提供一种充分考虑帧与帧之间的联系和帧之间的质量波动，对低质量帧进行两阶段增强，使得低质量帧获得更好的增强效果的基于两阶段多帧协同的压缩视频质量增强方法。
本发明的目的是通过以下技术方案来实现的：一种基于两阶段多帧协同的压缩视频质量增强方法，包括以下步骤：
S1、以低延时模式GOP＝4对视频数据进行编码压缩，并将数据重新整理结合成IPPPI形式作为输入，包括两个高质量的I帧和三个低质量的P帧；
S2、用运动补偿网络预测I帧与当前P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和当前P帧拼接联合后输入到质量增强网络中进行增强，得到增强后的三个P帧；
S3、用运动补偿网络预测I帧和步骤S2增强后的P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强，得到最终结果。
进一步地，所述运动补偿的具体实现方法为：所述运动补偿的具体实现方法为：用flowI→P表示I帧与低质量P帧之间的运动光流，然后通过warp操作得到I帧相对于低质量P帧运动补偿后的帧：
F′I＝warp{FI，flowI→P}
其中，F′I为补偿后的高质量I帧，FI为初始I帧。
进一步地，所述步骤S2和S3中运动补偿网络的loss函数分别表示为
Figure BDA0002990536810000031
和
Figure BDA0002990536810000032
步骤S2中loss函数是计算低质量P帧FP和S2中运动补偿后的高质量I帧
Figure BDA0002990536810000033
之间的L2-loss；步骤S3中的运动补偿网络的loss函数则用没有进行编码压缩的低质量原始帧
Figure BDA0002990536810000034
和S3中运动补偿后的高质量I帧
Figure BDA0002990536810000035
之间的L2-loss，损失函数表达式如下：
Figure BDA0002990536810000036
Figure BDA0002990536810000037
其中，
Figure BDA0002990536810000038
为第一阶段高质量补偿帧，
Figure BDA0002990536810000039
为第二阶段高质量补偿帧，
Figure BDA00029905368100000310
为L2-loss计算公式。
进一步地，所述质量增强网络包括特征提取和残差学习两个部分：特征提取网络通过三个3×3的卷积层和激活函数提取输入帧的特征信息，将多尺度特征信息拼接起来输入到残差学习网络中；残差学习网络由六个3×3的卷积层和激活函数组成，并通过跨层传递来减少信息的丢失；然后将网络学习得到的残差与低质量帧相加，得到增强后的帧F′P：
Figure BDA00029905368100000311
其中，F′P为增强后的帧，
Figure BDA00029905368100000312
和
Figure BDA00029905368100000313
分别为前后两个高质量I帧进行运动补偿后的高质量帧，FP为低质量P帧，QEnet{·}·为质量增强网络。
进一步地，所述质量增强网络的loss函数为两阶段增强后的P帧
Figure BDA00029905368100000314
和原始P帧之间的L2-loss之和，损失函数表达式为：
Figure BDA00029905368100000315
其中，
Figure BDA00029905368100000316
和
Figure BDA00029905368100000317
分别为第一、第二阶段网络增强过后的P帧；
对一个GOP中的所有低质量帧进行协同训练，具体的方法是对所有低质量帧的loss使用相同的权重，注重整体的增强效果而不是单帧质量；整个网络的loss函数如下所示：
Figure BDA0002990536810000041
其中，N为GOP中低质量帧的数量，整个网络是端到端的训练的，通过设置loss函数中的参数α和β来分别训练运动补偿网络和质量增强网络；
训练模型时，把一个GOP的压缩帧和原始帧组成训练对，并且把图像帧随机分割成96×96的子图像；为了最小化联合损失函数的值，使用Adam优化器，学习率从0.0001开始，分两个阶段进行训练：第一个阶段主要训练运动补偿网络，设置loss函数中的参数α＝1和β＝0.01，训练20个epoch后结束没得到运动补偿网络；接下来设置α＝0.01和β＝1，训练质量增强网络，每20个epoch让学习率乘以0.1，在30个epoch后结束训练。
本发明的有益效果是：本发明提出的压缩视频质量增强方法，充分考虑帧与帧之间的联系和帧之间的质量波动，对低质量帧进行两阶段增强，从而达到充分利用相邻高质量帧的目的，并且使得低质量帧获得更好的增强效果。同时，压缩视频以GOP而不是单帧的形式输入到质量增强网络中，对相邻低质量帧进行协同增强，从而使得整体达到更优的效果。
附图说明
图1为本发明的基于两阶段多帧协同的压缩视频质量增强方法流程图；
图2为本发明的BasketballPass 1-50帧的PSNR波动曲线
图3为本发明的标准测试序列在QP＝37处三种模型低质量帧的PSNR增益均值对比。
具体实施方式
缩略语和关键术语定义
GOP：Group of picture(图像组)，指两个I帧之间的距离，Reference(参考周期)指两个P帧之间的距离。
I帧：Intra-coded picture(帧内编码图像帧)，不参考其他图像帧，只利用本帧的信息进行编码。
P帧：Predictive-codedPicture(预测编码图像帧)，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码。
PSNR(Peak Signal to Noise Ratio)：峰值信噪比，一种评价图像的客观标准。
SSIM(structural similarity)：结构相似性，是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构三方面度量图像相似性。
BD-rate(
Figure BDA0002990536810000042
-delta-rate)：
下面结合附图进一步说明本发明的技术方案。
如图1所示，本发明的一种基于两阶段多帧协同的压缩视频质量增强方法，包括以下步骤：
S1、以低延时模式GOP＝4对视频数据进行编码压缩，并将数据重新整理结合成IPPPI形式作为输入，包括两个高质量的I帧和三个低质量的P帧；
S2、用运动补偿网络预测I帧与当前P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和当前P帧拼接联合后输入到质量增强网络中进行增强，得到增强后的三个P帧；
S3、用运动补偿网络预测I帧和步骤S2增强后的P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强，得到最终结果。
本发明的运动补偿的具体实现方法为：所述运动补偿的具体实现方法为：用flowI→P表示I帧与低质量P帧之间的运动光流，然后通过warp操作得到I帧相对于低质量P帧运动补偿后的帧：
F′I＝warp{FI，flowI→P}
其中，F′I为补偿后的高质量I帧，FI为初始I帧。
所述步骤S2和S3中运动补偿网络的loss函数分别表示为
Figure BDA0002990536810000051
和
Figure BDA0002990536810000052
步骤S2中loss函数是计算低质量P帧FP和S2中运动补偿后的高质量I帧
Figure BDA0002990536810000053
之间的L2-loss；步骤S3中的运动补偿网络的loss函数则用没有进行编码压缩的低质量原始帧
Figure BDA0002990536810000054
和S3中运动补偿后的高质量I帧
Figure BDA0002990536810000055
之间的L2-loss，损失函数表达式如下：
Figure BDA0002990536810000056
Figure BDA0002990536810000057
其中，
Figure BDA0002990536810000058
为第一阶段高质量补偿帧，
Figure BDA0002990536810000059
为第二阶段高质量补偿帧，
Figure BDA00029905368100000510
为L2-loss计算公式。
本发明所述的质量增强网络包括特征提取和残差学习两个部分：特征提取网络通过三个3×3的卷积层和激活函数提取输入帧的特征信息，将多尺度特征信息拼接起来输入到残差学习网络中；残差学习网络由六个3×3的卷积层和激活函数组成，并通过跨层传递来减少信息的丢失；然后将网络学习得到的残差与低质量帧相加，得到增强后的帧F′P：
Figure BDA00029905368100000511
其中，F′P为增强后的帧，
Figure BDA00029905368100000512
和
Figure BDA00029905368100000513
分别为前后两个高质量I帧进行运动补偿后的高质量帧，FP为低质量P帧，QEnet{·}·为质量增强网络。
所述质量增强网络的loss函数为两阶段增强后的P帧
Figure BDA0002990536810000061
和原始P帧之间的L2-loss之和，损失函数表达式为：
Figure BDA0002990536810000062
其中，
Figure BDA0002990536810000063
和
Figure BDA0002990536810000064
分别为第一、第二阶段网络增强过后的P帧；
对一个GOP中的所有低质量帧进行协同训练，具体的方法是对所有低质量帧的loss使用相同的权重，注重整体的增强效果而不是单帧质量；整个网络的loss函数如下所示：
Figure BDA0002990536810000065
其中，N为GOP中低质量帧的数量，整个网络是端到端的训练的，通过设置loss函数中的参数α和β来分别训练运动补偿网络和质量增强网络；
训练模型时，把一个GOP的压缩帧和原始帧组成训练对，并且把图像帧随机分割成96×96的子图像；为了最小化联合损失函数的值，使用Adam优化器，学习率从0.0001开始，分两个阶段进行训练：第一个阶段主要训练运动补偿网络，设置loss函数中的参数α＝1和β＝0.01，训练20个epoch后结束没得到运动补偿网络；接下来设置α＝0.01和β＝1，训练质量增强网络，每20个epoch让学习率乘以0.1，在30个epoch后结束训练。
本实施例使用PSNR和SSIM来评估我们的网络性能，测量了增强后的视频序列与压缩后的视频序列之间的PSNR差距，并且与DnCNN、Li et al、DCAD、DS-CNN、MFQE1.0、MFQE2.0进行了比较，其结果如表1所示。
表1
Figure BDA0002990536810000071
表1给出了在每个测试序列的所有帧上的平均PSNR和SSIM，可以看出，我们提出的方法优于其他所有的方法。具体而言，在QP＝37时，测试序列中的最高PSNR增益达到了1.210dB。该方法的平均PSNR为0.664，比MFQE2.0的0.577提高了15.1％，比MFQE1.0提高了45.3％。明显优于其他几种方法。在其他的QP点时，我们的方法在PSNR和SSIM上也都优于其他的方法。此外，我们还用BD-rate的降低来对比了网络的性能，如表2所示，我们的网络在BD-rate上降低了17.77％，优于目前最好的MFQE2.0(14.37％)。
表2
Figure BDA0002990536810000081
本方案中的两阶段结构和协同增强的有效性如图2所示，在经过第一阶段增强过后(圆点曲线)，虽然压缩质量帧有了一定的增强。但是还是明显的低于相邻的高质量帧，在经过第二阶段增强过后(虚线曲线)，低质量帧的质量在第一阶段的基础上有了明显的提升。为了进一步论证两阶段增强和协同增强的有效性，我们用相同的数据集分别重新训练了不使用两阶段结构(Ours-NT)和不使用协同增强(Ours-NC)两个网络。图3为标准测试序列在QP＝37处三种模型低质量帧的PSNR增益均值对比。MFQE2.0表示目前最先进的算法的效果，Ours-NT表示不使用两阶段增强的模型(只有一个阶段)，Ours-NC表示不使用协同增强的模型，Ours表示两阶段多帧协同质量增强网络模型。
从图3中可以看出，两阶段结构的增强效果和协同增强的效果都在MFQE2.0的基础上有一定的提升。两阶段多帧协同质量增强网络的增强效果明显优于只使用两阶段结构或只使用协同增强。说明我们提出的两阶段多帧协同质量增强网络结构能够对低质量帧的增强是有效的。综合上述的PSNR、BD-rate增益和对两阶段结构增强的有效性的探究，说明了我们提出的两阶段多帧协同质量增强方案达到了非常优秀的压缩视频质量增强效果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，包括以下步骤：
S1、以低延时模式GOP＝4对视频数据进行编码压缩，并将数据重新划分处理成IPPPI形式作为输入，其中包括两个高质量的I帧和三个低质量的P帧；
S2、用运动补偿网络预测I帧与当前P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和当前P帧拼接联合后输入到质量增强网络中进行增强，得到增强后的三个P帧；
S3、用运动补偿网络预测I帧和步骤S2增强后的P帧之间的运动光流，用预测得到的运动光流对I帧进行运动补偿；再把补偿后的I帧和增强后的P帧拼接在一起输入质量增强网络中进行增强，得到最终结果；
所述质量增强网络包括特征提取和残差学习两个部分：特征提取网络通过三个3×3的卷积层和激活函数提取输入帧的特征信息，将多尺度特征信息拼接起来输入到残差学习网络中；残差学习网络由六个3×3的卷积层和激活函数组成，并通过跨层传递来减少信息的丢失；然后将网络学习得到的残差与低质量帧相加，得到增强后的帧F′P：
Figure FDA0003584964400000011
其中，F′P为增强后的帧，
Figure FDA0003584964400000012
和
Figure FDA0003584964400000013
分别为前后两个高质量I帧进行运动补偿后的高质量帧，FP为低质量P帧，QEnet{·}·为质量增强网络。
2.根据权利要求1所述的一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，所述运动补偿的具体实现方法为：用flowI→P表示I帧与低质量P帧之间的运动光流，然后通过warp操作得到I帧相对于低质量P帧运动补偿后的帧：
F′I＝warp{FI，flowI→P}
其中，F′I为补偿后的高质量I帧，FI为初始I帧。
3.根据权利要求2所述的一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，所述步骤S2和S3中运动补偿网络的loss函数分别表示为
Figure FDA0003584964400000014
和
Figure FDA0003584964400000015
步骤S2中loss函数是计算低质量P帧FP和S2中运动补偿后的高质量I帧
Figure FDA0003584964400000016
之间的L2-loss；步骤S3中的运动补偿网络的loss函数则用没有进行编码压缩的低质量原始帧
Figure FDA0003584964400000017
和S3中运动补偿后的高质量I帧
Figure FDA0003584964400000018
之间的L2-loss，损失函数表达式如下：
Figure FDA0003584964400000019
Figure FDA00035849644000000110
其中，
Figure FDA0003584964400000021
为第一阶段高质量补偿帧，
Figure FDA0003584964400000022
为第二阶段高质量补偿帧，
Figure FDA0003584964400000023
为L2-loss计算公式。
4.根据权利要求1所述的一种基于两阶段多帧协同的压缩视频质量增强方法，其特征在于，所述质量增强网络的loss函数为两阶段增强后的P帧
Figure FDA0003584964400000024
和原始P帧之间的L2-loss之和，损失函数表达式为：
Figure FDA0003584964400000025
其中，
Figure FDA0003584964400000026
和
Figure FDA0003584964400000027
分别为第一、第二阶段网络增强过后的P帧；
对一个GOP中的所有低质量帧进行协同训练，具体的方法是对所有低质量帧的loss使用相同的权重，注重整体的增强效果而不是单帧质量；整个网络的loss函数如下所示：
Figure FDA0003584964400000028
其中，N为GOP中低质量帧的数量，整个网络是端到端的训练的，通过设置loss函数中的参数α和β来分别训练运动补偿网络和质量增强网络；
训练模型时，把一个GOP的压缩帧和原始帧组成训练对，并且把图像帧随机分割成96×96的子图像；为了最小化联合损失函数的值，使用Adam优化器，学习率从0.0001开始，分两个阶段进行训练：第一个阶段训练运动补偿网络，设置loss函数中的参数α＝1和β＝0.01，训练20个epoch后结束得到运动补偿网络；接下来设置α＝0.01和β＝1，训练质量增强网络，每20个epoch让学习率乘以0.1，在30个epoch后结束训练。
CN202110314446.1A 2021-03-24 2021-03-24 一种基于两阶段多帧协同的压缩视频质量增强方法 Active CN113055674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110314446.1A CN113055674B (zh) 2021-03-24 2021-03-24 一种基于两阶段多帧协同的压缩视频质量增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110314446.1A CN113055674B (zh) 2021-03-24 2021-03-24 一种基于两阶段多帧协同的压缩视频质量增强方法

Publications (2)

Publication Number Publication Date
CN113055674A CN113055674A (zh) 2021-06-29
CN113055674B true CN113055674B (zh) 2022-05-10

Family

ID=76514905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110314446.1A Active CN113055674B (zh) 2021-03-24 2021-03-24 一种基于两阶段多帧协同的压缩视频质量增强方法

Country Status (1)

Country Link
CN (1) CN113055674B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450280A (zh) * 2021-07-07 2021-09-28 电子科技大学 一种由粗到细地融合时空信息的压缩视频质量增强方法
WO2024047994A1 (ja) * 2022-08-31 2024-03-07 ＬｅａｐＭｉｎｄ株式会社 入力情報生成装置、画像処理装置、入力情報生成方法、学習装置、プログラム及びノイズ低減装置の学習方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
CN107481209B (zh) * 2017-08-21 2020-04-21 北京航空航天大学 一种基于卷积神经网络的图像或视频质量增强方法
CN108307193B (zh) * 2018-02-08 2018-12-18 北京航空航天大学 一种有损压缩视频的多帧质量增强方法及装置
JP2020053924A (ja) * 2018-09-28 2020-04-02 シャープ株式会社 動画像符号化装置、動画像復号装置
US10855983B2 (en) * 2019-06-13 2020-12-01 Intel Corporation Encoding video using two-stage intra search

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118431A (zh) * 2018-09-05 2019-01-01 武汉大学 一种基于多记忆及混合损失的视频超分辨率重建方法

Also Published As

Publication number Publication date
CN113055674A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN107197260B (zh) 基于卷积神经网络的视频编码后置滤波方法
CN111866521B (zh) 一种视频图像压缩伪影去除方法
CN108900848B (zh) 一种基于自适应可分离卷积的视频质量增强方法
CN113055674B (zh) 一种基于两阶段多帧协同的压缩视频质量增强方法
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
JP2011515981A (ja) ビデオ信号のエンコーディングまたはデコーディング方法及び装置
CN105306957B (zh) 自适应环路滤波方法和设备
CN111031315B (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
Soh et al. Reduction of video compression artifacts based on deep temporal networks
CN113066022B (zh) 一种基于高效时空信息融合的视频比特增强方法
Meng et al. Enhancing quality for VVC compressed videos by jointly exploiting spatial details and temporal structure
CN113592746B (zh) 一种由粗到细地融合时空信息的压缩视频质量增强方法
CN113132729A (zh) 一种基于多参考帧的环路滤波方法及电子装置
Yu et al. Hevc compression artifact reduction with generative adversarial networks
CN115442613A (zh) 一种利用gan的基于帧间信息的噪声去除方法
CN101360236B (zh) 一种Wyner-ziv视频编解码方法
CN114827616B (zh) 一种基于时空信息平衡的压缩视频质量增强方法
CN111726636A (zh) 一种基于时域下采样与帧率上转换的hevc编码优化方法
Yang et al. Imrnet: an iterative motion compensation and residual reconstruction network for video compressed sensing
CN114173131A (zh) 一种基于帧间相关性的视频压缩方法及系统
CN113507607B (zh) 一种无需运动补偿的压缩视频多帧质量增强方法
CN114554213B (zh) 一种运动自适应和关注细节的压缩视频质量增强方法
Belyaev et al. Motion JPEG decoding via iterative thresholding and motion-compensated deflickering
CN114511485B (zh) 一种循环可变形融合的压缩视频质量增强方法
CN117459737B (zh) 一种图像预处理网络的训练方法和图像预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant