CN108174225A - 基于对抗生成网络的视频编解码环路内滤波实现方法及系统 - Google Patents

基于对抗生成网络的视频编解码环路内滤波实现方法及系统 Download PDF

Info

Publication number
CN108174225A
CN108174225A CN201810025778.6A CN201810025778A CN108174225A CN 108174225 A CN108174225 A CN 108174225A CN 201810025778 A CN201810025778 A CN 201810025778A CN 108174225 A CN108174225 A CN 108174225A
Authority
CN
China
Prior art keywords
coding
video
training
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810025778.6A
Other languages
English (en)
Other versions
CN108174225B (zh
Inventor
林巍峣
何晓艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810025778.6A priority Critical patent/CN108174225B/zh
Publication of CN108174225A publication Critical patent/CN108174225A/zh
Application granted granted Critical
Publication of CN108174225B publication Critical patent/CN108174225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Abstract

一种基于对抗生成网络的视频编解码环路内滤波实现方法及系统，使用视频编解码算法编码并解码得到的视频作为训练数据，使用生成模型和辨别模型联合训练的方法训练一卷积神经网络并得到预训练模型，最后在视频编解码环路内使用所述预训练模型，在视频编解码算法的环路内对每一张重建视频帧进行图像质量恢复，有选择地使用输出图像更新原图像。本发明具有更强的鲁棒性和拓展性，能够处理视频压缩编码后的重建帧，比基于一般传统卷积神经网络的环路内滤波器图像恢复效果更接近原始图像，提升图像质量，进而提升视频压缩编码的效率。

Description

基于对抗生成网络的视频编解码环路内滤波实现方法及系统
技术领域
本发明涉及的是一种数字图像处理领域的技术，具体是一种基于对抗生成网络的视频编解码环路内滤波实现方法及系统。
背景技术
现有的视频编码标准HEVC中包含了用于去除重建图像中由压缩编码带来的块效应的去块滤波器以及样点自适应滤波器(SAO)，通过对编码单元进行分类，并对编码单元进行像素点补偿，以此来提升重建帧的质量，减少压缩带来的失真。环路内滤波器的特点是在帧间参考模式下，当前重建帧会作为后续编码帧的参考帧，从而环路内滤波器会影响编码的后续过程。现有的环路外滤波器有采用卷积神经网络对于帧内参考模式下的重建帧进行处理，一定程度上提升了编码效率。但是由于帧内参考模式的局限性，压缩比非常有限，并且环路外滤波器对于重建帧的质量提升对后续的编码过程不会产生增益，因此从这一角度来说，该算法对于编码效率的改进非常有限。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于对抗生成网络的视频编解码环路内滤波实现方法及系统，具有更强的鲁棒性和拓展性，能够处理视频压缩编码后的重建帧，比基于一般传统卷积神经网络的环路内滤波器图像恢复效果更接近原始图像，提升图像质量，进而提升视频压缩编码的效率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于对抗生成网络的视频编解码环路内滤波实现方法，使用视频编解码算法编码并解码得到的视频作为训练数据，使用生成模型和辨别模型联合训练的方法训练一卷积神经网络并得到预训练模型，最后在视频编解码环路内使用所述预训练模型，在视频编解码算法的环路内对每一张重建视频帧进行图像质量恢复，有选择地使用输出图像更新原图像。
所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧和其所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。
所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用生成模型和辨别模型联合训练的方法进行优化的过程。
所述的预设的网络结构包括生成模型和辨别模型，其中：生成模型以视频压缩算法得到的视频帧作为输入，以视频帧的编码划分情况作为代价函数(loss)的输入，在计算输出图像与原图像的差异时，给予划分图像的白色部分图像的边界以更高的权重，使网络的优化倾向于去除边界效应的方向发展；用来区分生成的图片和真实图片辨别模型为分类网络结构，该辨别模型通过与生成模型对抗迫使生成模型的优化目标更接近真实图片，进一步改善生成图片的质量。
所述的生成模型由多个用于提取输入图像不同大小的特征并将其融合的卷积层和用于恢复图像的上采样层构成，生成模型最终输出与输入图像大小一致、质量改善的图像。
所述的视频帧的编码划分情况是指：在视频编解码算法在编码过程中产生的划分图。
所述的图像质量恢复是指：将视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图进行处理，得到输出图像。
所述的更新，当输出图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新。
所述的提升是指：图像的通用客观质量评价指标有提升，该质量评价采用但不限于峰值信噪比(PSNR)等。
优选地，在编码过程中使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
本发明涉及一种实现上述方法的系统，包括：训练数据生成模块、联合训练模块和滤波模块，其中：训练数据生成模块与联合训练模块相连并传输其生成的训练数据，联合训练模块与滤波模块相连并传输其训练得到的与训练模型，滤波模块可用于在视频编解码环路内进行滤波。
技术效果
与现有技术相比，本发明利用对抗生成网络来实现滤波器，与传统的视频编解码算法中的滤波器和传统的卷积神经网络相比，具有更好的鲁棒性和更高的效果。传统的滤波器算法主要由人的经验来设计优化，鲁棒性不够好。而基于传统的卷积神经网络的滤波器在训练时没有考虑到图像恢复的特点，优化目标单一(往往是基于图像直接的均方误差来优化)，而往往忽视了图像的主观质量。本方法基于对抗生成网络，在优化时考虑到了视频帧在编码时的划分情况，且利用辨别器来区分生成图片和真实图片，通过生成模型和辨别模型的对抗迫使生成模型生成的图片更接近原图像。
附图说明
图1为本发明的流程图；
图2为实施例视频帧划分情况示意图；
图3为实施例GAN的生成网络示意图；
图4为实施例GAN的辨别网络示意图。
具体实施方式
如图1所示，本实施例涉及的一种基于对抗生成网络的视频编解码环路内滤波在
h.265/HEVC视频编码标准的参考软件HM-16.0下的实现方法，其具体步骤如下：
步骤1.1)使用视频编解码软件HM-16.0对一系列视频进行编码并解码，最终得到解码后的重建视频帧。
步骤1.2)将每一张解码得到的视频帧和原始视频帧以及表征该视频帧编码划分情况的划分图，只采用图像的Y通道，分别切分成64x64的不相交的子图。所有这些子图即作为训练数据，如图2所示。
步骤1.3)基于tensorflow开源软件搭建该网络并使用训练数据对其进行有监督的训练，首先网络的参数均随机的初始化，然后训练生成模型，训练10个周期后开始使用辨别模型与生成模型联合训练，最终得到一个预训练模型。
所述的生成网络的所有卷积层卷积核大小为3x3,卷积核数目为64，stride为2。所有上采样的层输出的宽和高均是输入的两倍。采用的融合方法是将所有特征图分成8x8的不相交的子图，这些子图全部堆在在一起，经过一个卷积层融合。
所述的生成网络的代价函数(loss)采用均方误差函数(MSE)，边界权重为0.65。
如图3所示，所述的生成网络由多个用于提取输入图像不同大小的特征并将其融合的卷积层和用于恢复图像的上采样层构成，生成网络最终输出与输入图像大小一致、质量改善的图像。
本实施例的生成模型基于视频帧被分成不同块的特点，利用卷积层将特征图逐渐变小，来提取图像的全局特征，然后将这些代表不同层次的不同大小的特征融合起来。
如图4所示，所述的辨别网络体为：输入图像经过多个卷积层(Convolution)、激活函数(ReLu)和dense layer模块进行处理和计算，最终得到该图像为生成图像而非自然图像的概率。
步骤2.1)使用步骤1.3)中得到的预训练模型，在编码过程中对每一个重建帧进行处理，将该视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图进行处理，得到输出图像。
步骤2.2)当输出图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新，并记录该图像被更新过，该记录在编码过程将以比特的形式写入编码得到的码流中。而在解码过程中从码流中读入该记录，使用与上述相同的步骤后得到输出图像，并决定是否更新输入图像。
该实施例中使用编码软件HM-16.0，在LDB编码配置，对编码中常用的22个标准测试序列进行了实验。实验结果如表1，结果表明，该实施例对于所有测试序列，均能提升编码效率且得到的图像不仅在图像的客观指标上有所提升，并且得益于GAN的联合训练，图像整体上更接近原始视频帧，更自然。
表1实验结果
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于对抗生成网络的视频编解码环路内滤波实现方法，其特征在于，使用视频编解码算法编码并解码得到的视频作为训练数据，使用生成模型和辨别模型联合训练的方法训练一卷积神经网络并得到预训练模型，最后在视频编解码环路内使用所述预训练模型，在视频编解码算法的环路内对每一张重建视频帧进行图像质量恢复，有选择地使用输出图像更新原图像。
2.根据权利要求1所述的方法，其特征是，所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用生成模型和辨别模型联合训练的方法进行优化的过程。
3.根据权利要求2所述的方法，其特征是，所述的预设的网络结构包括生成模型和辨别模型，其中：生成模型以视频压缩算法得到的视频帧作为输入，以视频帧的编码划分情况作为代价函数的输入，在计算输出图像与原图像的差异时，给予划分图像的白色部分图像的边界以更高的权重，使网络的优化倾向于去除边界效应的方向发展；用来区分生成的图片和真实图片辨别模型为分类网络结构。
4.根据权利要求1所述的方法，其特征是，所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧和其所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。
5.根据权利要求1所述的方法，其特征是，所述的视频帧的编码划分情况是指：在视频编解码算法在编码过程中产生的划分图。
6.根据权利要求1所述的方法，其特征是，所述的生成模型由多个用于提取输入图像不同大小的特征并将其融合的卷积层和用于恢复图像的上采样层构成，生成模型最终输出与输入图像大小一致、质量改善的图像。
7.根据权利要求1或4所述的方法，其特征是，所述的图像质量恢复是指：将视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图进行处理，得到输出图像。
8.根据权利要求1所述的方法，其特征是，所述的更新，当输出图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新。
9.根据权利要求8所述的方法，其特征是，在编码过程中使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
10.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：训练数据生成模块、联合训练模块和滤波模块，其中：训练数据生成模块与联合训练模块相连并传输其生成的训练数据，联合训练模块与滤波模块相连并传输其训练得到的与训练模型，滤波模块可用于在视频编解码环路内进行滤波。
CN201810025778.6A 2018-01-11 2018-01-11 基于对抗生成网络的视频编解码环路内滤波实现方法及系统 Active CN108174225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025778.6A CN108174225B (zh) 2018-01-11 2018-01-11 基于对抗生成网络的视频编解码环路内滤波实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025778.6A CN108174225B (zh) 2018-01-11 2018-01-11 基于对抗生成网络的视频编解码环路内滤波实现方法及系统

Publications (2)

Publication Number Publication Date
CN108174225A true CN108174225A (zh) 2018-06-15
CN108174225B CN108174225B (zh) 2021-03-26

Family

ID=62518187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025778.6A Active CN108174225B (zh) 2018-01-11 2018-01-11 基于对抗生成网络的视频编解码环路内滤波实现方法及系统

Country Status (1)

Country Link
CN (1) CN108174225B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919921A (zh) * 2019-02-25 2019-06-21 天津大学 基于生成对抗网络的环境影响程度建模方法
CN110290386A (zh) * 2019-06-04 2019-09-27 中国科学技术大学 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN111064958A (zh) * 2019-12-28 2020-04-24 复旦大学 一种针对b帧和p帧的低复杂度神经网络滤波算法
EP3706046A1 (en) * 2019-03-04 2020-09-09 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
CN112188202A (zh) * 2019-07-01 2021-01-05 西安电子科技大学 基于神经网络的自学习视频编解码技术
CN112333451A (zh) * 2020-11-03 2021-02-05 中山大学 一种基于生成对抗网络的帧内预测方法
CN112468826A (zh) * 2020-10-15 2021-03-09 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN112616014A (zh) * 2020-12-09 2021-04-06 福州大学 一种基于gan的全景视频自适应流传输方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2584215A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
CN1857001A (zh) * 2003-05-20 2006-11-01 Amt先进多媒体科技公司 混合视频压缩方法
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857001A (zh) * 2003-05-20 2006-11-01 Amt先进多媒体科技公司 混合视频压缩方法
CA2584215A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
CN105430415A (zh) * 2015-12-02 2016-03-23 宁波大学 一种3d-hevc深度视频帧内快速编码方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WOON-SUNK PARK,等: "《CNN-BASED IN-LOOP FILTERING FOR CODING EFFICIENCY IMPROVEMENT》", 《IEEE PROCEEDING ON IMAGE, VIDEO, AND MULTIDIMENSIONAL SIGNAL PROCESSING WORKSHOP (IVMSP)》 *
洪洋 等: "《深度卷积对抗生成网络综述》", 《系统仿真技术及其应用》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919921A (zh) * 2019-02-25 2019-06-21 天津大学 基于生成对抗网络的环境影响程度建模方法
CN109919921B (zh) * 2019-02-25 2023-10-20 天津大学 基于生成对抗网络的环境影响程度建模方法
EP3706046A1 (en) * 2019-03-04 2020-09-09 InterDigital VC Holdings, Inc. Method and device for picture encoding and decoding
WO2020180449A1 (en) * 2019-03-04 2020-09-10 Interdigital Vc Holdings, Inc. Method and device for picture encoding and decoding
CN110290386A (zh) * 2019-06-04 2019-09-27 中国科学技术大学 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN110290386B (zh) * 2019-06-04 2022-09-06 中国科学技术大学 一种基于生成对抗网络的低码率人体运动视频编码系统及方法
CN112188202A (zh) * 2019-07-01 2021-01-05 西安电子科技大学 基于神经网络的自学习视频编解码技术
CN111064958A (zh) * 2019-12-28 2020-04-24 复旦大学 一种针对b帧和p帧的低复杂度神经网络滤波算法
CN112468826A (zh) * 2020-10-15 2021-03-09 山东大学 一种基于多层gan的vvc环路滤波方法及系统
CN112333451A (zh) * 2020-11-03 2021-02-05 中山大学 一种基于生成对抗网络的帧内预测方法
CN112616014A (zh) * 2020-12-09 2021-04-06 福州大学 一种基于gan的全景视频自适应流传输方法

Also Published As

Publication number Publication date
CN108174225B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
CN108174225A (zh) 基于对抗生成网络的视频编解码环路内滤波实现方法及系统
US11461941B2 (en) Method and apparatus for reducing color leakage artefacts during point cloud color processing
CN102187672B (zh) 压缩视频中的语法元素的兼容cabac/avc的水印加注
CN106131554B (zh) 基于主要边缘方向的hevc快速样点自适应补偿方法
CN108134932B (zh) 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
US10499061B2 (en) Method and device for processing video signal by using separable graph-based transform
KR102154424B1 (ko) 개선된 영상 압축 시스템 및 방법
CN105744345B (zh) 视频压缩方法及装置
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN108965887B (zh) 一种基于块间去耦合的视频信息隐藏方法和装置
CN105453565B (zh) 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法
CN108520505A (zh) 基于多网络联合构建与自适应选择的环路滤波实现方法
CN116233445B (zh) 视频的编解码处理方法、装置、计算机设备和存储介质
CN108347602B (zh) 用于无损压缩视频数据的方法和装置
JP2021090135A (ja) 信号処理装置および信号処理方法、システム、学習方法、並びにプログラム
CN111491167A (zh) 图像编码方法、转码方法、装置、设备以及存储介质
Schiopu et al. Lossless compression of subaperture images using context modeling
CN105704489A (zh) 一种基于宏块复杂度的自适应视频运动矢量隐写方法
CN110677624B (zh) 基于深度学习的面向监控视频的前景和背景并行压缩方法
WO2021196234A1 (zh) 一种视频编码、解码方法、设备及存储介质
CN107770537B (zh) 基于线性重建的光场图像压缩方法
Wang et al. Sparse mp4
CN113766250B (zh) 一种基于采样重构和特征增强的压缩图像质量提升方法
CN107947919A (zh) 基于qr码的大信息量图像的压缩感知关联成像加密方法
CN112468826B (zh) 一种基于多层gan的vvc环路滤波方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant