CN108134932B - 基于卷积神经网络的视频编解码环路内滤波实现方法及系统 - Google Patents

基于卷积神经网络的视频编解码环路内滤波实现方法及系统 Download PDF

Info

Publication number
CN108134932B
CN108134932B CN201810025957.XA CN201810025957A CN108134932B CN 108134932 B CN108134932 B CN 108134932B CN 201810025957 A CN201810025957 A CN 201810025957A CN 108134932 B CN108134932 B CN 108134932B
Authority
CN
China
Prior art keywords
image
neural network
decoding
training
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810025957.XA
Other languages
English (en)
Other versions
CN108134932A (zh
Inventor
林巍峣
何晓艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810025957.XA priority Critical patent/CN108134932B/zh
Publication of CN108134932A publication Critical patent/CN108134932A/zh
Application granted granted Critical
Publication of CN108134932B publication Critical patent/CN108134932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于卷积神经网络的视频编解码环路内滤波器及其实现方法，以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像。本发明能够提升编解码过程中的重建帧的图像质量，并对后续编码过程提供增益，最终提升编码算法的效率。

Description

基于卷积神经网络的视频编解码环路内滤波实现方法及系统
技术领域
本发明涉及的是一种数字图像处理领域的技术，具体是一种基于卷积神经网络的视频编解码环路内滤波实现方法及系统。
背景技术
现有的视频编解码算法有编码器和解码器两个主要组成部分：编码器负责把输入视频根据视频编码标准编码成比特流，而解码器负责对比特流进行解码得到最终的解码视频。在编解码过程中，编解码环路外滤波器和环路内滤波器被使用来提升重建视频帧的图像质量。
现有的环路内滤波器使用了Deblock Filter和Sample Adaptive offset Filter作为环路滤波器，即在编码的过程中，对重建图像进行滤波，改善图像质量。环路内滤波器的特点是在帧间参考模式下，当前重建帧会作为后续编码帧的参考帧，从而环路内滤波器会影响编码的后续过程。现有的环路外滤波器使用卷积神经网络作为环路外滤波器，对于帧内参考模式下的重建帧进行处理，一定程度上提升了编码效率。但是由于帧内参考模式的局限性，压缩比非常有限，并且环路外滤波器对于重建帧的质量提升对后续的编码过程不会产生增益，因此从这一角度来说，该算法对于编码效率的改进非常有限。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于卷积神经网络的视频编解码环路内滤波实现方法及系统，采用卷积神经网络实现了视频编解码环路内滤波器，能够提升编解码过程中的重建帧的图像质量，并对后续编码过程提供增益，最终提升编码算法的效率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于卷积神经网络的视频编解码环路内滤波实现方法，以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像。
所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。
所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用监督学习的方法进行优化的过程，该卷积神经网络以视频帧在编码过程中的划分和该视频帧的图像信息作为输入，其中视频帧的划分情况作为输入的可选模块，引导图像的质量恢复过程；该预设的网络结构的主体由一个主干和多个可选的分支组成，每一个分支由多个基本单位块(block)组成。额外的分支有助于捕捉图像不同层次的信息。最终输出一个与输入视频帧一样大小的图像。
所述的输出图像的质量提升是指：图像的通用客观质量的评价指标有提升，该质量评价采用但不限于峰值信噪比(PSNR)等。
优选地，在编码过程中使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
本发明涉及一种实现上述方法的系统，包括：训练数据生成模块、卷积神经网络训练模块和滤波模块，其中：训练数据生成模块与卷积神经网络相连并传输训练数据供其训练，卷积神经网络训练模块与滤波模块相连并传输其产生的预训练模型，滤波模块可用于现有的视频编解码算法中，实现环路内滤波的作用。
技术效果
与现有技术相比，本发明利用卷积神经网络来实现滤波器，与传统的视频编解码算法中的滤波器相比，更具有鲁棒性。传统的滤波器算法主要由人的经验来设计，并必须经过大量的试验和优化，而基于卷积神经网络的滤波器针对视频编解码的特点，结合了重建帧的划分情况设计了一种新的网络结构，具有更广泛的适用性，能够有效地针对不同的图像质量下降情况，对图像质量进行恢复。
本发明与其他基于卷积神经网络的滤波器相比具有显著的优点。首先该滤波器是编解码环路内的滤波器，能够为后续编解码过程提供增益。其次该滤波器主要针对的是帧间参考模式下的视频编解码，并对应帧间参考模式，设计了可选的图像划分情况的输入以及额外的分支，有助于提取图像的多个层次的特征，更好地完成图像的质量恢复过程。该模式与帧内参考模式相比，更广泛地应用于实际的视频编解码过程，因为它具有更好的压缩比和编码效率。
附图说明
图1为本发明的流程图；
图2为实施例视频帧划分情况示意图；
图3为实施例卷积神经网络结构图。
具体实施方式
如图1所示，本实施例涉及一种基于卷积神经网络的视频编解码环路内滤波器在
h.265/HEVC视频编码标准的参考软件HM-16.0下的实现方法，其具体步骤如下：
步骤1)使用视频编解码软件HM对一系列视频进行编解码，最终得到解码后的重建视频。并经过预处理得到训练数据，对预设的卷积神经网络进行训练，优化它的模型参数。本实施例中采用只以图像作为输入且没有额外分支的基本网络。
所述的预处理是指将每一张解码得到的视频帧和原始视频帧以及该视频帧的划分图，只采用图像的Y通道，分别切分成64x64的不相交的子图，划分图如图2所示。
如图3所示，所述的卷积神经网络具体为：以图像为输入，经过主分支的多个卷积模块、batch normalization(BN)模块和激活函数(ReLu)等处理、计算，输出一张与输入图大小相同的图像。
所述的卷积神经网络的训练过程，采用监督学习的方式进行，优选使用tensorflow开源软件搭建该网络并使用训练数据对其进行有监督的训练，最终得到一个预训练模型。
步骤2)使用第一步中得到的与训练模型，对HM算法中的编解码得到的每一帧进行处理，输出图像。并有选择地使用输出图像对原图像进行更新。
所述的处理是指将该视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图结合它的划分图进行处理，得到输出图像。
所述的有选择地更新原图像是指针对每一个子图，若图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新。
所述的更新是指使用输出图像替代输入图像，并记录该图像被更新过，该记录在编码过程将以比特的形式写入编码得到的码流中。而在解码过程中从码流中读入该记录并决定是否更新输入图像。
该实施例中使用编码软件HM-16.0，在LDB编码配置，对编码中常用的22个标准测试序列进行了实验。实验结果如表1，结果表明，该实施例对于所有测试序列，平均能够节省4.12％码率，超过了目前性能最好的基于卷积神经网络的环路外滤波器的性能，能够有效地提升编码效率。
表1实验结果
Figure BDA0001544941080000031
Figure BDA0001544941080000041
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种基于卷积神经网络的视频编解码环路内滤波器的实现系统，其特征在于，包括：训练数据生成模块、卷积神经网络训练模块和滤波模块，其中：训练数据生成模块与卷积神经网络相连并传输训练数据供其训练，卷积神经网络训练模块与滤波模块相连并传输其产生的预训练模型，滤波模块可用于现有的视频编解码算法中，实现环路内滤波的作用；所述系统以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像；
所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用监督学习的方法进行优化的过程；
所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图；
所述的卷积神经网络以视频帧在编码过程中的划分和该视频帧的图像信息作为输入，其中视频帧的划分情况作为输入的可选模块，引导图像的质量恢复过程；视频帧在编码过程中的划分，形成划分图；
具体实现所述的在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像时，使用预训练模型分别对每一子图结合它的划分图进行处理，得到输出图像；
所述的预设的网络结构的主体由一个主干和多个可选的分支组成，每一个分支由多个基本单位块组成，最终输出一个与输入视频帧一样大小的图像；
在编码过程中，使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
CN201810025957.XA 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统 Active CN108134932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025957.XA CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025957.XA CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Publications (2)

Publication Number Publication Date
CN108134932A CN108134932A (zh) 2018-06-08
CN108134932B true CN108134932B (zh) 2021-03-30

Family

ID=62399755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025957.XA Active CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Country Status (1)

Country Link
CN (1) CN108134932B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113396594A (zh) 2019-03-07 2021-09-14 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
CN113574897A (zh) 2019-03-24 2021-10-29 Oppo广东移动通信有限公司 滤波方法及装置、计算机存储介质
CN112019854B (zh) * 2019-05-28 2023-01-17 北京大学 基于深度学习神经网络的环路滤波方法
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN112188202A (zh) * 2019-07-01 2021-01-05 西安电子科技大学 基于神经网络的自学习视频编解码技术
CN112422993B (zh) * 2019-08-21 2021-12-03 四川大学 一种结合卷积神经网络的hevc视频质量增强方法
CN114208203A (zh) * 2019-09-20 2022-03-18 英特尔公司 基于分类器的卷积神经网络环路滤波器
CN111541894B (zh) * 2020-04-21 2021-04-20 电子科技大学 一种基于边缘增强残差网络的环路滤波方法
CN113068031B (zh) * 2021-03-12 2021-12-07 天津大学 一种基于深度学习的环路滤波方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156731B (zh) * 2014-07-31 2017-08-25 成都易默生汽车技术有限公司 基于人工神经网络的车牌识别系统与方法
CN106446895A (zh) * 2016-10-28 2017-02-22 安徽四创电子股份有限公司 一种基于深度卷积神经网络的车牌识别方法
CN107396124B (zh) * 2017-08-29 2019-09-20 南京大学 基于深度神经网络的视频压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《CNN-BASED IN-LOOP FILTERING FOR CODING EFFICIENCY IMPROVEMENT》;Woon-Sunk Park,等;《IEEE proceeding on Image, Video, and Multidimensional Signal Processing Workshop (IVMSP)》;20161231;正文第1-第3部分，第1-4页 *
Woon-Sunk Park,等.《CNN-BASED IN-LOOP FILTERING FOR CODING EFFICIENCY IMPROVEMENT》.《IEEE proceeding on Image, Video, and Multidimensional Signal Processing Workshop (IVMSP)》.2016, *

Also Published As

Publication number Publication date
CN108134932A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108134932B (zh) 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
Jia et al. Spatial-temporal residue network based in-loop filter for video coding
CN108174225B (zh) 基于对抗生成网络的视频编解码环路内滤波实现方法及系统
CN109257600B (zh) 一种基于深度学习的视频压缩伪影自适应去除方法
CN111064958B (zh) 一种针对b帧和p帧的低复杂度神经网络滤波算法
CN101742319B (zh) 基于背景建模的静态摄像机视频压缩方法与系统
CN108520505B (zh) 基于多网络联合构建与自适应选择的环路滤波实现方法
US11985313B2 (en) Filtering method and apparatus, and computer storage medium
CN108028920A (zh) 视频编解码中高级去块滤波的方法以及装置
CN111711817B (zh) 一种结合卷积神经网络的hevc帧内编码压缩性能优化方法
JP2011515981A (ja) ビデオ信号のエンコーディングまたはデコーディング方法及び装置
CN111885280B (zh) 一种混合卷积神经网络视频编码环路滤波方法
CN112422989B (zh) 一种视频编码方法
CN117596414A (zh) 视频处理方法及装置
CN112422993A (zh) 一种结合卷积神经网络的hevc视频质量增强算法框架
CN111047532A (zh) 一种基于3d卷积神经网络的低照度视频增强方法
CN116347107A (zh) 面向vvc视频编码标准基于可变cnn的qp自适应环路滤波方法
CN114173130B (zh) 一种适用于低码率条件的深度神经网络的环路滤波方法
CN115442613A (zh) 一种利用gan的基于帧间信息的噪声去除方法
Huang et al. Beyond VVC: Towards perceptual quality optimized video compression using multi-scale hybrid approaches
CN103379318B (zh) 一种视频码流编码方法和装置
CN112954350B (zh) 一种基于帧分类的视频后处理优化方法及装置
US20160360236A1 (en) Method and Apparatus for Entropy Transcoding
CN114189695A (zh) 一种基于gan的hevc压缩视频视觉感知提升方法
CN118233655B (zh) 一种基于置信图的视频编码深度学习环路滤波方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant