CN108134932A - 基于卷积神经网络的视频编解码环路内滤波实现方法及系统 - Google Patents

基于卷积神经网络的视频编解码环路内滤波实现方法及系统 Download PDF

Info

Publication number
CN108134932A
CN108134932A CN201810025957.XA CN201810025957A CN108134932A CN 108134932 A CN108134932 A CN 108134932A CN 201810025957 A CN201810025957 A CN 201810025957A CN 108134932 A CN108134932 A CN 108134932A
Authority
CN
China
Prior art keywords
coding
convolutional neural
image
neural networks
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810025957.XA
Other languages
English (en)
Other versions
CN108134932B (zh
Inventor
林巍峣
何晓艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201810025957.XA priority Critical patent/CN108134932B/zh
Publication of CN108134932A publication Critical patent/CN108134932A/zh
Application granted granted Critical
Publication of CN108134932B publication Critical patent/CN108134932B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于卷积神经网络的视频编解码环路内滤波器及其实现方法，以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像。本发明能够提升编解码过程中的重建帧的图像质量，并对后续编码过程提供增益，最终提升编码算法的效率。

Description

基于卷积神经网络的视频编解码环路内滤波实现方法及系统
技术领域
本发明涉及的是一种数字图像处理领域的技术，具体是一种基于卷积神经网络的视频编解码环路内滤波实现方法及系统。
背景技术
现有的视频编解码算法有编码器和解码器两个主要组成部分：编码器负责把输入视频根据视频编码标准编码成比特流，而解码器负责对比特流进行解码得到最终的解码视频。在编解码过程中，编解码环路外滤波器和环路内滤波器被使用来提升重建视频帧的图像质量。
现有的环路内滤波器使用了Deblock Filter和Sample Adaptive offset Filter作为环路滤波器，即在编码的过程中，对重建图像进行滤波，改善图像质量。环路内滤波器的特点是在帧间参考模式下，当前重建帧会作为后续编码帧的参考帧，从而环路内滤波器会影响编码的后续过程。现有的环路外滤波器使用卷积神经网络作为环路外滤波器，对于帧内参考模式下的重建帧进行处理，一定程度上提升了编码效率。但是由于帧内参考模式的局限性，压缩比非常有限，并且环路外滤波器对于重建帧的质量提升对后续的编码过程不会产生增益，因此从这一角度来说，该算法对于编码效率的改进非常有限。
发明内容
本发明针对现有技术存在的上述不足，提出一种基于卷积神经网络的视频编解码环路内滤波实现方法及系统，采用卷积神经网络实现了视频编解码环路内滤波器，能够提升编解码过程中的重建帧的图像质量，并对后续编码过程提供增益，最终提升编码算法的效率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于卷积神经网络的视频编解码环路内滤波实现方法，以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像。
所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。
所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用监督学习的方法进行优化的过程，该卷积神经网络以视频帧在编码过程中的划分和该视频帧的图像信息作为输入，其中视频帧的划分情况作为输入的可选模块，引导图像的质量恢复过程；该预设的网络结构的主体由一个主干和多个可选的分支组成，每一个分支由多个基本单位块(block)组成。额外的分支有助于捕捉图像不同层次的信息。最终输出一个与输入视频帧一样大小的图像。
所述的输出图像的质量提升是指：图像的通用客观质量的评价指标有提升，该质量评价采用但不限于峰值信噪比(PSNR)等。
优选地，在编码过程中使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
本发明涉及一种实现上述方法的系统，包括：训练数据生成模块、卷积神经网络训练模块和滤波模块，其中：训练数据生成模块与卷积神经网络相连并传输训练数据供其训练，卷积神经网络训练模块与滤波模块相连并传输其产生的预训练模型，滤波模块可用于现有的视频编解码算法中，实现环路内滤波的作用。
技术效果
与现有技术相比，本发明利用卷积神经网络来实现滤波器，与传统的视频编解码算法中的滤波器相比，更具有鲁棒性。传统的滤波器算法主要由人的经验来设计，并必须经过大量的试验和优化，而基于卷积神经网络的滤波器针对视频编解码的特点，结合了重建帧的划分情况设计了一种新的网络结构，具有更广泛的适用性，能够有效地针对不同的图像质量下降情况，对图像质量进行恢复。
本发明与其他基于卷积神经网络的滤波器相比具有显著的优点。首先该滤波器是编解码环路内的滤波器，能够为后续编解码过程提供增益。其次该滤波器主要针对的是帧间参考模式下的视频编解码，并对应帧间参考模式，设计了可选的图像划分情况的输入以及额外的分支，有助于提取图像的多个层次的特征，更好地完成图像的质量恢复过程。该模式与帧内参考模式相比，更广泛地应用于实际的视频编解码过程，因为它具有更好的压缩比和编码效率。
附图说明
图1为本发明的流程图；
图2为实施例视频帧划分情况示意图；
图3为实施例卷积神经网络结构图。
具体实施方式
如图1所示，本实施例涉及一种基于卷积神经网络的视频编解码环路内滤波器在
h.265/HEVC视频编码标准的参考软件HM-16.0下的实现方法，其具体步骤如下：
步骤1)使用视频编解码软件HM对一系列视频进行编解码，最终得到解码后的重建视频。并经过预处理得到训练数据，对预设的卷积神经网络进行训练，优化它的模型参数。本实施例中采用只以图像作为输入且没有额外分支的基本网络。
所述的预处理是指将每一张解码得到的视频帧和原始视频帧以及该视频帧的划分图，只采用图像的Y通道，分别切分成64x64的不相交的子图，划分图如图2所示。
如图3所示，所述的卷积神经网络具体为：以图像为输入，经过主分支的多个卷积模块、batch normalization(BN)模块和激活函数(ReLu)等处理、计算，输出一张与输入图大小相同的图像。
所述的卷积神经网络的训练过程，采用监督学习的方式进行，优选使用tensorflow开源软件搭建该网络并使用训练数据对其进行有监督的训练，最终得到一个预训练模型。
步骤2)使用第一步中得到的与训练模型，对HM算法中的编解码得到的每一帧进行处理，输出图像。并有选择地使用输出图像对原图像进行更新。
所述的处理是指将该视频帧的Y通道图像以64x64为单位分成若干个不相交的子图，使用预训练的模型分别对每一子图结合它的划分图进行处理，得到输出图像。
所述的有选择地更新原图像是指针对每一个子图，若图像的视频质量与输入图像相比有提升，则使用该输出图像更新输入图像，否则不更新。
所述的更新是指使用输出图像替代输入图像，并记录该图像被更新过，该记录在编码过程将以比特的形式写入编码得到的码流中。而在解码过程中从码流中读入该记录并决定是否更新输入图像。
该实施例中使用编码软件HM-16.0，在LDB编码配置，对编码中常用的22个标准测试序列进行了实验。实验结果如表1，结果表明，该实施例对于所有测试序列，平均能够节省4.12％码率，超过了目前性能最好的基于卷积神经网络的环路外滤波器的性能，能够有效地提升编码效率。
表1实验结果
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (7)

1.一种基于卷积神经网络的视频编解码环路内滤波器的实现方法，其特征在于，以视频编解码算法编码并解码得到的视频作为训练数据，使用监督学习的方法训练一卷积神经网络并得到预训练模型，然后在视频编解码环路内对每一个重建帧划分为若干个子图，采用所述预训练模型以每一个子图作为输入，输出一张与输入图像大小相同的图像，并根据输出图像的质量提升与否，有选择地使用输出图像更新原图像。
2.根据权利要求1所述的方法，其特征是，所述的训练，即基于训练数据和预设的网络结构，对卷积神经网络的参数使用监督学习的方法进行优化的过程。
3.根据权利要求2所述的方法，其特征是，所述的卷积神经网络以视频帧在编码过程中的划分和该视频帧的图像信息作为输入，其中视频帧的划分情况作为输入的可选模块，引导图像的质量恢复过程。
4.根据权利要求1所述的方法，其特征是，所述的预设的网络结构的主体由一个主干和多个可选的分支组成，每一个分支由多个基本单位块组成，最终输出一个与输入视频帧一样大小的图像。
5.根据权利要求1所述的方法，其特征是，所述的训练数据是指：以视频编解码算法编码并解码得到的视频的视频帧所对应的原始视频帧的划分子图，即以64x64为大小划分得到的若干个不相交的子图。
6.根据权利要求1所述的方法，其特征是，在编码过程中，使用一比特记录该图像是否更新，并写入编码最终产生的码流中；在解码过程中以所述比特位作为是否更新的依据。
7.一种实现上述任一权利要求所述方法的系统，其特征在于，包括：训练数据生成模块、卷积神经网络训练模块和滤波模块，其中：训练数据生成模块与卷积神经网络相连并传输训练数据供其训练，卷积神经网络训练模块与滤波模块相连并传输其产生的预训练模型，滤波模块可用于现有的视频编解码算法中，实现环路内滤波的作用。
CN201810025957.XA 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统 Active CN108134932B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810025957.XA CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810025957.XA CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Publications (2)

Publication Number Publication Date
CN108134932A true CN108134932A (zh) 2018-06-08
CN108134932B CN108134932B (zh) 2021-03-30

Family

ID=62399755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810025957.XA Active CN108134932B (zh) 2018-01-11 2018-01-11 基于卷积神经网络的视频编解码环路内滤波实现方法及系统

Country Status (1)

Country Link
CN (1) CN108134932B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN111541894A (zh) * 2020-04-21 2020-08-14 电子科技大学 一种基于边缘增强残差网络的环路滤波方法
CN112019854A (zh) * 2019-05-28 2020-12-01 北京大学 基于深度学习神经网络的环路滤波方法
CN112188202A (zh) * 2019-07-01 2021-01-05 西安电子科技大学 基于神经网络的自学习视频编解码技术
CN112422993A (zh) * 2019-08-21 2021-02-26 四川大学 一种结合卷积神经网络的hevc视频质量增强算法框架
WO2021051369A1 (en) * 2019-09-20 2021-03-25 Intel Corporation Convolutional neural network loop filter based on classifier
CN113068031A (zh) * 2021-03-12 2021-07-02 天津大学 一种基于深度学习的环路滤波方法
US11627342B2 (en) 2019-03-07 2023-04-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Loop filtering implementation method and apparatus, and computer storage medium
US11985313B2 (en) 2019-03-24 2024-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Filtering method and apparatus, and computer storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156731A (zh) * 2014-07-31 2014-11-19 成都易默生汽车技术有限公司 基于人工神经网络的车牌识别系统与方法
CN106446895A (zh) * 2016-10-28 2017-02-22 安徽四创电子股份有限公司 一种基于深度卷积神经网络的车牌识别方法
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156731A (zh) * 2014-07-31 2014-11-19 成都易默生汽车技术有限公司 基于人工神经网络的车牌识别系统与方法
WO2017222140A1 (ko) * 2016-06-24 2017-12-28 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CN106446895A (zh) * 2016-10-28 2017-02-22 安徽四创电子股份有限公司 一种基于深度卷积神经网络的车牌识别方法
CN107197260A (zh) * 2017-06-12 2017-09-22 清华大学深圳研究生院 基于卷积神经网络的视频编码后置滤波方法
CN107480707A (zh) * 2017-07-26 2017-12-15 天津大学 一种基于信息无损池化的深度神经网络方法
CN107396124A (zh) * 2017-08-29 2017-11-24 南京大学 基于深度神经网络的视频压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WOON-SUNK PARK,等: "《CNN-BASED IN-LOOP FILTERING FOR CODING EFFICIENCY IMPROVEMENT》", 《IEEE PROCEEDING ON IMAGE, VIDEO, AND MULTIDIMENSIONAL SIGNAL PROCESSING WORKSHOP (IVMSP)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11627342B2 (en) 2019-03-07 2023-04-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Loop filtering implementation method and apparatus, and computer storage medium
US11985313B2 (en) 2019-03-24 2024-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Filtering method and apparatus, and computer storage medium
CN112019854A (zh) * 2019-05-28 2020-12-01 北京大学 基于深度学习神经网络的环路滤波方法
CN112019854B (zh) * 2019-05-28 2023-01-17 北京大学 基于深度学习神经网络的环路滤波方法
CN110351568A (zh) * 2019-06-13 2019-10-18 天津大学 一种基于深度卷积网络的视频环路滤波器
CN112188202A (zh) * 2019-07-01 2021-01-05 西安电子科技大学 基于神经网络的自学习视频编解码技术
CN112422993A (zh) * 2019-08-21 2021-02-26 四川大学 一种结合卷积神经网络的hevc视频质量增强算法框架
CN112422993B (zh) * 2019-08-21 2021-12-03 四川大学 一种结合卷积神经网络的hevc视频质量增强方法
WO2021051369A1 (en) * 2019-09-20 2021-03-25 Intel Corporation Convolutional neural network loop filter based on classifier
CN111541894A (zh) * 2020-04-21 2020-08-14 电子科技大学 一种基于边缘增强残差网络的环路滤波方法
CN113068031A (zh) * 2021-03-12 2021-07-02 天津大学 一种基于深度学习的环路滤波方法
CN113068031B (zh) * 2021-03-12 2021-12-07 天津大学 一种基于深度学习的环路滤波方法

Also Published As

Publication number Publication date
CN108134932B (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN108134932A (zh) 基于卷积神经网络的视频编解码环路内滤波实现方法及系统
CN103607591B (zh) 结合超分辨率重建的视频图像压缩方法
CN101742319B (zh) 基于背景建模的静态摄像机视频压缩方法与系统
CN106131554B (zh) 基于主要边缘方向的hevc快速样点自适应补偿方法
CN103202017B (zh) 使用基于样本的数据修剪的视频解码的方法和装置
CN108174225A (zh) 基于对抗生成网络的视频编解码环路内滤波实现方法及系统
CN108520505B (zh) 基于多网络联合构建与自适应选择的环路滤波实现方法
RU2013151253A (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
US20230291909A1 (en) Coding video frame key points to enable reconstruction of video frame
CN109903351B (zh) 基于卷积神经网络和传统编码相结合的图像压缩方法
CN106791858B (zh) 一种高采样率rgb视频数据无损压缩方法
CN102081795B (zh) 基于稀疏表示的自动去块效应方法
US11985313B2 (en) Filtering method and apparatus, and computer storage medium
CN106170093A (zh) 一种帧内预测性能提升编码方法
Dai et al. A CNN-based in-loop filter with CU classification for HEVC
CN111246206A (zh) 一种基于自编码器的光流信息压缩方法及装置
CN105704489B (zh) 一种基于宏块复杂度的自适应视频运动矢量隐写方法
CN112584155A (zh) 一种视频数据处理方法和装置
CN112019854B (zh) 基于深度学习神经网络的环路滤波方法
CN110290384A (zh) 图像滤波方法、装置及视频编解码器
US20240080495A1 (en) Iteratively updating a filtering model
Fleig et al. Edge-aware autoencoder design for real-time mixture-of-experts image compression
CN103379318B (zh) 一种视频码流编码方法和装置
CN113205010B (zh) 基于目标聚类的智能勘灾现场视频帧高效压缩系统及方法
EP4315866A1 (en) Multi-distribution entropy modeling of latent features in image and video coding using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant