CN107925762B - 基于神经网络的视频编解码处理方法和装置 - Google Patents

基于神经网络的视频编解码处理方法和装置 Download PDF

Info

Publication number
CN107925762B
CN107925762B CN201680049982.0A CN201680049982A CN107925762B CN 107925762 B CN107925762 B CN 107925762B CN 201680049982 A CN201680049982 A CN 201680049982A CN 107925762 B CN107925762 B CN 107925762B
Authority
CN
China
Prior art keywords
neural network
deep neural
video
target signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680049982.0A
Other languages
English (en)
Other versions
CN107925762A (zh
Inventor
黄毓文
孙域晨
庄子德
林建良
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN107925762A publication Critical patent/CN107925762A/zh
Application granted granted Critical
Publication of CN107925762B publication Critical patent/CN107925762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合深度神经网络的视频编解码的方法和装置，使用DNN(Deep Neural Network，深度神经网络)处理目标信号，其中提供给DNN输入的目标信号对应于重建残差，预测过程、重建过程、一个或多个过滤过程或其组合的输出。来自DNN输出的输出数据被提供用于编码处理或解码处理。DNN可用于复原目标信号的像素值或预测目标信号与原始信号之间的一个或多个残差像素的符号。一个或多个残差像素的绝对值可以在视频比特流中通过信号发送，并与符号一起使用以减少目标信号的残差。

Description

基于神经网络的视频编解码处理方法和装置
优先权声明
本发明要求于2015年9月3日提交的申请号为62/214,121的美国临时专利申请的优先权，其整体以引用的方式并入本文。
技术领域
本发明涉及视频编解码的一般领域。特别地，涉及在视频编解码系统中将深度神经网络(Deep Neural Network，DNN)应用于目标信号，其中提供给DNN输入端的目标信号对应于重建残差、来自预测过程、重建过程、所述至少一个过滤过程、或者它们的任何组合的输出。
背景技术
神经网络，也被称为“人工”神经网络(Artificial Neural Network，ANN)，是一种信息处理系统，其具有与生物神经网络相同的某些性能特征。神经网络系统由许多简单且高度互连的处理部件组成，以通过这些处理部件的对应于外部输入的动态信息来处理信息。处理部件可以被认为是人脑中的神经元，其中每个感知器(perceptron)接收多个输入并且计算输入的加权和。在神经网络领域，感知器被认为是生物神经元的数学模型。此外，这些互联的处理部件通常集结成层。对于识别应用，外部输入可以对应于网络中展示的模式，网络与一个或多个中间层(也被称为“隐藏层”)通信，其中实际过程是通过加权“连接”的系统完成。
人工神经网络可以使用不同的架构来指定网络中包括哪些变量以及它们之间的拓扑关系。例如神经网络中包括的变量可以是神经元之间连接的权重，其随着神经元的活动而变化。前馈网络是神经网络拓扑结构中的一种类型，其中每层中的节点被馈送到下一级，并且在同一层中的节点之间存在连接。大多数人工神经网络包含某种形式的“学习规则”，其根据所提出的输入模式修改连接的权重。在某种意义上，人工神经网络和他们类似的生物神经网络一样，都是通过示例学习的。反向传播神经网络是一个更为先进的神经网络，其允许权重调整的反向错误传播。因此，反向传播神经网络能够通过将向神经网络反馈的误差最小化来改善性能。
深度多层神经网络或深度神经网络(deep neural network，DNN)对应于具有多层互连节点的神经网络，允许其简洁地(compactly)表示高度非线性和高度变化的功能。然而，DNN的计算复杂度随着与大量的层相关的节点的数量的增加而急剧增加。直到最近，开发了一些有效的计算方法来训练这样的深度神经网络。其中，Hinton等人提出了一种逐层贪婪无监督学习过程，其依赖于受限玻尔兹曼机(restricted Boltzmann machines，RBM)训练算法来初始化深度信念网络(deep belief network，DBN)的参数。(Hinton等人“Afast learning algorithm for deep belief nets”，Neural Computation，第18卷，第1527-1554页，2006年)。Bengio等人提出了另一种逐层贪婪无监督学习过程。(“Greedylayer-wise training of deep networks”，Advances in Neural InformationProcessing Systems 19，作者：
Figure BDA0001583909340000021
等，153-160页，MIT出版，2007年)。Ranzato等人开发了另一种有效的训练算法。(“Efficient learning of sparse representationswith an energy-based model”，Advances in Neural Information Processing Systems19，作者：
Figure BDA0001583909340000022
等，153-160页，MIT出版，2007年)。
因为在DNN训练方面取得突破性进展，DNN已成功应用于诸如语音识别、图片分割、物体检测、面部识别等各种复杂任务。随着DNN在各个领域的成功，希望探索将DNN应用于视频编解码的潜力。具体而言，期望进一步改进诸如高效视频编解码(High EfficiencyVideo Coding，HEVC)的新兴视频编解码标准的性能。
高效视频编解码(High Efficiency Video Coding，HEVC)标准是在ITU-T视频编解码专家组(Video Coding Experts Group，VCEG)和ISO/IEC移动图片专家组(MovingPicture Experts Group，MPEG)标准化组织的联合视频项目下开发的，其合作关系被称为视频编解码联合合作小组(Joint Collaborative Team on Video Coding，JCT-VC)。
在HEVC中，一个片被划分为多个编码树单元(CTU)。CTU被进一步划分为多个编码单元(coding unit，CU)以适应各种局部特征。HEVC支持多种帧内预测模式，且对于帧内预测编解码CU，所选择的帧内预测模式通过信号传递。除了编码单元的概念之外，HEVC中还引入了预测单元(prediction unit，PU)的概念。一旦CU分层树的划分完成，根据预测类型和PU(prediction unit，预测单元)分区将每一个叶CU进一步划分成一个或多个预测单元(prediction unit，PU)。在预测之后，将与CU相关的残差划分为转换块，其被称为用于转换过程的转换单元(Transform Unit，TU)。
图1A是基于HEVC的自适应帧内/帧间视频编码器的实施例。当采用帧间模式时，帧内/帧间预测单元110基于运动估计(Motion Estimation，ME)/运动补偿(MotionCompensation，MC)生成帧间预测。当采用帧内模式时，帧内/帧间预测单元110生成帧内预测。帧内/帧间预测数据(即，帧内/帧间预测信号)被提供给减法器116以通过从与输入图片相关的信号中减去帧内/帧间预测信号来生成预测误差，其也被称为残差。生成帧内/帧间预测数据的过程在本发明中被认为是预测过程。随后在对预测误差(即，残差)进行转换(T)过程，随后经过量化(Q)过程(T+Q，120)。经过转换和量化过程的残差随后被熵编解码单元122编码，存储对应压缩视频数据的视频比特流中。然后，将与转换系数相关联的比特流与诸如运动、编解码模式以及其他与图片区域相关的信息之类的边信息一起打包。边信息也可以通过熵编解码来压缩以减少所需的带宽。由于重建的图片可以作为帧间预测的参考图片使用，参考图片也必须在编码器端重建。因此，经过转换和量化过程的残差经过反向量化(IQ)过程和反向转换(IT)(IQ+IT，124)过程以重建残差。重建残差随后被加回重建器(REC)128中的帧内/帧间预测数据以重建视频数据。在本发明中向帧内/帧间预测信号加上重建残差的过程被认为是重建处理。来自重建处理的输出图片被认为是重建图片。为了减少重建图片中的伪影，使用包括去块滤波器(Deblocking Filter，DF)130和采样自适应偏移(Sample Adaptive Offset，SAO)132的环路内滤波器。在本发明中，所有滤波处理的输出处的滤波的重构图片被称为解码图片。解码图片储存于帧缓冲器140中，并用于其他帧的预测。图1B是基于HEVC的自适应帧内/帧间视频解码器的实施例。因为编码器还包括用于重建视频数据的本地解码器，除了熵解码器210，一些解码器组件已经在编码器中被使用。在解码器侧，熵解码单元160被用于复原比特流中的编解码码元或语法。在本发明中，由输入比特流生成重建残差的过程称为残差解码过程。用于生成帧内/帧间预测数据的预测过程也被应用在解码器侧，然而，由于帧间预测仅需要使用由比特流推导出的运动信息来执行运动补偿，帧内/帧间预测单元150与编码器侧的帧内/帧间预测单元不同。此外，加法器114用于向帧内/帧间预测数据加上重建残差。
在HEVC标准发展的期间，还公开了称为自适应环路滤波器(Adaptive LoopFilter，ALF)的另一个环路内滤波器，但其未被采纳到主标准中。ALF可以用来进一步提高视频质量。例如，可以在SAO 132之后使用ALF 210，以及，如图2A中的编码器侧和图2B中的解码器侧中所示，来自ALF 210的输出存储在帧缓冲器140中。对于解码器侧，来自ALF 210的输出也可以用作用于显示或其他过程的解码器输出。在本发明中，去块滤波器SAO和ALF都被称为滤波处理。
发明内容
本发明公开了一种结合深度神经网络的视频编码或解码的方法和装置。根据该方法，使用深度神经网络(Deep Neural Network，DNN)处理目标信号，其中提供给DNN输入端的目标信号对应于重建残差、来自来自预测过程、重建过程、所述至少一个过滤过程、或者它们的任何组合的输出。在编码器侧，来自DNN输出的输出数据被提供用于编码处理。在解码器侧，来自DNN输出的输出数据被提供给解码处理。DNN可用于复原目标信号的像素值或预测目标信号与原始信号之间的一个或多个残余像素的符号。一个或多个残差像素的绝对值可以在视频比特流中通过信号发送，并与符号一起使用以减少目标信号的残差。
滤波处理可以包括去块滤波器，采样自适应偏移(Sample Adaptive Offset，SAO)，自适应环路滤波器(Adaptive Loop Filter，ALF)以及它们的任何组合。提供给DNN输入的目标信号可对应于来自重建过程、去块滤波器、SAO或ALF的输出。另一方面，可以将来自DNN输出的输出数据作为解码图片提供或者作为输入提供给解块滤波器、SAO或ALF。
可以为视频编解码系统预先定义DNN的参数。此外，视频编码系统可以对多组DNN参数进行选择。多组DNN参数中的选择可以取决于视频比特流，或者由解码器处隐性决定。可以在视频比特流中的序列级、图片级、片级、编码树单元(Coding Tree Unit，CTU)级或编码单元(CU)级中确定多组DNN参数中的选择。此外，可以使用开/关控制标志来指示DNN是否被启用。
在一个实施例中，DNN可以具有包括重建残差作为一个DNN输入的多个DNN输入。例如，多个DNN输入对应于重建残差和预测信号，并且DNN提供重建图片作为用于滤波处理的DNN输出。
在基于块的编解码中，用于DNN处理的相邻样本可能不可用。不可用的样本可以通过填充生成，也可以不使用DNN处理。每个图片也可以被划分成区域，使得可以将具有DNN的编解码处理并行应用于多个区域。对于靠近区域边界的不可用样本，可以通过填充生成不可用样本。
在又一个实施例中，目标信号与多个图片相关联。在使用DNN处理目标信号之前对齐多个图片。在这种情况下，来自多个图片的对应单元的像素基于与多个图片的对应单元有关的运动信息对齐。
在又一个实施例中，当图片包括不同的颜色分量时，使用DNN的处理目标信号可以共同地或独立地处理不同的颜色分量。
附图说明
图1A是基于高效视频编解码(High Efficiency Video Coding，HEVC)标准的自适应帧内/帧间视频编码器的实施例。
图1B是基于高效视频编解码(High Efficiency Video Coding，HEVC)标准的自适应帧内/帧间视频解码器的实施例。
图2A是具有添加的ALF处理的与图1A中所示的自适应帧内/帧间视频编码器类似的自适应帧内/帧间视频编码器的实施例。
图2B是具有添加的ALF处理的与图1B中所示的自适应帧内/帧间视频编码器类似的自适应帧内/帧间视频编码器的实施例。
图3是本发明提供的一实施例的视频编码器的示意图，其中将深度神经网络(DeepNeural network，DNN)应用于残差信号。
图4是本发明提供的一实施例的视频编码器的示意图，其中深度神经网络(DeepNeural network，DNN)具有包括残差信号的多个输入。
图5是本发明提供的一实施例中结合了深度神经网络(Deep Neural network，DNN)的视频解码器的工作流程示意图。
图6是本发明提供的一实施例中结合了深度神经网络(Deep Neural network，DNN)的视频编码器工作的流程示意图。
具体实施方式
以下描述是实施本发明的最佳预期模式。这个描述是为了说明本发明的一般原理而做出的，且不应该认为是限制性的。本发明的范围是通过参考所附的权利要求来准确确定。
在不同的图片复原或处理方法中，基于神经网络，尤其是深度神经网络(DeepNeural network，DNN)的方法，近年来已被证实是有希望的。其已被应用于图片去噪、图片超分辨率以及其他各种复杂的图片过程任务中。在各种研究中，与传统的图片处理方法相比，DNN已经展示出了其具有更好的性能。因此，在本发明中，DNN被用作为视频编解码中的图片复原方法以提高主观质量或编解码效率。
根据本发明，DNN被作为视频编解码系统中的图片复原技术使用。本发明还公开了另一种类型的DNN应用，其中DNN被用作是分类器，用于将底层的像素分为不同的类别。可选地，DNN被用于对每个环路内滤波器使能区域进行逐像素的环路内滤波器开/关判定。DNN可以应用于视频编解码链中视频信号受失真影响的点。例如，如图2A和图2B分别所示的，DNN可以应用于编码器和解码器中ALF(标记为点A)的输出。如图2A和图2B所示，在具备或者不具备其他复原方法的视频编解码系统中，可以在SAO(标记为点B)、DF(标记为点C)或REC(标记为点D)之后应用DNN。当DNN用于信号复原时，DNN输出被提供给下一级。例如，DNN在图2A和图2B中的信号点A处的情况下，DNN输入对应于来自ALF 210的输出，且DNN输出被存储在帧缓冲器140中。DNN在信号点B处的情况下，DNN输入对应于来自SAO 132的输出，并且DNN输出被提供给ALF 210。DNN所处理的信号可以对应于不同类型的信号，例如图2A和图2B的示例中所示的复原图片(点D)、DF处理(点C)、SAO处理(点B)和ALF处理(点A)。为了方便，在本发明中将由DNN处理的信号称为目标信号。
根据本发明的另一实施例，DNN被用于重建残差信号。例如，对于图2A中的编码器，DNN 310可以被应用于如图3所示的来自IQ+IT 124的重建残差。在这种情况下，目标信号对应于来自IQ+IT 124的输出(即重建残差)。重建残差在被DNN复原后被提供给重建处理(即，REC 128)以生成重建图片。
根据本发明的又一个实施例，DNN可以使用多个输入。其中一个输入可以是重建残差。例如，如图4所示，帧内/帧间预测信号和重建残差信号都是DNN 410的输入，且输出是DNN滤波的重建像素。在这种情况下，DNN也被用于重建处理(即，直接复原重建像素)。来自DNN的重建图片被提供给DF 130以进一步处理。
如前文中所述，在DNN中有许多参数或变量，例如层数或深度、滤波器系数、滤波器占用空间(filter footprint)，非线性运算等等。解码器使用的参数应与编码器使用的参数相同。这些参数可能必须从编码器通过信号发送到解码器。为了减少DNN的边信息，在视频编解码系统中可以标准化一些预定义的参数。因此，输出比特流中没有加入额外的信息。
然而，为了适应不同的输入图片的特征，视频编解码系统可以支持多组预定义的参数。预定义的参数组的选择可以明确地通过信号发送给解码器，或者由解码器隐性决定。明确地选择可以发信于序列级、图片级、片级、CTU(Coding Tree Unit，编码树单位)行级、CTU级或CU(Coding Unit，编码单元)级中。隐性选择可以取决于切片类型、量化参数、预测模式、量化系数、重建残差、预测器、重建像素或运动信息。
除了预先定义的参数之外，DNN参数也可以在比特流中发信以概括该框架。参数可以在序列级、图片级、片级、CTU行级、CTU级或CU级被编码。此外，用于指示是否启用DNN的开/关控制标志可以通过发信给解码器以进一步改善该框架的性能。该开/关控制标志可以发信于序列级、图片级、片级、CTU行级、CTU级或CU级中。在另一个实施例中，DNN参数可以基于传输的比特流中即时自适应更新。例如，编解码图片的最终重建像素可以被用作为训练数据，以针对连续编解码的图片更新即时的DNN参数。
在另一实施例中，在REC、DF、SAO或ALF之后应用DNN以预测目标信号与原始信号之间的一个或多个残差像素的符号。该残差是从原始输入图片减去帧内/帧间预测数据生成的残差(即，图2A中的减法器116的输出)的差值。为了清楚起见，此处的残差被认为是第二残差，指的是编解码链中的信号以及与其对应的原始信号之间的差。例如，重建处理(即，REC 128)的输出处的第二残差对应于重建处理的输出与原始输入图片之间的差。在另一个示例中，SAO132的输出处的第二残差对应于SAO132的输出与DF130的输出之间的差。绝对值被进一步传输并与由DNN预测的符号组合，以减少像素或一组像素的残差误差。该方法可以是环路内或者环路外过程。如果该方法是环路外过程，则解码器可以选择性地应用该方法。编码器不会使用复原帧来预测后续帧。因此，如果解码器不对帧应用该方法，则不使用该方法的结果是编码器和解码器之间的失配不会传播到随后的帧。
在又一个实施例中，在DF、SAO、ALF或其他环路内滤波器之后应用DNN以确定环路内滤波器使能区域内的像素是否应由环路内滤波器修改。例如，如图2A和图2B所示，DNN可以分别应用于编码器中的SAO 132的输出以及解码器中SAO 132的输出。当为了当前CTU启用SAO 132时，DNN用于确定当前CTU中的每个像素是否应该由SAO 132修改。根据DNN做出的决定，当前CTU中的一些像素可以保持与DF130输出的像素相同的像素强度，而当前CTU中的其他像素可由SAO 132修改。
DNN的主要过程本质上类似于滤波。因此，对于图片边界处的那些像素，有一些不可用的像素却被DNN处理所需要。有两个解决方案来解决这个问题。一个解决方案是使用填充技术来生成对应的像素。填充技术可以是最近的像素复制、奇数镜像或者偶数镜像。另一个解决方案是跳过这些像素的DNN处理。此外，为了实现DNN的并行过程，可以将类似的填充技术应用于一些可以由DNN并行处理的预定义的区域。预定义的区域可以是一个图片、一个片、一个CTU行、一个CTU、一个编码单元、一个预测单元、一个变换单元或一个块。预定义的区域可以通过发信给解码器。可以通过一个处于序列级、图片级、片级或CTU行级的编码标志来启用或停用DNN的并行处理。
在另一个实施例中，DNN的输入可以是来自多个帧的像素，在本发明中其被称为多帧DNN。当应用多帧DNN时，首先将来自多个帧的输入像素与运动信息对齐。对齐的精度可以是整数或分数样本精度。对应的单元可以是一个帧、一个片、一个CTU行、一个CTU、一个编码单元、一个预测单元、一个变换单元、一个预定义的块或一个像素。相关的运动信息可以是平移模型(translational model)，各向同性模型(isotropic model)，仿射模型(affinemodel)，透视模型(perspective model)，抛物线模型(parabolic model)或其他高阶多项式运动模型。当使用多帧DNN时，在比特流中编解码的运动信息可以被重新使用以执行对齐。
在另一个实施例中，当将DNN应用于视频编解码时，，可以在一个DNN系统中一起处理不同的颜色分量，或者单独处理不同的颜色分量。此外，DNN可以首先应用于亮度分量。然后使用亮度分量来修改色度分量，或者可以直接跳过色度的处理。一个DNN系统的位深度可以取决于输入像素的位深度。
图5是本发明提供的一实施例中结合了深度神经网络(Deep Neural network，DNN)的视频解码器的工作流程示意图。该方法在步骤510中接收对应于视频序列中的一个或多个图片的视频比特流。在步骤520中使用解码处理对每个图片进行解码，解码处理包括以下处理的一个或组合：从视频比特流生成重建的残差的残差解码处理，生成与每个图片相关的预测信号的预测处理，根据重建残差和预测信号生成重建图片的重建处理，以及至少一个用于重建图片的滤波处理。在步骤530中，使用DNN(Deep Neural Network，深度神经网络)处理目标信号，其中提供给DNN输入的目标信号对应于重建残差，来自预测处理、重建处理或上述至少一个滤波处理或其组合的输出。在步骤540中将来自DNN输出的输出数据提供给解码处理。
图6是本发明提供的一实施例中结合了深度神经网络(Deep Neural network，DNN)的视频编码器工作的流程示意图。该方法在步骤610中接收对应于视频序列中的一个或多个图片的输入数据。在步骤620中使用编码处理对每个图片进行编码，编码处理包括以下处理的一个或组合：生成与每个图片相关的预测信号的预测处理，根据重建残差和预测信号生成重建图片的重建处理，以及应用于重建图片的至少一个滤波处理。在步骤630中，使用DNN(Deep Neural Network，深度神经网络)处理目标信号，其中提供给DNN输入的目标信号对应于重建残差、来自预测处理、重建处理或上述至少一个滤波处理或其组合的输出。在步骤640中将来自DNN输出的输出数据提供给编码处理。
所示的流程图用于说明本发明的视频编解码的示例。本领域技术人员可以对本申请的各个步骤进行修改、重新排列、拆分或组合以在不脱离本发明的精发明的实施例的示例。本领域技术人员可以通过在不脱离本发明的精神的情况下用等同的语法和语义进行替换来实践本发明。
提出以上描述是为了使本领域普通技术人员能够在提供的特定的应用及其要求的情况下能够实施本申请。对所描述的实施例的各种修改对于本领域技术人员而言是显而易见的，并且本文中定义的基本原理可以应用于其他实施例。因此，本申请不限于所示出和描述的特定实施例，而是应被赋予与本文公开的原理和新颖特征相一致的最宽范围。在上文的详细描述中，为了提供对本申请的全面理解，示出了各种具体细节。然而，本领域技术人员将会理解，可以在没有这些具体细节的情况下实践本申请。
本申请中如上所述的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本申请的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码，以执行本文中描述的处理。本申请的实施例还可以是要在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文中描述的处理。本申请还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(fieldprogrammable gate array，FPGA)执行的多个功能。这些处理器可以被配置为通过执行机器可读软件代码或固件代码来执行根据本申请的特定任务，该软件代码或固件代码定义了本申请中所体现的特定方法。软件代码或固件代码可以用不同的编程语言和不同的格式或呈现方式来开发。软件代码也可以针对不同的目标平台进行编译。然而，根据本申请的软件代码的不同代码格式、呈现方式和语言以及配置代码以执行任务的其他手段不会背离本申请的精神和范围。
在不脱离本申请的精神或基本特征的情况下，可以以其他特定形式来实施本申请。所描述的示例在所有方面都被认为是说明性的而不是切片性的。因此，本申请的范围由所附权利要求而不是由之前的描述来指示。在权利要求的等同的含义和范围内的所有变化都将被包括在其范围内。

Claims (39)

1.一种用于视频解码器的视频解码方法，其特征在于，所述方法包括：
接收视频序列中对应于一个或多个图片的视频比特流；
使用解码处理对每个所述图片进行解码，所述解码处理包括以下处理：从所述视频比特流生成重建的残差的残差解码处理，生成与每个所述图片相关的预测信号的预测处理，根据所述重建残差和所述预测信号生成重建图片的重建处理，以及/或者至少一个用于所述重建图片的滤波处理；
使用深度神经网络处理目标信号，其中被提供给所述深度神经网络输入的所述目标信号对应于所述重建残差，为所述重建处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述预测处理的输出以及所述重建处理的输出，为所述滤波处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述至少一个滤波处理，为所述至少一个滤波处理的下一级滤波处理提供来自深度神经网络输出的输出数据，或为解码图片提供来自深度神经网络输出的输出数据；
其中所述一个或多个图片包括不同的色彩分量，所述使用所述深度神经网络处理所述目标信号包括对不同的所述色彩分量一同处理或者对不同的所述色彩分量分别处理。
2.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述至少一个滤波处理包括去块滤波器、取样自适应偏移、自适应环路滤波器或者其组合。
3.根据权利要求2所述的用于视频解码器的视频解码方法，其特征在于，
被提供给所述深度神经网络输入的所述目标信号对应于所述去块滤波器、所述取样自适应偏移或者所述自适应环路滤波器的输出。
4.根据权利要求2所述的用于视频解码器的视频解码方法，其特征在于，
来自所述深度神经网络输出的所述输出数据被作为解码图片或者提供给所述去块滤波器、所述取样自适应偏移或者所述自适应环路滤波器作为输入。
5.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络被用于复原所述目标信号的像素值。
6.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络被用于预测所述目标信号和原始信号之间的一个或多个残差像素的符号。
7.根据权利要求6所述的用于视频解码器的视频解码方法，其特征在于，
所述一个或多个残差像素的绝对值取决于所述视频比特流，其中所述绝对值和所述一个或多个残差像素的符号被用于减少所述一个或多个残差像素的残差误差。
8.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络的深度神经网络参数针对所述视频解码器预先设置。
9.根据权利要求8所述的用于视频解码器的视频解码方法，其特征在于，
多组所述深度神经网络参数可供所述视频解码器选择。
10.根据权利要求9所述的用于视频解码器的视频解码方法，其特征在于，
在所述多组深度神经网络参数中的选择取决于所述视频比特流或者隐性取决于所述视频解码器。
11.根据权利要求10所述的用于视频解码器的视频解码方法，其特征在于，
在所述多组深度神经网络参数中的所述选择取决于视频比特流的序列级、图片级、片级、编码树单元级或者编码单元级。
12.根据权利要求10所述的用于视频解码器的视频解码方法，其特征在于，
在所述多组深度神经网络参数中的所述选择是由所述视频解码器侧决定，所述选择取决于片类型、量化参数、预测模式、量化系数、所述重建残差、预测器、重建像素、运动信息，或其任意组合。
13.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络的所述深度神经网络参数取决于所述视频比特流。
14.根据权利要求13所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络参数取决于视频比特流的序列级、图片级、片级、编码树单元级或者编码单元级。
15.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
开/关控制标记被用于指示所述深度神经网络是被启用或停用。
16.根据权利要求15所述的用于视频解码器的视频解码方法，其特征在于，
所述开/关控制标记取决于所述视频比特流的序列级、图片级、片级、编码树单元级或者编码单元级。
17.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络输入对应于所述重建残差且所述深度神经网络输出被提供给所述重建处理。
18.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述深度神经网络具有多个深度神经网络输入且将所述重建残差作为一个深度神经网络输入。
19.根据权利要求18所述的用于视频解码器的视频解码方法，其特征在于，
所述多个深度神经网络输入对应于所述重建残差和所述预测信号，以及所述深度神经网络向所述至少一个滤波处理提供所述重建图片作为所述深度神经网络输出。
20.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
每个图片被划分为块以用于解码处理，所述使用深度神经网络处理目标信号包括使用用于处理所述目标信号的至少一个样本的一个或多个相邻样本，以及如果当前块的所述一个或多个相邻样本中的任何一个在块的边界处不可用，则不可用的所述相邻样本是由使用填充技术生成的或者跳过所述使用深度神经网络处理所述目标信号。
21.根据权利要求20所述的用于视频解码器的视频解码方法，其特征在于，
每一个区域对应于一个图片、一个片、一个编码树单元行、一个编码树单元、一个编码单元、一个预测单元、一个变换单元或者一个块。
22.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述目标信号与多个图片相关。
23.根据权利要求22所述的用于视频解码器的视频解码方法，其特征在于，
在所述使用深度神经网络处理目标信号之前所述多个图片预先对齐，来自所述多个图片的对应的单元的像素基于与所述多个图片的所述对应单元的运动信息对齐。
24.根据权利要求23所述的用于视频解码器的视频解码方法，其特征在于，
每个所述对应单元对应于一个图片、一个片、一个编码树单元行、一个编码树单元、一个编码单元、一个预测单元、一个变换单元、一个块或者一个像素。
25.根据权利要求23所述的用于视频解码器的视频解码方法，其特征在于，
所述运动信息与变换模型、各向同性模型、仿射模型、抛物线模型或者高阶多项式模型相关。
26.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述使用深度神经网络处理目标信号包括首先对亮度分量进行处理，然后被处理的所述亮度分量被作为用于处理一个或多个色度分量的所述深度神经网络处理的输入或者所述一个或多个色度分量不被所述深度神经网络处理。
27.根据权利要求1所述的用于视频解码器的视频解码方法，其特征在于，
所述使用深度神经网络处理目标信号所使用的位深度取决于所述目标信号的像素的位深度。
28.一种用于用于视频解码器的视频解码装置，其特征在于，所述装置包括一个或多个电子元件或处理器，用于：
接收视频序列中对应于一个或多个图片的视频比特流；
使用解码处理对每个所述图片进行解码，所述解码处理包括以下处理：从所述视频比特流生成重建的残差的残差解码处理，生成与每个所述图片相关的预测信号的预测处理，根据所述重建残差和所述预测信号生成重建图片的重建处理，以及/或者至少一个用于所述重建图片的滤波处理；
使用深度神经网络处理目标信号，其中被提供给深度神经网络输入的所述目标信号对应于所述重建残差，为所述重建处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述预测处理的输出以及所述重建处理的输出，为所述滤波处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述至少一个滤波处理，为所述至少一个滤波处理的下一级滤波处理提供来自深度神经网络输出的输出数据，或为解码图片提供来自深度神经网络输出的输出数据；
其中所述一个或多个图片包括不同的色彩分量，所述使用所述深度神经网络处理所述目标信号包括对不同的所述色彩分量一同处理或者对不同的所述色彩分量分别处理。
29.一种用于视频编码器的视频编码方法，其特征在于，所述方法包括：
接收视频序列中对应于一个或多个图片的输入数据；
使用编码处理对每个所述图片进行编码，所述编码处理包括以下处理：生成与每个所述图片相关的预测信号的预测处理，根据重建残差和所述预测信号生成重建图片的重建处理，以及/或者至少一个用于所述重建图片的滤波处理；
使用深度神经网络处理目标信号，其中被提供给深度神经网络输入的所述目标信号对应于所述重建残差，为所述重建处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述预测处理的输出以及所述重建处理的输出，为所述滤波处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述至少一个滤波处理，为所述至少一个滤波处理的下一级滤波处理提供来自深度神经网络输出的输出数据，或为编码图片提供来自深度神经网络输出的输出数据；
其中所述一个或多个图片包括不同的色彩分量，所述使用所述深度神经网络处理所述目标信号包括对不同的所述色彩分量一同处理或者对不同的所述色彩分量分别处理。
30.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
所述至少一个滤波处理包括去块滤波器、取样自适应偏移、自适应环路滤波器或者其组合。
31.根据权利要求30所述的用于视频编码器的视频编码方法，其特征在于，
提供给所述深度神经网络输入的所述目标信号对应于所述去块滤波器、所述取样自适应偏移或者所述自适应环路滤波器的输出。
32.根据权利要求30所述的用于视频编码器的视频编码方法，其特征在于，
来自所述深度神经网络输出的所述输出数据被作为解码图片或者提供给所述去块滤波器、所述取样自适应偏移或者所述自适应环路滤波器作为输入。
33.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
所述深度神经网络被用于复原所述目标信号的像素值。
34.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
所述深度神经网络被用于预测所述目标信号的一个或多个像素的重建残差有关的符号。
35.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
所述深度神经网络使用包括所述重建残差和预测信号的多个深度神经网络输入，以及所述深度神经网络向所述至少一个滤波处理提供所述重建图片作为所述深度神经网络输出。
36.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
每个图片被划分为块以用于所述编码处理以及所述使用深度神经网络处理目标信号包括使用一个或多个相邻样本来处理所述目标信号的至少一个样本，其中，如果当前块中的所述一个或多个相邻样本中的任何一个在块的边界处不可用，则不可用的所述相邻样本是由使用填充技术生成或者跳过所述使用深度神经网络处理所述目标信号。
37.根据权利要求29所述的用于视频编码器的视频编码方法，其特征在于，
所述目标信号与多个所述图片相关。
38.根据权利要求37所述的用于视频编码器的视频编码方法，其特征在于，
在所述使用深度神经网络处理目标信号之前所述多个图片预先对齐，以及来自所述多个图片的对应的单元的像素基于与所述多个图片的所述对应单元的运动信息对齐。
39.一种用于用于视频编码器的视频编码装置，其特征在于，所述装置包括一个或多个电子元件或处理器，用于：
接收视频序列中对应于一个或多个图片的输入数据；
使用编码处理对每个所述图片进行编码，所述编码处理包括以下处理：生成与每个所述图片相关的预测信号的预测处理，根据重建残差和所述预测信号生成重建图片的重建处理，以及/或者至少一个用于所述重建图片的滤波处理；
使用深度神经网络处理目标信号，其中提供给深度神经网络输入的所述目标信号对应于所述重建残差，为所述重建处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述预测处理的输出以及所述重建处理的输出，为所述滤波处理提供来自深度神经网络输出的输出数据；以及/或者
被提供给所述深度神经网络输入的所述目标信号对应于所述至少一个滤波处理，为所述至少一个滤波处理的下一级滤波处理提供来自深度神经网络输出的输出数据，或为编码图片提供来自深度神经网络输出的输出数据；
其中所述一个或多个图片包括不同的色彩分量，所述使用所述深度神经网络处理所述目标信号包括对不同的所述色彩分量一同处理或者对不同的所述色彩分量分别处理。
CN201680049982.0A 2015-09-03 2016-08-29 基于神经网络的视频编解码处理方法和装置 Active CN107925762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562214121P 2015-09-03 2015-09-03
US62/214121 2015-09-03
PCT/CN2016/097134 WO2017036370A1 (en) 2015-09-03 2016-08-29 Method and apparatus of neural network based processing in video coding

Publications (2)

Publication Number Publication Date
CN107925762A CN107925762A (zh) 2018-04-17
CN107925762B true CN107925762B (zh) 2020-11-27

Family

ID=58186697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680049982.0A Active CN107925762B (zh) 2015-09-03 2016-08-29 基于神经网络的视频编解码处理方法和装置

Country Status (7)

Country Link
US (2) US11196992B2 (zh)
EP (1) EP3342164B1 (zh)
KR (1) KR102124714B1 (zh)
CN (1) CN107925762B (zh)
CA (1) CA2997193C (zh)
PH (1) PH12018500454A1 (zh)
WO (1) WO2017036370A1 (zh)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US10332001B2 (en) 2016-12-15 2019-06-25 WaveOne Inc. Enhanced coding efficiency with progressive representation
WO2018224690A1 (en) * 2017-06-09 2018-12-13 Deepmind Technologies Limited Generating discrete latent representations of input data items
CN109120937B (zh) * 2017-06-26 2020-03-27 杭州海康威视数字技术股份有限公司 一种视频编码方法、解码方法、装置及电子设备
CN109151475B (zh) * 2017-06-27 2020-03-27 杭州海康威视数字技术股份有限公司 一种视频编码方法、解码方法、装置及电子设备
US10986356B2 (en) 2017-07-06 2021-04-20 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019009449A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019009452A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2019009448A1 (ko) 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2019009491A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
EP3567857A1 (en) 2017-07-06 2019-11-13 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
CN107316079A (zh) * 2017-08-08 2017-11-03 珠海习悦信息技术有限公司 终端卷积神经网络的处理方法、装置、存储介质及处理器
US11631199B2 (en) * 2017-08-10 2023-04-18 Sharp Kabushiki Kaisha Image filtering apparatus, image decoding apparatus, and image coding apparatus
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
EP3451670A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with mode-aware deep learning
WO2019072097A1 (en) 2017-10-12 2019-04-18 Mediatek Inc. VIDEO ENCODING METHOD USING NEURAL NETWORK
GB2567861A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
CN108184129B (zh) * 2017-12-11 2020-01-10 北京大学 一种视频编解码方法、装置及用于图像滤波的神经网络
EP3725081A4 (en) * 2017-12-13 2021-08-18 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING OF VIDEO
CN110062226B (zh) * 2018-01-18 2021-06-11 杭州海康威视数字技术股份有限公司 一种视频编码方法、视频解码方法、装置、系统及介质
CN110062225B (zh) * 2018-01-18 2021-06-11 杭州海康威视数字技术股份有限公司 一种图片滤波的方法及装置
US11265540B2 (en) 2018-02-23 2022-03-01 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
WO2019194425A1 (ko) * 2018-04-06 2019-10-10 에스케이텔레콤 주식회사 영상 부호화 또는 복호화에 인공 신경망을 적용하는 장치 및 방법
US20190297603A1 (en) * 2018-03-23 2019-09-26 Samsung Electronics Co., Ltd. Method and apparatus for beam management for multi-stream transmission
US11889070B2 (en) * 2018-03-23 2024-01-30 Sharp Kabushiki Kaisha Image filtering apparatus, image decoding apparatus, and image coding apparatus
US10855986B2 (en) 2018-05-29 2020-12-01 Qualcomm Incorporated Bandwidth compression for neural network systems
US10499081B1 (en) * 2018-06-19 2019-12-03 Sony Interactive Entertainment Inc. Neural network powered codec
CN108924558B (zh) * 2018-06-22 2021-10-22 电子科技大学 一种基于神经网络的视频预测编码方法
WO2020008104A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy A method, an apparatus and a computer program product for image compression
KR20200005403A (ko) 2018-07-05 2020-01-15 (주)인시그널 코덱 단위의 dnn 기반 이미지 또는 비디오 코딩을 위한 시스템 및 방법
TWI703861B (zh) 2018-07-06 2020-09-01 聯發科技股份有限公司 解碼器的視訊解碼方法及裝置
GB2575628A (en) 2018-07-09 2020-01-22 Nokia Technologies Oy Video processing
CN110971915B (zh) * 2018-09-28 2022-07-01 杭州海康威视数字技术股份有限公司 滤波方法和设备
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20200044653A (ko) 2018-10-19 2020-04-29 삼성전자주식회사 딥 뉴럴 네트워크를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080698A1 (ko) 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
CN111107357B (zh) * 2018-10-25 2022-05-31 杭州海康威视数字技术股份有限公司 一种图像处理的方法、装置、系统及存储介质
CN111105357B (zh) * 2018-10-25 2023-05-02 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
KR102622950B1 (ko) * 2018-11-12 2024-01-10 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
US11689726B2 (en) * 2018-12-05 2023-06-27 Google Llc Hybrid motion-compensated neural network with side-information based video coding
KR102006292B1 (ko) 2018-12-07 2019-08-01 한화시스템(주) Fec를 이용한 초협대역 멀티미디어 전송 장치 및 방법, 그리고, fec 파라미터 결정을 위한 dnn 모델 선택 장치
US11282172B2 (en) * 2018-12-11 2022-03-22 Google Llc Guided restoration of video data using neural networks
US11601644B2 (en) * 2018-12-11 2023-03-07 Google Llc Image and video coding using machine learning prediction coding models
KR102192980B1 (ko) * 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR102212442B1 (ko) * 2018-12-13 2021-02-04 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
EP3895431A1 (en) 2018-12-14 2021-10-20 PCMS Holdings, Inc. System and method for procedurally colorizing spatial data
CN109787715B (zh) * 2018-12-18 2021-01-19 中国科学院深圳先进技术研究院 Scma系统的dnn解码方法及解码通信设备
US11599773B2 (en) 2018-12-27 2023-03-07 Micron Technology, Inc. Neural networks and systems for decoding encoded data
US11240492B2 (en) * 2019-01-22 2022-02-01 Apple Inc. Neural network based residual coding and prediction for predictive coding
WO2020154538A1 (en) * 2019-01-23 2020-07-30 Google Llc Generating neural network outputs using insertion operations
WO2020151714A1 (en) * 2019-01-25 2020-07-30 Mediatek Inc. Method and apparatus for non-linear adaptive loop filtering in video coding
WO2020165493A1 (en) * 2019-02-15 2020-08-20 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN113490953A (zh) * 2019-03-14 2021-10-08 Oppo广东移动通信有限公司 预测值的确定方法、解码器以及计算机存储介质
KR20200109904A (ko) 2019-03-15 2020-09-23 (주)인시그널 Dnn 기반 이미지 또는 비디오 코딩을 위한 시스템 및 방법
KR20200075709A (ko) 2019-03-21 2020-06-26 한화시스템 주식회사 Fec를 이용한 초협대역 멀티미디어 전송 방법
KR20200075710A (ko) 2019-03-21 2020-06-26 한화시스템 주식회사 Fec 파라미터 결정을 위한 dnn 모델 선택 장치
KR20210134397A (ko) 2019-03-24 2021-11-09 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 필터링 방법 및 장치, 컴퓨터 저장 매체
KR20200115239A (ko) 2019-03-26 2020-10-07 (주)인시그널 훈련된 심층 신경망의 압축 장치 및 방법
TW202046180A (zh) * 2019-04-23 2020-12-16 美商內數位Ｖｃ控股公司 用於編碼及解碼深度神經網路之低等級及基於位移等級層之架構
CN110163370B (zh) * 2019-05-24 2021-09-17 上海肇观电子科技有限公司 深度神经网络的压缩方法、芯片、电子设备及介质
CN112019854B (zh) * 2019-05-28 2023-01-17 北京大学 基于深度学习神经网络的环路滤波方法
JP7318314B2 (ja) * 2019-05-30 2023-08-01 富士通株式会社 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法
KR102296987B1 (ko) * 2019-06-11 2021-09-02 건국대학교 산학협력단 기계 학습 모델에 기초한 블록 체인을 이용한 hevc 분산형 복호화 방법, 장치 및 시스템
EP3767536A1 (en) * 2019-07-17 2021-01-20 Naver Corporation Latent code for unsupervised domain adaptation
KR102368447B1 (ko) 2019-09-24 2022-02-28 (주)인시그널 동영상 코딩을 위한 훈련된 심층 인공 신경망의 압축 장치 및 방법
KR20210035679A (ko) 2019-09-24 2021-04-01 (주)인시그널 비디오 코딩 도구의 훈련된 심층 인공 신경망의 압축 장치 및 방법
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20220398455A1 (en) * 2019-11-07 2022-12-15 Interdigital Vc Holdings France, Sas Iterative training of neural networks for intra prediction
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11424764B2 (en) 2019-11-13 2022-08-23 Micron Technology, Inc. Recurrent neural networks and systems for decoding encoded data
WO2021101243A1 (en) * 2019-11-20 2021-05-27 Samsung Electronics Co., Ltd. Apparatus and method for using ai metadata related to image quality
KR102524547B1 (ko) * 2019-11-28 2023-04-24 울산과학기술원 무손실 이미지 압축을 위한 데이터 압축 및 복원 장치
CN111160435B (zh) * 2019-12-20 2022-05-27 浙江大学 基于重构残差编码器的荧光光谱有机污染预警方法
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2021170901A1 (en) * 2020-02-24 2021-09-02 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
US11769276B2 (en) 2020-03-05 2023-09-26 Electronics And Telecommunications Research Institute Method, apparatus, and storage medium using padding/trimming in compression neural network
KR20210119046A (ko) 2020-03-24 2021-10-05 (주)인시그널 멀티미디어 콘텐츠의 처리를 위한 훈련된 심층 신경망의 압축 장치 및 방법
KR20210127412A (ko) 2020-04-14 2021-10-22 삼성전자주식회사 Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법
US20210326710A1 (en) * 2020-04-16 2021-10-21 Tencent America LLC Neural network model compression
US11902561B2 (en) * 2020-04-18 2024-02-13 Alibaba Group Holding Limited Convolutional-neutral-network based filter for video coding
KR20210131894A (ko) 2020-04-24 2021-11-03 (주)인시그널 훈련된 심층 신경망의 압축 장치 및 방법
US11388415B2 (en) * 2020-05-12 2022-07-12 Tencent America LLC Substitutional end-to-end video coding
CN115943629A (zh) * 2020-06-04 2023-04-07 交互数字Vc控股法国有限公司 视频编码中基于神经网络的滤波器
CN113784146A (zh) * 2020-06-10 2021-12-10 华为技术有限公司 环路滤波方法和装置
US11611355B2 (en) 2020-06-22 2023-03-21 Tencent America LLC Techniques for parameter set and header design for compressed neural network representation
KR20230034309A (ko) * 2020-07-02 2023-03-09 인터디지탈 패튼 홀딩스, 인크 토폴로지 친화적 표현들을 사용하는 그래프 컨디셔닝된 오토인코더(gcae)를 위한 방법들, 장치 및 시스템들
FR3112661B1 (fr) * 2020-07-17 2024-02-02 Fond B Com Procédés de décodage d’un flux de données, dispositifs et flux de données associés
FR3112662A1 (fr) * 2020-07-17 2022-01-21 Fondation B-Com Procédé et dispositif électronique de décodage d’un flux de données, et flux de données associé
WO2022031115A1 (ko) * 2020-08-06 2022-02-10 현대자동차주식회사 딥러닝 기반 인터 예측을 이용하는 영상 부호화 및 복호화
KR102517449B1 (ko) * 2020-08-27 2023-04-03 한국전자기술연구원 딥러닝 네트워크 모델을 포함하는 멀티미디어 비트스트림 생성방법 및 그 장치
US11582470B2 (en) * 2020-09-03 2023-02-14 Tencent America LLC Method and apparatus for multi-scale neural image compression with intra-prediction residuals
CN114173136A (zh) * 2020-09-10 2022-03-11 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及编码系统
KR20220041404A (ko) 2020-09-25 2022-04-01 (주)인시그널 훈련된 심층 신경망의 압축 장치 및 방법
US20220101095A1 (en) * 2020-09-30 2022-03-31 Lemon Inc. Convolutional neural network-based filter for video coding
US11792438B2 (en) * 2020-10-02 2023-10-17 Lemon Inc. Using neural network filtering in video coding
US11601661B2 (en) * 2020-10-09 2023-03-07 Tencent America LLC Deep loop filter by temporal deformable convolution
US11190760B1 (en) * 2020-10-15 2021-11-30 Tencent America LLC Neural network based coefficient sign prediction
CN114501031B (zh) * 2020-11-13 2023-06-02 华为技术有限公司 一种压缩编码、解压缩方法以及装置
WO2022116085A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及电子设备
US11336789B1 (en) 2020-12-22 2022-05-17 Xerox Corporation Controlling a multi-function device based on a user limit associated with a policy
US11490078B2 (en) 2020-12-29 2022-11-01 Tencent America LLC Method and apparatus for deep neural network based inter-frame prediction in video coding
WO2022177383A1 (ko) * 2021-02-22 2022-08-25 삼성전자 주식회사 Ai 기반의 영상의 부호화 및 복호화 장치, 및 이에 의한 방법
EP4250729A4 (en) 2021-02-22 2024-05-01 Samsung Electronics Co Ltd AI-BASED IMAGE ENCODING AND DECODING APPARATUS AND RELATED METHOD
EP4262207A4 (en) 2021-02-22 2024-03-27 Samsung Electronics Co Ltd IMAGE ENCODING AND DECODING DEVICE USING AI AND IMAGE ENCODING AND DECODING METHOD USING SAID DEVICE
WO2022186620A1 (ko) * 2021-03-04 2022-09-09 현대자동차주식회사 인트라 예측의 예측 신호를 개선하는 비디오 코딩방법 및 장치
US20220337853A1 (en) * 2021-04-07 2022-10-20 Lemon Inc. On Neural Network-Based Filtering for Imaging/Video Coding
US11563449B2 (en) * 2021-04-27 2023-01-24 Micron Technology, Inc. Systems for error reduction of encoded data using neural networks
US11973513B2 (en) 2021-04-27 2024-04-30 Micron Technology, Inc. Decoders and systems for decoding encoded data using neural networks
US20220385907A1 (en) * 2021-05-21 2022-12-01 Qualcomm Incorporated Implicit image and video compression using machine learning systems
CN113438049A (zh) * 2021-05-31 2021-09-24 杭州电子科技大学 一种基于dnn模型分析的汉明码译码方法及系统
US11755408B2 (en) 2021-10-07 2023-09-12 Micron Technology, Inc. Systems for estimating bit error rate (BER) of encoded data using neural networks
CN118176730A (zh) * 2021-11-10 2024-06-11 Oppo广东移动通信有限公司 解码方法、编码方法、解码器、编码器和编解码系统
CN114173130B (zh) * 2021-12-03 2023-02-10 电子科技大学 一种适用于低码率条件的深度神经网络的环路滤波方法
CN116433783A (zh) * 2021-12-31 2023-07-14 中兴通讯股份有限公司 用于视频处理的方法及装置、存储介质及电子装置
WO2023133889A1 (zh) * 2022-01-17 2023-07-20 深圳市大疆创新科技有限公司 图像处理方法、装置、遥控设备、系统及存储介质
CN117412040A (zh) * 2022-07-06 2024-01-16 维沃移动通信有限公司 环路滤波方法、装置及设备
KR20240019638A (ko) * 2022-08-04 2024-02-14 삼성전자주식회사 크로마 성분 예측을 수행하는 ai에 기반한 비디오 복호화 장치 및 방법, 및 비디오 부호화 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068366A (zh) * 2007-06-05 2007-11-07 南京大学 基于h.264多路视频转码复用的方法和复用器
CN104067613A (zh) * 2011-11-08 2014-09-24 株式会社Kt 图像编码方法和装置以及图像解码方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5418895A (en) * 1992-11-25 1995-05-23 Eastman Kodak Company Method for displaying a high quality digital color image on a limited color display
US6678421B1 (en) * 2000-06-09 2004-01-13 Hrl Laboratories, Llc Subband coefficient prediction with pattern recognition techniques
US6947378B2 (en) * 2001-02-28 2005-09-20 Mitsubishi Electric Research Labs, Inc. Dynamic network resource allocation using multimedia content features and traffic features
US7050969B2 (en) * 2001-11-27 2006-05-23 Mitsubishi Electric Research Laboratories, Inc. Distributed speech recognition with codec parameters
US8625676B2 (en) * 2007-06-29 2014-01-07 Pai Kung Limited Liability Company Video bitstream decoding using least square estimates
CA2638465A1 (en) 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
CN101609549B (zh) * 2009-07-24 2011-08-10 河海大学常州校区 视频模糊图像的多尺度几何分析超分辨处理方法
PL2559005T3 (pl) 2010-04-13 2016-01-29 Ge Video Compression Llc Dziedziczenie w tablicy próbki podpodziału drzewa wyższego rzędu
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
DK3297284T3 (da) * 2012-06-11 2019-09-23 Samsung Electronics Co Ltd Indkodning og afkodning af videoer, der deler sao-parametre, ifølge en farvekomponent
KR20150092118A (ko) * 2012-11-30 2015-08-12 소니 주식회사 화상 처리 장치 및 방법
US9177550B2 (en) 2013-03-06 2015-11-03 Microsoft Technology Licensing, Llc Conservatively adapting a deep neural network in a recognition system
US9460525B2 (en) * 2013-04-03 2016-10-04 Vivante Corporation Tile-based compression and decompression for graphic applications
US9451254B2 (en) 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
JP6080077B2 (ja) * 2014-07-15 2017-02-15 パナソニックＩｐマネジメント株式会社 画像符号化方法及び画像符号化装置
KR101626450B1 (ko) * 2015-03-12 2016-06-01 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US10681380B2 (en) * 2015-06-12 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068366A (zh) * 2007-06-05 2007-11-07 南京大学 基于h.264多路视频转码复用的方法和复用器
CN104067613A (zh) * 2011-11-08 2014-09-24 株式会社Kt 图像编码方法和装置以及图像解码方法和装置

Also Published As

Publication number Publication date
EP3342164B1 (en) 2020-04-15
KR20180052651A (ko) 2018-05-18
EP3342164A4 (en) 2019-02-27
US20180249158A1 (en) 2018-08-30
US11589041B2 (en) 2023-02-21
CN107925762A (zh) 2018-04-17
CA2997193C (en) 2021-04-06
KR102124714B1 (ko) 2020-06-19
EP3342164A1 (en) 2018-07-04
CA2997193A1 (en) 2017-03-09
WO2017036370A1 (en) 2017-03-09
PH12018500454A1 (en) 2018-09-10
US11196992B2 (en) 2021-12-07
US20220078418A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN107925762B (zh) 基于神经网络的视频编解码处理方法和装置
US11363302B2 (en) Method and apparatus of neural network for video coding
US11470356B2 (en) Method and apparatus of neural network for video coding
KR20240068078A (ko) 모드-인식 딥 러닝을 갖는 필터링을 위한 방법 및 장치
US20210400311A1 (en) Method and Apparatus of Line Buffer Reduction for Neural Network in Video Coding
TWI779161B (zh) 用於視訊編解碼的分組類神經網路的方法以及裝置
EP3711302B1 (en) Spatially adaptive quantization-aware deblocking filter
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
JP7302097B2 (ja) ループフィルタブロックの柔軟な分割
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
KR102648464B1 (ko) 지도 학습을 이용한 영상 개선 방법 및 장치
CN114430904A (zh) 利用环内子图像级可控噪声生成进行的视频压缩
WO2023134731A1 (en) In-loop neural networks for video coding
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
CN115988201B (zh) 一种编码胶片颗粒的方法、装置、电子设备和存储介质
US20230044532A1 (en) Image processing method and apparatus using neural network based deblocking filtering
EP4388743A1 (en) Generalized difference coder for residual coding in video compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant