CN111698514A - 一种基于深度学习的多模式分像素插值方法 - Google Patents

一种基于深度学习的多模式分像素插值方法 Download PDF

Info

Publication number
CN111698514A
CN111698514A CN201910184099.8A CN201910184099A CN111698514A CN 111698514 A CN111698514 A CN 111698514A CN 201910184099 A CN201910184099 A CN 201910184099A CN 111698514 A CN111698514 A CN 111698514A
Authority
CN
China
Prior art keywords
pixel
sub
mode
reference block
whole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910184099.8A
Other languages
English (en)
Other versions
CN111698514B (zh
Inventor
刘家瑛
夏思烽
胡越予
郭宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910184099.8A priority Critical patent/CN111698514B/zh
Publication of CN111698514A publication Critical patent/CN111698514A/zh
Application granted granted Critical
Publication of CN111698514B publication Critical patent/CN111698514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种基于深度学习的多模式分像素插值方法，其步骤包括：1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一整像素的残差，计算对应的目标亚像素预测值；2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。

Description

一种基于深度学习的多模式分像素插值方法
技术领域
本发明属于视频编码领域，主要涉及一种帧间运动补偿的分像素插值方法。可以用于提升视频压缩率。
背景技术
在数字视频的使用传播过程中，视频编解码是一项不可或缺的关键技术。视频编解码技术通过对视频进行编码端的编码压缩以及解码端的解码恢复，极大地降低了数字视频在存储和传输过程中的开销，使得数字视频在日常生活得以被普遍使用。其中，运动补偿是视频编解码技术里利用帧间冗余信息提升视频压缩率的一个关键方法。
在运动补偿过程中，编码器会在已编码压缩的视频帧中搜索与当前待编码视频帧块相似的已编码参考块，基于相似的已编码参考块，编码器可以仅编码记录待编码块与参考块之间的残差和参考块的索引信息，而无需再编码完整的待编码块信息，从而减少编码所需存储空间，提升压缩率。然而，由于视频采样的离散化特性，在运动补偿寻找已编码参考块的过程中，当待编码块与参考块之间的运动偏移处于亚像素精度时，在参考帧中将难以找到与待编码块足够相似的参考块。
为此，在运动补偿技术中，分像素插值算法被用于对已编码相邻帧中的参考块进行亚像素级的插值，生成处于不同亚像素精度的分像素块，从而获取更多的参考信息，得到更加相似的参考块以进一步辅助编码压缩。目前编码技术普遍插值出达到1/4像素精度的共15个亚像素级参考块作为额外的帧间参考，整像素与分像素的相对位置关系示意如附图1所示，对于整像素块IA中的每个整像素
Figure BDA0001992267530000013
有对应的3个1/2位像素
Figure BDA0001992267530000011
以及12个1/4位像素
Figure BDA0001992267530000012
目前的编码技术普遍采取手工设计的简单固定的插值滤波器进行插值，这一类插值方法由于采取的插值滤波器简单而固定，往往不能很好地处理多样的视频信号。
受启发于深度神经网络技术在图像处理问题中的成功应用，一些方法在分像素插值算法中引入了深度神经网络，并获得了一定的性能提升。但是，已有的方法仍然在构建深度神经网络时将分像素插值问题建模为传统的插值问题，利用单一位置的整像素预测所有的分像素。即现有方法仍仅仅通过预测分像素与左上角整像素之间的残差来实现对分像素的预测，预测结果不够准确。
发明内容
针对现有技术中存在的技术问题，本发明的目的在于提供一种基于深度学习的多模式分像素插值方法，通过预测分像素与不同位置整像素之间的残差，实现对分像素的多种模式的预测，并将多模式预测的结果提供给编码器选择，从而获取更佳的编码性能。
本发明的技术方案为：
一种基于深度学习的多模式分像素插值方法，其步骤包括：
1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；其中，模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一个整像素的残差，并基于得到的残差得到对应的目标亚像素预测值；
2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一生成的亚像素级参考块和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。
进一步的，训练所述差分预测网络的方法为：
11)获取多个样本图片，对每一样本图片进行隔点采样以及编码重建得到整像素块并对该样本图片进行隔点采样以及模糊得到分像素块，得到该样本图片对应的训练数据；
12)将整像素块送入差分预测网络中，进行差分预测网络的前向计算，获取残差预测值，然后将预测的残差值与所属预测模式对应位置的整像素相加，获取目标分像素；
13)计算步骤12)得到的计算结果与训练数据中的目标分像素块的均方差；
14)将计算的均方差反向传播到差分预测网络各层，以更新各层权值；
15)重复步骤11)-步骤14)直到差分预测网络的均方差收敛。
进一步的，所述模式一包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型；所述模式二包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型。
进一步的，对于1/2分像素插值，每个样本图像对应的训练数据为整像素块和对应的3个1/2分像素块；对于1/4分像素插值，每个样本图像对应的训练数据为整像素块和12个1/4分像素块。
进一步的，所述模式二为：差分预测网络预测目标亚像素与右上角、左下角或右下角整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。
进一步的，所述模式二为：差分预测网络预测目标亚像素与最近邻整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。
本发明通过研究发现，对于部分分像素，其他位置整像素距离其更近，比如附图1中示意的分像素
Figure BDA0001992267530000031
其距离整像素
Figure BDA0001992267530000032
比整像素
Figure BDA0001992267530000033
更近，
Figure BDA0001992267530000034
到
Figure BDA0001992267530000035
的残差可以被更加准确地预测；因此本发明在原有的统一基于左上角整像素预测所有分像素的基础上，为每个分像素额外选取另一个位置的整像素，提供另一组对分像素的预测结果。两组预测结果共同作为亚像素级的帧间参考，提供给编码器使用。
本发明预测过程主要基于一个差分预测网络进行实现，网络将一个已编码的参考块也就是整像素块作为输入，基于预先准备的训练数据学习一组非线性映射参数，并基于此获取对整像素块的亚像素级的预测，得到所需的分像素块。
在此基础上，本发明设计了两种预测模式，两种模式如附图2和图3所示。在两种预测模式中，网络结构和输入保持一致，输入是已编码的整像素参考块，但两种模式会预测输入整像素参考块的对应目标亚像素到整像素参考块的不同位置整像素的残差。在第一种模式中，如附图2所示，网络预测所有目标亚像素到整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，获取15个目标亚像素值；第二种模式对每一个待预测目标亚像素，从它的右上角、左下角以及右下角三个位置的整像素中选取最近邻位置的整像素，预测目标亚像素与选取的整像素的残差，以获取第二种模式的目标亚像素预测值。具体选取的方式如附图3所示。在获取到的两种模式的亚像素预测值的基础上，编码器使用已有插值方法生成的亚像素级参考块以及本发明生成的两组亚像素级参考块对待编码块进行帧间编码，基于实际编码效果，编码器选择最佳参考块，并将对应信息(即获取最佳参考块的方法，包括是使用编码器原始插值方法，还是使用本发明插值方法，以及选取哪种插值模式)存储到码流，以供解码器端使用。
接下来描述本发明方法的主要步骤。
本发明中训练了两种模式下1/2像素位和1/4像素位的共四个分像素插值模型。假设要实现1/N像素位对应模式的分像素插值算法，需要先收集足够多样的图片，经过隔点采样、模糊和编码模拟等步骤生成训练数据，获取一批整像素块和分像素块的图片对。让生成的整像素块流过网络，得到最后预测出的分像素位块，将预测出的分像素位块与生成的训练数据中的分像素块进行均方差的计算，计算结果作为误差值，反向传播到网络各层，更新网络中的权值。以此迭代，直到神经网络模型收敛，具体如下：
步骤1：收集一批图片，对图片进行隔点采样以及编码重建得到整像素块，对图片进行隔点采样以及模糊得到分像素块，构建出训练数据对。
步骤2：将整像素块送入网络中，进行网络的前向计算。网络获取对应的残差预测值后，基于训练模型所属的预测模式，将对应位置的整像素与预测的残差值相加，获取目标分像素。
步骤3：步骤2得到计算结果，与训练数据中的目标分像素块进行均方差的计算。
步骤4：把计算的均方差反向传播到神经网络各层，以更新各层权值，在下次迭代中使得结果更接近目标效果。
步骤5：重复步骤1-步骤4直到神经网络的均方差收敛。
在获取训练完毕的网络模型后，将模型应用到编码器的帧间运动补偿算法中，生成两种模式下的分像素预测值，并通过3遍编码，使编码器分别使用原有插值算法生成的分像素块进行编码，模式1预测的分像素块进行编码以及模式2预测的分像素块进行编码，根据三种编码结果选取最优分像素块，并记录相应的选择结果传给解码器，以保证编解码的匹配。
与现有技术相比，本发明的积极效果为：
通过预测分像素与不同位置整像素之间的残差，实现对分像素的多种模式的预测，并将多模式预测的结果提供给编码器选择，从而获取更佳的编码性能。通过使用本发明生成的分像素，在通测序列上进行测试，对比原编码器的编码结果，在占视频数据主体的亮度分量上，可平均提升2.8％的压缩率，具体提升效果如下：
Figure BDA0001992267530000041
附图说明
图1为整像素与分像素相对位置的示意图；
图2为本发明分像素预测模式1的示意图；
图3为本发明分像素预测模式2的示意图；
图4为本发明生成训练数据的流程示意图。
具体实施方式
为了对本发明的技术方法进一步阐述，下面结合说明书附图和具体实例，对本发明的分像素插值方法进行进一步的详细说明。
本实例将重点详细阐述该技术方法中神经网络的训练过程。假设目前我们已经构建了所需的卷积神经网络模型，并且有N张训练图像{I1,I2,...,IN}作为训练集，训练1/4精度在模式2下的分像素块插值网络。
结合附图本实例方法如下：
一、训练过程：
步骤1：将训练集{I1,I2,...,IN}中的每一张图像Ik进行如图4的训练数据生成。对于整像素块的生成，首先隔点下采样得到初步的整像素块，然后利用编码器进行编码，得到编码重建的结果
Figure BDA0001992267530000051
对于分像素块的生成，首先对图片进行标准差值为区间[0.5,0.6]内随机数的高斯模糊图片(1/2块生成时为0.4到0.5)。对高斯模糊图片再进行隔点采样得到1/4分像素块
Figure BDA0001992267530000052
如此即可获取所需训练数据集
Figure BDA0001992267530000053
后续训练过程会基于训练数据迭代更新网络权值，每次随机选取生成的训练数据对进行网络的训练。
步骤2：以一次迭代为例，假设本次迭代将
Figure BDA0001992267530000054
作为输入，则网络基于现有参数进行前向传播，得到目标分像素块与整像素块之间的残差
Figure BDA0001992267530000055
结合附图1和附图3，在模式2下，最终基于下式得到目标分像素块中每个分像素位置(i,j)的值：
Figure BDA0001992267530000056
Figure BDA0001992267530000061
为网络预测的目标分像素块。
步骤3：利用步骤2预测的分像素块
Figure BDA0001992267530000062
和训练数据中的标签分像素块
Figure BDA0001992267530000063
计算网络预测的均方误差。
步骤4：获得均方误差值之后，反向传播误差值梯度，以训练网络更新网络参数，以降低网络的预测误差。
步骤5:重复步骤2-步骤4直到神经网络收敛，即网络预测值和原始目标值的均方误差不再降低。
二、编码过程：
在训练完成两种模式的1/2和1/4分像素插值网络后，在编码器实际测试中，将搜索到的已编码参考块输入训练完成的两种模式的1/2和1/4分像素插值网络中，获取两种模式的共30个分像素块的插值预测结果，与编码器原本的分像素插值结果一起，交由编码器进行三遍运动补偿的尝试，基于实际运动补偿的结果，选取对应的分像素插值方法。
图1描述了整像素与分像素之间的相对位置，图2和图3总结了本发明的两种分像素预测模式，图4总结了本发明的训练数据生成方法。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于深度学习的多模式分像素插值方法，其步骤包括：
1)差分预测网络对输入的已编码的整像素参考块采用两种模式进行预测，生成两种模式下的分像素预测值；其中，模式一、差分预测网络预测所有目标亚像素到该整像素参考块的左上角整像素的残差，并将左上角整像素与预测残差相加，得到一组目标亚像素值；模式二、差分预测网络预测目标亚像素与该整像素参考块的左上角之外的一个整像素的残差，并基于得到的残差得到对应的目标亚像素预测值；
2)编码器分别使用已有插值方法生成的亚像素级参考块、模式一生成的亚像素级参考块和模式二生成的亚像素级参考块，对待编码块进行帧间编码，然后基于三种编码的编码效果选择最佳亚像素级参考块，并将供解码器端使用的相应信息存储到码流。
2.如权利要求1所述的方法，其特征在于，训练所述差分预测网络的方法为：
11)获取多个样本图片，对每一样本图片进行隔点采样以及编码重建得到整像素块并对该样本图片进行隔点采样以及模糊得到分像素块，得到该样本图片对应的训练数据；
12)将整像素块送入差分预测网络中，进行差分预测网络的前向计算，获取残差预测值，然后将预测的残差值与所属预测模式对应位置的整像素相加，获取目标分像素；
13)计算步骤12)得到的计算结果与训练数据中的目标分像素块的均方差；
14)将计算的均方差反向传播到差分预测网络各层，以更新各层权值；
15)重复步骤11)-步骤14)直到差分预测网络的均方差收敛。
3.如权利要求1或2所述的方法，其特征在于，所述模式一包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型；所述模式二包括1/2像素位的分像素插值模型和1/4像素位的分像素插值模型。
4.如权利要求3所述的方法，其特征在于，对于1/2分像素插值，每个样本图像对应的训练数据为整像素块和对应的3个1/2分像素块；对于1/4分像素插值，每个样本图像对应的训练数据为整像素块和12个1/4分像素块。
5.如权利要求1所述的方法，其特征在于，所述模式二为：差分预测网络预测目标亚像素与右上角、左下角或右下角整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。
6.如权利要求1所述的方法，其特征在于，所述模式二为：差分预测网络预测目标亚像素与最近邻整像素的残差，并基于得到的残差得到对应的目标亚像素预测值。
CN201910184099.8A 2019-03-12 2019-03-12 一种基于深度学习的多模式分像素插值方法 Active CN111698514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184099.8A CN111698514B (zh) 2019-03-12 2019-03-12 一种基于深度学习的多模式分像素插值方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184099.8A CN111698514B (zh) 2019-03-12 2019-03-12 一种基于深度学习的多模式分像素插值方法

Publications (2)

Publication Number Publication Date
CN111698514A true CN111698514A (zh) 2020-09-22
CN111698514B CN111698514B (zh) 2022-04-15

Family

ID=72474658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184099.8A Active CN111698514B (zh) 2019-03-12 2019-03-12 一种基于深度学习的多模式分像素插值方法

Country Status (1)

Country Link
CN (1) CN111698514B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198063A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
CN101212672A (zh) * 2006-12-30 2008-07-02 安凯（广州）软件技术有限公司 视频内容自适应的亚像素插值方法和装置
WO2012065447A1 (zh) * 2010-11-19 2012-05-24 深圳市融创天下科技股份有限公司 一种亚像素插值方法及系统
CN103238331A (zh) * 2010-12-07 2013-08-07 索尼公司 图像处理装置、图像处理方法以及程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198063A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 编解码方法及装置、分像素插值处理方法及装置
CN101212672A (zh) * 2006-12-30 2008-07-02 安凯（广州）软件技术有限公司 视频内容自适应的亚像素插值方法和装置
WO2012065447A1 (zh) * 2010-11-19 2012-05-24 深圳市融创天下科技股份有限公司 一种亚像素插值方法及系统
CN103238331A (zh) * 2010-12-07 2013-08-07 索尼公司 图像处理装置、图像处理方法以及程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
EHAB M. IBRAHIM 等: "Neural Networks Based Fractional Pixel Motion Estimation for HEVC", 《2018 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA (ISM)》 *

Also Published As

Publication number Publication date
CN111698514B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
Wang et al. Wireless deep video semantic transmission
US8503522B2 (en) Video encoding/decoding apparatus and adaptive overlapped block motion compensation method and apparatus employing adaptive weights therefor
CN102075760B (zh) 快速运动估计方法及装置
CN110248190B (zh) 一种基于压缩感知的多层残差系数图像编码方法
CN108924558B (zh) 一种基于神经网络的视频预测编码方法
CN108289224B (zh) 一种视频帧预测方法、装置及自动补偿神经网络
CN102291581B (zh) 支持帧场自适应运动估计的实现方法
CN101632306B (zh) 用于运动补偿预测视频编码和解码的自适应内插方法和系统
CN113362225B (zh) 基于残差递归补偿和特征融合的多描述压缩图像增强方法
JP2009509418A (ja) 時間予測のための分類フィルタリング
CN111711815B (zh) 基于集成学习和概率模型的快速vvc帧内预测方法
CN113132735A (zh) 一种基于视频帧生成的视频编码方法
CN101765011A (zh) 缩放运动估计的方法和装置
CN111898482A (zh) 基于渐进型生成对抗网络的人脸预测方法
CN115689917A (zh) 一种基于深度学习的高效时空超分辨率视频压缩复原方法
CN111310594B (zh) 一种基于残差纠正的视频语义分割方法
CN113810715B (zh) 一种基于空洞卷积神经网络的视频压缩参考图像生成方法
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN113068041B (zh) 一种智能仿射运动补偿编码方法
CN109688411B (zh) 一种视频编码率失真代价估计方法和装置
CN111698514B (zh) 一种基于深度学习的多模式分像素插值方法
CN110706156B (zh) 基于多成分分析和残差补偿的图像融合与超分辨率重建联合实现方法
CN112601095A (zh) 一种视频亮度和色度分数插值模型的创建方法及系统
CN114143536B (zh) 一种shvc空间可伸缩帧的视频编码方法
CN114663802B (zh) 基于特征时空约束的监控视频跨模态视频迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant