CN113473145B - 一种视频压缩方法、视频解压方法、智能终端及存储介质 - Google Patents

一种视频压缩方法、视频解压方法、智能终端及存储介质 Download PDF

Info

Publication number
CN113473145B
CN113473145B CN202010244040.6A CN202010244040A CN113473145B CN 113473145 B CN113473145 B CN 113473145B CN 202010244040 A CN202010244040 A CN 202010244040A CN 113473145 B CN113473145 B CN 113473145B
Authority
CN
China
Prior art keywords
frame
backward
video
motion compensation
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010244040.6A
Other languages
English (en)
Other versions
CN113473145A (zh
Inventor
樊顺利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010244040.6A priority Critical patent/CN113473145B/zh
Priority to PCT/CN2020/125529 priority patent/WO2021196582A1/zh
Publication of CN113473145A publication Critical patent/CN113473145A/zh
Application granted granted Critical
Publication of CN113473145B publication Critical patent/CN113473145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频压缩方法、视频解压方法、智能终端及存储介质。所述视频压缩方法中，包括：获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧；获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧；对所述前向帧和所述后向帧进行编码；根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。所述视频解压方法中，包括：获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；对所述前向帧和所述后向帧进行解码；根据解码后的所述前向帧和所述后向帧对所述B帧进行解码。本发明可以提高B帧编码和解码的效果。

Description

一种视频压缩方法、视频解压方法、智能终端及存储介质
技术领域
本发明涉及计算机数据处理技术领域，尤其涉及一种视频压缩方法、视频解压方法、智能终端及存储介质。
背景技术
B帧又称双向预测帧，编解码时需要前向帧和后向帧，是视频压缩中压缩率最大的部分，可以有效地降低视频的编码码率。当把一帧压缩成B帧时，它根据相邻的前一帧、本帧以及后一帧数据的不同点来压缩本帧，也即仅记录本帧与前后帧的差值。只有采用视频压缩才能达到200：1的高压缩。一般地，I帧压缩效率最低，P帧较高，B帧最高。
目前的B帧编解码，主要是指传统视频编解码中的B帧编解码，传统B帧编解码需要大量精细的人工算法设计，导致B帧编解码的编码效果不好，B帧编解码流程复杂。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种视频压缩方法、视频解压方法、智能终端及存储介质，旨在解决现有技术中B帧编解码的效果不好，B帧编解码流程复杂的问题。
为实现上述目的，本发明提供一种视频压缩方法，所述视频压缩方法包括如下步骤：
获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧；
获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧；
对所述前向帧和所述后向帧进行编码；
根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。
可选地，所述的视频压缩方法，其中，所述前向帧为I帧或者P帧；所述后向帧为I帧或者P帧。
可选地，所述的视频压缩方法，其中，所述根据所述画面组获取B帧原始帧的前向帧和后向帧，之后还包括：
通过空间金字塔网络计算所述前向帧的正向光流和反向光流；
通过空间金字塔网络计算所述后向帧的正向光流和反向光流。
可选地，所述的视频压缩方法，其中，所述通过空间金字塔网络计算所述前向帧的正向光流和反向光流，通过空间金字塔网络计算所述后向帧的正向光流和反向光流，之后还包括：
当光流计算完成后，对所述前向帧和所述后向帧进行空间移动操作，分别得到空间移动操作后的前向帧和后向帧。
可选地，所述的视频压缩方法，其中，所述对所述前向帧和所述后向帧进行编码，具体包括：
对经所述空间移动操作后的前向帧和后向帧进行编码。
可选地，所述的视频压缩方法，其中，所述将所述B帧原始帧通过运动补偿网络进行运动补偿，具体包括：
将所述B帧原始帧通过运动补偿网络进行运动补偿，输出一个运动补偿图片。
可选地，所述的视频压缩方法，其中，所述将所述B帧原始帧通过运动补偿网络进行运动补偿，之后还包括：
当所述B帧原始帧完成运动补偿后，根据运动补偿结果计算运动补偿的视频帧和原始帧之间的残差。
可选地，所述的视频压缩方法，其中，所述重构B帧，具体包括：
获取所述残差，根据所述残差和所述运动补偿结果计算得到重构的B帧。
可选地，所述的视频压缩方法，其中，采用图片压缩算法对所述I帧进行编码，采用分布式视频编码算法对所述P帧进行编码。
另外，为实现上述目的，本发明提供一种视频解压方法，所述视频解压方法包括：
获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；
对所述前向帧和所述后向帧进行解码；
根据解码后的所述前向帧和所述后向帧对所述B帧进行解码；其中所述B帧为基于所述的视频压缩方法得到的编码后的B帧。
可选地，所述的视频解压方法，其中，所述前向帧为I帧或者P帧；所述后向帧为I帧或者P帧。
可选地，所述的视频解压方法，其中，采用图片压缩算法对所述I帧进行解码，采用分布式视频编码算法对所述P帧进行解码。
此外，为实现上述目的，本发明还提供一种智能终端，其中，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频压缩程序或者视频解压程序，所述视频压缩程序被所述处理器执行时实现如上所述的视频压缩方法的步骤或者所述视频解压程序被所述处理器执行时实现如上所述的视频解压方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，其中，所述存储介质存储有视频压缩程序或者视频解压程序，所述视频压缩程序被处理器执行时实现如上所述的视频压缩方法的步骤或者所述视频解压程序被处理器执行时实现如上所述的视频解压方法的步骤。
本发明中，所述视频压缩方法中，包括：获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧；获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧；对所述前向帧和所述后向帧进行编码；根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。所述视频解压方法中，包括：获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；对所述前向帧和所述后向帧进行解码；根据解码后的所述前向帧和所述后向帧对所述B帧进行解码。本发明基于深度学习的B帧进行编码和解码，可以提高B帧编码和解码的效果，并简化B帧编码和解码的流程。
附图说明
图1是本发明视频压缩方法的较佳实施例的流程图；
图2是本发明视频解压方法的较佳实施例的流程图；
图3是本发明视频压缩方法的较佳实施例中视频编解码中的一个GOP的示意图；
图4是本发明视频压缩方法的较佳实施例中B帧原图的示意图；
图5是本发明视频压缩方法的较佳实施例中B帧运动补偿结果的示意图；
图6是本发明视频压缩方法的较佳实施例中B帧原图与运动补偿的残差结果的示意图；
图7是本发明视频压缩方法的较佳实施例中B帧重构结果的示意图；
图8是本发明视频压缩方法的较佳实施例中B帧编解码流程示意图；
图9是本发明视频压缩方法的较佳实施例中运动补偿网络结构的原理示意图；
图10为本发明智能终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的视频压缩方法，如图1和图8所示，所述视频压缩方法包括以下步骤：
步骤S11、获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧。
具体地，根据预先的设定，获取视频的一个GOP(group of pictures，画面组，一个GOP就是一组连续的画面)，如图3所示，表示一个GOP就是一组连续的画面；MPEG(MovingPicture Experts Group，动态图像专家组)编码将画面(即帧)分为I、P、B三种，I是内部编码帧，P是前向预测帧，B是双向内插帧。
图3中，横坐标表示帧号，纵坐标表示编码大小，横坐标依次表示第1帧-第13帧，例如I1表示每个GOP里的第1个I帧(主帧)，B1表示每个GOP里的第1个B帧，P1表示每个GOP里的第1个P帧，以此类推，所述In表示GOP里的第n个I帧，Bn表示每个GOP里的第n个B帧，Pn表示每个GOP里的第n个P帧，其中，n为自然数。
根据所述画面组获取B帧原始帧的前向帧(I帧或者P帧，也就是说前向帧可以为I帧或者P帧)和后向帧(I帧或者P帧，也就是说后向帧可以为I帧或者P帧)，将所述前向帧和所述后向帧分别标记为和/>
步骤S12、获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧。
具体地，获取当前需要进行编码的B帧原始帧(如图4所示)，并标记为ft，运动补偿结果(即所述B帧原始帧经过运动补偿网络进行运动补偿后的结果)标记为(如图5所示)，重构的B帧标记为/>(如图7所示)。
本发明中，spyNet(空间金字塔网络)是通过将经典的空间金字塔方法与深度学习结合来计算光流的模型，与纯深度学习方法FlowNet计算光流方法不同的是，spyNet不需要处理较大的motions(运动)，这些都是金字塔来处理，这样spyNet有如下三个优势：
(1)在模型参数方面，spyNet更小更简单，仅为FlowNet的4％，更有利于嵌入式开发；
(2)因为金字塔每层要处理的motions很小，对一组变形后的图片使用卷积的方法是有效的；
(3)与FlowNet不同的是，spyNet网络学习到的过滤器与经典的时空过滤器非常相似，这有助于模型的优化。
总之，spyNet在标准的数据集上的准确率和速度都优于FlowNet，证明将经典的光流方法和深度学习结合是个很好的趋势。
进一步地，通过空间金字塔网络spyNet计算和/>的正向光流和反向光流(光流是有大小和方向的，如果定义帧1到帧2的光流为正向光流，那么帧2到帧1的可以认为反向光流)；正向光流和反向光流计算如下：
其中，为正向光流，/>为反向光流。
设定运动在极短的时间内是均匀的，则时间轴靠左的B帧(比如B1)的双向光流分别为时间轴靠右的B帧(比如B2)的双向光流分别为/>这样预测B帧时不需要对光流进行编解码，可以有效地节省传输码流。
当光流计算完成后，还需要对和/>进行空间移动的warp操作(根据光流对像素进行空间上的移动)，分别得到/>(即第一操作结果)和/>(即第二操作结果)；其中，w表示帧进行warp操作后的结果，t表示当前帧，t-1表示前一帧，t+1表示后一帧。
时间轴靠左和靠右的B帧的warp操作结果为 和
将所述B帧原始帧通过运动补偿网络(如图9所示)进行运动补偿；其中，图9中的Conv(3，64，1)表示卷积核(卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核)大小为3，输出通道为64，步长为1，Conv Relu LeaklyRelu都是深度学习中的操作，skip表示跳跃连接；将所述B帧原始帧通过运动补偿网络进行运动补偿，输出一个运动补偿图片，具体地，所述运动补偿网络输入的通道数为16，两条分支处理后，将特征进行通道连接，输出一个三通道的运动补偿图片。一个运动补偿实例可参考图5。
当运动补偿完成后，计算运动补偿的视频帧和原始帧之间的残差，残差在数理统计中是指实际观察值与估计值(拟合值)之间的差，残差计算如下：
其中，表示残差；残差的编码特征记为r′t；残差编解码网络(残差编解码网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率)采用含有GDN/IGDN的Encoder-decoder(编码解码)网络结构。残差的编码特征记为r′t。一个残差实例可参考图6。
量化操作在训练时对编码后的特征加上均匀噪声，在测试(或推理)时，采用最近邻取整操作(rounding)进行取整。
解码后的残差记为一个B帧重构实例可参考图7。
B帧重构为：
熵编码：在训练阶段通过卷积神经网络(CNN，Convolutional Neural Networks，是计算机视觉领域常用的一种深度学习模型，卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类)进行分布估计，在推理阶段，用训练得到的熵估计模型计算概率，并利用计算得到的概率进行区间编码。
损失函数(loss function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
损失函数(所述损失函数用来计算重构图与原图残差绝对值小于某一个阈值的像素点)计算公式为：
其中，loss表示损失，α为0.01，H(*)代表编码表示的比特数；
D(*)表示如下：
其中，th表示阈值，th取0.008，x表示像素值；
在重构图与原图残差绝对值小于th的像素点，损失采用0.5x2计算，其余的位置采用|x|-0.5计算损失。
步骤S13、对所述前向帧和所述后向帧进行编码。
其中，编码和解码指的是对视频(例如数字视频)进行压缩和解压缩的过程，例如编码是信息从一种形式或格式转换为另一种形式的过程也称为计算机编程语言的代码简称编码，用预先规定的方法将文字、数字或其它对象编成数码，或将信息、数据转换成规定的电脉冲信号，编码在电子计算机、电视、遥控和通讯等方面广泛使用；也就是说编码是信息从一种形式或格式转换为另一种形式的过程。解码是编码的逆过程。
所述前向帧和所述后向帧为I帧或者P帧，本发明中，采用图片压缩算法对所述I帧进行编码，采用分布式视频编码算法(DVC算法)对所述P帧进行编码。
具体地，先对I帧(主帧)进行编码，可以采用任何一种图片压缩算法；然后对P帧进行编码，P帧的编码可以采用DVC算法(分布式视频编码算法，采用独立编码、联合解码，将复杂的运动估计从编码端转移到解码端，很大程度上简化了编码器的复杂度)。
步骤S14、根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。
具体地，对所述前向帧和所述后向帧进行编码后，根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码，例如，根据I帧和P帧对B帧进行编码。后续的帧依照此顺序进行编码。
另外，本发明较佳实施例所述的视频解压方法，如图2所示，所述视频解压方法包括以下步骤：
步骤S21、获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；
步骤S22、对所述前向帧和所述后向帧进行解码；
步骤S23、根据解码后的所述前向帧和所述后向帧对所述B帧进行解码；其中所述B帧为基于所述的视频压缩方法得到的编码后的B帧。
本发明中的视频解压方法和视频压缩方法是一个对应的过程，视频编码后再进行解码，解码是编码的逆过程。
具体地如图8所示，获取编码后的B帧原始帧ft，所述B帧原始帧经过运动补偿网络进行运动补偿后的结果为重构的B帧为/>根据所述画面组获取B帧原始帧的前向帧/>和后向帧/>对所述前向帧/>和所述后向帧/>进行解码，根据解码后的所述前向帧和所述后向帧/>对所述B帧进行解码，完成B帧的解码过程。
其中，所述前向帧和所述后向帧为I帧或者P帧，本发明中，采用图片压缩算法对所述I帧进行解码(与编码的方式相同)，采用分布式视频编码算法(DVC算法)对所述P帧进行解码(与编码的方式相同)。
具体地，先对I帧(主帧)进行解码，可以采用任何一种图片解压算法；然后对P帧进行解码，P帧的解码可以采用DVC算法(分布式视频解码算法，采用独立解码、联合解码)。
本发明基于深度学习进行B帧编码和解码，简化了编码和解码流程，节省视频编码和解码码流。
进一步地，如图10所示，基于上述视频压缩方法，本发明还相应提供了一种智能终端，所述智能终端包括处理器10、存储器20及显示器30。图10仅示出了智能终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能终端的内部存储单元，例如智能终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能终端的外部存储设备，例如所述智能终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述智能终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能终端的应用软件及各类数据，例如所述安装智能终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有视频压缩程序或者视频解压程序40，该视频压缩程序或者视频解压程序40可被处理器10所执行，从而实现本申请中视频压缩方法或者或者视频解压方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述视频压缩方法或者或者视频解压方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述智能终端的信息以及用于显示可视化的用户界面。所述智能终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中视频压缩程序40时实现以下步骤：
获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧；
获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧；
对所述前向帧和所述后向帧进行编码；
根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。
所述前向帧为I帧或者P帧；所述后向帧为I帧或者P帧。
所述根据所述画面组获取B帧原始帧的前向帧和后向帧，之后还包括：
通过空间金字塔网络计算所述前向帧的正向光流和反向光流；
通过空间金字塔网络计算所述后向帧的正向光流和反向光流。
所述通过空间金字塔网络计算所述前向帧的正向光流和反向光流，通过空间金字塔网络计算所述后向帧的正向光流和反向光流，之后还包括：
当光流计算完成后，对所述前向帧和所述后向帧进行空间移动操作，分别得到空间移动操作后的前向帧和后向帧。
所述对所述前向帧和所述后向帧进行编码，具体包括：
对经所述空间移动操作后的前向帧和后向帧进行编码。
所述将所述B帧原始帧通过运动补偿网络进行运动补偿，具体包括：
将所述B帧原始帧通过运动补偿网络进行运动补偿，输出一个运动补偿图片。
所述将所述B帧原始帧通过运动补偿网络进行运动补偿，之后还包括：
当所述B帧原始帧完成运动补偿后，根据运动补偿结果计算运动补偿的视频帧和原始帧之间的残差。
所述重构B帧，具体包括：
获取所述残差，根据所述残差和所述运动补偿结果计算得到重构的B帧。
采用图片压缩算法对所述I帧进行编码，采用分布式视频编码算法对所述P帧进行编码。
或者在另一实施例中，当处理器10执行所述存储器20中视频解压程序40时实现以下步骤：
获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；
对所述前向帧和所述后向帧进行解码；
根据解码后的所述前向帧和所述后向帧对所述B帧进行解码；其中所述B帧为基于所述的视频压缩方法得到的编码后的B帧。
所述前向帧为I帧或者P帧；所述后向帧为I帧或者P帧。
采用图片压缩算法对所述I帧进行解码，采用分布式视频编码算法对所述P帧进行解码。
本发明还提供一种存储介质，其中，所述存储介质存储有视频压缩程序或者视频解压程序，所述视频压缩程序或者视频解压程序被处理器执行时实现如上所述的视频压缩方法或者视频解压方法的步骤。
综上所述，本发明提供一种视频压缩方法、视频解压方法、智能终端及存储介质，所述视频压缩方法中，包括：获取视频的一个画面组，根据所述画面组获取B帧原始帧的前向帧和后向帧；获取所述B帧原始帧，将所述B帧原始帧通过运动补偿网络进行运动补偿，重构B帧；对所述前向帧和所述后向帧进行编码；根据编码后的所述前向帧和所述后向帧对重构后的B帧进行编码。所述视频解压方法中，包括：获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧及所述B帧的前向帧和后向帧；对所述前向帧和所述后向帧进行解码；根据解码后的所述前向帧和所述后向帧对所述B帧进行解码。本发明基于深度学习的B帧进行编码和解码，可以提高B帧编码和解码的效果，并简化B帧编码和解码的流程。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种视频压缩方法，其特征在于，所述视频压缩方法包括：
获取视频的一个画面组，根据所述画面组获取B帧原始帧；
获取所述B帧原始帧的前向帧和后向帧，将所述前向帧和所述后向帧通过运动补偿网络进行运动补偿，得到运动补偿结果，并将所述运动补偿结果与所述B帧原始帧进行残差计算，得到所述B帧原始帧对应的残差；
所述获取所述B帧原始帧的前向帧和后向帧，之后还包括：
将所述前向帧和所述后向帧输入至空间金字塔网络；
通过空间金字塔网络计算所述前向帧的正向光流和反向光流；
通过空间金字塔网络计算所述后向帧的正向光流和反向光流；
所述通过空间金字塔网络计算所述前向帧的正向光流和反向光流，通过空间金字塔网络计算所述后向帧的正向光流和反向光流，之后还包括：
当光流计算完成后，对所述前向帧和所述后向帧进行空间移动操作，分别得到空间移动操作后的前向帧和后向帧；
所述将所述前向帧和所述后向帧通过运动补偿网络进行运动补偿，得到运动补偿结果，并将所述运动补偿结果与所述B帧原始帧进行残差计算，得到所述B帧原始帧对应的残差，具体包括：
将所述空间移动操作后的前向帧和后向帧通过运动补偿网络进行运动补偿，输出一个运动补偿结果；
将所述B帧原始帧与所述运动补偿结果输入至残差编码网络进行残差计算，得到所述B帧原始帧对应的残差；
对所述B帧原始帧的前向帧和后向帧进行编码；
对所述B帧原始帧对应的残差进行编码。
2.根据权利要求1所述的视频压缩方法，其特征在于，所述前向帧为I帧或者P帧；所述后向帧为I帧或者P帧。
3.根据权利要求2所述的视频压缩方法，其特征在于，采用图片压缩算法对所述I帧进行编码，采用分布式视频编码算法对所述P帧进行编码。
4.一种视频解压方法，其特征在于，所述视频解压方法包括：
获取视频中经编码压缩的一个画面组，所述画面组包括编码后的B帧原始帧及所述B帧原始帧的前向帧和后向帧；
对所述前向帧和所述后向帧进行解码；
获取编码后的所述B帧原始帧对应的残差，并根据解码后的前向帧和后向帧对所述B帧原始帧对应的残差进行解码，得到重构B帧；其中所述B帧原始帧对应的残差为基于权利要求1-2任意一项所述的视频压缩方法得到。
5.根据权利要求4所述的视频解压方法，其特征在于，采用图片解压算法对I帧进行解码，采用分布式视频解码算法对P帧进行解码。
6.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频压缩程序或者视频解压程序，所述视频压缩程序被所述处理器执行时实现如权利要求1-3任一项所述的视频压缩方法的步骤或者所述视频解压程序被所述处理器执行时实现如权利要求4-5任一项所述的视频解压方法的步骤。
7.一种存储介质，其特征在于，所述存储介质存储有视频压缩程序或者视频解压程序，所述视频压缩程序被处理器执行时实现如权利要求1-3任一项所述的视频压缩方法的步骤或者所述视频解压程序被处理器执行时实现如权利要求4-5任一项所述的视频解压方法的步骤。
CN202010244040.6A 2020-03-31 2020-03-31 一种视频压缩方法、视频解压方法、智能终端及存储介质 Active CN113473145B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010244040.6A CN113473145B (zh) 2020-03-31 2020-03-31 一种视频压缩方法、视频解压方法、智能终端及存储介质
PCT/CN2020/125529 WO2021196582A1 (zh) 2020-03-31 2020-10-30 一种视频压缩方法、视频解压方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010244040.6A CN113473145B (zh) 2020-03-31 2020-03-31 一种视频压缩方法、视频解压方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN113473145A CN113473145A (zh) 2021-10-01
CN113473145B true CN113473145B (zh) 2024-05-31

Family

ID=77865616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010244040.6A Active CN113473145B (zh) 2020-03-31 2020-03-31 一种视频压缩方法、视频解压方法、智能终端及存储介质

Country Status (2)

Country Link
CN (1) CN113473145B (zh)
WO (1) WO2021196582A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
WO2019168765A1 (en) * 2018-02-27 2019-09-06 Portland State University Context-aware synthesis for video frame interpolation
CN110572677A (zh) * 2019-09-27 2019-12-13 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
WO2020053383A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vector predictors
WO2020053329A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vectors
CN110913219A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054882B2 (en) * 2005-05-13 2011-11-08 Streaming Networks (Pvt.) Ltd. Method and system for providing bi-directionally predicted video coding
US20080260023A1 (en) * 2007-04-18 2008-10-23 Chih-Ta Star Sung Digital video encoding and decoding with refernecing frame buffer compression
US11284107B2 (en) * 2017-08-22 2022-03-22 Google Llc Co-located reference frame interpolation using optical flow estimation
JP6905093B2 (ja) * 2017-08-22 2021-07-21 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 映像コーディングにおける動き補償予測のオプティカルフロー推定
US10659788B2 (en) * 2017-11-20 2020-05-19 Google Llc Block-based optical flow estimation for motion compensated prediction in video coding
CN108320020A (zh) * 2018-02-07 2018-07-24 深圳市唯特视科技有限公司 一种基于双向光流的端到端无监督学习方法
US20190297326A1 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Video prediction using spatially displaced convolution
CN109151476B (zh) * 2018-09-21 2020-08-25 北京大学 一种基于双向预测的b帧图像的参考帧生成方法及装置
CN110913218A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168765A1 (en) * 2018-02-27 2019-09-06 Portland State University Context-aware synthesis for video frame interpolation
WO2020053383A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vector predictors
WO2020053329A1 (en) * 2018-09-14 2020-03-19 Koninklijke Kpn N.V. Video coding based on global motion compensated motion vectors
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN109922231A (zh) * 2019-02-01 2019-06-21 重庆爱奇艺智能科技有限公司 一种用于生成视频的插帧图像的方法和装置
CN110572677A (zh) * 2019-09-27 2019-12-13 腾讯科技（深圳）有限公司 视频编解码方法和装置、存储介质及电子装置
CN110913219A (zh) * 2019-11-29 2020-03-24 合肥图鸭信息科技有限公司 一种视频帧预测方法、装置及终端设备

Also Published As

Publication number Publication date
WO2021196582A1 (zh) 2021-10-07
CN113473145A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
Wu et al. Video compression through image interpolation
US10623775B1 (en) End-to-end video and image compression
US9699458B2 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP4700491B2 (ja) 適応係数スキャン順序付け
US10616583B2 (en) Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information
CN103141097B (zh) 优化的去块滤波器
JP2009535983A (ja) 符号化／圧縮と復号／伸張との間の計算複雑度の調整可能な分配を提供するロバストで効率的な圧縮／伸張
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN111901596B (zh) 基于深度学习的视频混合编码与解码方法及装置、介质
Le et al. Mobilecodec: neural inter-frame video compression on mobile devices
CN112422989B (zh) 一种视频编码方法
CN111669588B (zh) 一种超低时延的超高清视频压缩编解码方法
Xiang et al. Mimt: Masked image modeling transformer for video compression
US20150103916A1 (en) Method and apparatus for displacement vector component transformation in video coding and decoding
CN113747242B (zh) 图像处理方法、装置、电子设备及存储介质
CN115956363A (zh) 用于后滤波的内容自适应在线训练方法及装置
US20060133491A1 (en) Video codec
Yadav et al. Flow-MotionNet: A neural network based video compression architecture
CN113473145B (zh) 一种视频压缩方法、视频解压方法、智能终端及存储介质
CN113709483B (zh) 一种插值滤波器系数自适应生成方法及装置
CN115442618A (zh) 基于神经网络的时域-空域自适应视频压缩
EP4107952A1 (en) Block-wise content-adaptive online training in neural image compression with post filtering
CN114189684A (zh) 一种基于jnd算法的视频编码方法、装置、介质及计算设备
TWI514851B (zh) 影像編碼／解碼系統與其方法
CN101217667B (zh) 四分之一像素插值方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant