CN111294604A - 一种基于深度学习的视频压缩方法 - Google Patents

一种基于深度学习的视频压缩方法 Download PDF

Info

Publication number
CN111294604A
CN111294604A CN202010090527.3A CN202010090527A CN111294604A CN 111294604 A CN111294604 A CN 111294604A CN 202010090527 A CN202010090527 A CN 202010090527A CN 111294604 A CN111294604 A CN 111294604A
Authority
CN
China
Prior art keywords
network
frame
coding
video
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010090527.3A
Other languages
English (en)
Other versions
CN111294604B (zh
Inventor
冯落落
李锐
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN202010090527.3A priority Critical patent/CN111294604B/zh
Publication of CN111294604A publication Critical patent/CN111294604A/zh
Application granted granted Critical
Publication of CN111294604B publication Critical patent/CN111294604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于深度学习的视频压缩方法，属于视频压缩及深度学习领域，本发明要解决的技术问题为如何实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果，采用的技术方案为：该方法是使用由光流网络、运动向量编码网络及运动向量解码网络组成的Spynet运动估计网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果。

Description

一种基于深度学习的视频压缩方法
技术领域
本发明涉及视频压缩及深度学习领域，具体地说是一种基于深度学习的视频压缩方法。
背景技术
如今，视频成为大众进行信息传播的主要媒介。尤其是自媒体的发展，视频数据呈爆发式的增长。在我们国家，监控视频的数据在视频领域中占的比例很大，因此如何对视频进行压缩，并且进行存储，同时实现以更小的存储，获得更好的视频还原效果成为了亟待解决的问题。基于深度学习的视频压缩方法目前已经成为最近研究的主流方向。基于深度学习的视频压缩方法已经成为目前的主流方法的H.264和H.265的有力竞争者。传统的视频压缩框架H.264、H.265采用运动估计、非线性变化、运动补偿、熵编码等算法，但是压缩效果一般。
专利号为CN109951710A的专利文献公开了一种基于深度学习的机坪监控视频压缩方法及系统，包括：一、生成背景图片；二、确定每一帧图像整体的亮度、颜色和灯光整体参数；三、记录航站楼、登机桥的亮灯和关灯两种状态的图片、亮灯时间范围以及建筑位置；四、使用基于区域的卷积神经网络将原始视频中的每一帧图像中的飞机、车辆和人检测出来，并将这些检测到的物体根据算法定位的位置裁剪下来；五、将步骤1至步骤4处理的内容以结点的形式按照处理的顺序依次存入链表；六、解压视频；七、将建筑物图片覆盖到已经渲染好的背景图片中；八、将若干个物体视频从链表中取出，将视频中的每一帧图片根据位置信息覆盖到相应的背景图片中，将这些图片以每秒25帧的速度播放。但是该技术方案如何实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果
发明内容
本发明的技术任务是提供一种基于深度学习的视频压缩方法，来解决如何实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果的问题。
本发明的技术任务是按以下方式实现的，一种基于深度学习的视频压缩方法，该方法是使用由光流网络(optical Flow Net)、运动向量编码网络(MVEncoder Net)及运动向量解码网络(MV Decoder Net)组成的Spynet运动估计网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果。
作为优选，该方法具体如下：
S1、视频拆分成每一帧图片，输入当前帧图片xt和上一帧的重构图片
Figure BDA0002383550840000021
到光流网络(optical Flow Net)，获得当前帧的运动向量vt；
S2、把运动向量vt通过运动向量编码网络(MV Encoder Net)进行编码，获得编码后的结果mt；
S3、对mt进行量化Q得到量化后的结果
Figure BDA0002383550840000022
确保使用熵编码对mt进行存储；
S4、把
Figure BDA0002383550840000023
作为当前帧的所需要存储的内容之一，再把
Figure BDA0002383550840000024
通过运动向量解码网络(MV Decoder Net)或者当前帧xt的重构运动向量
Figure BDA0002383550840000025
S5、把
Figure BDA0002383550840000026
和长一帧的重构图片
Figure BDA0002383550840000027
输入到运动补偿网络(Motion compensationNet)获得当前帧的预测帧
Figure BDA0002383550840000028
S6、使用真实帧xt和预测帧
Figure BDA0002383550840000029
进行相减，获得预测帧不包括的残差信息rt；
S7、使用残差编码网络(Residual encoder net)对残差信息rt进行编码、量化Q、熵编码及存储，再使用残差解码网络(residual decoder net)解码残差信息rt获得残差的重构结果
Figure BDA00023835508400000210
S8、把
Figure BDA00023835508400000211
残差的重构结果和预测帧
Figure BDA00023835508400000212
相加获得最终的重构帧
Figure BDA00023835508400000213
更优地，所述运动补偿网络(Motion compensation Net)是把当前帧的运动向量
Figure BDA00023835508400000214
和上一帧的重构图片
Figure BDA00023835508400000215
进行warping操作后的结果w(xt-1,vt)作为输入得到当前帧的预测帧
Figure BDA00023835508400000216
运动补偿网络(Motion compensation Net)由conv卷积操作、pooling池化操作和Residual残差块组成，conv卷积操作、pooling池化操作和Residual残差块都是深度学习中的一个模块。
更优地，所述编码包括I帧(关键帧)的视频编码和P帧的视频编码；
所述解码包括I帧(关键帧)的视频解码和P帧的视频解码。
更优地，所述I帧的视频编码具体如下：
(1)、对I帧使用帧内压缩，使用深度图像压缩进行实现；其中，在视频中每隔30帧选择一个I帧的效果最佳；
(2)、使用深度图像压缩网络ga进行图像图像处理后，再使用均值量化器Q进行量化处理，最后进行算术熵编码并存储为pickle文件；其中，深度图像压缩网络ga使用一个3层的神经网络，每一层包括一个卷积、一个下采样和一个GDN激活函数。
更优地，所述P帧的视频编码具体如下：
①、对于视频中P帧，把重构的帧和当前帧输入到光流网络(Optical Flow Net)中，使用的光流网络是Spynet进行光流估计；
②、使用编解码器对光流进行编解码，再把量化后的光流编码进行算术熵编码进行存储pickle文件；
③、把光流信息和上一帧的重构图片输入到补偿网络中，得到当前帧的预测图片；
④、通过真实图片和预测图片相减得到残差，对残差进行编码保留；
⑤、把残差输入到残差网络得到编码信息，对编码信息进行量化后使用算术熵编码进行编码并存储为Pickle文件。
更优地，所述I帧(关键帧)的视频解码具体如下：
(Ⅰ)、对于当前帧是I帧的解码，直接对I帧的pickle文件使用算术熵编码进行解码；
(Ⅱ)、解码后的文件进行反量化，使用深度图像解码网络gb获得I帧的重构图；其中，深度图像解码网络gb使用一个三层的神经网络，每一层包括一个反卷积、一个上采样和一个IGDN激活函数。
更优地，所述P帧的视频解码具体如下：
(ⅰ)、对于当前帧是P帧的解码，使用算术熵编码残差信息和运动估计信息分别进行解码获得量化后的残差编码和量化后的光流编码；
(ⅱ)、使用残差解码网络中的2个block块，对量化后的参加编码进行解码获得残差的重构结果；
(ⅲ)、使用深度图像解码网络gb对量化后的光流编码进行解码，解码的结果和上一帧的重构图片一起利用运动补偿网络获得当前帧的预测帧，预测帧和残差直接相加，获得当前帧的重构帧。
本发明的基于深度学习的视频压缩方法具有以下优点：
(一)相比较传统的视频压缩框架H.264、H.265，本发明提出一个全新的视频压缩框架，传统方法运动估计、DCT等算法，本发明使用SpyNet、自编码器网络和残差网络等深度学习方法进行替代，实验证明在视频监控领域，本发明可以以更小的存储，获得更好的视频还原效果；同时可以很好的用于云平台上监控视频的存储；
(二)本发明采用的变换网络是一个残差网络，残差网络包括2个Resblock模块，这个网络可以在层次更深的情况进行网络的训练。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于深度学习的视频压缩方法的流程示意图；
附图2为附图1中运动补偿网络的示意图；
附图3为残差网络的示意图；
附图4为深度图像压缩网络ga的示意图；
附图5为深度图像解码网络gb的示意图；
附图6为I帧的视频编码的流程示意图；
附图7为P帧的视频编码的流程示意图；
附图8为I帧的视频解码的流程示意图；
附图9为P帧的视频解码的流程示意图。
图1中：Current frame表示当前帧；rt表示残差；
Figure BDA0002383550840000041
表示的是当前帧的预测帧；
Figure BDA0002383550840000042
表示当前帧的重构帧；Residual encoder net表示残差编码网络；Residual decoder net表示残差解码网络；Q表示量化器；Optical Flow Net表示光流网络；MV Encoder Net表示运动向量编码网络；MV decoder Net表示运动向量解码网络；Motion compensation net表示运动补偿网络；
Figure BDA0002383550840000043
表示残差的重构结果；Bit Rate Estimation Net表示比特率估计网络；Vt表示当前帧的光流向量；Mt表示当前帧的光流编码；
Figure BDA0002383550840000044
表示量化后的光流编码；
Figure BDA0002383550840000045
表示重构的光流；
Figure BDA0002383550840000046
表示的是前一帧的重构图片。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于深度学习的视频压缩方法作以下详细地说明。
实施例：
本发明的基于深度学习的视频压缩方法,该方法是使用由光流网络(opticalFlow Net)、运动向量编码网络(MV Encoder Net)及运动向量解码网络(MV Decoder Net)组成的Spynet运动估计网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，如附图3所示，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果；如附图1所示，具体如下：
S1、视频拆分成每一帧图片，输入当前帧图片xt和上一帧的重构图片
Figure BDA0002383550840000047
到光流网络(optical Flow Net)，获得当前帧的运动向量vt；
S2、把运动向量vt通过运动向量编码网络(MV Encoder Net)进行编码，获得编码后的结果mt；
S3、对mt进行量化Q得到量化后的结果
Figure BDA0002383550840000051
确保使用熵编码对mt进行存储；
S4、把
Figure BDA0002383550840000052
作为当前帧的所需要存储的内容之一，再把
Figure BDA0002383550840000053
通过运动向量解码网络(MV Decoder Net)或者当前帧xt的重构运动向量
Figure BDA0002383550840000054
S5、把
Figure BDA0002383550840000055
和长一帧的重构图片
Figure BDA0002383550840000056
输入到运动补偿网络(Motion compensationNet)获得当前帧的预测帧
Figure BDA0002383550840000057
S6、使用真实帧xt和预测帧
Figure BDA0002383550840000058
进行相减，获得预测帧不包括的残差信息rt；
S7、使用残差编码网络(Residual encoder net)对残差信息rt进行编码、量化Q、熵编码及存储，再使用残差解码网络(residual decoder net)解码残差信息rt获得残差的重构结果
Figure BDA0002383550840000059
S8、把
Figure BDA00023835508400000510
残差的重构结果和预测帧
Figure BDA00023835508400000511
相加获得最终的重构帧
Figure BDA00023835508400000512
其中，视频的压缩就是把视频分解分一帧一帧图片，然后对每一帧图片进行压缩，只不过这些帧图片时序上和空间上是有关系的，这样就会存在很大的冗余信息，压缩就是减少这些冗余信息的存储，所以每一帧存储的时候都会考虑当前帧和上一帧重构图像的关系即图中的xt和
Figure BDA00023835508400000513
运动补偿网络(Motion compensation Net)是把当前帧的运动向量
Figure BDA00023835508400000514
和上一帧的重构图片
Figure BDA00023835508400000515
进行warping操作后的结果w(xt-1,vt)作为输入得到当前帧的预测帧
Figure BDA00023835508400000516
如附图2所示，运动补偿网络(Motion compensation Net)由conv卷积操作、pooling池化操作和Residual残差块组成，conv卷积操作、pooling池化操作和Residual残差块都是深度学习中的一个模块。
其中，编码包括I帧(关键帧)的视频编码和P帧的视频编码；解码包括I帧(关键帧)的视频解码和P帧的视频解码。
如附图6所示，I帧的视频编码具体如下：
(1)、对I帧使用帧内压缩，使用深度图像压缩进行实现；其中，在视频中每隔30帧选择一个I帧的效果最佳；I帧的选择非常重要，我们可以通过他增加解压速度、防止视频解压的时候产生大的问题；
(2)、使用深度图像压缩网络ga进行图像图像处理后，再使用均值量化器Q进行量化处理，最后进行算术熵编码并存储为pickle文件；其中，如附图4所示，深度图像压缩网络ga使用一个3层的神经网络，每一层包括一个卷积、一个下采样和一个GDN激活函数。GDN是一个激活函数，类似于sigmoid和relu，GDN是tensorflow自带的激活函数，这种激活函数经常用于图像压缩领域。
如附图7所示，P帧的视频编码具体如下：
①、对于视频中P帧，把重构的帧和当前帧输入到光流网络(Optical Flow Net)中，使用的光流网络是Spynet进行光流估计；
②、使用编解码器对光流进行编解码，再把量化后的光流编码进行算术熵编码进行存储pickle文件；
③、把光流信息和上一帧的重构图片输入到补偿网络中，得到当前帧的预测图片
Figure BDA0002383550840000061
④、通过真实图片和预测图片相减得到残差rt，对残差进行编码保留；
⑤、把残差rt输入到残差网络得到编码信息yt，对编码信息yt进行量化后得到
Figure BDA0002383550840000062
使用算术熵编码对
Figure BDA0002383550840000063
进行编码并存储为Pickle文件。
如附图8所示，I帧(关键帧)的视频解码具体如下：
(Ⅰ)、对于当前帧是I帧的解码，直接对I帧的pickle文件使用算术熵编码进行解码；
(Ⅱ)、解码后的文件进行反量化，使用深度图像解码网络gb获得I帧的重构图；其中，如附图5所示，深度图像解码网络gb使用一个三层的神经网络，每一层包括一个反卷积、一个上采样和一个IGDN激活函数。
如附图9所示，P帧的视频解码具体如下：
(ⅰ)、对于当前帧是P帧的解码，使用算术熵编码残差信息和运动估计信息分别进行解码获得量化后的残差编码
Figure BDA0002383550840000064
和量化后的光流编码
Figure BDA0002383550840000065
(ⅱ)、使用残差解码网络中的2个block块，对量化后的参加编码
Figure BDA0002383550840000066
进行解码获得残差的重构结果
Figure BDA0002383550840000067
(ⅲ)、使用深度图像解码网络gb对量化后的光流编码
Figure BDA0002383550840000068
进行解码，解码的结果和上一帧的重构图片一起利用运动补偿网络获得当前帧的预测帧
Figure BDA0002383550840000069
预测帧和残差
Figure BDA00023835508400000610
直接相加，获得当前帧的重构帧
Figure BDA00023835508400000611
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种基于深度学习的视频压缩方法，其特征在于，该方法是使用由光流网络、运动向量编码网络及运动向量解码网络组成的Spynet运动估计网络进行运动估计和运动补偿计算，达到更好的运动估计和运动补偿效果；再使用的残差网络，残差网络包括两个Resblock模块，实现在层次更深的情况进行网络的训练；再使用算术熵编码操作完成编码，并存储为Pickle文件，实现视频的压缩和存储，同时实现以更小的存储，获得更好的视频还原效果。
2.根据权利要求1所述的基于深度学习的视频压缩方法，其特征在于，该方法具体如下：
S1、视频拆分成每一帧图片，输入当前帧图片xt和上一帧的重构图片
Figure FDA0002383550830000011
到光流网络，获得当前帧的运动向量vt；
S2、把运动向量vt通过运动向量编码网络进行编码，获得编码后的结果mt；
S3、对mt进行量化Q得到量化后的结果
Figure FDA0002383550830000012
确保使用熵编码对mt进行存储；
S4、把
Figure FDA0002383550830000013
作为当前帧的所需要存储的内容之一，再把
Figure FDA0002383550830000014
通过运动向量解码网络或者当前帧xt的重构运动向量
Figure FDA0002383550830000015
S5、把
Figure FDA0002383550830000016
和长一帧的重构图片
Figure FDA0002383550830000017
输入到运动补偿网络获得当前帧的预测帧
Figure FDA0002383550830000018
S6、使用真实帧xt和预测帧
Figure FDA0002383550830000019
进行相减，获得预测帧不包括的残差信息rt；
S7、使用残差编码网络对残差信息rt进行编码、量化Q、熵编码及存储，再使用残差解码网络解码残差信息rt获得残差的重构结果
Figure FDA00023835508300000110
S8、把
Figure FDA00023835508300000111
残差的重构结果和预测帧
Figure FDA00023835508300000112
相加获得最终的重构帧
Figure FDA00023835508300000113
3.根据权利要求2所述的基于深度学习的视频压缩方法，其特征在于，所述运动补偿网络是把当前帧的运动向量
Figure FDA00023835508300000114
和上一帧的重构图片
Figure FDA00023835508300000115
进行warping操作后的结果w(xt-1,vt)作为输入得到当前帧的预测帧
Figure FDA00023835508300000116
运动补偿网络由conv卷积操作、pooling池化操作和Residual残差块组成。
4.根据权利要求2或3所述的基于深度学习的视频压缩方法，其特征在于，所述编码包括I帧的视频编码和P帧的视频编码；
所述解码包括I帧的视频解码和P帧的视频解码。
5.根据权利要求4所述的基于深度学习的视频压缩方法，其特征在于，所述I帧的视频编码具体如下：
(1)、对I帧使用帧内压缩，使用深度图像压缩进行实现；其中，在视频中每隔30帧选择一个I帧的效果最佳；
(2)、使用深度图像压缩网络ga进行图像图像处理后，再使用均值量化器Q进行量化处理，最后进行算术熵编码并存储为pickle文件；其中，深度图像压缩网络ga使用一个3层的神经网络，每一层包括一个卷积、一个下采样和一个GDN激活函数。
6.根据权利要求4所述的基于深度学习的视频压缩方法，其特征在于，所述P帧的视频编码具体如下：
①、对于视频中P帧，把重构的帧和当前帧输入到光流网络中，使用的光流网络是Spynet进行光流估计；
②、使用编解码器对光流进行编解码，再把量化后的光流编码进行算术熵编码进行存储pickle文件；
③、把光流信息和上一帧的重构图片输入到补偿网络中，得到当前帧的预测图片；
④、通过真实图片和预测图片相减得到残差，对残差进行编码保留；
⑤、把残差输入到残差网络得到编码信息，对编码信息进行量化后使用算术熵编码进行编码并存储为Pickle文件。
7.根据权利要求4所述的基于深度学习的视频压缩方法，其特征在于，所述I帧的视频解码具体如下：
(Ⅰ)、对于当前帧是I帧的解码，直接对I帧的pickle文件使用算术熵编码进行解码；
(Ⅱ)、解码后的文件进行反量化，使用深度图像解码网络gb获得I帧的重构图；其中，深度图像解码网络gb使用一个三层的神经网络，每一层包括一个反卷积、一个上采样和一个IGDN激活函数。
8.根据权利要求4所述的基于深度学习的视频压缩方法，其特征在于，所述P帧的视频解码具体如下：
(ⅰ)、对于当前帧是P帧的解码，使用算术熵编码残差信息和运动估计信息分别进行解码获得量化后的残差编码和量化后的光流编码；
(ⅱ)、使用残差解码网络中的2个block块，对量化后的参加编码进行解码获得残差的重构结果；
(ⅲ)、使用深度图像解码网络gb对量化后的光流编码进行解码，解码的结果和上一帧的重构图片一起利用运动补偿网络获得当前帧的预测帧，预测帧和残差直接相加，获得当前帧的重构帧。
CN202010090527.3A 2020-02-13 2020-02-13 一种基于深度学习的视频压缩方法 Active CN111294604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010090527.3A CN111294604B (zh) 2020-02-13 2020-02-13 一种基于深度学习的视频压缩方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010090527.3A CN111294604B (zh) 2020-02-13 2020-02-13 一种基于深度学习的视频压缩方法

Publications (2)

Publication Number Publication Date
CN111294604A true CN111294604A (zh) 2020-06-16
CN111294604B CN111294604B (zh) 2022-03-22

Family

ID=71022037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090527.3A Active CN111294604B (zh) 2020-02-13 2020-02-13 一种基于深度学习的视频压缩方法

Country Status (1)

Country Link
CN (1) CN111294604B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置
CN112203093A (zh) * 2020-10-12 2021-01-08 苏州天必佑科技有限公司 一种基于深度神经网络的信号处理方法
CN113298894A (zh) * 2021-05-19 2021-08-24 北京航空航天大学 一种基于深度学习特征空间的视频压缩方法
CN114040207A (zh) * 2021-11-30 2022-02-11 西北大学 一种端到端的视频压缩编码方法
CN116437089A (zh) * 2023-06-08 2023-07-14 北京交通大学 一种基于关键目标的深度视频压缩算法
CN118348941A (zh) * 2024-06-17 2024-07-16 山西管家营法兰锻造股份有限公司 一种高精度法兰的处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314772A1 (en) * 2007-10-31 2012-12-13 Broadcom Corporation Optical flow based motion vector estimation systems and methods
US20180124418A1 (en) * 2016-04-15 2018-05-03 Magic Pony Technology Limited Motion compensation using machine learning
CN110062231A (zh) * 2019-05-05 2019-07-26 济南浪潮高新科技投资发展有限公司 基于多层卷积神经网络的图像压缩方法
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN110753225A (zh) * 2019-11-01 2020-02-04 合肥图鸭信息科技有限公司 一种视频压缩方法、装置及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120314772A1 (en) * 2007-10-31 2012-12-13 Broadcom Corporation Optical flow based motion vector estimation systems and methods
US20180124418A1 (en) * 2016-04-15 2018-05-03 Magic Pony Technology Limited Motion compensation using machine learning
CN110062231A (zh) * 2019-05-05 2019-07-26 济南浪潮高新科技投资发展有限公司 基于多层卷积神经网络的图像压缩方法
CN110677651A (zh) * 2019-09-02 2020-01-10 合肥图鸭信息科技有限公司 一种视频压缩方法
CN110753225A (zh) * 2019-11-01 2020-02-04 合肥图鸭信息科技有限公司 一种视频压缩方法、装置及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANURAG RANJAN; MICHAEL J. BLACK: "Optical Flow Estimation Using a Spatial Pyramid Network", 《 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
李跃: "基于深度学习的帧内预测编码技术研究", 《中国知网》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112053408A (zh) * 2020-09-04 2020-12-08 清华大学 基于深度学习的人脸图像压缩方法及装置
CN112203093A (zh) * 2020-10-12 2021-01-08 苏州天必佑科技有限公司 一种基于深度神经网络的信号处理方法
CN112203093B (zh) * 2020-10-12 2022-07-01 苏州天必佑科技有限公司 一种基于深度神经网络的信号处理方法
CN113298894A (zh) * 2021-05-19 2021-08-24 北京航空航天大学 一种基于深度学习特征空间的视频压缩方法
CN114040207A (zh) * 2021-11-30 2022-02-11 西北大学 一种端到端的视频压缩编码方法
CN116437089A (zh) * 2023-06-08 2023-07-14 北京交通大学 一种基于关键目标的深度视频压缩算法
CN116437089B (zh) * 2023-06-08 2023-09-05 北京交通大学 一种基于关键目标的深度视频压缩方法
CN118348941A (zh) * 2024-06-17 2024-07-16 山西管家营法兰锻造股份有限公司 一种高精度法兰的处理系统

Also Published As

Publication number Publication date
CN111294604B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN111294604B (zh) 一种基于深度学习的视频压缩方法
CN106973293B (zh) 基于视差预测的光场图像编码方法
CN112203093B (zh) 一种基于深度神经网络的信号处理方法
Zhang et al. Implicit neural video compression
KR100791299B1 (ko) 다 계층 기반의 비디오 인코딩 방법 및 장치
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
CN104704826A (zh) 两步量化和编码方法和装置
CN114501013A (zh) 一种可变码率视频压缩方法、系统、装置及存储介质
Akbari et al. Learned multi-resolution variable-rate image compression with octave-based residual blocks
CN114731406A (zh) 编码方法、解码方法和编码装置、解码装置
CN115914654A (zh) 一种用于视频编码的神经网络环路滤波方法及装置
CN116567240A (zh) 基于自适应通道和空间窗口熵模型的图像压缩方法及系统
CN111050170A (zh) 基于gan的图片压缩系统构建方法、压缩系统及方法
CN114157863A (zh) 基于数字视网膜的视频编码方法、系统及存储介质
CN111080729B (zh) 基于Attention机制的训练图片压缩网络的构建方法及系统
CN113068041A (zh) 一种智能仿射运动补偿编码方法
Huang et al. Multi-channel multi-loss deep learning based compression model for color images
Kumar et al. Lossless Video Compression Using Reinforcement Learning in UAV Applications
CN115086670A (zh) 一种面向高清显微视频的低码率编解码方法及系统
Kamble et al. Quadtree partitioning and extended weighted finite automata-based fractal colour video coding
CN111212287A (zh) 一种基于图像插值法的视频压缩方法
JPH09191458A (ja) 動画像圧縮符号化方法及びその装置
US7209591B2 (en) Motion compensation method for video sequence encoding in low bit rate systems
Li et al. Image compression algorithm research based on improved LSTM
WO2024149245A1 (zh) 一种解码、编码方法、装置及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220301

Address after: 11-12 / F, building 3, future venture Plaza, north section of Gangxing Third Road, high tech Zone, Jinan City, Shandong Province, 250100

Applicant after: Shandong new generation Information Industry Technology Research Institute Co.,Ltd.

Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province

Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant