CN110650339A - 一种视频压缩方法、装置及终端设备 - Google Patents

一种视频压缩方法、装置及终端设备 Download PDF

Info

Publication number
CN110650339A
CN110650339A CN201910727889.6A CN201910727889A CN110650339A CN 110650339 A CN110650339 A CN 110650339A CN 201910727889 A CN201910727889 A CN 201910727889A CN 110650339 A CN110650339 A CN 110650339A
Authority
CN
China
Prior art keywords
frame
compression
reconstruction
network corresponding
mth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910727889.6A
Other languages
English (en)
Inventor
周雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Map Duck Mdt Infotech Ltd
Original Assignee
Hefei Map Duck Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Map Duck Mdt Infotech Ltd filed Critical Hefei Map Duck Mdt Infotech Ltd
Priority to CN201910727889.6A priority Critical patent/CN110650339A/zh
Priority to PCT/CN2019/114953 priority patent/WO2021022686A1/zh
Publication of CN110650339A publication Critical patent/CN110650339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明适用于视频压缩技术领域，提供了一种视频压缩方法、装置、终端设备及计算机存储介质，视频压缩方法包括：将待压缩视频表示为一个包含N帧的帧序列；分别对帧序列中的每一帧构建对应的压缩网络；根据第m‑1帧重构帧训练第m帧对应的压缩网络，并根据训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储第m帧对应的压缩网络的权重参数；将存储的每一帧对应的压缩网络的权重参数按帧序列的顺序构成压缩视频。本发明构建了一个比现有视频压缩框架更简洁的新的视频压缩框架：先构建每一帧对应的压缩网络，接着通过前一帧的重构帧训练下一帧的压缩网络并对下一帧进行重构。通过对视频的先验信息进行学习，从而提高了视频压缩性能。

Description

一种视频压缩方法、装置及终端设备
技术领域
本发明属于视频压缩技术领域，尤其涉及一种视频压缩方法、装置及终端设备。
背景技术
随着多媒体信息技术的不断发展，视频信息大量涌现。视频数据作为一种表达信息的综合媒体，已成为我们现实生活中一个重要的信息载体。随着监控采像设备的日益普及，产生了海量的视频数据，视频存储是视频监控系统应用中非常重要的一个环节。海量的视频数据通常需要进行长时间的存储，才能为日后的视频录像资料检索、回放等提供服务。
最常见的存储视频数据的方法是简单地对全时段的视频原始资料进行存储。这种方式保存了大量背景信息，即保存的信息中存在很大冗余，耗费了庞大的存储成本，难以保存长时期的视频记录。因此必须将视频原始资料进行压缩存储，缩小存储空间，延长存储时效。但随着视频压缩技术的发展，出现了很多视频压缩的算法与技术，例如MPEG压缩算法，其优点是解码之后的画质比较清晰，但是该算法压缩率低，占用宽带很大；H.264压缩技术的压缩率高，但解码之后的画质相对较差，占用带宽随画面运动的复杂度而大幅变化。
发明内容
有鉴于此，本发明实施例提供了一种视频压缩方法、装置及终端设备，以解决现有技术中视频压缩性能低的问题。
本发明实施例的第一方面提供了一种视频压缩方法，包括：
将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
分别对所述帧序列中的每一帧构建对应的压缩网络；
根据第m-1帧重构帧训练所述第m帧对应的压缩网络，并根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储所述第m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
将所述存储的每一帧对应的压缩网络的权重参数按所述帧序列的顺序构成压缩视频。
本发明实施例的第二方面提供了一种视频压缩装置，包括：
帧序列模块，用于将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
网络构建模块，用于分别对所述帧序列中的每一帧构建对应的压缩网络；
重构模块，用于根据第m-1帧重构帧训练所述第m帧对应的压缩网络，并根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储所述第 m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
压缩视频构成模块，用于将所述存储的每一帧对应的压缩网络的权重参数按所述帧序列的顺序构成压缩视频。
本发明实施例的第三方面提供了一种视频压缩终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上第一方面所提供的方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上第一方面所提供的方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：
本发明构建了一个比现有视频压缩框架更简洁的新的视频压缩框架：先构建每一帧对应的压缩网络，接着通过前一帧的重构帧训练下一帧的压缩网络并对下一帧进行重构。通过对视频的先验信息进行学习，从而提高了视频压缩性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的视频压缩方法的实现流程示意图；
图2是本发明实施例提供的训练压缩网络的实现流程示意图；
图3是本发明实施例提供的压缩网络结构的示意图；
图4是本发明实施例提供的生成重构帧的实现流程示意图；
图5是本发明实施例提供的视频压缩装置的示意图；
图6是本发明实施例提供的视频压缩终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
图1示出了本发明实施例一提供的视频压缩方法的实现流程，该方法的执行主体可以是终端设备，详述如下：
步骤S101，将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数。
可选地，当连续的图像变化每秒超过24帧画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频。所以视频是由若干帧画面构成的，即视频为一个包含N帧的帧序列，其中N为正整数。
步骤S102，分别对上述帧序列中的每一帧构建对应的压缩网络。
可选地，对上述帧序列中的每一帧进行压缩网络的构建，其中上述压缩网络可以是卷积神经网络。可选地，构建压缩网络可以是人工构建的网络，也可以采用网络搜索的方式搭建一个网络，也可以是两者的结合，此处不做限定。
进一步地，对于网络中的训练参数(如学习率、批处理参数、权值衰减等)，可以采用随机搜索(Random search)、网格搜索(Grid search)、贝叶斯优化 (Bayesianoptimization)、强化学习(Reinforcement learning)、进化算法 (EvolutionaryAlgorithm)等Hyperparameter optimization(HO)框架来进行设置。对于定义网络结构的参数(如网络的层数、每层的算子、卷积中的滤波器尺寸等)，通过网络架构搜索(NeuralArchitecture Search，NAS)来进行调优，应理解，此处仅针对构建网络时调参的一些方法进行举例说明，不应对构建网络的过程构成任何限定。
步骤S103，根据第m-1帧重构帧训练上述第m帧对应的压缩网络，并根据上述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储上述第m 帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数。
其中，当m＝1时，上述第m-1帧则为预先输入的数据矩阵。即当m-1＝0 的时候，由于帧序列中并不存在第0帧，所以需要预先输入一个数据矩阵。可选地，上述数据矩阵可以是随机生成的噪声矩阵，也可以是值全为1的矩阵，此处对数据矩阵不作限定。
可选地，图2示出了训练压缩网络的流程图，上述根据第m-1帧重构帧训练上述第m帧对应的压缩网络包括：
S201：将上述第m-1帧重构帧作为上述第m帧对应的压缩网络的输入，得到第m帧重建图；
可选地，将上述第m-1帧重构帧输入第m帧对应的压缩网络中，上述压缩网络可以为卷积神经网络，该卷积神经网络可以包括至少一个卷积层。进一步地，上述卷积层可包括卷积核，输入卷积层的图像经过与卷积核的卷积运算后去除冗余的图像信息，输出包含特征信息的图像。如果上述卷积核的尺寸大于 1×1，则卷积层可以输出多幅尺寸小于输入图像的特征图，在经过多个卷积层的处理后，输入卷积神经网络的图像的尺寸经过了多级收缩，得到多幅尺寸小于输入神经网络的图像尺寸的特征图。进一步地，在本发明实施例中，将第m-1 帧重构帧输入到压缩网络生成对应的第m帧重建图可以是反卷积操作，反卷积操作则与上述描述的输入图像去除冗余信息生成特征图像的过程相反。
示例地，如图3所示，压缩网络可以是卷积神经网络，包括四个卷积或反卷积层，四个卷积或反卷积层对应的权重参数矩阵的尺寸分别为H1*W1*N1*C1， H2*W2*N2*C2，H3*W3*N3*C3，H4*W4*N4*C4，步长分别为S1、S2、S3、S4。其中，H为权重参数矩阵的高，W为权重参数矩阵的宽，N为权重参数矩阵的输出通道数，C为权重参数矩阵的输入通道数。且四个卷积或反卷积层的权重参数的输入通道数分别与前一层的权重参数的输出通道数相关联。示例地，在图3中，C1＝C，C2＝N1，C3＝N2，C4＝N3。假设输入的第m-1帧重构帧为1*H*W*C 的矩阵，经过上述卷积神经网络后，对应生成尺寸为1*H’*W’*C’的输出矩阵，其中H’＝H*S1*S2*S3*S4，W’＝W*S1*S2*S3*S4，C’＝C4。此处仅针对压缩网络的其中一种情况进行示例说明，不应当对压缩网络的结构构成限定。
S202：计算上述第m帧重建图与第m帧的损失函数，并根据上述损失函数进行梯度更新，调整上述第m帧对应的压缩网络的权重参数；
可选地，第m帧重建图与第m帧之间的损失函数可以使用MSE(均方误差)。具体的，MSE的公式如公式(1)所示：
Figure BSA0000187195200000051
其中，H为第m帧重建图的高，W为第m帧重建图的宽，C为第m帧重建图通道数，X’代表第m帧重建图，X代表第m帧，X’i，j，k代表第m帧重建图中第k通道第i行第j列的数值，Xi，j，k代表第m帧中第k通道第i行第j列的数值。
可选地，梯度更新的公式如公式(2)所示：
W′＝W-αΔW (2)
其中，W代表网络的权重参数，W’代表更新后的权重参数，α是预先设定的学习率，ΔW是计算梯度。
可选地，在进行梯度更新的时候，可以使用现有的自适应梯度优化器来进行计算。具体地，可以使用Adam优化器。进一步地，在Adam优化器中输入上述MSE计算结果、网络的权重参数、预先设定的学习率，即可得到更新后的权重参数。
进一步地，将上述计算得到的更新后的权重参数替换掉压缩网络中原有的权重参数，成为新的第m帧对应的压缩网络。
S203：重复执行S201到S202直至上述第m帧对应的压缩网络满足预设条件为止。
可选地，上述重复执行S201到S202直至上述第m帧对应的压缩网络满足预设条件为止包括：
重复执行S201到S202直至上述第m帧对应的压缩网络达到预设的重建质量为止
或
重复执行S201到S202次数达到预设次数为止。
进一步地，重复执行S201到S202的次数达到预设次数为止，其中预设次数为人工预先设置在视频压缩程序中或者预先设置在装载视频压缩程序的终端设备中。
进一步地，重复执行S201到S202直至第m帧对应的压缩网络达到预设的重建质量为止。其中，上述第m帧对应的压缩网络的重建质量可以使用峰值信噪比PSNR(Peak Signalto Noise Ratio)和像素比特BPP(bits per pixel)来表示。
具体地，将测试图集放入到上述第m帧对应的压缩网络中测试上述第m帧对应的压缩网络的重建质量，可以用峰值信噪比PSNR和像素比特BPP来表示。可选地，在固定的像素比特BPP下，判断峰值信噪比PSNR是否达到预设阈值，峰值信噪比PSNR越高则代表帧在压缩中损失的信息越少。可选地，上述测试图集可以包括24张柯达标准测试图集，此处不作限定。
图4是本发明实施例提供的生成重构帧的实现流程示意图
S401：将上述第m帧对应的压缩网络的权重参数作为压缩特征；
可选地，提取第m帧对应的压缩网络的权重参数，并将第m帧对应的压缩网络的权重参数作为压缩特征。
S402：将上述压缩特征通过编码得到编码数据；
其中，上述编码可以是香农(Shannon)编码、哈夫曼(Huffman)编码或者算术编码(arithmetic coding)等熵编码方案，此处不作限定。
S403：将上述编码数据通过解码生成重构权重参数；
S404：根据上述重构权重参数初始化上述第m帧对应的压缩网络；
可选地，将步骤S403中生成的重构权重参数替换掉第m帧对应的压缩网络中的权重参数，构成新的第m帧对应的压缩网络。
S405：将上述第m-1帧输入上述重构权重参数更新后的第m帧对应的压缩网络中，得到第m帧重构帧。
步骤S104，将上述存储的每一帧对应的压缩网络的权重参数按上述帧序列的顺序构成压缩视频。
可选地，在步骤S103中对于每一帧对应的压缩网络的权重参数进行了存储，按照上述帧序列的顺序，对应的每一帧的压缩网络的权重参数的合集即为压缩视频。
本实施例中，通过构建一个新的视频压缩框架：先构建每一帧对应的压缩网络，接着通过前一帧的重构帧训练下一帧的压缩网络并对下一帧进行重构。通过对视频的先验信息进行学习，从而提高了视频压缩性能：在相同的重建质量条件下，压缩率更高；在相同的压缩率下，重建质量更好。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例二
图5示出了本发明实施例提供的视频压缩装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该视频压缩装置5包括：帧序列模块51，网络构建模块52，重构模块53，压缩视频构成模块54。
其中，上述帧序列模块51用于将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
网络构建模块52用于分别对上述帧序列中的每一帧构建对应的压缩网络；
重构模块53用于根据第m-1帧重构帧训练上述第m帧对应的压缩网络，并根据上述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储上述第m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
压缩视频构成模块54用于将上述存储的每一帧对应的压缩网络的权重参数按上述帧序列的顺序构成压缩视频。
可选地，上述重构53模块包括：
重建单元，用于将上述第m-1帧重构帧作为上述第m帧对应的压缩网络的输入，得到第m帧重建图；
参数调整单元，用于计算上述第m帧重建图与第m帧的损失函数，并根据上述损失函数进行梯度更新，调整上述第m帧对应的压缩网络的权重参数；
重复执行单元，用于重复执行重建单元到参数调整单元直至上述第m帧对应的压缩网络满足预设条件为止。
进一步地，上述重复执行重建单元到参数调整单元直至上述第m帧对应的压缩网络满足预设条件为止包括：
重复执行重建单元到参数调整单元直至上述第m帧对应的压缩网络达到预设的重建质量为止
或
重复执行重建单元到参数调整单元的次数达到预设次数为止。
可选地，上述重构模块53还包括：
参数提取单元，用于将上述第m帧对应的压缩网络的权重参数作为压缩特征；
编码单元，用于将上述压缩特征通过编码得到编码数据；
解码单元，用于将上述编码数据通过解码生成重构权重参数；
初始化单元，用于根据上述重构权重参数初始化上述第m帧对应的压缩网络；
重构帧生成单元，用于将上述第m-1帧输入上述重构权重参数更新后的第 m帧对应的压缩网络中，得到第m帧重构帧。
可选地，当m＝1时，上述第m-1帧为预先输入的数据矩阵。
本实施例通过网络构建模块52构建每一帧对应的压缩网络，接着通过重构模块53根据前一帧的重构帧训练下一帧的压缩网络并对下一帧进行重构。通过对视频的先验信息进行学习，从而提高了视频压缩性能：在相同的重建质量条件下，压缩率更高；在相同的压缩率下，重建质量更好。
实施例三
图6是本发明一实施例提供的视频压缩终端设备的示意图。如图6所示，该实施例的视频压缩终端设备6包括：处理器60、存储器61以及存储在上述存储器61中并可在上述处理器60上运行的计算机程序62，例如视频压缩程序。上述处理器60执行上述计算机程序62时实现上述各个视频压缩方法实施例中的步骤，例如图1所示的步骤101至104。或者，上述处理器60执行上述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块 51至54的功能。
示例性的，上述计算机程序62可以被分割成一个或多个模块/单元，上述一个或者多个模块/单元被存储在上述存储器61中，并由上述处理器60执行，以完成本发明。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序62在上述视频压缩终端设备6中的执行过程。例如，上述计算机程序62可以被分割成帧序列模块，网络构建模块，重构模块，压缩视频构成模块，各模块具体功能如下：
帧序列模块，用于将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
网络构建模块，用于分别对上述帧序列中的每一帧构建对应的压缩网络；
重构模块，用于根据第m-1帧重构帧训练上述第m帧对应的压缩网络，并根据上述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储上述第 m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
压缩视频构成模块，用于将上述存储的每一帧对应的压缩网络的权重参数按上述帧序列的顺序构成压缩视频。
上述视频压缩终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。上述视频压缩终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是视频压缩终端设备6的示例，并不构成对视频压缩终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如上述视频压缩终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器61可以是上述视频压缩终端设备6的内部存储单元，例如视频压缩终端设备6的硬盘或内存。上述存储器61也可以是上述视频压缩终端设备 6的外部存储设备，例如上述视频压缩终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡 (Flash Card)等。进一步地，上述存储器61还可以既包括上述视频压缩终端设备6的内部存储单元也包括外部存储设备。上述存储器61用于存储上述计算机程序以及上述视频压缩终端设备所需的其他程序和数据。上述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
由上可见，本实施例通过构建一个新的视频压缩框架：先构建每一帧对应的压缩网络，接着通过前一帧的重构帧训练下一帧的压缩网络并对下一帧进行重构。通过对视频的先验信息进行学习，从而提高了视频压缩性能：在相同的重建质量条件下，压缩率更高；在相同的压缩率下，重建质量更好。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上上述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频压缩方法，其特征在于，包括：
将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
分别对所述帧序列中的每一帧构建对应的压缩网络；
根据第m-1帧重构帧训练所述第m帧对应的压缩网络，并根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储所述第m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
将所述存储的每一帧对应的压缩网络的权重参数按所述帧序列的顺序构成压缩视频。
2.如权利要求1所述的视频压缩方法，其特征在于，所述根据第m-1帧重构帧训练所述第m帧对应的压缩网络包括：
S1：将所述第m-1帧重构帧作为所述第m帧对应的压缩网络的输入，得到第m帧重建图；
S2：计算所述第m帧重建图与第m帧的损失函数，并根据所述损失函数进行梯度更新，调整所述第m帧对应的压缩网络的权重参数；
S3：重复执行S1到S2直至所述第m帧对应的压缩网络满足预设条件为止。
3.如权利要求2所述的视频压缩方法，其特征在于，所述重复执行S1到S2直至所述第m帧对应的压缩网络满足预设条件为止包括：
重复执行S1到S2直至所述第m帧对应的压缩网络达到预设的重建质量为止
或
重复执行S1到S2次数达到预设次数为止。
4.如权利要求1所述的视频压缩方法，其特征在于，所述根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧包括：
将所述第m帧对应的压缩网络的权重参数作为压缩特征；
将所述压缩特征通过编码得到编码数据；
将所述编码数据通过解码生成重构权重参数；
根据所述重构权重参数初始化所述第m帧对应的压缩网络；
将所述第m-1帧输入所述重构权重参数更新后的第m帧对应的压缩网络中，得到第m帧重构帧。
5.如权利要求1-3任一项所述的视频压缩方法，其特征在于，所述根据第m-1帧重构帧训练所述第m帧对应的压缩网络，并根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧包括：
当m＝1时，所述第m-1帧为预先输入的数据矩阵。
6.一种视频压缩装置，其特征在于，包括：
帧序列模块，用于将待压缩视频表示为一个包含N帧的帧序列，其中N为正整数；
网络构建模块，用于分别对所述帧序列中的每一帧构建对应的压缩网络；
重构模块，用于根据第m-1帧重构帧训练所述第m帧对应的压缩网络，并根据所述训练后的第m帧对应的压缩网络得到第m帧重构帧，同时存储所述第m帧对应的压缩网络的权重参数，其中1≤m≤N，且m为正整数；
压缩视频构成模块，用于将所述存储的每一帧对应的压缩网络的权重参数按所述帧序列的顺序构成压缩视频。
7.如权利要求6所述的视频压缩装置，其特征在于，所述重构模块包括：
重建单元，用于将所述第m-1帧重构帧作为所述第m帧对应的压缩网络的输入，得到第m帧重建图；
参数调整单元，用于计算所述第m帧重建图与第m帧的损失函数，并根据所述损失函数进行梯度更新，调整所述第m帧对应的压缩网络的权重参数；
重复执行单元，用于重复执行重建单元到参数调整单元直至所述第m帧对应的压缩网络满足预设条件为止。
8.如权利要求7所述的视频压缩装置，其特征在于，所述重构模块还包括：
参数提取单元，用于将所述第m帧对应的压缩网络的权重参数作为压缩特征；
编码单元，用于将所述压缩特征通过编码得到编码数据；
解码单元，用于将所述编码数据通过解码生成重构权重参数；
初始化单元，用于根据所述重构权重参数初始化所述第m帧对应的压缩网络；
重构帧生成单元，用于将所述第m-1帧输入所述重构权重参数更新后的第m帧对应的压缩网络中，得到第m帧重构帧。
9.一种视频压缩终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201910727889.6A 2019-08-08 2019-08-08 一种视频压缩方法、装置及终端设备 Pending CN110650339A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910727889.6A CN110650339A (zh) 2019-08-08 2019-08-08 一种视频压缩方法、装置及终端设备
PCT/CN2019/114953 WO2021022686A1 (zh) 2019-08-08 2019-11-01 一种视频压缩方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910727889.6A CN110650339A (zh) 2019-08-08 2019-08-08 一种视频压缩方法、装置及终端设备

Publications (1)

Publication Number Publication Date
CN110650339A true CN110650339A (zh) 2020-01-03

Family

ID=68990104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910727889.6A Pending CN110650339A (zh) 2019-08-08 2019-08-08 一种视频压缩方法、装置及终端设备

Country Status (2)

Country Link
CN (1) CN110650339A (zh)
WO (1) WO2021022686A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314640A (zh) * 2020-02-23 2020-06-19 苏州浪潮智能科技有限公司 一种视频压缩方法、设备以及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2698414C1 (ru) 2018-09-21 2019-08-26 Владимир Александрович Свириденко Способ и устройство сжатия видеоинформации для передачи по каналам связи с меняющейся пропускной способностью и запоминания в системах хранения данных с использованием машинного обучения и нейросетей
CN117750021B (zh) * 2024-02-19 2024-04-30 北京铁力山科技股份有限公司 一种视频压缩方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132154A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation
CN108184128A (zh) * 2018-01-11 2018-06-19 安徽优思天成智能科技有限公司 基于深度神经网络的视频序列丢失帧预测恢复方法
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
EP3451293A1 (en) * 2017-08-28 2019-03-06 Thomson Licensing Method and apparatus for filtering with multi-branch deep learning
US10573031B2 (en) * 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
CN108171762B (zh) * 2017-12-27 2021-10-12 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN108282225B (zh) * 2017-12-27 2020-05-26 吉林大学 基于无透镜成像器的可见光通信方法
CN108062780B (zh) * 2017-12-29 2019-08-09 百度在线网络技术（北京）有限公司 图像压缩方法和装置
CN109919864A (zh) * 2019-02-20 2019-06-21 重庆邮电大学 一种基于稀疏去噪自编码网络的图像压缩感知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016132154A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Visual processing using temporal and spatial interpolation
CN109862370A (zh) * 2017-11-30 2019-06-07 北京大学 视频超分辨率处理方法及装置
CN108184128A (zh) * 2018-01-11 2018-06-19 安徽优思天成智能科技有限公司 基于深度神经网络的视频序列丢失帧预测恢复方法
CN108322685A (zh) * 2018-01-12 2018-07-24 广州华多网络科技有限公司 视频插帧方法、存储介质以及终端
CN109451308A (zh) * 2018-11-29 2019-03-08 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314640A (zh) * 2020-02-23 2020-06-19 苏州浪潮智能科技有限公司 一种视频压缩方法、设备以及介质
CN111314640B (zh) * 2020-02-23 2022-06-07 苏州浪潮智能科技有限公司 一种视频压缩方法、设备以及介质

Also Published As

Publication number Publication date
WO2021022686A1 (zh) 2021-02-11

Similar Documents

Publication Publication Date Title
CN109451308B (zh) 视频压缩处理方法及装置、电子设备及存储介质
Liu et al. A comprehensive benchmark for single image compression artifact reduction
CN109889839B (zh) 基于深度学习的感兴趣区域图像编码、解码系统及方法
CN110677651A (zh) 一种视频压缩方法
CN110569961A (zh) 一种神经网络训练方法、装置及终端设备
JP4718609B2 (ja) 多次元デジタル信号のフィルタリング方法及び装置、並びに、関連する符号化／復号化方法及び装置
CN110650339A (zh) 一种视频压缩方法、装置及终端设备
CN110769263A (zh) 一种图像压缩方法、装置及终端设备
KR20190067111A (ko) 움직임 흐림 제거 방법 및 장치
CN112188217B (zh) 结合dct域和像素域学习的jpeg压缩图像去压缩效应方法
CN111083478A (zh) 一种视频帧重构方法、装置及终端设备
CN110913230A (zh) 一种视频帧预测方法、装置及终端设备
CN111083482A (zh) 一种视频压缩网络训练方法、装置及终端设备
CN110944212A (zh) 一种视频帧重构方法、装置及终端设备
Chen et al. Enhanced separable convolution network for lightweight jpeg compression artifacts reduction
CN113744159A (zh) 一种遥感图像去雾方法、装置及电子设备
CN113222856A (zh) 一种逆半色调图像处理方法、终端设备及可读存储介质
CN110677671A (zh) 一种图像压缩方法、装置及终端设备
Chen et al. Hierarchical visual pattern image coding
CN110782415A (zh) 一种图像补全方法、装置及终端设备
CN110913220A (zh) 一种视频帧编码方法、装置及终端设备
CN111083500A (zh) 一种视频帧重构方法、装置及终端设备
CN114612316A (zh) 一种核预测网络图像去雨方法和装置
CN111083501A (zh) 一种视频帧重构方法、装置及终端设备
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200103