CN108810551B - 一种视频帧预测方法、终端及计算机存储介质 - Google Patents

一种视频帧预测方法、终端及计算机存储介质 Download PDF

Info

Publication number
CN108810551B
CN108810551B CN201810637598.3A CN201810637598A CN108810551B CN 108810551 B CN108810551 B CN 108810551B CN 201810637598 A CN201810637598 A CN 201810637598A CN 108810551 B CN108810551 B CN 108810551B
Authority
CN
China
Prior art keywords
frame
predicted
video
model
cost function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810637598.3A
Other languages
English (en)
Other versions
CN108810551A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201810637598.3A priority Critical patent/CN108810551B/zh
Publication of CN108810551A publication Critical patent/CN108810551A/zh
Application granted granted Critical
Publication of CN108810551B publication Critical patent/CN108810551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种视频帧预测方法、终端及计算机存储介质，上述视频帧预测方法包括：基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。

Description

一种视频帧预测方法、终端及计算机存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种视频帧预测方法、终端及计算机存储介质。
背景技术
视频(Video)泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。当连续的图像变化每秒超过24帧画面以上时，便可以将连续的图像叫做视频。大多数电视图像相邻帧间细节变化是很小的，即视频图像帧间具有很强的相关性，因此，利用帧与帧之间视频内容的相似性，即相邻帧之间的时间相关性，能够有效地实现视频帧的预测。
现有的帧间预测算法为使用原始帧中已有的信息来对生成帧进行预测，但是，由于该方法是根据原始帧中的视频内容进行的，获得的待预测视频对应的帧预测结果仅仅是对待预测视频中已有的视频内容进行预测，预测形式比较单一，存在视频帧预测效果不佳的问题。
发明内容
本申请实施例提供一种视频帧预测方法、终端及计算机存储介质，在进行视频帧预测时，基于生成对抗网络获得具有对新的视频内容进行预测的生成网络可以在预测获得的生成帧中加入新的视频内容，从而提高视频预测效果。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种视频帧预测方法，所述方法包括：
基于生成对抗网络构建生成模型和判别模型；
根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；
将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容。
在上述方案中，所述根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络，包括：
提取所述预存视频数据集中的前置帧和所述前置帧对应的后置帧；
根据所述前置帧、所述后置帧以及预设重建代价函数，对所述生成模型进行训练，获得所述前置帧对应的预测帧；其中，所述预测帧为在所述前置帧基础上进行新的内容的预测结果；
根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得分布结果；其中，所述分布结果用于表征所述后置帧和所述预测帧之间的内容分布情况；
根据所述分布结果，建立所述生成网络。
在上述方案中，所述根据所述分布结果，建立所述生成网络，包括：
当所述分布结果为收敛时，将所述生成模型确定为所述生成网络。
在上述方案中，所述根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，所述方法还包括：
当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数；
根据所述更新后的重建代价函数重新对所述生成模型进行训练，以及根据所述更新后的对抗代价函数重新对所述判别模型进行训练，直到所述分布结果为收敛。
在上述方案中，所述将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果，包括：
从所述待预测视频中提取原始帧；
将所述原始帧输入至所述生成网络中，获得所述原始帧对应的生成帧；
根据所述生成帧确定所述待预测视频对应的帧预测结果。
在上述方案中，所述从所述待预测视频中提取原始帧，包括：
按照预设帧间隔，从所述待预测视频中提取帧图像；
对所述帧图像分配第一序列，获得所述原始帧。
在上述方案中，所述根据所述生成帧确定所述待预测视频对应的帧预测结果，包括：
提取所述生成帧对应的第二序列；其中，所述第二序列与所述第一序列相对应；
按照所述第二序列，获得所述帧预测结果。
本申请实施例提供了一种终端，所述终端包括：建立单元和获取单元，
所述建立单元，用于基于生成对抗网络构建生成模型和判别模型；以及根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；
所述获取单元，用于将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容。
在上述方案中，所述建立单元，具体用于提取所述预存视频数据集中的前置帧和所述前置帧对应的后置帧；以及根据所述前置帧、所述后置帧以及预设重建代价函数，对所述生成模型进行训练，获得所述前置帧对应的预测帧；其中，所述预测帧为在所述前置帧基础上进行新的内容的预测结果；以及根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得分布结果；其中，所述分布结果用于表征所述后置帧和所述预测帧之间的内容分布情况；以及根据所述分布结果，建立所述生成网络。
在上述方案中，所述建立单元，还具体用于当所述分布结果为收敛时，将所述生成模型确定为所述生成网络。
在上述方案中，所述终端还包括：更新单元，
所述更新单元，用于所述根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数；
所述建立单元，还用于根据所述更新后的重建代价函数重新对所述生成模型进行训练，以及根据所述更新后的对抗代价函数重新对所述判别模型进行训练，直到所述分布结果为收敛。
在上述方案中，所述获取单元，具体用于从所述待预测视频中提取原始帧；以及将所述原始帧输入至所述生成网络中，获得所述原始帧对应的生成帧；以及根据所述生成帧确定所述待预测视频对应的帧预测结果。
在上述方案中，所述获取单元，还具体用于按照预设帧间隔，从所述待预测视频中提取帧图像；以及对所述帧图像分配第一序列，获得所述原始帧。
在上述方案中，所述获取单元，还具体用于提取所述生成帧对应的第二序列；其中，所述第二序列与所述第一序列相对应；以及按照所述第二序列，获得所述帧预测结果。
本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器、通信接口，和用于连接所述处理器、所述存储器以及所述通信接口的总线，当所述指令被执行时，所述处理器执行时实现如上所述的视频帧预测方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时实现如上所述的视频帧预测方法。
本申请实施例提供了一种视频帧预测方法，终端基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。由此可见，在本申请的实施例中，终端可以先基于生成对抗网络建立具有对新的视频内容进行获取的生成网络，然后在待预测视频中提取获得的原始帧的基础上，通过该生成网络进行视频帧预测，最终获得待预测视频对应的帧预测结果，由于该预设生成网络可以对视频新内容进行获取，因此获得的帧预测结果中，包括有以待预测视频为基础的新的视频内容，从而可以在进行视频帧预测时，在预测获得的生成帧中加入新的视频内容，进而提高视频预测效果。
附图说明
图1为本申请实施例提出的一种视频帧预测方法的实现流程示意图一；
图2为本申请实施例提出的终端的组成结构示意图一；
图3为本申请实施例提出的终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
生成式对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求生成模型和判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为生成模型和判别模型。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
在本申请的实施例中，所述一种视频帧预测方法可以以上述生成式对抗网络为基础，进行深度学习和训练，建立可以对新的视频内容进行获取的生成模型。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
实施例一
本申请实施例提供了一种视频帧预测方法，图1为本申请实施例提出的一种视频帧预测方法的实现流程示意图一，如图1所示，在本申请的实施例中，上述终端进行视频帧预测的方法可以包括以下步骤：
步骤101、基于生成对抗网络构建生成模型和判别模型。
在本申请的实施例中，终端可以先基于生成对抗网络构建生成模型和判别模型。其中，上述生成模型用于数据分布的获取，上述判别模型用于样本一致性的判定。
进一步地，在本申请的实施例中，上述生成对抗网络是一个通过对抗过程估计生成模型的新框架。框架中同时训练两个模型，即捕获数据分布的上述生成模型，和估计样本来自训练数据的概率的上述判别模型。上述生成模型的训练程序是将判别模型错误的概率最大化。该框架对应一个最大值集下限的双方对抗游戏。可以证明在任意函数生成模型和判别模型的空间中，存在唯一的解决方案，使得上述生成模型重现训练数据分布，而上述判别模型为0.5。在上述生成模型和上述判别模型由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间，不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品的定性和定量评估证明了本框架的潜力。
需要说明的是，原始生成对抗网络理论中，并不要求上述生成模型和上述判别模型都是神经网络，只需要是能拟合相应生成和判别的函数即可。在本申请的实施例中，可以通过深度神经网络作为生成模型和判别模型。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
需要说明的是，在本申请的实施例中，卷积神经网络(Convolutional NeuralNetwork，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络包括卷积层(convolutional layer)和池化层(pooling layer)。
需要说明的是，在本申请的实施例中，卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。
需要说明的是，在本申请的实施例中，CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
步骤102、根据生成模型、判别模型以及预存视频数据集，建立生成网络。
在本申请的实施例中，上述终端在基于上述生成对抗网络构建上述生成模型和上述判别模型之后，可以根据上述生成模型、上述判别模型以及预先存储的预存视频数据集，建立相应的生成网络。其中，上述生成网络用于对新的视频内容进行获取。
需要说明的是，在本申请的实施例中，上述预存视频数据集可以预先存储的历史视频数据。具体地，在本申请的实施例中，上述预存视频数据集中可以存储有前置帧和后置帧。
进一步地，在本申请的实施例中，上述生成网络为上述终端基于上述生成对抗网络对上述预存视频数据集进行学习和训练获得的、能够生成与上述预存视频数据集分布一致的样本的网络模型。
步骤103、将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果。
在本申请的实施例中，上述终端在根据上述生成模型、上述判别模型以及上述预存视频数据集，建立上述生成网络之后，可以将待预测视频输入至上述生成网络，从而便可以获得上述待预测视频对应的帧预测结果。其中，上述帧预测结果中包含有新的视频内容。
进一步地，在本申请的实施例中，上述终端在获得上述生成网络之后，便可以根据上述生成网络进行视频帧预测。具体地，在本申请的实施例中，由于上述生成网络是基于上述对抗网络生成的、具有获取新的视频内容作用的网络，因此，上述终端通过上述生成网络获得的与上述待预测视频对应的上述帧预测结果中包含有对上述待预测视频进行预测的、新的视频内容。
需要说明的是，在本申请的实施例中，上述终端可以先提取上述待预测视频中的待预测的原始帧，然后将上述原始帧输入至上述生成网络中，便可以获得与上述原始帧相对应的生成帧，最终上述终端便可以根据上述生成帧获得上述待预测视频对应的上述帧预测结果。
本申请实施例提出的一种视频帧预测方法，终端基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。由此可见，本申请实施例提供的一种视频帧预测方法，终端可以先基于生成对抗网络建立具有对新的视频内容进行获取的生成网络，然后在待预测视频中提取获得的原始帧的基础上，通过该生成网络进行视频帧预测，最终获得待预测视频对应的帧预测结果，由于该预设生成网络可以对视频新内容进行获取，因此获得的帧预测结果中，包括有以待预测视频为基础的新的视频内容，从而可以在进行视频帧预测时，在预测获得的生成帧中加入新的视频内容，进而提高视频预测效果。
实施例二
基于上述实施例一，在本申请的实施例中，上述终端根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络的方法可以包括以下步骤：
步骤102a、提取预存视频数据集中的前置帧和前置帧对应的后置帧。
在本申请的实施例中，上述终端在基于上述生成对抗网络构建上述生成模型和上述判别模型之后，可以先提取上述预存视频数据集中观的上述前置帧和上述后置帧。其中，上述后置帧与上述后置帧相对应。
需要说明的是，在本申请的实施例中，上述前置帧和上述后置帧可以为存储在上述预存视频数据集中的、真实的帧图像。
步骤102b、根据前置帧、后置帧以及预设重建代价函数，对生成模型进行训练，获得前置帧对应的预测帧。
在本申请的实施例中，上述终端在提取上述预存视频数据集中观的上述前置帧和上述后置帧之后，可以根据上述前置帧、上述后置帧以及预先设置的预设重建代价函数，对上述生成模型进行训练，从而获得与上述前置帧对应的预测帧。其中，上述预测帧为在上述前置帧基础上进行新的内容的预测结果。
进一步地，在本申请的实施例中，上述终端在获取上述前置帧和上述后置帧之后，可以将上述前置帧和后置帧输入至上述生成模型中，结合上述预设重建代价函数对上述生成模型进行训练，从而便可以获得与上述前置帧相对应的上述预测帧。
进一步地，在本申请的实施例中，上述预设重建代价函数为上述终端预先设置的、用于使上述生成模型获得与训练样本一致性高的预测帧。具体地，在本申请的实施例中，上述终端在通过上述预设重建代价函数对上述生成模型进行训练时，可以使获得的上述预测帧尽可能的与上述前置帧一致，即获得与上述预存数据集一致性更高的预测结果。
需要说明的是，在本申请的实施例中，上述预测帧为与上述前置帧对应的预测结果，与上述后置帧相比，上述预测帧并不是真实存在的，而是在上述前置帧的基础上预测获得的。
步骤102c、根据后置帧、预测帧以及预设对抗代价函数，对判别模型进行训练，获得分布结果。
在本申请的实施例中，上述终端在根据上述前置帧、上述后置帧以及上述预先设置的预设重建代价函数，对上述生成模型进行训练获得与上述前置帧对应的预测帧之后，可以继续根据上述后置帧、上述预测帧以及上述预设对抗代价函数，对上述判别模型进行训练，从而便可以获得分布结果。需要说明的是，上述分布结果用于表征上述后置帧和上述预测帧之间的内容分布情况。
进一步地，在本申请的实施例中，上述终端在获取上述预测帧之后，可以将上述后置帧和上述预测帧输入至上述判别模型中，结合上述预设对抗代价函数对上述判别模型进行训练，从而便可以获得与上述后置帧以及上述预测帧相对应的上述分布结果。
进一步地，在本申请的实施例中，上述预设对抗代价函数为上述终端预先设置的、用于使上述判别模型获得预测帧与训练样本一致性的结果。具体地，在本申请的实施例中，上述终端在通过上述预设对抗代价函数对上述判别模型进行训练时，可以使获得的上述预测帧尽可能的与上述后置帧一致，即获得与上述预存数据集一致性更高的预测结果。
需要说明的是，在本申请的实施例中，上述终端在通过上述预设对抗代价函数对上述判别模型进行训练的过程中，可以使上述生成模型多获得的上述预测帧中具有更多的高频细节，从而可以使上述预测帧与上述前置帧更为接近。
需要说明的是，在本申请的实施例中，上述预测帧与上述后置帧相比，上述预测帧是在上述前置帧的基础上预测获得的，并不是真实存在的，为了对上述生成模型的生成结果进行判别，上述判别模型便可以生成上述预测帧和上述后置帧对应的上述分布结果，以确定上述后置帧和上述预测帧之间的内容分布情况。
步骤102d、根据分布结果，建立生成网络。
在本申请的实施例中，上述终端在根据上述后置帧、上述预测帧以及上述预设对抗代价函数，对上述判别模型进行训练，获得上述分布结果之后，可以根据上述分布结果，建立上述生成网络。
需要说明的是，在本申请的实施例中，上述分布结果可以为收敛或者发散。具体地，如果上述分布结果为收敛时，可以认为上述生成模型获得的上述预测帧与上述预存视频数据集具有一致的内容分布。
进一步地，在本申请的实施例中，上述终端可以通过多种方法对上述分布结果进行确定，即上述终端可以通过多种方法确定上述分布结果为收敛或者发散。例如，一方面，上述终端可以对上述预设重建代价函数和上述预设对抗代价函数进行观察，如果上述预设重建代价函数和上述预设对抗代价函数长时间处于比较稳定的状态，即上述预设重建代价函数和上述预设对抗代价函数长时间不再发生较为明显的变化时，上述终端便可以确定上述分布结果为收敛，反之则为发散。另一方面，上述终端可以对上述预测帧和上述后置帧进行比较，如果上述预测帧和上述后置帧之间的一致性较高时，那么上述终端便可以确定上述分布结果为收敛，反之则为发散。
在本申请的实施例中，进一步地，上述终端在根据上述分布结果建立上述生成网络时，具体步骤可以为：如果上述分布结果为收敛，那么上述终端便可以将上述生成模型确定为上述生成网络。
需要说明的是，在本申请的实施例中，如果上述分布结果为收敛时，可以认为上述生成模型获得的上述预测帧与上述预存视频数据集的内容分布一致性较高，那么上述终端便可以认为通过上述生成模型进行视频帧预测，既可以获得上述待预测视频中没有的新的视频内容，又可以与上述待预测视频保持较高的一致性，因此便可以将上述生成模型确定为上述生成网络。
在本申请的实施例中，进一步地，上述终端在根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，即步骤102c之后，上述终端进行视频帧预测的方法还可以包括以下步骤：
步骤102e、当分布结果为发散时，更新预设重建代价函数，获得更新后的重建代价函数，以及更新预设对抗代价函数，获得更新后的对抗代价函数。
在本申请的实施例中，上述终端在根据上述后置帧、上述预测帧以及上述预设对抗代价函数，对上述判别模型进行训练，获得上述分布结果之后，如果上述分布结果为发散，那么上述终端可以更新上述预设重建代价函数，获得更新后的重建代价函数，同时更新上述预设对抗代价函数，获得更新后的对抗代价函数。
需要说明的是，在本申请的实施例中，如果上述分布结果为发散时，可以认为上述生成模型获得的上述预测帧与上述预存视频数据集的内容分布一致性较低，那么上述终端便可以认为通过上述生成模型进行视频帧预测，无法实现既获得新的视频内容，又与上述待预测视频保持较高的一致性的要求，因此上述终端可以对上述预设重建代价函数和上述预设对抗代价函数同时进行更新。
进一步地，在本申请的实施例中，上述预设重建代价函数是用于对上述生成模型进行训练的，上述预设对抗代价函数是用于对上述判别模型进行训练的，因此在确定上述分布结果为发散之后，上述终端便可以对上述预设重建代价函数进行更新，以重新对上述生成模型进行训练；同时，上述终端还可以对上述预设对抗代价函数进行更新，以重新对上述判别模型进行训练。
步骤102f、根据更新后的重建代价函数重新对生成模型进行训练，以及根据更新后的对抗代价函数重新对判别模型进行训练，直到分布结果为收敛。
在本申请的实施例中，如果上述分布结果为发散，上述终端在更新上述预设重建代价函数，获得更新后的重建代价函数，同时更新上述预设对抗代价函数，获得更新后的对抗代价函数之后，可以根据上述更新后的重建代价函数重新对上述生成模型进行训练，同时还可以根据上述更新后的对抗代价函数重新对上述判别模型进行训练，直到上述分布结果为收敛。
需要说明的是，在本申请的实施例中，由于上述预设重建代价函数是用于对上述生成模型进行训练的，上述预设对抗代价函数是用于对上述判别模型进行训练的，因此上述终端可以对上述预设重建代价函数和上述预设对抗代价函数同时进行更新之后，便可以根据上述更新后的重建代价函数重新对上述生成模型进行训练，同时，可以根据上述更新后的对抗代价函数重新对上述判别模型进行训练。
进一步地，在本申请的实施例中，上述终端在根据上述更新后的重建代价函数重新对上述生成模型进行训练，以及根据上述更新后的对抗代价函数重新对上述判别模型进行训练之后，再次获得新的分布结果，如果再次获得的新的分布结果仍然为发散，那么上述终端便可以继续对重建代价函数和对抗代价函数进行更新，并继续对上述生成模型和上述判别模型进行训练，循环训练至获得的分布结果为收敛为止。
本申请实施例提出的一种视频帧预测方法，终端基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。由此可见，本申请实施例提供的一种视频帧预测方法，终端可以先基于生成对抗网络建立具有对新的视频内容进行获取的生成网络，然后在待预测视频中提取获得的原始帧的基础上，通过该生成网络进行视频帧预测，最终获得待预测视频对应的帧预测结果，由于该预设生成网络可以对视频新内容进行获取，因此获得的帧预测结果中，包括有以待预测视频为基础的新的视频内容，从而可以在进行视频帧预测时，在预测获得的生成帧中加入新的视频内容，进而提高视频预测效果。
实施例三
基于上述实施例一，在本申请的实施例中，上述终端将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果的方法可以包括以下步骤：
步骤103a、从待预测视频中提取原始帧。
在本申请的实施例中，上述终端在根据上述生成模型、上述判别模型以及上述预存视频数据集，建立上述生成网络之后，上述终端可以先从待预测视频中提取原始帧。
需要说明的是，在本申请的实施例中，上述终端可以先获取上述待预测视频，然后从上述待预测视频中提取出用于进行视频帧预测的初始帧，即上述原始帧。其中，上述原始帧为上述待预测视频中的至少一个帧图像。
进一步地，在本申请的实施例中，上述终端在从上述待预测视频中提取上述原始帧的过程中，可以先按照预先设置的预设帧间隔，从上述待检测视频中提取帧图像。
需要说明的是，在本申请的实施例中，上述预设帧间隔可以为上述终端预先设置的选取帧图像的周期间隔，例如，上述预设帧间隔可以为a，其中，a为大于0的整数。进一步地，上述终端在选取上述原始帧时，可以先按照a帧为一间隔，从上述待检测视频中进行上述帧图像的提取。
进一步地，在本申请的实施例中，上述终端在按照上述预设帧间隔，从上述待预测视频中提取上述帧图像之后，可以对上述帧图像分配第一序列，从而获得上述原始帧。
需要说明的是，在本申请的实施例中，上述终端在获得上述帧图像之后，可以按照提取上述帧图像时的提取顺序，对上述帧图像分配上述第一序列，从而可以将上述帧图像和对应的上述第一序列相结合，获得上述原始帧，即上述原始帧携带有上述第一序列。
需要说明的是，在本申请的实施例中，上述第一序列可以用于表征上述原始帧的提取顺序，例如，当上述终端从一待检测视频中依次提取出10个帧图像之后，便可以按照提取顺序将1至10的第一序列依次分配给上述10个帧图像，从而获得分别携带有第一序列为1至10的原始帧。
步骤103b、将原始帧输入至生成网络中，获得原始帧对应的生成帧。
在本申请的实施例中，上述终端在从上述待预测视频中提取上述原始帧之后，便可以将上述原始帧输入至上述生成网络中，从而便可以获得上述原始帧所对应的生成帧。
进一下地，在本申请的实施例中，上述终端将上述原始帧输入至上述生成网络中，生成网络可以根据上述原始帧进行帧预测，然后获得与上述原始帧一一对应的上述生成帧。其中，上述生成帧中包括有上述原始帧所没有的新的内容。
需要说明的是，在本申请的实施例中，上述终端可以按照上述第一序列将上述原始帧依次输入至上述生成网络中，然后依次获得相对应的上述生成帧，其中，上述生成帧中携带有与上述第一序列相对应的第二序列。例如，输入的原始帧的第一序列为b时，获得的相对应的生成帧的第二序列也为b。
步骤103c、根据生成帧确定待预测视频对应的帧预测结果。
在本申请的实施例中，上述终端在将上述原始帧输入至上述生成网络中，获得上述原始帧所对应的上述生成帧之后，可以根据上述生成帧确定上述待预测视频对应的上述帧预测结果。
需要说明的是，在本申请的实施例中，上述终端在通过上述生成网络获得上述生成帧之后，可以进一步根据上述生成帧确定出上述待预测视频对应的上述帧预测结果。
进一步地，在本申请的实施例中，上述终端在获得上述生成帧之后，可以先提取上述生成帧中携带的上述第二序列，其中，上述第二序列是与上述第一序列相对应的，上述第二序列用于表征上述生成帧的生成顺序。上述终端在提取上述第二序列之后，可以按照上述第二序列，获得上述帧预测结果，即上述终端根据上述生成帧的生成顺序，获得上述帧预测结果。
本申请实施例提出的一种视频帧预测方法，终端基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。由此可见，本申请实施例提供的一种视频帧预测方法，终端可以先基于生成对抗网络建立具有对新的视频内容进行获取的生成网络，然后在待预测视频中提取获得的原始帧的基础上，通过该生成网络进行视频帧预测，最终获得待预测视频对应的帧预测结果，由于该预设生成网络可以对视频新内容进行获取，因此获得的帧预测结果中，包括有以待预测视频为基础的新的视频内容，从而可以在进行视频帧预测时，在预测获得的生成帧中加入新的视频内容，进而提高视频预测效果。
实施例四
基于上述实施例一至实施例三的同一发明构思下，图2为本申请实施例提出的终端的组成结构示意图一，如图2所示，本申请实施例提出的终端1可以包括建立单元11、获取单元12以及更新单元13。
建立单元11，用于基于生成对抗网络构建生成模型和判别模型；以及根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取。
获取单元12，用于在建立单元11用于基于生成对抗网络构建生成模型和判别模型；以及根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络之后，将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容。
进一步地，在本申请的实施例中，建立单元11，具体用于提取所述预存视频数据集中的前置帧和所述前置帧对应的后置帧；以及根据所述前置帧、所述后置帧以及预设重建代价函数，对所述生成模型进行训练，获得所述前置帧对应的预测帧；其中，所述预测帧为在所述前置帧基础上进行新的内容的预测结果；以及根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得分布结果；其中，所述分布结果用于表征所述后置帧和所述预测帧之间的内容分布情况；以及根据所述分布结果，建立生成网络。
进一步地，在本申请的实施例中，建立单元11，还具体用于当所述分布结果为收敛时，将所述生成模型确定为所述生成网络。
在本申请的实施例中，进一步地，更新单元13，用于所述根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数。
建立单元11，还用于在更新单元13当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数之后，根据所述更新后的重建代价函数重新对所述生成模型进行训练，以及根据所述更新后的对抗代价函数重新对所述判别模型进行训练，直到所述分布结果为收敛。
进一步地，在本申请的实施例中，获取单元12，具体用于从所述待预测视频中提取原始帧；以及将所述原始帧输入至所述生成网络中，获得所述原始帧对应的生成帧；以及根据所述生成帧确定所述待预测视频对应的帧预测结果。
进一步地，在本申请的实施例中，获取单元12，还具体用于按照预设帧间隔，从所述待预测视频中提取帧图像；以及对所述帧图像分配第一序列，获得所述原始帧。
进一步地，在本申请的实施例中，获取单元12，还具体用于提取所述生成帧对应的第二序列；其中，所述第二序列与所述第一序列相对应；以及按照所述第二序列，获得所述帧预测结果。
图3为本申请实施例提出的终端的组成结构示意图二，如图3所示，本申请实施例提出的终端1还可以包括处理器14、存储有处理器14可执行指令的存储器15、通信接口16，和用于连接处理器14、存储器15以及通信接口16的总线18。
在本申请的实施例中，上述处理器14可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端1还可以包括存储器15，该存储器15可以与处理器14连接，其中，存储器15用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器15可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线18用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。
在本申请的实施例中，存储器15，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器14，用于基于生成对抗网络构建生成模型和判别模型；以及根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；以及将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容。
在实际应用中，上述存储器15可以是易失性第一存储器(volatile memory)，例如随机存取第一存储器(Random-Access Memory，RAM)；或者非易失性第一存储器(non-volatile memory)，例如只读第一存储器(Read-Only Memory，ROM)，快闪第一存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的第一存储器的组合，并向处理器14提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种终端，该终端基于生成对抗网络构建生成模型和判别模型；根据生成模型、判别模型以及预存视频数据集，建立生成网络；其中，生成网络用于对新的视频内容进行获取；将待预测视频输入至生成网络，获得待预测视频对应的帧预测结果；其中，帧预测结果中包含有新的视频内容。由此可见，本申请实施例提供的一种视频帧预测终端可以先基于生成对抗网络建立具有对新的视频内容进行获取的生成网络，然后在待预测视频中提取获得的原始帧的基础上，通过该生成网络进行视频帧预测，最终获得待预测视频对应的帧预测结果，由于该预设生成网络可以对视频新内容进行获取，因此获得的帧预测结果中，包括有以待预测视频为基础的新的视频内容，从而可以在进行视频帧预测时，在预测获得的生成帧中加入新的视频内容，进而提高视频预测效果。
本申请实施例提供第一计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如实施例一至实施例三的方法。
具体来讲，本实施例中的一种视频帧预测方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种视频帧预测方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
基于生成对抗网络构建生成模型和判别模型；
根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；
将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (16)

1.一种视频帧预测方法，其特征在于，所述方法包括：
基于生成对抗网络构建生成模型和判别模型；
根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；
将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容；其中，
所述生成模型用于数据分布的获取，所述判别模型用于样本一致性的判定；
所述预存视频数据集包括前置帧和后置帧，所述前置帧用于预测结果的获取，所述后置帧用于对所述预测结果的一致性的判定。
2.根据权利要求1所述的方法，其特征在于，所述根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络，包括：
提取所述预存视频数据集中的前置帧和所述前置帧对应的后置帧；
根据所述前置帧、所述后置帧以及预设重建代价函数，对所述生成模型进行训练，获得所述前置帧对应的预测帧；其中，所述预测帧为在所述前置帧基础上进行新的内容的预测结果；
根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得分布结果；其中，所述分布结果用于表征所述后置帧和所述预测帧之间的内容分布情况；
根据所述分布结果，建立所述生成网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述分布结果，建立所述生成网络，包括：
当所述分布结果为收敛时，将所述生成模型确定为所述生成网络。
4.根据权利要求2所述的方法，其特征在于，所述根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，所述方法还包括：
当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数；
根据所述更新后的重建代价函数重新对所述生成模型进行训练，以及根据所述更新后的对抗代价函数重新对所述判别模型进行训练，直到所述分布结果为收敛。
5.根据权利要求1所述的方法，其特征在于，所述将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果，包括：
从所述待预测视频中提取原始帧；
将所述原始帧输入至所述生成网络中，获得所述原始帧对应的生成帧；
根据所述生成帧确定所述待预测视频对应的帧预测结果。
6.根据权利要求5所述的方法，其特征在于，所述从所述待预测视频中提取原始帧，包括：
按照预设帧间隔，从所述待预测视频中提取帧图像；
对所述帧图像分配第一序列，获得所述原始帧。
7.根据权利要求6所述的方法，其特征在于，所述根据所述生成帧确定所述待预测视频对应的帧预测结果，包括：
提取所述生成帧对应的第二序列；其中，所述第二序列与所述第一序列相对应；
按照所述第二序列，获得所述帧预测结果。
8.一种终端，其特征在于，所述终端包括：建立单元和获取单元，
所述建立单元，用于基于生成对抗网络构建生成模型和判别模型；以及根据所述生成模型、所述判别模型以及预存视频数据集，建立生成网络；其中，所述生成网络用于对新的视频内容进行获取；
所述获取单元，用于将待预测视频输入至所述生成网络，获得所述待预测视频对应的帧预测结果；其中，所述帧预测结果中包含有新的视频内容；其中，
所述生成模型用于数据分布的获取，所述判别模型用于样本一致性的判定；
所述预存视频数据集包括前置帧和后置帧，所述前置帧用于预测结果的获取，所述后置帧用于对所述预测结果的一致性的判定。
9.根据权利要求8所述的终端，其特征在于，
所述建立单元，具体用于提取所述预存视频数据集中的前置帧和所述前置帧对应的后置帧；以及根据所述前置帧、所述后置帧以及预设重建代价函数，对所述生成模型进行训练，获得所述前置帧对应的预测帧；其中，所述预测帧为在所述前置帧基础上进行新的内容的预测结果；以及根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得分布结果；其中，所述分布结果用于表征所述后置帧和所述预测帧之间的内容分布情况；以及根据所述分布结果，建立所述生成网络。
10.根据权利要求9所述的终端，其特征在于，
所述建立单元，还具体用于当所述分布结果为收敛时，将所述生成模型确定为所述生成网络。
11.根据权利要求9所述的终端，其特征在于，所述终端还包括：更新单元，
所述更新单元，用于所述根据所述后置帧、所述预测帧以及预设对抗代价函数，对所述判别模型进行训练，获得所述后置帧和所述预测帧之间的分布结果之后，当所述分布结果为发散时，更新所述预设重建代价函数，获得更新后的重建代价函数，以及更新所述预设对抗代价函数，获得更新后的对抗代价函数；
所述建立单元，还用于根据所述更新后的重建代价函数重新对所述生成模型进行训练，以及根据所述更新后的对抗代价函数重新对所述判别模型进行训练，直到所述分布结果为收敛。
12.根据权利要求8所述的终端，其特征在于，
所述获取单元，具体用于从所述待预测视频中提取原始帧；以及将所述原始帧输入至所述生成网络中，获得所述原始帧对应的生成帧；以及根据所述生成帧确定所述待预测视频对应的帧预测结果。
13.根据权利要求12所述的终端，其特征在于，
所述获取单元，还具体用于按照预设帧间隔，从所述待预测视频中提取帧图像；以及对所述帧图像分配第一序列，获得所述原始帧。
14.根据权利要求13所述的终端，其特征在于，
所述获取单元，还具体用于提取所述生成帧对应的第二序列；其中，所述第二序列与所述第一序列相对应；以及按照所述第二序列，获得所述帧预测结果。
15.一种终端，其特征在于，所述终端包括处理器、存储有所述处理器可执行指令的存储器、通信接口，和用于连接所述处理器、所述存储器以及所述通信接口的总线，当所述指令被执行时，所述处理器执行时实现如权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质，其上存储有程序，应用于终端中，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN201810637598.3A 2018-06-20 2018-06-20 一种视频帧预测方法、终端及计算机存储介质 Active CN108810551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810637598.3A CN108810551B (zh) 2018-06-20 2018-06-20 一种视频帧预测方法、终端及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810637598.3A CN108810551B (zh) 2018-06-20 2018-06-20 一种视频帧预测方法、终端及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108810551A CN108810551A (zh) 2018-11-13
CN108810551B true CN108810551B (zh) 2021-01-12

Family

ID=64085116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810637598.3A Active CN108810551B (zh) 2018-06-20 2018-06-20 一种视频帧预测方法、终端及计算机存储介质

Country Status (1)

Country Link
CN (1) CN108810551B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7305769B2 (ja) 2019-01-02 2023-07-10 オッポ広東移動通信有限公司 予測方向の決定方法、デコーダ及びコンピュータ記憶媒体
CN110769196A (zh) * 2019-10-17 2020-02-07 天津大学 一种用于非连续监控路段的视频预测方法
CN111582254A (zh) * 2020-06-19 2020-08-25 上海眼控科技股份有限公司 视频预测方法、装置、计算机设备和可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686472B (zh) * 2016-12-29 2019-04-26 华中科技大学 一种基于深度学习的高帧率视频生成方法及系统
CN107220600B (zh) * 2017-05-17 2019-09-10 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107563995A (zh) * 2017-08-14 2018-01-09 华南理工大学 一种多判别器误差反传的对抗网络方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Generating Videos with Scene Dynamics;Carl Vondrick等;《29th Conference on Neural Information Processing Systems (NIPS 2016)》;20161026;第1-8页 *
Generative Adversarial Nets;Ian J Goodfellow等;《Proceedings of the 27th International Conference on Neural Information Processing Systems》;20140610;第1-7页 *

Also Published As

Publication number Publication date
CN108810551A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN109891897B (zh) 用于分析媒体内容的方法
Denton et al. Stochastic video generation with a learned prior
Gidaris et al. Generating classification weights with gnn denoising autoencoders for few-shot learning
Garnelo et al. Conditional neural processes
US20230196117A1 (en) Training method for semi-supervised learning model, image processing method, and device
CN109697434B (zh) 一种行为识别方法、装置和存储介质
Koohzadi et al. Survey on deep learning methods in human action recognition
KR102239714B1 (ko) 신경망 학습 방법 및 장치, 데이터 처리 장치
Reddy et al. Few-shot scene adaptive crowd counting using meta-learning
CN108810551B (zh) 一种视频帧预测方法、终端及计算机存储介质
CN110807437B (zh) 视频粒度特征确定方法、装置和计算机可读存储介质
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
Hara et al. Attentional network for visual object detection
CN111738351A (zh) 模型训练方法、装置、存储介质及电子设备
Zhang et al. Multimodel feature reinforcement framework using Moore–Penrose inverse for big data analysis
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
KR20190125029A (ko) 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치
KR20230133854A (ko) 크로스-도메인 적응적 학습
Brenner et al. Tractable dendritic RNNs for reconstructing nonlinear dynamical systems
Ayral et al. Temporal stochastic softmax for 3d cnns: An application in facial expression recognition
CN114511912A (zh) 基于双流卷积神经网络的跨库微表情识别方法及装置
CN108496174B (zh) 用于面部识别的方法和系统
Nida et al. Video augmentation technique for human action recognition using genetic algorithm
Heidari et al. Progressive spatio-temporal bilinear network with monte carlo dropout for landmark-based facial expression recognition with uncertainty estimation
CN113987236A (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant