CN112040311B - 视频图像补帧方法、装置、设备及可存储介质 - Google Patents

视频图像补帧方法、装置、设备及可存储介质 Download PDF

Info

Publication number
CN112040311B
CN112040311B CN202010720883.9A CN202010720883A CN112040311B CN 112040311 B CN112040311 B CN 112040311B CN 202010720883 A CN202010720883 A CN 202010720883A CN 112040311 B CN112040311 B CN 112040311B
Authority
CN
China
Prior art keywords
optical flow
coarse
frame
grained
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010720883.9A
Other languages
English (en)
Other versions
CN112040311A (zh
Inventor
李甲
许豪
马中行
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010720883.9A priority Critical patent/CN112040311B/zh
Publication of CN112040311A publication Critical patent/CN112040311A/zh
Application granted granted Critical
Publication of CN112040311B publication Critical patent/CN112040311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种视频图像补帧方法、装置、设备及可存储介质，具体实现方案为：该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。通过训练至收敛的中间帧光流生成模型融合时间信息和运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。

Description

视频图像补帧方法、装置、设备及可存储介质
技术领域
本发明实施例涉及视频图像处理技术领域，尤其涉及一种视频图像补帧方法、装置、设备及可存储介质。
背景技术
近年来视频应用软件层出不穷，网络中的视频数据规模爆炸式增长，这给视频优化相关的发展带来了新的机遇和挑战。而视频帧率作为视频的一个重要属性，在视频内容优化研究中具有极高的意义。首先在高帧率视频方向，现代电影相关行业多采用视觉暂留技术带给观众观影体验，其主要原理是将静止的画面连续播放，当播放速度达到人眼的欺骗速度时，人们就感受到了运动。因此，电影的帧率决定了观众的观影体验，通过提高帧率来增加画面信息量以及对剧烈运动的镜头进行平滑以增强视听震撼力对影视行业的发展具有重要意义。其次在视频慢放领域，随着互联网的发展，以视频内容为主导的产业逐渐兴起，而视频慢放将会是一个重要的产品特征，具有重大的应用价值。
所以，如何提高帧率成为了视频优化相关问题的重点。而目前提高帧率一般通过对视频图像补帧的方式，而现有技术中得到的中间帧与前后帧关联性较差，导致整体视频图像的连贯性也较差。
发明内容
本发明提供一种视频图像补帧方法、装置、设备及可存储介质，用以解决目前的通过对视频图像补帧的方式所得到的中间帧与前后帧关联性较差，导致整体视频图像的连贯性也较差的问题。
本发明实施例第一方面提供一种视频图像补帧方法，所述方法应用于电子设备，所述方法包括：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；
将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；
根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。
进一步地，如上所述的方法，所述提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；
通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据。
进一步地，如上所述的方法，所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；
所述通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：
通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；
将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；
将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。
进一步地，如上所述的方法，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；
所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据，包括：
将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；
将所述补帧时间双向光流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。
进一步地，如上所述的方法，所述分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据之前，还包括：
获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；
将所述第一训练样本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；
采用重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；
若所述预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。
进一步地，如上所述的方法，所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据之前，还包括：
获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像；
将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光流生成模型进行训练；
采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛条件；
若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。
进一步地，如上所述的方法，所述根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像，包括：
根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；
根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。
本发明实施例第二方面提供一种视频图像补帧装置，所述装置位于电子设备中，包括：
粗粒度光流生成模块，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；
中间帧光流生成模块，用于将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；
中间帧图像生成模块，用于根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。
进一步地，如上所述的装置，所述粗粒度光流生成模块具体用于：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据。
进一步地，如上所述的装置，所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；
所述粗粒度光流生成模块在通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据时，具体用于：
通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。
进一步地，如上所述的装置，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；
所述中间帧光流生成模块具体用于：
将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；将所述补帧时间双向光流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。
进一步地，如上所述的装置，所述装置，还包括：第一训练模块；
所述第一训练模块用于获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；将所述第一训练样本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；采用重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；若所述预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。
进一步地，如上所述的装置，所述装置，还包括：第二训练模块；
所述第二训练模块用于：获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像；将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光流生成模型进行训练；采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛条件；若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。
进一步地，如上所述的装置，所述中间帧图像生成模块具体用于：
根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；
根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。
本发明实施例第三方面提供一种视频图像补帧设备，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行第一方面任一项所述的视频图像补帧方法。
本发明实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的视频图像补帧方法。
本发明实施例提供的一种视频图像补帧方法、装置、设备及可存储介质，该方法应用于电子设备，该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像。通过训练至收敛的中间帧光流生成模型根据目标视频中前后相邻两帧图像输出对应粗粒度光流数据，通过训练至收敛的中间帧光流生成模型根据预先配置的补帧时间数据与粗粒度光流数据输出中间帧光流数据。然后根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。本发明实施例的方法，通过训练至收敛的中间帧光流生成模型融合补帧时间数据的时间信息和粗粒度光流数据中包含的运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为可以实现本发明实施例的视频图像补帧方法的场景图；
图2为本发明第一实施例提供的视频图像补帧方法的流程示意图；
图3为本发明第二实施例提供的视频图像补帧方法的流程示意图；
图4为本发明第二实施例提供的视频图像补帧方法中步骤202的流程示意图；
图5为本发明第四实施例提供的视频图像补帧方法的训练流程示意图；
图6为本发明第五实施例提供的视频图像补帧方法的训练流程示意图；
图7为本发明六实施例提供的视频图像补帧装置的结构示意图；
图8为本发明七实施例提供的电子设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
首先对本发明实施例所涉及的名词进行解释：
帧：是影像动画中最小单位的单幅影像画面，相当于电影胶片上的每一格镜头，一帧就是一幅静止的画面，连续的帧就形成动画。
补帧：指在前后相邻两帧图像中间添加至少一帧图像。
光流：指亮度模式的表观运动，光流包含了目标运动的信息。
下面对本发明实施例提供的视频图像补帧方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为相邻后帧图像，3为相邻前帧图像，4为第二电子设备，5为第三电子设备。本发明实施例提供的视频图像补帧方法对应的应用场景的网络架构中包括：第一电子设备1、第二电子设备4和第三电子设备5。第二电子设备4存储有需要补帧的目标视频。第一电子设备1从第二电子设备4中获取目标视频的相邻前帧图像3和相邻后帧图像2，并将前后相邻两帧图像分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。在第一电子设备1生成目标中间帧图像后，可以输出目标中间帧图像至第三电子设备5中。由第三电子设备5获取第二电子设备4中目标视频的相邻前帧图像3和相邻后帧图像2，并结合目标中间帧图像，以生成补帧后的视频。或者，也可以通过第一电子设备1将目标中间帧图像结合目标视频以生成补帧后的视频。
本发明实施例提供的视频图像补帧方法，通过训练至收敛的中间帧光流生成模型融合补帧时间数据的时间信息和光流数据中的运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。
下面结合说明书附图对本发明实施例进行介绍。
图2为本发明第一实施例提供的视频图像补帧方法的流程示意图，如图2所示，本实施例中，本发明实施例的执行主体为视频图像补帧装置，该视频图像补帧装置可以集成在电子设备中。则本实施例提供的视频图像补帧方法包括以下几个步骤：
步骤S101，提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。
首先，本实施例中，前后相邻两帧图像指前帧图像和与前帧图像相邻的后帧图像。比如目标视频中的第一帧图像和第二帧图像，第一帧图像即前帧图像，而第二帧图像为与前帧图像相邻的后帧图像。其中，目标视频为需要进行视频补帧的视频。
目标视频可以是从数据库中获取、从其他电子设备获取或者人工输入的目标视频，本实施例对此不作限定。本实施例中，训练至收敛的粗粒度光流生成模型是已经训练完成的模型，用于根据前后相邻两帧图像生产对应的粗粒度光流数据。粗粒度光流数据指容纳的逻辑较多的光流数据。
其中，粗粒度光流生成模型可以为网络结构模型，比如U-net网络结构。其中U-net网络结构是一种卷积网络结构。同时，网络结构模型可以采用人工智能进行深度学习，以得到学习后的网络结构模型。
步骤S102，将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。
本实施例中，预先配置的补帧时间数据与视频需要的补帧情况有关，从而可以根据需要补帧的情况预先配置补帧时间数据，如预先配置的补帧时间数据的范围为[0，1]。比如目标视频有30帧图像，现在需要通过补帧形成60帧的图像，预先配置的补帧时间数据可以设为二分之一。如果目标视频需要通过补帧形成90帧的图像，则预先配置的补帧时间数据可以设为三分之一。
本实施例中，训练至收敛的中间帧光流生成模型为已经训练完成的模型，用于根据预先配置的补帧时间数据与粗粒度光流数据生成中间帧光流数据。
其中，中间帧光流生成模型可以为网络结构模型。其中，中间帧光流生成模型可以采用具有空间和时间特征的卷积网络结构。
本实施例中，中间帧光流数据融合了预先配置的补帧时间数据中的时间信息和粗粒度光流数据中物体运动轨迹的运动信息，也可以称为物体运动轨迹的空间信息。
步骤S103，根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。
本实施例中，以前后相邻两帧图像为基础结合中间帧光流数据，由于中间帧光流数据中具有中间帧的运动信息，从而可以结合前后相邻两帧图像生成目标中间帧图像。同时，操作方式可以是将前后相邻两帧图像和结合中间帧光流数据通过映射操作生成目标中间帧图像。
本发明实施例提供的一种视频图像补帧方法，该方法应用于电子设备，该方法包括：提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。通过训练至收敛的中间帧光流生成模型根据目标视频中前后相邻两帧图像输出对应粗粒度光流数据，通过训练至收敛的中间帧光流生成模型根据预先配置的补帧时间数据与粗粒度光流数据输出中间帧光流数据。然后根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。本发明实施例的方法，通过训练至收敛的中间帧光流生成模型融合补帧时间数据的时间信息和粗粒度光流数据中包含的运动信息，使生成的中间帧光流数据与粗粒度光流数据的关联性更强，从而提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。
图3为本发明第二实施例提供的视频图像补帧方法的流程示意图，如图3所示，本实施例提供的视频图像补帧方法，是在本发明第一实施例提供的视频图像补帧方法的基础上，对其中的各个步骤的进一步细化。则本实施例提供的视频图像补帧方法包括以下步骤。
其中，步骤201-202是对步骤101的进一步细化。
步骤S201，提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中。
本实施例中，步骤201的实现方式与本发明实施例一中的步骤101的实现方式类似，在此不再一一赘述。
步骤S202，通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据。
本实施例中，图像特征参数包括物体运动向量、像素坐标等。从前后相邻两帧图像中提取对应的图像特征参数是用于将前后相邻两帧图像中的图像特征参数进行比较，从而输出前后相邻两帧图像对应的粗粒度光流数据。所以本实施例中，根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据，具体可以为：根据物体运动向量和像素坐标输出前后相邻两帧图像对应的粗粒度光流数据。
通过利用图像特征参数来输出前后相邻两帧图像对应的粗粒度光流数据可以使得到的粗粒度光流数据与前后相邻两帧图像更为对应。
需要说明的是，步骤203-204是对步骤102的进一步细化。同时，可选的，粗粒度光流数据包括粗粒度双向光流数据。中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数。
步骤S203，将预先配置的补帧时间数据与粗粒度双向光流数据通过融合函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。
本实施例中，预先配置的补帧时间数据与本发明实施例一中的步骤102的类似，在此不再一一赘述。
在本实施例中，融合函数为：
Figure BDA0002599952280000091
以及
Figure BDA0002599952280000092
其中，
Figure BDA0002599952280000093
表示补帧时间双向光流数据中方向从相邻后帧图像至相邻前帧图像的光流数据。
Figure BDA0002599952280000094
表示补帧时间双向光流数据中方向从相邻前帧图像至相邻后帧图像的光流数据。
Figure BDA0002599952280000095
表示预先配置的补帧时间数据。F0→1表示粗粒度双向光流数据中方向从相邻前帧图像至相邻后帧图像的光流数据。F1→0表示粗粒度双向光流数据中方向从相邻后帧图像至相邻前帧图像的光流数据。
本实施例中，通过融合函数融合预先配置的补帧时间数据与粗粒度双向光流数据以输出与补帧时间数据对应的补帧时间双向光流数据，可以使补帧时间双向光流数据中包含时间信息，从而为后续生成目标中间帧图像时提供权值判断的依据。
步骤S204，将补帧时间双向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。
本实施例中，物体运动轨迹拟合函数可以采用Conv-LSTM网络中的物体运动轨迹拟合函数或其他物体运动轨迹拟合函数，本实施例对此不作限定。Conv-LSTM网络是一种将可以抽取空间特征的卷积操作加到了能抽时序特征的LSTM网络中形成的新的网络结构，这种网络结构以物体运动轨迹拟合函数为核心。
本实施例中，中间帧光流数据由于经过物体运动轨迹拟合函数的优化，使后续生成的目标中间帧图像与前后相邻两帧图像之间关联性更高。
需要说明的是，步骤205-206是对其中步骤103的进一步细化。
步骤S205，根据中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值。
本实施例中，可以根据中间帧光流数据中包含的时间信息，确认中间帧光流数据中，前后相邻两帧图像所占中间帧光流数据比重的权值。可以预先设置时间信息与权值的映射关系。比如当时间信息越接近0时，代表相邻前帧图像的权值越高。相对的，当时间信息越接近1时，代表相邻后帧图像的权值越高。
步骤S206，根据权值和前后相邻两帧图像通过映射操作生成目标中间帧图像。
本实施例中，生成目标中间帧图像的过程可以是通过映射操作将前后相邻两帧图像与中间帧光流数据分别生成对应的目标前帧和目标后帧，根据权值、目标前帧和目标后帧进行融合得到目标中间帧图像。融合的过程具体为：根据权值和目标前帧的空间信息得到加权前帧，根据权值和目标后帧的空间信息得到加权后帧。将加权前帧和加权后帧融合得到目标中间帧图像。
本发明实施例提供的一种视频图像补帧方法，该方法通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据。将预先配置的补帧时间数据与粗粒度双向光流数据通过融合函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。同时，将补帧时间双向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。然后根据中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值，根据权值和前后相邻两帧图像通过映射操作生成目标中间帧图像。
本发明实施例的方法，通过训练至收敛的中间帧光流生成模型中包括的融合函数融合预先配置的补帧时间数据与粗粒度双向光流数据，通过将时间信息和运动信息融合生成对应的补帧时间双向光流数据，然后通过物体运动轨迹拟合函数将补帧时间双向光流数据进行对应优化，以输出中间帧光流数据。由于中间帧光流数据中包括时间信息，可以根据中间帧光流数据得到前后相邻两帧图像所占中间帧光流数据比重的权值，从而使生成的目标中间帧图像按照权值结合了前后相邻两帧图像的内容，使生成的目标中间帧图像精确性更高，同时也提高了目标中间帧图像与前后帧的关联性，进而提高了整体视频图像的连贯性。
图4为本发明第二实施例提供的视频图像补帧方法中步骤202的流程示意图。如图4所示，本实施例提供的视频图像补帧方法，是在本发明第二实施例提供的视频图像补帧方法的基础上，对其中步骤202的进一步细化。则本实施例提供的视频图像补帧方法包括以下步骤。
步骤S2021，通过编码网络从前后相邻两帧图像中提取图像特征参数并进行编码，以得到对应的编码结果。其中，粗粒度光流生成模型包括编码解码网络和翻转卷积结构。
本实施例中，图像特征参数与本发明实施例二中的步骤202的类似，在此不再一一赘述。
其中，编码网络可以是将图像中的图像特征参数等转换成代码信息数据的网络结构。翻转卷积结构是一种卷积网络结构。
步骤S2022，将图像特征参数输入翻转卷积结构，得到前后相邻两帧图像的对齐特征图。
本实施例中，翻转卷积结构主要用于根据图像特征参数获取前后相邻两帧图像的空间上的相关信息，比如运动信息，并通过对齐特征图的形式来表现。具体过程为：翻转卷积结构将图像特征参数按照前帧图像的空间信息和后帧图像的对应空间信息生成对齐特征图。比如将前帧图像的像素点坐标和后帧图像的像素点坐标一一对齐，将前帧图像的物体的运动向量与后帧图像对应的物体的运动向量进行对齐，从而生成对齐特征图。
步骤S2023，将对齐特征图和编码结果输入解码网络，以输出前后相邻两帧图像对应的粗粒度光流数据。
其中，解码网络是将代码信息数据转换成光流数据的网络结构。
在本实施例中，将对齐特征图和编码结果输入解码网络，通过解码网络将图像参数等信息数据，转换为前后相邻两帧图像对应的粗粒度光流数据。通过翻转卷积结构生成的对齐特征图可以使获得的前帧图像和后帧图像之间的图像特征变化更为精确，从而使后续生成的粗粒度光流数据精确度更高。
图5为本发明第四实施例提供的视频图像补帧方法的训练流程示意图，如图5所示，本实施例提供的视频图像补帧方法，是在本发明第一至第三实施例提供的视频图像补帧方法的基础上，增加了粗粒度光流生成模型的训练流程。则本实施例提供的视频图像补帧方法包括以下步骤。
步骤S301，获取第一训练样本，第一训练样本为粗粒度光流生成模型对应的训练样本。第一训练样本中包括：前帧图像和后帧图像。
本实施例中，前帧图像和后帧图像可以是前帧图像为目标视频中的第1帧，对应后帧图像为目标视频中的第3帧。同时，前帧图像为目标视频中的第1帧，对应后帧图像为目标视频中的第5帧。以保证后续得到的实际中间帧图像在目标视频中的有对照的标准中间帧图像。比如前帧图像为目标视频中的第1帧，对应后帧图像为目标视频中的第3帧时，标准中间帧图像为目标视频中的第2帧。从而可以将生成的实际中间帧图像与标准中间帧图像进行比较，确定生成的实际中间帧图像与标准中间帧图像的相似度，从而提高生成的实际中间帧图像的精确性。
步骤S302，将第一训练样本输入到预设粗粒度光流生成模型中，以对预设粗粒度光流生成模型进行训练。
本实施例中，通过将第一训练样本输入至需要进行训练的预设粗粒度光流生成模型中，将生成的粗粒度光流数据通过重建损失函数来判断是否满足收敛条件。
步骤S303，采用重建损失函数判断预设粗粒度光流生成模型是否满足收敛条件。
本实施例中，重建损失函数为：
Lr1＝|warp_op(frame 1，-F0→1)-frame 0|
Lr2＝|warp_op(frame 0，-F1→0)-frame 1|
Figure BDA0002599952280000121
其中，Lr1表示后帧中间函数，Lr2表示前帧中间函数，Lr表示重建损失函数，frame 1表示后帧图像，frame 0表示前帧图像，F0→1表示粗粒度光流数据中方向从前帧图像至后帧图像的光流数据，F1→0表示粗粒度双向光流数据中方向从后帧图像至前帧图像的光流数据，warp_op表示利用光流数据和输入帧图像产生输出帧图像的操作，x和y代表图像中的像素点坐标，N代表图像像素数目。
本实施例中，重建损失函数主要用于对粗粒度光流数据的生成效果进行监督。
步骤S304，若预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。
其中，预设粗粒度光流生成模型对应的收敛条件是重建损失函数达到可以优化的最小值时。此时，预设粗粒度光流生成模型满足收敛条件，生成的粗粒度光流精确度较高。
本实施例中，通过使用训练后的粗粒度光流生成模型，可以使通过粗粒度光流生成模型生成的粗粒度光流数据更为精确。
图6为本发明第五实施例提供的视频图像补帧方法的训练流程示意图，如图6所示，本实施例提供的视频图像补帧方法，是在本发明第四实施例提供的视频图像补帧方法的基础上，增加了中间帧光流生成模型的训练流程。则本实施例提供的视频图像补帧方法包括以下步骤。
步骤S401，获取第二训练样本，第二训练样本为中间帧光流生成模型对应的训练样本。第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像。
本实施例中，第一标准中间帧图像为目标视频中起对照作用的标准中间帧图像。第一实际中间帧图像为训练过程中中间帧光流生成模型生成的实际中间帧图像。
步骤S402，将第二训练样本输入到预设中间帧光流生成模型中，以对预设中间帧光流生成模型进行训练。
本实施例中，训练过程与本发明实施例四中的步骤302的类似，在此不再一一赘述。
步骤S403，采用感知损失函数判断预设中间帧光流生成模型是否满足收敛条件。
本实施例中，感知损失函数为：
Figure BDA0002599952280000131
其中，Lp表示感知损失函数，φ(I)表示第一实际中间帧图像的特征输出，φ(gt)表示第一标准中间帧图像的特征输出，N代表图像像素数目。
本实施例中，感知损失函数主要在较高的语义层级对两个图像进行评判，其损失计算过程一般分为高层特征提取和特征差异计算两个步骤。其中高层特征提取一般采用经过预训练的深度神经网络中的高层特征，比如可以使用在ImageNet上预训练的VGG16网络中的conv4_3卷积层的输出，其中，ImageNet是一个用于视觉对象识别软件研究的大型可视化数据库，VGG16网络为一种网络结构，conv4_3卷积层是VGG16网络中的一个卷积层。
步骤S404，若预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。
其中，预设中间帧光流生成模型的收敛条件是感知损失函数达到最小值。此时，预设中间帧光流生成模型满足收敛条件，生成的中间帧光流精确度较高。
可选的，本实施例中，还可以采用帧间损失函数判断预设中间帧光流生成模型是否满足收敛条件来对中间帧光流生成模型进行训练。此时，训练样本包括：第二标准中间帧图像和第二实际中间帧图像。
帧间损失函数为：
Figure BDA0002599952280000141
其中，Lf表示帧间损失函数，I表示第二实际中间帧图像，gt表示第二标准中间帧图像，x，y代表图像中的像素点坐标，N代表图像像素数目。
其中，预设中间帧光流生成模型的收敛条件是帧间损失函数达到最小值。此时，预设中间帧光流生成模型满足收敛条件并确定为训练至收敛的中间帧光流生成模型。
同时，本实施例中，通过帧间损失函数可以使训练后的中间帧光流生成模型生成的中间帧光流精确性更高。
图7为本发明第六实施例提供的视频图像补帧装置的结构示意图，如图7所示，本实施例中，装置位于电子设备中，该视频图像补帧装置500包括：
粗粒度光流生成模块501，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出前后相邻两帧图像对应的粗粒度光流数据。
中间帧光流生成模块502，用于将预先配置的补帧时间数据与粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据。
中间帧图像生成模块503，用于根据前后相邻两帧图像和中间帧光流数据生成目标中间帧图像。
本实施例提供的视频图像补帧装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。
同时，本发明提供的视频图像补帧装置另一实施例在上一实施例提供的视频图像补帧装置的基础上，对视频图像补帧装置500进行了进一步的细化。
可选的，本实施例中，粗粒度光流生成模块501具体用于：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中。
同时，通过粗粒度光流生成模型从前后相邻两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据。
可选的，本实施例中，粗粒度光流生成模型包括编码解码网络和翻转卷积结构。
粗粒度光流生成模块501在通过粗粒度光流生成模型从前后两帧图像中提取对应的图像特征参数，并根据图像特征参数，输出前后相邻两帧图像对应的粗粒度光流数据时，具体用于：
通过编码网络从前后相邻两帧图像中提取图像特征参数并进行编码，以得到对应的编码结果。
同时，将图像特征参数输入翻转卷积结构，得到前后相邻两帧图像的对齐特征图。
将对齐特征图和编码结果输入解码网络，以输出前后相邻两帧图像对应的粗粒度光流数据。
可选的，本实施例中，粗粒度光流数据包括粗粒度双向光流数据。中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数。
中间帧光流生成模块502具体用于：
将预先配置的补帧时间数据与粗粒度双向光流数据通过融合函数进行融合，以输出与补帧时间数据对应的补帧时间双向光流数据。
同时，将补帧时间双向光流数据输入至物体运动轨迹拟合函数，以输出中间帧光流数据。
可选的，本实施例中，视频图像补帧装置500，还包括：第一训练模块。
第一训练模块用于获取第一训练样本，第一训练样本为粗粒度光流生成模型对应的训练样本，第一训练样本中包括：前帧图像和后帧图像。
同时，将第一训练样本输入到预设粗粒度光流生成模型中，以对预设粗粒度光流生成模型进行训练。
然后，采用重建损失函数判断预设粗粒度光流生成模型是否满足收敛条件。
若预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。
可选的，本实施例中，视频图像补帧装置500还包括：第二训练模块。
第二训练模块用于获取第二训练样本，第二训练样本为中间帧光流生成模型对应的训练样本，第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像。
同时，将第二训练样本输入到预设中间帧光流生成模型中，以对预设中间帧光流生成模型进行训练。
然后，采用感知损失函数判断预设中间帧光流生成模型是否满足收敛条件。
若预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。
可选的，本实施例中，中间帧图像生成模块503具体用于：
根据中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值。
根据权值和前后相邻两帧图像通过映射操作生成目标中间帧图像。
本实施例提供的视频图像补帧装置可以执行图2-图6所示方法实施例的技术方案，其实现原理和技术效果与图2-图6所示方法实施例类似，在此不再一一赘述。
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读存储介质。
如图8所示，是根据本发明第七实施例提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，该电子设备包括：处理器601、存储器602。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
存储器602即为本发明所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本发明所提供的视频图像补帧方法。本发明的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本发明所提供的视频图像补帧方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本发明实施例中的视频图像补帧方法对应的程序指令/模块(例如，附图7所示的粗粒度光流生成模块501，中间帧光流生成模块502及中间帧图像生成模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频图像补帧方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。

Claims (8)

1.一种视频图像补帧方法，其特征在于，所述方法应用于电子设备，所述方法包括：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；
将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；
根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像；
所述提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；
通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据；
所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；
所述通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据，包括：
通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；
将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；
将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。
2.根据权利要求1所述的方法，其特征在于，所述粗粒度光流数据包括粗粒度双向光流数据；所述中间帧光流生成模型包括融合函数和物体运动轨迹拟合函数；
所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据，包括：
将预先配置的补帧时间数据与所述粗粒度双向光流数据通过所述融合函数进行融合，以输出与所述补帧时间数据对应的补帧时间双向光流数据；
将所述补帧时间双向光流数据输入至所述物体运动轨迹拟合函数，以输出中间帧光流数据。
3.根据权利要求1所述的方法，其特征在于，所述分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据之前，还包括：
获取第一训练样本，所述第一训练样本为粗粒度光流生成模型对应的训练样本，所述第一训练样本中包括：前帧图像和后帧图像；
将所述第一训练样本输入到预设粗粒度光流生成模型中，以对所述预设粗粒度光流生成模型进行训练；
采用重建损失函数判断所述预设粗粒度光流生成模型是否满足收敛条件；
若所述预设粗粒度光流生成模型满足收敛条件，则将满足收敛条件的粗粒度光流生成模型确定为训练至收敛的粗粒度光流生成模型。
4.根据权利要求1所述的方法，其特征在于，所述将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据之前，还包括：
获取第二训练样本，所述第二训练样本为中间帧光流生成模型对应的训练样本，所述第二训练样本中包括：第一标准中间帧图像和第一实际中间帧图像；
将所述第二训练样本输入到预设中间帧光流生成模型中，以对所述预设中间帧光流生成模型进行训练；
采用感知损失函数判断所述预设中间帧光流生成模型是否满足收敛条件；
若所述预设中间帧光流生成模型满足收敛条件，则将满足收敛条件的中间帧光流生成模型确定为训练至收敛的中间帧光流生成模型。
5.根据权利要求1所述的方法，其特征在于，所述根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像，包括：
根据所述中间帧光流数据获取前后相邻两帧图像所占中间帧光流数据比重的权值；
根据所述权值和所述前后相邻两帧图像通过映射操作生成目标中间帧图像。
6.一种视频图像补帧装置，其特征在于，所述装置位于电子设备中，包括：
粗粒度光流生成模块，用于提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中，以输出所述前后相邻两帧图像对应的粗粒度光流数据；
中间帧光流生成模块，用于将预先配置的补帧时间数据与所述粗粒度光流数据输入至训练至收敛的中间帧光流生成模型中，以输出中间帧光流数据；
中间帧图像生成模块，用于根据所述前后相邻两帧图像和所述中间帧光流数据生成目标中间帧图像；
所述粗粒度光流生成模块具体用于：
提取目标视频中前后相邻两帧图像，并分别输入至训练至收敛的粗粒度光流生成模型中；通过所述粗粒度光流生成模型从所述前后相邻两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据；
所述粗粒度光流生成模型包括编码解码网络和翻转卷积结构；
所述粗粒度光流生成模块在通过所述粗粒度光流生成模型从所述前后两帧图像中提取对应的图像特征参数，并根据所述图像特征参数，输出所述前后相邻两帧图像对应的粗粒度光流数据时，具体用于：
通过编码网络从所述前后相邻两帧图像中提取所述图像特征参数并进行编码，以得到对应的编码结果；将所述图像特征参数输入所述翻转卷积结构，得到所述前后相邻两帧图像的对齐特征图；将所述对齐特征图和所述编码结果输入解码网络，以输出所述前后相邻两帧图像对应的粗粒度光流数据。
7.一种视频图像补帧设备，其特征在于，包括：存储器，处理器；
存储器；用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为由所述处理器执行如权利要求1至5任一项所述的视频图像补帧方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的视频图像补帧方法。
CN202010720883.9A 2020-07-24 2020-07-24 视频图像补帧方法、装置、设备及可存储介质 Active CN112040311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010720883.9A CN112040311B (zh) 2020-07-24 2020-07-24 视频图像补帧方法、装置、设备及可存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010720883.9A CN112040311B (zh) 2020-07-24 2020-07-24 视频图像补帧方法、装置、设备及可存储介质

Publications (2)

Publication Number Publication Date
CN112040311A CN112040311A (zh) 2020-12-04
CN112040311B true CN112040311B (zh) 2021-10-26

Family

ID=73582988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010720883.9A Active CN112040311B (zh) 2020-07-24 2020-07-24 视频图像补帧方法、装置、设备及可存储介质

Country Status (1)

Country Link
CN (1) CN112040311B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066478A (zh) * 2020-12-07 2021-07-02 泰州市朗嘉馨网络科技有限公司 基于模型训练的方言识别系统
CN112584234B (zh) * 2020-12-09 2023-06-16 广州虎牙科技有限公司 视频图像的补帧方法及相关装置
CN112804561A (zh) * 2020-12-29 2021-05-14 广州华多网络科技有限公司 视频插帧方法、装置、计算机设备及存储介质
CN114066730B (zh) * 2021-11-04 2022-10-28 西北工业大学 一种基于无监督对偶学习的视频插帧方法
CN116033225A (zh) * 2023-03-16 2023-04-28 深圳市微浦技术有限公司 基于机顶盒的数字信号处理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109672886A (zh) * 2019-01-11 2019-04-23 京东方科技集团股份有限公司 一种图像帧预测方法、装置及头显设备
CN110267098A (zh) * 2019-06-28 2019-09-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
CN110351511A (zh) * 2019-06-28 2019-10-18 上海交通大学 基于场景深度估计的视频帧率上变换系统及方法
US20200160495A1 (en) * 2017-05-01 2020-05-21 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN111277826A (zh) * 2020-01-22 2020-06-12 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111405316A (zh) * 2020-03-12 2020-07-10 北京奇艺世纪科技有限公司 插帧方法、电子设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110324664B (zh) * 2019-07-11 2021-06-04 南开大学 一种基于神经网络的视频补帧方法及其模型的训练方法
CN110798630B (zh) * 2019-10-30 2020-12-29 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110933497B (zh) * 2019-12-10 2022-03-22 Oppo广东移动通信有限公司 视频图像数据插帧处理方法及相关设备
CN111311490B (zh) * 2020-01-20 2023-03-21 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111327926B (zh) * 2020-02-12 2022-06-28 北京百度网讯科技有限公司 视频插帧方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200160495A1 (en) * 2017-05-01 2020-05-21 Gopro, Inc. Apparatus and methods for artifact detection and removal using frame interpolation techniques
CN109068174A (zh) * 2018-09-12 2018-12-21 上海交通大学 基于循环卷积神经网络的视频帧率上变换方法及系统
CN109672886A (zh) * 2019-01-11 2019-04-23 京东方科技集团股份有限公司 一种图像帧预测方法、装置及头显设备
CN110267098A (zh) * 2019-06-28 2019-09-20 连尚（新昌）网络科技有限公司 一种视频处理方法及终端
CN110351511A (zh) * 2019-06-28 2019-10-18 上海交通大学 基于场景深度估计的视频帧率上变换系统及方法
CN111277826A (zh) * 2020-01-22 2020-06-12 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质
CN111405316A (zh) * 2020-03-12 2020-07-10 北京奇艺世纪科技有限公司 插帧方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112040311A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
CN112040311B (zh) 视频图像补帧方法、装置、设备及可存储介质
US11610122B2 (en) Generative adversarial neural network assisted reconstruction
US11625613B2 (en) Generative adversarial neural network assisted compression and broadcast
CN112995652B (zh) 视频质量评估方法及装置
US11641446B2 (en) Method for video frame interpolation, and electronic device
US20230281833A1 (en) Facial image processing method and apparatus, device, and storage medium
CN115471658A (zh) 一种动作迁移方法、装置、终端设备及存储介质
US20230237713A1 (en) Method, device, and computer program product for generating virtual image
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN113379877A (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN111488886B (zh) 排列注意力特征的全景图像显著性预测方法、系统及终端
CN113822114A (zh) 一种图像处理方法、相关设备及计算机可读存储介质
CN113542758A (zh) 生成对抗神经网络辅助的视频压缩和广播
CN116757923A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116977392A (zh) 图像生成方法、装置、电子设备及存储介质
CN115035219A (zh) 表情生成方法、装置和表情生成模型的训练方法、装置
Jiang et al. Analyzing and Optimizing Virtual Reality Classroom Scenarios: A Deep Learning Approach.
CN115761565B (zh) 视频生成方法、装置、设备与计算机可读存储介质
CN115984094B (zh) 基于多损失约束视角一致性保持人脸安全生成方法及设备
CN117576248B (zh) 基于姿态引导的图像生成方法和装置
CN115714888B (zh) 视频生成方法、装置、设备与计算机可读存储介质
Shah et al. Generative Adversarial Networks for Inpainting Occluded Face Images
Qin Single-Image Animation by Cumulative Training and Motion Residual Prediction
Chen et al. LPIPS-AttnWav2Lip: Generic audio-driven lip synchronization for talking head generation in the wild
CN118096961A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant