CN111405316A - 插帧方法、电子设备及可读存储介质 - Google Patents
插帧方法、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN111405316A CN111405316A CN202010170377.7A CN202010170377A CN111405316A CN 111405316 A CN111405316 A CN 111405316A CN 202010170377 A CN202010170377 A CN 202010170377A CN 111405316 A CN111405316 A CN 111405316A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- optical flow
- training
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012966 insertion method Methods 0.000 title description 2
- 230000003287 optical effect Effects 0.000 claims abstract description 212
- 238000006243 chemical reaction Methods 0.000 claims abstract description 97
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims description 215
- 230000002457 bidirectional effect Effects 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供了一种插帧方法、电子设备及可读存储介质，其中，上述插帧方法，应用于电子设备，包括：接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；将第一图像与第二图像输入到目标插帧网络中，获得第三图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。本发明实施例提供的插帧方法能够有效提升多媒体资源平滑度。
Description
技术领域
本发明涉及多媒体技术领域，特别是涉及一种插帧方法、电子设备及可读存储介质。
背景技术
随着多媒体技术的发展，用户对视频或动态图等多媒体资源的视觉效果要求越来越高，而多媒体资源的帧率，即以帧称为单位的位图图像连续出现在显示器上的频率，则是影响用户视觉效果的一个重要因素。目前，由于拍摄设备的限制，或者多媒体资源传输时的码流限制，可能导致出现一些低帧率的多媒体资源。
目前，为提升低帧率的多媒体资源的平滑度，通常会采用到光流法进行插帧，即在多媒体资源的相邻两帧图像之间插入中间帧。而现有技术在采用光流法插帧时，通常是通过预测两帧图像之间的光流，然后根据预测的光流直接估算中间帧。由于预测的光流可能与实际光流可能存在误差，例如，相邻两帧图像的图像内容中存在物体遮挡时，预测的光流与实际光流误差较大。现有技术中基于预测的光流直接估算中间帧，容易导致该中间帧质量较差，对多媒体资源平滑度的提升效果有限。
发明内容
本发明实施例的目的在于提供一种插帧方法、电子设备及可读存储介质，以克服现有技术基于预测的光流直接估算中间帧，导致中间帧质量较差，对多媒体资源平滑度的提升效果有限的问题。具体技术方案如下：
在本发明实施的第一方面，首先提供了一种插帧方法，应用于电子设备，所述方法包括：
接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
在本发明实施的第二方面，还提供了一种电子设备，包括：
接收模块，用于接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
第一获取模块，用于将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
插帧模块，用于将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的插帧方法。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的插帧方法。
本发明实施例提供的插帧方法，将多媒体资源中相邻的第一图像与第二图像输入到目标插帧网络中，获得第三图像并将其作为中间帧插入到第一图像与第二图像之间，其中，目标插帧网络包括了目标光流网络、转化模块以及目标融合网络；克服了现有技术中基于预测的光流直接估算中间帧，容易导致中间帧质量较差的问题；进而能够有效提升多媒体资源平滑度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的插帧方法的流程图；
图2为本发明实施例中通过目标插帧网络获取第三图像的流程图；
图3为本发明实施例中对原始插帧网络训练得到目标插帧网络的流程图；
图4为本发明实施例提供的电子设备的一种结构示意图；
图5为本发明实施例提供的电子设备的另一种结构示意图；
图6为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供的插帧方法，应用于电子设备，参见图1，所述方法包括：
步骤S101，接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
步骤S102，将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
步骤S103，将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
上述多媒体资源可以是视频、动态图等具有N帧图像的资源，N为大于1的整数，以下主要以视频资源为例对本发明实施例提供的插帧方法进行说明。
本实施例中，接收的多媒体资源可以是帧率相对较低的视频，例如，每秒传输帧数(Frames Per Second，fps)为30的低帧率视频。若需将该低帧率视频转化为60fps的高帧率视频，则可以在低帧率视频的每相邻两帧图像之间插入一中间帧，即可以进行插帧的操作。
定义上述低帧率视频中，任相邻两帧图像中，前一帧图像为第一图像，后一帧图像为第二图像，则插帧的目标是在第一图像与第二图像之间插入一个新的第三图像。本实施例中，可以将第一图像与第二图像作为输入量，输入到目标插帧网络中，以得到第三图像，其中，目标插帧网络可以是预先训练好的插帧网络。
具体来说，上述目标插帧网络包括目标光流网络、转化模块以及目标融合网络。目标光流网络可以是预先训练好的神经光流网络(FlowNet)，可通过卷积网络实现光流预测(Learning Optical Flow with Convolutional Networks)，并将预测的光流信息作为转化模块的输入；转化模块则可以基于预测的光流信息对第一图像与第二图像进行转化，并将转化得到的结果作为目标融合网络的输入；目标融合网络则可以是预先训练好的卷积网络，并能够对转化模块转化得到的结果进行融合，得到第三图像，通过目标融合网络中的卷积网络，对转化模块的输出进行融合，能够避免第三图像中出现空洞等缺陷，提高第三图像质量。
本发明实施例提供的插帧方法，将多媒体资源中相邻的第一图像与第二图像输入到目标插帧网络中，获得第三图像并将其作为中间帧插入到第一图像与第二图像之间，其中，目标插帧网络包括了目标光流网络、转化模块以及目标融合网络；克服了现有技术中基于预测的光流直接估算中间帧，容易导致中间帧质量较差的问题；进而能够有效提升多媒体资源平滑度。
可选地，如图2所示，上述步骤S102，将第一图像与第二图像输入到目标插帧网络中，获得第三图像，包括；
步骤S201，将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
步骤S202，将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
步骤S203，将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。
上述目标光流网络用于光流预测，其输入可以是上述的第一图像与第二图像，其输出可以是目标双向光流图。对于目标双向光流图，包括了第一光流信息与第二光流信息；为便于理解，此处引入一中间参考帧的概念，第一光流信息反映了第一图像到中间参考帧的光流，第二光流信息反映了中间参考帧到第二图像的光流。当然，如上文所述，目标光流网络的输出为目标双向光流图，而并非中间参考帧，此处的中间参考帧只是用于说明上述光流信息的具体含义的假想参数。对于光流图，可以是代表了每一个像素点在预设图像坐标系上移动的位移。
转化模块能够依据第一光流信息对第一图像进行转化，得到第一转化图像；并依据第二光流信息对第二图像进行转化，得到第二转化图像。具体地：
第一图像由多个像素点组成，假设第一图像中任一像素点(下称为第一像素点)在预设图像坐标系中的坐标为(x1,y1),第一光流信息中包括了与第一像素点对应的光流(Δx12,Δy12)，其中，(Δx12,Δy12)可以认为是目标双向光流图中与第一像素点对应的第二像素点的值，转化模块则可以将第一图像中的第一像素点，转移到第一转化图像中的(x1+Δx12,y1+Δy12)坐标上。同理，对于第二图像中任一像素点(下称第三像素点)在预设图像坐标系中的坐标为(x3,y3)，目标双向光流图中与第三像素点对应的第四像素点的值为(Δx23,Δy23)，转化模块则可以将第二图像中的第三像素点，转移到第二转化图像中的(x3-Δx23,y3-Δy23)坐标上。
目标融合网络可以对第一转化图像与第二转化图像进行融合，得到第三图像。目标融合网络的功能可以概括为对有效信息进行融合以及对无效信息进行剔除。例如，无效信息可以是转化图像中的空洞所对应的像素点，有效信息则可以是转化图像中空洞以外的像素点。当然，实际应用中，有效信息与无效信息的判定，可以基于图像梯度等条件来进行。
本实施例中，转化模块基于第一图像、第二图像以及目标光流网络输出的目标双向光流图，转化得到第一转化图像与第二转化图像两个转化图像，目标融合网络则对两个转化图像进行融合得到第三图像。如此，既可以对两个转化图像之间相对应的有效信息进行融合，又可以在其中一个转化图像中存在空洞等无效信息时，能够利用到另一个转化图像中的有效信息进行融合，从而提高第三图像的清晰度，有效减少出现劣化的情况。
在一个示例中，上述目标光流网络采用类似于U-net的结构。通常情况下，U-net结构包括一个用于捕捉语义的收缩路径(可简称下采样)和一个用于精准定位的对称扩展路径(可简称上采样)；相应的，本示例中，上述目标光流网络包括用于提取输入图像的多尺度的特征的上采样，以及用于对提取的特征进行融合的上采样。目标光流网络输入可以是视频资源中相邻两帧图像，其输出可以是和原输入图像大小一致的目标双向光流图。
在另一个示例中，上述目标融合网络采用全卷积融合。例如，目标融合网络可以采用4层卷积层，每层卷积层的卷积核大小均为7×7，4层卷积层的通道数分别为32、64、32、3。
在一个实际应用场景中，可以将所述的插帧方法应用于1080p视频的插帧中，例如，将30fps视频转为60fps视频。通过上述目标插帧网络的应用，可以使得插入的中间帧足够清晰；在有图像有较大运动的情况下，插入的中间帧不会出现模糊等劣化情况。插帧后的得到的视频的具有较高的清晰度与平滑度，视频质量得到有效提高。
可选地，参见图3，上述步骤S101，接收多媒体资源，所述多媒体资源包括N帧图像之前，所述方法还包括：
步骤S301，基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
步骤S302，分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。
可以理解的是，上述目标插帧网络是训练好的插帧网络，训练好之前的插帧网络即上述的原始插帧网络。原始插帧网络是基于神经网络进行建立的，具体来说，原始插帧网络包括原始光流网络、转化模块以及原始融合网络，其中，本实施例中，至少是原始光流网络与原始融合网络是基于神经网络建立的，而转化模块可以是如上文中所述的，仅用于对像素点坐标的计算。当然，实际应用中，转化模块的具体结构，可根据实际需要进行选择，例如，也可以是基于神经网络建立的。
原始插帧网络的结构可以预先确定，具体结构即如上文所述的：原始光流网络的输入端用于接收P个第一训练样本，转化模块的输入端用于接收P个第一训练样本与原始光流网络的输出，原始融合网络的输入端用于接收转化模块的输出。
对于第一训练样本，可以是预设的一套样本视频集中的样本视频，每一第一训练样本，均包括了至少三帧样本图像。设第一样本图像、第二样本图像、第三样本图像是任一第一训练样本中，连续的三帧样本图像，且在时间轴上从前到后排列。在对原始插帧网络进行训练时，将第一样本图像与第三样本图像输入到原始插帧网络中，基于类似上述实施例所示的目标插帧网络的工作原理，原始插帧网络可以输出得到原始生成图像。将原始生成图像与第二样本图像进行比较，基于比较结果对原始插帧网络的网络参数进行调整，得到目标插帧网络。
当然，在实际应用，上述对原始生成图像与第二样本图像进行比较的过程，通常可以建立一损失值关于原始生成图像与第二样本图像的损失函数来实现；上述比较结果即基于原始生成图像与第二样本图像，计算得到的损失函数的函数值。当对原始插帧网络的网络参数进行调整，使得损失函数的函数值满足某一阈值时，即可得到目标插帧网络。
本实施例通过第一训练样本对建立的原始插帧网络进行训练，得到训练好的目标插帧网络，能够在后续使用目标插帧网络进行中间帧的生成时，提高生成的中间帧的合理性。
可选地，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络，包括：
分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。
也就是说，本实施例中，是采用分布训练的方式对原始插帧网络进行训练，以得到目标插帧网络。总的来说，上述训练过程为：
首先，使用第二训练样本对原始光流网络进行单独训练，得到预训练光流网络；具体地，每个第二训练样本中包括了两帧训练图像(即第四训练图像与第五训练图像)与这两帧训练图像之间的训练双向光流图。将上述两帧训练图像作为原始光流网络的输入，并输出原始双向光流图，基于所述训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络。同样地，上述训练过程可以通过建立损失函数来实现，此处不再进行赘述。通过第二训练样本对原始光流网络进行单独的训练，以提高原始光流网络从图像中提取特征与光流信息的能力。
然后，将预训练光流网络进行固定(即不改变预训练光流网络的网络参数)，基于整个插帧网络(此时对应上述第一原始插帧网络)，使用第一训练样本对原始融合网络进行训练，得到预训练融合网络；
最后，取消对预训练光流网络的固定，基于整个插帧网络(此时对应上述第二原始插帧网络)，使用第一训练样本同时对预训练光流网络与预训练融合网络进行训练，最终得到目标插帧网络。
本实施例通过分步训练的方式，能够有效加快原始插帧网络的收敛速度，提高对原始插帧网络的训练效率。
在一个实际应用场景中，可以收集600个高清视频集，将视频集切帧提取50000组包含3帧相邻图像数据的数据集，每一个数据集即一个第一训练样本；在训练时，将数据集的前后两帧作为原始插帧网络的输入，将中间一帧作为真值，用于对原始插帧网络的网络参数进行控制。对于第二训练样本，可以是从光流数据集，例如flying chairs(直译为飞椅)光流数据集中获取的。
参见图4，本发明实施例还提供了一种电子设备，包括：
接收模块401，用于接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
第一获取模块402，用于将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
插帧模块403，用于将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
可选地，所述第一获取模块，包括；
第一获取单元，用于将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
第二获取单元，用于将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
第三获取单元，用于将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。
可选地，上述电子设备还包括：
建立模块，用于基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
第二获取模块，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。
可选地，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述第二获取模块包括：
第四获取单元，用于分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
第五获取单元，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
第六获取单元，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。
需要说明的是，该电子设备是与上述插帧方法对应的电子设备，上述方法实施例中所有实现方式均适用于该电子设备的实施例中，也能达到相同的技术效果。
如图5所示，在一个示例中，通过对上述电子设备各个组成模块的重新划分，上述电子设备可包括：
输入模块501，用于输入第一图像与第二图像，其中，第一图像与第二图像为多媒体资源所包括的N帧图像中，任相邻的两帧图像；
光流网络502，用于对输入的第一图像与第二图像进行光流预测，获得目标双向光流图；
转化模块503，用于基于目标双向光流图分别对第一图像和第二图像进行转化，得到第一转化图像与第二转化图像；
融合网络504，用于对第一转化图像与第二转化图像进行融合，获得第三图像；
输出模块505，用于输出第三图像，其中，第三图像可以作为中间帧插入到第一图像与第二图像之间。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
可选地，所述将第一图像与第二图像输入到目标插帧网络中，获得第三图像，包括；
将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。
可选地，所述接收多媒体资源，所述多媒体资源包括N帧图像之前，还可以实现如下步骤：
基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。
可选地，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络，包括：
分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的插帧方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的插帧方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (10)
1.一种插帧方法，其特征在于，应用于电子设备，所述方法包括：
接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
2.根据权利要求1所述的方法，其特征在于，所述将第一图像与第二图像输入到目标插帧网络中，获得第三图像，包括；
将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。
3.根据权利要求1所述的方法，其特征在于，所述接收多媒体资源，所述多媒体资源包括N帧图像之前，所述方法还包括：
基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。
4.根据权利要求3所述的方法，其特征在于，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络，包括：
分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。
5.一种电子设备，其特征在于，包括：
接收模块，用于接收多媒体资源，所述多媒体资源包括N帧图像，N为大于1的整数；
第一获取模块，用于将第一图像与第二图像输入到目标插帧网络中，获得第三图像，其中，所述第一图像与所述第二图像为所述多媒体资源所包括的N帧图像中，任相邻的两帧图像；所述目标插帧网络包括目标光流网络、转化模块以及目标融合网络，所述目标光流网络的输入端用于接收所述第一图像与所述第二图像，所述转化模块的输入端用于接收所述第一图像、所述第二图像以及所述目标光流网络的输出，所述目标融合网络的输入端用于接收所述转化模块的输出；
插帧模块，用于将所述第三图像作为中间帧插入到所述第一图像与所述第二图像之间。
6.根据权利要求5所述的电子设备，其特征在于，所述第一获取模块，包括；
第一获取单元，用于将第一图像与第二图像输入到目标光流网络中进行光流预测，获得目标双向光流图，其中，所述包括目标光流图包括第一光流信息与第二光流信息；
第二获取单元，用于将所述第一图像、所述第二图像以及所述目标双向光流图输入到转化模块中，获得第一转化图像与第二转化图像，其中，所述第一转化图像为依据所述第一光流信息对所述第一图像进行转化获得，所述第二转化图像为依据所述第二光流信息对所述第二图像进行转化获得；
第三获取单元，用于将所述第一转化图像与所述第二转化图像输入到目标融合网络中进行融合处理，获得第三图像。
7.根据权利要求5所述的电子设备，其特征在于，还包括：
建立模块，用于基于神经网络模型建立原始插帧网络，其中，所述原始插帧网络包括原始光流网络、转化模块以及原始融合网络，所述原始光流网络的输入端用于接收P个第一训练样本，所述转化模块的输入端用于接收所述P个第一训练样本与所述原始光流网络的输出，所述原始融合网络的输入端用于接收所述转化模块的输出；所述P个第一训练样本中，每一第一训练样本均包括至少三帧样本图像，P为大于1的整数；
第二获取模块，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到所述原始插帧网络中，获得与所述每一第一训练样本对应的原始生成图像；基于所述原始生成图像与所述每一第一训练样本中的第二样本图像，对所述原始插帧网络的网络参数进行调整，获得目标插帧网络；
其中，所述第一样本图像、所述第二样本图像、所述第三样本图像为所述每一第一训练样本中，任连续的三帧样本图像。
8.根据权利要求7所述的电子设备，其特征在于，所述原始光流网络的输入端还用于接收Q个第二训练样本，所述Q个第二训练样本中，每一第二训练样本均包括第四训练图像、第五训练图像以及所述第四训练图像与所述第五训练图像之间的训练双向光流图，Q为大于1的整数；
所述第二获取模块包括：
第四获取单元，用于分别将所述每一第二训练样本中的第四训练图像与第五训练图像输入到所述原始光流网络中，获得与所述每一第二训练样本对应的原始双向光流图；基于所述每一第二训练样本中的训练双向光流图与所述原始双向光流图，对所述原始光流网络的网络参数进行调整，获得预训练光流网络；
第五获取单元，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第一原始插帧网络中，获得与所述每一第一训练样本对应的第一原始生成图像；基于所述第一原始生成图像与所述每一第一训练样本中的第二样本图像，对原始融合网络的网络参数进行调整，获得预训练融合网络；其中，所述第一原始插帧网络包括预训练光流网络、转化模块以及原始融合网络；
第六获取单元，用于分别将所述每一第一训练样本中的第一样本图像与第三样本图像输入到第二原始插帧网络中，获得与所述每一第一训练样本对应的第二原始生成图像；基于所述第二原始生成图像与所述每一第一训练样本中的第二样本图像，对预训练光流网络的网络参数与预训练融合网络的网络参数进行调整，获得目标光流网络与目标融合网络；其中，所述第二原始插帧网络包括预训练光流网络、转化模块以及预训练融合网络。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170377.7A CN111405316A (zh) | 2020-03-12 | 2020-03-12 | 插帧方法、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010170377.7A CN111405316A (zh) | 2020-03-12 | 2020-03-12 | 插帧方法、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111405316A true CN111405316A (zh) | 2020-07-10 |
Family
ID=71430722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010170377.7A Pending CN111405316A (zh) | 2020-03-12 | 2020-03-12 | 插帧方法、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111405316A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112040311A (zh) * | 2020-07-24 | 2020-12-04 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112104830A (zh) * | 2020-08-13 | 2020-12-18 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112533026A (zh) * | 2020-11-27 | 2021-03-19 | 西安蓝极医疗电子科技有限公司 | 基于卷积神经网络的视频插帧方法 |
| CN112565653A (zh) * | 2020-12-01 | 2021-03-26 | 咪咕文化科技有限公司 | 一种视频插帧方法、系统、电子设备及存储介质 |
| CN112584076A (zh) * | 2020-12-11 | 2021-03-30 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| CN112954454A (zh) * | 2021-02-08 | 2021-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧生成方法及装置 |
| CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
| CN113132664A (zh) * | 2021-04-19 | 2021-07-16 | 科大讯飞股份有限公司 | 一种插帧生成模型构建方法、视频插帧方法 |
| CN113542651A (zh) * | 2021-05-28 | 2021-10-22 | 北京迈格威科技有限公司 | 模型训练方法、视频插帧方法及对应装置 |
| CN113949926A (zh) * | 2020-07-17 | 2022-01-18 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、存储介质及终端设备 |
| WO2022161280A1 (zh) * | 2021-01-28 | 2022-08-04 | 维沃移动通信有限公司 | 视频插帧方法、装置及电子设备 |
| CN115209185A (zh) * | 2021-04-12 | 2022-10-18 | 北京字跳网络技术有限公司 | 视频插帧方法、装置及可读存储介质 |
| WO2022267957A1 (zh) * | 2021-06-21 | 2022-12-29 | 华为技术有限公司 | 用于视频插帧的方法、装置及设备 |
| CN115644804A (zh) * | 2022-09-29 | 2023-01-31 | 浙江浙大西投脑机智能科技有限公司 | 一种基于钙成像恢复算法的双光子成像方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3026921A1 (en) * | 2014-11-25 | 2016-06-01 | Samsung Electronics Co., Ltd. | Video call method in packet-switched network and device supporting the same |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN109922231A (zh) * | 2019-02-01 | 2019-06-21 | 重庆爱奇艺智能科技有限公司 | 一种用于生成视频的插帧图像的方法和装置 |
-
2020
- 2020-03-12 CN CN202010170377.7A patent/CN111405316A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3026921A1 (en) * | 2014-11-25 | 2016-06-01 | Samsung Electronics Co., Ltd. | Video call method in packet-switched network and device supporting the same |
| CN106210449A (zh) * | 2016-08-11 | 2016-12-07 | 上海交通大学 | 一种多信息融合的帧率上变换运动估计方法及系统 |
| CN109922231A (zh) * | 2019-02-01 | 2019-06-21 | 重庆爱奇艺智能科技有限公司 | 一种用于生成视频的插帧图像的方法和装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113949926A (zh) * | 2020-07-17 | 2022-01-18 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、存储介质及终端设备 |
| CN113949926B (zh) * | 2020-07-17 | 2024-07-30 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、存储介质及终端设备 |
| CN112040311B (zh) * | 2020-07-24 | 2021-10-26 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112040311A (zh) * | 2020-07-24 | 2020-12-04 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112104830A (zh) * | 2020-08-13 | 2020-12-18 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112104830B (zh) * | 2020-08-13 | 2022-09-27 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112055249B (zh) * | 2020-09-17 | 2022-07-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112533026A (zh) * | 2020-11-27 | 2021-03-19 | 西安蓝极医疗电子科技有限公司 | 基于卷积神经网络的视频插帧方法 |
| CN112565653B (zh) * | 2020-12-01 | 2023-04-07 | 咪咕文化科技有限公司 | 一种视频插帧方法、系统、电子设备及存储介质 |
| CN112565653A (zh) * | 2020-12-01 | 2021-03-26 | 咪咕文化科技有限公司 | 一种视频插帧方法、系统、电子设备及存储介质 |
| US11641446B2 (en) | 2020-12-11 | 2023-05-02 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for video frame interpolation, and electronic device |
| CN112584076A (zh) * | 2020-12-11 | 2021-03-30 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| CN112584076B (zh) * | 2020-12-11 | 2022-12-06 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置及电子设备 |
| WO2022161280A1 (zh) * | 2021-01-28 | 2022-08-04 | 维沃移动通信有限公司 | 视频插帧方法、装置及电子设备 |
| CN112954454A (zh) * | 2021-02-08 | 2021-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧生成方法及装置 |
| CN112954454B (zh) * | 2021-02-08 | 2023-09-05 | 北京奇艺世纪科技有限公司 | 一种视频帧生成方法及装置 |
| CN115209185A (zh) * | 2021-04-12 | 2022-10-18 | 北京字跳网络技术有限公司 | 视频插帧方法、装置及可读存储介质 |
| CN113132664B (zh) * | 2021-04-19 | 2022-10-04 | 科大讯飞股份有限公司 | 一种插帧生成模型构建方法、视频插帧方法 |
| CN113132664A (zh) * | 2021-04-19 | 2021-07-16 | 科大讯飞股份有限公司 | 一种插帧生成模型构建方法、视频插帧方法 |
| CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
| CN113542651A (zh) * | 2021-05-28 | 2021-10-22 | 北京迈格威科技有限公司 | 模型训练方法、视频插帧方法及对应装置 |
| CN113542651B (zh) * | 2021-05-28 | 2023-10-27 | 爱芯元智半导体(宁波)有限公司 | 模型训练方法、视频插帧方法及对应装置 |
| WO2022267957A1 (zh) * | 2021-06-21 | 2022-12-29 | 华为技术有限公司 | 用于视频插帧的方法、装置及设备 |
| CN115644804A (zh) * | 2022-09-29 | 2023-01-31 | 浙江浙大西投脑机智能科技有限公司 | 一种基于钙成像恢复算法的双光子成像方法及系统 |
| CN115644804B (zh) * | 2022-09-29 | 2023-08-18 | 浙江浙大西投脑机智能科技有限公司 | 一种基于钙成像恢复算法的双光子成像方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111405316A (zh) | 插帧方法、电子设备及可读存储介质 | |
| KR102365521B1 (ko) | 비디오 인식 및 훈련 방법과 장치, 전자 기기와 매체 | |
| CN111782968B (zh) | 内容推荐方法、装置、可读介质及电子设备 | |
| CN110868625A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| CN112541878A (zh) | 建立图像增强模型与图像增强的方法、装置 | |
| EP4053784A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| CN113014936B (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| US20170118442A1 (en) | Apparatus and method for converting a frame rate | |
| CN110827380A (zh) | 图像的渲染方法、装置、电子设备及计算机可读介质 | |
| CN113487524B (zh) | 图像格式转换方法、装置、设备、存储介质及程序产品 | |
| CN112084920A (zh) | 提取热词的方法、装置、电子设备及介质 | |
| CN111860363A (zh) | 一种视频图像的处理方法及装置、电子设备、存储介质 | |
| KR20170080496A (ko) | 프레임 레이트 변환 방법 및 장치 | |
| WO2024082933A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US20100039517A1 (en) | Film cadence detection | |
| US6369848B1 (en) | Picture data transmission device and picture signal coding method thereof | |
| US11928855B2 (en) | Method, device, and computer program product for video processing | |
| CN117640920A (zh) | 一种视频决策码率确定方法、装置、存储介质及电子装置 | |
| Shen et al. | Prediction-assistant frame super-resolution for video streaming | |
| CN105684450A (zh) | 一种视频网络的存储管理方法及系统 | |
| CN114554248B (zh) | 一种基于神经网络的视频插帧方法 | |
| CN116958203B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113628312B (zh) | 一种基于Unity3D内置渲染管线的云渲染方法及装置 | |
| CN109168007B (zh) | 一种标定焦点及其图像传输的方法 | |
| US11647153B1 (en) | Computer-implemented method, device, and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200710 |
|
| RJ01 | Rejection of invention patent application after publication |