CN109151474A - 一种生成新视频帧的方法 - Google Patents
一种生成新视频帧的方法 Download PDFInfo
- Publication number
- CN109151474A CN109151474A CN201810969162.4A CN201810969162A CN109151474A CN 109151474 A CN109151474 A CN 109151474A CN 201810969162 A CN201810969162 A CN 201810969162A CN 109151474 A CN109151474 A CN 109151474A
- Authority
- CN
- China
- Prior art keywords
- frame
- video frame
- video
- light stream
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频编辑技术领域,具体为一种生成新视频帧的方法。本发明方法利用视频前后帧之间的光流估计新生成的中间帧到视频前后帧之间的光流,并根据该光流值对前后帧进行相应逆插值处理生成新的中间视频帧。本发明使用视频前后帧之间的关联性结合多尺度的框架,从粗到细地预测新的视频帧。实验结果表明,本方法不仅生成了较高质量的中间视频帧,还保持了新视频的时间连贯性,达到快速的几乎实时的处理效果,因此相较于传统的视频插帧方法,本发明具有更现实的应用价值及更丰富的研究意义。
Description
技术领域
本发明属于视频编辑技术领域,涉及一种视频插帧方法。
背景技术
传统的视频插帧技术基本是作为视频质量增强技术的研究分支。它是一门具有较高科学研究价值及较为广泛应用领域的现代视频处理技术。
视频帧数是衡量视频质量的重要指标,视频的帧数越多,视频包含的信息量越多,观看效果越平滑稳定。因此具有更多帧数的视频在各个领域都有着重要的应用及科研价值。但由于视频在采集、存储、传输过程中的条件限制,导致无法获得具有更多帧数的视频片段,通常获取具有更多帧视频的摄像设备成本很高,也占据大量内存,传输这样的视频更是浪费大量资源,因此在实际情况中许多应用并没有条件直接获取并利用原始的具有大量帧数的视频。
而视频插帧技术正是针对这一问题,采用了基于信号处理的方法来恢复视频中间帧,增加视频帧数,是一种有效提高视频性能、缓解现实困难的途径。并且该方法成本低,速度快,因此对高效的视频插帧技术的研究显得具有十分重要的现实意义。目前,通过从原始具有较少帧数的视频中生成更多新的视频帧的视频插帧技术在许多视频应用及研究领域如:帧速率转换 (例如,在广播标准之间)、生成慢动作视频、图像变形以及虚拟视图合成、可伸缩视频编码及分布式视频编码等领域都表现出了巨大的应用潜力。
传统的视频插帧方法是基于一个简单的插值模型,对原始视频中的前后相邻两帧进行插值,生成新的中间视频帧[1-3]。但是这种插值模型简化了视频中的运动位移信息,导致插值出来的新视频帧具有不同程度的模糊及重影现象,带来了不好的视觉体验,因此传统的视频插值方法往往不能用于处理现实场景中的低帧率视频。为利用视频中的运动信息,出现了基于运动估计的视频插帧方法[4,5],该类方法首先执行视频间的运动估计生成运动场,再基于该运动场执行运动补偿生成新的中间视频帧。但此类方法需要分步处理无法实现端到端地生成新的视频帧,因此浪费了大量时间,效率较低。此外传统的哦运动估计方法往往不能准确估计出视频中存在的运动,导致运动误差的存在反而使生成的新视频帧效果更差。因此提出一种高效的端到端的视频插帧方法具有更大的现实意义及应用价值。
近年来,随着卷积神经网络(CNN)在计算机视觉领域的应用,出现了许多基于CNN的光流估计方法,实现了对视频中运动信息估计准确性的突破性发展,其中以PWCNET[6]及FlowNet[7]等方法最具代表性。这些方法通过使用CNN模型学习前后视频帧和真实光流信息间的映射关系来重建真实光流,实现了准确的运动估计效果。
随着卷积神经网络在光流估计领域实现不断提升的效果,更多的学者通过继续改进该网络结构并结合插值的方法在视频插帧的效果上得到不断突破。
发明内容
为了克服现有技术的不足,本发明的目的在于提供一种更具有实际应用价值的视频插帧方法,以生成新视频帧;它主要针对帧数有限的视频进行处理。
本发明提供一种生成新视频帧的方法,具体步骤如下:
(1)视频前后帧之间光流计算
将视频相邻前后两帧(I1 H,W,I2 H,W)输入到光流估计网络(记为PWCNET)中,学习出大小为原图分辨率四分之一大小的两帧之间的光流(f1→2 H/4,W/4,f2→1 H/4,W/4);其中,H、W表示视频帧的高和宽,光流估计网络(PWCNET)采用论文[6]中的光流网络结构:
(2)多尺度光流估计
首先,将上一步输出的小尺度光流(f1→2 H/4,W/4,f2→1 H/4,W/4)与使用双线性插值方法下采样为原始视频四分之一大小的前后两帧视频(I1 H/4,W/4,I2 H/4,W/4)一起输入第一个子网络NET1中,学习出在原始视频四分之一大小的新视频帧与前后两帧之间的光流(ft→1 H/4,W/4,ft→2 H/4,W/4)和对应遮罩(m1 H/4,W/4,m2 H/4,W/4):
其次,将原始视频四分之一尺度下的光流(ft→1 H/4,W/4,ft→2 H/4,W/4)和对应遮罩(m1 H /4,W/4,m2 H/4,W/4)使用双线性插值方法上采样得到输出OH/2,W/2:
将OH/2,W/2与使用双线性插值方法下采样到原始视频二分之一大小的前后视频帧(I1 H/2,W/2,I2 H/2,W/2)一同输入第二个子网络NET2中,将网络NET2的输出与输入相加,学习出在原始视频二分之一大小的新视频帧与前后两帧间的光流(ft→1 H/2,W/2,ft→2 H/2,W/2)及其对应遮罩(m1 H/2,W/2,m2 H/2,W/2):
最后,再将原始视频二分之一尺度下的光流(ft→1 H/2,W/2,ft→2 H/2,W/2)和对应遮罩(m1 H/2,W/2,m2 H/2,W/2)使用双线性插值方法上采样得到输出OH,W:
将OH,W与原始视频的前后帧(I1 H,W,I2 H,W)一同输入第三个子网络NET3中,将网络NET3的输入与输出相加,学习出与原始视频同样大小的新视频帧与前后两帧间的光流(ft→1,ft→2) 及其对应遮罩(m1,m2):
ft→1,ft→2,m1,m2=NET3(I1 H,W,I2 H,W,OH,W)+OH,W。
(3)新视频帧的生成
根据上一步得到的新视频帧与前后两帧间的光流(ft→1,ft→2),使用逆双线性插值的方法将前后视频帧(I1,I2)分别对齐到新的时间轴上,再用对应的遮罩(m1,m2)将对齐的两帧视频加权求和生成新的视频帧It:
It=m1BIW(I1,ft→1)+m2BIW(I2,ft→2)。
本发明利用了从小尺度到大尺度逐步优化结果,每个子网络输出不同尺度的结果,从粗到细去预测和调整中间帧到前后两帧的光流以及遮罩;使不同尺度下的输出可以更准确地估计不同尺度的运动,从而为生成新视频帧提供更精确的运动信息,得到更好的视频插帧效果。
本发明步骤(1)中,所述光流估计网络(PWCNET)[6],包括一个空洞卷积层、5个大小为3×3的卷积层,具体处理流程如下:
将前后两帧视频帧(I1,I2)输入,首先分别经过一个空洞卷积层,生成特征(c1,c2),并计算特征的相关性(cv):
其中,c1 L、c2 L分别是特征c1、c2的向量形式,T为转置操作,N为特征向量(c1 L、c2 L)的长度;
最后,将cv输入5个大小为3×3的卷积层生成光流(f1→2 H/4,W/4,f2→1 H/4,W/4),每个卷积层的特征数分别为128、128、96、64和32。
本发明步骤(2)中,所有子网络(包括NET1、NET2、NET3)采用相同结构,记为NET,该NET的具体结构,包括依次排布的:6个大小为5×5的卷积层;一个大小为5×5、步幅为 2的去卷积层和一个大小为5×5的卷积层;一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层;一个卷积层;其处理流程为:
将子网络(NET)的输入x经过6个大小为5×5的卷积层生成特征,记为f:
f=Conv6(Conv5(...,Conv1(x),...))
将f经一个大小为5×5、步幅为2的去卷积层、一个大小为5×5的卷积层生成特征,记为f1:
f1=Conv(Deconv(f))
将f1再经过一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层生成特征,记为f2:
f2=Conv(Deconv(f1))
最后,将f2输入最后一个卷积层,生成通道数为6的输出y;其中y的第一到第四通道表示当前尺度下的光流(ft→1,ft→2),y的后两个通道则对应遮罩(m1,m2):
y=Conv1(f2)
ft→1=y(:,:,0:1)
ft→2=y(:,:,2:3)
m1=y(:,:,4)
m2=y(:,:,5)
本发明步骤(3)中,生成新的视频帧时,前后两帧经逆双线性插值得到的中间帧(I1→t,I2→t):
I1→t=BIW(I1,f1→t)
I2→t=BIW(I2,f2→t)
使用子网络(NET)输出的遮罩(m1,m2)来加权相加插值后的中间帧(I1→t,I2→t)生成新视频帧It:
It=m1I1→t+m2I2→t
此时,为了确保权重之和为1,:m1(x,y)+m2(x,y)=1,添加softmax函数作为约束:
m1,m2=softmax([m1,m2])
其中,softmax函数的具体形式为:
本发明在训练子网络(NET)时,将根据每一尺度下的子网络的输出生成的不同尺度的新视频帧(It H/s,W/s)分别使用L1损失进行约束,最终网络的损失函数为三个不同尺度的损失相加,其中It H/s,W/s’表示真实的中间帧:
本发明的有益效果在于:本发明提出的方法不仅利用了视频前后帧之间结构及内容的相关信息准确地恢复中间视频帧的相关细节内容,还结合了多尺度的框架,从粗到细地预测新的视频帧与前后帧之间不同尺度下的运动光流,有效地保持了新视频时间上的连贯性。实验结果表明,本方法不仅生成了较高质量的中间视频帧,还实现了视频的运动连贯特性,同时达到快速的处理效果。
附图说明
图1为本发明的流程图。
图2为本方法采用的PWCNET[6]的结构图。
图3为本方法中子网络(NET)的结构图。
图4为利用本方法将视频插帧的结果。
具体实施方式
对于一个具有有限视频帧数的视频片段,可以采用图1所介绍的方法实施。
具体实施方法是:
首先,将视频前后两帧(I1,I2)输入光流估计网络PWCNET[6]中,分别经过一个空洞卷积层并计算生成的特征的相关性;最后,将cv输入5个大小为3×3、特征数分别为128、128、 96、64和32的卷积层生成光流(f1→2 H/4,W/4,f2→1 H/4,W/4);使用双线性插值法下采样原视频(I1 H/4,W/4,I2 H/4,W/4),再将其与光流(f1→2 H/4,W/4,f2→1 H/4,W/4)级联输入第一个子网络NET1,学习出新视频帧与前后两帧之间的光流(ft→1 H/4,W/4,ft→2 H/4,W/4)及其对应遮罩(m1 H/4,W/4,m2 H /4,W/4);
接着,将输出的小尺度光流(ft→1 H/4,W/4,ft→2 H/4,W/4)和遮罩(m1 H/4,W/4,m2 H/4,W/4)使用双线性插值法上采样(OH/2,W/2);将原视频前后帧使用双线性插值方法下采样到原始视频二分之一大小(I1 H/2,W/2,I2 H/2,W/2),将其与OH/2,W/2一同输入第二个子网络NET2中,将网络NET2的输出与输入相加,得到当前尺度的新视频帧与前后两帧间的光流(ft→1 H/2,W/2,ft→2 H/2,W/2)及其对应遮罩(m1 H/2,W/2,m2 H/2,W/2);
然后再将上一步的输出光流(ft→1 H/2,W/2,ft→2 H/2,W/2)和遮罩(m1 H/2,W/2,m2 H/2,W/2)用双线性插值方法上采样得到输出OH,W;将其与原始视频的前后帧(I1 H,W,I2 H,W)直接级联输入第三个子网络NET3中,将网络NET3的输入与输出相加,得到原始尺度的新视频帧与前后两帧间的光流(ft→1,ft→2)及遮罩(m1,m2);
最后,根据得到的原始尺度下的新视频帧与前后两帧间的光流(ft→1,ft→2)使用逆双线性插值的方法将前后视频帧(I1,I2)分别对齐到新的时间轴上,再用对应的遮罩(m1,m2)将对齐的两帧视频加权求和产生新的视频帧It。
其中所有的子网络(NET1、NET2、NET3)采用相同的结构如图3所示:
前后依次经过六个卷积层,一个去卷积层和一个卷积层,一个去卷积层和一个卷积层,最后一个卷积层。
图4为本方法的一个实验例子。如该图所示,(a)图是输入的受到噪声及模糊污染的低分辨率图像,是使用本发明方法重构出来的高分辨率图像,是真实的高分辨率图像。可以看出,本发明方法可以有效地恢复出原始高分辨率图像中的纹理及边缘信息,同时降低噪声干扰锐化模糊的细节;
参考文献:
[1]S.Baker,D.Scharstein,J.P.Lewis,S.Roth,M.J.Black,and R.Szeliski.Adatabase and evaluation methodology for optical flow.IJCV,92(1):1–31,2011.2,5,6,7,8
[2]A.Davis,M.Rubinstein,N.Wadhwa,G.J.Mysore,F.Durand,andW.T.Freeman.The visual microphone:passive recovery of sound from video.ACMTrans.Graph.,33(4):79,2014.
[3]B.K.P.Horn and B.G.Schunck.Determining optical flow.Artif.Intell.,17(1-3):185–203, 1981.
[4]Veselov A,Gilmutdinov M.Iterative hierarchical true motionestimation for temporal frame interpolation[C]//IEEE,International Workshopon Multimedia Signal Processing.IEEE,2014:1-6.
[5]B.-T.Choi,S.-H.Lee,and S.-J.Ko,“New frame rate up-conversion usingbi-directional motion estimation,”Consumer Electronics,IEEE Transactions on,vol.46,no.3,pp.603–609,Aug 2000.
[6]Sun D,Yang X,Liu M Y,et al.PWC-Net:CNNs for Optical Flow UsingPyramid,Warping,and Cost Volume[J].2017.(PWC)
[7]Dosovitskiy A,Fischery P,Ilg E,et al.FlowNet:Learning Optical Flowwith Convolutional Networks[J].2015:2758-2766.。
Claims (5)
1.一种生成新的视频帧的方法,其特征在于,具体步骤如下:
(1)视频前后帧之间光流计算
将视频相邻前后两帧(I1 H,W,I2 H,W)输入到光流估计网络(PWCNET)中,学习出大小为原图分辨率四分之一大小的两帧之间的光流(f1→2 H/4,W/4,f2→1 H/4,W/4),其中,H、W表示视频帧的高和宽:
(2)多尺度光流估计
首先,将上一步输出的小尺度光流(f1→2 H/4,W/4,f2→1 H/4,W/4)与使用双线性插值方法下采样为原始视频四分之一大小的前后两帧视频(I1 H/4,W/4,I2 H/4,W/4)一起输入第一个子网络NET1中,学习出在原始视频四分之一大小的新视频帧与前后两帧之间的光流(ft→1 H/4,W/4,ft→2 H/4,W/4)和对应遮罩(m1 H/4,W/4,m2 H/4,W/4):
其次,将原始视频四分之一尺度下的光流(ft→1 H/4,W/4,ft→2 H/4,W/4)和对应遮罩(m1 H/4,W/4,m2 H/4,W/4)使用双线性插值方法上采样得到输出OH/2,W/2:
然后,将OH/2,W/2与使用双线性插值方法下采样到原始视频二分之一大小的前后视频帧(I1 H/2,W/2,I2 H/2,W/2)一同输入第二个子网络NET2中,将网络NET2的输出与输入相加,学习出在原始视频二分之一大小的新视频帧与前后两帧间的光流(ft→1 H/2,W/2,ft→2 H/2,W/2)及其对应遮罩(m1 H/2,W/2,m2 H/2,W/2):
最后,再将原始视频二分之一尺度下的光流(ft→1 H/2,W/2,ft→2 H/2,W/2)和对应遮罩(m1 H /2,W/2,m2 H/2,W/2)使用双线性插值方法上采样得到输出OH,W:
将OH,W与原始视频的前后帧(I1 H,W,I2 H,W)一同输入第三个子网络NET3中,将网络NET3的输入与输出相加,学习出与原始视频同样大小的新视频帧与前后两帧间的光流(ft→1,ft→2)及其对应遮罩(m1,m2):
(3)新视频帧的生成
根据上一步得到的新视频帧与前后两帧间的光流(ft→1,ft→2),使用逆双线性插值的方法将前后视频帧(I1,I2)分别对齐到新的时间轴上,再用对应的遮罩(m1,m2)将对齐的两帧视频加权求和生成新的视频帧It:
It=m1BIW(I1,ft→1)+m2BIW(I2,ft→2)。
2.根据权利要求1所述的生成新的视频帧的方法,其特征在于,步骤(1)中,所述光流估计网络(PWCNET),包括一个空洞卷积层、5个大小为3×3的卷积层,具体处理流程如下:
将前后两帧视频帧(I1,I2)输入,首先分别经过一个空洞卷积层,生成特征(c1,c2),并计算特征的相关性(cv):
其中,c1 L、c2 L分别是特征c1、c2的向量形式,T为转置操作,N为特征向量(c1 L、c2 L)的长度;
最后,将cv输入5个大小为3×3的卷积层生成光流,每个卷积层的特征数分别为128、128、96、64和32。
3.根据权利要求1所述的生成新的视频帧的方法,其特征在于,步骤(2)中,所有子网络NET1、NET2、NET3,采用相同结构,记为NET,该NET的具体结构,包括依次排布的:6个大小为5×5的卷积层;一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层;一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层;一个卷积层;其处理流程为:
将输入x经过6个大小为5×5的卷积层,生成特征,记为f:
f=Conv6(Conv5(...,Conv1(x),...))
将f经一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层,生成特征,记为f1:
f1=Conv(Deconv(f))
将f1再经过一个大小为5×5、步幅为2的去卷积层和一个大小为5×5的卷积层,生成特征,记为f2:
f2=Conv(Deconv(f1))
最后,将f2输入最后一个卷积层,生成通道数为6的输出y;其中y的第一到第四通道表示当前尺度下的光流(ft→1,ft→2),y的后两个通道则对应遮罩(m1,m2):
y=Conv1(f2)
ft→1=y(:,:,0:1)
ft→2=y(:,:,2:3)
m1=y(:,:,4)
m2=y(:,:,5)。
4.根据权利要求3所述的生成新的视频帧的方法,其特征在于,步骤(3)中,生成新的视频帧时,前后两帧经逆双线性插值得到的中间帧(I1→t,I2→t):
I1→t=BIW(I1,f1→t)
I2→t=BIW(I2,f2→t)
使用子网络(NET)输出的遮罩(m1,m2)来加权相加插值后的中间帧(I1→t,I2→t),生成新视频帧It:
It=m1I1→t+m2I2→t
为了确保权重之和为1,即:m1(x,y)+m2(x,y)=1,添加softmax函数作为约束:
m1,m2=soft max([m1,m2])
softmax函数的具体形式为:
5.根据权利要求3所述的生成新的视频帧的方法,其特征在于,在训练子网络(NET)时,将根据每一尺度下的子网络的输出生成的不同尺度的新视频帧(It H/s,W/s)分别使用L1损失进行约束,最终网络的损失函数为三个不同尺度的损失相加,其中It H/s,W/s’表示真实的中间帧:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969162.4A CN109151474B (zh) | 2018-08-23 | 2018-08-23 | 一种生成新视频帧的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810969162.4A CN109151474B (zh) | 2018-08-23 | 2018-08-23 | 一种生成新视频帧的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109151474A true CN109151474A (zh) | 2019-01-04 |
CN109151474B CN109151474B (zh) | 2020-10-30 |
Family
ID=64791344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810969162.4A Active CN109151474B (zh) | 2018-08-23 | 2018-08-23 | 一种生成新视频帧的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109151474B (zh) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109905624A (zh) * | 2019-03-01 | 2019-06-18 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
CN109922231A (zh) * | 2019-02-01 | 2019-06-21 | 重庆爱奇艺智能科技有限公司 | 一种用于生成视频的插帧图像的方法和装置 |
CN110163892A (zh) * | 2019-05-07 | 2019-08-23 | 国网江西省电力有限公司检修分公司 | 基于运动估计插值的学习率渐进更新方法及动态建模系统 |
CN110191299A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于卷积神经网络的多重帧插值方法 |
CN110248115A (zh) * | 2019-06-21 | 2019-09-17 | 上海摩象网络科技有限公司 | 图像处理方法、装置及存储介质 |
CN110267098A (zh) * | 2019-06-28 | 2019-09-20 | 连尚(新昌)网络科技有限公司 | 一种视频处理方法及终端 |
CN110322525A (zh) * | 2019-06-28 | 2019-10-11 | 连尚(新昌)网络科技有限公司 | 一种动图处理方法及终端 |
CN110392264A (zh) * | 2019-08-26 | 2019-10-29 | 中国科学技术大学 | 一种基于神经网络的对齐外插帧方法 |
CN110428373A (zh) * | 2019-07-12 | 2019-11-08 | 深圳市优乐学科技有限公司 | 一种用于视频插帧的训练样本处理方法和系统 |
CN111107427A (zh) * | 2019-11-20 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理的方法及相关产品 |
CN111614911A (zh) * | 2020-05-08 | 2020-09-01 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备及存储介质 |
CN112073749A (zh) * | 2020-08-07 | 2020-12-11 | 中国科学院计算技术研究所 | 一种手语视频合成方法、手语翻译系统、介质和电子设备 |
CN112184779A (zh) * | 2020-09-17 | 2021-01-05 | 无锡安科迪智能技术有限公司 | 插帧图像处理方法及装置 |
CN112188236A (zh) * | 2019-07-01 | 2021-01-05 | 北京新唐思创教育科技有限公司 | 视频插帧模型训练、视频插帧生成方法及相关装置 |
CN112465725A (zh) * | 2020-12-10 | 2021-03-09 | 西安交通大学 | 一种基于PWC-Net的红外图像帧率上转换方法 |
US10958869B1 (en) | 2019-11-14 | 2021-03-23 | Huawei Technologies Co., Ltd. | System, device and method for video frame interpolation using a structured neural network |
CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
CN113205148A (zh) * | 2021-05-20 | 2021-08-03 | 山东财经大学 | 一种迭代层间信息融合的医学图像帧插值方法及终端机 |
CN113469930A (zh) * | 2021-09-06 | 2021-10-01 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、及计算机设备 |
CN113660443A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、终端以及存储介质 |
WO2021237743A1 (zh) * | 2020-05-29 | 2021-12-02 | 京东方科技集团股份有限公司 | 视频插帧方法及装置、计算机可读存储介质 |
CN113747242A (zh) * | 2021-09-06 | 2021-12-03 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114066730A (zh) * | 2021-11-04 | 2022-02-18 | 西北工业大学 | 一种基于无监督对偶学习的视频插帧方法 |
CN114422852A (zh) * | 2021-12-16 | 2022-04-29 | 阿里巴巴(中国)有限公司 | 视频播放方法、存储介质、处理器和系统 |
CN114745545A (zh) * | 2022-04-11 | 2022-07-12 | 北京字节跳动网络技术有限公司 | 一种视频插帧方法、装置、设备和介质 |
US11445198B2 (en) * | 2020-09-29 | 2022-09-13 | Tencent America LLC | Multi-quality video super resolution with micro-structured masks |
WO2023020492A1 (zh) * | 2021-08-16 | 2023-02-23 | 北京字跳网络技术有限公司 | 视频帧调整方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110286635A1 (en) * | 2010-05-18 | 2011-11-24 | Honda Motor Co., Ltd. | Fast sub-pixel optical flow estimation |
CN104159114A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种计算图像帧间大运动速度的光流方法 |
CN104156934A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种基于最小均方根误差测度的多尺度光流场映射方法 |
CN105809712A (zh) * | 2016-03-02 | 2016-07-27 | 西安电子科技大学 | 一种高效大位移光流估计方法 |
US20160301881A1 (en) * | 2015-04-10 | 2016-10-13 | Apple Inc. | Generating synthetic video frames using optical flow |
CN107292912A (zh) * | 2017-05-26 | 2017-10-24 | 浙江大学 | 一种基于多尺度对应结构化学习的光流估计方法 |
US20180158194A1 (en) * | 2016-12-01 | 2018-06-07 | Google Inc. | Determining Optical Flow |
-
2018
- 2018-08-23 CN CN201810969162.4A patent/CN109151474B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110286635A1 (en) * | 2010-05-18 | 2011-11-24 | Honda Motor Co., Ltd. | Fast sub-pixel optical flow estimation |
CN104159114A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种计算图像帧间大运动速度的光流方法 |
CN104156934A (zh) * | 2013-05-13 | 2014-11-19 | 哈尔滨点石仿真科技有限公司 | 一种基于最小均方根误差测度的多尺度光流场映射方法 |
US20160301881A1 (en) * | 2015-04-10 | 2016-10-13 | Apple Inc. | Generating synthetic video frames using optical flow |
US20170221218A1 (en) * | 2015-04-10 | 2017-08-03 | Apple Inc. | Generating synthetic video frames using optical flow |
CN105809712A (zh) * | 2016-03-02 | 2016-07-27 | 西安电子科技大学 | 一种高效大位移光流估计方法 |
US20180158194A1 (en) * | 2016-12-01 | 2018-06-07 | Google Inc. | Determining Optical Flow |
CN107292912A (zh) * | 2017-05-26 | 2017-10-24 | 浙江大学 | 一种基于多尺度对应结构化学习的光流估计方法 |
Non-Patent Citations (2)
Title |
---|
DEQING SUN 等: "《PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume》", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
YUE CHEN 等: "《An Improved Path-Based Image Interpolation Method》", 《2011 4TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》 * |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109922231A (zh) * | 2019-02-01 | 2019-06-21 | 重庆爱奇艺智能科技有限公司 | 一种用于生成视频的插帧图像的方法和装置 |
WO2020177108A1 (zh) * | 2019-03-01 | 2020-09-10 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
US11354541B2 (en) | 2019-03-01 | 2022-06-07 | Peking University Shenzhen Graduate School | Method, apparatus, and device for video frame interpolation |
CN109905624A (zh) * | 2019-03-01 | 2019-06-18 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
CN109905624B (zh) * | 2019-03-01 | 2020-10-16 | 北京大学深圳研究生院 | 一种视频帧插值方法、装置及设备 |
CN110191299A (zh) * | 2019-04-15 | 2019-08-30 | 浙江大学 | 一种基于卷积神经网络的多重帧插值方法 |
CN110163892A (zh) * | 2019-05-07 | 2019-08-23 | 国网江西省电力有限公司检修分公司 | 基于运动估计插值的学习率渐进更新方法及动态建模系统 |
CN110163892B (zh) * | 2019-05-07 | 2023-06-20 | 国网江西省电力有限公司检修分公司 | 基于运动估计插值的学习率渐进更新方法及动态建模系统 |
CN110248115A (zh) * | 2019-06-21 | 2019-09-17 | 上海摩象网络科技有限公司 | 图像处理方法、装置及存储介质 |
CN110322525A (zh) * | 2019-06-28 | 2019-10-11 | 连尚(新昌)网络科技有限公司 | 一种动图处理方法及终端 |
CN110267098A (zh) * | 2019-06-28 | 2019-09-20 | 连尚(新昌)网络科技有限公司 | 一种视频处理方法及终端 |
CN110322525B (zh) * | 2019-06-28 | 2023-05-02 | 连尚(新昌)网络科技有限公司 | 一种动图处理方法及终端 |
CN112188236A (zh) * | 2019-07-01 | 2021-01-05 | 北京新唐思创教育科技有限公司 | 视频插帧模型训练、视频插帧生成方法及相关装置 |
CN110428373A (zh) * | 2019-07-12 | 2019-11-08 | 深圳市优乐学科技有限公司 | 一种用于视频插帧的训练样本处理方法和系统 |
CN110428373B (zh) * | 2019-07-12 | 2021-11-23 | 深圳市优乐学科技有限公司 | 一种用于视频插帧的训练样本处理方法和系统 |
CN110392264B (zh) * | 2019-08-26 | 2022-10-28 | 中国科学技术大学 | 一种基于神经网络的对齐外插帧方法 |
CN110392264A (zh) * | 2019-08-26 | 2019-10-29 | 中国科学技术大学 | 一种基于神经网络的对齐外插帧方法 |
CN114731408B (zh) * | 2019-11-14 | 2023-09-12 | 华为技术有限公司 | 使用结构化神经网络进行视频帧插值的系统、设备和方法 |
WO2021093432A1 (en) * | 2019-11-14 | 2021-05-20 | Huawei Technologies Co., Ltd. | System, device and method for video frame interpolation using structured neural network |
US10958869B1 (en) | 2019-11-14 | 2021-03-23 | Huawei Technologies Co., Ltd. | System, device and method for video frame interpolation using a structured neural network |
CN114731408A (zh) * | 2019-11-14 | 2022-07-08 | 华为技术有限公司 | 使用结构化神经网络进行视频帧插值的系统、设备和方法 |
CN111107427B (zh) * | 2019-11-20 | 2022-01-28 | Oppo广东移动通信有限公司 | 图像处理的方法及相关产品 |
CN111107427A (zh) * | 2019-11-20 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理的方法及相关产品 |
CN111614911B (zh) * | 2020-05-08 | 2022-12-09 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备及存储介质 |
CN111614911A (zh) * | 2020-05-08 | 2020-09-01 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备及存储介质 |
CN113660443A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、终端以及存储介质 |
CN114073071B (zh) * | 2020-05-29 | 2023-12-05 | 京东方科技集团股份有限公司 | 视频插帧方法及装置、计算机可读存储介质 |
US11800053B2 (en) | 2020-05-29 | 2023-10-24 | Boe Technology Group Co., Ltd. | Method, device and computer readable storage medium for video frame interpolation |
CN114073071A (zh) * | 2020-05-29 | 2022-02-18 | 京东方科技集团股份有限公司 | 视频插帧方法及装置、计算机可读存储介质 |
WO2021237743A1 (zh) * | 2020-05-29 | 2021-12-02 | 京东方科技集团股份有限公司 | 视频插帧方法及装置、计算机可读存储介质 |
CN112073749A (zh) * | 2020-08-07 | 2020-12-11 | 中国科学院计算技术研究所 | 一种手语视频合成方法、手语翻译系统、介质和电子设备 |
CN112184779A (zh) * | 2020-09-17 | 2021-01-05 | 无锡安科迪智能技术有限公司 | 插帧图像处理方法及装置 |
US11445198B2 (en) * | 2020-09-29 | 2022-09-13 | Tencent America LLC | Multi-quality video super resolution with micro-structured masks |
CN112465725A (zh) * | 2020-12-10 | 2021-03-09 | 西安交通大学 | 一种基于PWC-Net的红外图像帧率上转换方法 |
CN112465725B (zh) * | 2020-12-10 | 2023-05-02 | 西安交通大学 | 一种基于PWC-Net的红外图像帧率上转换方法 |
CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
CN113205148A (zh) * | 2021-05-20 | 2021-08-03 | 山东财经大学 | 一种迭代层间信息融合的医学图像帧插值方法及终端机 |
WO2023020492A1 (zh) * | 2021-08-16 | 2023-02-23 | 北京字跳网络技术有限公司 | 视频帧调整方法、装置、电子设备和存储介质 |
CN113747242B (zh) * | 2021-09-06 | 2023-03-24 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113469930B (zh) * | 2021-09-06 | 2021-12-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、及计算机设备 |
CN113469930A (zh) * | 2021-09-06 | 2021-10-01 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、及计算机设备 |
CN113747242A (zh) * | 2021-09-06 | 2021-12-03 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114066730B (zh) * | 2021-11-04 | 2022-10-28 | 西北工业大学 | 一种基于无监督对偶学习的视频插帧方法 |
CN114066730A (zh) * | 2021-11-04 | 2022-02-18 | 西北工业大学 | 一种基于无监督对偶学习的视频插帧方法 |
CN114422852A (zh) * | 2021-12-16 | 2022-04-29 | 阿里巴巴(中国)有限公司 | 视频播放方法、存储介质、处理器和系统 |
CN114745545A (zh) * | 2022-04-11 | 2022-07-12 | 北京字节跳动网络技术有限公司 | 一种视频插帧方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109151474B (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109151474A (zh) | 一种生成新视频帧的方法 | |
CN109118431B (zh) | 一种基于多记忆及混合损失的视频超分辨率重建方法 | |
CN108259994B (zh) | 一种提高视频空间分辨率的方法 | |
WO2020037965A1 (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
CN110634108B (zh) | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 | |
CN107274347A (zh) | 一种基于深度残差网络的视频超分辨率重建方法 | |
CN109756690B (zh) | 基于特征级别光流的轻量级视频插值方法 | |
Zhu et al. | Towards high performance video object detection for mobiles | |
CN109035146B (zh) | 一种基于深度学习的低质量图像超分方法 | |
CN113034380A (zh) | 一种基于改进可变形卷积校正的视频时空超分辨率方法和装置 | |
CN111008938B (zh) | 一种基于内容和连续性引导的实时多帧比特增强方法 | |
Zhang et al. | Dtvnet: Dynamic time-lapse video generation via single still image | |
CN110458756A (zh) | 基于深度学习的模糊视频超分辨率方法及系统 | |
CN109636721A (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
Cheng et al. | A dual camera system for high spatiotemporal resolution video acquisition | |
CN110443883A (zh) | 一种基于dropblock的单张彩色图片平面三维重建方法 | |
CN112102163A (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
CN108989731A (zh) | 一种提高视频空间分辨率的方法 | |
CN116205962B (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
CN113096239B (zh) | 一种基于深度学习的三维点云重建方法 | |
Wei et al. | Efficient video compressed sensing reconstruction via exploiting spatial-temporal correlation with measurement constraint | |
CN104182931B (zh) | 超分辨率方法和装置 | |
CN116958192A (zh) | 一种基于扩散模型的事件相机图像重建方法 | |
CN112215140A (zh) | 一种基于时空对抗的3维信号处理方法 | |
CN111767679A (zh) | 时变矢量场数据的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |