CN109922231A - 一种用于生成视频的插帧图像的方法和装置 - Google Patents
一种用于生成视频的插帧图像的方法和装置 Download PDFInfo
- Publication number
- CN109922231A CN109922231A CN201910105584.1A CN201910105584A CN109922231A CN 109922231 A CN109922231 A CN 109922231A CN 201910105584 A CN201910105584 A CN 201910105584A CN 109922231 A CN109922231 A CN 109922231A
- Authority
- CN
- China
- Prior art keywords
- image
- frame image
- light stream
- compensated
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 238000006073 displacement reaction Methods 0.000 claims abstract description 66
- 238000013507 mapping Methods 0.000 claims abstract description 51
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- VJTAZCKMHINUKO-UHFFFAOYSA-M chloro(2-methoxyethyl)mercury Chemical compound [Cl-].COCC[Hg+] VJTAZCKMHINUKO-UHFFFAOYSA-M 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明的目的是提供一种用于生成视频的插帧图像的方法和装置；根据视频中连续的第一、第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像；分别对该第一、第二帧图像进行特征提取，获得第一特征图像与第二特征图像；根据第一、第二特征图像和前向、后向光流位移映射图像，经过运动补偿，分别获得补偿后的第一特征图像和补偿后的第一可视化图像，补偿后的第二特征图像和补偿后的第二可视化图像；将前述结果输入视频插帧模型，获得插帧图像。与现有技术相比，本发明利用视频中连续的两帧画面，直接插补出一帧插帧画面，对物体遮挡和大位移条件下估计出的不准确的运动向量，具有更好的鲁棒性，从而获取更高画面质量的插帧图片。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种用于生成视频的插帧图像的技术。
背景技术
视频插帧方法通常可由运动估计和运动补偿(Motion Estimate and MotionCompensation，MEMC)来插补出一帧插帧画面。为了插补出一张正确的插帧画面，必须先估计出相关画面帧之间的正确的运动向量，之后再根据估计出来的运动向量，插补出正确的插帧画面。
现有的传统视频插帧方法，使用块匹配算法估算出运动估计，利用运动估计补偿出插帧画面。而常用的块匹配算法，其搜索步骤固定，只对特征场景具有较好的插帧效果。
然而，目前传统的视频插帧方法对于视频中出现的物体遮挡和物体大运动位移和旋转等情况，往往无法正确地估计出准确的运动向量，从而无法准确地补偿出一帧插帧画面。
因此，如何准确生成视频的插帧图像，成为本领域技术人员亟需解决的问题之一。
发明内容
本发明的目的是提供一种用于生成视频的插帧图像的方法和装置。
根据本发明的一个方面，提供了一种用于生成视频的插帧图像的方法，其中，该方法包括以下步骤：
a根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像；
b分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像；
c根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像；
d将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
根据本发明的另一个方面，还提供了一种用于生成视频的插帧图像的装置，其中，该装置包括：
位移获取装置，用于根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像；
特征获取装置，用于分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像；
运动补偿装置，用于根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像；
插帧获取装置，用于将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
根据本发明的又一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
根据本发明的再一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
根据本发明的再一个方面，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
与现有技术相比，本发明从视频中提取出一组连续的两帧画面，利用该连续的两帧画面，直接插补出一帧插帧画面，由于使用灵活的插帧算法，进一步地该插帧算法还可以是基于深度学习的插帧算法，因此，对物体遮挡和大位移条件下估计出的不准确的运动向量，具有更好的鲁棒性，从而获取更高画面质量的插帧图片。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个方面的用于生成视频的插帧图像的方法流程图；
图2示出根据本发明一个实施例的用于生成视频的插帧图像的示意图；
图3示出根据本发明另一个方面的用于生成视频的插帧图像的装置示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1示出根据本发明一个方面的用于生成视频的插帧图像的方法流程图。
该方法包括步骤S101、S102、S103和S104。
在步骤S101中，装置1根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像。
具体地，装置1自视频中提取连续的两帧图像，将前一帧图像称为第一帧图像，将后一帧图像称为第二帧图像，在步骤S101中，装置1根据该视频中连续的第一帧图像与第二帧图像，经由光流估计算法，分别获取该第一帧图像至第二帧图像的前向光流位移映射图像，以及该第二帧图像至第一帧图像的后向光流位移映射图像。
在此，光流是空间运动物体在观测成像面上的像素运动的瞬时速度，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。
优选地，在步骤S101中，装置1根据所述第一帧图像到所述第二帧图像的像素位移，经由前向光流估计模块，获得所述前向光流位移映射图像；根据所述第二帧图像到所述第一帧图像的像素位移，经由后向光流估计模块，获得所述后向光流位移映射图像。
在此，该前向光流估计模块和后向光流估计模块可以采用相同的光流估计算法，也可以采用不同的光流估计算法。在此，光流估计算法例如PWC-net、SpyNET或者H264等运动估计方法。
本领域技术人员应能理解，上述光流估计算法仅为举例，其他现有或今后可能出现的光流估计算法，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
在步骤S102中，装置1分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像。
具体地，在步骤S102中，装置1对该第一帧图像进行特征提取，获得对应的第一特征图像，对该第二帧图像也同样进行特征提取，获得对应的第二特征图像。
优选地，在步骤S102中，装置1经由第一特征提取模块，对所述第一帧图像进行特征提取，获得对应的第一特征图像；经由第二特征提取模块，对所述第二帧图像进行特征提取，获得对应的第二特征图像。
在此，该第一特征提取模块和第二特征提取模块可以采用相同的特征提取方式，例如，均采用相同的已经训练好的图像特征提取模型，如ResNet-18，Resnet-52和VGG-19等模型。
本领域技术人员应能理解，上述图像特征提取模型仅为举例，其他现有或今后可能出现的图像特征提取模型，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
在步骤S103中，装置1根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像。
具体地，在步骤S103中，装置1根据该连续的第一帧图像和第二帧图像所分别对应的第一特征图像和第二特征图像，再分别结合前述获得的前向和后向光流位移映射图像所提供的像素级的位移信息，经过运动补偿，分别获得两张经过运动补偿后的两帧可视化图像和两张经过运动补偿后的特征图像。
优选地，在步骤S103中，装置1将所述第一特征图像、所述前向光流位移映射图像输入至第一运动补偿模块，获得所述第一帧图像对应的补偿后的第一特征图像；将所述第一帧图像、所述前向光流位移映射图像输入至第二运动补偿模块，获得所述第一帧图像对应的补偿后的第一可视化图像；将所述第二特征图像、所述后向光流位移映射图像输入至第三运动补偿模块，获得所述第二帧图像对应的补偿后的第二特征图像；将所述第二帧图像、所述后向光流位移映射图像输入至第四运动补偿模块，获得所述第二帧图像对应的补偿后的第二可视化图像。
在此，该第一运动补偿模块、第二运动补偿模块、第三运动补偿模块和第四运动补偿模块可以采用相同的运动补偿的方式，也可以采用不同的运动补偿的方式。
在步骤S104中，装置1将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
具体地，在步骤S104中，装置1将在步骤S103中所获得的补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入至视频插帧模型，获得位于该连续的第一帧图像与第二帧图像中间的插帧图像，从而实现生成该视频的插帧图像。
在此，装置1从视频中提取出一组连续的两帧画面，利用该连续的两帧画面，直接插补出一帧插帧画面，由于使用灵活的插帧算法，进一步地该插帧算法还可以是基于深度学习的插帧算法，因此，对物体遮挡和大位移条件下估计出的不准确的运动向量，具有更好的鲁棒性，从而获取更高画面质量的插帧图片。
图2示出根据本发明一个实施例的用于生成视频的插帧图像的示意图。
在该图中包括连续的两帧图像，将前一帧图像称为t(n-1)图像，将后一帧图像称为t(n)图像，装置1根据t(n-1)图像到t(n)图像的像素位移，经由前向光流估计模块，获得前向光流图像；根据t(n)图像到所述t(n-1)图像的像素位移，经由后向光流估计模块，获得后向光流图像。
装置1经由特征提取模块，对t(n-1)图像进行特征提取，获得对应的t(n-1)特征图像；经由特征提取模块，对t(n)图像进行特征提取，获得对应的t(n)特征图像。
随后，装置1将所述t(n-1)特征图像、所述前向光流图像输入至运动补偿模块，获得补偿后的t(n-1)特征图像；将所述t(n-1)图像、所述前向光流图像输入至运动补偿模块，获得补偿后的t(n-1)图像；将所述t(n)特征图像、所述后向光流图像输入至运动补偿模块，获得补偿后的t(n)特征图像；将所述t(n)图像、所述后向光流图像输入至运动补偿模块，获得补偿后的t(n)图像。
接着，装置1将前述获得的补偿后的t(n-1)特征图像、补偿后的t(n-1)图像、补偿后的t(n)特征图像和补偿后的t(n)图像输入至训练成功的基于深度学习的视频插帧模型，获得位于该连续的t(n-1)图像与t(n)图像中间的插帧图像，从而实现生成该视频的插帧图像。
优选地，该方法还包括步骤S105(未示出)。在步骤S105中，装置1分别获取所述视频中连续的帧图像作为训练样本，基于深度学习原理，训练所述视频插帧模型。
具体地，在步骤S105中，装置1分别获取所述视频中连续的帧图像作为训练样本，例如，获取视频中连续的第I帧图像、第II帧图像和第III帧图像作为训练样本，将该第II帧图像视作该第I帧图像与第III帧图像中间的插帧图像，作为该视频插帧模型的训练真值，与视频插帧模型的输出进行比较，将该第I帧图像和第III帧图像作为该视频插帧模型的输入，从而基于深度学习的训练方法，训练该视频插帧模型。
例如，将该第I帧图像和第III帧图像的像素进行基于卷积方法的深度学习原理的运算，得到一个输出图像，该输出图像与作为插帧图像的第II帧图像具有较大的误差值，为了降低该误差值，对模型参数进行梯度运算，不断反向修正该视频插帧模型中的参数，从而减小该误差值，实现对该视频插帧模型的训练。
在此，装置1可以利用现有的基于深度学习的训练方式，训练该视频插帧模型。
图3示出根据本发明另一个方面的用于生成视频的插帧图像的装置示意图。
装置1包括位移获取装置301、特征获取装置302、运动补偿装置303和插帧获取装置304。
位移获取装置301根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像。
具体地，位移获取装置301自视频中提取连续的两帧图像，将前一帧图像称为第一帧图像，将后一帧图像称为第二帧图像，位移获取装置301根据该视频中连续的第一帧图像与第二帧图像，经由光流估计算法，分别获取该第一帧图像至第二帧图像的前向光流位移映射图像，以及该第二帧图像至第一帧图像的后向光流位移映射图像。
在此，光流是空间运动物体在观测成像面上的像素运动的瞬时速度，光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。
优选地，位移获取装置301根据所述第一帧图像到所述第二帧图像的像素位移，经由前向光流估计模块，获得所述前向光流位移映射图像；根据所述第二帧图像到所述第一帧图像的像素位移，经由后向光流估计模块，获得所述后向光流位移映射图像。
在此，该前向光流估计模块和后向光流估计模块可以采用相同的光流估计算法，也可以采用不同的光流估计算法。在此，光流估计算法例如PWC-net、SpyNET或者H264等运动估计方法。
本领域技术人员应能理解，上述光流估计算法仅为举例，其他现有或今后可能出现的光流估计算法，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
特征获取装置302分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像。
具体地，特征获取装置302对该第一帧图像进行特征提取，获得对应的第一特征图像，对该第二帧图像也同样进行特征提取，获得对应的第二特征图像。
优选地，特征获取装置302经由第一特征提取模块，对所述第一帧图像进行特征提取，获得对应的第一特征图像；经由第二特征提取模块，对所述第二帧图像进行特征提取，获得对应的第二特征图像。
在此，该第一特征提取模块和第二特征提取模块可以采用相同的特征提取方式，例如，均采用相同的已经训练好的图像特征提取模型，如ResNet-18，Resnet-52和VGG-19等模型。
本领域技术人员应能理解，上述图像特征提取模型仅为举例，其他现有或今后可能出现的图像特征提取模型，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
运动补偿装置303根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像。
具体地，运动补偿装置303根据该连续的第一帧图像和第二帧图像所分别对应的第一特征图像和第二特征图像，再分别结合前述获得的前向和后向光流位移映射图像所提供的像素级的位移信息，经过运动补偿，分别获得两张经过运动补偿后的两帧可视化图像和两张经过运动补偿后的特征图像。
优选地，运动补偿装置303将所述第一特征图像、所述前向光流位移映射图像输入至第一运动补偿模块，获得所述第一帧图像对应的补偿后的第一特征图像；将所述第一帧图像、所述前向光流位移映射图像输入至第二运动补偿模块，获得所述第一帧图像对应的补偿后的第一可视化图像；将所述第二特征图像、所述后向光流位移映射图像输入至第三运动补偿模块，获得所述第二帧图像对应的补偿后的第二特征图像；将所述第二帧图像、所述后向光流位移映射图像输入至第四运动补偿模块，获得所述第二帧图像对应的补偿后的第二可视化图像。
在此，该第一运动补偿模块、第二运动补偿模块、第三运动补偿模块和第四运动补偿模块可以采用相同的运动补偿的方式，也可以采用不同的运动补偿的方式。
插帧获取装置304将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
具体地，插帧获取装置304将运动补偿装置303获得的补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入至视频插帧模型，获得位于该连续的第一帧图像与第二帧图像中间的插帧图像，从而实现生成该视频的插帧图像。
在此，装置1从视频中提取出一组连续的两帧画面，利用该连续的两帧画面，直接插补出一帧插帧画面，由于使用灵活的插帧算法，进一步地该插帧算法还可以是基于深度学习的插帧算法，因此，对物体遮挡和大位移条件下估计出的不准确的运动向量，具有更好的鲁棒性，从而获取更高画面质量的插帧图片。
优选地，该装置1还包括模型训练装置(未示出)。该模型训练装置分别获取所述视频中连续的帧图像作为训练样本，基于深度学习的原理，训练所述视频插帧模型。
具体地，模型训练装置分别获取所述视频中连续的帧图像作为训练样本，例如，获取视频中连续的第I帧图像、第II帧图像和第III帧图像作为训练样本，将该第II帧图像视作该第I帧图像与第III帧图像中间的插帧图像，作为该视频插帧模型的训练真值，与视频插帧模型的输出进行比较，将该第I帧图像和第III帧图像作为该视频插帧模型的输入，从而基于深度学习的训练方法，训练该视频插帧模型。
例如，将该第I帧图像和第III帧图像的像素进行基于卷积方法的深度学习原理的运算，得到一个输出图像，该输出图像与作为插帧图像的第II帧图像具有较大的误差值，为了降低该误差值，对模型参数进行梯度运算，不断反向修正该视频插帧模型中的参数，从而减小该误差值，实现对该视频插帧模型的训练。
在此，模型训练装置可以利用现有的基于深度学习的训练方式，训练该视频插帧模型。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本发明还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (13)
1.一种用于生成视频的插帧图像的方法，其中，该方法包括以下步骤：
a根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像；
b分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像；
c根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像；
d将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
2.根据权利要求1所述的方法，其中，所述步骤c包括：
将所述第一特征图像、所述前向光流位移映射图像输入至第一运动补偿模块，获得所述第一帧图像对应的补偿后的第一特征图像；
将所述第一帧图像、所述前向光流位移映射图像输入至第二运动补偿模块，获得所述第一帧图像对应的补偿后的第一可视化图像；
将所述第二特征图像、所述后向光流位移映射图像输入至第三运动补偿模块，获得所述第二帧图像对应的补偿后的第二特征图像；
将所述第二帧图像、所述后向光流位移映射图像输入至第四运动补偿模块，获得所述第二帧图像对应的补偿后的第二可视化图像。
3.根据权利要求1或2所述的方法，其中，所述步骤a包括：
根据所述第一帧图像到所述第二帧图像的像素位移，经由前向光流估计模块，获得所述前向光流位移映射图像；
根据所述第二帧图像到所述第一帧图像的像素位移，经由后向光流估计模块，获得所述后向光流位移映射图像。
4.根据权利要求1至3中任一项所述的方法，其中，所述步骤b包括：
经由第一特征提取模块，对所述第一帧图像进行特征提取，获得对应的第一特征图像；
经由第二特征提取模块，对所述第二帧图像进行特征提取，获得对应的第二特征图像。
5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括：
分别获取所述视频中连续的帧图像作为训练样本，基于深度学习原理，训练所述视频插帧模型。
6.一种用于生成视频的插帧图像的装置，其中，该装置包括：
位移获取装置，用于根据视频中连续的第一帧图像与第二帧图像，分别获取对应的前向光流位移映射图像和后向光流位移映射图像；
特征获取装置，用于分别对所述连续的第一帧图像与第二帧图像进行特征提取，获得对应的第一特征图像与第二特征图像；
运动补偿装置，用于根据所述第一特征图像、第二特征图像、前向光流位移映射图像和后向光流位移映射图像，经过运动补偿，分别获得所述第一帧图像对应的补偿后的第一特征图像和补偿后的第一可视化图像，以及获得所述第二帧图像对应的补偿后的第二特征图像和补偿后的第二可视化图像；
插帧获取装置，用于将所述补偿后的第一特征图像、补偿后的第一可视化图像、补偿后的第二特征图像和补偿后的第二可视化图像输入视频插帧模型，获得位于所述连续的第一帧图像与第二帧图像中间的插帧图像。
7.根据权利要求6所述的装置，其中，所述运动补偿装置用于：
将所述第一特征图像、所述前向光流位移映射图像输入至第一运动补偿模块，获得所述第一帧图像对应的补偿后的第一特征图像；
将所述第一帧图像、所述前向光流位移映射图像输入至第二运动补偿模块，获得所述第一帧图像对应的补偿后的第一可视化图像；
将所述第二特征图像、所述后向光流位移映射图像输入至第三运动补偿模块，获得所述第二帧图像对应的补偿后的第二特征图像；
将所述第二帧图像、所述后向光流位移映射图像输入至第四运动补偿模块，获得所述第二帧图像对应的补偿后的第二可视化图像。
8.根据权利要求6或7所述的装置，其中，所述位移获取装置用于：
根据所述第一帧图像到所述第二帧图像的像素位移，经由前向光流估计模块，获得所述前向光流位移映射图像；
根据所述第二帧图像到所述第一帧图像的像素位移，经由后向光流估计模块，获得所述后向光流位移映射图像。
9.根据权利要求6至8中任一项所述的装置，其中，所述特征获取装置用于：
经由第一特征提取模块，对所述第一帧图像进行特征提取，获得对应的第一特征图像；
经由第二特征提取模块，对所述第二帧图像进行特征提取，获得对应的第二特征图像。
10.根据权利要求6至9中任一项所述的装置，其中，该装置还包括：
模型训练装置，用于分别获取所述视频中连续的帧图像作为训练样本，基于深度学习原理，训练所述视频插帧模型。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至5中任一项所述的方法被执行。
12.一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如权利要求1至5中任一项所述的方法被执行。
13.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910105584.1A CN109922231A (zh) | 2019-02-01 | 2019-02-01 | 一种用于生成视频的插帧图像的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910105584.1A CN109922231A (zh) | 2019-02-01 | 2019-02-01 | 一种用于生成视频的插帧图像的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109922231A true CN109922231A (zh) | 2019-06-21 |
Family
ID=66961354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910105584.1A Withdrawn CN109922231A (zh) | 2019-02-01 | 2019-02-01 | 一种用于生成视频的插帧图像的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109922231A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798630A (zh) * | 2019-10-30 | 2020-02-14 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110933496A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像数据插帧处理方法、装置、电子设备及存储介质 |
| CN110996171A (zh) * | 2019-12-12 | 2020-04-10 | 北京金山云网络技术有限公司 | 视频类任务的训练数据生成方法、装置及服务器 |
| CN111064863A (zh) * | 2019-12-25 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像数据的处理方法及相关装置 |
| CN111225150A (zh) * | 2020-01-20 | 2020-06-02 | Oppo广东移动通信有限公司 | 插帧处理方法及相关产品 |
| CN111327926A (zh) * | 2020-02-12 | 2020-06-23 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、电子设备及存储介质 |
| CN111372087A (zh) * | 2020-05-26 | 2020-07-03 | 深圳看到科技有限公司 | 全景视频插帧方法、装置及对应的存储介质 |
| CN111405316A (zh) * | 2020-03-12 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 插帧方法、电子设备及可读存储介质 |
| CN111491204A (zh) * | 2020-04-17 | 2020-08-04 | Oppo广东移动通信有限公司 | 视频修复方法、装置、电子设备和计算机可读存储介质 |
| CN111654746A (zh) * | 2020-05-15 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置、电子设备和存储介质 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112104830A (zh) * | 2020-08-13 | 2020-12-18 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112771843A (zh) * | 2020-06-15 | 2021-05-07 | 深圳市大疆创新科技有限公司 | 信息处理方法、装置和成像系统 |
| CN112929689A (zh) * | 2021-02-24 | 2021-06-08 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
| CN113014936A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN113225589A (zh) * | 2021-04-30 | 2021-08-06 | 北京凯视达信息技术有限公司 | 一种视频插帧处理方法 |
| CN113473145A (zh) * | 2020-03-31 | 2021-10-01 | 武汉Tcl集团工业研究院有限公司 | 一种视频压缩方法、视频解压方法、智能终端及存储介质 |
| CN113660443A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、终端以及存储介质 |
| CN113837136A (zh) * | 2021-09-29 | 2021-12-24 | 深圳市慧鲤科技有限公司 | 视频插帧方法及装置、电子设备和存储介质 |
| CN114071223A (zh) * | 2020-07-30 | 2022-02-18 | 武汉Tcl集团工业研究院有限公司 | 基于光流的视频插帧的生成方法、存储介质及终端设备 |
| CN117082295A (zh) * | 2023-09-21 | 2023-11-17 | 荣耀终端有限公司 | 图像流处理方法、设备及存储介质 |
| CN113473145B (zh) * | 2020-03-31 | 2024-05-31 | 武汉Tcl集团工业研究院有限公司 | 一种视频压缩方法、视频解压方法、智能终端及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105517671A (zh) * | 2015-05-25 | 2016-04-20 | 北京大学深圳研究生院 | 一种基于光流法的视频插帧方法及系统 |
| EP3249609A1 (en) * | 2016-05-25 | 2017-11-29 | Rational Pixels S.L. | Computer-implemented method and system for processing video with temporal consistency |
| CN107945124A (zh) * | 2017-11-17 | 2018-04-20 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN109151474A (zh) * | 2018-08-23 | 2019-01-04 | 复旦大学 | 一种生成新视频帧的方法 |
-
2019
- 2019-02-01 CN CN201910105584.1A patent/CN109922231A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105517671A (zh) * | 2015-05-25 | 2016-04-20 | 北京大学深圳研究生院 | 一种基于光流法的视频插帧方法及系统 |
| EP3249609A1 (en) * | 2016-05-25 | 2017-11-29 | Rational Pixels S.L. | Computer-implemented method and system for processing video with temporal consistency |
| CN107945124A (zh) * | 2017-11-17 | 2018-04-20 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN109151474A (zh) * | 2018-08-23 | 2019-01-04 | 复旦大学 | 一种生成新视频帧的方法 |
Non-Patent Citations (1)
| Title |
|---|
| WENBO BAO ET AL.: "MEMC-Net: Motion Estimation and Motion Compensation Driven Neural Network for Video Interpolation and Enhancement", 《COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798630A (zh) * | 2019-10-30 | 2020-02-14 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN110933496A (zh) * | 2019-12-10 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像数据插帧处理方法、装置、电子设备及存储介质 |
| CN110996171A (zh) * | 2019-12-12 | 2020-04-10 | 北京金山云网络技术有限公司 | 视频类任务的训练数据生成方法、装置及服务器 |
| CN110996171B (zh) * | 2019-12-12 | 2021-11-26 | 北京金山云网络技术有限公司 | 视频类任务的训练数据生成方法、装置及服务器 |
| CN111064863A (zh) * | 2019-12-25 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像数据的处理方法及相关装置 |
| CN111064863B (zh) * | 2019-12-25 | 2022-04-15 | Oppo广东移动通信有限公司 | 图像数据的处理方法及相关装置 |
| CN111225150A (zh) * | 2020-01-20 | 2020-06-02 | Oppo广东移动通信有限公司 | 插帧处理方法及相关产品 |
| CN111327926B (zh) * | 2020-02-12 | 2022-06-28 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、电子设备及存储介质 |
| CN111327926A (zh) * | 2020-02-12 | 2020-06-23 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、电子设备及存储介质 |
| CN111405316A (zh) * | 2020-03-12 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 插帧方法、电子设备及可读存储介质 |
| CN113473145B (zh) * | 2020-03-31 | 2024-05-31 | 武汉Tcl集团工业研究院有限公司 | 一种视频压缩方法、视频解压方法、智能终端及存储介质 |
| CN113473145A (zh) * | 2020-03-31 | 2021-10-01 | 武汉Tcl集团工业研究院有限公司 | 一种视频压缩方法、视频解压方法、智能终端及存储介质 |
| CN111491204B (zh) * | 2020-04-17 | 2022-07-12 | Oppo广东移动通信有限公司 | 视频修复方法、装置、电子设备和计算机可读存储介质 |
| CN111491204A (zh) * | 2020-04-17 | 2020-08-04 | Oppo广东移动通信有限公司 | 视频修复方法、装置、电子设备和计算机可读存储介质 |
| CN113660443A (zh) * | 2020-05-12 | 2021-11-16 | 武汉Tcl集团工业研究院有限公司 | 一种视频插帧方法、终端以及存储介质 |
| US11363271B2 (en) | 2020-05-15 | 2022-06-14 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for video frame interpolation, related electronic device and storage medium |
| CN111654746B (zh) * | 2020-05-15 | 2022-01-21 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置、电子设备和存储介质 |
| CN111654746A (zh) * | 2020-05-15 | 2020-09-11 | 北京百度网讯科技有限公司 | 视频的插帧方法、装置、电子设备和存储介质 |
| CN111372087B (zh) * | 2020-05-26 | 2020-08-28 | 深圳看到科技有限公司 | 全景视频插帧方法、装置及对应的存储介质 |
| WO2021238500A1 (zh) * | 2020-05-26 | 2021-12-02 | 深圳看到科技有限公司 | 全景视频插帧方法、装置及对应的存储介质 |
| CN111372087A (zh) * | 2020-05-26 | 2020-07-03 | 深圳看到科技有限公司 | 全景视频插帧方法、装置及对应的存储介质 |
| CN112771843A (zh) * | 2020-06-15 | 2021-05-07 | 深圳市大疆创新科技有限公司 | 信息处理方法、装置和成像系统 |
| CN114071223A (zh) * | 2020-07-30 | 2022-02-18 | 武汉Tcl集团工业研究院有限公司 | 基于光流的视频插帧的生成方法、存储介质及终端设备 |
| CN112104830B (zh) * | 2020-08-13 | 2022-09-27 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| WO2022033048A1 (zh) * | 2020-08-13 | 2022-02-17 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112104830A (zh) * | 2020-08-13 | 2020-12-18 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112055249B (zh) * | 2020-09-17 | 2022-07-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN112055249A (zh) * | 2020-09-17 | 2020-12-08 | 京东方科技集团股份有限公司 | 一种视频插帧方法及装置 |
| CN113014936A (zh) * | 2021-02-24 | 2021-06-22 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN112929689A (zh) * | 2021-02-24 | 2021-06-08 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| CN112929689B (zh) * | 2021-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
| US11627281B2 (en) | 2021-02-24 | 2023-04-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for video frame interpolation, and device and storage medium |
| CN112995715A (zh) * | 2021-04-20 | 2021-06-18 | 腾讯科技（深圳）有限公司 | 视频插帧处理方法、装置、电子设备及存储介质 |
| CN113225589B (zh) * | 2021-04-30 | 2022-07-08 | 北京凯视达信息技术有限公司 | 一种视频插帧处理方法 |
| CN113225589A (zh) * | 2021-04-30 | 2021-08-06 | 北京凯视达信息技术有限公司 | 一种视频插帧处理方法 |
| CN113837136A (zh) * | 2021-09-29 | 2021-12-24 | 深圳市慧鲤科技有限公司 | 视频插帧方法及装置、电子设备和存储介质 |
| CN117082295A (zh) * | 2023-09-21 | 2023-11-17 | 荣耀终端有限公司 | 图像流处理方法、设备及存储介质 |
| CN117082295B (zh) * | 2023-09-21 | 2024-03-08 | 荣耀终端有限公司 | 图像流处理方法、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922231A (zh) | 一种用于生成视频的插帧图像的方法和装置 | |
| US11145075B2 (en) | Depth from motion for augmented reality for handheld user devices | |
| US11210803B2 (en) | Method for 3D scene dense reconstruction based on monocular visual slam | |
| Schöps et al. | Semi-dense visual odometry for AR on a smartphone | |
| Senst et al. | Robust local optical flow for feature tracking | |
| Gao et al. | Zernike-moment-based image super resolution | |
| Slesareva et al. | Optic flow goes stereo: A variational method for estimating discontinuity-preserving dense disparity maps | |
| EP2266095B1 (en) | Method and apparatus for super-resolution of images | |
| US8958484B2 (en) | Enhanced image and video super-resolution processing | |
| Amiaz et al. | Coarse to over-fine optical flow estimation | |
| Zeng et al. | A generalized DAMRF image modeling for superresolution of license plates | |
| Shekhovtsov et al. | Solving dense image matching in real-time using discrete-continuous optimization | |
| Zille et al. | Observation model based on scale interactions for optical flow estimation | |
| CN112686952A (zh) | 一种图像光流计算系统、方法及应用 | |
| Chen et al. | Optical flow estimation based on the frequency-domain regularization | |
| Barsky et al. | Elimination of artifacts due to occlusion and discretization problems in image space blurring techniques | |
| Cao et al. | Real-time video stabilization via camera path correction and its applications to augmented reality on edge devices | |
| Austvoll | A study of the Yosemite sequence used as a test sequence for estimation of optical flow | |
| Xu et al. | Spatio-temporal video completion in spherical image sequences | |
| Miao et al. | CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from Monocular Video | |
| CN114913287A (zh) | 一种三维人体模型重建方法及系统 | |
| CN107958464A (zh) | 噪声环境下光流场快速稳健估计方法 | |
| US9036089B2 (en) | Practical temporal consistency for video applications | |
| Sangeetha et al. | Improved exemplar based texture synthesis method for natural scene image completion | |
| Joshi et al. | Simultaneous estimation of super-resolved depth map and intensity field using photometric cue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190621 |