CN109068174B - 基于循环卷积神经网络的视频帧率上变换方法及系统 - Google Patents
基于循环卷积神经网络的视频帧率上变换方法及系统 Download PDFInfo
- Publication number
- CN109068174B CN109068174B CN201811059369.4A CN201811059369A CN109068174B CN 109068174 B CN109068174 B CN 109068174B CN 201811059369 A CN201811059369 A CN 201811059369A CN 109068174 B CN109068174 B CN 109068174B
- Authority
- CN
- China
- Prior art keywords
- neural network
- video
- convolution neural
- cyclic convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 31
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
本发明提供了一种基于循环卷积神经网络的视频帧率上变换方法及系统，该方法包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。从而可以完成从前后两帧到中间帧的映射，提高原有视频的帧率，更好地完成了视频帧率的上变换。
Description
技术领域
本发明涉及视频处理技术领域，具体地，涉及基于循环卷积神经网络的视频帧率上变换方法及系统。
背景技术
视频的帧率是衡量视频质量的重要标准之一。视频的帧率代表每秒显示的帧数，帧率越高则表示视频画面流畅度越好。另外，由于网络视频的传输受到网络环境的影响，在低带宽的视频传输中，视频一般会经过一定程度的帧率降采样和压缩处理，从而以更低的码率传输。因此，在接收端，需要恢复原始视频的帧率，即在原始视频的两帧之间插入一帧或多帧，从而提高视频的帧率。这也使得视频帧率上变换技术显得尤为重要，成为了视频处理技术中关键的一环。
在传统方法中，视频帧率的上变换一般分为两步，首先利用运动估计得到运动矢量，然后通过运动补偿插值生成中间帧。近年来，深度学习被广泛应用于计算机视觉领域的各个方面。例如图像分类、动作识别和视频超分辨率等领域，深度学习算法达到了很好的性能表现。
但是，中间帧的质量很大程度受到运动估计准确度的影响。对于视频帧率上变换技术，使用深度学习算法得到的生成帧还是存在过度平滑、细节缺失等问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于循环卷积神经网络的视频帧率上变换方法及系统。
第一方面，本发明实施例提供一种基于循环卷积神经网络的视频帧率上变换方法，包括：
接收发送端传输的初始视频；
将所述初始视频划分为包含连续两帧图像的多组图像块；
将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；
将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。
可选地，在接收发送端传输的初始视频之前，还包括：
构建初始循环卷积神经网络；
构建训练数据集和验证数据集；
通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络；
通过所述验证数据集对所述训练后的循环卷积神经网络进行验证，若验证通过，则得到所述目标循环卷积神经网络。
可选地，所述构建训练数据集和验证数据集，包括：
获取样本视频，所述样本视频为保留原始帧率的视频；
对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；
将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集。
可选地，通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络，包括：
以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始循环卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；
通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始循环卷积神经网络；并通过所述训练数据集对所述初始循环卷积神经网络进行迭代训练，得到训练后的循环卷积神经网络。
可选地，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：
通过FFmpeg从1080p的样本视频中随机抽出多组连续三帧图像；
将所述连续三帧图像分别切割成256×256分辨率的图像块。
可选地，所述目标损失函数为如下的极小值优化问题：
其中：表示合成的中间帧图像、Igt表示真实的中间帧图像，表示循环卷积神经网络的一维像素特征损失函数，表示高维感知特征损失函数；λ是超参数，用于控制一维像素特征损失函数和高维感知特征损失函数的比重。
可选地，一维像素特征损失函数的计算公式如下：
其中：|| ||1表示1范数，即为绝对值之和。
可选地，高维感知特征损失函数的计算公式如下：
其中：表示2范数，vgg()表示从训练后的循环卷积神经网络中提取出高维感知特征。
可选地，所述初始循环卷积神经网络包括：编码器、解码器、线性插值层；其中：
所述编码器包含：6个卷积块×3个卷积层，一共18个卷积层，且在除最后一层以外的每个卷积块后面插入一个池化层；
所述解码器包含：5个循环卷积块×3个卷积层，一共15个卷积层，且在每个卷积块后面插入一个双线性的升采样层；所述编码器和所述解码器之间采用跳跃式连接，所述编码器的第i个卷积块的最后一个卷积层和所述解码器的第n-i个升采样层连接，n为6，i∈[2,5]；
所述线性插值层，用于根据解码器、编码器以及连续两帧图像映射得到的运动信息，合成对应的中间帧图像。
第二方面，本发明实施例提供一种基于循环卷积神经网络的视频帧率上变换系统，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行如第一方面中任一项所述的基于循环卷积神经网络的视频帧率上变换方法。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于循环卷积神经网络的视频帧率上变换方法及系统，将传统方法的运动估计和线性插值融为一步，形成了端到端的视频前后两帧到中间帧的映射，提高了中间帧的合成质量。在可选方案中，本发明通过在循环卷积神经网络中加入了循环卷积层，显著提高了运动矢量的准确性和视频帧率上变换结果的客观评价指标。在可选方案中，本发明通过在目标损失函数中增添了高维感知特征的损失函数，提高了映射结果的视觉效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明一实施例提供的基于循环卷积神经网络的视频帧率上变换方法的流程图；
图2是本发明一实施例中循环卷积神经网络的网络结构框图；
图3是本发明一实施例中循环卷积层的结构框图；
图4是本发明一实施例中的图像生成结果与现有方法的效果对比示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供的基于循环卷积神经网络的视频帧率上变换方法可以包括如下步骤：
S1：读取原始高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间帧作为标签，组成有监督的数据集，用于步骤S3中的训练和步骤S4中的验证；
S2：以循环卷积神经网络为基础，建立端到端的编解码器和线性插值模型，其中解码器中包含循环卷积层，得到循环卷积神经网络经过步骤S3的训练即可完成前后两帧到中间帧的映射操作，在步骤S4中验证结果；
S3：建立由一维像素特征和高维感知特征综合的目标损失函数，采用步骤S1中建立的训练数据集，不断训练和优化得到可以实现前后两帧到中间帧映射的循环卷积神经网络模型；
S4：将步骤S1中建立的用于验证的数据集输入至经步骤S1～步骤S3建立的卷积神经模型，生成高帧率的视频，并对输出结果进行评价。
其中，步骤S1、步骤S3建立数据集和循环卷积神经网络，步骤S3通过设定的目标损失函数训练得到能完成前后两帧到中间帧的循环卷积神经网络模型，步骤S4对训练得到的循环卷积神经网络模型进行评估。下面介绍前后两帧到中间帧映射的循环卷积神经网络模型的建立过程。
以下通过具体实施例对上述各个步骤中涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本发明部分实施例。
高帧率和低帧率视频对应的数据集的建立：
建立数据集时，将已有的高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间帧作为标签，组成有监督的一一对应的数据集用于训练和验证。
在本发明部分实施例中，选用现有高质量的1080p分辨率的视频，然后通过FFmpeg工具箱将以上选用视频剪切为单帧1920×1080的图像，并按照连续三帧的方式切割成256×256分辨率的图像块，其中，前后两帧作为数据集的输入，中间帧作为数据集的标签，由此得到了监督学习数据集中的图像对。
将得到的连续三帧图像块线性归一化到[0,1]之间，为了网络训练中方便使用，图像载入时使用向量一一对应的储存在h5文件中。所得到的数据集中，训练数据集由100000组图像构成，验证数据集由1000组图像构成。
循环卷积神经网络的建立：
循环卷积神经网络由编解码器和线性插值层两部分组成，将前后两帧图像输入编解码器，得到前后两帧的光流信息(包含光流值和权重值)，然后把前后两帧和光流信息输入线性插值层得到中间帧图像输出。
设计编解码器时，其主要目的是提取前后两帧的光流信息。因此本发明实施例中的编解码器，其中输入的前后两帧图像通过连续的卷积层不断的提取特征，这之中卷积层的卷积核大小不变，其通道数不断增加，并且在中间增加average-pooling层，使得每个通道的尺寸逐渐缩小，从而达到特征提取的操作，这对应于编解码器的编码过程。
随后，使用得到的深层特征通过双线性升采样层增大特征图的尺寸，并通过循环卷积层不断地提取出前后两帧的光流信息，包含三通道，前两个通道为光流值的x和y方向值，最后一个通道为前后两帧的权重值，用于处理遮挡等情况。特别地，在解码器中，循环卷积层在不增加模型参数的同时，增加了网络对光流信息的预测能力。另外，在编解码器对应的卷积层之间添加了跳跃式连接，为解码器提供了更低层的图像信息来预测光流信息。最后，将前后两帧图像和预测得到的光流信息输入到线性插值层中，通过三线性插值得到中间帧。
本发明可选实施例中，编解码器各卷积层的卷积核的大小都是3×3，stride为2，每层卷积操作后都有ReLU作为激活函数，光流预测层除外。编码器包含6个卷积块，每个卷积块包含三个通道数相同的卷积层，其通道数分别为32、64、128、256、512、512，每个卷积块后含有一个stride为2的average-pooling层，最后一个卷积块除外；类似的，解码器包含5个循环卷积块，每个循环卷积块中包含三层卷积，第一层为普通的卷积层，通道数为64，第二层为循环卷积层，时间步数t＝3，第三层为普通的卷积层(光流预测层)，通道数为3，用于预测当前分辨率下的光流信息。
上述的网络结构如图2所示，其中图例中Conv表示卷积层(包含ReLU激活层)，RCL表示循环卷积层；Avg-pooling表示平均池化层，Upsampling表示双线性升采样层，Trilinear interpolation表示三线性插值层，k为卷积核大小，n表示通道数，s表示stride大小，x表示升采样倍数，虚线表示前向传播，实现表示concat连接。循环卷积块的具体结构如图3所示，基本图例与图2一致，右侧结构为循环卷积层时间步数t＝3的展开结构。
设定目标函数并训练网络，得到能完成前后两帧到中间帧映射的循环卷积神经网络模型。具体地，设Igt分别表示真实中间帧和合成中间帧，则循环卷积神经网络的目标损失函数是一个极小值最优化问题：
其中，表示循环卷积神经网络的一维像素特征损失函数，表示高维感知特征损失函数，λ是超参数，用于控制两种损失函数的比重。在本发明实例中，可以被写为：
||I-Igt||1 (2)
其中|| ||1表示1范数，即为绝对值之和，是一种像素级别的计算方法。可以表示为：
其中表示2范数，vgg()代表从预训练好的VGG-19网络的第4个池化层前的ReLU层提取出高维感知特征。的提出用于解决图像细节缺失，过于平滑的问题。
本发明实例中，在考虑到图像具有的一维像素特征的同时，还考虑到了高维感知特征。其中，一维特征对应于图像的像素值，而高维特征对应于从图像中提取出的感知特征。
通过损失函数的设定，在以上描述的循环卷积神经网络训练完成后，得到能完成视频帧率上变换的网络模型。
实施条件与结果评估：
在本发明部分实施例中，代码实现由Python完成，框架使用PyTorch。训练过程中，选取的每次迭代的批次大小为16，优化方法选择Adam，其参数β1设置为0.9，β2设置为0.999，其学习率设置为10-4。目标函数中的参数设置，λ设置为10-3。
对于客观评价指标，选用PSNR和SSIM对合成的中间帧进行客观评价，其中，PSNR反映的是合成中间帧和真实中间帧之间像素级的差异程度，而SSIM用于评价评价合成中间帧的结构相关性，两个指标均为值越大表示图像质量越好。
表1本发明实施例与现有方法的效果对比
表1中给出了本发明实施例得出的结果与现有方法的结果评价指标对比，其中MDP-Flow2是非学习方法，是基于运动补偿的传统视频帧率上变换方法；DVF和SepConv-LF均为基于学习的方法，其代码实现来源于作者。从结果来看，本发明实施例的结果在两种评价指标中都具有最高的分值，可以认为本发明提出的方法相对于现有方法在中间帧合成图像的质量上有所提升，结果实例可以参照图4。
从图4可以看出本发明的结果更加清晰，细节更加丰富，尤其是在运动速度较快的区域，能合成出和真实中间帧更加相近的图像。
本发明还提供一种基于循环卷积神经网络的视频帧率上变换系统的实施例，包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行图1、图2所述的基于循环卷积神经网络的视频帧率上变换的方法。
本发明所述方法和系统改善了现有方法的运动估计不准确、合成帧细节缺失等问题，并考虑到图像的一维像素特性和高维感知特征，更好的实现了对视频中间帧的合成。
需要说明的是，本发明提供的所述基于循环卷积神经网络的视频帧率上变换方法中的步骤，可以利用所述基于循环卷积神经网络的视频帧率上变换系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种基于循环卷积神经网络的视频帧率上变换方法，其特征在于，包括：
接收发送端传输的初始视频；
将所述初始视频划分为包含连续两帧图像的多组图像块；
将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；
将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频；
在接收发送端传输的初始视频之前，还包括：
构建初始循环卷积神经网络；
构建训练数据集和验证数据集；
通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络；
通过所述验证数据集对所述训练后的循环卷积神经网络进行验证，若验证通过，则得到所述目标循环卷积神经网络；
所述构建训练数据集和验证数据集，包括：
获取样本视频，所述样本视频为保留原始帧率的视频；
对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；
将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集；
通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络，包括：
以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始循环卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；
通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始循环卷积神经网络；并通过所述训练数据集对所述初始循环卷积神经网络进行迭代训练，得到训练后的循环卷积神经网络；
所述目标损失函数为如下的极小值优化问题：
其中：表示合成的中间帧图像、Igt表示真实的中间帧图像，表示循环卷积神经网络的一维像素特征损失函数，表示高维感知特征损失函数；λ是超参数，用于控制一维像素特征损失函数和高维感知特征损失函数的比重。
2.根据权利要求1所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：
通过FFmpeg从1080p的样本视频中随机抽出多组连续三帧图像；
将所述连续三帧图像分别切割成256×256分辨率的图像块。
3.根据权利要求1所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，一维像素特征损失函数的计算公式如下：
其中：|| ||1表示1范数，即为绝对值之和。
4.根据权利要求1所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，高维感知特征损失函数的计算公式如下：
其中：表示2范数，vgg()表示从训练后的循环卷积神经网络中提取出高维感知特征。
5.根据权利要求1-4中任一项所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，所述初始循环卷积神经网络包括：编码器、解码器、线性插值层；其中：
所述编码器包含：6个卷积块×3个卷积层，一共18个卷积层，且在除最后一层以外的每个卷积块后面插入一个池化层；
所述解码器包含：5个循环卷积块×3个卷积层，一共15个卷积层，且在每个卷积块后面插入一个双线性的升采样层；所述编码器和所述解码器之间采用跳跃式连接，所述编码器的第i个卷积块的最后一个卷积层和所述解码器的第n-i个升采样层连接，n为6，i∈[2,5]；
所述线性插值层，用于根据解码器、编码器以及连续两帧图像映射得到的运动信息，合成对应的中间帧图像。
6.一种基于循环卷积神经网络的视频帧率上变换系统，其特征在于，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行权利要求1-5中任一项所述的基于循环卷积神经网络的视频帧率上变换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811059369.4A CN109068174B (zh) | 2018-09-12 | 2018-09-12 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811059369.4A CN109068174B (zh) | 2018-09-12 | 2018-09-12 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109068174A CN109068174A (zh) | 2018-12-21 |
| CN109068174B true CN109068174B (zh) | 2019-12-27 |
Family
ID=64761405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811059369.4A Active CN109068174B (zh) | 2018-09-12 | 2018-09-12 | 基于循环卷积神经网络的视频帧率上变换方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109068174B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109672885B (zh) * | 2019-01-08 | 2020-08-04 | 中国矿业大学(北京) | 一种用于矿井智能监控的视频图像编解码方法 |
| CN113766313B (zh) * | 2019-02-26 | 2024-03-05 | 深圳市商汤科技有限公司 | 视频数据处理方法及装置、电子设备和存储介质 |
| CN110191299B (zh) * | 2019-04-15 | 2020-08-04 | 浙江大学 | 一种基于卷积神经网络的多重帧插值方法 |
| CN110322525B (zh) * | 2019-06-28 | 2023-05-02 | 连尚（新昌）网络科技有限公司 | 一种动图处理方法及终端 |
| CN110446107B (zh) * | 2019-08-15 | 2020-06-23 | 电子科技大学 | 一种适用于缩放运动和明暗变化的视频帧率上变换方法 |
| US20210067735A1 (en) * | 2019-09-03 | 2021-03-04 | Nvidia Corporation | Video interpolation using one or more neural networks |
| CN110689509B (zh) * | 2019-09-10 | 2024-04-19 | 上海大学 | 基于循环多列3d卷积网络的视频超分辨率重建方法 |
| CN110636221A (zh) * | 2019-09-23 | 2019-12-31 | 天津天地人和企业管理咨询有限公司 | 一种基于FPGA的sensor超帧率的系统及方法 |
| CN110830848B (zh) * | 2019-11-04 | 2021-12-07 | 上海眼控科技股份有限公司 | 图像插值方法、装置、计算机设备和存储介质 |
| CN111681170B (zh) * | 2020-06-10 | 2023-05-02 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及电子设备 |
| CN112040311B (zh) * | 2020-07-24 | 2021-10-26 | 北京航空航天大学 | 视频图像补帧方法、装置、设备及可存储介质 |
| CN112104830B (zh) * | 2020-08-13 | 2022-09-27 | 北京迈格威科技有限公司 | 视频插帧方法、模型训练方法及对应装置 |
| CN112184779A (zh) * | 2020-09-17 | 2021-01-05 | 无锡安科迪智能技术有限公司 | 插帧图像处理方法及装置 |
| CN112533026A (zh) * | 2020-11-27 | 2021-03-19 | 西安蓝极医疗电子科技有限公司 | 基于卷积神经网络的视频插帧方法 |
| CN112767310B (zh) * | 2020-12-31 | 2024-03-22 | 咪咕视讯科技有限公司 | 一种视频质量评价方法、装置及设备 |
| CN112788236B (zh) * | 2020-12-31 | 2022-08-09 | 维沃移动通信有限公司 | 视频帧处理方法、装置、电子设备和可读存储介质 |
| CN112929689B (zh) * | 2021-02-24 | 2023-04-07 | 北京百度网讯科技有限公司 | 视频插帧方法、装置、设备以及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及系统 |
| CN107103754A (zh) * | 2017-05-10 | 2017-08-29 | 华南师范大学 | 一种道路交通状况预测方法及系统 |
| CN107247952A (zh) * | 2016-07-28 | 2017-10-13 | 哈尔滨工业大学 | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 |
| CN107292912A (zh) * | 2017-05-26 | 2017-10-24 | 浙江大学 | 一种基于多尺度对应结构化学习的光流估计方法 |
| CN107844743A (zh) * | 2017-09-28 | 2018-03-27 | 浙江工商大学 | 一种基于多尺度分层残差网络的图像多字幕自动生成方法 |
| CN107943967A (zh) * | 2017-11-28 | 2018-04-20 | 华南理工大学 | 基于多角度卷积神经网络与循环神经网络的文本分类算法 |
| CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其系统 |
| CN108009469A (zh) * | 2017-10-24 | 2018-05-08 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN108038853A (zh) * | 2017-12-18 | 2018-05-15 | 浙江工业大学 | 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法 |
| CN108184128A (zh) * | 2018-01-11 | 2018-06-19 | 安徽优思天成智能科技有限公司 | 基于深度神经网络的视频序列丢失帧预测恢复方法 |
| CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194559B (zh) * | 2017-05-12 | 2020-06-05 | 杭州电子科技大学 | 一种基于三维卷积神经网络的工作流识别方法 |
| CN107808389B (zh) * | 2017-10-24 | 2020-04-17 | 上海交通大学 | 基于深度学习的无监督视频分割方法 |
-
2018
- 2018-09-12 CN CN201811059369.4A patent/CN109068174B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247952A (zh) * | 2016-07-28 | 2017-10-13 | 哈尔滨工业大学 | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 |
| CN106686472A (zh) * | 2016-12-29 | 2017-05-17 | 华中科技大学 | 一种基于深度学习的高帧率视频生成方法及系统 |
| CN108304755A (zh) * | 2017-03-08 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 用于图像处理的神经网络模型的训练方法和装置 |
| CN107103754A (zh) * | 2017-05-10 | 2017-08-29 | 华南师范大学 | 一种道路交通状况预测方法及系统 |
| CN107292912A (zh) * | 2017-05-26 | 2017-10-24 | 浙江大学 | 一种基于多尺度对应结构化学习的光流估计方法 |
| CN107844743A (zh) * | 2017-09-28 | 2018-03-27 | 浙江工商大学 | 一种基于多尺度分层残差网络的图像多字幕自动生成方法 |
| CN108009469A (zh) * | 2017-10-24 | 2018-05-08 | 中国科学院电子学研究所苏州研究院 | 一种基于结构递归神经网络的海上油气平台检测方法 |
| CN107943967A (zh) * | 2017-11-28 | 2018-04-20 | 华南理工大学 | 基于多角度卷积神经网络与循环神经网络的文本分类算法 |
| CN107977930A (zh) * | 2017-12-09 | 2018-05-01 | 北京花开影视制作有限公司 | 一种图像超分辨方法及其系统 |
| CN108038853A (zh) * | 2017-12-18 | 2018-05-15 | 浙江工业大学 | 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法 |
| CN108184128A (zh) * | 2018-01-11 | 2018-06-19 | 安徽优思天成智能科技有限公司 | 基于深度神经网络的视频序列丢失帧预测恢复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109068174A (zh) | 2018-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109068174B (zh) | 基于循环卷积神经网络的视频帧率上变换方法及系统 | |
| CN109379550B (zh) | 基于卷积神经网络的视频帧率上变换方法及系统 | |
| CN109064507B (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
| US20200349680A1 (en) | Image processing method and device, storage medium and electronic device | |
| US10623775B1 (en) | End-to-end video and image compression | |
| CN113034380B (zh) | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 | |
| CN111587447A (zh) | 帧循环视频超分辨率 | |
| KR102093577B1 (ko) | 학습네트워크를 이용한 예측 영상 생성 방법 및 예측 영상 생성 장치 | |
| CN110751649B (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN109903315B (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| US20200293833A1 (en) | Neural network model training method and device, and time-lapse photography video generating method and device | |
| US20230401672A1 (en) | Video processing method and apparatus, computer device, and storage medium | |
| CN113934890B (zh) | 一种文字自动生成场景视频的方法及系统 | |
| EP3298575B1 (en) | Super resolution using fidelity transfer | |
| CN116402679A (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| CN117478978B (zh) | 一种文本生成电影视频片段的方法、系统和设备 | |
| CN114842400A (zh) | 基于残差块和特征金字塔的视频帧生成方法及系统 | |
| CN113393435B (zh) | 一种基于动态上下文感知滤波网络的视频显著性检测方法 | |
| US20220301106A1 (en) | Training method and apparatus for image processing model, and image processing method and apparatus | |
| KR102057395B1 (ko) | 기계학습 기반 비디오 보외법을 이용한 영상 생성 방법 | |
| JP4563982B2 (ja) | 動き推定方法，装置，そのプログラムおよびその記録媒体 | |
| CN115082840A (zh) | 基于数据组合和通道相关性的动作视频分类方法和装置 | |
| CN115861490A (zh) | 一种基于注意力机制的图像动画构建方法和系统 | |
| Mali et al. | An empirical analysis of recurrent learning algorithms in neural lossy image compression systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |