CN115334271B - 高帧率视频生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及视频处理技术领域，提供一种高帧率视频生成方法、装置、电子设备及存储介质。该方法包括：针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对多个视频帧进行边缘处理，得到多个第一视频帧；根据预设的滤波参数对多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，处理后的多个视频包括第一基准视频对应的第二基准视频以及多个第一待校正视频对应的多个第二待校正视频；采用视频校正模型对多个第二待校正视频进行校正，生成多个校正视频；利用时间超分辨率模型，根据第二基准视频以及多个校正视频生成高帧率视频。该方法降低了获取高帧率视频的成本。

Description

高帧率视频生成方法、装置、电子设备及存储介质

技术领域

本发明涉及视频处理技术领域，具体涉及一种高帧率视频生成方法、装置、电子设备及存储介质。

背景技术

目前，为了提高图像的空间分辨率，一方面直接采用高帧率摄像设备拍摄图像，但是这类摄像头价格昂贵，成本较高。另一方面通过对单个摄像头拍摄的视频直接进行插帧，这类方法插入的帧只能使视频更平滑，即可以一定程度上增强低频信号强度，并不能增加高频信号的强度。

发明内容

鉴于以上内容，有必要提出一种高帧率视频生成方法、装置、电子设备及存储介质，解决了如何基于低成本获取高帧率视频的问题。

本发明的第一方面提供一种高帧率视频生成方法，所述方法包括：

获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频；

针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧；

根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频；

采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频；

利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

根据本发明的一个可选的实施例，所述获取多个拍摄设备拍摄的多个视频，包括：

从第一时刻开始，按照预设的时间间隔启动所述多个拍摄设备，将所述第一时刻启动的拍摄设备拍摄的视频作为所述第一基准视频，将所述第一时刻之后启动的拍摄设备拍摄的视频作为所述多个第一待校正视频。

根据本发明的一个可选的实施例，在所述采用视频校正模型对所述多个第二待校正视频进行校正之前，所述方法还包括：

从所述第二基准视频中获取第一训练帧图像以及从所述多个第二待校正视频中获取第二训练帧图像；

将所述第二训练帧图像输入所述视频校正模型，生成第一校正帧图像；

计算所述第一训练帧图像与所述第一校正帧图像的损失函数；

基于所述损失函数，通过反向传播算法计算所述视频校正模型的校正参数；

根据所述校正参数调整所述视频校正模型。

根据本发明的一个可选的实施例，所述采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频，包括：

针对每个第二待校正视频，获取每个待校正视频对应的多个待校正帧图像；

将所述多个待校正帧图像输入所述视频校正模型进行校正，得到每个第二待校正视频对应的多个第二校正帧图像；

对所述每个第二待校正视频对应的多个第二校正帧图像进行拼接，生成每个第二待校正视频对应的多个校正视频。

根据本发明的一个可选的实施例，所述方法包括：所述多个校正视频与所述第二基准视频的视频参数相同，所述视频参数包括拍摄视频的焦距、方向以及光照信息。

根据本发明的一个可选的实施例，所述利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频，包括：

将所述第二基准视频中的第三视频帧以及所述多个校正视频中的第四视频帧按时间顺序排序，得到排序后的视频帧；

所述排序后的视频帧中，将每连续两个所述第三视频帧和所述连续两个所述第三视频帧之间的第四视频帧融合为组合视频帧；

将所述多个组合视频帧输入所述时间超分辨率模型，根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频。

根据本发明的一个可选的实施例，所述根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频，包括：

基于所述时间超分辨率模型的输出，得到多个生成帧以及所述多个生成帧的输出位置；

基于所述多个生成帧的输出位置，融合所述第二基准视频的视频帧与所述多个生成帧，得到所述高帧率视频。

本发明的第二方面提供一种高帧率视频生成装置，所述装置包括获取模块、第一处理模块、第二处理模块、校正模块以及生成模块：

所述获取模块，用于获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频；

所述第一处理模块，用于针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧；

所述第二处理模块，用于根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频；

所述校正模块，用于采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频；

所述生成模块，用于利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述高帧率视频生成方法。

本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述高帧率视频生成方法。

本发明所述的高帧率视频生成方法、装置、电子设备及存储介质，通过获取多个拍摄设备拍摄的多个视频，并对拍摄得到的多个视频进行去噪处理，得到处理后的第二基准视频以及第二待校正视频，采用视频校正模型对多个第二待校正视频进行校正，生成多个校正视频，利用时间超分辨率模型，根据第二基准视频以及多个校正视频生成高帧率视频。本发明能有效的降低获取高帧率视频的成本，同时也保障了获取高帧率视频的精度。

附图说明

图1是本发明实施例一提供的高帧率视频生成方法的流程图。

图2是训练视频校正模型的示意图。

图3是基于时间超分辨率模型生成高帧率视频的示意图。

图4是本发明实施例二提供的高帧率视频生成装置的结构图。

图5是本发明实施例三提供的电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述在一个可选的实施方式中实施例的目的，不是旨在于限制本发明。

本发明实施例提供的高帧率视频生成方法由电子设备执行，相应地，高帧率视频生成装置运行于电子设备中。

实施例一

本申请实施例提供一种高帧率视频生成方法。图1是本申请实施例提供的高帧率视频生成方法的流程图。所述高帧率视频生成方法应用在电子设备中，能够降低获取高帧率视频的成本，以及能够保留更多的高频信号，为图像处理提供了更好的输入。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S11，获取多个拍摄设备拍摄的多个视频，多个视频包括第一基准视频以及多个第一待校正视频。

在一个可选的实施方式中，本申请提供的方案设置有多个摄像设备，所述摄像设备可以是低帧率拍摄设备，所述低帧率拍摄设备可以是摄像头。多个摄像头均从同一个方向拍摄同一个目标，可以理解的是，不同摄像头的拍摄焦距以及曝光系数等可能不同，因此，多个摄像头从同一个方向拍摄同一个目标的拍摄角度也会有一些差异。

本申请实施例中设置了多个摄像头，将其中一个摄像头拍摄的视频作为第一基准视频，将其他摄像头拍摄的视频作为第一待校正视频。

在一个可选的实施方式中，所述获取多个拍摄设备拍摄的多个视频，包括：

从第一时刻开始，按照预设的时间间隔启动所述多个拍摄设备，将所述第一时刻启动的拍摄设备拍摄的视频作为所述第一基准视频，将所述第一时刻之后启动的拍摄设备拍摄的视频作为所述多个第一待校正视频。

对所述多个拍摄设备设置相同的视频帧率，使得多个拍摄设备显示帧数的量度相同，比如，每秒显示K帧。本申请实施例设置了时间同步机制，依次启动多个拍摄设备，将在第一时刻启动的拍摄设备拍摄的视频作为第一基准视频，在第一时刻启动拍摄设备以后的其他时间，依次启动其他的拍摄设备进行拍摄，将其他的拍摄设备拍摄的视频作为第一待校正视频。

示例性地，假设有三个摄像头，分别是摄像头1、摄像头2以及摄像头3，设置同样的视频帧率为0～33ms为1帧，在0时刻启动摄像头1进行拍摄，10ms启动摄像头2进行拍摄，在22ms启动摄像头3进行拍摄，视频帧率都是0～33ms拍摄1帧，控制这些摄像头拍摄的帧之间具有微小的时间差，让这些摄像头拍摄的帧在时间轴上处于不同位置，从而在整体上可以获得比单个摄像头更多的信息。

S12，针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对多个视频帧进行边缘处理，得到多个第一视频帧。

针对S11拍摄得到的第一基准视频以及多个第一待校正视频进行去噪处理。利用多个拍摄设备拍摄的视频会存在很多噪声，在得到第一基准视频以及多个第一待校正视频以后，对第一基准视频以及多个第一待校正视频进行去噪处理。

获取每个视频对应的多个视频帧，对多个视频帧进行边缘处理，所述边缘处理可以是边缘强化处理，生成经过边缘处理后的多个第一视频帧。

所述边缘强化处理过程中的中间信息可以包括：视频帧的原始亮度信息的边缘信息、视频帧的原始色度信息的色度边缘图、增益图中的至少一种。其中，增益图用于对当前视频帧的原始亮度信息中的边缘信息进行增强。所述边缘强化处理，可以包括对视频帧的原始亮度信息进行边缘增强。

对所述多个视频帧进行边缘处理具体包括：在得到每个视频对应的多个视频帧以后，确定每个视频帧对应的增益图，所述增益图用于对所述视频帧进行边缘增强处理，根据所述增益图对所述视频帧进行边缘增强处理，确定视频帧的原始亮度信息，并提取原始亮度信息的边缘信息，将增益图与边缘信息相乘，得到视频帧的边缘增强后的亮度信息，结合边缘增强后的亮度信息，得到第一视频帧。所述提取原始亮度信息包括，提取原始亮度信息的边缘细节信息以及边缘结构信息。

S13，根据预设的滤波参数对多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，处理后的多个视频包括第一基准视频对应的第二基准视频以及多个第一待校正视频对应的多个第二待校正视频。

在一个可选的实施例中，可以在得到每个视频对应的多个视频帧以后，确定每个视频帧对应的增益图，所述增益图用于对所述视频帧进行边缘增强处理，根据所述增益图对所述视频帧进行边缘增强处理，得到第一视频帧，利用所述增益图调整预设的滤波参数，结合调整后的滤波参数对所述第一视频帧进行去噪处理。

利用调整后的滤波参数，对多个第一视频帧中的亮度信息进行空域去噪处理，生成第一视频帧的第一亮度信息，对所述第一视频帧的第一亮度信息进行时域去噪处理，得到处理后的第一视频帧的第二亮度信息，结合所述第二亮度信息，生成处理后的多个第二视频帧。

对拍摄得到的视频进行处理以后，得到所述第一基准视频经过去噪以后的第二基准视频，以及所述多个第一待校正视频经过去噪以后的多个第二待校正视频。

S14，采用视频校正模型对多个第二待校正视频进行校正，生成多个校正视频。

可以理解的是，多个摄像头即使是从同一个方向拍摄同一个目标，也会存在一定的拍摄角度差异，因此，本申请实施例通过训练得到的视频校正模型对多个第二待校正视频的视频参数进行校正，生成多个校正视频，使得所述多个校正视频的视频参数与第二基准视频的视频参数相同。

在一个可选的实施方式中，所述多个校正视频与所述第二基准视频的视频参数相同，所述视频参数包括拍摄视频的焦距、方向以及光照信息。

在一个可选的实施方式中，在所述采用视频校正模型对所述多个第二待校正视频进行校正之前，包括：

从所述第二基准视频中获取第一训练帧图像以及从所述多个第二待校正视频中获取第二训练帧图像；

将所述第二训练帧图像输入所述视频校正模型，生成第一校正帧图像；

计算所述第一训练帧图像与所述第一校正帧图像的损失函数；

基于所述损失函数，通过反向传播算法计算所述视频校正模型的校正参数；

根据所述校正参数调整所述视频校正模型。

图2是训练视频校正模型的示意图。如图2所示，可以利用上述步骤得到的第二待校正视频或采用其他摄像设备拍摄得到的视频数据作为训练视频校正模型的训练数据。示例性的，将第二待校正视频的第二训练帧图像I1输入视频校正模型F中，生成第一校正帧图像I2。获取第二基准视频的第一训练帧图像GT，基于相对熵(Relative Entropy)，计算第二基准视频的第一训练帧图像GT与第一校正帧图像I2的损失函数Loss，Loss＝KL(GT,I2)＝KL(GT,F(I1))。基于所述损失函数，执行反向传播算法过程，得到所述视频校正模型的校正参数，根据所述校正参数校正所述视频校正模型F。所述相对熵又称为KL散度(Kullback-Leibler divergence)。

根据所述校正参数调整所述视频校正模型F以后，输入第二待校正视频的测试帧图像，得到基于测试帧图像的校正帧图像，计算基于测试帧图像的校正帧图像与第二基准视频的测试帧图像的损失函数，如果此时的损失函数小于预设阈值，所述视频校正模型F训练完成。

在一个可选的实施方式中，所述采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频，包括：

获取每个第二待校正视频对应的多个待校正帧图像；

将所述多个待校正帧图像输入所述视频校正模型进行校正，得到每个第二待校正视频对应的多个第二校正帧图像；

对所述每个第二待校正视频对应的多个第二校正帧图像进行拼接，生成每个第二待校正视频对应的多个校正视频。

针对每个第二待校正视频对应的多个待校正帧图像输入所述视频校正模型，生成多个第二校正帧图像。每个所述第二待校正视频均包含有多个第二校正帧图像，将每个所述第二待校正视频的多个第二校正帧图像以时间顺序进行拼接，生成校正视频，所述校正视频为校正后的待校正视频，所述校正视频的视频参数与所述第二基准视频的视频参数相同。

S15，利用时间超分辨率模型，根据第二基准视频以及多个校正视频生成高帧率视频。

在一个可选的实施方式中，所述利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频，包括：

将所述第二基准视频中的第三视频帧以及所述多个校正视频中的第四视频帧按时间顺序排序，得到排序后的视频帧；

所述排序后的视频帧中，将每连续两个所述第三视频帧和所述连续两个所述第三视频帧之间的第四视频帧融合为组合视频帧；

将所述多个组合视频帧输入所述时间超分辨率模型，根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频。

在一个可选的实施方式中，所述根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频，包括：

基于所述时间超分辨率模型的输出，得到多个生成帧以及所述多个生成帧的输出位置；

基于所述多个生成帧的输出位置，融合所述第二基准视频的视频帧与所述多个生成帧，得到所述高帧率视频。

图3是基于时间超分辨率模型生成高帧率视频的示意图。如图3所示，将在第一时刻拍摄视频的拍摄设备作为摄像头1，即拍摄基准视频的拍摄设备，以时间顺序分别启动摄像头2和摄像头3进行拍摄待校正视频，摄像头2和摄像头3拍摄的待校正视频经过视频校正模型的处理，分别生成视频2和视频3的校正视频。

获取第二基准视频中的每一视频帧，将其称之为第三视频帧，获取视频2以及视频3的校正视频的每一视频帧，将其称之为第四视频帧，将所述第二基准视频中的每一个第三视频帧进行标记，将标记后的第三视频帧与第四视频帧按时间顺序排序，得到排序后的视频帧。

基于标记后的第三视频帧，获取排序后的视频帧中第二基准视频的任意连续两个第三视频帧以及连续两个第三视频帧之间的第四视频帧，将每连续两个第三视频帧和连续两个第三视频帧之间的第四视频帧，融合为组合视频帧，如图3中的虚线框中的前四帧组合成所述组合视频帧。将所述组合视频帧输入所述时间超分辨率模型中，得到生成帧以及所述生成帧的输出位置，所述生成帧的输出位置为所述基准视频中插入帧的位置。

以基准视频为待插入视频帧的视频，将生成帧插入到基准视频中，得到高帧率视频，所述高帧率视频保留了更多高频信号。

本申请设置了多个摄像设备拍摄视频，同时设置了时间同步机制，使得多个摄像设备的视频帧在时间轴上处于不同位置，从而在将多个视频融合以后，得到比单个摄像头更多的高频信号，使得视频帧率更高，增加了高帧率视频中高频信号的强度。本申请采用的是低帧率的拍摄设备进行拍摄视频，成本较低。

实施例二

图4是本发明实施例二提供的高帧率视频生成装置的结构图。

在一些实施例中，所述高帧率视频生成装置400可以包括多个由计算机程序段所组成的功能模块。所述高帧率视频生成装置400中的各个程序段的计算机程序可以存储于电子设备的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)高帧率视频生成的功能。

本实施例中，所述高帧率视频生成装置400根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块401、第一处理模块402、第二处理模块403、校正模块404以及生成模块405。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

获取模块401，用于获取多个拍摄设备拍摄的多个视频，多个视频包括第一基准视频以及多个第一待校正视频。

在一个可选的实施方式中，本申请提供的方案设置有多个摄像设备，所述摄像设备可以是低帧率拍摄设备，所述低帧率拍摄设备可以是摄像头。多个摄像头均从同一个方向拍摄同一个目标，可以理解的是，不同摄像头的拍摄焦距以及曝光系数等可能不同，因此，多个摄像头从同一个方向拍摄同一个目标的拍摄角度也会有一些差异。

本申请实施例中设置了多个摄像头，将其中一个摄像头拍摄的视频作为第一基准视频，将其他摄像头拍摄的视频作为第一待校正视频。

在一个可选的实施方式中，所述获取多个拍摄设备拍摄的多个视频，包括：

从第一时刻开始，按照预设的时间间隔启动所述多个拍摄设备，将所述第一时刻启动的拍摄设备拍摄的视频作为所述第一基准视频，将所述第一时刻之后启动的拍摄设备拍摄的视频作为所述多个第一待校正视频。

对所述多个拍摄设备设置相同的视频帧率，使得多个拍摄设备显示帧数的量度相同，比如，每秒显示K帧。本申请实施例设置了时间同步机制，依次启动多个拍摄设备，将在第一时刻启动的拍摄设备拍摄的视频作为第一基准视频，在第一时刻启动拍摄设备以后的其他时间，依次启动其他的拍摄设备进行拍摄，将其他的拍摄设备拍摄的视频作为第一待校正视频。

示例性地，假设有三个摄像头，分别是摄像头1、摄像头2以及摄像头3，设置同样的视频帧率为0～33ms为1帧，在0时刻启动摄像头1进行拍摄，10ms启动摄像头2进行拍摄，在22ms启动摄像头3进行拍摄，视频帧率都是0～33ms拍摄1帧，控制这些摄像头拍摄的帧之间具有微小的时间差，让这些摄像头拍摄的帧在时间轴上处于不同位置，从而在整体上可以获得比单个摄像头更多的信息。

第一处理模块402，用于针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对多个视频帧进行边缘处理，得到多个第一视频帧。

针对获取模块401得到的第一基准视频以及多个第一待校正视频进行去噪处理。利用多个拍摄设备拍摄的视频会存在很多噪声，在得到第一基准视频以及多个第一待校正视频以后，对第一基准视频以及多个第一待校正视频进行去噪处理。

获取每个视频对应的多个视频帧，对多个视频帧进行边缘处理，所述边缘处理可以是边缘强化处理，生成经过边缘处理后的多个第一视频帧。

所述边缘强化处理过程中的中间信息可以包括：视频帧的原始亮度信息的边缘信息、视频帧的原始色度信息的色度边缘图、增益图中的至少一种。其中，增益图用于对当前视频帧的原始亮度信息中的边缘信息进行增强。所述边缘强化处理，可以包括对视频帧的原始亮度信息进行边缘增强。

对所述多个视频帧进行边缘处理具体包括：在得到每个视频对应的多个视频帧以后，确定每个视频帧对应的增益图，所述增益图用于对所述视频帧进行边缘增强处理，根据所述增益图对所述视频帧进行边缘增强处理，确定视频帧的原始亮度信息，并提取原始亮度信息的边缘信息，将增益图与边缘信息相乘，得到视频帧的边缘增强后的亮度信息，结合边缘增强后的亮度信息，得到第一视频帧。所述提取原始亮度信息包括，提取原始亮度信息的边缘细节信息以及边缘结构信息。

第二处理模块403，用于根据预设的滤波参数对多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，处理后的多个视频包括第一基准视频对应的第二基准视频以及多个第一待校正视频对应的多个第二待校正视频。

在一个可选的实施例中，可以在得到每个视频对应的多个视频帧以后，确定每个视频帧对应的增益图，所述增益图用于对所述视频帧进行边缘增强处理，根据所述增益图对所述视频帧进行边缘增强处理，得到第一视频帧，利用所述增益图调整预设的滤波参数，结合调整后的滤波参数对所述第一视频帧进行去噪处理。

利用调整后的滤波参数，对多个第一视频帧中的亮度信息进行空域去噪处理，生成第一视频帧的第一亮度信息，对所述第一视频帧的第一亮度信息进行时域去噪处理，得到处理后的第一视频帧的第二亮度信息，结合所述第二亮度信息，生成处理后的多个第二视频帧。

对拍摄得到的视频进行处理以后，得到所述第一基准视频经过去噪以后的第二基准视频，以及所述多个第一待校正视频经过去噪以后的多个第二待校正视频。

校正模块404，用于采用视频校正模型对多个第二待校正视频进行校正，生成多个校正视频。

可以理解的是，多个摄像头即使是从同一个方向拍摄同一个目标，也会存在一定的拍摄角度差异，因此，本申请实施例通过训练得到的视频校正模型对多个第二待校正视频的视频参数进行校正，生成多个校正视频，使得所述多个校正视频的视频参数与第二基准视频的视频参数相同。

在一个可选的实施方式中，所述多个校正视频与所述第二基准视频的视频参数相同，所述视频参数包括拍摄视频的焦距、方向以及光照信息。

在一个可选的实施方式中，在所述采用视频校正模型对所述多个第二待校正视频进行校正之前，包括：

从所述第二基准视频中获取第一训练帧图像以及从所述多个第二待校正视频中获取第二训练帧图像；

将所述第二训练帧图像输入所述视频校正模型，生成第一校正帧图像；

计算所述第一训练帧图像与所述第一校正帧图像的损失函数；

基于所述损失函数，通过反向传播算法计算所述视频校正模型的校正参数；

根据所述校正参数调整所述视频校正模型。

图2是训练视频校正模型的示意图。如图2所示，可以利用上述得到的第二待校正视频或采用其他摄像设备拍摄得到的视频数据作为训练视频校正模型的训练数据。示例性的，将第二待校正视频的第二训练帧图像I1输入视频校正模型F中，生成第一校正帧图像I2。获取第二基准视频的第一训练帧图像GT，基于相对熵(Relative Entropy)，计算第二基准视频的第一训练帧图像GT与第一校正帧图像I2的损失函数Loss，Loss＝KL(GT,I2)＝KL(GT,F(I1))。基于所述损失函数，执行反向传播算法过程，得到所述视频校正模型的校正参数，根据所述校正参数校正所述视频校正模型F。所述相对熵又称为KL散度(Kullback-Leibler divergence)。

根据所述校正参数调整所述视频校正模型F以后，输入第二待校正视频的测试帧图像，得到基于测试帧图像的校正帧图像，计算基于测试帧图像的校正帧图像与第二基准视频的测试帧图像的损失函数，如果此时的损失函数小于预设阈值，所述视频校正模型F训练完成。

在一个可选的实施方式中，所述采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频，包括：

获取每个第二待校正视频对应的多个待校正帧图像；

将所述多个待校正帧图像输入所述视频校正模型进行校正，得到每个第二待校正视频对应的多个第二校正帧图像；

对所述每个第二待校正视频对应的多个第二校正帧图像进行拼接，生成每个第二待校正视频对应的多个校正视频。

针对每个第二待校正视频对应的多个待校正帧图像输入所述视频校正模型，生成多个第二校正帧图像。每个所述第二待校正视频均包含有多个第二校正帧图像，将每个所述第二待校正视频的多个第二校正帧图像以时间顺序进行拼接，生成校正视频，所述校正视频为校正后的待校正视频，所述校正视频的视频参数与所述第二基准视频的视频参数相同。

生成模块405，用于利用时间超分辨率模型，根据第二基准视频以及多个校正视频生成高帧率视频。

在一个可选的实施方式中，所述利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频，包括：

将所述第二基准视频中的第三视频帧以及所述多个校正视频中的第四视频帧按时间顺序排序，得到排序后的视频帧；

所述排序后的视频帧中，将每连续两个所述第三视频帧和所述连续两个所述第三视频帧之间的第四视频帧融合为组合视频帧；

将所述多个组合视频帧输入所述时间超分辨率模型，根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频。

在一个可选的实施方式中，所述根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频，包括：

基于所述时间超分辨率模型的输出，得到多个生成帧以及所述多个生成帧的输出位置；

基于所述多个生成帧的输出位置，融合所述第二基准视频的视频帧与所述多个生成帧，得到所述高帧率视频。

图3是基于时间超分辨率模型生成高帧率视频的示意图。如图3所示，将在第一时刻拍摄视频的拍摄设备作为摄像头1，即拍摄基准视频的拍摄设备，以时间顺序分别启动摄像头2和摄像头3进行拍摄待校正视频，摄像头2和摄像头3拍摄的待校正视频经过视频校正模型的处理，分别生成视频2和视频3的校正视频。

获取第二基准视频中的每一视频帧，将其称之为第三视频帧，获取视频2以及视频3的校正视频的每一视频帧，将其称之为第四视频帧，将所述第二基准视频中的每一个第三视频帧进行标记，将标记后的第三视频帧与第四视频帧按时间顺序排序，得到排序后的视频帧。

基于标记后的第三视频帧，获取排序后的视频帧中第二基准视频的任意连续两个第三视频帧以及连续两个第三视频帧之间的第四视频帧，将每连续两个第三视频帧和连续两个第三视频帧之间的第四视频帧，融合为组合视频帧，如图3中的虚线框中的前四帧组合成所述组合视频帧。将所述组合视频帧输入所述时间超分辨率模型中，得到生成帧以及所述生成帧的输出位置，所述生成帧的输出位置为所述基准视频中插入帧的位置。

以基准视频为待插入视频帧的视频，将生成帧插入到基准视频中，得到高帧率视频，所述高帧率视频保留了更多高频信号。

本申请设置了多个摄像设备拍摄视频，同时设置了时间同步机制，使得多个摄像设备的视频帧在时间轴上处于不同位置，从而在将多个视频融合以后，得到比单个摄像头更多的高频信号，使得视频帧率更高，增加了高帧率视频中高频信号的强度。本申请采用的是低帧率的拍摄设备进行拍摄视频，成本较低。

实施例三

本实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述高帧率视频生成方法实施例中的步骤，例如图1所示的S11-S15：

S11，获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频。

S12，针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧；

S13，根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频；

S14，采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频。

S15，利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

或者，该计算机程序被处理器执行时实现上述装置实施例中各模块/单元的功能，例如图4中的模块401-405：

获取模块401，用于获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频。

第一处理模块402，用于针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧。

第二处理模块403，用于根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频。

校正模块404，用于采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频。

生成模块405，用于利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

实施例四

参阅图5所示，为本发明实施例三提供的电子设备的结构示意图。在本发明较佳实施例中，所述电子设备5包括存储器51、至少一个处理器52、至少一条通信总线53及收发器54。

本领域技术人员应该了解，图5示出的电子设备的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备5还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备5是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备5还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备5仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器51中存储有计算机程序，所述计算机程序被所述至少一个处理器52执行时实现如所述的高帧率视频生成方法中的全部或者部分步骤。所述存储器51包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(ProgrammableRead-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器52是所述电子设备5的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备5的各个部件，通过运行或执行存储在所述存储器51内的程序或者模块，以及调用存储在所述存储器51内的数据，以执行电子设备5的各种功能和处理数据。例如，所述至少一个处理器52执行所述存储器中存储的计算机程序时实现本发明实施例中所述的高帧率视频生成方法的全部或者部分步骤；或者实现高帧率视频生成装置的全部或者部分功能。所述至少一个处理器52可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线53被设置为实现所述存储器51以及所述至少一个处理器52等之间的连接通信。

尽管未示出，所述电子设备5还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器52逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备5还可以包括多种传感器、蓝牙模块、Wi-Fi模块、摄像装置等，在此不再赘述。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。说明书中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种高帧率视频生成方法，其特征在于，所述方法包括：

获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频；

针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧；

根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频；

采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频；

利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

2.如权利要求1所述的高帧率视频生成方法，其特征在于，所述获取多个拍摄设备拍摄的多个视频，包括：

从第一时刻开始，按照预设的时间间隔启动所述多个拍摄设备，将所述第一时刻启动的拍摄设备拍摄的视频作为所述第一基准视频，将所述第一时刻之后启动的拍摄设备拍摄的视频作为所述多个第一待校正视频。

3.如权利要求1所述的高帧率视频生成方法，其特征在于，在所述采用视频校正模型对所述多个第二待校正视频进行校正之前，所述方法还包括：

从所述第二基准视频中获取第一训练帧图像以及从所述多个第二待校正视频中获取第二训练帧图像；

将所述第二训练帧图像输入所述视频校正模型，生成第一校正帧图像；

计算所述第一训练帧图像与所述第一校正帧图像的损失函数；

基于所述损失函数，通过反向传播算法计算所述视频校正模型的校正参数；

根据所述校正参数调整所述视频校正模型。

4.如权利要求1所述的高帧率视频生成方法，其特征在于，所述采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频，包括：

获取每个第二待校正视频对应的多个待校正帧图像；

将所述多个待校正帧图像输入所述视频校正模型进行校正，得到每个第二待校正视频对应的多个第二校正帧图像；

对所述每个第二待校正视频对应的多个第二校正帧图像进行拼接，生成每个第二待校正视频对应的多个校正视频。

5.如权利要求4所述的高帧率视频生成方法，其特征在于：

所述多个校正视频与所述第二基准视频的视频参数相同，所述视频参数包括拍摄视频的焦距、方向以及光照信息。

6.如权利要求1所述的高帧率视频生成方法，其特征在于，所述利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频，包括：

将所述第二基准视频中的第三视频帧以及所述多个校正视频中的第四视频帧按时间顺序排序，得到排序后的视频帧；

所述排序后的视频帧中，将每连续两个所述第三视频帧和所述连续两个所述第三视频帧之间的第四视频帧融合为组合视频帧；

将所述多个组合视频帧输入所述时间超分辨率模型，根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频。

7.如权利要求6所述的高帧率视频生成方法，其特征在于，所述根据所述时间超分辨率模型的输出以及所述第二基准视频的视频帧，得到所述高帧率视频，包括：

基于所述时间超分辨率模型的输出，得到多个生成帧以及所述多个生成帧的输出位置；

基于所述多个生成帧的输出位置，融合所述第二基准视频的视频帧与所述多个生成帧，得到所述高帧率视频。

8.一种高帧率视频生成装置，其特征在于，所述装置包括获取模块、第一处理模块、第二处理模块、校正模块以及生成模块：

所述获取模块，用于获取多个拍摄设备拍摄的多个视频，所述多个视频包括第一基准视频以及多个第一待校正视频；

所述第一处理模块，用于针对每个拍摄设备拍摄的视频，得到每个视频对应的多个视频帧，对所述多个视频帧进行边缘处理，得到多个第一视频帧；

所述第二处理模块，用于根据预设的滤波参数对所述多个第一视频帧进行去噪处理，生成每个视频对应的处理后的多个第二视频帧，分别拼接多个第二视频帧，得到处理后的多个视频，所述处理后的多个视频包括所述第一基准视频对应的第二基准视频以及所述多个第一待校正视频对应的多个第二待校正视频；

所述校正模块，用于采用视频校正模型对所述多个第二待校正视频进行校正，生成多个校正视频；

所述生成模块，用于利用时间超分辨率模型，根据所述第二基准视频以及所述多个校正视频生成高帧率视频。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述的高帧率视频生成方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的高帧率视频生成方法。