CN114245035A - 视频生成方法和装置、设备、介质 - Google Patents

Abstract

本申请公开了一种视频生成方法和装置、设备、介质，视频生成方法包括：获取采集的图像组，其中，每个图像组包括多个图像帧；基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧；对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，目标帧率大于预设处理帧率。上述方案，能够增加每组图像组的融合处理时间，以便于提高目标视频的质量。

Description

视频生成方法和装置、设备、介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种视频生成方法和装置、设备、介质。

背景技术

一些拍摄的场景中，为保障拍摄得到的视频效果，出现了视频生成方法，拍摄方案主要是采用多帧融合技术，将拍摄到的多帧融合为一帧，由此提高拍摄到的视频的亮度等效果。

其中，拍摄方案的规格是分辨率为1080p、帧率为30fps或分辨率为4k、帧率为30fps甚至更高的分辨率，要实现多帧输入视频算法处理，每次多帧融合处理的时间最多30ms左右，如果视频拍摄进程还有其他处理，则留给每次多帧融合处理的时间会更少。因为处理时间的减少，而计算性能的资源不变的情况下，视频方案无法使用复杂度高、效果好的多帧输入视频算法，导致多帧融合的图像质量较差。

发明内容

本申请至少提供一种视频生成方法和装置、设备、介质。

本申请提供了一种视频生成方法，包括：获取采集的图像组，其中，每个图像组包括多个图像帧；基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧；对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，目标帧率大于预设处理帧率。

因此，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

其中，获取采集的图像组之前，方法还包括：基于预设处理帧率，确定待获取的图像组数量M；根据用于进行融合处理的第一时间，确定每个图像组包括的图像帧数量N1；获取采集的图像组包括：获取采集的M个图像组，其中，每个图像组包括N1个图像帧。

因此，通过根据预设处理帧率确定待获取的图像组数量，能够提高获取图像组的效率，以及通过用于进行融合处理的第一时间，确定每个图像组包含的图像帧数量，减少因为每个图像组中包含的图像帧数量过多，导致在用于进行融合处理的第一时间内无法完成融合处理，使得最后得到的目标视频的质量不佳的情况出现。

其中，基于预设处理帧率，确定待获取的图像组数量M，包括：基于预设处理帧率，确定获取每个图像组之间的时间间隔；根据时间间隔，确定单位时间内待获取的图像组数量M。

因此，通过预设处理帧率，确定获取各图像组之间的时间间隔，能够提高获取图像组的效率，并且还能够方便后续进行插帧处理。

其中，基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧之后，方法还包括：统计当前已进行融合处理的图像组的融合处理时间；若融合处理时间不超过预设时间，调整用于进行融合处理的第一时间，并根据调整后的第一时间确定待融合的图像组的图像帧数量N2，N2大于N1，且N1和N2为整数；按照图像帧数量N2获取待融合的图像组，每个待融合的图像组包括N2个图像帧；对待融合的图像组中的图像帧进行融合处理，得到待融合的图像组对应的融合视频帧；对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：对已进行融合处理的图像组对应的融合视频帧、以及待融合的图像组对应的融合视频帧进行插帧处理，得到目标视频。

因此，通过在融合处理时间不超过预设时间的情况下，增加后续获取的每组图像组中包含的图像帧数量，使得每组融合得到的融合视频帧的质量更佳。

其中，对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：获取目标帧率与预设处理帧率之间的帧率差异；利用帧率差异，对多个融合视频帧进行插帧处理。

因此，通过根据目标帧率与预设处理帧率之间的帧率差异，对多个融合视频帧进行插帧处理，使得获取得到的目标视频的质量更好。

其中，利用帧率差异，对多个融合视频帧进行插帧处理，包括：利用帧率差异，从多个融合视频帧中确定用于进行插帧处理的若干个目标融合视频帧组；对于每个目标融合视频帧组，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧；在多个融合视频帧中的各目标融合视频帧组内插入对应的目标中间帧，得到目标视频。

因此，通过根据帧率差异，确定用于进行插帧处理的融合视频帧组，然后使用每组目标融合视频帧组中的融合视频帧的图像信息，得到每组对应的目标中间帧，使得插帧得到的目标视频的质量更佳。

其中，帧率差异为目标帧率与预设处理帧率之间的帧率差，利用帧率差异，从多个融合视频帧中确定用于进行插帧处理的若干个目标融合视频帧组，包括：利用帧率差，确定目标融合视频帧组的目标数量；基于预设处理帧率以及目标数量，确定各目标融合视频帧组之间的间隔帧数；按照间隔帧数，从融合视频帧中选出目标数量个目标融合视频帧组。

因此，利用帧率差，确定目标融合视频帧组的数量以及各组之间间隔帧数，使得获取得到的目标视频更流畅。

其中，基于目标融合视频帧的图像信息，得到目标融合视频帧之间的目标中间帧之前，还包括：分别获取目标融合视频帧组中各融合视频帧的色度信息和/或亮度信息，以作为目标融合视频帧组中各融合视频帧的图像信息；和/或，每组目标融合视频帧组中分别包括相邻两帧融合视频帧，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧，包括：基于相邻两帧融合视频帧的图像信息，获取相邻两帧融合视频帧对应的光流信息；分别利用相邻两帧融合视频帧中的一帧与光流信息，得到第一中间帧和第二中间帧；结合第一中间帧和第二中间帧，得到目标中间帧。

因此，通过根据融合视频帧的色度信息以及亮度信息获取中间帧，使得能够减少获取到的中间帧与相邻融合视频帧之间的亮度和色度差异。另外，通过相邻两帧融合视频帧对应的光流信息，确定中间帧，使得获取得到的中间帧的质量更佳。

其中，图像组中的图像帧为在光线亮度不满足预设亮度要求的情况下拍摄得到的。

因此，通过在光线亮度不满足预设亮度要求的情况下，执行本申请提供的视频生成方法能够提高生成的视频的质量。

本申请提供了一种视频生成装置，包括：图像获取模块，用于获取采集得到的图像组，其中，每个图像组包括多个图像帧；融合处理模块，用于基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧；插帧处理模块，用于对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，目标帧率大于预设处理帧率。

本申请提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述视频生成方法。

本申请提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述视频生成方法。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请视频生成方法一实施例的流程示意图；

图2是本申请视频生成方法一实施例的另一流程示意图；

图3是本申请视频生成方法一实施例的又一流程示意图；

图4是本申请视频生成装置一实施例的结构示意图；

图5是本申请电子设备一实施例的结构示意图；

图6是本申请计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请视频生成方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取采集的图像组，其中，每个图像组包括多个图像帧。

其中，本公开实施例所述的多个指的是两张及以上。其中，采集图像组的设备与执行本公开实施例所提供的视频生成方法的执行设备可以相同也可以不同。在图像采集设备与执行设备不同的情况下，执行设备可以是云端，图像采集设备在采集到若干图像帧之后，将采集得到的图像帧发送给执行设备，由执行设备执行本公开实施例提供的视频生成方法。在图像采集设备与执行设备相同的情况下，执行设备可以是任意具备图像采集功能的设备，例如手机、车舱、笔记本电脑、其他人工智能设备等。即，本公开实施例提供的视频生成方法可以实时本地处理以及云端后处理。实时本地处理包括图像采集设备在采集图像帧的过程中执行本公开实施例提供的视频生成方法，云端后处理包括图像采集设备在采集到若干图像帧之后，将若干图像帧打包为视频流发送给云端，由云端执行本公开实施例提供的视频生成方法。

步骤S12：基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧。

预设处理帧率可以用于表示单位时间内需要进行融合处理的次数。示例性地，若预设处理帧率为15fps，则表示每秒需要执行15次融合处理，即每秒需要对15个图像组进行融合处理。其中，预设处理帧率不同，采用的融合处理算法的复杂度和计算能力不同。例如，预设处理帧率越高，融合处理算法的复杂度越高，计算能力越强。

一些应用场景中，可以对各图像组中的图像帧进行筛选，选择图像质量满足质量要求的图像帧进行融合，得到各图像组对应的融合视频帧。筛选方式可以是对各图像组的清晰度等图像参数进行筛选，质量要求可以是清晰度大于预设清晰度。

本公开实施例中，对各图像组中的图像帧进行融合处理的方式具体是对每组各图像帧之间的图像信息进行融合，例如对各图像帧之间的色度信息以及亮度信息进行融合，得到对应的融合视频帧。关于具体进行融合的方式可参见一般的多帧融合技术。其中，一图像组中的图像帧进行融合处理，能够得到该组对应的一帧融合视频帧。也就是在图像组的数量为第一数量的情况下，通过进行融合处理能够得到第一数量的融合视频帧。

一些公开实施例中，对各图像组中的多个图像帧进行融合处理可以是在获取到一组图像组之后，获取下一组图像组之前进行，还可以是获取到多个图像组之后，再分别对各个图像组中的多个图像帧进行融合处理。

步骤S13：对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，目标帧率大于预设处理帧率。

具体地，对多个融合视频帧进行插帧处理，得到目标视频。其中，插帧处理的方式可以是根据多个融合视频帧中用于进行插帧处理的融合视频帧的图像信息，获取对应的中间帧。其中，单位时间内待获取的中间帧的数量由目标帧率和预设处理帧率之间的差值得到。示例性地，若目标帧率为30fps，预设处理帧率为20fps，则单位时间内待获取的中间帧的数量为10帧。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

另外，因为每组图像组的融合处理过程的时间充裕，则相对于直接使用目标帧率对采集得到的图像进行融合处理而言，本公开实施例提供的技术方案，能够增加每组图像组中的图像帧数量，使得融合处理得到的融合视频帧的质量更佳，从而提高目标视频的质量。

一些公开实施例中，图像组中的图像为在光线亮度不满足预设亮度要求的情况下拍摄得到的。预设亮度要求可以是光线亮度不低于预设光线亮度。其中，本公开实施例以图像采集设备为本公开实施例提供的视频生成方法的执行设备为例。具体地，图像采集设备获取环境的光线亮度，在环境的光线亮度低于预设光线亮度的情况下，确定执行本公开实施例提供的视频生成方法。即，本公开实施例提供的视频生成方法可以适用于暗光拍摄场景。具体地，可以适用于暗光HDR(High Dynamic Range，高动态范围)场景、暗光人像场景、极暗光场景等。其中，图像采集设备获取环境的光线亮度的方式可以是根据光照传感器获取，还可以是对拍摄到的图像帧进行亮度分析，得到环境的光线亮度。通过在光线亮度不满足预设亮度要求的情况下，执行本申请的视频生成方法能够提高生成的视频的质量。

请同时参见图2，图2是本申请视频生成方法一实施例的另一流程示意图。在执行上述步骤S11之前，还包括以下步骤：

步骤S21：基于预设处理帧率，确定待获取的图像组数量M。

其中，待获取的图像组数量M具体指的是单位时间内待获取的图像组数量。示例性地，预设处理帧率为20fps，则单位时间内需要进行融合处理的次数为20次，即单位时间内需要待获取的图像组数量为20个。单位时间为1秒。

一些公开实施例中，确定待获取的图像组数量M的方式可以是：

基于预设处理帧率，确定获取每个图像组之间的时间间隔。可选地，每个图像组之间的时间间隔可以是每个图像组获取第一帧之间的时间间隔。示例性地，若预设处理帧率为15fps，则获取每组图像组中第一帧图像帧的时间间隔可以是66ms。其中，各图像组之间的时间间隔之差小于或等于预设间隔阈值。例如，第一组和第二组图像组之间的时间间隔为66ms，第二组和第三组之间的时间间隔若为90ms，则会导致后续其他组的融合处理时间不足，或导致插帧得到的目标视频流畅度较差的情况出现。因此，各图像组之间的时间间隔应尽量均衡，使得生成的目标视频的质量更佳。然后，根据时间间隔，确定单位时间内待获取的图像组数量M。继上例，若各组图像组之间的时间间隔为66ms，则单位时间内待获取的图像组数量为15张。

通过预设处理帧率，确定获取各图像组之间的时间间隔，能够提高获取图像组的效率，并且还能够方便后续进行插帧处理。

步骤S22：根据用于进行融合处理的第一时间，确定每个图像组包括的图像帧数量N1。

其中，用于进行融合处理的第一时间可以是根据预设处理帧率以及图像采集设备的采集频率确定，还可以是由用户自定义。示例性地，对于每组图像组，图像组中所有图像帧的采集时间以及用于进行融合处理的第一时间之和，可以由预设处理帧率确定。例如，预设处理帧率为15fps，则每组图像组中所有图像帧的采集时间以及用于进行融合处理的第一时间之和为1s/15，约为66ms。然后根据图像采集设备的图像采集频率与包含不同数量的图像帧的融合处理时间，确定每组图像组的图像采集时间以及用于进行融合处理的第一时间。因为图像组中包含图像帧的数量不同，对应的融合处理时间也不同，一般图像组中包含的图像帧的数量越多，则对应的融合处理时间也越长。一些应用场景中，在视频生成过程中视频生成方法还需要执行其他的处理，例如对每个图像组中的多个图像帧进行质量筛选等处理，因此，可以预留预设长度的时间用于执行其他处理。继上例，实际上每组图像组中所有图像帧的采集时间以及用于进行融合处理的第一时间之和，并非完全等于66ms。

通过根据预设处理帧率确定待获取的图像组数量，能够提高获取图像组的效率，以及通过用于进行融合处理的第一时间，确定每个图像组包含的图像帧数量，减少因为每个图像组中包含的图像帧数量过多，导致在用于进行融合处理的第一时间内无法完成融合处理，使得最后得到的目标视频的质量不佳的情况出现。

其中，获取采集的图像组包括：获取采集的M个图像组。其中，每个图像组包括N1个图像帧。其中，M个图像组指的是单位时间内获取M组，并且每个图像组包括N1个图像帧。单位时间具体可以是1秒。示例性地，执行设备为拍摄设备，假设拍摄设备一共拍摄了3秒，则共获取到3*M个图像组。

请同时参见图3，图3是本申请视频生成方法一实施例的又一流程示意图。如图3所示，本公开实施例提供的视频生成方法还可包括以下步骤：

步骤S31：统计当前已进行融合处理的图像组的融合处理时间。

其中，当前已进行融合处理的图像组的融合处理时间可以是此次视频生成方法执行过程中所有已进行融合处理的图像组进行融合处理的总时间，也可以是上一单位时间内已进行融合处理的图像组进行融合处理的总时间，还可以是当前单位时间内已进行融合处理的图像组进行融合处理的总时间。本公开实施例以融合处理时间为上一单位时间内已进行融合处理的图像组进行融合处理的总时间为例。

步骤S32：若融合处理时间不超过预设时间，调整用于进行融合处理的第一时间，并根据调整后的第一时间确定待融合的图像组的图像帧数量N2，N2大于N1，且N1和N2为整数。

若上一单位时间内已进行融合处理的图像组的融合处理时间不超过预设时间，则可以适当增加每组图像组用于进行融合处理的时间，使得可以使用更多的图像帧融合为一帧融合视频帧，从而提高融合视频帧的图像质量。

预设时间可以是对各组图像组预先设定的用于进行图像采集处理以及融合处理的时间。

其中，调整用于进行融合处理的第一时间的方式可以是根据上一单位时间内已进行融合处理的图像组进行融合处理的总时间与预设时间之间的差值，对每一组用于进行融合处理的第一时间进行调整。例如，预设时间为900毫秒，上一单位时间内一共对20组进行融合处理，原设定每组用于进行融合处理的第一时间为30毫秒，20组一共耗费600毫秒的融合处理时间，且各组图像组进行图像采集的时间共耗100毫秒，剩余200毫秒，则可以将这200毫秒用于调整图像采集时间以及每组用于进行融合处理的第一时间。其中，调整后的第一时间长于调整前的第一时间。其中，调整后的第一时间确定的图像组包含的图像帧数量为N2，且N2大于N1表明可以使用更多的图像帧用于融合为一帧，使得融合处理后的融合视频帧图像的质量更佳。

步骤S33：对待融合的图像组中的图像帧进行融合处理，得到待融合的图像组对应的融合视频帧。

其中，具体进行融合处理的方式可参见上述，此处不再赘述。

步骤S34：对已进行融合处理的图像对应的融合视频帧、以及待融合的图像组对应的融合视频帧进行插帧处理，得到目标视频。

其中，可以在获得一定数量的融合视频帧之后，就进行插帧处理，还可以是将对已进行融合处理的图像对应的融合视频帧以及待融合的图像组对应的融合视频帧作为一个整体，在获取到所有的融合视频帧之后，再进行插帧处理。即，插帧处理和上述获取采集得到的图像组以及融合处理可以并行执行。具体进行插帧处理的过程请参见下述，此处不做过多叙述。

通过在融合处理时间不超过预设时间的情况下，增加后续获取的每组图像组中包含的图像帧数量，使得每组融合得到的融合视频帧的质量更佳。

本公开实施例中，上述步骤S14，包括以下步骤：

获取目标帧率与预设处理帧率之间的帧率差异。然后，利用帧率差异，对多个融合视频帧进行插帧处理。通过根据目标帧率与预设处理帧率之间的帧率差异，对多个融合视频帧进行插帧处理，使得获取得到的目标视频的质量更好。

其中，利用帧率差异，对多个融合视频帧进行插帧处理的方式可以是：

首先，利用帧率差异，从多个融合视频帧中确定用于进行插帧处理的若干个目标融合视频帧组。

其中，帧率差异可以是目标帧率与预设处理帧率之间的帧率差。一些公开实施例中，确定用于进行插帧处理的若干个目标融合视频帧组的方式可以是：利用帧率差，确定目标融合视频帧组的目标数量。具体地，利用帧率差，确定单位时间内用于确定目标融合视频帧的目标数量。其中，每个目标融合视频帧组用于得到一帧中间帧。例如，目标帧率为30fps，预设处理帧率为20fps，则二者之间的帧率差为10fps，因此，单位时间内待获取的中间帧数量为10帧，即单位时间内用于进行插帧处理的目标融合视频帧组的目标数量为10组。再，基于预设处理帧率以及目标数量，确定各目标融合视频帧组之间的间隔帧数。然后，按照间隔帧数，从融合视频帧中选出目标数量个目标融合视频帧组。示例性地，预设处理帧率为20fps，目标数量为10fps，则确定间隔帧数为1。然后，按照间隔帧数，可以选择第一帧融合视频帧和第二帧融合视频帧作为第一组目标融合视频帧组，第三帧和第四帧作为第二组目标融合视频帧组，以此类推选择对应的目标融合视频帧组。如上述，可以在获得一定数量的融合视频帧之后，就进行插帧处理，若计算得出间隔帧数为1，则在获取到两帧融合视频帧的情况下，即可进行第一次插帧处理，在获取到第三帧和第四帧的情况下，可以进行第二次插帧处理，以此类推。利用帧率差，确定目标融合视频帧组的数量以及各组之间间隔帧数，使得获取得到的目标视频更流畅。

然后，对于每个目标融合视频帧组，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧。通过根据帧率差异，确定用于进行插帧处理的融合视频帧组，然后使用每组目标融合视频帧组中的融合视频帧的图像信息，得到每组对应的目标中间帧，使得插帧得到的目标视频的质量更佳。

其中，基于目标融合视频帧的图像信息，得到目标融合视频帧之间的目标中间帧之前，分别获取目标融合视频帧组中各融合视频帧的色度信息和/或亮度信息，以作为目标融合视频帧组中各融合视频帧的图像信息。其中，每组目标融合视频帧组中分别包括相邻的两帧融合视频帧。即，每组目标融合视频帧组中的两帧融合视频帧是相邻两个图像组分别进行融合处理得到。其中，先分别获取各个融合视频帧的色度信息和亮度信息，然后根据相邻融合视频帧的色度信息和亮度信息，获取这两张融合视频帧之间的中间帧。以此实现yuv域数据上插帧。可选地，图像信息还可以是灰度值等信息，通过相邻融合视频帧的灰度值等信息，得到对应的中间帧。

具体地，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧的方式可以是：基于相邻两帧融合视频帧的图像信息，获取相邻两帧融合视频帧对应的光流信息。具体获取图像之间的光流信息的方式可参见一般的技术，此处不做过多叙述。接着，分别利用相邻两帧融合视频帧中的一帧与光流信息，得到第一中间帧和第二中间帧。即，利用先获取得到的融合视频帧与光流信息得到第一中间帧，以及利用在后获取的融合视频帧与光流信息得到第二中间帧。然后，结合第一中间帧和第二中间帧，得到目标中间帧。具体地，对第一中间帧和第二中间帧进行再一次的融合处理，得到目标中间帧。其中，这里的融合处理与前述对图像组中多个图像帧进行融合处理所使用的算法可以相同也可以不同。插帧处理若与前述对图像组中多个图像帧进行融合处理并行执行时，插帧处理过程中的融合处理，不影响对图像组中多个图像帧进行融合处理，也不占用对图像组中多个图像帧进行融合处理的时间。通过根据融合视频帧的色度信息以及亮度信息获取中间帧，使得能够减少获取到的中间帧与相邻融合视频帧之间的亮度和色度差异。另外，通过相邻两帧融合视频帧对应的光流信息，确定中间帧，使得获取得到的中间帧的质量更佳。

最后，在多个融合视频帧中的各目标融合视频帧组内插入对应的目标中间帧，得到目标视频。最后，对目标视频进行编码并进行存储或发送至预设接收方。

本公开实施例提供的技术方案在不改变目标视频帧率的情况下，减少了每秒进行融合处理的次数，使得能够使用复杂度更高的融合算法，从而提高融合后的融合视频帧的图像质量。通过基于相邻融合视频帧的图像信息，能够实现获取这两帧融合视频帧之间的中间帧。进一步地，通过根据融合视频帧的色度信息以及亮度信息获取中间帧，使得能够减少获取到的中间帧与相邻融合视频帧之间的亮度和色度差异。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

另外，因为每组图像组的融合处理过程的时间充裕，则相对于直接使用目标帧率对采集得到的图像进行融合处理而言，本公开实施例提供的技术方案，能够增加每组图像组中的图像帧数量，使得融合处理得到的融合视频帧的质量更佳，从而提高目标视频的质量。

其中，视频生成方法的执行主体可以是视频生成装置，例如，视频生成方法可以由相机、手机、具备图像采集功能的笔记本电脑等终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该视频生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

请参阅图4，图4是本申请视频生成装置一实施例的结构示意图。视频生成装置40包括图像获取模块41、融合处理模块42以及插帧处理模块43。图像获取模块41，用于获取采集得到的图像组，其中，每个图像组包括多个图像帧；融合处理模块42，用于基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧；插帧处理模块43，用于对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，目标帧率大于预设处理帧率。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

一些公开实施例中，图像获取模块41获取采集的图像组之前，还用于：基于预设处理帧率，确定待获取的图像组数量M；根据用于进行融合处理的第一时间，确定每个图像组包括的图像帧数量N1；获取采集的图像组包括：获取采集的M个图像组，其中，每个图像组包括N1个图像帧。

上述方案，通过根据预设处理帧率确定待获取的图像组数量，能够提高获取图像组的效率，以及通过用于进行融合处理的第一时间，确定每个图像组包含的图像帧数量，减少因为每个图像组中包含的图像帧数量过多，导致在用于进行融合处理的第一时间内无法完成融合处理，使得最后得到的目标视频的质量不佳的情况出现。

一些公开实施例中，图像获取模块41基于预设处理帧率，确定待获取的图像组数量M，包括：基于预设处理帧率，确定获取每个图像组之间的时间间隔；根据时间间隔，确定单位时间内待获取的图像组数量M。

上述方案，通过预设处理帧率，确定获取各图像组之间的时间间隔，能够提高获取图像组的效率，并且还能够方便后续进行插帧处理。

一些公开实施例中，融合处理模块42基于预设处理帧率，对图像组中的多个图像帧进行融合处理，得到图像组对应的融合视频帧之后，图像获取模块41还用于：统计当前已进行融合处理的图像组的融合处理时间，若融合处理时间不超过预设时间，调整用于进行融合处理的第一时间，并根据调整后的第一时间确定待融合的图像组的图像帧数量N2，N2大于N1，且N1和N2为整数；融合处理模块42还用于：按照图像帧数量N2获取待融合的图像组，每个待融合的图像组包括N2个图像帧；对待融合的图像组中的图像帧进行融合处理，得到待融合的图像组对应的融合视频帧；插帧处理模块43对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：对已进行融合处理的图像组对应的融合视频帧、以及待融合的图像组对应的融合视频帧进行插帧处理，得到目标视频。

上述方案，通过在融合处理时间不超过预设时间的情况下，增加后续获取的每组图像组中包含的图像帧数量，使得每组融合得到的融合视频帧的质量更佳。

一些公开实施例中，插帧处理模块43对多个融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：获取目标帧率与预设处理帧率之间的帧率差异；利用帧率差异，对多个融合视频帧进行插帧处理。

上述方案，通过根据目标帧率与预设处理帧率之间的帧率差异，对多个融合视频帧进行插帧处理，使得获取得到的目标视频的质量更好。

一些公开实施例中，插帧处理模块43利用帧率差异，对多个融合视频帧进行插帧处理，包括：利用帧率差异，从多个融合视频帧中确定用于进行插帧处理的若干个目标融合视频帧组；对于每个目标融合视频帧组，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧；在多个融合视频帧中的各目标融合视频帧组内插入对应的目标中间帧，得到目标视频。

上述方案，通过根据帧率差异，确定用于进行插帧处理的融合视频帧组，然后使用每组目标融合视频帧组中的融合视频帧的图像信息，得到每组对应的目标中间帧，使得插帧得到的目标视频的质量更佳。

一些公开实施例中，帧率差异为目标帧率与预设处理帧率之间的帧率差，插帧处理模块43利用帧率差异，从多个融合视频帧中确定用于进行插帧处理的若干个目标融合视频帧组，包括：利用帧率差，确定目标融合视频帧组的目标数量；基于预设处理帧率以及目标数量，确定各目标融合视频帧组之间的间隔帧数；按照间隔帧数，从融合视频帧中选出目标数量个目标融合视频帧组。

上述方案，利用帧率差，确定目标融合视频帧组的数量以及各组之间间隔帧数，使得获取得到的目标视频更流畅。

一些公开实施例中，插帧处理模块43基于目标融合视频帧的图像信息，得到目标融合视频帧之间的目标中间帧之前，还用于：分别获取目标融合视频帧组中各融合视频帧的色度信息和/或亮度信息，以作为目标融合视频帧组中各融合视频帧的图像信息；和/或，每组目标融合视频帧组中分别包括相邻两帧融合视频帧，基于目标融合视频帧组中各融合视频帧的图像信息，得到目标融合视频帧组对应的目标中间帧，包括：基于相邻两帧融合视频帧的图像信息，获取相邻两帧融合视频帧对应的光流信息；分别利用相邻两帧融合视频帧中的一帧与光流信息，得到第一中间帧和第二中间帧；结合第一中间帧和第二中间帧，得到目标中间帧。

上述方案，通过根据融合视频帧的色度信息以及亮度信息获取中间帧，使得能够减少获取到的中间帧与相邻融合视频帧之间的亮度和色度差异。另外，通过相邻两帧融合视频帧对应的光流信息，确定中间帧，使得获取得到的中间帧的质量更佳。

一些公开实施例中，图像组中的图像帧为在光线亮度不满足预设亮度要求的情况下拍摄得到的。

上述方案，通过在光线亮度不满足预设亮度要求的情况下，执行本申请提供的视频生成方法能够提高生成的视频的质量。

请参阅图5，图5是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一视频生成方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：医疗设备、微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器52用于控制其自身以及存储器51以实现上述任一视频生成方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

请参阅图6，图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有程序指令61，程序指令61被处理器执行时实现上述任一视频生成方法实施例中的步骤。

上述方案，通过使用小于目标帧率的预设处理帧率对采集得到的图像组进行融合处理，得到多个融合视频帧之后，再对多个融合视频帧进行插帧处理，相比于直接使用目标帧率对采集得到的图像进行融合处理，得到目标视频的方案而言，本申请提供的技术方案能够增加用于每组图像组进行融合处理的时间，使得每组图像组的融合处理过程的时间充裕，从而可以使用复杂度更高的融合算法，能够得到融合效果更好的融合视频帧，使得最后生成目标视频的质量更好。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种视频生成方法，其特征在于，包括：

获取采集的图像组，其中，每个所述图像组包括多个图像帧；

基于预设处理帧率，对所述图像组中的多个图像帧进行融合处理，得到所述图像组对应的融合视频帧；

对多个所述融合视频帧进行插帧处理，得到目标帧率的目标视频，所述目标帧率大于所述预设处理帧率。

2.根据权利要求1所述的方法，其特征在于，所述获取采集的图像组之前，所述方法还包括：

基于所述预设处理帧率，确定待获取的图像组数量M；

根据用于进行所述融合处理的第一时间，确定每个图像组包括的图像帧数量N1；

所述获取采集的图像组包括：

获取采集的M个图像组，其中，每个所述图像组包括N1个图像帧。

3.根据权利要求2所述的方法，其特征在于，所述基于所述预设处理帧率，确定待获取的图像组数量M，包括：

基于所述预设处理帧率，确定获取每个所述图像组之间的时间间隔；

根据所述时间间隔，确定单位时间内待获取的图像组数量M。

4.根据权利要求1所述的方法，其特征在于，所述基于预设处理帧率，对所述图像组中的多个图像帧进行融合处理，得到所述图像组对应的融合视频帧之后，所述方法还包括：

统计当前已进行融合处理的所述图像组的融合处理时间；

若所述融合处理时间不超过预设时间，调整用于进行所述融合处理的第一时间，并根据调整后的所述第一时间确定待融合的图像组的图像帧数量N2，N2大于N1，且N1和N2为整数；

按照所述图像帧数量N2获取待融合的图像组，每个所述待融合的图像组包括N2个图像帧；

对所述待融合的图像组中的图像帧进行融合处理，得到所述待融合的图像组对应的融合视频帧；

所述对多个所述融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：

对所述已进行融合处理的图像组对应的融合视频帧、以及所述待融合的图像组对应的融合视频帧进行所述插帧处理，得到所述目标视频。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对多个所述融合视频帧进行插帧处理，得到目标帧率的目标视频，包括：

获取所述目标帧率与所述预设处理帧率之间的帧率差异；

利用所述帧率差异，对多个所述融合视频帧进行插帧处理。

6.根据权利要求5所述的方法，其特征在于，所述利用所述帧率差异，对多个所述融合视频帧进行插帧处理，包括：

利用所述帧率差异，从多个所述融合视频帧中确定用于进行所述插帧处理的若干个目标融合视频帧组；

对于每个所述目标融合视频帧组，基于所述目标融合视频帧组中各融合视频帧的图像信息，得到所述目标融合视频帧组对应的目标中间帧；

在所述多个融合视频帧中的各目标融合视频帧组内插入对应的目标中间帧，得到所述目标视频。

7.根据权利要求6所述的方法，其特征在于，所述帧率差异为所述目标帧率与所述预设处理帧率之间的帧率差，所述利用所述帧率差异，从多个所述融合视频帧中确定用于进行所述插帧处理的若干个目标融合视频帧组，包括：

利用所述帧率差，确定所述目标融合视频帧组的目标数量；

基于所述预设处理帧率以及所述目标数量，确定各所述目标融合视频帧组之间的间隔帧数；

按照所述间隔帧数，从所述融合视频帧中选出所述目标数量个所述目标融合视频帧组。

8.根据权利要求6所述的方法，其特征在于，所述基于所述目标融合视频帧的图像信息，得到所述目标融合视频帧之间的目标中间帧之前，还包括：

分别获取所述目标融合视频帧组中各融合视频帧的色度信息和/或亮度信息，以作为所述目标融合视频帧组中各融合视频帧的图像信息；

和/或，每组所述目标融合视频帧组中分别包括相邻两帧融合视频帧，所述基于所述目标融合视频帧组中各融合视频帧的图像信息，得到所述目标融合视频帧组对应的目标中间帧，包括：

基于所述相邻两帧融合视频帧的所述图像信息，获取所述相邻两帧融合视频帧对应的光流信息；

分别利用所述相邻两帧融合视频帧中的一帧与所述光流信息，得到第一中间帧和第二中间帧；

结合所述第一中间帧和所述第二中间帧，得到所述目标中间帧。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述图像组中的图像帧为在光线亮度不满足预设亮度要求的情况下采集得到的。

10.一种视频生成装置，其特征在于，包括：

图像获取模块，用于获取采集得到的图像组，其中，每个所述图像组包括多个图像帧；

融合处理模块，用于基于预设处理帧率，对所述图像组中的多个图像帧进行融合处理，得到所述图像组对应的融合视频帧；

插帧处理模块，用于对多个所述融合视频帧进行插帧处理，得到目标帧率的目标视频，所述目标帧率大于所述预设处理帧率。

11.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的方法。

Images