CN114615421B - 图像处理方法及电子设备 - Google Patents

Abstract

本申请提供一种图像处理方法及电子设备。在该方法中，电子设备可以基于目标迁移风格，利用融合有多个单风格迁移模型的融合风格迁移模型对第一图像序列进行风格迁移处理，得到第二图像序列。第二图像序列中第一帧图像的风格至最后一帧图像的风格在上述多个单风格迁移模型输出图像的风格中按第一风格顺序变化。上述第一图像序列可以来自电子设备拍摄得到的视频。电子设备可以将上述第二图像序列中的多帧图像保存为视频。该视频在播放过程中可呈现时间快速流逝的效果。上述图像处理方法可以使得用户在短时间内拍摄出来的视频具有长时间拍摄视频的延时效果，提高了用户进行延时摄影的便利性和趣味性。

Description

图像处理方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及图像处理方法及电子设备。

背景技术

随着电子技术的发展，用户可以通过手机、平板电脑等包含摄像头的电子设备进行延时摄影，将在较长时间内，例如几小时、几天甚至几年，拍摄的视频压缩成一个较短的时间的视频进行播放，从而呈现出平常用肉眼无法察觉的精彩景象。

上述延时摄影过程中，电子设备可以对视频进行抽帧处理以达到上述延时摄影的效果。但在拍摄延时视频时，用户往往需要将电子设备长时间固定在一个地方。这对延时摄影的场景、设备和时间均有较高的限制。

发明内容

本申请提供了图像处理方法及电子设备，可以对用户拍摄得到的视频进行风格迁移，使得用户在短时间内拍摄出来的视频具有长时间拍摄视频的延时效果，提高用户进行延时摄影的便利性和趣味性。

第一方面，本申请提供一种图像处理方法。该方法包括：电子设备获取第一图像序列。电子设备可以基于目标迁移风格对第一图像序列进行处理，得到第二图像序列。第一图像序列和第二图像序列均包含n帧图像。第一图像序列中第i帧图像与第二图像序列中第i帧图像的高层语义信息相同。第一图像序列中第i帧图像与第二图像序列中第i帧图像的风格不同。目标迁移风格可以用于指示第二图像序列中第一帧图像的风格至第n帧图像的风格在M个风格中按第一风格顺序变化。n和M为大于1的整数。i为小于或等于n的正整数。电子设备可以保存第二图像序列。

上述第一图像序列可以为视频或者为从全景图分割得到的多帧图像。

其中，图像的风格可以包括图像的纹理特征、图像的艺术表现形式。图像的内容可以包括图像的低层语义信息和高层语义信息。图像的低层语义信息即为上述图像的风格。图像的高层语义信息以指图像所表达的最接近人类理解的事物。电子设备基于目标迁移风格对第一图像序列进行处理具体可以为进行风格迁移处理。上述风格迁移处理可以为改变图像的风格。即经过风格迁移处理的图像的风格改变，但原图像的高层语义信息不变。

上述目标迁移风格可以例如是昼夜转换风格、四季更迭风格、晴雨交替风格等风格。上述目标迁移风格可以是电子设备基于用户选择的风格选项来确定的。

上述目标迁移风格可用于确定上述M的大小。也即用于融合的风格迁移模型的数量。在一些实施例中，按上述第一风格顺序变化得到的第二图像序列中图像的高层语义信息可以呈现在自然时间上先后顺序的变化。例如，目标迁移风格为昼夜转换风格。则上述M个风格可以为白天风格和黑夜风格。上述第一风格顺序可以为从白天风格变化至黑夜风格的顺序。目标迁移风格为四季更迭风格。则上述M个风格可以为春季风格、夏季风格、秋季风格和冬季风格。上述第一风格顺序可以为从春季风格变化至夏季风格、再从夏季风格变化至秋季风格、再从秋季风格变化至黑夜风格。本申请实施例对上述第一风格顺序中M个风格排列的顺序不作限定。

在一些实施例中，电子设备可以基于上述目标迁移风格，使用k个融合风格迁移模型对第一图像序列进行处理。k小于或等于n。k个融合风格迁移模型的输出图像为上述第二图像序列。其中，一个融合风格迁移模型的输出图像可以为第二图像序列中的一帧图像或连续多帧图像。

上述k个融合风格迁移模型中的一个融合风格迁移模型可以是M个单风格迁移模型加权生成的。上述一个融合风格迁移模型的输出图像的风格越接近第j个单风格迁移模型的输出图像的风格，生成这一个融合风格迁移模型时第j个单风格迁移模型的权重越大。上述M个单风格迁移模型各自输出图像的风格组成上述M个风格，j为小于或等于M的正整数。

例如，目标迁移风格为昼夜转换风格。电子设备用于生成融合模型的单风格迁移模型可以为白天风格迁移模型和黑夜风格迁移模型。用于对第一图像序列进行风格迁移处理的融合风格迁移模型中白天风格迁移模型和黑夜风格迁移模型的权重不同。具体的，从第一个融合风格迁移模型至第k个融合风格迁移模型，白天风格迁移模型的权重可以逐渐降低，黑夜风格迁移模型的权重可以逐渐增加。电子设备可以利用这k个融合风格迁移模型对第一图像序列进行风格迁移处理，得到第二图像序列。第二图像序列中的第一帧图像至第n帧图像的风格可以从白天风格逐渐变化到黑夜风格。

在一些实施例中，上述k个融合风格迁移模型和上述M个单风格迁移模型均为神经网络模型，且具有相同的神经网络结构。

上述用于生成融合风格迁移模型的单风格迁移模型是经过训练得到的。

在一些实施例中，电子设备可以获取训练数据集。上述训练数据集可包含一帧或多帧风格图像以及第一视频中的多帧内容图像。一帧或多帧风格图像的风格为经过训练的单风格迁移模型的输出图像的风格。上述内容图像可以为需要进行风格迁移的图像。电子设备可以利用待训练的单风格迁移模型处理第一视频中的多帧内容图像，得到多帧合成图像。

电子设备可以利用损失函数训练上述待训练的单风格迁移模型，得到经过训练的单风格迁移模型。其中，损失函数可以包括高层语义信息损失函数、风格损失函数、时域约束损失函数。上述高层语义信息损失函数由多帧内容图像的高层语义信息和多帧合成图像的高层语义信息确定。上述风格损失函数由多帧内容图像的风格和多帧合成图像的风格确定。上述时域约束损失函数由多帧合成图像中一帧合成图像的风格和与一帧合成图像相邻的多帧合成图像的风格确定。

在上述实施例中，电子设备在用于训练单风格迁移模型的损失函数中引入上述时域约束损失函数，可以考虑连续多帧内容图像之间的联系，减少单风格迁移模型在对视频中的多帧图像进行风格迁移处理时，相邻帧图像的风格出现跳变的概率。这样，训练好的风格迁移模型在对视频中的多帧图像进行风格迁移时，可以提高视频中连续多帧内容图像风格化效果的一致性，减少视频播放过程中的闪烁现象。

在一些实施例中，上述训练好的单风格迁移模型可存储在电子设备中。在需要利用融合风格迁移模型对视频进行风格迁移时，电子设备可以从本地获取单风格迁移模型进行融合。

可选的，上述训练好的单风格迁移模型可存储在云端。电子设备可以将需要进行风格迁移的视频以及目标迁移风格上传至云端。云端可以利用融合风格迁移模型对视频进行风格迁移，并将得到的经过风格迁移的视频发送给电子设备。或者，电子设备100也可以仅将目标迁移风格发送给云端。云端可以根据上述目标迁移风格将需要融合的单风格迁移模型发送给电子设备。

在一些实施例中，电子设备可以开启摄像头采集得到第一视频，并根据第一视频得到上述第一图像序列中的n帧图像。其中，第一视频包含z帧图像。上述n帧图像是从上述z帧图像中抽取得到的。

在一些实施例中，电子设备在采集得到上述第一视频时，还可以对该第一视频进行防抖处理。上述防抖处理可以例如是电子防抖和/或光学防抖等方法中的防抖处理。

由上述实施例可知，电子设备可以对用户即时拍摄得到的视频进行抽帧以及风格迁移处理。这样，用户在短时间内拍摄出来的视频可以具有长时间拍摄视频的延时效果。例如，上述用户在1分钟内拍摄得到的延时视频可以具有原来需要拍摄12个小时甚至更长时间才能得到的从白天到黑夜快速渐变的延时效果。并且，电子设备对拍摄得到的视频进行防抖处理。这样，用户在拍摄延时视频时可以手持电子设备进行拍摄，而无需固定设备将用于拍摄的电子设备固定在一个地方。上述方法使得延时摄影突破了对拍摄场景、设备和时间的限制，提高了用户进行延时摄影的便利性和趣味性。

在一些实施例中，电子设备可以根据用户选择的第一视频从本地存储的视频中获取第一视频，并根据第一视频得到第一图像序列中的n帧图像。第一视频包含z帧图像，n帧图像是从z帧图像中抽取得到的。

也即是说，用户可以从图库应用程序等本地存储的视频中选择相应的视频。电子设备可以对用户选择的视频进行上述抽帧以及风格迁移处理，使得处理得到的视频可以具有长时间拍摄视频的延时效果。不限于本地存储的视频，电子设备还可以从云端获取视频进行上述抽帧以及风格迁移处理。

在一些实施例中，上述抽取的抽帧率可以由用户选择的第一图像序列的播放时长决定。其中，抽帧率可以为第一图像序列的播放时长和第一视频的采集时长的比值。例如，上述第一视频的采集时长为1分钟。用户选择的第一图像的播放时长为10秒。则电子设备可以按照1:6的比例从第一视频的多帧图像中抽取得到上述第一图像序列。

上述抽帧的方法可以根据用户选择想要生成的第一图像序列的播放时长来自定义对第一视频的抽帧率。这样，电子设备可以提供最大抽帧率不会受到第一视频的采集时长的限制。

在一些实施例中，电子设备可以将上述第二图像序列中的n帧图像按先后顺序串联保存为视频。该视频在播放的过程中可以呈现出上述M个风格按上述第一风格顺序变化的效果。

在一些实施例中，电子设备可以获取第一图像，并对该第一图像进行分割，得到上述第一图像序列中的n帧图像。

其中，电子设备通过滑动窗口截取图像的方式对上述第一图像进行分割。上述滑动窗口的长度可以为第一长度。滑动窗口每一次滑动的距离可以为第一滑动距离。电子设备可以将上述滑动窗口从第一图像的一侧向另一侧滑动n-1次，得到n帧长度均为第一长度的图像。上述第一长度可以小于第一滑动距离。即上述n帧图像中相邻图像存在重叠的部分。

在一些实施例中，电子设备可以从上述第二图像序列中的每一帧图像中截取一个拼接区域，得到n个拼接区域。上述n个拼接区域不存在重叠的部分。电子设备可以拼接上述n个拼接区域得到第二图像，并存储该第二图像。该第二图像的分辨率与上述第一图像的分辨率相同。该第二图像的高层语义信息与第一图像的高层语义信息相同。

上述n个拼接区域的分辨率可以是相同或者不同的。

上述第一图像可以是用户开启电子设备的摄像头即时拍摄得到的，或者可以是用户从电子设备的图库应用程序中选择的。

示例性的，目标迁移风格为昼夜转换风格。电子设备可以利用融合风格迁移模型对第一图像序列进行风格迁移处理。电子设备利用上述第二图像序列中的拼接区域进行拼接得到的第二图像从一侧至另一侧可以呈现从白天风格逐渐变化为黑夜风格的过程。

在上述方法中，由于第一图像序列中相邻图像存在重叠的部分。电子设备利用融合风格迁移模型对分别对第一图像序列进行风格迁移之后，从相邻图像截取的拼接区域的风格可以更加平滑地过渡。即上述对第一图像进行分割，以及从经过风格迁移得到的各图像截取拼接区域的方法可以提高第一图像风格化效果的平滑度。电子设备拼接得到的第二图像从一侧至另一侧的风格可以更加平滑地在上述M个风格中按第一风格顺序变化。

上述对第一图像进行分割得到第一图像序列并从第二图像序列中截取拼接区域进行拼接得到第二图像的实施例可以得到具有风格渐变效果的第二图像。这可以提高用户拍摄图像，特别是拍摄全景图的趣味性。

第二方面，本申请提供一种电子设备，该电子设备可包括显示屏、存储器、一个或多个处理器。该存储器可用于存储多个单风格迁移模型。该存储器还可用于存储计算机程序。该处理器可用于调用存储器中的计算机程序，使得电子设备执行上述第一方面中任一种可能的实现方式。

第三方面，本申请提供一种计算机存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行上述第一方面中任一种可能的实现方式。

第四方面，本申请实施例提供一种芯片，该芯片应用于电子设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。

第五方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在设备上运行时，使得上述电子设备执行上述第一方面中任一种可能的实现方式。

可以理解地，上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片、第五方面提供的计算机程序产品均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1A～图1F是本申请实施例提供的一些拍摄延时视频的用户界面示意图；

图2A～图2C是本申请实施例提供的一些播放延时视频的用户界面示意图；

图3是本申请实施例提供的一种电子设备得到融合风格迁移模型的方法示意图；

图4是本申请实施例提供的一种电子设备利用融合风格迁移模型对视频进行风格迁移的方法示意图；

图5是本申请实施例提供的一种训练风格迁移模型的方法流程图；

图6是本申请实施例提供的一种拍摄方法流程图；

图7A～图7G是本申请实施例提供的一些对视频进行风格迁移的用户界面示意图；

图8A～图8E是本申请实施例提供的一些拍摄全景图的用户界面示意图；

图9是本申请实施例提供的一种电子设备利用融合风格迁移模型对全景图进行风格迁移的方法示意图；

图10是本申请实施例提供的电子设备100的结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

延时摄影是一种将时间压缩的摄影技术。

在一种可能的实现方式中，电子设备可以以正常摄影时采集图像的速率(例如每秒采集30帧图像)采集某一景点从早上(如7:00)到晚上(如22:00)的图像，得到原始视频。然后，电子设备可以对原始视频进行抽帧。例如，电子设备可以每隔1800帧图像抽取1帧图像。电子设备可以将经过抽帧处理得到的多帧图像按照采集时间的先后顺序串联，得到延时视频。以视频播放速率为每秒播放30帧图像，则电子设备可以将播放时间为15小时的视频压缩为播放时间为30秒的视频。即电子设备可以在30秒的延时视频中呈现某一景点从早上7:00到晚上22:00的变化。

在另一种可能的实现方式中，电子设备可以调整采集图像的速率来得到延时视频中包含的多帧图像。具体的，电子设备可以根据用户输入的延时速率或者预设的延时速率来采集图像。例如，延时速率为每秒采集2帧图像。然后，电子设备可以将在上述延时速率下采集得到的多帧图像串联，并以视频的形式播放。

可以看出，延时摄影一般需要花费较长的时间进行拍摄。并且为了避免拍摄视频出现抖动，用户在进行延时摄影时，往往需要利用三脚架等固定设备将用于拍摄的电子设备固定在一个地方。这对延时摄影的拍摄场景、设备以及时间都有极大的限制。用户手持电子设备(如手机)在短时间内就难以拍摄出具有延时效果(如白天到黑夜的快速变化)的视频。上述延时效果可以指将物体或者景物缓慢变化的过程压缩在较短的时间内，呈现出物体或者景物快速变化的过程。

本申请实施例提供一种图像处理方法。在该方法中，电子设备可以对在第一时间段内拍摄第一景物得到的第一视频进行防抖处理，得到第二视频。然后，电子设备可以对第二视频进行抽帧处理，得到第三视频。电子设备可以利用融合风格迁移模型对第三视频中的多帧图像进行风格迁移，得到第四视频。其中，上述融合风格迁移模型是电子设备至少融合了两个风格迁移模型得到的。例如，电子设备可以利用融合白天风格迁移模型和黑夜风格迁移模型得到的模型对第三视频中的多帧图像进行风格迁移。从而第四视频可以呈现出第一景物在时间上按照从白天到黑夜的先后顺序快速变化的效果。本申请实施例对上述第一时间段的长度不作限定。第一时间段可以是较短的时间段，例如30秒、1分钟等。

可以看出，电子设备可以对在短时间内拍摄得到的视频进行上述图像处理方法中的处理，使得在短时间内拍摄出来的视频可以具有长时间拍摄视频的延时效果。上述图像处理方法使得延时摄影突破了对拍摄场景、设备和时间的限制，提高了用户进行延时摄影的便利性和趣味性。

为了便于理解本申请中的图像处理方法，这里对图像的风格、风格迁移、风格迁移模型、融合风格迁移模型的概念进行介绍。

1、图像的风格

图像的风格可以包括图像的纹理特征、图像的艺术表现形式。例如，图像的风格可以为卡通风格、漫画风格、油画风格、写实风格、浮世绘风格、白天风格、黑夜风格、春季风格、夏季风格、秋季风格、冬季风格、晴天风格、雨天风格等等。本申请实施例对图像的风格不作限定。

2、风格迁移

对图像进行风格迁移可以指将一幅具有风格迁移需要的第一图像与具有目标风格的第二图像融合，生成第三图像。上述融合的过程可以为利用风格迁移模型对第一图像进行处理的过程。上述风格迁移模型可用于输出具有上述目标风格的图像。上述风格迁移模型的说明可以参考下述第三点的介绍。

上述第三图像具有第一图像的内容中的高层语义信息和第二图像的风格。其中，图像的内容可以包括图像的低层语义信息和高层语义信息。低层语义信息可以指图像的颜色、纹理等。图像的低层语义信息也即为图像的风格。高层语义信息可以指图像所表达的最接近人类理解的事物。例如一幅包含沙子、蓝天、海水的图像。该图像的低层语义信息可以包括沙子、蓝天以及海水的颜色和纹理。该图像的高层语义信息可以为图像中包含沙子、蓝天、海水以及该图像是一幅海滩图像。

上述具有风格迁移需要的第一图像可以为内容图像。上述具有目标风格的第二图像可以为风格图像。对内容图形进行风格迁移得到的图像可以为合成图像。电子设备对内容图像进行风格迁移即为保存内容图像的高层语义信息，并将内容图像的风格替换为风格图像的风格。示例性的，内容图像为上述海滩图像。内容图像当前的风格为写实风格。风格图像的风格为卡通风格。电子设备对上述海滩图像进行风格迁移，可以将一幅写实风格的海滩图像转换为一幅卡通风格的海滩图像。进行风格迁移后得到的卡通风格的海滩图像中仍能呈现出沙子、蓝天、海水。但相比于写实风格的海滩图像的低层语义信息，该卡通风格的海滩图像的颜色、纹理等低层语义信息发生了改变。

3、风格迁移模型

风格迁移模型可用于接收内容图像，并生成合成图像。该合成图像可具有内容图像的高层语义信息和该风格迁移模型对应的风格。一个风格迁移模型可对应一种风格。例如，卡通风格迁移模型可对应卡通风格。卡通风格迁移模型可以将接收的内容图像的风格替换为卡通风格。风格迁移模型具体可以为神经网络模型。风格迁移模型可以利用大量训练数据得到。其中，一个训练数据可以由训练样本和与该训练样本对应的训练结果组成。上述训练样本可包括内容图像(前述第一图像)和风格图像(前述第二图像)。上述训练样本对应的训练结果可以为合成图像(前述第三图像)。

关于训练风格迁移模型的具体方法将在后续实施例中进行说明，这里先不展开介绍。

4、融合风格迁移模型

融合风格迁移模型是融合两个及以上风格迁移模型得到的风格迁移模型。进行融合的多个风格迁移模型中参数的权重可以不相同。电子设备可以通过改变进行融合的多个风格迁移模型中参数的权重，来改变得到的融合风格迁移模型对应的风格。示例性的，电子设备可以融合白天风格迁移模型和黑夜风格迁移模型。电子设备改变白天风格迁移模型中参数的权重和黑夜风格迁移模型中参数的权重，可以得到介于白天风格和黑夜风格之间风格(例如黄昏风格)的融合风格迁移模型。电子设备可以利用融合得到的融合风格迁移模型对上述第三视频中的多帧图像分别进行风格迁移。其中，对每一帧图像进行风格迁移的融合风格迁移模型中，白天风格迁移模型中参数的权重和黑夜风格迁移模型中参数的权重可以发生改变。从而，经过融合风格迁移模型处理得到的第四视频可以呈现出第一景物从白天到黑夜快速渐变的过程。也即是说，用户在短时间内拍摄出来的视频也可以具有长时间拍摄视频的延时效果。

由于本申请涉及神经网络的应用，为了便于理解，下面对本申请实施例可能涉及的神经网络的相关术语进行介绍。

1、神经网络

神经网络可以是由神经单元组成的，神经单元可以是指以x_s和截距1为输入的运算单元，该运算单元的输出可以参考下述公式(1)：

其中，s＝1、2、……、n，n为大于1的自然数，W_s为x_s的权重，b为神经单元的偏置。f为神经单元的激活函数(activation functions)，用于将非线性特性引入神经网络中，来将神经单元中的输入信号转换为输出信号。该激活函数的输出信号可以作为下一层卷积层的输入。激活函数可以是sigmoid函数。神经网络是将许多个上述单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入。每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。

2、卷积神经网络

卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器，卷积过程可以看作是使用一个可训练的滤波器与一个输入的图像或者卷积特征平面(feature map)做卷积。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是：图像的某一部分的统计信息与其他部分是一样的。即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置，都能使用同样的学习得到的图像信息。在同一卷积层中，可以使用多个卷积核来提取不同的图像信息，一般地，卷积核数量越多，卷积操作反映的图像信息越丰富。

卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。

3、损失函数

在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。

4、反向传播算法

卷积神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的超分辨率模型中参数的大小，使得超分辨率模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的超分辨率模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的超分辨率模型的参数，例如权重矩阵。

下面介绍本申请涉及的一种典型的拍摄场景。

如图1A所示，电子设备100可以包括摄像头193。其中，摄像头193可以为前置摄像头。摄像头193还可以包含后置摄像头。电子设备100可以显示图1A所示的用户界面210。用户界面210可包括应用图标显示区域211、具有常用应用程序图标的托盘212。其中：

应用图标显示区域211可包含图库图标211A。响应于作用在图库图标211A的用户操作，例如触摸操作，电子设备100可以开启图库应用程序，从而显示电子设备100中存储的图片和视频等信息。电子设备100中存储的图片和视频中包括电子设备100通过相机应用程序拍摄的照片和视频。应用图标显示区域211还可以包括更多的应用程序图标，例如邮件图标、音乐图标、运动健康图标等等，本申请实施例对此不作限定。

具有常用应用程序图标的托盘212可展示相机图标212A。响应于作用在相机图标212A上的用户操作，例如触摸操作，电子设备100可以开启相机应用程序，从而进行拍照以及录像等功能。其中，电子设备100开启相机应用程序时，可以开启摄像头193(前置摄像头和/或后置摄像头)，来实现拍照以及录像等功能。具有常用应用程序图标的托盘212还可以展示更多的应用程序的图标，例如拨号图标、信息图标、联系人图标等等，本申请实施例对此不作限定。

用户界面210还可以包含更多或更少的内容，例如显示当前时间和日期的控件、显示天气的控件等等。可以理解的是，图1A仅仅示例性示出了电子设备100上的用户界面，不应构成对本申请实施例的限定。

响应于作用在相机图标212A的用户操作，电子设备100可以显示如图1B所示的用户界面220。用户界面220可包括预览区域221、闪光灯控件222、设置控件223、相机模式选项201、图库快捷控件202、快门控件203、摄像头翻转控件204。其中：

预览区域221可用于显示摄像头193实时采集的图像。电子设备可以实时刷新其中的显示内容，以便于用户预览摄像头193当前采集的图像。

闪光灯控件222可用于开启或者关闭闪光灯。

设置控件223可用于调整拍摄照片的参数(如分辨率、滤镜等)以及开启或关闭一些用于拍照的方式(如定时拍照、微笑抓拍、声控拍照等)等。设置控件223可用于设置更多其他拍摄的功能，本申请实施例对此不作限定。

相机模式选项201中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括：大光圈模式选项201A、录像模式选项201B、拍照模式选项201C、延时摄影模式选项201D和人像模式选项201E。这一个或多个拍摄模式选项在界面上可以表现为文字信息，例如“大光圈”、“录像”、“拍照”、“延时摄影”、“人像”。不限于此，这一个或多个摄像选项在界面上还可以表现为图标或者其他形式的交互元素(interactive element，IE)。当检测到作用于拍摄模式选项上的用户操作，电子设备100可以开启用户选择的拍摄模式。不限于图1B所示，相机模式选项201中还可以包含更多或更少的拍摄模式选项。用户可以通过在相机模式选项201中向左/右滑动来浏览其他拍摄模式选项。

图库快捷控件202可用于开启图库应用程序。响应于作用在图库快捷键202上的用户操作，例如点击操作，电子设备100可以开启图库应用程序。这样，用户可以便捷地查看拍摄的照片和视频，而无需先退出相机应用程序，再开启图库应用程序。图库应用程序是智能手机、平板电脑等电子设备上的一款图片管理的应用程序，又可以称为“相册”，本实施例对该应用程序的名称不做限制。图库应用程序可以支持用户对存储于电子设备100上的图片进行各种操作，例如浏览、编辑、删除、选择等操作。

快门控件203可用于监听触发拍照的用户操作。电子设备100可以检测到作用于快门控件203的用户操作，响应于该操作，电子设备100可以将预览区域221中的图像保存为图库应用程序中的图片。另外，电子设备100还可以在图库快捷键203中显示所保存的图像的缩略图。也即是说，用户可以点击快门控件203来触发拍照。其中，快门控件203可以是按钮或者其他形式的控件。

摄像头翻转控件204可用于监听触发翻转摄像头的用户操作。电子设备100可以检测到作用于摄像头翻转控件204的用户操作，例如点击操作，响应于该操作，电子设备100可以翻转用于拍摄的摄像头，例如将后置摄像头切换为前置摄像头，或者将前置摄像头切换为后置摄像头。

用户界面221还可以包含更多或更少的内容，本申请实施例对此不作限定。

下面对电子设备100在进行延时摄影时的一些用户界面进行介绍。

图1C～图1F示例性示出了电子设备100进行延时摄影的用户界面。

如图1B所示，响应于作用在延时摄影模式选项201D的用户操作，电子设备100可以显示如图1C所示的用户界面230。用户界面230包含的基本控件与用户界面210基本相同。另外，用户界面230中可包含风格选项231。

风格选项231中可包含一个或多个风格选项。例如，昼夜转换风格选项231A、四季更迭风格选项231B、晴雨交替风格选项231C。这一个或多个风格选项在界面上可表现为文字信息。例如“昼夜转换”、“四季更迭”、“晴雨交替”。不限于此，这一个或多个风格选项在界面上还可以表现为图标或者其他形式的交互元素。每一个风格选项均可用于指示电子设备100对拍摄得到的延时视频进行风格迁移，将视频的风格转换为该风格选项对应的风格。

例如，上述昼夜转换风格选项231A对应的风格迁移模型可以为融合白天风格迁移模型和黑夜风格迁移模型得到的融合风格迁移模型。电子设备100可以利用该融合风格迁移模型对视频中的多帧图像进行风格迁移，得到可以呈现拍摄的内容从白天到黑夜快速渐变的过程的视频。上述四季更迭转换风格选项231B对应的风格迁移模型可以为春季风格迁移模型、夏季风格迁移模型、秋季风格迁移模型、冬季风格迁移模型得到的融合风格迁移模型。电子设备100可以利用该融合风格迁移模型对视频中的多帧图像进行风格迁移，得到可以呈现拍摄的内容从春季到夏季，从夏季到秋季，再从秋季到冬季快速渐变的过程的视频。上述晴雨交替风格选项231C对应的风格迁移模型可以为融合晴天风格迁移模型和雨天风格迁移模型得到的融合风格迁移模型。电子设备100可以利用该融合风格迁移模型对视频中的多帧图像进行风格迁移，得到可以呈现拍摄的内容从晴天到雨天快速渐变的过程的视频。

上述风格选项231中还可以包含更多或更少的风格选项。不限于图1C所示的融合风格迁移风格模型，风格选项231中也可以包含单个风格迁移模型(如卡通风格迁移模型)。

本申请实施例对上述利用融合风格迁移模型进行风格迁移得到的视频的风格的具体变化方式不作限定。例如，当接收到用户选择的风格为昼夜转换风格，电子设备100也可以对视频进行风格迁移处理，使得视频在播放的过程中呈现拍摄的内容从黑夜到白天快速渐变的过程。

如图1C所示，昼夜转换风格选项231A、四季更迭转换风格选项231B、晴雨交替风格选项231C均为未选中状态。例如，上述风格选项的颜色均为白色。响应于作用在昼夜转换风格选项231A的用户操作，例如触摸操作，电子设备100可以显示如图1D所示的用户界面230。在图1D中，昼夜转换风格选项231A可以呈现被选中状态。例如，昼夜转换风格选项231A的颜色可以变为灰色。本申请实施例对风格选项呈现未选中状态和被选中状态的表现方式不作限定。

响应于作用在快门控件203的用户操作，例如触摸操作，电子设备100可以显示如图1E所示的用户界面230。在图1E中，用户界面230可包含时间选择框232。该时间选择框232可用于用户选择生成的延时视频的时间长度。时间选择框232可包括提示语232A、时间选项232B、确认控件232C和取消控件232D。其中：

提示语232A可用于提示用户选择生成的延时视频的时间长度。例如，提示语232A可包含文字提示“请确定延时摄影得到的视频的时长”。

时间选项232B可用于用户选择延时视频的时间长度。例如10秒。

确认控件232C可用于指示电子设备100开始进行延时摄影。其中，电子设备100可以存储时间选项232B所指示的时间长度。进一步的，电子设备100可以对拍摄得到的视频进行处理，以得到时间长度为时间选项232B所指示的时间长度(即用户选择的时间长度)的延时视频。

取消控件232D可用于用户取消选择延时视频的时间长度。响应于作用在取消控件232D的用户操作，电子设备100可以显示如图1D所示的用户界面230。

本申请实施例对上述时间选择框的具体表现形式不作限定。

电子设备100在开始进行延时摄影前，可以获取用户想要生成的延时视频的时间长度。经过拍摄得到原始视频后，电子设备可以对该原始视频进行抽帧，使得生成的延时视频的时间长度为用户想要的时间长度。在一些实施例中，电子设备可以通过提供延时速率来确定在拍摄时采集图像的速率或者对拍摄得到的原始视频的抽帧率。但在这种方式中，电子设备可提供的最高延时速率往往是有限的。当拍摄的时间过长，电子设备生成的延时视频的时间长度仍然较长，延时视频所呈现的延时效果不明显。相比于上述实施例中的实现方式，本申请一些实施例在进行延时摄影时确定的抽帧率可以根据实际拍摄的时间长度和上述时间选项232B指示的时间长度来确定。即用户可以通过在上述时间选项232B中选择想要生成的延时视频的时间长度来自定义对原始视频的抽帧率。

如图1E所示，时间选项232B指示的时间长度为10秒。响应于作用在确认控件232C的用户操作，电子设备100可以显示如图1F所示的延时摄影界面240。延时摄影界面240中可包括预览区域221、拍摄时间指示符241和停止拍摄控件205。其中：

预览区域221可以显示在进行延时摄影时，电子设备100通过摄像头采集的图像。当结束延时摄影时，电子设备100可以将在延时摄影过程中(即从开始进行延时摄影到结束延时摄影的时间段)先后显示在预览区域221中的一系列图像存储为原始视频。这样，电子设备100可以对该原始视频进行防抖处理、抽帧处理以及风格迁移等处理，来得到延时视频。

拍摄时间指示符241可用于指示电子设备100进行延时摄影已经拍摄的时间长度。如图1F所示，拍摄时间指示符241中包含“00:01:00”可以指示电子设备100进行延时摄影已经拍摄了1分钟。

停止拍摄控件205可用于结束延时摄影。如图1F所示，在拍摄的时间长度为1分钟时，响应于作用在停止拍摄控件205的用户操作，电子设备100可以结束延时摄影。其中，电子设备100可以得到时间长度为1分钟的原始视频。

电子设备100可以根据用户选择的风格以及想要生成延时视频的时间长度，对原始视频进行防抖处理、抽帧处理以及风格迁移，来得到延时视频。

图2A～图2C示例性示出了电子设备100播放在图1C～图1F所示拍摄过程中得到的延时视频的用户界面。

在播放延时视频时，电子设备100可以显示如图2A所示的视频播放界面250。视频播放界面250可包括时间控件251、图像显示区域252、暂停控件253、进度条254、视频已播放时间255和视频总时长256。其中：

时间控件251可以指示电子设备100存储该延时视频的时间。例如2020年11月9日上午8点过8分。

图像显示区域252可用于显示延时视频中包含的一帧帧图像。

暂停控件253可用于暂停播放延时视频。

进度条254可用于对比视频已播放时间和视频总时长，指示视频播放的进度。

视频已播放时间255可用于指示视频已播放的时间。

视频总时长256可用于指示延时视频的总时长。由图2A可以看出，该延时视频的总时长为10秒。即电子设备100根据图1E所示的时间选项232B指示的时间长度将拍摄时间长度为1分钟的视频，处理为时间长度为10秒的延时视频。那么，电子设备100可以将在1分钟内拍摄的内容在10秒的时间内呈现出来。

由图2A～图2C所示的视频播放过程可以看出，该延时视频是经过风格迁移的。其中，根据用户选择的风格选项，电子设备100可以利用对应的风格迁移模型对视频中的多帧图像分别进行风格迁移。例如，根据昼夜转换风格选项231A，电子设备100可以利用融合有白天风格迁移模型和黑夜风格迁移模型的融合风格迁移模型对视频进行风格迁移。经过上述风格迁移得到的延时视频可以呈现出拍摄的内容从白天到黑夜快速渐变的过程。

在图2A～图2C中，延时视频中包含的图像保留有原始视频中包含的图像的高层语义信息(如树木、河流)。但延时视频中包含第一帧图像至最后一帧图像的风格逐渐从白天风格变化到黑夜风格。如图2A所示，在延时视频播放至第2秒时，图像的风格为白天风格。即延时视频在播放时间为第2秒时的图像可以呈现出拍摄的内容(如树木、河流)在白天的景象。如图2B所示，在延时视频播放至第4秒时，图像的风格为介于白天风格与黑夜风格之间的风格(如黄昏风格)。即延时视频在播放时间为4秒时的图像可以呈现出拍摄的内容(如树木、河流)在黄昏时的景象。如图2C所示，在延时视频播放至第8秒时，图像的风格为黑夜风格。即延时视频在播放时间为第2秒时的图像可以呈现出拍摄的内容(如树木、河流)在黑夜的景象。

上述图2A～图2C仅是对图像的风格从白天风格逐渐变化为黑夜风格的示例性说明，不对对应风格的图像的具体呈现内容产生限定。

由上述拍摄和播放延时视频的实施例可以看出，用户在短时间内拍摄出来的视频可以具有长时间拍摄视频的延时效果。例如，上述用户在1分钟内拍摄得到的延时视频可以具有原来需要拍摄12个小时甚至更长时间才能得到的从白天到黑夜快速渐变的延时效果。另外，电子设备可以对拍摄得到的视频进行防抖处理。这样，用户在拍摄延时视频时可以手持电子设备进行拍摄，而无需固定设备将用于拍摄的电子设备固定在一个地方。上述图像处理方法使得延时摄影突破了对拍摄场景、设备和时间的限制，提高了用户进行延时摄影的便利性和趣味性。

下面具体介绍本申请实施例中电子设备100进行防抖处理的实现方式。

拍摄的视频出现抖动一般是由于在拍摄过程中，用于拍摄的电子设备的位姿发生变化。电子设备可以通过计算自己在拍摄过程中位姿的变化，对视频中的各帧图像进行处理，以消除抖动。具体的，电子设备100可以利用运动传感器(如陀螺仪传感器、加速度传感器)来计算自己在拍摄过程中位姿的变化。电子设备100可以根据自己位姿的变化确定在拍摄过程中的原始运动路径。进一步的，电子设备100可以对原始运动路径进行平滑处理(即消除运动路径上存在抖动的部分)，以得到电子设备100在平稳拍摄状态下位姿的变化。根据电子设备100在采集某一帧图像时实际的位姿与在平稳拍摄状态下采集这一帧图像时的位姿之间的变换关系，电子设备100可以对这一帧图像进行图像配准，从而得到这一帧图像的各像素在平稳拍摄状态下对应的坐标。电子设备100可以将经过图像配准的各帧图像按采集时间的先后顺序串联，得到更加稳定的视频。

不限于上述电子防抖的实现方式，电子设备100还可以通过光学防抖的方法来减少或者消除拍摄得到的视频的抖动。例如，电子设备100摄像头的镜片组中包含磁力悬浮镜片。在拍摄过程中，电子设备100可以利用运动传感器检测到抖动。根据运动传感器的测量值，电子设备100可以控制磁力悬浮镜片，对光路进行补偿，避免光路发生抖动。这样，电子设备100可以减少或者消除拍摄得到的视频的抖动。

在一些实施例中，电子设备100还可以结合上述电子防抖和光学防抖的方法进行防抖处理。

本申请实施例对电子设备100进行防抖处理的方法不作限定，上述防抖处理的方法还可以参考现有技术中其他的视频防抖方法。

下面具体介绍本申请实施例中电子设备100融合多个风格迁移模型并利用融合风格迁移模型对视频进行风格迁移的一种实现方式。

1、融合多个风格迁移模型

图3示例性示出了电子设备100融合M个风格迁移模型的流程图。M为大于或等于2的正整数。其中：

第一风格迁移模型、第二风格迁移模型、…、第M风格迁移模型均为已经训练好的风格迁移模型，且均对应单一的风格。例如，第一风格迁移模型对应的风格为黑夜风格。则该第一风格迁移模型可以将输入图像的风格转变为黑夜风格。

这M个风格迁移模型具体可以为神经网络模型，例如卷积神经网络模型。并且，这M个风格迁移模型的网络结构是相同的。

电子设备100可以通过插值融合的方法将这M个风格迁移模型融合为一个具有特定风格的融合风格迁移模型。具体的，电子设备100可以将这M个风格迁移模型相同位置的参数进行插值融合，并将插值融合后得到的参数作为融合风格迁移模型在这一位置上的参数。

电子设备100对M个风格迁移模型相同位置的参数进行插值融合的方法可以参考下述公式(2)：

θ_interp＝α₁θ₁+α₂θ₂+…+α_iθ_i+…+α_Mθ_M (2)

其中，i为大于或等于1且小于或等于M的正整数。θ_i可以表示第i个风格迁移模型在第一位置上的参数。上述第一位置可以是第i个风格迁移模型中的任意一个位置。该参数可以例如是第i个风格迁移模型中某一神经单元的偏置b，以及这一神经单元上一层中各神经单元的权重W_s。α_i可以表示第i个风格迁移模型的融合权重。α_i大于或等于0，且α₁+α₂+…+α_i+…+α_M＝1。本申请实施例对α_i的取值不作其它限定。θ_interp可以表示经过插值融合后得到的参数。即融合风格迁移模型在第一位置上的参数。

根据上述公式(2)，电子设备100可以确定融合风格迁移模型在各位置上的参数的值，从而得到融合了上述M个风格迁移模型的融合风格迁移模型。可以理解的，该融合风格迁移模型的网络结构与这M个风格迁移模型的网络结构是相同的。上述第i个风格迁移模型的第一位置与上述融合风格迁移模型的第一位置是相同网络结构中的同一位置。

这里具体以电子设备100融合白天风格迁移模型和黑夜风格迁移模型为例进行说明。

融合得到的融合风格迁移模型在第一位置的参数的计算公式可参考下式(3)：

θ_interp＝α_dayθ_day+α_nightθ_night (3)

其中，α_day、α_night可以分别表示白天风格迁移模型和黑夜风格迁移模型的融合权重。α_day、α_night均为大于或等于0的正数，且α_day+α_night＝1。θ_day、θ_night可以分别表示白天风格迁移模型和黑夜风格迁移模型在第一位置的参数。

可以理解的，该融合风格迁移模型对应的风格是介于白天风格和黑夜风格之间的风格，且由α_day、α_night的取值决定。当α_day的值越大，α_night的值越小，该融合风格迁移模型对应的风格越接近白天风格。当α_day的值越小，α_night的值越大，该融合风格迁移模型对应的风格越接近黑夜风格。

电子设备100利用该融合风格迁移模型对视频中的多帧图像进行风格迁移时，可以通过改变上述α_day、α_night的取值来得到能呈现从白天到黑夜快速渐变这一延时效果的视频。具体的，在对视频的第一帧图像至最后一帧图像进行风格迁移的融合风格迁移模型中，α_day的值可以逐渐减小，且α_night的值逐渐增大。

例如，视频中包含n帧图像。n为大于1的整数。电子设备100对这n帧图像中第j帧图像进行风格迁移的融合风格迁移模型中，第一位置的参数的计算公式可以参考下式(4)：

其中，j为大于或等于1且小于或等于n的整数。第一位置为该融合风格迁移模型中任意一个位置。

2、利用融合风格迁移模型对视频进行风格迁移

电子设备100利用融合风格迁移模型对视频中的多帧图像进行风格迁移时，可以调整其中被融合的风格迁移模型所占的权重，从而让视频呈现从一个风格逐渐变化至另一个风格的效果。其中，一个融合风格迁移模型输出图像的风格越接近其中一个被融合的风格迁移模型输出图像的风格时，这一个被融合的风格迁移模型所占的权重越大。

电子设备100可以根据前述实施例中的风格选项来确定被融合的风格迁移模型。例如，风格选项为昼夜转换风格选项。电子设备100可以确定被融合的风格迁移模型包括白天风格迁移模型和黑夜风格迁移模型。电子设备利用融合有白天风格迁移模型和黑夜风格迁移模型的融合风格迁移模型对视频进行风格迁移后，该视频中包含图像的风格可以从白天风格逐渐变化到黑夜风格。也即上述经过风格迁移的视频在播放过程中可以呈现视频中的景物在时间上从白天到黑夜的变化。

图4示例性示出了电子设备100利用融合有白天风格迁移模型和黑夜风格迁移模型的融合风格迁移模型对视频进行风格迁移的实现方式。

电子设备100可以根据上述公式(4)对白天风格迁移模型和黑夜风格迁移模型进行插值融合。

如图4所示，该视频包含n帧图像。对这n帧图像中第j帧图像进行风格迁移的模型可以为融合风格迁移模型j。融合风格迁移模型j在第一位置的参数可以为((n-j+1)/n)θ_day+((j-1)/n)θ_night。电子设备100可以计算融合风格迁移模型j在所有位置上的参数，从而得到该融合风格迁移模型j。

电子设备100可以利用融合风格迁移模型1～融合风格迁移模型n分别对第1帧图像～第n帧图像进行风格迁移。融合风格迁移模型1～融合风格迁移模型n对应的风格分别为风格1～风格n。根据上述公式(4)可知，上述融合风格迁移模型1可以为白天风格迁移模型。风格1可以为白天风格。上述融合风格迁移模型n可以为黑夜风格迁移模型。风格n可以为黑夜风格。

由图4可以看出，第1帧图像～第n帧图像的风格分别为风格1～风格n。第1帧图像～第n帧图像的风格逐渐从白天风格变化为黑夜风格。经过风格迁移的视频在播放的过程中可以呈现从白天到黑夜快速渐变的效果。

在一些实施例中，电子设备100利用M个风格迁移模型得到的融合风格迁移模型的数量可以少于需要进行风格迁移的视频中图像的帧数。其中，一个融合风格迁移模型可以对需要进行风格迁移的视频中一帧图像或连续多帧图像进行风格迁移。

下面介绍本申请实施例提供的一种训练风格迁移模型的实现方法。

训练风格迁移模型的设备可以为训练设备。训练得到的风格迁移模型为对应一种风格的风格迁移模型。例如对应黑夜风格的风格迁移模型。这里以训练黑夜风格迁移模型为例进行说明。

在一种可能的实现方式中，用于训练黑夜风格迁移模型的训练集中可包含需要进行风格迁移的内容图像以及黑夜风格图像。训练设备可以将内容图像输入待训练的黑夜风格迁移模型中，得到合成图像。进一步的，训练设备可以计算损失函数的loss。这个loss可用于表示合成图像的风格与上述黑夜风格图像的风格之间的差距，以及合成图像的内容与输入黑夜风格迁移模型的内容图像在高层语义信息上的差距。loss的值越高，合成图像的风格与上述黑夜风格图像的风格之间的差距以及合成图像的内容与输入黑夜风格迁移模型的内容图像在高层语义信息上的差距越大。根据计算得到的loss，训练设备可以通过反向传播算法调整待训练的黑夜风格迁移模型中的参数。其中，训练设备朝着使得loss的值越低(即合成图像的风格与上述黑夜风格图像的风格之间的差距越小、合成图像的内容与输入黑夜风格迁移模型的内容图像在高层语义信息上的差距越小)的方向调整待训练的黑夜风格迁移模型中的参数。当上述loss的值小于预设阈值，训练设备可以得到训练好的黑夜风格迁移模型。

相比于对单独的一帧帧图像进行风格迁移，对视频包含的多帧图像进行风格迁移需要考虑视频中多帧图像是连续的。利用上述实现方式中的训练方法得到的风格迁移模型对视频包含的多帧图像进行风格迁移后，相邻两帧合成图像之间的风格可能会出现跳变。那么视频在播放的过程中可能会出现不希望的闪烁等现象。为了提高视频中连续多帧内容图像风格化效果的一致性，减少视频播放过程中的闪烁现象，训练设备在训练风格迁移模型时可以考虑连续多帧内容图像之间的联系。具体的，训练设备训练风格迁移模型时，可以在损失函数中引入多帧时域损失。

图5示例性示出了另一种训练风格迁移模型的方法流程图。该方法可特别适用于训练对视频进行风格迁移的风格迁移模型。如图5所示，该训练方法可包括步骤S101～S104。该训练方法中用于训练风格迁移模型的训练集可包含需要进行风格迁移的视频。其中：

S101、训练设备将视频第r帧内容图像输入待训练的风格迁移模型，并计算第r帧内容图像对应的损失loss_cur。

训练设备可以依次利用视频中的第一帧内容图像至最后一帧内容图像来训练风格迁移模型。计算第r帧内容图像对应的损失的方法可以参考前述实现方式中的说明。

S102、训练设备获取第r帧内容图像的前h帧内容图像输入待训练的风格迁移模型得到h帧合成图像。

上述r和h的均为正整数，且h小于r。

S103、训练设备分别计算第r帧内容图像输入待训练的风格迁移模型得到的合成图像与上述h帧合成图像的差距，得到多帧时域损失L_ct。

训练设备可以参考下述公式(5)来计算多帧时域损失L_ct。

其中，N可以表示待训练的风格迁移模型。f_cur可以表示用于训练风格迁移模型的当前一帧内容图像，即视频的第r帧内容图像。N(f_cur)可以表示将第r帧内容图像输入待训练的风格迁移模型得到的内容图像。f_{pre_i}可以表示第r帧内容图像的前第i帧内容图像。N(f_{pre_i})可以表示将第r帧内容图像的前第i帧内容图像输入待训练的风格迁移模型得到的内容图像。λ_{pre_i}可以表示与第r帧内容图像的前第i帧内容图像对应的权重系数。λ_{pre_i}大于或等于0，且λ₁+…+λ_{pre_i}+…+λ_h＝1。

S104、根据上述损失loss_cur和多帧时域损失L_ct，训练设备利用反向传播算法调整待训练风格迁移模型的参数。

训练设备可以以上述loss_cur和多帧时域损失L_ct的和作为待训练风格迁移模型的输入为第r帧内容图像时对应的损失，进而利用反向传播算法调整待训练风格迁移模型的参数。

训练设备可以利用多个视频对风格迁移模型进行训练。当包含有多帧时域损失的loss的值小于预设阈值，训练设备可以得到训练好的风格迁移模型。该训练好的风格迁移模型在对视频中的多帧图像进行风格迁移时，可以提高视频中连续多帧内容图像风格化效果的一致性，减少视频播放过程中的闪烁现象。

计算上述多帧时域损失的方法不限于是公式(5)指示的计算方法，训练设备还可以通过其他方法来计算第r帧内容图像输入待训练的风格迁移模型得到的合成图像与上述h帧合成图像的差距。

另外，不限于第r帧内容图像的前h帧内容图像，训练设备还可以获取第r帧内容图像的后若干帧图像来计算上述多帧时域损失。

在一些实施例中上述训练设备与本申请中的电子设备100可以为同一个设备。

可以理解的，由于引入多帧时域损失训练得到的风格迁移模型可以减小经过风格迁移的视频中连续多帧图像风格的差异，那么电子设备利用这些风格迁移模型中的两个或多个进行插值融合得到的融合风格迁移模型也可以减小经过风格迁移的视频中连续多帧图像风格的差异。也即是说，电子设备根据前述实施例中的方法利用融合风格迁移模型对视频进行风格迁移后，视频中相邻帧图像的风格可以平滑过渡，视频播放过程中的由于相邻帧图像的风格跳变导致的闪烁现象得以减少。

在一些实施例中，上述训练好的风格迁移模型(如白天风格迁移模型、黑夜风格迁移模型)可存储在电子设备100中。在需要利用融合风格迁移模型对视频进行风格迁移时，电子设备100可以从本地获取风格迁移模型进行融合。

在另一些实施例中，上述训练好的风格迁移模型可存储在云端。电子设备100将需要进行风格迁移的视频以及被选择的风格选项(如图1D所示的昼夜转换风格选项231A)上传至云端。云端可以利用融合风格迁移模型对视频进行风格迁移，并将得到的经过风格迁移的视频发送给电子设备100。可选的，电子设备100也可以仅将被选择的风格选项发送给云端。云端可以根据上述风格选项将需要融合的风格迁移模型发送给电子设备100。

本申请实施例对上述训练好的风格迁移模型的存储位置不作具体限定。

下面介绍本申请提供的一种拍摄方法。

图6示例性示出了本申请提供的一种拍摄方法的流程图。该方法可包括步骤S201～S207。其中：

S201、电子设备100开启相机应用程序和摄像头。

响应于开启相机应用程序的用户操作，例如图1A所示作用于相机图标212A的触摸操作，电子设备100可以开启相机应用程序和摄像头。

S202、电子设备100接收到用于选择相机模式中延时摄影模式的第一用户操作，显示用于确定延时视频的风格的选项。

相机应用程序中可包括多种相机模式。这多种相机模式用于实现不同的拍摄功能。上述第一用户操作可以例如是图1B所示作用于延时摄影选项201D的用户操作。

响应于该第一用户操作，电子设备100可以在用户界面上显示用于确定延时视频的风格的选项。例如，如图1C所示的对拍摄得到的视频进行风格迁移的风格选项231。

上述延时视频可以为摄像头在进行延时摄影过程中采集的图像在经过下述步骤S205～S207处理后，按照采集时间的先后顺序串联得到的视频。其中，用户可以通过图库应用程序来查看电子设备得到的延时视频。

S203、电子设备100接收到用于选择延时视频的风格和时间长度第二用户操作，存储被选择的延时视频的风格和时间长度。

上述第二用户操作可以例如是图1C所示作用在昼夜转换风格选项231A的用户操作以及图1E所示在时间选项232B中选择时间后作用在确认控件232C的用户操作。

上述被选择的风格选项可用于指示电子设备100根据该风格选项对摄像头采集得到的视频进行风格迁移。示例性的，根据上述被选择的风格选项为昼夜转换风格选项231A，电子设备100可以从本地或者云端获取白天风格选项和黑夜风格选项。当确定延时视频中包含的图像的帧数，电子设备100可以对白天风格选项和黑夜风格选项进行插值融合，并利用得到的融合风格迁移模型对视频进行风格迁移。

上述被选项的时间长度可用于指示电子设备100的摄像头采集得到的视频进行抽帧时的抽帧率。

在一些实施例中，当接收到上述第一用户操作，电子设备100可以先显示用于确定延时视频的时间的选项。之后，电子设备100载显示用于确定延时视频的风格的选项。

或者，当接收到上述第一用户操作，电子设备100还可以同时显示用于确定延时视频的风格和时间的选项。本申请实施例对电子设备100显示用于确定延时视频的风格和时间的选项的方式不作限定。

S204、电子设备100接收到开始进行延时摄影和结束延时摄影的用户操作，得到第一视频，第一视频包含从开始进行延时摄影到结束延时摄影过程中摄像头采集的图像。

上述开始进行延时摄影的用户操作可以例如是图1E所示在时间选项232B中选择时间后作用在确认控件232C的用户操作。上述结束延时摄影的用户操作可以例如是图1F所示作用在停止拍摄控件205的用户操作。上述从开始进行延时摄影到结束延时摄影的这一过程为进行延时摄影的过程。

电子设备100的摄像头在延时摄影的过程中可以按照正常录像采集图像的速率来采集图像(例如每秒采集30帧图像)。电子设备100可以将摄像头在延时摄影过程中采集的图像按照采集时间的先后顺序串联，得到第一视频。

S205、电子设备100对第一视频进行防抖处理，得到第二视频。

根据前述实施例中对视频进行防抖处理的方法，电子设备100可以对第一视频进行防抖处理，得到第二视频。这里对防抖处理的具体方法不再赘述。

S206、电子设备100根据第二用户操作中用户选择的时间长度，对第二视频进行抽帧，得到第三视频，第三视频的时间长度为用户选择的时间长度。

电子设备100可以根据上述摄像头进行延时摄影的过程的时间长度以及第二用户操作中用户选择的时间长度，确定抽帧率。电子设备100可以根据该抽帧率对第二视频进行抽帧，抽取得到的图像按照采集时间的先后顺序串联，得到第三视频。

示例性的，如图1F所示，在延时摄影进行至1分钟内时，电子设备100接收到作用在停止拍摄控件205的用户操作，电子设备100可以停止拍摄。即摄像头进行延时摄影的过程为1分钟。如图1E所示，上述第二用户操作中用户选择的时间长度为10秒。那么，电子设备100可以确定抽帧率为1:6。电子设备10可以在每6帧图像中抽取1帧图像。在一种可能的实现方式中，电子设备100可以等间隔抽帧。即电子设备100可以抽取第二视频中的第1帧图像、第7帧图像、第13帧图像……。然后，电子设备100可以将抽取的图像按采集时间的先后顺序串联，得到第三视频。

不限于上述等间隔抽帧，电子设备100还可以根据得到的抽帧率按照其它方式抽帧。

S207、电子设备100根据第二用户操作中用户选择的风格，利用融合风格迁移模型对第三视频进行风格迁移，并将经过风格迁移的视频保存为延时视频。

电子设备100可以根据第二用户操作中用户选择的风格，确定需要融合的风格迁移模型。进一步的，电子设备100可以根据第三视频包含的图像的帧数，确定对第三视频中各帧图像进行风格迁移的融合风格迁移模型。根据前述实施例中利用融合风格迁移模型对视频进行风格迁移的方法，电子设备100可以利用得到的融合风格迁移模型对第三视频中的各帧图像进行风格迁移，得到延时视频。电子设备100可以保存该延时视频。电子设备100对第三视频进行风格迁移的具体实现方法这里不再赘述。

由图6所示的拍摄方法可知，用户在进行延时摄影时可以选择想要的视频风格以及延时视频的时间长度。电子设备可以对采集得到的视频进行抽帧，以将原始视频的时间长度压缩至用户想要的时间长度。电子设备对根据用户选择的视频风格对视频进行风格迁移，可以使得用户在短时间内拍摄出来的视频具有长时间拍摄视频的延时效果。例如，在1分钟内拍摄得到的延时视频可以具有原来需要拍摄12个小时甚至更长时间才能得到的从白天到黑夜快速渐变的延时效果。另外，电子设备可以对拍摄得到的视频进行防抖处理。这样，用户在拍摄延时视频时可以手持电子设备进行拍摄，而无需固定设备将用于拍摄的电子设备固定在一个地方。上述拍摄方法使得延时摄影突破了对拍摄场景、设备和时间的限制，提高了用户进行延时摄影的便利性和趣味性。

在一些实施例中，电子设备100未接收到用户选择的延时视频的风格。电子设备100可以不对视频进行风格迁移。示例性的，如图1C所示，用户未在风格选项231中选择风格。即风格选项231中的所有风格均为未选中状态。进一步的，电子设备100接收到用于开始进行延时摄影的用户操作，电子设备100可以开始进行延时摄影。对于在延时摄影过程中采集得到的原始视频，电子设备100可以进行防抖处理和抽帧处理得到延时视频。也即是说，用户可以选择仅将摄像头采集的原始视频在时间上进行压缩，以得到具有相应延时效果的延时视频。

在一些实施例中，若电子设备100判断出用户选择的延时视频的时间长度比延时摄影过程的时间长度长，电子设备100可以对采集得到的原始视频进行防抖处理，并根据用户选择的延时视频的风格对经过防抖处理的视频进行风格迁移，得到延时视频。也即是说，电子设备100可以不对视频进行抽帧处理。或者，若电子设备100判断出用户选择的延时视频的时间长度比延时摄影过程的时间长度长，电子设备100可以先对采集得到的原始视频进行防抖处理。然后，电子设备100可以对经过防抖处理的视频进行插帧，来将视频的时间长度增加至用户选择的延时视频的时间长度。最后，电子设备100可以根据用户选择的延时视频的风格对经过插帧处理的视频进风格迁移，得到延时视频。上述对视频进行插帧的具体实现方式可以参考现有技术中的插帧方法，本申请实施例对此不作限定。

下面介绍本申请实施例提供的另一种得到延时视频的场景。

图7A～图7G示例性示出了一种得到延时视频的场景。在该场景中，电子设备100可以对在非延时摄影模式下采集得到的视频进行处理(如抽帧、风格迁移)，得到延时视频。

如图7A所示，响应于作用在用户界面210中图库图标211A的用户操作，电子设备100可以开启图库应用程序，显示如图7B所示的图库界面260。图库界面260可包含第一时间指示符261、第二时间指示符265、第一视频缩略图262、第二视频缩略图263、第一照片缩略图264、第二照片缩略图266。其中：

第一视频缩略图262、第二视频缩略图263可以分别为第一视频和第二视频的封面。其中，电子设备100可以以视频的第一帧图像作为视频缩略图的封面。响应于作用在第一视频缩略图262或第二视频缩略图263上的用户操作，电子设备100可以显示用于播放第一视频或第二视频的用户界面。

第一照片缩略图264、第二照片缩略图266可分别为第一照片和第二照片的缩略图。响应于作用在第一照片缩略图264或第二照片缩略图266的用户操作，电子设备100可以显示第一照片或第二照片。

第一时间指示符261和第二时间指示符265可分别用于指示在第一时间指示符261下颌第二时间指示符265下的视频和照片拍摄的时间。示例性的，第一时间指示符261指示的时间为今天(今天即为显示在用户界面210上的时间11月9日)。第一视频缩略图262、第二视频缩略图263、第一照片缩略图264位于第一时间指示符261下。也即是说，第一视频、第二视频、第一照片是电子设备100在11月9日拍摄的。第二时间指示符265指示的时间为昨天(昨天即为11月8日)。第二照片缩略图166位于第二时间指示符265下。也即是说，第二照片是电子设备100在11月8日拍摄的。

响应于作用在图库界面260上下滑动的用户操作，电子设备100可以在图库界面260上显示更多的内容。

响应于作用在第一视频缩略图262的用户操作，电子设备100可以显示如图7C所示的用户界面270。用户界面270可包括时间控件271、视频播放区域272、设置选项273。其中：

时间控件271可用于指示电子设备100存储第一视频的时间。例如2020年11月9日上午7点30分。上述存储第一视频的时间可以是第一视频拍摄完成的时间。

视频播放区域272可包含播放控件272A。该播放控件272A可用于指示电子设备272A播放第一视频。

设置选项273可包含分享选项273A、收藏选项273B、编辑选项273C和删除选项273D。其中，分享选项273A可用于用户将第一视频分享给其他设备。收藏选项273B可用于用户收藏第一视频。编辑选项273C可用于用户对第一视频进行例如旋转裁剪、添加滤镜等编辑操作。删除选项273D可用于用户将第一视频从电子设备100中删除。

响应于作用在编辑选项273C的用户操作，电子设备100可以显示如图7D所示的视频编辑界面280。视频编辑界面280可包括视频播放区域281、编辑选项282。其中：

视频播放区域281可以参考前述图7C视频播放区域272的介绍。

编辑选项282可包含旋转裁剪选项282A、滤镜选项282B、配乐选项282C、文本选项282D、水印选项282E、延时摄影选项282F。其中，选项裁剪选项282A可用于对第一视频中的各帧图像进行旋转和裁剪。滤镜选项282B、配乐选项282C、文本选项282D、水印选项282E可分别为第一视频中的各帧图像添加滤镜、添加背景音乐、添加文本、添加水印。延时摄影选项282F可用于对第一视频进行抽帧处理和风格迁移处理，以得到具有延时效果的视频。

编辑选项282中可以包含更多或更少的选项。

示例性的，响应于作用在延时摄影选项282F的用户操作，电子设备100可以显示如图7E所示的视频编辑界面280。视频编辑界面280还可以包含风格选择选项283。风格选择选项283可包括提示语控件283A、昼夜转换风格选项283B、四季更迭风格选项283C、晴雨交替风格选项283D、取消控件283E和下一步控件283F。其中：

提示语控件283A可用于提示用户选择需要对第一视频进行风格迁移处理的风格。提示语控件283A中可包括文字提示“风格选择”。本申请实施例对提示语控件283A的具体形式不作限定。

昼夜转换风格选项283B、四季更迭风格选项283C、晴雨交替风格选项283D的作用可以参考前述实施例对图1C中昼夜转换风格选项231A、四季更迭风格选项231B、晴雨交替风格选项231C的介绍，这里不再赘述。

取消控件283E可用于用户取消风格选择。响应于作用在取消控件283E的用户操作，电子设备100可以显示如图7D所示的视频编辑界面280。

下一步控件283可用于用户进一步完成延时摄影编辑的相关设置。例如，设置延时视频的时间长度。

上述风格选择选项283中还可以包含更多或更少的风格选项。

如图7E所示，当接收到作用在昼夜转换风格选项283B的用户操作，以及作用在下一步控件283的用户操作，电子设备100可以显示如图7F所示的视频编辑界面280。视频编辑界面280还可包含时长选择选项284。时长选择选项284可包含提示语控件284A、时间选项284B、上一步控件284C、保存控件284D。其中：

提示语控件284A可用于提示用户选择最终生成的延时视频的时间长度。提示语控件284A中可包括文字提示“时长选择(请确定处理后视频的时长)”。

时间选项284B的作用可以参考前述实施例对图1E中时间选项232B的介绍，这里不再赘述。

上一步控件284C可用于用户返回上一步，重新选择对第一视频进行风格迁移处理的风格。响应于作用在上一步控件284C上的用户操作，电子设备100可以显示如图7D所示的视频编辑界面280。

保存控件284D可用于电子设备100存储用户选择的风格(如昼夜转换风格)和时间长度(如10秒)。响应于作用在保存控件284D的用户操作，电子设备100可以根据用户选择的风格和时间长度，对第一视频进行抽帧和风格迁移，得到延时视频。该延时视频的时间长度即为用户选择的时间长度。电子设备100可以利用融合风格迁移模型(如融合有白天风格迁移模型和黑夜风格迁移模型的融合风格迁移模型)对经过抽帧处理的第一视频进行风格迁移。利用融合风格迁移模型对视频进行风格迁移的具体实现方式可以参考前述实施例的介绍，这里不再赘述。

当得到延时视频，电子设备100可以显示如图7G所示的用户界面270。图7G所示的用户界面270中包含的内容与图7C所示的用户界面270包含的控件一致。不同的是，视频播放区域272中包含的视频为对第一视频进行抽帧和风格迁移后得到的延时视频的封面。上述延时视频的封面可以为延时视频的第一帧图像。

另外，时间控件271可以指示电子设备100存储上述延时视频的时间。例如2020年11月9日上午8点过8分。可以看出，电子设备100存储第一视频的时间与存储上述延时视频的时间是不同的。第一视频是2020年11月9日上午7点30分拍摄完成并存储在电子设备100中的。上述延时视频是2020年11月9日上午8点过8分由电子设备100处理第一视频得到并存储在电子设备100中的。

其中，响应于作用在图7G所示播放控件272A的用户操作，电子设备100可以播放延时视频。该延时视频播放的过程具体可以参考前述图2A～图2C所示的视频播放过程。这里不再赘述。

由上述实施例可以看出，用户可以选择风格和时间长度对已经拍摄好的视频进行延时处理。上述已经拍摄好的视频可以例如是在图1B所示的相机模式选项中录像模式选项201B被选中时，电子设备100通过摄像头采集得到的视频。也即是说，电子设备100可以对任意视频进行抽帧和风格迁移处理，得到延时视频。该延时视频的延时效果可以不受原始视频时间长度的影响。用户在短时间内拍摄出来的任意视频经过本申请实施例中的抽帧和风格迁移处理后，均可以具有长时间拍摄视频的延时效果。

下面介绍本申请实施例提供的一种拍摄具有风格渐变效果的全景图的场景。

图8A～图8E示例性示出了电子设备100拍摄具有风格迁移效果的全景图的场景示意图。

如图8A所示，响应于作用在用户界面210上相机图标212A的用户操作，电子设备100可以开启相机应用程序以及摄像头。其中，电子设备100可以显示如图8B所示的用户界面290。

如图8B所示，用户界面290可包括预览区域291、风格选项292、相机模式选项201、图库快捷控件202、快门控件203、摄像头翻转控件204。其中：

相机模式选项201、图库快捷控件202、快门控件203、摄像头翻转控件204的介绍可以分别参考前述实施例对图1B所示的相机模式选项201、图库快捷控件202、快门控件203、摄像头翻转控件204的说明。在图8B中，相机模式选项201还可以包含延时全景模式选项201G，且该延时全景模式选项201G处于被选中状态。在该延时全景模式下，电子设备100可以拍摄得到具有风格渐变效果的全景图。

风格选项292中可包含一个或多个风格选项。例如，昼夜转换风格选项292A、四季更迭风格选项292B、晴雨交替风格选项292C。上述风格选项均可用于指示电子设备100对拍摄得到的全景图进行风格迁移，将全景图的风格转换为该风格选项对应的风格。

例如，上述昼夜转换风格选项292A对应的风格迁移模型可以为融合白天风格迁移模型和黑夜风格迁移模型得到的融合风格迁移模型。电子设备100可以将拍摄得到的全景图从左至右分割成m个区域。这m个区域中可存在重叠的部分。进一步的，电子设备100可以利用上述融合风格迁移模型对从全景图中分割得到的m个区域进行风格迁移。电子设备100可以从上述经过风格迁移的m个区域中的每个区域选取一个拼接区域，并将m个区域进行拼接得到经过风格迁移的全景图。该拼接得到的全景图从左侧至右侧的风格可以为从白天风格逐渐变化为黑夜风格。上述四季更迭转换风格选项231B对应的风格迁移模型可以为春季风格迁移模型、夏季风格迁移模型、秋季风格迁移模型、冬季风格迁移模型得到的融合风格迁移模型。电子设备100可以利用上述融合风格迁移模型对从全景图中分割得到的m个区域进行风格迁移。电子设备100可以从上述经过风格迁移的m个区域中的每个区域选取一个拼接区域，并将m个区域进行拼接得到经过风格迁移的全景图。该拼接得到的全景图从左侧至右侧的风格可以为从春季风格逐渐变化为夏季风格、再从夏季风格变化为秋季风格、再从秋季风格变化为冬季风格。上述晴雨交替风格选项231C对应的风格迁移模型可以为融合晴天风格迁移模型和雨天风格迁移模型得到的融合风格迁移模型。电子设备100可以利用上述融合风格迁移模型对从全景图中分割得到的m个区域进行风格迁移。电子设备100可以从上述经过风格迁移的m个区域中的每个区域选取一个拼接区域，并将m个区域进行拼接得到经过风格迁移的全景图。该拼接得到的全景图从左侧至右侧的风格可以为从晴天风格逐渐变化为雨天风格。

上述风格选项292中还可以包含更多或更少的风格选项。不限于图8B所示的融合风格迁移风格模型，风格选项292中也可以包含单个风格迁移模型(如卡通风格迁移模型)。

本申请实施例对上述利用融合风格迁移模型进行风格迁移得到的全景图的风格的具体变化方式不作限定。例如，当接收到用户选择的风格为昼夜转换风格，电子设备100也可以对从全景图分割得到的多帧图像进行风格迁移处理，再将这多帧图像拼接为全景图。其中，上述拼接得到的全景图从左侧至右侧的风格可以为从黑夜风格逐渐变化为白天风格。

可选的，电子设备100分割全景图的方式还可以为从上侧至下侧进行分割。经过上述风格迁移处理以及拼接得到的全景图从上侧至下侧的风格可以为从白天风格逐渐变化为黑夜风格，或者从黑夜风格逐渐变化为白天风格。不限于上述实施例所示的分割方式，电子设备100还可以沿全景图的任一方向对全景图进行分割。

预览区域291可用于显示摄像头实时采集到的图像。预览区域291中可包含操作提示291A和拍摄进度指示291B。其中：

操作提示291A可用于提示用户拍摄全景图的操作说明。操作提示291A可包括文字提示“按下快门键并沿箭头方向缓慢移动”。上述文字提示中“快门键”即为快门控件203。上述文字提示中的“箭头”即为拍摄进度指示291B中的箭头。

拍摄进度指示291B可包括全景图缩略图和箭头。上述全景图缩略图可用于呈现从开始进行全景图拍摄时到当前时刻得到的全景图的缩略图。上述箭头可用于指示在全景图拍摄过程中电子设备100移动的方向。例如，上述箭头指向水平向右的方向可以表示在全景图拍摄的过程中，电子设备100从开始进行全景图拍摄时所在时刻的位置沿水平向右的方向移动。

如图8B所示，电子设备100接收到作用在昼夜转换风格选项292A的用户操作，以及作用在快门控件203的用户操作。电子设备100可以开始进行全景图拍摄。示例性的，电子设备100可以显示如图8C所示的用户界面290。用户界面290可包括预览区域291、暂停拍摄控件206。其中，预览区域可用于与显示摄像头实时采集到的图像。在图8C中，预览区域291可包含拍摄进度指示291B和操作提示291C。上述拍摄进度指示291B可以参考前述实施例的说明。上述操作指示291C可用于在全景图拍摄过程中提示用户进行拍摄的操作说明。操作提示291C可包括文字提示“请将箭头保持在中心线上”。

暂停拍摄控件206可用于结束全景图拍摄。响应于作用在暂停拍摄控件206的用户操作，电子设备100可以将从开始进行全景图拍摄到结束全景图拍摄这一过程中，摄像头采集的图像拼接为全景图。

在一些实施例中，上述拍摄进度指示291B中的箭头可以随着电子设备100的移动而移动。当上述箭头从初始位置移动到结束位置，电子设备100可以结束全景图拍摄。上述箭头的结束位置可例如是拍摄进度指示291B中最右侧的位置。当结束全景图拍摄，电子设备100可以将从开始进行全景图拍摄到结束全景图拍摄这一过程中，摄像头采集的图像拼接为全景图。

在一些实施例中，电子设备100可以对在上述全景图拍摄过程中采集的多帧图像进行防抖处理。进一步的，电子设备100可以将经过防抖处理的多帧图像拼接为全景图。

本申请实施例对电子设备100拼接摄像头采集的图像，得到全景图的方式不作限定，具体实现方式可以参考现有技术中拍摄全景图的方法。

当得到原始的全景图，电子设备100可以根据用户选择的风格对上述原始的全景图进行风迁移，得到具有风格渐变效果的全景图。电子设备100可以存储上述具有风格渐变效果的全景图。

如图8D所示，当结束全景图拍摄，电子设备100可以显示用户界面290。用户界面290上包含的内容可以参考前述实施例对图8B所示用户界面290的介绍。用户可以通过图库快捷键202查看上述拍摄得到的具有风格渐变效果的全景图。

具体的，响应于作用在图库快捷键202的用户操作，电子设备100可以显示如图8E所示的用户界面310。用户界面310可包括时间控件311和第一全景图312。

第一全景图312为经过上述图8B和图8C所示全景图拍摄过程得到的全景图。第一全景图312从左至右的风格可以为从白天风格逐渐变化为黑夜风格。

上述时间控件311可用于指示电子设备100存储上述第一全景图312的时间。

用户界面310还可以包含更多的内容，本申请实施例对此不作限定。

由上述实施例可以看出，电子设备100可以利用融合风格迁移模型对全景图进行风格迁移，得到具有风格渐变效果的全景图。上述对全景图的处理方法提高了用户拍摄全景图的趣味性。

下面具体介绍本申请实施例提供的一种对全景图进行风格迁移的实现方法。

图9示例性示出了对全景图进行风格迁移的实现方法。对全景图进行风格迁移来得到具有风格渐变效果的全景图的主要步骤可包括：分割全景图、对分割得到的多个区域进行风格迁移并选取拼接区域、将拼接区域拼接得到具有风格渐变效果的全景图。

1、分割全景图

如图9所示，第一全景图的长度为L。第一全景图可以是利用前述图8B～图8C所示在全景图拍摄过程中摄像头采集的图像拼接得到的原始的全景图。电子设备100可以将第一全景图从左至右分割为m个区域。

在一种可能的实现方式中，电子设备100可以通过滑动窗口截取图像的方式对第一全景图进行分割。具体的，滑动窗口的长度可以为d。滑动窗口每一次滑动的距离为△c。电子设备100将上述滑动窗口从第一全景图的最左侧向右滑动m-1次，可以得到m个长度均为d的区域。其中，上述△c小于上述d。即相邻区域存在重叠的部分。并且，第一全景图的长度L与上述△c和上述d存储如下关系：d+(m-1)*△c＝L。

2、对分割得到的多个区域进行风格迁移并选取拼接区域

当得到上述m个区域，电子设备100可以根据用户选择的风格对这m个区域分别进行风格迁移。上述进行风格迁移的方法可以参考前述实施例中电子设备100利用融合风格迁移模型对视频中的多帧图像进行风格迁移的介绍。

示例性的，用户选择的风格为昼夜转换风格。电子设备100可以对白天风格迁移模型和黑夜风格迁移模型进行插值融合。得到的融合风格迁移模型的网络结构与白天风格迁移模型和黑夜风格迁移模型的网络结构是相同的。电子设备100对第j区域进行风格迁移的模型为融合风格迁移模型aj。该融合风格迁移模型aj在第一位置的参数可以为((m-j+1)/m)θ_day+((j-1)/m)θ_night。上述θ_day和θ_night分别为白天风格迁移模型和黑夜风格迁移模型在第一位置上的参数。上述第一位置为上述融合风格迁移模型aj网络结构中的任一位置。白天风格迁移模型的第一位置、黑夜风格迁移模型的第一位置、上述融合风格迁移模型aj的第一位置均为相同网络结构中的同一位置。上述j为大于或等于1，且小于或等于m的整数。

电子设备100可以利用融合风格迁移模型a1～融合风格迁移模型am分别对第1区域～第m区域进行风格迁移。融合风格迁移模型1～融合风格迁移模型m对应的风格分别为风格1～风格m。根据融合风格迁移模型aj的计算公式可知，上述融合风格迁移模型1可以为白天风格迁移模型。风格1可以为白天风格。上述融合风格迁移模型m可以为黑夜风格迁移模型。风格m可以为黑夜风格。

由图9可以看出，第1区域～第m区域的风格分别为风格1～风格m。第1区域～第m区域的风格逐渐从白天风格变化为黑夜风格。

进一步的，电子设备100可以从经过风格迁移的第1区域至第m区域的每个区域中截取一部分拼接区域。电子设备100可以将截取得到的各拼接区域进行拼接。这样，电子设备100可以得到具有风格渐变效果的全景图。

在一种可能的实现方式中，电子设备100可以从每一个区域中截取相同长度的拼接区域。拼接区域的长度可以为△c`。其中，△c`＝L/m。为了保证各拼接区域没有重叠的部分，电子设备100从第k区域截取第k拼接区域时，可以从离第k区域最左侧长度为(k-1)*(△c`-△c)的位置处开始，截取长度为△c`的拼接区域。上述k为大于或等于1，且小于或等于m的整数。

示例性的，电子设备100从经过风格迁移的第1区域最左侧开始，截取长度为△c`的拼接区域，得到第1拼接区域。电子设备100从离经过风格迁移的第2区域最左侧长度为△c`-△c的位置处开始，截取长度为△c`的拼接区域，得到第2拼接区域。……电子设备100从离经过风格迁移的第m区域最左侧长度为(m-1)*(△c`-△c)的位置处开始，截取长度为△c`的拼接区域，得到第m拼接区域。

3、将拼接区域拼接得到具有风格渐变效果的全景图

电子设备100可以将上述第1拼接区域～第m拼接区域按照从左至右的顺序进行拼接。其中，每一拼接区域在拼接时不存在重叠的部分。如图9所示，电子设备100可以得到长度为L的全景图。该全景图具有风格渐变效果。例如，该全景图从左至右的风格为从白天风格逐渐变化为黑夜风格。

在一些实施例中，电子设备100还可以从图库应用程序中获取全景图或者其他类型的图像，并利用前述图9所示实施例中的方法对得到的全景图或者其它类型的图像进行风格迁移。

在上述对全景图进行风格迁移的方法中，用于风格迁移的相邻区域之间存在重叠的部分。电子设备100利用融合风格迁移模型对分别对这些区域进行风格迁移之后，从相邻区域截取的拼接区域的风格可以更加平滑地过渡。即上述对第一全景图进行分割，以及从经过风格迁移得到的各区域截取拼接区域的方法可以提高全景图风格化效果的平滑度。电子设备100生成的全景图从左至右的风格可以更加平滑地从白天风格变化为黑夜风格。

本申请实施例对上述滑动窗口的长度d、滑动窗口每一次滑动的距离△c、分割第一全景图得到的区域数量m、各拼接区域的长度△c`的具体取值均不作限定。

在一些实施例中，滑动窗口每一次滑动的距离可以是不相同的。即电子设备100分割第一全景图得到的各个区域的长度可以不相等。电子设备100从各个区域截取拼接区域的长度也可以是不相同的。即用于拼接全景图的各个拼接区域的长度可以不相等。

图10示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。

充电管理模块140用于从充电器接收充电输入。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

在一些实施例中，ISP还可以对视频中的多帧图像进行防抖处理。其中，ISP可以根据运动传感器采集的数据对图像进行补偿，减少在拍摄过程中由于电子设备100抖动而导致的画面不平稳、失焦等问题。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在本申请的一些实施例中，NPU中可存储有多个风格迁移模型。NPU可以利用风格迁移模型对经过ISP处理得到的图像进行风格迁移。示例性的，当接收到视频中的多帧图像，NPU可以前述图3和图4所示的方法对多个风格迁移模型进行融合，并利用融合得到的融合风格迁移模型对这多帧图像分别进行风格迁移。

外部存储器接口120可以用于连接外部存储卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。

耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。

环境光传感器180L用于感知环境光亮度。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口195用于连接SIM卡。

在本申请实施例中，电子设备可以获取第一图像序列。上述第一图像序列可以为视频或者为从全景图分割得到的多帧图像。在第一图像序列为视频时，上述第一图像序列可以为前述图1A～图1F实施例所示电子设备开启摄像头拍摄得到的。或者，上述第一图像序列可以为前述图7A～图7C实施例所示电子设备从图库应用程序中获取的。在第一图像序列为从全景图分割得到的多帧图像时，该全景图可以为前述图8A～图8D所示电子设备开启摄像头拍摄得到的。

在本申请实施例中，电子设备可以基于目标迁移风格对第一图像序列进行处理，得到第二图像序列。上述目标迁移风格可以例如是前述实施例中的昼夜转换风格、四季更迭风格、晴雨交替风格。如前述图1C所示的实施例，电子设备100可以根据作用在风格选项231中任一风格选项上的用户操作来确定上述目标迁移风格。

在本申请实施例中，上述目标迁移风格可用于指示第二图像序列中第一帧图像的风格至第n帧图像的风格在M个风格中按第一风格顺序变化。其中，上述目标迁移风格可用于确定上述M的大小。也即用于融合的风格迁移模型的数量。在一些实施例中，按上述第一风格顺序变化得到的第二图像序列中图像的高层语义信息可以呈现在自然时间上先后顺序的变化。例如，目标迁移风格为昼夜转换风格。则上述M个风格可以为白天风格和黑夜风格。上述第一风格顺序可以为从白天风格变化至黑夜风格的顺序。目标迁移风格为四季更迭风格。则上述M个风格可以为春季风格、夏季风格、秋季风格和冬季风格。上述第一风格顺序可以为从春季风格变化至夏季风格、再从夏季风格变化至秋季风格、再从秋季风格变化至黑夜风格。本申请实施例对上述第一风格顺序中M个风格排列的顺序不作限定。

在本申请实施例中，电子设备可以基于上述目标迁移风格，使用k个融合风格迁移模型对上述第一图像序列进行处理。这k个融合风格迁移模型可以是M个单风格迁移模型加权生成的。其中，电子设备生成k个融合风格迁移模型并利用这k个融合风格迁移模型对第一图像序列进行处理的实现方法可以参考前述图4所示的实施例。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

电子设备获取第一图像序列；

所述电子设备接收用户输入的目标迁移风格，所述目标迁移风格用于确定M个风格和第一风格顺序，所述第一风格顺序用于指示所述M个风格的先后顺序，所述M为大于1的整数；

所述电子设备基于所述M个风格和所述第一风格顺序对所述第一图像序列进行处理，得到第二图像序列；所述第一图像序列和所述第二图像序列均包含n帧图像，所述第一图像序列中第i帧图像与所述第二图像序列中第i帧图像的高层语义信息相同，所述第一图像序列中第i帧图像与所述第二图像序列中第i帧图像的风格不同；所述第二图像序列中第一帧图像的风格至第n帧图像的风格按照所述第一风格顺序变化，所述n为大于1的整数，所述i为小于或等于所述n的正整数；

所述电子设备保存所述第二图像序列。

2.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述M个风格和所述第一风格顺序对所述第一图像序列进行处理，具体包括：

所述电子设备基于所述M个风格和所述第一风格顺序，使用k个融合风格迁移模型对所述第一图像序列进行处理；所述k小于或等于n；所述k个融合风格迁移模型的输出图像为所述第二图像序列，其中，一个融合风格迁移模型的输出图像为所述第二图像序列中的一帧图像或连续多帧图像。

3.根据权利要求2所述的方法，其特征在于，所述一个融合风格迁移模型是M个单风格迁移模型加权生成的，所述一个融合风格迁移模型的输出图像的风格越接近第j个单风格迁移模型的输出图像的风格，生成所述一个融合风格迁移模型时所述第j个单风格迁移模型的权重越大；所述M个单风格迁移模型各自输出图像的风格组成所述M个风格，所述j为小于或等于M的正整数。

4.根据权利要求3所述的方法，其特征在于，所述k个融合风格迁移模型和所述M个单风格迁移模型是神经网络模型，具有相同的神经网络结构。

5.根据权利要求4所述的方法，其特征在于，所述单风格迁移模型是经过训练的，所述方法还包括：

所述电子设备获取训练数据集，所述训练数据集包含一帧或多帧风格图像以及第一视频中的多帧内容图像；所述一帧或多帧风格图像的风格为经过训练的所述单风格迁移模型的输出图像的风格；

所述电子设备利用待训练的单风格迁移模型处理所述第一视频中的多帧内容图像，得到多帧合成图像；

所述电子设备利用损失函数训练所述待训练的单风格迁移模型，得到经过训练的所述单风格迁移模型；其中，所述损失函数包括高层语义信息损失函数、风格损失函数、时域约束损失函数，所述高层语义信息损失函数由所述多帧内容图像的高层语义信息和所述多帧合成图像的高层语义信息确定，所述风格损失函数由所述多帧内容图像的风格和所述多帧合成图像的风格确定，所述时域约束损失函数由所述多帧合成图像中一帧合成图像的风格和与所述一帧合成图像相邻的多帧合成图像的风格确定。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述电子设备获取第一图像序列，具体包括：

所述电子设备开启摄像头采集得到第一视频，并根据所述第一视频得到所述第一图像序列中的n帧图像；所述第一视频包含z帧图像，所述n帧图像是从所述z帧图像中抽取得到的。

7.根据权利要求6所述的方法，其特征在于，所述电子设备根据所述第一视频得到所述第一图像序列中的n帧图像之前，所述方法还包括：

所述电子设备对所述第一视频进行防抖处理。

8.根据权利要求1-5中任一项所述的方法，其特征在于，所述电子设备获取第一图像序列，具体包括：

所述电子设备根据用户选择的第一视频从本地存储的视频中获取所述第一视频，并根据所述第一视频得到所述第一图像序列中的n帧图像；所述第一视频包含z帧图像，所述n帧图像是从所述z帧图像中抽取得到的。

9.根据权利要求6-8中任一项所述的方法，其特征在于，所述抽取的抽帧率由用户选择的所述第一图像序列的播放时长决定，所述抽帧率为所述第一图像序列的播放时长和所述第一视频的采集时长的比值。

10.根据权利要求6-9中任一项所述的方法，其特征在于，所述电子设备保存所述第二图像序列，具体包括：

所述电子设备将所述第二图像序列中的n帧图像按先后顺序串联保存为视频。

11.根据权利要求1-5中任一项所述的方法，其特征在于，所述电子设备获取第一图像序列，具体包括：

所述电子设备获取第一图像，并对所述第一图像进行分割，得到所述第一图像序列中的n帧图像。

12.根据权利要求11所述的方法，其特征在于，所述电子设备保存所述第二图像序列，具体包括：

所述电子设备从所述第二图像序列中的每一帧图像中截取一个拼接区域，得到n个拼接区域；所述n个拼接区域不存在重叠的部分；

所述电子设备拼接所述n个拼接区域得到第二图像，并存储所述第二图像；所述第二图像的分辨率与所述第一图像的分辨率相同。

13.根据权利要求11或12所述的方法，其特征在于，所述第一图像序列中的每一帧图像的分辨率相同，所述第一图像序列中相邻两帧图像存在重叠的部分。

14.一种电子设备，包括显示屏、存储器、一个或多个处理器，其特征在于，所述存储器用于存储多个单风格迁移模型，还用于存储计算机程序；所述处理器用于调用所述计算机程序，使得所述电子设备执行权利要求1-13中任一项所述的方法。

15.一种计算机存储介质，其特征在于，包括：计算机指令；当所述计算机指令在电子设备上运行时，使得所述电子设备执行权利要求1-13中任一项所述的方法。

Images