CN117097933A - 用于生成视频的方法、装置、设备及计算机可读介质 - Google Patents

Abstract

本申请提供了一种用于生成视频的方法、装置、设备及计算机可读介质，该申请获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；利用音频的音频轨道对齐第一图像序列和第二图像序列；融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及基于融合图像序列和音频，生成融合视频。由此，能够利用与图像序列相关联的音频的音频轨道作为基准，来实现不同的图像序列的融合，这样的方式可以更精准地对齐图像序列，提升融合质量。

Description

用于生成视频的方法、装置、设备及计算机可读介质

技术领域

本申请涉及计算机视觉领域，尤其涉及一种用于生成视频的方法、装置、电子设备及计算机可读介质。

背景技术

随着互联网技术的发展，人们通过互联网，在线分享视频或者基于视频的方式与其他用户进行互动。例如，人们可以通过直播应用(Application，APP)、在线视频APP等各视频类应用来获取上述服务。

为了丰富视频的内容、提升视频的质量，一些平台允许用户通过视频融合的方式，在原有视频的基础上增加其他内容，以形成内容更为丰富的融合视频进行分析、互动。由此，如何为用户提供更好的视频融合服务，丰富用户的互动体验，是值得关注和迫切需求的。

发明内容

本申请的多个方面提供一种用于生成视频的方法、设备及计算机可读存储介质，能够利用与图像序列相关联的音频的音频轨道作为基准，来实现不同的图像序列的融合，这样的方式可以更精准地对齐图像序列，提升融合质量。

本申请的一方面，提供一种用于生成视频的方法，包括：获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；利用音频的音频轨道对齐第一图像序列和第二图像序列；融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及基于融合图像序列和音频，生成融合视频。

本申请的另一方面，提供用于生成视频的装置，包括：获取模块，被配置为获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；对齐模块，被配置为利用音频的音频轨道对齐第一图像序列和第二图像序列；融合模块，被配置为融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及生成模块，被配置为基于融合图像序列和音频，生成融合视频。

本申请的另一方面，提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的用于生成视频的方法。

本申请的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现上述的用于生成视频的方法。

本申请实施例提供的方案中，获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；利用音频的音频轨道对齐第一图像序列和第二图像序列；融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及基于融合图像序列和音频，生成融合视频。由此，能够利用与图像序列相关联的音频的音频轨道作为基准，来实现不同的图像序列的融合，这样的方式可以更精准地对齐图像序列，提升融合质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本申请一实施例提供的用于生成视频的流程的示意图；

图2为本申请另一实施例提供的用于生成视频的流程的示意图；

图3为本申请一实施例提供的一种用于生成视频的装置的结构的示意图；

图4为适用于实现本申请实施例中的方案的一种设备的结构的示意图附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请一个典型的配置中，终端、服务网络的设备均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机程序指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

如上文说明的，如何为用户提供更好的视频融合服务，丰富用户的互动体验，是值得关注和迫切需求的。

在一些方案中，可以利用视频中的原有图像序列的时间轴作为播放基准轴，通过将附加内容(例如，其他视频中的图像序列中的图像内容)插入原有图像序列中的图像，以生成融合图像。

但在这样的方式中，如果原视频存在音频的情况下，因为图像渲染能力的差异，渲染得到的融合图像可能存在音画不同步问题，使得融合视频的质量下降。

本申请实施例提供的方案中，获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；利用音频的音频轨道对齐第一图像序列和第二图像序列；融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及基于融合图像序列和音频，生成融合视频。由此，能够利用与图像序列相关联的音频的音频轨道作为基准，来实现不同的图像序列的融合，这样的方式可以更精准地对齐图像序列，提升融合质量。

在实际场景中，该方法的执行主体可以是用户设备、或者用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序，用户设备包括但不限于计算机、手机、平板电脑、智能手表、手环等各类终端设备，网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现，可以用于实现设置闹钟时的部分处理功能。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。

下面将详细说明本申请所提供的用于生成视频的方法的过程。图1示出了本申请一实施例提供的用于生成视频的方法的流程100。为方便理解，还可以同时参考图2，图2示出了本申请另一实施例提供的用于生成视频的方法的流程200。

流程100至少包括以下的处理步骤：

步骤S101，获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频。

在本申请的实施例中，可以分别获取将生成用于融合的两个视频，为方便描述，可以将其称为第一视频和第二视频。在一些实施例中，第一视频可以是预先配置的，作为基准内容的图像，例如，第一视频可以是由平台方提供的视频，以使得用户(例如，基于平台提供的视频融合来制作视频、参与互动的用户)可以选择心仪的视频后，在其中添加其他内容，以生成完整的融合图像。例如，第一视频可以是某些场景视频，以使得用户可以基于场景视频来利用本地的摄像头制作的视频内容(例如，包括自身面部、手部等等的视频)，然后利用融合视频的方式，使得可以实现例如在场景视频中进行活动、互动的效果。

在一些实施例中，第二图像序列由用户提供，第二图像序列中的第二图像至少包括用户的人脸对象。具体地，第一图像序列和第二图像序列中至少第二图像序列可以由用户来提供(例如，通过用户所使用的终端设备的摄像头采集到的第二视频、第二图像序列)，以使得用户可以基于第二图像序列，以得到上述在例如用户自身在场景视频中进行活动、互动的效果的融合视频。进一步地，为了提升呈现效果，第二图像序列中的内容，即，第二图像序列中的第二图像，至少可以包括用户的人脸对象。由此，使得用户可以通过人脸的加入、变化等，得到更具互动性的融合视频，提升用户体验。

进一步地，可以分别提取第一视频和第二视频中的内容，例如，第一视频中的图像内容，即，第一图像序列，以及第二图像中的图像内容，即，第二图像序列。在一些实施例中，第一视频可以与音频相关联，例如，音频可以是第一视频中用于丰富第一视频的内容、观感的背景音乐，或者，第一视频中所采集、提供的音频内容等等。在一些实施例中，如果第一视频不存在背景音乐，其还可以至少被配置与一个音频相关联，例如，可以通过预先维护有音频的音频库，并利用音频库建立音频与第一视频之间的对应关系，以便于用户在选择第一视频后，确定对应的音频。在本申请的实施例中，该音频通常可以被作为后续得到的融合视频中的背景音乐来使用。

在一些实施例中，在获取第一图像序列和第二图像序列后，还可以对第一图像序列和第二图像序列进行一些处理，以提升第一图像序列和第二图像序列的使用质量。例如，可以根据用户的指示(或者说，响应于用户的添加指示)，在其所指示的第一图像序列和/或第二图像序列中的图像中添加一些内容，例如，特效，以丰富图像内容。

在一些实施例中，还可以读取第一图像序列中第一图像的第一尺寸和第二图像序列中第二图像的第二尺寸；响应于第一尺寸和第二尺寸不同，将第二图像调整至第一尺寸。

具体地，在获取第一图像序列和第二图像序列后，还可以比较第一图像序列中第一图像的第一尺寸和第二图像序列中第二图像的第二尺寸，如果第一尺寸和第二尺寸不同，则可以以其中一项作为基准，来调整另一项的尺寸，以对齐两者的尺寸。在一些实施例中，可以以第一尺寸为基准，来调整第二图像，由此，使得可以通过预设第一图像尺寸的方式来约束融合视频中图像的尺寸，以标准化融合图像。

在一些实施例中，也可以预先类似地配置标准化的目标尺寸，使得可以利用第一尺寸、第二尺寸与目标尺寸的比较，来调整第一图像和第二图像，以达到标准化融合图像的目的。在一些实施例中，在经过后续的融合步骤、得到融合视频后，融合视频中的呈现形式可以是例如分屏形式的，例如，融合视频中包括两个独立的呈现区域，利用两个呈现区域分别呈现第一图像序列和第二图像序列的形式。在此情况下，同样可以针对两个呈现区域配置不同的目标尺寸，以完整对第一图像和第二图像的调整。

在一些实施例中，上述的目标尺寸也可以被配置为允许用户根据需求来设置，以使得用户可以更灵活地调整融合视频的呈现效果。

在一些实施例中，还可以响应于接收指示将音频更新为目标音频的指示信息，将音频更新为目标音频。具体地，类似地，用户还可以对音频进行更新(例如，更新为由用户上传的音频，或例如音频库中的其他音频)。相应地，在接收到用户指示将音频更新为目标音频的指示信息后，可以基于指示信息中的指示内容(即，用户所选择的目标音频)来对音频进行更新，以满足用户个性化的需求、为用户提供个性化的服务。在一些实施例用，如果第二视频中也关联有音频，则用户还可以通过类似的方式，来指示例如使用第二视频中关联的音频。

示例性地可以同时参考图2，在图2中可以获取第一视频210以及第二视频220。然后，从第一视频210中提取出第一图像序列210，以及音频212的音频轨道230。类似地，从第二视频220中提取出第二图像序列220。第一图像序列210中可以包括人脸对象213的一组第一图像，第二图像序列220中可以包括人脸对象222一组第二图像。

另外，在一些实施例中，第一视频也可以由用户通过向平台发送请求的方式来获取，由此，使得用户可以在其使用的终端设备的本地来完成后续的生成融合视频的步骤。在此方式下，可以避免利用平台所提供的系统应用程序变编程接口(ApplicationProgramming Interface，简称API)，这样使得用户侧可以利用自定义API来完成融合视频，使得逻辑控制可以自定义，更加容易控制。

步骤S102，利用音频的音频轨道对齐第一图像序列和第二图像序列。

在本申请的实施例中，获取音频后，可以读取音频的音频轨道。音频轨道用于标识音频的播放状态(例如播放时间、各时间点位对应的播放内容等等)。然后，可以基于音频轨道来对齐第一图像序列和第二图像序列。例如，基于第一图像序列和第二图像序列的播放时间序列，确定融合图像应当插入至音频轨道的位置，例如，音频轨道的第一位置应当插入第一融合图像，第二位置应当插入第二融合图像。通常，第一位置和第二位置之间的距离可以基于融合视频中，图像序列之间的帧间隔来确定。示例性地，可以在确定音频轨道后，基于融合视频期望达到的帧间隔(或者说，融合帧序列的情况)来确定音频轨道中的一组插入位置。进一步地，基于插入位置来调整第一图像序列，以完成图像插入。进一步地，将第二图像序列中的第二图像与已完成图像插入的第一图像进行对应。由此，以完成对齐第一图像序列和第二图像序列。

在一些实施例中，也可以利用音频轨道来分别处理、校准第一图像序列和第二图像序列，以使得处理后的第一图像序列和处理后的第二序列均可以与音频轨道对齐。由此，以完成对齐第一图像序列和第二图像序列。

示例性地可以继续参考图2，可以利用音频轨道230来对齐第一图像序列211和第二图像序列221。

步骤S103，融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列。

在本申请的实施例中，在对齐第一图像序列和第二图像序列后，可以基于对齐后的第一图像序列和第二图像序列中第一图像和第二图像的对应关系来生成融合图像，例如，将第一图像和第二图像中的一项处理为图像纹理，来添加至未被处理为该图像纹理的另一项中(例如，将第二图像处理为图像纹理的情况下，则可以将得到的图像纹理添加至未被处理为图像纹理的第一图像中)。

在一些实施例中，生成融合图像序列，包括：基于对齐后的第一图像序列和对齐后的第二图像序列中的一项生成图像纹理序列；将图像纹理序列添加至未被用于生成图像纹理序列的另一项，生成融合图像序列。具体地，类似地，可以从对齐后的第一图像序列和对齐后的第二图像序列中选择一项(示例性地，可以选择第二图像序列)，并将被选择的这一项中的各图像全部处理为图像纹理，以得到图像纹理序列。例如，选择第二图像序列的情况下，可以将第二图像序列中的各第二图像均处理为图像纹理，以得到与第二图像序列对应的图像纹理序列。然后，通过将第二图像序列对应的图像纹理序列对应地添加至第一图像序列(即，如上述说明的对应的图像和对应的图像纹理的添加)的方式，以生成融合图像序列。在一些实施例中，用于生成图像纹理序列的图像序列可以由用户来选择，以确定以第一视频或第二视频作为融合视频的基底。在一些实施例中，如果用户选择的是基于分屏形式呈现内容的融合视频，则在此情况下，可以任意地选择第一图像序列和第二图像序列之一。在一些实施例中，为了提升选择、配置效率，通常可以基于第一图像序列和第二图像序列的纹理处理难度来选择被处理为图像纹理的图像序列，例如，第二图像所包括的内容较少、纹理处理难度较低的情况下，可以选择将第二图像序列处理为图像纹理序列。

在一些实施例中，在将图像纹理序列添加至未被用于生成图像纹理序列的另一项的过程中，可以利用预设的图像模板，将图像纹理序列添加至未被用于生成图像纹理序列的另一项，图像模板用于指示图像纹理在被添加图像中的添加位置。具体地，预先可以配置有多个预设的图像模板，图像模板用于指示图像纹理在被添加图像中的添加位置。

在一些实施例中，添加位置包括以下至少一项：位于被添加图像内部的第一区域、位于被添加图像内部的第二区域和位于被添加图像外部的第三区域，其中，第一区域不包括被添加图像中的实体对象，第二区域包括被添加图像中的至少一个实体对象。具体地，以第二图像被处理为图像纹理，第一图像作为被添加图像为例，模板可以指示图像纹理在第一图像的添加位置例如，第一图像中的空白位置、区域，即，未包括实体对象的第一区域；例如，第一图像中的包括实体的第二区域(例如，这样的实体可以预先配置的，可以允许用户添加对象以实现例如对象叠加、对象互动的实体的区域)；例如，也可以是位于被添加图像外部的第三区域(例如，在分屏形式情况下，用于指示分屏位置的第三区域)。由此，使得可以基于图像模板，来预先配置图像添加位置，以满足不同情况下的需求。进一步地，将图像纹理序列添加至未被用于生成图像纹理序列的另一项，由此，可以利用图像模板来预先配置图像添加位置，使得后续可以基于添加位置的指定，快速地完成内容添加，以更好、更快地完成各种类型的图像融合。

示例性地，可以继续参考图2，可以基于对齐后的第一图像序列211和对齐后的第二图像序列221来生成融合图像序列240。

步骤S104，基于融合图像序列和音频，生成融合视频。

在本申请的实施例中，在完成图像序列的融合后，得到融合图像序列，然后将融合图像序列与上述音频进行关联，以得到最终的融合视频。在融合视频中，图像内容可以基于融合图像序列提供，背景音乐可以基于音频来提供。

示例性地，可以继续参考图2，可以基于融合图像序列240和音频212来生成融合视频250，融合视频250中的图像内容中可以包括人脸对象213和人脸对象222音频212的提供背景音乐。

继而，本申请实施例提供的方案中，获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；利用音频的音频轨道对齐第一图像序列和第二图像序列；融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及基于融合图像序列和音频，生成融合视频。由此，能够利用与图像序列相关联的音频的音频轨道作为基准，来实现不同的图像序列的融合，这样的方式可以更精准地对齐图像序列，提升融合质量。

本申请实施例还提供了一种用于生成视频的装置，该装置的结构如图3所示出的装置300。装置300包括：获取模块310，被配置为获取第一图像序列、第二图像序列以及与第一图像序列相关联的音频；对齐模块320，被配置为利用音频的音频轨道对齐第一图像序列和第二图像序列；融合模块330，被配置为融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及生成模块340，被配置为基于融合图像序列和音频，生成融合视频。

在一些实施例中，生成融合图像序列，包括：基于对齐后的第一图像序列和对齐后的第二图像序列中的一项生成图像纹理序列；将图像纹理序列添加至未被用于生成图像纹理序列的另一项，生成融合图像序列。

在一些实施例中，将图像纹理序列添加至未被用于生成图像纹理序列的另一项，包括：利用预设的图像模板，将图像纹理序列添加至未被用于生成图像纹理序列的另一项，图像模板用于指示图像纹理在被添加图像中的添加位置。

在一些实施例中，添加位置包括以下至少一项：位于被添加图像内部的第一区域、位于被添加图像内部的第二区域和位于被添加图像外部的第三区域，其中，第一区域不包括被添加图像中的实体对象，第二区域包括被添加图像中的至少一个实体对象。

在一些实施例中，装置300还包括：调整模块，被配置为读取第一图像序列中第一图像的第一尺寸和第二图像序列中第二图像的第二尺寸；响应于第一尺寸和第二尺寸不同，将第二图像调整至第一尺寸。

在一些实施例中，装置300还包括：更新模块，被配置为响应于接收指示将音频更新为目标音频的指示信息，将音频更新为目标音频。

在一些实施例中，第二图像序列由用户提供，第二图像序列中的第二图像至少包括用户的人脸对象。

另外，基于同一发明构思，本申请实施例中还提供了一种电子设备，该电子设备对应的方法可以是前述实施例中的用于生成视频的方法，并且其解决问题的原理与该方法相似。本申请实施例提供的电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述本申请的多个实施例的方法和/或技术方案。

电子设备可以是用户设备、或者用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序，用户设备包括但不限于计算机、手机、平板电脑、智能手表、手环等各类终端设备，网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现，可以用于实现设置闹钟时的部分处理功能。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。

图4示出了适用于实现本申请实施例中的方法和/或技术方案的一种设备400的结构，该设备400包括中央处理单元(CPU，Central Processing Unit)401，其可以根据存储在只读存储器(ROM，Read Only Memory)402中的程序或者从存储部分408加载到随机访问存储器(RAM，Random Access Memory)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O，Input/Output)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标、触摸屏、麦克风、红外传感器等的输入部分406；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，LiquidCrystal Display)、LED显示器、OLED显示器等以及扬声器等的输出部分407；包括硬盘、光盘、磁盘、半导体存储器等一个或多个计算机可读介质的存储部分408；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。

特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。

本申请另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现前述本申请的任意一个或多个实施例的方法和/或技术方案。

具体来说，本实施例可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例说明的方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种用于生成视频的方法，包括：

获取第一图像序列、第二图像序列以及与所述第一图像序列相关联的音频；

利用所述音频的音频轨道对齐所述第一图像序列和所述第二图像序列；

融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及

基于所述融合图像序列和所述音频，生成融合视频。

2.根据权利要求1所述的方法，其中生成所述融合图像序列，包括：

基于所述对齐后的第一图像序列和所述对齐后的第二图像序列中的一项生成图像纹理序列；

将所述图像纹理序列添加至未被用于生成所述图像纹理序列的另一项，生成所述融合图像序列。

3.根据权利要求1所述的方法，其中将所述图像纹理序列添加至未被用于生成所述图像纹理序列的另一项，包括：

利用预设的图像模板，将所述图像纹理序列添加至未被用于生成所述图像纹理序列的另一项，所述图像模板用于指示图像纹理在被添加图像中的添加位置。

4.根据权利要求3所述的方法，其中所述添加位置包括以下至少一项：位于所述被添加图像内部的第一区域、位于所述被添加图像内部的第二区域和位于所述被添加图像外部的第三区域，其中，所述第一区域不包括所述被添加图像中的实体对象，所述第二区域包括所述被添加图像中的至少一个实体对象。

5.根据权利要求1所述的方法，还包括：

读取所述第一图像序列中第一图像的第一尺寸和所述第二图像序列中第二图像的第二尺寸；

响应于所述第一尺寸和所述第二尺寸不同，将所述第二图像调整至所述第一尺寸。

6.根据权利要求1所述的方法，还包括：

响应于接收指示将所述音频更新为目标音频的指示信息，将所述音频更新为所述目标音频。

7.根据权利要求1所述的方法，其中所述第二图像序列由用户提供，所述第二图像序列中的第二图像至少包括所述用户的人脸对象。

8.一种用于生成视频的装置，包括：

获取模块，被配置为获取第一图像序列、第二图像序列以及与所述第一图像序列相关联的音频；

对齐模块，被配置为利用所述音频的音频轨道对齐所述第一图像序列和所述第二图像序列；

融合模块，被配置为融合对齐后的第一图像序列和对齐后的第二图像序列，生成融合图像序列；以及

生成模块，被配置为基于所述融合图像序列和所述音频，生成融合视频。

9.一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至7中任一项所述的方法。