CN111432142B - 视频合成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频合成方法、装置、设备及存储介质。该方法包括：获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数；根据基础参数获取基础视频帧，基础视频帧是目标视频的底层图像帧；按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。根据本申请实施例提供的技术方案，该方法提高了视频合成效率。

Description

视频合成方法、装置、设备及存储介质

技术领域

本申请一般涉及多媒体技术领域，尤其涉及一种视频合成方法、装置、设备及存储介质。

背景技术

随着图像处理技术的发展，用户对视频提出更多个性化需求，如对采集的原始视频进行个性化编辑处理，以满足用户在视频中加入其他元素，在渲染视频帧的同时将这些元素也渲染进去。

在合成视频帧时，相关技术需要选择一个视频作为基础视频，然后将期望增加的元素合成到基础视频的视频帧上，从而得到目标视频。但是，在将基础视频转换成目标视频时，会同时出现对基础视频进行补帧、空白帧填充或其它图像效果，此时并没有一个通用的方案来同时实现上述功能，导致目标视频合成无法继续进行，致使视频合成效率较低。

发明内容

鉴于现有技术视频合成效率低的问题，本申请提出了一种视频合成方法、装置、设备及存储介质，能够提高视频合成效率。

第一方面，本申请实施例提供了一种视频合成方法，该方法包括：

获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数；

根据基础参数获取基础视频帧，基础视频帧是目标视频的底层图像帧；

按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。

第二方面，本申请实施例提供了一种视频合成服务器，该装置包括：

第一获取模块，用于获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数；

第二获取模块，用于根据基础参数获取基础视频帧，基础视频帧是目标视频的底层图像帧；

合成模块，用于按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。

第三方面，本申请实施例提供了一种计算机设备，包括：

一个或者多个处理器；

存储器，用于存储一个或者多个程序；

当一个或者多个程序被一个或者多个处理器执行时，使得一个或者多个处理器执行实现上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序用于实现上述第一方面的方法。

本申请实施例提供的视频合成方法，通过对待合成在基础视频帧的元素进行自定义，使得能够得到用户期望的各种不同的视频帧，以便使用不同的视频帧对目标视频实现补帧、空白帧填充和其它图像效果；相较于现有技术，本申请实例解决了现有技术不能同时实现补帧、空白帧填充和其它图像效果的功能，导致视频合成效率低的问题，达到了提高视频合成效率的效果。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，附图仅用于示出优选实施方法的目的，而并不认为是对本申请的限制。另外还需要说明的是，为了便于描述，附图中仅示出了本申请相关的部分而非全部。

图1是根据本申请实施例示出的一种视频合成方法的实施环境架构图；

图2是根据本申请实施例示出的一种视频合成方法的流程图；

图3是根据本申请实施例示出的一种视频帧示意图；

图4是根据本申请实施例示出的另一种视频合成方法的流程图；

图5是根据本申请实施例示出的再一种视频合成方法的流程图；

图6是根据本申请实施例示出的一种视频帧合成方法的示意图；

图7是根据本申请实施例示出的又一种视频合成方法的流程图；

图8是根据本申请实施例示出的又一种视频合成方法的流程图；

图9是根据本申请实施例示出的一种视频合成服务器框图；

图10是根据本申请实施例示出的一种计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请相关内容，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与申请相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1是根据本申请实施例示出的一种视频合成的实施环境架构图。如图1所示，该实施环境架构包括：终端101、接入调度服务器102、网络存储空间103和视频合成服务器104。

其中，终端101用于将待合成的目标视频的描述信息、输入源数据、输入源数据的获取方法以及目标视频合成后的存储位置名称等信息发送给接入调度服务器102，再由接入调度服务器102发送给视频合成服务器104。

可选地，终端101通过向接入调度服务器102发送超文本传输协议(英文全程：Hyper Text Transport Protocol，英文简称：http)请求，以实现向其发送目标视频的描述信息、输入源数据、输入源数据的获取方法以及目标视频合成后的存储位置名称等信息。

可选地，目标视频的描述信息、输入源数据、输入源数据的获取方法以及目标视频合成后的存储位置名称也可以上传到网络存储空间103，由视频合成服务器104在需要时从网络存储空间104获取。

描述信息可以为目标视频的基础参数，比如，分辨率、帧率、视频时间长度等，描述信息还可以包括组成视频帧的各待合成元素对应的自定义参数，比如，待合成元素的分辨率、透明度、存在于基础视频的空间位置、存在于基础视频的时间位置等。

其中，输入源数据的获取方法可以为通过统一资源定位符(英文全程：UniformResource Locator，英文简称：URL)获取，也可以在视频合成服务器104的本地获取，还可以包括其它获取方法，具体获取方法可以根据输入源数据的存储位置确定，比如，用户通过终端101将输入源数据存储到网络存储空间103，则通过URL获取，如果用户通终端101将输入源数据发送给视频合成服务器104，则视频合成服务器104从自身本地获取。

终端101还用于接收接入调度服务器103发送的目标视频合成通知，通知用于告知终端101已经合成的目标视频以及目标视频的存储位置名称。终端101在接收到该通过后，根据通知里携带的存储位置名称获取已经合成的目标视频。

终端101可安装有与视频合成服务器104对应的客户端，用户通过客户端界面执行发送请求，接收响应等操作。

终端101的类型包括但不限于智能手机、平板电脑、电视机、笔记本电脑、台式电脑等，本申请实施例对此不进行具体限定。

视频合成服务器104用于接收接入调度服务器102发送的描述信息和输入源数据的获取方法，根据输入源数据的获取方法获取输入源，并将获取的输入源处理为待合成元素，然后将待合成元素合成到基础视频帧，得到目标视频的一帧视频帧。并使用相同的方法生成目标视频的全部视频帧，然后合成全部视频帧得到目标视频。

视频合成服务器104还用于将合成的目标视频存储到用户指定的存储位置，并通过http请求回调终端101，以告知终端101已经合成目标视频并存储在指定位置。

终端101、接入调度服务器102、网络存储空间103以及视频合成服务器104之间通过有线或无线网络建立通信连接。

接入调度服务器102和视频合成服务器104可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。

上述过程中，目标视频的分辨率、帧率、视频时间长度、各待合成元素的分辨率、透明度、位于视频帧的位置等的设置，以及获取基础视频帧的方法，可以利用人工智能算法对已经合成的视频进行分析以识别出用户的行为数据。

其中，人工智能(英文全程：Artificial Intelligence，英文简称：AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，机器学习(英文全程：Machine Learning，英文简称：ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例中，视频合成服务器接收到终端发送的描述信息和输入源数据获取方法后，会根据描述信息和输入源数据获取方法对用户的行为进行智能分析，从而识别出用户的行为习惯，比如，用户喜欢生成某一固定时间长度的视频，视频的分辨率一般为多少，视频的帧率一般为多少，然后当用户需要再次合成视频时，可以根据用户的行为习惯，自动设置相应的数据。另外，当视频合成服务器获取的输入源数据为图片时，可以自动对图片中的特定事物进行标识，比如，对人脸进行标注。视频合成服务器还可以智能的实现其它功能，具体可参见下述内容。

图2是根据本申请实施例示出的一种视频合成方法的流程图。图2所示的方法可以由图1中的视频合成服务器104执行，如图2所示，并参见图7和图8，该方法包括以下步骤：

步骤201，获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数。

其中，目标视频由多帧视频帧合成，每一帧视频帧由一个基础视频帧和待合成元素组成，基础视频帧为一帧图像，是目标视频的底层图像帧，该图像帧用于承载组成视频帧的待合成元素。示例性的，参见图3，图3中示出了一帧视频帧，其中，A为基础视频帧，A1、A2、A3为待合成元素。

进一步地，每个基础视频帧设置有基础视频帧标识，每个待合成元素设置有元素标识，比如，参见图3中的“A”为基础视频帧的标识，A1、A2、A3为3个待合成元素的标识。

其中，基础参数包括目标视频的属性参数，比如，目标视频的分辨率、帧率、时间长度和视频背景等。比如，一个目标视频的基础参数包括：分辨率1920*1080，帧率为25帧/秒，时间长度为4秒，背景为灰色。进一步地，根据帧率和时间长度可以获知目标视频包括的总视频帧数。比如，帧率为25帧/秒，时间长度为4秒，则总视频帧数为100帧。

其中，自定义参数用于定义待合成元素的属性参数，比如，待合成元素的类型、分辨率、透明度、存在于目标视频的时间位置、存在于目标视频的空间位置、特效和标识名称等。

示例性的，一个目标视频包括3个待合成元素，三个待合成元素对应的自定义参数分别为：

第一待合成元素：一个水印图片，分辨率为480*360，透明度为80％，存在于目标视频的1-3秒，位于目标视频的左上角，标识为A1；

第二待合成元素：一个视频，逆时针旋转15度，分辨率为480*360，存在于目标视频的1-2秒，位于目标视频的中间，标识为A2；

第三待合成元素：一个广告文字，文字内容为“招商广告”，字体大小为60px，存在于目标视频的1-3秒，位于目标视频右下角，标识为A3。

通过自定义参数，还可以分析出目标视频包括的每一视频帧包括的待合成元素。仍以上述例子为例，对于目标视频的第1帧，第1帧必然存在于目标视频的第1秒，由于第一待合成元素、第二待合成元素和第三待合成元素均存在于目标视频的第1帧，则目标视频的第1帧包括的待合成元素为第一待合成元素，第二待合成元素中对应的一图像帧和第三视频帧；同理，目标视频的第51帧包括的待合成元素为第一待合成元素和第三待合成元素；目标视频的第100帧没有包括待合成元素，即第100帧为仅包括一个基础视频帧的空白帧。

由上述示例中的第100帧可知，当目标视频的某一时刻位置上没有视频内容时(该时刻对应的帧称为空白帧)，也即该时刻位置的视频帧只包括一个基础视频帧，不包括待合成元素，可以通过补充一个基础视频帧实现。因此，可以使用基础视频帧轻松的实现空白帧补充，不需要再通过复制前一帧图像或后一帧图像，然后对复制的图像处理后实现空白帧补充，使得空白帧的补充方便灵活。

进一步地，待合成元素是通过将输入源数据按照与其对应的待合成元素的自定义参数进行处理后得到。也即，输入源数据为生成待合成元素提供素材。

输入源数据可以为视频文件、图片文件、文本文件、算法输出文件或摄像装置实时获取的文件等。

可选地，输入源数据中的每一个文件，设置有一个文件标识，以便在需要时，可以根据标识进行获取。

其中，描述信息和输入源数据为用户根据自身期望预先设置并发送给视频合成服务器，以使视频合成服务器根据描述信息和输入源数据合成目标视频。

可选地，用户可以通过终端直接将描述信息和输入源数据发送给视频合成服务器，也可以将描述信息和输入源数据发送到其它存储位置，比如，云存储空间等，再由视频合成服务器从其它存储空间下载。

在获取到描述信息和输入源数据后，基于输入源数据和描述信息生成目标视频所包含的视频帧。进一步地，参见图2，通过步骤202和步骤203生成目标视频所包含的视频帧，并合成目标视频。

步骤202，根据基础参数获取基础视频帧。

由于每合成一帧视频帧都需要一帧基础视频帧，所以基础视频帧的数量与目标视频包括的总视频帧数相同，且可通过基础参数确定。以上述例子为例，当目标视频的总视频帧数为100帧时，基础视频帧也为100帧。

由于通过基础参数已经确定了基础视频帧的总帧数，这样根据总帧数获取获取基础视频帧时不容易出丢帧现象。可选地，参见图7，可以一次性获取目标视频包括的所有基础视频帧，然后再给每一帧基础视频帧一次性合成待合成元素，也可以参见图8，在每获取一帧基础视频帧后，在获取的基础视频帧上一次合成所有待合成元素。

当使用图7或图8所示的方法，即使出现的丢帧的现象也可以通过生成一个基础视频帧进行补充即可。不需要再通过复制前一图像帧或后一图像帧，然后对复制的图像帧处理进行补充，使得视频帧的补充方便灵活。

由于基础视频帧为一图像，因此确定一基础视频帧需要确定基础视频帧的图像内容要求和图像格式要求。

进一步地，可以将目标视频的背景图像内容确定为基础视频帧的图像内容；目标视频的图像格式要求确定为基础视频帧的图像格式要求，比如，将目标视频的分辨率确定为基础视频帧的图像格式要求。

示例性地，目标视频的分辨率为1920*1080，背景图像为灰色图像，则基础视频帧的图像内容是灰色图像，格式要求是分辨率为1920*1080。

在确定了基础视频帧的图像内容要求和图像格式要求后，可选地，参见图4，步骤202，根据基础参数获取基础视频帧，包括如下三个步骤中的一个：

步骤2021，根据基础参数从与待合成元素对应的输入源数据中选择基础视频帧；

步骤2022，选择与基础参数对应的默认的基础视频帧；

步骤2023，根据基础参数生成基础视频帧；

其中，步骤2021包括：当输入源数据中存在图像内容符合图像内容要求，且格式符合图像格式要求的图像时，将符合要求的图像确定为待获取的基础视频帧。

进一步地，作为基础视频帧的输入源数据，其图像分辨率与目标视频的图像分辨率相同，且位于待生成视频帧的最底层。

从输入源数据中选择基础视频帧可以省去生成基础视频帧所使用的时间，提高基础视频帧的生成效率，进而也提高了目标视频的合成效率。

需要说明的是，虽然从输入源数据中获取符合基础视频帧要求的图像也需要占用时间，但是相较于生成一个图像，其消耗的时间远远小于生成图像的时间。因此，从输入源数据中获取图像作为基础视频帧相较于生成基础视频帧会大大节省时间。

当输入源数据中不存在图像内容符合图像内容要求，且格式符合图像格式要求的图像时，可以使用步骤2022从默认的基础视频帧中选择当前需要的基础视频帧。

进一步地，步骤2022可以为：预先建立基础参数与基础视频帧的对应关系，在需要基础视频帧时，可以从预先建立的对应关系中选择基础视频帧。

当使用步骤2022无法选择到合适的基础视频帧时，可以使用步骤2023生成基础视频帧。

进一步地，步骤2023可以为：根据基础参数确定确定基础视频帧的图像内容要求和图像格式要求；根据确定的图像内容要求和图像格式要求生成基础视频帧。

这里需要说明的是，在获取基础视频帧时，并不一按照上述过程依次执行，比如，可以不执行步骤2021，直接执行步骤2022，还可以步骤2021和2022均不执行，直接执行步骤2023。

按照目标视频的图像内容要求和图像格式要求生成基础视频帧，使得在合成视频帧时，不需要对基础视频帧进行处理，从而提高了视频帧的生成效率，进而也提高了目标视频的合成效率。

步骤203，按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。

待合成元素是将输入源数据按照自定义参数进行处理后得到的。

可选地，参见图5，步骤203，按照自定义参数在基础视频帧上合成待合成元素，得到目标视频，包括：

步骤2030，按照自定义参数从多个待合成元素中确定与目标视频第n时刻对应的待合成元素；

步骤2031，将目标视频第n时刻对应的待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧，n为整数；

步骤2032，对目标视频第n时刻对应的视频帧进行编码；

步骤2033，将经过编码后的结果写入视频文件；

步骤2034，在视频文件中写入最后一张视频帧之后，输出视频文件作为目标视频。

其中，第n时刻为对应有一个基础视频帧的时刻。

其中，编码方法可以为h264、h265、AV1等。编码可以压缩目标视频数据的大小，以减少存储空间的占用。

可选地，步骤2031，将目标视频第n时刻对应的待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧，可以包括以下步骤：

步骤一、检测目标视频第n时刻对应的待合成元素中是否存在还未合成到目标视频第n时刻对应的基础视频帧上的其它待合成元素；

步骤二、若是，按照与其它待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到其它待合成元素；

步骤三、将其它待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧；

步骤四、执行n加1，按照上述步骤合成目标视频第n+1时刻对应的视频帧。

上述实现步骤2031的方法，在对输入源数据进行处理前，需要事先检测是否有与当前待生成的视频帧对应的待合成元素的自定义参数；如果有，才会对对应的输入源进行处理；如果没有，则直接执行合成下一视频帧的过程。由于在每生成一个视频帧之前，并不是直接对所有的输入源数据进行处理，而是先检测否有与当前待生成的视频帧对应的待合成元素对应的自定义参数，以便只对需要处理为待合成元素对应的输入源进行处理，对于视频合成服务器获取的多余的输入源不进行处理，省去对多余的输入源的处理，提高视频帧合成效率。

可选地，步骤2031，将目标视频第n时刻对应的待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧，还可以为：

步骤一、按照与第n时刻对应的待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到第n时刻对应的待合成元素；

步骤二、检测目标视频第n时刻对应的待合成元素中是否存在还未合成到目标视频第n时刻对应的基础视频帧上的其他待合成元素：

步骤三、若是，将其它待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧；

步骤四、执行n加1，按照上述步骤合成目标视频第n+1时刻对应的视频帧。

上述实现步骤2031的方法，首先对所有使用到的待合成元素的输入源数据进行处理，得到全部待合成元素；然后检测是否有与当前待生成的视频帧对应的待合成元素；如果有，则执行合成操作；如果没有，则执行生成下一帧视频帧的过程。由于预先对所有的输入源进行了处理，则在生成视频帧的过程中，不会再对任何一个输入源进行处理，而是直接获取处理后的待合成元素，因此，在生成视频帧的过程中即使一个输入源对应的待合成元素重复出现在多帧不同的视频帧时，也不会对同一个输入源进行重复处理，提高视频帧合成效率。

另外，上述两种视频帧合成方法，都是在基础视频帧上一次性合成所有的待合成元素，相较于现有技术需要在所有的基础视频帖上合成第一个待合成元素后，再在所有基础视频帧上合成第二个待合成元素，本申请实施提供的视频帧合成方法操作简单，节省时间，提高视频合成效率。

可选地，自定义参数包括与每个待合成元素一一对应的规格参数和特效参数，其中，规格参数可以为待合成元素的分辨率，透明度等，特效参数可以为待合成元素是否进行旋转、局部放大等。则按照与每个待合成元素一一对应的自定义参数，对与其对应的输入源数据进行处理，包括：

步骤一、按照与每个待合成元素对应的规格参数，对该待合成元素对应的源数据进行调整；

步骤二、按照与每个待合成元素对应的特效参数对经过调整后的结果进行特效处理，得到待合成元素。

由上述描述可知，在生成一视频帧时，将一张基础视频帧对应的全部待合成元素合成到该基础视频帧后，才合成下一张基础视频帧对应待合成元素。以便将待合成元素一次性合成到基础视频帧上，生成目标视频，相较于现有技术，在基础视频的视频帧上进行反复操作，才能将多个组成元素合成为目标视频帧，本申请实施例提供的视频合成方法，不仅不需要基础视频，而且可以将多个待合成元素一次性合成到基础视频帧，解决了现有技术由于反复操作，导致生成视频帧效率低的问题，达到了提高生成视频帧效率的效果。

预先建立输入源数据标识与待合成元素标识之间的对应关系，当需要从输入源数据中获取用于生成待合成元素的输入源数据时，可以从输入源数据中查询与待合成元素的标识具有相同标识的内容，将该相同标识的输入源数据确定为用于生成待合成元素的内容。

为了用户使用方便，提高用户体验度，用户在提供输入源数据时可以不考虑其格式，只需要提供输入源的内容即可，这样在将待合成元素对应的输入源数据与基础视频帧进行合成时，需要根据自定义参数对输入源数据进行处理，以使得输入源数据满足要求。

当然，用户在设置输入源数据时，将数据设置为与待合成元素内容和格式相同的数据，以便在需要待合成元素时，从输入源数据中获取的数据符合待合成元素的图像内容要求和图像格式要求，不需要对数据进行处理，从而提高视频帧合成效率。

需要说明的是，当输入源数据中存在符合要求的图像作为基础视频帧时，该符合要求的图像也是组成目标视频帧的待合成元素，则在将待合成元素合成到目标视频帧时，不需要再合成该作为基础视频帧的待合成元素。

在生成待合成元素后，可以通过如下步骤将待合成元素与基础视频帧进行合成：

步骤一、获取各待合成元素合成到基础视频帧的顺序和各待合成元素在基础视频帧的对应位置。

步骤二、按照各待合成元素合成到基础视频帧的顺序，将各待合成元素合成到基础视频帧对应位置上。

其中，各待合成元素合成到基础视频帧的顺序可以是预先设置的，在使用时直接获取。

其中，各待合成元素合成到基础视频帧的顺序，可以根据各待合成元素与基础视频帧之间的距离确定。将各待合成元素与基础视频帧的距离从近到远的顺序，设置为各待合成元素合成到基础视频帧的顺序。

其中，各元素与基础视频帧之间的距离以及各元素在基础视频帧的位置均是根据待合成的目标视频帧预先获取的。

其中，此处的各待合成元素在基础视频帧的对应位置为水平位置，比如，可以为基础视频帧的左上角、中间、右下角等。

因此，上述检测目标视频第n时刻对应的待合成元素中是否存在还未合成到目标视频第n时刻对应的基础视频帧上的其他待合成元素，可以包括：

按照待合成元素与基础视频帧的位置关系检测是否存在待合成元素。

其中，此处的位置关系指待合成元素与基础视频帧之间距离的远近。

进一步地，当基础视频帧的预设的位置上已经存在有对应的全部的待合成元素，则确定目标视频第n时刻对应的待合成元素中不存在还未合成到目标视频第n时刻对应的基础视频帧上的其他待合成元素也即，目标视频第n时刻对应的基础视频帧不存在需要合成的待合成元素；当基础视频帧的预设的位置上缺少对应的待合成元素，则确定目标视频第n时刻对应的待合成元素中存在还未合成到目标视频第n时刻对应的基础视频帧上的其他待合成元素，也即，第n时刻对应的基础视频帧还存在需要合成的待合成元素。

当各元素之前无重叠内容时，或各元素之间可以重叠时，可以不考虑各元素与基础视频帧之前的距离，直接按照各元素在基础视频帧的预设水平位置将各元素合成到基础视频帧上。

下面通过一个具体的示例说明目标视频的合成过程：

目标视频的基础参数包括：分辨率1920*1080，帧率为25帧/秒，时间长度为4秒，背景为灰色；其包括的3个待合成元素的自定义参数分别为：

第一待合成元素：一个水印图片，分辨率为480*360，透明度为80％，存在于目标视频的1-3秒，位于目标视频的左上角，标识为A1；

第二待合成元素：一个视频，逆时针旋转15度，分辨率为480*360，存在于目标视频的1-2秒，位于目标视频的中间，标识为A2；

第三待合成元素：一个广告文字，文字内容为“招商广告”，字体大小为60px，存在于目标视频的1-3秒，位于目标视频右下角，标识为A3。

首先，参见图6，图6示出了生成目标视频某一视频帧的过程，具体如下：

步骤一、根据目标视频的基础参数确定基础视频帧的属性：分辨率1920*1080，内容为灰色；

步骤二、根据待合成元素的自定义参数确定当前待生成视频帧包括的待合成元素；

假设当前待生成的视频帧为第1帧，则第1帧包括的待合成元素为第一待合成元素，第二待合成元素中对应的一图像帧和第三视频帧。

步骤三，获取当前待生成视频帧包括的待合成元素，并按照自定义参数将其合成到当前待生成视频帧对应的基础视频帧上。

以当前待生成的视频帧是第1帧为例，对于步骤三，过程如下：

首先获取基础视频帧的图像内容要求和图像格式要求，其中获取到的图像内容要求为灰色，图像格式要求为分辨率是1920*1080；

然后确定输入源数据中不存在可以作为基础视频帧的图像，于是使用预设算法生成图像内容为灰色，分辨率为1920*1080的基础视频帧；

接着确定各元素之间无重叠部分，因此在合成元素时，不需要考虑各元素与基础视频帧之间的距离；

进一步地，执行第一次检测，确定存在有待合成的第一待合成元素，分析可知第一待合成元素的分辨率要求为480*360，透明度为80％，位于目标视频帧的左上角，标识为A1；

进一步地，从图片文件中查询并获取标识为A1对应的图片，获取到的图片的分辨率为1080*720，则根据“4”的信息进行预处理，调整其分辨率为480*360，调整其透明度为80％，得到符合要求的第一待合成元素，并合成到基础视频帧的左上角；

然后执行第二次检测，确定存在有待合成的第二待合成元素，分析可知第二待合成元素的分辨为480*360，并逆时针旋转了15度，位于目标视频帧的中间，标识为A2；

进一步地，从视频文件中获取标识为A2对应的视频的一帧图像，获取到的分辨率为1080*720，根据“6”的信息进行预处理，调整其分辨率为480*360，然后将其逆时针旋转15度，得到符合要求的第二待合成元素，并合成到基础视频帧的中间；

然后执行第三次检测，确定存在有待合成的第三待合成元素，分析可知第三待合成元素是“招商广告”文字，字体大小为60px，位于目标视频帧的右下方；

进一步地，因为已经给定文字内容为“xx广告”，不需要从文件中获取，直接将“xx广告”通过文字库渲染成图像，设置文字大小为60px；通过第三方应用程序将该文字处理为图像，并设置其中文字字体大小为60px，得到符合要求的第三待合成元素，并合成目标视频帧的右下角；

然后执行第四次检测，确定不存在待合成元素，该目标视频帧合成过程结束，得到的图像即为目标视频帧。

上述“9”中的“xx广告”当然也可以事先存储为文本，在使用的时候从文本中获取。

使用与上述相同的方法生成目标视频包括的所有的视频帧，对每一帧编码，并写入到视频文件后，即可得到目标视频。

由上述合成视频帧的过程可知，该视频帧合成方法可以将不同格式、不同类型和不同来源的数字信息(视频、文本、图片等)进行预处理后，一次性最终呈现在同一基础视频帧上，使得用户能够在付出较少操作的情况下灵活地处理不同的输入源数据，最终得到目标视频帧。

由上述合成视频帧的过程还可知，该视频帧合成方法灵活、通用，能轻松实现图层、遮盖、画中画、水印、字幕、分屏播放、插帧、图像转视频等功能可以实现多种视频帧图像效果。

综上所述，本申请实施例提供的视频合成方法，通过对待合成在基础视频帧的元素进行自定义，使得能够得到用户期望的各种不同的视频帧，以便使用不同的视频帧对目标视频实现补帧、空白帧填充和其它图像效果；相较于现有技术，本申请实例解决了现有技术不能同时实现补帧、空白帧填充和其它图像效果的功能，导致视频合成效率低的问题，达到了提高视频合成效率的效果。

本说明书中的实施例均采用递进的方式描述，各个实施例子之间的相似部分相互参见。每个步骤下的实施例侧重于该步骤下的具体方法。以上的所描述的实施方案仅仅是示意性的，具体实施例仅是对本申请做举例说明，本申请所属技术领域的技术人员在不脱离本申请实施例所述原理的前提，还可以做出若干改进和润色，这些改进也应视为本申请的保护范围。

图9是根据本申请实施例示出的一种视频合成服务器框图。设置于图1所示的视频合成服务器104，如图9所示，该服务器包括：

第一获取模块501，用于获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数；

第二获取模块502，用于根据基础参数获取基础视频帧，基础视频帧是目标视频的底层图像帧；

合成模块503，用于按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。

可选地，第二获取模块502，还用于执行如下一个操作：

选择与基础参数对应的默认的基础视频帧；

根据基础参数生成基础视频帧；

根据基础参数从与待合成元素对应的输入源数据中选择基础视频帧。

可选地，当存在多个待合成元素时，则合成模块503，还用于：

按照自定义参数从多个待合成元素中确定与目标视频第n时刻对应的待合成元素；

将目标视频第n时刻对应的待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧，n为整数；

对目标视频第n时刻对应的视频帧进行编码；

将经过编码后的结果写入视频文件；

在视频文件中写入最后一张视频帧之后，输出视频文件作为目标视频。

可选地，合成模块503，还用于：

检测目标视频第n时刻对应的待合成元素中是否存在还未合成到目标视频第n时刻对应的基础视频帧上的其它待合成元素；

若是，按照与其它待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到其它待合成元素；

将其它待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧；

若否，执行n加1，按照上述步骤合成目标视频第n+1时刻对应的视频帧。

可选地，合成模块503，还用于：

按照与第n时刻对应的待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到第n时刻对应的待合成元素；

检测目标视频第n时刻对应的待合成元素中是否存在还未合成到目标视频第n时刻对应的基础视频帧上的其他待合成元素；

若是，将其它待合成元素合成在目标视频第n时刻对应的基础视频帧上，得到目标视频第n时刻对应的视频帧；

若否，执行n加1，按照上述步骤合成目标视频第n+1时刻对应的视频帧。

可选地，自定义参数包括与每个待合成元素一一对应的规格参数和特效参数，则合成模块503，还用于：

按照与每个待合成元素对应的规格参数，对与该待合成元素对应的输入源数据进行调整；

按照与每个待合成元素对应的特效参数对经过调整后的结果进行特效处理，得到待合成元素。

可选地，合成模块503，还用于：

按照待合成元素与基础视频帧的位置关系检测是否存在待合成元素。

另外，需要说明的是，装置实施例中的相关内容，请参照方法实施例，在此不做赘述。

综上所述，本申请实施例提供的视频合成服务器，通过对待合成在基础视频帧的元素进行自定义，使得能够得到用户期望的各种不同的视频帧，以便使用不同的视频帧对目标视频实现补帧、空白帧填充和其它图像效果；相较于现有技术，本申请实例解决了现有技术不能同时实现补帧、空白帧填充和其它图像效果的功能，导致视频合成效率低的问题，达到了提高视频合成效率的效果。

图10是根据本申请实施例示出的一种计算机系统800的结构示意图，计算机系统包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有系统操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本申请的实施例各流程图描述的过程可以被实现为计算机软件程序。例如，本申请的各方法实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第二获取模块和合成模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的视频合成方法。

例如，所述电子设备可以实现如图2中所示的：步骤201，获取与目标视频对应的描述信息，描述信息定义目标视频的基础参数和与目标视频所包含的待合成元素一一对应的自定义参数；步骤202，根据基础参数获取基础视频帧；步骤203，按照自定义参数在基础视频帧上合成待合成元素，得到目标视频。又如，所述电子设备可以实现如图4、图5、图7和图8中所示的各个步骤。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。

综上所述，本申请实施例提供的计算机系统或计算机可读介质，通过对待合成在基础视频帧的元素进行自定义，使得能够得到用户期望的各种不同的视频帧，以便使用不同的视频帧对目标视频实现补帧、空白帧填充和其它图像效果；相较于现有技术，本申请实例解决了现有技术不能同时实现补帧、空白帧填充和其它图像效果的功能，导致视频合成效率低的问题，达到了提高视频合成效率的效果。

上述仅为本申请较佳实施例及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种视频合成方法，其特征在于，所述方法包括：

获取终端发送的与目标视频对应的描述信息，所述描述信息定义所述目标视频的基础参数和与所述目标视频所包含的待合成元素一一对应的自定义参数；

根据所述基础参数获取基础视频帧，所述基础视频帧是所述目标视频的底层图像帧；

按照所述自定义参数在所述基础视频帧上合成所述待合成元素，得到所述目标视频；

将合成的目标视频存储到用户指定的存储位置，并向终端发送所述目标视频合成的通知，所述通知用于告知终端已经合成的目标视频以及所述目标视频的存储位置名称，使得所述终端在接收到所述通知后，根据所述存储位置名称获取所述目标视频；

其中，所述根据所述基础参数获取基础视频帧，按照所述自定义参数在所述基础视频帧上合成所述待合成元素包括：

一次性获取所有所述基础视频帧，将所述待合成元素一次性合成在每一帧所述基础视频帧上。

2.根据权利要求1所述的方法，其特征在于，所述根据所述基础参数获取基础视频帧，包括下述中的一个：

选择与所述基础参数对应的默认的基础视频帧；

根据所述基础参数生成所述基础视频帧；

根据所述基础参数从与所述待合成元素对应的输入源数据中选择所述基础视频帧。

3.根据权利要求1所述的方法，其特征在于，当所述目标视频包含多个待合成元素时，所述按照所述自定义参数在所述基础视频帧上合成所述待合成元素，得到所述目标视频，包括：

按照所述自定义参数从所述多个待合成元素中确定与所述目标视频第n时刻对应的待合成元素；

将所述目标视频第n时刻对应的待合成元素合成在所述目标视频第n时刻对应的基础视频帧上，得到所述目标视频第n时刻对应的视频帧，所述n为整数；

对所述目标视频第n时刻对应的视频帧进行编码；

将经过编码后的结果写入视频文件；

在所述视频文件中写入最后一张视频帧之后，输出所述视频文件作为所述目标视频。

4.根据权利要求3所述的方法，其特征在于，当所述目标视频第n时刻包括多个待合成元素中的至少两个待合成元素时，所述将所述目标视频第n时刻对应的待合成元素合成在所述目标视频第n时刻对应的基础视频帧上，得到所述目标视频第n时刻对应的视频帧，包括：

检测所述目标视频第n时刻对应的待合成元素中是否存在还未合成到所述目标视频第n时刻对应的基础视频帧上的其它待合成元素；

若是，按照与所述其它待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到所述其它待合成元素；

将所述其它待合成元素合成在所述目标视频第n时刻对应的基础视频帧上，得到所述目标视频第n时刻对应的视频帧；

若否，执行n加1，按照上述步骤合成所述目标视频第n+1时刻对应的视频帧。

5.根据权利要求3所述的视频合成方法，其特征在于，当所述目标视频第n时刻对应的待合成元素包括多个待合成元素中的至少两个待合成元素时，所述将所述目标视频第n时刻对应的待合成元素合成在所述目标视频第n时刻对应的基础视频帧上，得到所述目标视频第n时刻对应的视频帧，包括：

按照与第n时刻对应的待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到第n时刻对应的待合成元素；

检测所述目标视频第n时刻对应的待合成元素中是否存在还未合成到所述目标视频第n时刻对应的基础视频帧上的其他待合成元素；

若是，将所述其它待合成元素合成在所述目标视频第n时刻对应的基础视频帧上，得到所述目标视频第n时刻对应的视频帧；

若否，执行n加1，按照上述步骤合成所述目标视频第n+1时刻对应的视频帧。

6.根据权利要求4所述的视频合成方法，其特征在于，当所述自定义参数还包括与每个所述待合成元素一一对应的规格参数和特效参数时，则按照与所述其它待合成元素所对应的自定义参数，对与其对应的输入源数据进行处理，得到所述其它待合成元素，包括：

按照所述与每个待合成元素对应的规格参数，对与该待合成元素对应的输入源数据进行调整；

按照所述与每个待合成元素对应的特效参数对经过调整后的结果进行特效处理，得到所述待合成元素。

7.根据权利要求4或5所述的方法，其特征在于，所述检测所述目标视频第n时刻对应的待合成元素中是否存在还未合成到所述目标视频第n时刻对应的基础视频帧上的其他待合成元素，包括：

按照所述待合成元素与所述基础视频帧的位置关系检测是否存在所述待合成元素。

8.一种视频合成服务器，其特征在于，所述装置包括：

第一获取模块，用于获取终端发送的与目标视频对应的描述信息，所述描述信息定义所述目标视频的基础参数和与所述目标视频所包含的待合成元素一一对应的自定义参数；

第二获取模块，用于根据所述基础参数获取基础视频帧，所述基础视频帧是所述目标视频的底层图像帧，其中，所述根据所述基础参数获取基础视频帧包括：一次性获取所有所述基础视频帧，将所述待合成元素一次性合成在每一帧所述基础视频帧上；

合成模块，用于按照所述自定义参数在所述基础视频帧上合成所述待合成元素，得到所述目标视频，将合成的目标视频存储到用户指定的存储位置，并向终端发送所述目标视频合成的通知，所述通知用于告知终端已经合成的目标视频以及所述目标视频的存储位置名称，使得所述终端在接收到所述通知后，根据所述存储位置名称获取所述目标视频。

9.一种计算机设备，其特征在于，所述设备包括：

一个或者多个处理器；

存储器，用于存储一条或者多条程序；

当所述一条或者多条程序被所述一个或者多个处理器执行时，使得所述一个或者多个处理器实现如权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于：

所述计算机程序被处理器执行时，实现如权利要求1-7任一所述的方法。

Images