CN110287368B

CN110287368B - 短视频模板设计图生成装置及短视频模板的生成方法

Info

Publication number: CN110287368B
Application number: CN201910468343.3A
Authority: CN
Inventors: 何亮; 王连杰; 焦华龙; 毛铮; 郭玉峰
Original assignee: Shanghai Mengyu Network Technology Co ltd
Current assignee: Shanghai Mengyu Network Technology Co ltd
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2021-10-08
Anticipated expiration: 2039-05-31
Also published as: CN110287368A

Abstract

本发明涉及一种短视频模板设计图生成装置及短视频模板的生成方法，所述装置包括素材创建模块，经配置用于根据对应素材参数的输入数据获得素材及其描述信息；特效创建模块，经配置用于提供可视化编辑界面，并根据对应特效参数输入数据获得特效信息；以及设计图生成模块，经配置用于根据素材及其描述信息和特效信息，按照预定格式生成模板设计初图。本发明通过可视化的短视频模板设计图生成装置，使设计师在设计素材和特效时，能够直观地获得设计效果，并且减轻了设计师的工作量。

Description

短视频模板设计图生成装置及短视频模板的生成方法

技术领域

本发明涉及一种视频制作技术领域，特别地涉及一种短视频模板设计图生成装置及短视频模板的生成方法。

背景技术

随着手机、平板电脑等移动终端的普及、生活质量的提高和生活方式的改变，通过拍照、录像来记录和分享生活在普通消费者中越来越流行。相比于静态的图片和数据量较大的视频，信息量多而数据量小的短视频普遍受到人们的欢迎。越来越多的人喜欢用短视频来分享生活。然而，现有的短视频制作系统大多过于专业，系统庞杂，处理过程繁琐。对于普通用户而言，需要普通用户具有较高水平的视频处理知识，并且需要花费较多的时间和较大的精力才能获得高质量的短视频。

发明内容

针对现有技术中存在的技术问题，本发明提出了一种短视频模板设计图生成装置及短视频模板的生成方法，用以提供可以快速生成高质量短视频的模板，在模板的设计过程中，使重要设计参数的设计过程可视化，并减小设计师的工作量。

为了解决上述技术问题，本发明提供了一种短视频模板设计图生成装置，其中，包括：

素材创建模块，经配置用于根据对应素材参数的输入数据获得素材及其描述信息；

特效创建模块，经配置用于提供可视化编辑界面，并根据对应特效参数输入数据获得特效信息；以及

设计图生成模块，经配置用于根据素材及其描述信息和特效信息，按照预定格式生成模板设计初图。

优选地，所述的素材参数至少包括素材来源和素材值；所述素材来源为用户或设计师；当素材来源为用户时，所述素材为可由用户替换的素材。

优选地，所述的素材参数还包括素材类型，所述素材类型为音频、视频、图片、色彩和/或背景。

优选地，所述素材值包括素材存储地址或素材内容。

优选地，所述特效创建模块经进一步配置，包括：

特效参数提供单元，经配置用于提供需要设置的特效参数；

时长显示区，经配置用于显示设置的特效时长；和

画面显示区，经配置用于显示输入的参考画面及特效在画面的起止位置。

优选地，所述特效参数至少包括与其对应的素材、起止时间和起止位置。

优选地，所述时长显示区经配置可显示多个特效的时长。

优选地，特效在画面的起止位置分别包括两个或两个以上的标记。

优选地，所述的标记为点坐标或多边形的顶点坐标。

优选地，所述特效参数还包括多种子特效参数。

在所述的装置中，所述设计图生成模块经进一步配置，按照预设格式，根据所述素材及其描述信息建立素材描述层，根据所述特效信息建立特效描述层。

其中，当素材来源为用户时，根据素材及其描述信息建立用户素材描述层。

本发明还提供了一种短视频模板生成方法，其中，包括：

利用前述的设计图生成装置，根据输入的素材及其描述信息和特效信息生成模板设计初图，其中，所述模板设计初图包括多层模板数据层；

对所述模板设计初图中的模板数据层补充数据，生成模板设计图；

按照所述模板设计图，基于所述模板的素材生成短视频；和

将所述短视频及模板设计图合并为短视频模板。

优选地，所述的方法进一步包括：

根据对应素材参数的输入数据获得素材及其描述信息；

根据对应特效参数的输入数据获得特效信息；以及

按照预定格式，根据素材及其描述信息建立素材描述层，根据特效信息建立特效描述层。

优选地，所述素材参数至少包括素材来源和素材值；其中，所述素材来源为用户或设计师；所述素材值为素材存储地址或素材内容。

优选地，所述的方法进一步包括：

当素材来源为用户时，根据所述素材及其描述信息建立用户素材描述层。

优选地，对所述模板设计初图中的模板数据层补充数据后生成模板设计图进一步包括：资源描述层、模板描述层、视频输出描述层和资源配置描述层。

优选地，生成短视频的步骤包括：

根据所述系统资源配置描述层配置系统参数；

根据资源描述层、素材描述层和用户素材描述层获取素材及其描述信息；

根据特效描述层获取特效信息；

按照系统参数、素材及其描述信息和特效信息生成多帧画面；以及

按照视频输出描述层中的视频输出参数值，基于所述多帧画面生成短视频。

优选地，在用户素材描述层中的素材为图片时，在生成多帧画面之前包括：识别并提取出图片的焦点图像；采用所述焦点图像代替对应的图片。

优选地，在素材为文字时，在生成多帧画面之前包括：将所述文字处理成为具有alpha透明度通道的文字图片。

优选地，在生成短视频之前，根据特定的特效信息，进一步包括：

根据特效信息中的起止时间，获取该时间段内的素材；

对所述时间段内的素材的每一帧画面进行三角形剖分，获取每一三角形的顶点原始位置点；

根据第一变化函数计算出每一帧画面的原始位置点的新位置点；以及

采用像素填充由新位置点构成的三角形区域。

优选地，对原画面的像素按照第二变化函数计算得到新像素，并由新像素填充对应的、由新位置点构成的三角形区域。

优选地，所述的方法进一步包括：在短视频中的预设帧画面上叠加版权信息。

本发明通过可视化的短视频模板设计图生成装置，使设计师在设计素材和特效时，能够直观地获得设计效果。所述装置生成的设计初图分层组织数据，数据层的层次分明、界限清晰，一方面，便于设计师补充或修改数据，减轻了设计师的工作量；另一方面便于服务器的识别和读取，因而提高了生成视频的效率和质量。

附图说明

下面，将结合附图对本发明的优选实施方式进行进一步详细的说明，其中：

图1是根据本发明的一个实施例的短视频模板设计图生成装置的结构原理框图；

图2是根据本发明的一个实施例的特效创建模块的结构原理框图；以及

图3是根据本发明的一个实施例的短视频模板生成方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下的详细描述中，可以参看作为本申请一部分用来说明本申请的特定实施例的各个说明书附图。在附图中，相似的附图标记在不同图式中描述大体上类似的组件。本申请的各个特定实施例在以下进行了足够详细的描述，使得具备本领域相关知识和技术的普通技术人员能够实施本申请的技术方案。应当理解，还可以利用其它实施例或者对本申请的实施例进行结构、逻辑或者电性的改变。

为了使用户能够快速生成高质量短视频，本发明提供了一种短视频模板，用户通过简单的几个操作步骤便可以快速地获得高质量的短视频。所述短视频模板包括模板设计图的模板数据和根据所述模板设计图生成的短视频。在所述设计图中的众多数据中，素材数据和特效数据是生成一个高质量短视频最为重要的两类数据。其中，特效在素材中的位置和持续时间更是两个影响视频质量的重要特效数据。为了使设计师能够准确地把握这两类数据，本发明提供了一种可视化的短视频模板设计图生成装置，使设计师在设计过程中，可以获得直观的设计效果。

如图1所示，为根据本发明的一个实施例的短视频模板设计图生成装置的结构原理框图。所述短视频模板设计图生成装置包括：素材创建模块1、特效创建模块2和设计图生成模块3，其中，所述素材创建模块1用于根据对应素材参数的输入数据获得素材及其描述信息。具体地，所述素材创建模块1提供多个素材参数，例如素材名称、素材类型、素材来源及素材值。其中，在一个实施例中，所述素材类型包括音频、视频、图片、色彩和/或背景。所述素材来源为用户或设计师。当一个素材的素材来源定义为用户时，其为用户可以编辑的可替换素材。在用户端，当用户通过用户端编辑素材时，只有素材来源为用户的素材处于用户可编辑状态。当用户编辑完成后，在生成的用户设计图中，由用户素材描述信息替换模板中对应素材信息。例如，由用户素材值替换模板中的对应素材值，由用户素材的类型替换模板中的对应素材的类型。其中，所述素材值包括素材存储地址或素材内容。例如，当素材为视频、音频或图片时，所述素材值可以为视频或图片的存储地址；当素材为文字时，所述素材值可以为具体的文字内容；当素材为色彩时，所述素材值可以为色彩空间值。设计师根据提供的这些参数，一一为其输入数据，如设置素材名、选择素材类型、选择素材来源属性、设置素材值，这些数据称为素材描述信息。设计师通过素材创建模块1可以创建多个素材及其对应的素材描述信息。

特效创建模块2提供可视化编辑界面，并根据对应特效参数输入数据获得特效信息。其中，所述特效创建模块2进一步包括特效参数提供单元21、时长显示区22和画面显示区23，如图2所示。其中，所述特效参数提供单元21提供需要设置的特效参数，例如特效相关素材、特效名称、时长、特效位置和投影类型等。其中，本发明中设置的每一个特效需与素材相对应，即需要指定与所述特效对应的素材。所述的时长由特效在短视频中的起始时间和结束时间确定。当设置了特效时长后，在一个实施例中，以图例方式，如颜色条，将设置的特效时长显示在时长显示区22。因而，通过所述时长显示区22，可以直观地得到每一个特效在视频中的时长及各个特效在时间轴上的关系。

为了直观地获得特效在视频画面中的具体位置，还包括参考画面参数，通过设置参考画面，在画面显示区23中显示输入的参考画面，可在所述参考画面上设置特效的起止位置，从而可以直观地看到特效在视频画面的位置。其中，所述的具体位置，在一个实施例中，为两个或两个以上的标记。例如，左上角和右下角的两个点坐标，或者是一个多边形的顶点坐标，如四边形的四个顶点坐标。

所述设计图生成模块3根据前述的素材数据和特效数据，按照预定格式生成模板设计初图。具体地，按照预设格式，根据所述素材及其描述信息建立素材描述层。例如：当前有两个素材：

素材1：类型为视频，存储在https://videofactory.oss-cn/ios/res/class_mv/2_gou/1.MP4。视频分辨率为960*540。并且定义为其为用户可替换的素材。

素材2：类型为文字，内容为“哈士奇”，设定其字号大小为64，颜色为ffffff，定义为用户不可替换。

根据上述两个素材生成的素材描述层如下：

由于素材1的素材来源为用户，因而，根据其描述信息生成用户素材描述层userElement。用户素材描述层userElement中的素材为用户可替换素材，其将出现在用户编辑界面的替换接口中。

所述设计图生成模块3根据特效信息建立特效描述层。例如，经过特效创建模块设置了一个特效：起始时间为视频开始时，即0ms，终止时间为8200ms；设置其缩放模式为：在缩放时需进行裁切，以使长宽比例不变；在参考画面上设置的起止位置的两个坐标点(0，0)和(1，1)；相关素材的名称为ele1fengge17655，并将该特效命名为act1fenping。所述设计图生成模块3根据这些描述信息建立特效描述层如下：

另外，所述特效参数还包括多种子特效参数，例如阴影、中空、镜像、反色等。当设置了所述子特效参数时，将其对应信息增加到特效描述层中，例如：

为了方便服务器在接收到短视频制作指令时能够快速获取到模板中用到的素材，设计图生成模块3根据素材值建立资源描述层，例如：

如上所述，短视频模板设计图生成装置生成了一个具有完整数据层的初图，在生成素材数据层和特效数据层的数据时，为设计师提供了可视化的设计界面，方便设计师直观地看到设计效果。

如图3所示，为根据本发明一个实施例的短视频模板生成方法流程图。其中，所述方法包括：

步骤S1，利用设计图生成装置，根据输入的素材及其描述信息和特效信息生成模板设计初图，其中，所述模板设计初图包括多层数据层。如前所述的模板描述层、视频输出描述层、素材描述层、特效描述层、用户素材描述层、资源描述层和资源配置描述层。

步骤S2，对所述模板设计初图中的模板数据层补充数据，生成模板设计图。基于所述模板设计初图，对各个数据层补充数据。例如，为模板描述层增加作者、短视频模板名称等版权信息，或者在视频输出描述层增加视频时长、视频尺寸大小等信息。或者对素材的属性信息进行完善，例如增加滤镜、设置素材之间的转场效果和各种不同类型的素材特性，例如对于视频类型的素材可以增加背景音乐、旋转角度等信息；对于文字类型的素材可以增加字色、字间距等信息。还可以对特效数据进行补充，例如增加转场数据、缩放模式，增加各种子特效，如模糊、镜像、阴影、反色等。

设计师完成模板设计图后，将其发送给服务器。在一个实施例中，设计师通过postman软件向服务器发送API请求，在所述API请求中包括所述模板设计图。

步骤S3，服务器根据所述模板设计图的模板数据生成短视频。例如，服务器接收到所述API请求后，从中提取出模板设计图，根据设计图中记载的各个数据层的描述信息生成短视频，例如：

根据模板数据中的资源信息进行相关配置，例如根据资源描述层resource中素材的url，将其配置给素材读取参数；根据系统资源配置层hypnosConfig中的滤镜配置路径、转场配置路径将其分别配置给相应的读取参数。

根据素材读取参数从相应的资源中获取素材，并读取对应的画面信息。如果所述素材为图片，读取对应的图片；如果所述素材为视频，则读取视频中的一帧图像画面；如果是文字，则将所述文字先处理成具有alpha透明度通道的文字图片，然后读取所述文字图片。

根据素材描述信息中的相关信息，如缩放模式，和对应特效信息及对读取的画面做裁切、滤镜、旋转、缩放、快慢速等各种特效处理。在一个实施例中，在需要进行旋转、缩放、透视等操作时，根据预先计算好的参数，调用OpenCV(Open Source Computer VisionLibrary，计算机视觉库)中的相应工具得到相应变化效果。

另外，对于模板中配置的一些图片/视频等素材的2D/3D特效，可以通过图形处理器(Graphic Processing Unit，简称GPU)利用OpenGL(Open Graphics Library，开放图形库)来处理生成。对于没有GPU配置的服务器，也可以直接使用软件模拟的OpenGL。或者是对于某些特效，比如“水波纹”效果，可以通过使用三角形剖分和三角形纹理填充来实现，即可达到使用OpenGL实现的特效，也更加方便对视频特效的扩展，并且不再需要GPU和OpenGL的支持，对不同服务器的部署更加友好。

以“水波纹”效果为例，具体的三角形剖分和三角形纹理填充过程包括：对原始素材画面进行三角形剖分，获取多个三角形顶点的原始位置点，根据水波纹变化函数，以原始位置点作为自变量进行计算，得出所述原始位置点在每一帧画面上的新位置，在每一帧画面上，以原画面像素填充以新的位置点构成的三角形区域，当多帧画面以设置的帧率生成视频时，则获得了“水波纹”效果。

同理，根据对原始位置点进行计算的函数不同，可以得到不同的特效效果。另外，当对填充像素进行处理，如以另一种函数，根据原始像素为自变量进行计算后得到新的像素。经过对填充像素进行如此处理，可以获得更多的特效效果。

如果有转场属性，在一个实施例中，根据转场配置路径，读取与转场类型对应的灰度视频。根据转场类型的不同，其中，不同的灰度视频可以使每一帧画面变化不同。从而得到不同的转场效果。

对于转场，在一个实施例中，将前一个action的最后一帧画面和后一个action的第一帧画面融合起来时，根据这个灰度视频的一帧画面的像素点的灰度值计算融合合的画面的像素值。以灰度视频的某个像素点的灰度值为100时为例，合成之后的画面对应点的像素值为：前景像素值x100/255+背景像素值x(255-100)/255。其中，所述前景是指前一个action的最后一帧画面，所述的背景是指后一个action的第一帧画面。由于每个像素值基本都包括RGBA四个分量，即Red(红色)、Green(绿色)、Blue(蓝色)和Alpha(透明度)，每一个分量分别按上述公式计算，则得到一个像素的全部分量值。

如果融合后的画面仅是原始画面的局部画面，则采用融合后的画面替换原始画面中的融合前的画面，并合成在一起得到最终画面。

其中合成的位置为根据设计图中action中设置的开始位置和结束位置，按照线性插值算出的位置。

如果素材为视频，则对其每一帧画面进行前述步骤的处理，从而生成多帧画面，然后按照视频输出描述层中的帧率生成视频。

如果素材来源为用户的素材为图片，在生成多帧画面之前包括：利用AI技术识别并提取出图片的焦点人物/物品，从而生成焦点图像；采用所述焦点图像代替用户图片。

步骤S4,将短视频发送给设计师。例如，服务器通过API将其短视频链接发送到postman软件，进而使设计师可以根据所述短视频链接打开短视频。

步骤S5,设计师确定是否满意收到的短视频，如果满意，则在步骤S6,向服务器发送存储请求。如果不满意，则地步骤S8修改模板设计图，然后发送给服务器，在步骤S3，由服务器根据新的模板设计图生成新的短视频，直到设计师对短视频满意为止。

步骤S7,服务器接收到所述存储请求后，将所述短视频和模板设计图合并为短视频模板，存储到模板库中。

对于高质量的视频制作，不但需要制作者具有较高的视频制作知识，还需要功能全面的视频制作软件。而对于普通用户来说，这两点都很难满足。本发明提供的模版将较难的部分固定为模板部分，并为用户预留编辑接口，使用户可以根据其需求更换素材，操作简便，且制作出的短视频质量高、个性化。

另外，为了保护所述短视频模板，在生成所述模板短视频后，还包括模板向短视频增加版权信息的步骤。即：从模板描述层中读取所述版权信息，如模板名称、作者等，将所述版权信息制成透明的图片，并根据设置的算法计算得到插入所述图片的视频画面帧数Fn，将所述版权图片叠加在短视频第Fn帧的画面上，从而在生成的短视频上携带了版权信息。进一步地，为了保证在用户使用所述模板生成用户短视频时仍然保留所述版权信息，在计算插入版权信息的帧数时，应避开素材来源为用户的素材对应的帧数。

上述实施例仅供说明本发明之用，而并非是对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明范围的情况下，还可以做出各种变化和变型，因此，所有等同的技术方案也应属于本发明公开的范畴。

Claims

1.一种短视频模板设计图生成装置，其中，包括：

特效创建模块，经配置用于提供可视化编辑界面，并根据对应特效参数的输入数据获得特效信息；以及

设计图生成模块，经配置用于根据素材及其描述信息和特效信息，按照数据分层格式生成模板设计初图；其中，所述模板设计初图包括多层模板数据层；

按照所述模板设计图，基于所述模板的素材生成短视频；和

将所述短视频及模板设计图合并为短视频模板；

其中，所述的素材参数至少包括素材来源和素材值；所述素材来源为用户或设计师，当素材来源为用户时，所述素材为经配置由用户替换的素材。

2.根据权利要求1所述的装置，其中，所述的素材参数还包括素材类型，所述素材类型为音频、视频、图片、色彩和/或背景。

3.根据权利要求1所述的短视频模板设计图生成装置，其中，所述素材值包括素材存储地址或素材内容。

4.根据权利要求1所述的装置，其中，所述特效创建模块经进一步配置，包括：

特效参数提供单元，经配置用于提供需要设置的特效参数；

时长显示区，经配置用于显示设置的特效时长；和

5.根据权利要求4所述的装置，其中，所述特效参数至少包括与其对应的素材、起止时间和起止位置。

6.根据权利要求4所述的装置，其中，所述时长显示区经配置显示多个特效的时长。

7.根据权利要求4所述的装置，其中，特效在画面的起止位置为对应的两个或多个点的坐标。

8.根据权利要求5所述的装置，其中，所述特效参数还包括多种子特效参数。

9.根据权利要求1所述的装置，其中，所述设计图生成模块经进一步配置，按照数据分层格式，根据所述素材及其描述信息建立素材描述层，根据所述特效信息建立特效描述层。

10.根据权利要求9所述的装置，其中，当素材来源为用户时，根据素材及其描述信息建立用户素材描述层。

11.一种短视频模板生成方法，其中，包括：

利用权利要求1-10任一所述的设计图生成装置，根据输入的素材及其描述信息和特效信息生成模板设计初图，其中，所述模板设计初图包括多层模板数据层；

按照所述模板设计图，基于所述模板的素材生成短视频；和

将所述短视频及模板设计图合并为短视频模板。

12.根据权利要求11所述的方法，其中，进一步包括：

根据对应素材参数的输入数据获得素材及其描述信息；

根据对应特效参数的输入数据获得特效信息；以及

按照数据分层格式，根据素材及其描述信息建立素材描述层，根据特效信息建立特效描述层。

13.根据权利要求12所述的方法，其中，所述素材参数至少包括素材来源和素材值；其中，所述素材来源为用户或设计师；所述素材值为素材存储地址或素材内容。

14.根据权利要求13所述的方法，其中，进一步包括：

15.根据权利要求13所述的方法，其中，对所述模板设计初图中的模板数据层补充数据后生成的模板设计图进一步包括：资源描述层、模板描述层、视频输出描述层和资源配置描述层。

16.根据权利要求15所述的方法，其中，生成短视频的步骤包括：

根据系统资源配置描述层配置系统参数；

根据特效描述层获取特效信息；

17.根据权利要求16所述的方法，其中，在用户素材描述层中的素材为图片时，在生成多帧画面之前包括：识别并提取出素材来源为用户的图片素材的焦点图像；采用所述焦点图像代替对应的图片。

18.根据权利要求16所述的方法，其中，在素材为文字时，在生成多帧画面之前包括：将所述文字处理成为具有alpha透明度通道的文字图片。

19.根据权利要求16所述的方法，其中，在生成短视频之前，根据特定的特效信息，进一步包括：

根据特效信息中的起止时间，获取一个时间段内的素材；

采用像素填充由新位置点构成的三角形区域。

20.根据权利要求19所述的方法，其中，进一步包括：对原画面的像素按照第二变化函数计算得到新像素，并由新像素填充对应的、由新位置点构成的三角形区域。

21.根据权利要求11所述的方法，进一步包括：在短视频中的预设帧画面上叠加版权信息。