CN112667910B

CN112667910B - 一种视频模板合成和推荐系统、方法、装置及存储介质

Info

Publication number: CN112667910B
Application number: CN202110021298.4A
Authority: CN
Inventors: 陆赞信; 徐蕾; 吴三阳; 王伟; 曾荣; 莫锡舟
Original assignee: iMusic Culture and Technology Co Ltd
Current assignee: iMusic Culture and Technology Co Ltd
Priority date: 2021-01-08
Filing date: 2021-01-08
Publication date: 2022-03-04
Anticipated expiration: 2041-01-08
Also published as: CN112667910A

Abstract

本发明公开了一种视频模板合成和推荐系统、方法、装置及存储介质，所述系统包括AE插件模块、管理平台模块、管理平台、特征提取分析模块、构建模块和推荐模块，本发明通过AE插件模块，可以方便快捷地设计视频模板，大大降低视频模板制作周期，提高视频模板更新速度；同时，可快速导出视频模板的配置和素材，方便快捷地生成准确配置参数，省去人工配置时间，避免人工配置失误；通过特征提取分析模块和构建模块，可构建视频模板画像和用户画像，可以更好地掌握视频模板效果走向，以及更有针对性地设计视频模板；通过推荐模块，可向用户推荐更适合更感兴趣的视频模板，减少用户的筛选时间，提高视频模板的有效使用率。

Description

一种视频模板合成和推荐系统、方法、装置及存储介质

技术领域

本发明涉及视频处理技术领域，尤其是一种视频模板合成和推荐系统、方法、装置及存储介质。

背景技术

视频模板合成既满足了内容的可变性和玩法，又可以融合用户内容，同时不存在技术门槛问题，可让用户高程度参与。但是视频模板的需求量增长和用户群体规模增长是成正比，当前的视频模板合成技术大多无法满足海量模板制作的需要，目前一般平台采取两种方式进行视频模板合成：(1)针对每个模板定制开发渲染合成程序；(2)开发通过解析配置文件进行渲染合成的通用程序，设计人员通过工具设计视频模板，并根据程序要求的格式手工填写视频模板配置文件。

上述方案存在以下缺点：

1)针对每个模板定制开发渲染合成程序，在开发以及测试上需要无休止地投入大量的人力和时间，模板制作周期太长，成本难以控制。

2)通过解析配置文件合成容易出错，同时也需要投入一定的人力和时间，效率并未达到预期。

3)上述方案都是针对视频模板渲染合成，但是并没有对视频模板进行分析，无视频模板画像概念，无法为为产品设计提供模板走向参考，也无法为用户做个性化推荐。

术语解释：

用户画像：指根据用户的属性、偏好、习惯、行为等信息而抽象出来的标签化用户模型。

视频模板画像：根据模板属性、用户点击、用户选择、用户画像等信息而抽象出来的标签化视频模板模型，是基于用户画像的构建。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种视频模板合成和推荐系统、方法、装置及存储介质。

本发明所采取的技术方案是：

一方面，本发明实施例包括一种视频模板合成和推荐系统，包括：

AE插件模块，用于通过AE插件设计视频模板，并导出所述视频模板的配置和素材；

管理平台模块，用于上传第一数据，所述第一数据包括所述视频模板、所述视频模板的配置、所述视频模板的素材及用户个人素材，所述用户个人素材包括视频、图片及文字中的至少一种；

渲染合成模块，用于接收所述第一数据，并对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频；

特征提取分析模块，用于对所述第一合成视频进行特征提取分析，得到分析结果；

构建模块，用于根据所述分析结果，构建相应的视频模板画像和用户画像；

推荐模块，用于根据所述视频模板画像和用户画像，给用户推荐相应的视频模板。

进一步地，所述渲染合成模块包括：

解析单元，用于解析视频模板的配置参数；

渲染合成单元，用于根据所述配置参数，调用GPU对用户个人素材和所述视频模板进行渲染合成，得到第一合成视频。

进一步地，所述渲染合成模块还包括：

人脸识别单元，用于当所述视频模板需要人脸识别时，通过基于opencv的人脸关键点模型进行人脸识别。

进一步地，所述特征提取分析模块包括：

第一采集单元，用于采集用户数据和注册数据；

第二采集单元，用于采集所述视频模板的点击数据；

第三采集单元，用于采集所述第一合成视频；

特征提取单元，用于对所述第一合成视频进行特征提取，得到第一特征；

第一处理单元，用于通过z-score标准化对第二数据进行处理，得到第三数据，所述第二数据包括所述用户数据、注册数据、点击数据和第一合成视频；

第二处理单元，用于通过卡方检验法对所述第三数据进行离散化处理，得到第四数据；

特征清洗单元，用于通过One-Class SVM对所述第一特征进行清洗，得到第二特征；

第三处理单元，用于通过Borderline-SMOTE算法对所述第二特征进行处理，得到第三特征；

第四处理单元，用于通过基于惩罚项的特征选择法对所述第三特征进行处理，筛选出第四特征；

第五处理单元，用于通过主成分分析法对所述第四特征进行特征降维，得到第五特征；

分析单元，用于根据所述第四数据和所述第五特征，分析得到用户特征模型和视频模板特征模型。

进一步地，所述构建模块包括：

用户画像构建单元，用于根据所述用户特征模型，构建得到用户画像；

视频模板画像构建单元，用于根据所述视频模板特征模型，构建得到视频模板画像。

另一方面，本发明实施例还包括一种视频模板合成和推荐方法，包括：

通过AE插件设计视频模板，并导出所述视频模板的配置和素材；

上传第一数据，所述第一数据包括所述视频模板、所述视频模板的配置、所述视频模板的素材及用户个人素材，所述用户个人素材包括视频、图片及文字中的至少一种；

接收所述第一数据，并对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频；

对所述第一合成视频进行特征提取分析，得到分析结果；

根据所述分析结果，构建相应的视频模板画像和用户画像；

根据所述视频模板画像和用户画像，给用户推荐相应的视频模板。

进一步地，所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，具体包括：

解析视频模板的配置参数；

根据所述配置参数，调用GPU对用户个人素材和所述视频模板进行渲染合成，得到第一合成视频。

进一步地，所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，还包括：

当所述视频模板需要人脸识别时，通过基于opencv的人脸关键点模型进行人脸识别。

另一方面，本发明实施例还包括一种视频模板合成和推荐装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的视频模板推荐方法。

另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的视频模板推荐方法。

本发明的有益效果是：

(1)通过AE插件模块，可以方便快捷地设计视频模板，大大降低视频模板制作周期，提高视频模板更新速度；同时，可快速导出视频模板的配置和素材，可以方便快捷地生成准确配置参数，省去人工配置时间，避免人工配置失误；

(2)通过特征提取分析模块和构建模块，可构建视频模板画像和用户画像，让产品设计人员可以更好地掌握视频模板效果走向，以及更有针对性地去设计视频模板；

(3)通过推荐模块，向用户推荐更适合更感兴趣的视频模板，减少用户的筛选时间，提高视频模板的有效使用率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所述视频模板推荐系统的结构示意图；

图2为发明实施例所述视频模板合成和分析的结构示意图；

图3为本发明实施例所述视频模板推荐方法的步骤流程图；

图4为本发明实施例所述视频模板推荐装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

下面结合附图，对本申请实施例作进一步阐述。

参照图1，本发明实施例包括一种视频模板合成和推荐系统，包括：

进一步地，所述渲染合成模块包括：

解析单元，用于解析视频模板的配置参数；

进一步地，所述渲染合成模块还包括：

进一步地，所述特征提取分析模块包括：

第一采集单元，用于采集用户数据和注册数据；

第二采集单元，用于采集所述视频模板的点击数据；

第三采集单元，用于采集所述第一合成视频；

进一步地，所述构建模块包括：

本实施例中，设计人员可通过开发的AE(Adobe After Effects)插件设计视频模板，通过AE插件设计视频特效，并可一键导出视频模板的配置和素材；进一步地，设计人员可将设计好的视频模板上传至管理平台，同时将导出的视频模板的配置和素材也上传至管理平台，设计人员可以通过管理平台对视频模板进行管理，在上传视频模板的配置和素材后，管理平台会自动解析视频模板的配置参数；然后，设计人员还可上传用户个人素材，用户个人素材可以是视频、图片及文字中任意一种或多种。上传成功后，管理平台可对所述视频模板和用户个人素材进行渲染合成。

具体地，参照图2，用户通过App、web、H5、小程序等入口选择视频模板并上传个人素材(包含视频、图片及文字)。如果用户通过APP入口选择了视频模板并上传了个人素材，此时，App根据视频模板的配置参数，通过开发的SDK对用户上传的个人素材和用户选择的视频模板进行渲染合成，合成结果根据用户选择可上传服务器保存；而如果用户是通过web、H5、小程序入口选择了视频模板并上传了个人素材，此时，web、H5、小程序可将用户上传的个人素材和用户选择的视频模板传送到服务器端，服务器端根据视频模板的配置参数，将用户个人素材和视频模板进行渲染合成。

进一步地，服务器端可将用户选择保存的合成内容进行特征提取分析，通过分析，计算出每个视频模板相关用户的基本属性、行为属性和统计属性，最终构建出视频模板画像和用户画像。其中，视频模板画像可展现给设计人员和产品运营人员，使得产品运营人员可以更准确高效地选择视频模板产品方向，设计人员可以更方便地设计出用户更喜爱的视频模板效果。同时，可根据用户画像和视频模板画像为用户更精准地推荐视频模板。

具体地，其工作流程如下：

1.开发人员开发视频模板特效AE插件；

2.设计人员设计视频模板：

1)在AE工具上使用开发的插件选择设计视频特效(含文字特效)；

2)一键导出设计完成的视频模板的配置和素材。

3.视频模板解析管理：

1)设计人员将一键导出的视频模板配置和素材上传到视频模板管理平台；

2)视频模板管理平台根据视频模板的配置自动解析视频合成参数。

4.用户通过App、web、H5、小程序等入口选择视频模板并上传个人素材(包含视频、图片及文字)：

1、如果用户通过APP入口选择了视频模板并上传了个人素材，此时，App根据视频模板的配置参数，通过开发的SDK对用户上传的个人素材和用户选择的视频模板进行渲染合成，合成结果根据用户选择可上传服务器保存；而如果用户是通过web、H5、小程序入口选择了视频模板并上传了个人素材，此时，web、H5、小程序可将用户上传的个人素材和用户选择的视频模板传送到服务器端，服务器端根据视频模板的配置参数，将用户个人素材和视频模板进行渲染合成。

5.视频模板合成：

1)App根据解析的视频模板的配置参数，通过开发的SDK调用GPU对用户内容和视频模板进行渲染合成；

2)web、H5、小程序将用户上传的个人素材传送到服务器端，服务器端根据解析的视频模板配置参数，调用GPU将用户个人素材和视频模板进行渲染合成。

3)如需要人脸识别的视频模板，SDK和服务端通过opencv和开源人脸关键点模型进行人脸识别，并最终和视频模板渲染合成。

6.特征提取分析：

1)采集数据经用户许可的数据和注册数据；

2)采集视频模板点击数据；

3)采集视频模板合成数据；

4)初步特征提取，得到未经处理的特征；

5)数据标准化处理(采用z-score标准化)：

①求出样本特征x的均值

②求出样本特征x的标准差s：

③最后求得标准化后的变量值y_i：

6)数据离散化处理(采用卡方检验法)：

①将变量按照值大小进行排列，将每个值作为一个组；

②对每一对相邻的组计算卡方值，对其中最小的一对组合进行合并；

③不断重复以上操作，直到满足我们设定的条件。

卡方统计量是指数据的分布与所选择的预期或假设分布之间的差异的度量。它是由各项实际观测次数(fo)与理论分布次数(fe)之差的平方除以理论次数，然后再求和而得出的，其计算公式为：

7)采用One-Class SVM进行异常特征清洗；

One Class SVM是一种无监督算法，它的思想是寻找一个超球面，使得正常样本在球体内，异常样本在球体外，然后最小化这个球的半径或者体积；

||x_i-o||₂≤r+ξ_i,i＝1,2,3…m；

ξ_i≥0,i＝1,2,…m

其中o是球心，r是半径，V(r)是球的体积，c是惩罚系数，ξ是松弛变量。

8)经过以上步骤，正负样本是不均衡的，我们通过Borderline-SMOTE算法处理不均衡数据。

9)采用基于惩罚项的特征选择法选择有意义的特征：

①给定数据集D＝{(x₁,y₁),(x₂,y₂),…(x_n,y_n)}，其中，x∈R^d，y∈Ry∈R。采用最简单的线性回归模型，以平方误差为损失函数，则优化目标为：

②为了缓解过拟合问题，引入正则化项。同时使用L1范数和L2范数，既避免过拟合，同时也实现降维，并筛选出相应的特征：

10)采用主成分分析法(PCA)进行特征降维，降低特征矩阵规模，降低计算时间。对于m条n维数据：

①将原始数据按列组成n行m列矩阵X；

②将X的每一行(代表一个属性字段)进行零均值化，即减去这一行的均值；

③求出协方差矩阵；

④求出协方差矩阵的特征值及对应的特征向量；

⑤将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；

⑥Y＝PX即为降维到k维后的数据。

11)进行模型训练，最终得到用户特征模型和视频模板特征模型，构建出基于视频模板的用户画像和和视频模板画像。

本发明实施例所述视频模板推荐系统具有以下技术效果：

参照图3，本发明实施例包括一种视频模板合成和推荐方法，包括但不限于以下步骤：

S1.通过AE插件设计视频模板，并导出所述视频模板的配置和素材；

S2.上传第一数据，所述第一数据包括所述视频模板、所述视频模板的配置、所述视频模板的素材及用户个人素材，所述用户个人素材包括视频、图片及文字中的至少一种；

S3.接收所述第一数据，并对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频；

S4.对所述第一合成视频进行特征提取分析，得到分析结果；

S5.根据所述分析结果，构建相应的视频模板画像和用户画像；

S6.根据所述视频模板画像和用户画像，给用户推荐相应的视频模板。

步骤S3，也就是所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，具体包括：

S301.解析视频模板的配置参数；

S302.根据所述配置参数，调用GPU对用户个人素材和所述视频模板进行渲染合成，得到第一合成视频。

进一步，步骤S3，也就是所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，还包括：

S303.当所述视频模板需要人脸识别时，通过基于opencv的人脸关键点模型进行人脸识别。

参照图4，本发明实施例还提供了一种视频模板合成和推荐装置200，具体包括：

至少一个处理器210；

至少一个存储器220，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器210执行，使得所述至少一个处理器210实现如图3所示的方法。

其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可以理解到，图4中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图3所示实施例的步骤。

以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图3所示的方法。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3所示的方法。

可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims

1.一种视频模板合成和推荐系统，其特征在于，包括：

推荐模块，用于根据所述视频模板画像和用户画像，给用户推荐相应的视频模板；

所述特征提取分析模块包括：

第一采集单元，用于采集用户数据和注册数据；

第二采集单元，用于采集所述视频模板的点击数据；

第三采集单元，用于采集所述第一合成视频；

2.根据权利要求1所述的一种视频模板合成和推荐系统，其特征在于，所述渲染合成模块包括：

解析单元，用于解析视频模板的配置参数；

3.根据权利要求2所述的一种视频模板合成和推荐系统，其特征在于，所述渲染合成模块还包括：

4.根据权利要求1所述的一种视频模板合成和推荐系统，其特征在于，所述构建模块包括：

5.一种视频模板合成和推荐方法，其特征在于，包括：

对所述第一合成视频进行特征提取分析，得到分析结果；

根据所述分析结果，构建相应的视频模板画像和用户画像；

根据所述视频模板画像和用户画像，给用户推荐相应的视频模板；

所述对所述第一合成视频进行特征提取分析，具体包括：

采集用户数据和注册数据；

采集所述视频模板的点击数据；

采集所述第一合成视频；

对所述第一合成视频进行特征提取，得到第一特征；

通过z-score标准化对第二数据进行处理，得到第三数据，所述第二数据包括所述用户数据、注册数据、点击数据和第一合成视频；

通过卡方检验法对所述第三数据进行离散化处理，得到第四数据；

通过One-Class SVM对所述第一特征进行清洗，得到第二特征；

通过Borderline-SMOTE算法对所述第二特征进行处理，得到第三特征；

通过基于惩罚项的特征选择法对所述第三特征进行处理，筛选出第四特征；

通过主成分分析法对所述第四特征进行特征降维，得到第五特征；

根据所述第四数据和所述第五特征，分析得到用户特征模型和视频模板特征模型。

6.根据权利要求5所述的一种视频模板合成和推荐方法，其特征在于，所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，具体包括：

解析视频模板的配置参数；

7.根据权利要求6所述的一种视频模板合成和推荐方法，其特征在于，所述对所述视频模板和用户个人素材进行渲染合成，得到第一合成视频这一步骤，还包括：

8.一种视频模板合成和推荐装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求5-7任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求5-7任一项所述的方法。