CN111263241B

CN111263241B - 媒体数据的生成方法、装置、设备及存储介质

Info

Publication number: CN111263241B
Application number: CN202010086716.3A
Authority: CN
Inventors: 周国金; 傅鸿城; 黄昕
Original assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Current assignee: Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date: 2020-02-11
Filing date: 2020-02-11
Publication date: 2022-03-08
Anticipated expiration: 2040-02-11
Also published as: CN111263241A

Abstract

本申请公开了一种媒体数据的生成方法、装置、设备及存储介质，属于数据处理技术领域。该方法包括：接收用户上传的至少一个第一素材，第一素材包括图片和/或视频。通过类别识别模型，确定至少一个第一素材对应的目标素材类别。从素材库中获取属于目标素材类别的目标第二素材，素材库中包括多种素材类别对应的第二素材，第二素材包括图片和/或视频。如此，基于用户提供的至少一个第一素材和获取的目标第二素材，可以生成内容更加丰富的媒体数据。

Description

媒体数据的生成方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别涉及一种媒体数据的生成方法、装置、设备及存储介质。

背景技术

随着数据处理技术的迅速发展，人们可以自行制作具有个人风格的媒体数据，如电子相册、音乐视频等。以音乐视频为例，不仅可以记录人们生活中的点点滴滴，还可以用于分享自己的生活。目前，媒体数据通常是基于用户上传的素材生成的，然而，当用户可提供的素材过少时，会导致生成的媒体数据的内容不够丰富。

发明内容

本申请提供了一种媒体数据的生成方法、装置、设备及存储介质，可以解决相关技术的生成的媒体数据的内容不够丰富的问题。所述技术方案如下：

一方面，提供了一种媒体数据的生成方法，所述方法包括：

接收用户上传的至少一个第一素材，所述第一素材包括图片和/或视频；

通过类别识别模型，确定所述至少一个第一素材对应的目标素材类别；

从素材库中获取属于所述目标素材类别的目标第二素材，所述素材库中包括多种素材类别对应的第二素材，所述第二素材包括图片和/或视频；

基于所述至少一个第一素材和所述目标第二素材，生成媒体数据。

在本申请一种可能的实现方式中，当所述目标素材类别的数量为多种时，所述从素材库中获取属于所述目标素材类别的目标第二素材，包括：

基于所述至少一个第一素材的第一总数量，确定第一数值；

确定每种目标素材类别对应的第一比例，所述第一比例为所述至少一个第一素材中属于对应的目标素材类别的第一素材个数与所述第一总数量的比值；

确定每种目标素材类别对应的第二比例，所述第二比例为所述素材库中属于对应的目标素材类别的第二素材个数与第二总数量的比值，所述第二总数量是指所述素材库中属于所述多个目标素材类别的第二素材的总数量；

基于所述第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值；

基于每种目标素材类别对应的第二数值，从所述素材库中获取属于多个目标素材类别的目标第二素材。

在本申请一种可能的实现方式中，所述基于所述第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值，包括：

确定每种目标素材类别对应的第一比例和第二比例的平均值，得到每种目标素材类别对应的平均值；

基于每种目标素材类别对应的平均值和所述第一数值，确定每种目标素材类别对应的第二数值。

在本申请一种可能的实现方式中，所述基于每种目标素材类别对应的平均值和所述第一数值，确定每种目标素材类别对应的第二数值，包括：

确定每种目标素材类别对应的平均值与所述第一数值的乘积，将得到的乘积取整，得到每种目标素材类别对应的第二数值；或者，

确定每种目标素材类别对应的平均值与所述第一数值的乘积，将得到的乘积与目标权重相乘后再取整，得到每种目标素材类别对应的第二数值。

在本申请一种可能的实现方式中，所述方法还包括：

获取对所述媒体数据的操作数据，所述操作数据包括操作指示信息和操作频率，所述操作指示信息用于指示对所述媒体数据的操作类型；

根据所述操作数据更新所述目标权重。

在本申请一种可能的实现方式中，所述基于每种目标素材类别对应的第二数值，从所述素材库中获取属于多个目标素材类别的目标第二素材，包括：

对于任一目标素材类别，将所述任一目标素材类别对应的第二数值与指定阈值相乘，得到所述任一目标素材类别对应的第三数值；

从所述素材库中获取所述第三数值个属于所述任一目标素材类别的第二素材；

确定属于所述任一目标素材类别的每个第二素材与属于所述任一目标素材类别的第一素材的相似度；

基于相似度，从属于所述任一目标素材类别的第二素材中，选择所述第二数值个第二素材，作为属于所述任一目标素材类别的目标第二素材。

在本申请一种可能的实现方式中，所述确定属于所述任一目标素材类别的每个第二素材与属于所述任一目标素材类别的第一素材的相似度，包括：

对于属于所述任一目标素材类别的任一第二素材，确定所述任一第二素材与属于所述任一目标素材类别的每个第一素材的相似度，得到所述任一第二素材对应的至少一个相似度；

将所述任一第二素材对应的至少一个相似度中的最大相似度，确定为所述任一第二素材与所述第一素材的相似度。

在本申请一种可能的实现方式中，所述基于相似度，从属于所述任一目标素材类别的第二素材中，选择所述第二数值个第二素材，作为属于所述任一目标素材类别的目标第二素材，包括：

按照相似度从大到小的顺序，对所述第三数值个属于所述任一目标素材类别的第二素材进行排序；

从排序后的第二素材中，获取前第二数值个第二素材作为所述任一目标素材类别对应的目标第二素材。

在本申请一种可能的实现方式中，所述基于所述至少一个第一素材和所述目标第二素材，生成媒体数据，包括：

确定所述至少一个第一素材和所述目标第二素材在所述媒体数据中的排列顺序；

基于所述排列顺序、所述至少一个第一素材和所述目标第二素材，生成所述媒体数据。

另一方面，提供了一种媒体数据的生成装置，所述装置包括：

接收模块，用于接收用户上传的至少一个第一素材，所述第一素材包括图片和/或视频；

确定模块，用于通过类别识别模型，确定所述至少一个第一素材对应的目标素材类别；

获取模块，用于从素材库中获取属于所述目标素材类别的目标第二素材，所述素材库中包括多种素材类别对应的第二素材，所述第二素材包括图片和/或视频；

生成模块，用于基于所述至少一个第一素材和所述目标第二素材，生成媒体数据。

在本申请一种可能的实现方式中，当所述目标素材类别的数量为多种时，所述获取模块用于：

基于所述至少一个第一素材的第一总数量，确定第一数值；

在本申请一种可能的实现方式中，所述获取模块用于：

在本申请一种可能的实现方式中，所述获取模块还用于：

根据所述操作数据更新所述目标权重。

在本申请一种可能的实现方式中，所述获取模块用于：

在本申请一种可能的实现方式中，所述生成模块用于：

另一方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为实现上述一方面所述的媒体数据的生成方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述一方面所述的媒体数据的生成方法。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述一方面所述的媒体数据的生成方法。

本申请提供的技术方案至少可以带来以下有益效果：

接收用户上传的至少一个第一素材，通过类别识别模型，确定至少一个第一素材对应的目标素材类别，从素材库中获取属于目标素材类别的目标第二素材，素材库中包括多种素材类别对应的第二素材，如此，基于用户提供的至少一个第一素材和获取的目标第二素材，可以生成内容更加丰富的媒体数据。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种媒体数据的生成方法的流程图；

图2是根据一示例性实施例示出的一种媒体数据的生成装置的结构示意图；

图3是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的媒体数据的生成方法进行详细的解释说明之前，先对本申请实施例涉及的执行主体进行简单介绍。

本申请实施例提供的媒体数据的生成方法可以由电子设备来执行，该电子设备具有数据处理功能。进一步地，该电子设备中可以安装有能够用于生成媒体数据的应用，电子设备可以通过该应用对素材进行处理。作为一种示例，该电子设备可以为笔记本电脑、便携式计算机、台式计算机等，本申请实施例对此不做限定。

在介绍完本申请实施例涉及的执行主体后，接下来将结合附图对本申请实施例提供的媒体数据的生成方法进行详细介绍。

请参考图1，该图1是根据一示例性实施例示出的一种媒体数据的生成方法的流程图，该方法可以应用于上述电子设备中，该方法可以包括如下几个实现步骤：

步骤201：接收用户上传的至少一个第一素材，第一素材包括图片和/或视频。

其中，第一素材可以只包括图片，也可以只包括视频，还可以既包括图片又包括视频。示例性地，第一素材可以为静态图片、动态图片和视频等，本实施例对此不做限定。

也就是，当用户想要制作媒体数据时，可以根据实际情况自行选择第一素材。譬如，当用户想要制作关于美食的音乐视频时，可以在相册应用中选择一些与美食相关的图片或视频作为第一素材。进而，用户可以将选择的第一素材上传到能够生成媒体数据的应用中。

步骤202：通过类别识别模型，确定至少一个第一素材对应的目标素材类别。

其中，至少一个第一素材中的每一个第一素材对应的素材类别可以为一个，也可以为多个。譬如，当某个第一素材中只包括人物时，该第一素材对应的素材类别包括“人物类”，再如，当某个第一素材中包括人物和风景时，该第一素材对应的素材类别包括“人物类”和“风景类”。

其中，类别识别模型可以为卷积神经网络模型、递归神经网络模型等，通常情况下，类别识别模型可以通过训练得到。

具体地，可以预先选择多个素材样本，每个素材样本对应着不同的素材类别，确定多个素材样本对应的实际的素材类别，将多个素材样本输入至待训练的网络模型中，该待训练的网络模型基于初始模型参数对多个素材样本进行分析处理，输出对于素材类别的识别结果，将该输出的素材类别与实际的素材类别进行对比，若输出的素材类别的识别结果错误时，调整初始模型参数，直至输入大量的素材样本，如1000个时，其中素材类别识别结果正确率较高时，譬如当正确率大于等于95％时，可以认为该待训练的网络模型已经训练结束，可以将此时得到的训练结束的网络模型确定为类别识别模型。

通常情况下，类别识别模型可以通过检测第一素材包括的特征来确定第一素材对应的素材类别。譬如，当检测到第一素材中包括人脸时，可以确定该第一素材对应的素材类别包括“人物类”，当检测到第一素材中包括树木时，可以确定该第一素材对应的素材类别包括“风景类”，当检测到第一素材中包括房屋时，可以确定该第一素材对应的素材类别包括“建筑类”。

除此之外，类别识别模型还可以通过检测该第一素材相关联的信息，确定第一素材对应的素材类别。

作为一种示例，类别识别模型可以根据与第一素材相关联的地理位置信息来确定对应的素材类别，也就是根据生成该第一素材时记录的地理位置信息来确定对应的素材类别。譬如，当生成第一素材时记录的地理位置信息为“北京长安街”时，可以确定该第一素材对应的素材类别包括“北京长安街类”。

作为另一种示例，类别识别模型可以根据与第一素材相关联的日期信息来确定对应的素材类别，也就是根据生成该第一素材时记录的日期信息来确定对应的素材类别。譬如，当生成第一素材时记录的日期信息为2019年6月1日时，可以确定该第一素材对应的素材类别包括“2019儿童节类”，当生成第一素材时记录的日期信息为2018年12月25日时，可以确定该第一素材对应的素材类别包括“2019圣诞节类”。

如此，第一素材对应的素材类别可以同时通过第一素材包括的特征和第一素材相关联的信息确定。譬如，对于一个在2019年5月1日在西安钟楼生成的第一素材，当该第一素材中包括人物和风景时，通过类别识别模型对该第一素材进行识别，可以确定该第一素材对应的目标素材类别包括“2019劳动节类”、“西安钟楼类”、“人物类”和“风景类”。

具体地，通过类别识别模型，确定至少一个第一素材对应的目标素材类别的实现方式可以为：调用类别识别模型，将至少一个第一素材中的每个第一素材输入至类别识别模型中，输出每个第一素材对应的素材类别，将至少一个第一素材对应的素材类别确定为目标素材类别。

也就是，电子设备调用该类别识别模型，然后将用户上传的每个第一素材输入至类别识别模型中进行识别处理，输出用户上传的每个第一素材对应的素材类别，之后，将用户上传的至少一个第一素材对应的素材类别确定为目标素材类别。

作为一种示例，当用户上传一个第一素材时，可以将该第一素材输入至类别识别模型中，如此，输出该第一素材对应的素材类别，进而可以将该第一素材对应的素材类别确定为目标素材类别。

譬如，当用户上传一张图片，该图片对应的素材类别为“人物类”和“风景类”时，可以确定目标素材类别为“人物类”和“风景类”，当用户上传一张图片，该图片对应的素材类别为“人物类”时，可以确定目标素材类别为“人物类”。

作为另一种示例，当用户上传多个第一素材时，可以将每个第一素材输入至类别识别模型中，如此，输出每个第一素材对应的素材类别，之后，可以将所有第一素材对应的素材类别的合集作为目标素材类别。

譬如，当用户上传三张图片，第一张图片对应的素材类别为“人物类”和“风景类”，第二张图片对应的素材类别为“建筑类”和“人物类”，第三张图片对应的素材类别为“美食类”和“人物类”时，可以确定目标素材类别为“人物类”、“风景类”、“建筑类”和“美食类”，再如，当用户上传三张图片且该三张图片对应的素材类别都为“人物类”时，可以确定目标素材类别为“人物类”。

如此，可以确定用户上传的至少一个第一素材对应的目标素材类别，进而，电子设备可以根据确定的目标素材类别，获取相应的素材提供给用户。

进一步地，在对第一素材进行识别之前，还可以对第一素材进行预处理。譬如，当第一素材为图片时，在识别该图片对应的素材类别前，可以对该图片进行尺寸变换处理，以将该图片的尺寸调整为类别识别模型适合处理的尺寸。

步骤203：从素材库中获取属于目标素材类别的目标第二素材，素材库中包括多种素材类别对应的第二素材，第二素材包括图片和/或视频。

其中，素材库可以包括服务器中存储的第二素材、云端存储的第二素材和用户上传的第二素材等，本实施例对此不做限定。

其中，第二素材可以只包括图片，也可以只包括视频，还可以既包括图片又包括视频。示例性地，第二素材可以为静态图片、动态图片和视频等，本实施例对此不做限定。

也就是，电子设备可以在素材库中选取素材类别与用户上传的至少一个第一素材对应的目标素材类别相同的第二素材。

作为一种示例，当目标素材类别的数量为多种时，从素材库中获取属于目标素材类别的目标第二素材的实现方式可以包括如下几个步骤：

1、基于至少一个第一素材的第一总数量，确定第一数值。

其中，第一总数量也就是用户上传的第一素材的总数量。

通常情况下，仅根据用户上传的至少一个第一素材生成的媒体数据的内容可能不够丰富，所以电子设备可以在素材库中选取第二素材提供给用户，进而用户可以根据实际情况选择部分或者全部第二素材，以生成内容更加丰富的媒体数据。

其中，第一数值可以理解为与电子设备提供给用户的第二素材的总数量相关的一个数值，即第一数值越大，电子设备提供给用户的第二素材的总数量就越大，第一数值越小，电子设备提供给用户的第二素材的总数量就越小。也就是，电子设备可以通过该第一数值确定提供给用户的第二素材的总数量。

通常情况下，第一数值和第一总数量之间存在一定的对应关系，且该对应关系可以根据实际情况预先设定。也就是，电子设备可以根据第一总数量和该对应关系，确定第一数值。

作为一种示例，可以设定第一总数量和第一数值之间呈反比，也就是当第一总数量较大时，可以说明当前用户上传的第一素材的丰富度较高，在这种情况下，电子设备可以在素材库中选取数量较少的第二素材。而当第一总数量较小时，可以说明当前用户上传的第一素材的丰富度较低，在这种情况下，电子设备可以在素材库中选取数量较多的第二素材。

作为另一种示例，可以设定第一总数量和第一数值之和为一个固定值。譬如，可以设定第一总数量和第一数值之和为30，当第一总数量为10时，确定第一数值为20，当第一总数量为15时，确定第一数值为15，当第一总数量为20时，确定第一数值为10。

作为另一种示例，可以设定第一总数量和第一数值之间具有一定的映射关系。譬如，可以设定当第一总数量小于15时，电子设备在素材库中选取数量较多的第二素材，确定第一数值为30。当第一总数量大于等于15，小于等于30时，电子设备在素材库中选取数量适中的第二素材，确定第一数值为15。当第一总数量大于30时，电子设备在素材库中选取数量较少的第二素材，确定第一数值为10。

也就是，电子设备可以根据用户上传的第一素材的数量，确定在素材库中选取的第二素材的数量，以保证最终生成的媒体数据的内容较为丰富。

2、确定每种目标素材类别对应的第一比例，第一比例为至少一个第一素材中属于对应的目标素材类别的第一素材个数与第一总数量的比值。确定每种目标素材类别对应的第二比例，第二比例为素材库中属于对应的目标素材类别的第二素材个数与第二总数量的比值，第二总数量是指素材库中属于多个目标素材类别的第二素材的总数量。

其中，对于任一种目标素材类别而言，第一比例指的是在用户上传的第一素材中，属于该任一种目标素材类别的第一素材所占的比例，第二比例指的是素材库中的与用户上传的第一素材的目标素材类别相同的第二素材中，属于该任一种目标素材类别的第二素材所占的比例。

譬如，假设用户上传的第一素材的数量为10，其中，属于“人物类”的第一素材有4个，属于“风景类”的第一素材有6个，对于“人物类”而言，第一比例为40％，对于“风景类”而言，第一比例为60％。假设素材库中属于“人物类”的素材有200个，属于“风景类”的素材有800个，如此，第二总数量为1000，对于“人物类”而言，第二比例为20％，对于“风景类”而言，第二比例为80％。

3、基于第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值。

其中，每种目标素材类别对应的第二数值也就是电子设备提供给用户的每种目标素材类别的第二素材的数量。

具体地，基于第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值的实现方式可以为：确定每种目标素材类别对应的第一比例和第二比例的平均值，得到每种目标素材类别对应的平均值。基于每种目标素材类别对应的平均值和第一数值，确定每种目标素材类别对应的第二数值。

也就是，电子设备可以根据任一种目标素材类别对应的平均值和第一数值，确定为用户提供的该种目标素材类别的第二素材的数量。

譬如，当该任一种目标素材类别为“风景类”，该“风景类”的第一比例为60％，第二比例为80％，第一数值为15时，可以确定第一比例和第二比例的平均值为70％，进而电子设备可以根据“风景类”对应的平均值70％和第一数值15，确定为用户提供的“风景类”第二素材的数量。

具体地，基于每种目标素材类别对应的平均值和第一数值，确定每种目标素材类别对应的第二数值的实现方式可以包括如下两种：

第一种：确定每种目标素材类别对应的平均值与第一数值的乘积，将得到的乘积取整，得到每种目标素材类别对应的第二数值。

也就是，电子设备为用户提供的任一种目标素材类别的第二素材的数量，可以通过该种目标素材类别对应的平均值与第一数值的乘积来确定。

譬如，当“风景类”对应的平均值70％，第一数值为15时，用70％乘15得到10.5，四舍五入，得到11，即电子设备可以为用户提供11个“风景类”素材。

第二种：确定每种目标素材类别对应的平均值与第一数值的乘积，将得到的乘积与目标权重相乘后再取整，得到每种目标素材类别对应的第二数值。

也就是，电子设备为用户提供的任一种目标素材类别的第二素材的数量，通过该种目标素材类别对应的平均值、第一数值和目标权重的乘积来确定。

譬如，当“风景类”对应的平均值70％，第一数值为15，目标权重为1.1时，用70％乘15乘1.1得到11.55，四舍五入，得到12，即电子设备可以为用户提供12个“风景类”素材。

4、基于每种目标素材类别对应的第二数值，从素材库中获取属于多个目标素材类别的目标第二素材。

具体地，基于每种目标素材类别对应的第二数值，从素材库中获取属于多个目标素材类别的目标第二素材的实现方式可以包括如下几个步骤：

a、对于任一目标素材类别，将任一目标素材类别对应的第二数值与指定阈值相乘，得到任一目标素材类别对应的第三数值。从素材库中获取第三数值个属于任一目标素材类别的第二素材。

其中，指定阈值可以根据实际情况进行设置。

也就是，可以根据电子设备提供给用户的任一目标素材类别的第二素材的数量，在素材库该任一目标素材类别的第二素材中随机选取大于该数量的第二素材，如此，可以在随机选取的该任一目标素材类别的第二素材中通过计算确定最终提供给用户的该任一目标素材类别的第二素材。

譬如，当电子设备确定提供给用户6个“风景类”的第二素材，且设置的指定阈值为3时，可以先在素材库中随机选取18个“风景类”的第二素材。

b、确定属于任一目标素材类别的每个第二素材与属于任一目标素材类别的第一素材的相似度。

通常情况下，同一种素材类别的素材之间的相似度越高，生成的媒体数据会更加协调。如此，可以对素材库中的第二素材与用户提供的第一素材之间的相似度进行判断，进而，可以根据相似度确定提供给用户的第二素材。

具体地，确定属于任一目标素材类别的每个第二素材与属于任一目标素材类别的第一素材的相似度的实现方式可以为：对于属于任一目标素材类别的任一第二素材，确定任一第二素材与属于任一目标素材类别的每个第一素材的相似度，得到任一第二素材对应的至少一个相似度。将任一第二素材对应的至少一个相似度中的最大相似度，确定为任一第二素材与第一素材的相似度。

也就是，当用户上传一个第一素材时，计算任一第二素材与该第一素材之间的相似度，将该相似度确定为任一第二素材与至少一个第一素材的相似度。当用户上传多个第一素材时，计算任一第二素材与多个第一素材之间的相似度，将该任一第二素材与多个第一素材之间的最大的相似度确定为任一第二素材与至少一个第一素材的相似度。

譬如，当电子设备在素材库中随机选取了9个“人物类”的第二素材，即人物类的第二素材1、人物类的第二素材2、人物类的第二素材3、人物类的第二素材4、人物类的第二素材5、人物类的第二素材6、人物类的第二素材7、人物类的第二素材8、人物类的第二素材9，用户提供的第一素材中有3个“人物类”的第一素材，即人物类的第一素材a、人物类的第一素材b、人物类的第一素材c。以素材库中人物类的第二素材1为例，若人物类的第二素材1和人物类的第一素材a的相似度为80，人物类的第二素材1和人物类的第一素材b的相似度为75，人物类的第二素材1和人物类的第一素材c的相似度为89，可以确定人物类的第二素材1与至少一个第一素材的相似度为89。

其中，素材之间的相似度可以通过直方图距离、平均哈希算法、感知哈希算法和差异哈希算法等来计算，本实施例对此不做限定。

c、基于相似度，从属于任一目标素材类别的第二素材中，选择第二数值个第二素材，作为属于任一目标素材类别的目标第二素材。

也就是，电子设备根据确定的相似度，选取目标第二素材提供给用户。

具体地，基于相似度，从属于任一目标素材类别的第二素材中，选择第二数值个第二素材，作为属于任一目标素材类别的目标第二素材的实现方式可以为：按照相似度从大到小的顺序，对第三数值个属于任一目标素材类别的第二素材进行排序。从排序后的第二素材中，获取前第二数值个第二素材作为任一目标素材类别对应的目标第二素材。

也就是，电子设备在任一目标素材类别的第二素材中，将相似度最高的第二数值个第二素材选取出来，提供给用户。

譬如，当目标素材类别为“人物类”时，电子设备可以提供给用户的“人物类”的第二素材的数量为3，随机在素材库获取的“人物类”的第二素材的数量为9，也就是在9个随机获取的“人物类”的第二素材中确定相似度最高的3个“人物类”的第二素材作为提供给用户的素材。若该9个“人物类”的第二素材的相似度由高到低为：人物类的第二素材3、人物类的第二素材5、人物类的第二素材4、人物类的第二素材2、人物类的第二素材1、人物类的第二素材6、人物类的第二素材7、人物类的第二素材9、人物类的第二素材8，如此，便可以确定人物类的第二素材3、人物类的第二素材5和人物类的第二素材4为电子设备提供给用户的“人物类”的第二素材。

需要说明的是，当存在多个第二素材相似度相同时，可以进一步按照一定的规律对该多个第二素材进行排序，进而可以对排序后的多个第二素材进行选择。譬如，当存在多个第二素材相似度相同时，可以根据第二素材的创建时间先后对该多个第二素材进行排序，也可以根据第二素材的质量大小对该多个第二素材进行排序，还可以根据第二素材的尺寸大小对该多个第二素材进行排序等，本实施例对此不做限定。

作为另一种示例，当目标素材类别的数量为一种时，从素材库中获取属于目标素材类别的目标第二素材的实现方式可以为：基于至少一个第一素材的第一总数量，确定第一数值，第一数值与指定阈值相乘，得到第二数值，从素材库中获取第二数值个属于目标素材类别的第二素材。确定第二数值个属于目标素材类别的第二素材中的每个第二素材与至少一个第一素材的相似度。基于所确定的相似度，从第二数值个属于目标素材类别的第二素材中，选择第一数值个第二素材，作为目标第二素材。

譬如，当用户上传的第一素材全部属于“人物类”，用户上传的第一素材的数量为27，电子设备可以提供给用户的第二素材的数量为3，指定阈值为3时，也就是在素材库中随机选取9个“人物类”的第二素材，进而根据相似度对该9个“人物类”的第二素材进行排序，选取其中相似度最高的3个第二素材作为提供给用户的第二素材。若该9个“人物类”的第二素材的相似度由高到低为：人物类的第二素材3、人物类的第二素材5、人物类的第二素材4、人物类的第二素材2、人物类的第二素材1、人物类的第二素材6、人物类的第二素材7、人物类的第二素材9、人物类的第二素材8，如此，便可以确定人物类的第二素材3、人物类的第二素材5和人物类的第二素材4为电子设备提供给用户的“人物类”的第二素材。

步骤204：基于至少一个第一素材和目标第二素材，生成媒体数据。

也就是，电子设备根据用户上传的第一素材和电子设备获取的第二素材，生成内容更加丰富的媒体数据。

需要说明的是，当该至少一个第一素材和目标第二素材只为图片时，该媒体数据相应是仅由图片生成的。当该至少一个第一素材和目标第二素材只为视频时，该媒体数据相应是仅由视频生成的。当该至少一个第一素材和目标第二素材既有图片又有视频时，该媒体数据相应是由图片和视频一起生成的。示例性地，该媒体数据可以为电子相册、音乐视频等等，本实施例对此不做限定。

作为一种示例，基于至少一个第一素材和目标第二素材，生成媒体数据的实现方式可以为：确定至少一个第一素材和目标第二素材在媒体数据中的排列顺序，基于该排列顺序、该至少一个第一素材和该目标第二素材，生成该媒体数据。

也就是，可以确定用户上传的第一素材和目标第二素材在媒体数据中的排列顺序，进而，可以根据所确定的排列顺序，对用户上传的第一素材和目标第二素材进行排序，如此，可以根据排序后的用户上传的第一素材和目标第二素材，生成媒体数据。

在一种可能的实现方式中，确定至少一个第一素材和目标第二素材在媒体数据中的排列顺序的具体实现可以包括：展示该至少一个第一素材和目标第二素材，接收排序确定指令，该排序确定指令中携带该至少一个第一素材和目标第二素材的排列序号，基于至少一个第一素材和目标第二素材的排列序号，确定至少一个第一素材和目标第二素材在媒体数据中的排列顺序。

其中，该排序确定指令可以为用户触发的。示例性地，电子设备可以向用户展示至少一个第一素材和目标第二素材，进一步地，还可以展示排序确定选项。如此，用户可以根据实际需求对该至少一个第一素材和目标第二素材进行排序操作，即确定哪些素材的排列顺序靠前，哪些素材的排列顺序靠后，比如，用户可以为该至少一个第一素材和目标第二素材分配排列序号，当用户确定了该至少一个第一素材和目标第二素材的排序后，可以点击该排序确定选项，以触发排序确定指令。

也就是，电子设备可以向用户展示该至少一个第一素材和目标第二素材，在电子设备接收到用户触发的排序确定指令，也即接收到该至少一个第一素材和目标第二素材的排列序号时，可以根据该排列序号，确定该至少一个第一素材和目标第二素材在媒体数据中的排列顺序。

在另一种可能的实现方式中，确定至少一个第一素材和目标第二素材在媒体数据中的排列顺序的具体实现也可以包括：根据参考排序策略，确定至少一个第一素材和目标第二素材在媒体数据中的排列顺序。

其中，参考排序策略可以根据实际情况进行设置，本实施例对此不做限定。

也就是，电子设备可以根据参考排列策略，自动生成该至少一个素材和目标第二素材在媒体数据中的排列顺序。

作为一种示例，当该至少一个第一素材和目标第二素材属于同一素材类别时，可以将至少一个第一素材和目标第二素材随机排列；或者，也可以按照至少一个第一素材和目标第二素材的拍摄时间的先后顺序进行排列；或者，还可以按照至少一个第一素材和目标第二素材所占用内存的大小进行排列等等，本实施例对此不做限定。

作为另一种示例，当该至少一个第一素材和目标第二素材属于多种素材类别时，可以先确定该多种素材类别的排列顺序，也就是确定哪些素材类别的素材的排列顺序靠前，以及哪些素材类别的素材的排列顺序靠后，之后，根据所确定的排列顺序，对该多种素材类别的素材进行排序。其中，对于同一素材类别的素材，可以随机排列，或者，可以按照拍摄时间的先后顺序排列，再或者，可以按照所占用内存的大小排列。如此，可以使得属于同种素材类别的素材相邻排列。

当然，当该至少一个第一素材和目标素材属于多种素材类别时，也可以不按照素材类别进行排列，而是直接确定该至少一个第一素材和目标素材在媒体数据中的排列顺序。譬如，可以将至少一个第一素材和目标第二素材进行随机排列等等，本实施例对此不做限定。

除此之外，用户还可以在电子设备获取的第二素材中选择部分第二素材，进而电子设备基于用户选择的第二素材和用户上传的第一素材生成媒体数据。

通常情况下，在生成媒体数据的过程中，可以添加相应的背景音乐，也可以为每个素材添加相应的文字描述信息。

作为一种示例，可以基于第一素材和目标第二素材的素材类别，确定生成的媒体数据的类型。

譬如，当第一素材和目标第二素材的素材类别都为“人物类”时，可以确定生成的媒体数据为“人物类”。当第一素材和目标第二素材的素材类别均包括“人物类”和“风景类”时，若“风景类”素材在生成媒体数据的素材中的占比相对较大，可以确定生成的媒体数据为“风景类”，若“人物类”素材在生成媒体数据的素材中的占比相对较大，可以确定生成的媒体数据为“人物类”。

进一步地，可以基于用户对媒体数据的操作，对上述目标权重进行更新。

作为一种示例，可以获取对媒体数据的操作数据，操作数据包括操作指示信息和操作频率，操作指示信息用于指示对媒体数据的操作类型。根据操作数据更新目标权重。

其中，对媒体数据的操作数据也就是用户对媒体数据进行各种类型的操作所形成的数据。通常，对媒体数据的操作类型可以包括删除、点赞、转发、浏览和评论等等。

也就是，电子设备可以获取用户对媒体数据的操作类型及相应的操作频率。

可以理解的是，不同的操作类型可以表示用户用于媒体数据的喜好程度。譬如，当用户对一个媒体数据进行点赞、转发、好评等操作时，往往可以说明用户喜欢该媒体数据，而当用户对一个媒体数据进行删除、差评等操作时，往往可以说明用户不喜欢该媒体数据。

进而，对于同一操作类型的不同操作频率也可以一定程度上表示用户对媒体数据的喜好程度。譬如，当用户对一个媒体数据进行多次浏览时，往往可以说明用户对该媒体数据的喜欢程度较高，当用户对一个媒体数据进行很少次数的浏览时，往往可以说明用户对该媒体数据的喜欢程度较低。

如此，可以通过用户对媒体数据的操作数据确定用户的喜好，进而可以对电子设备提供给用户的第二素材进行调整，也就是对目标权重进行更新。

通常情况下，对于目标权重的更新规律可以根据实际情况进行设置。

譬如，可以设置转发操作对应目标权重加0.1，差评操作对应目标权重减0.1。当用户对“风景类”的媒体数据进行转发操作时，可以认为用户较为喜欢“风景类”的媒体数据，由此，可以将“风景类”的第二素材的目标权重更新为1.1。当用户对“风景类”媒体数据进行差评操作时，可以认为用户不喜欢“风景类”媒体数据，由此，可以将“风景类”的第二素材的目标权重更新为0.9。

作为另一种示例，还可以根据用户对历史第二素材的操作数据对目标权重进行更新。

譬如，如果上一次电子设备提供给用户的第二素材的数量c为10，电子设备提供给用户的“风景类”的第二素材的数量d为4，用户选择使用的“风景类”的第二素材的数量e为2，当本次电子设备提供给用户的第二素材中包括“风景类”的第二素材时，可以将“风景类”的第二素材的目标权重更新为1+e/d＝1.5。如果上一次电子设备提供给用户的第二素材的数量c为10，电子设备提供给用户的“风景类”的第二素材的数量d为4，用户没有选择使用“风景类”的第二素材，当本次电子设备提供给用户的第二素材中包括“风景类”的第二素材时，可以将“风景类”的第二素材的目标权重更新为1-d/c＝0.6。

在本申请实施例中，接收用户上传的至少一个第一素材，通过类别识别模型，确定至少一个第一素材对应的目标素材类别，从素材库中获取属于目标素材类别的目标第二素材，素材库中包括多种素材类别对应的第二素材，如此，基于用户提供的至少一个第一素材和获取的目标第二素材，可以生成内容更加丰富的媒体数据。

图2是根据一示例性实施例示出的一种媒体数据的生成装置的结构示意图，该媒体数据的生成装置可以由软件、硬件或者两者的结合实现。该媒体数据的生成装置可以包括：

接收模块210，用于接收用户上传的至少一个第一素材，第一素材包括图片和/或视频；

确定模块220，用于通过类别识别模型，确定所述至少一个第一素材对应的目标素材类别；

获取模块230，用于从素材库中获取属于所述目标素材类别的目标第二素材，所述素材库中包括多种素材类别对应的第二素材，第二素材包括图片和/或视频；

生成模块240，用于基于所述至少一个第一素材和所述目标第二素材，生成媒体数据。

在本申请一种可能的实现方式中，当所述目标素材类别的数量为多种时，所述获取模块230用于：

基于所述至少一个第一素材的第一总数量，确定第一数值；

在本申请一种可能的实现方式中，所述获取模块230用于：

在本申请一种可能的实现方式中，所述获取模块230还用于：

根据所述操作数据更新所述目标权重。

在本申请一种可能的实现方式中，所述获取模块230用于：

在本申请一种可能的实现方式中，所述生成模块240用于：

需要说明的是：上述实施例提供的媒体数据的生成装置在进行媒体数据的生成时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的媒体数据的生成装置与媒体数据的生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图3是本申请实施例提供的一种电子设备300的结构示意图，该电子设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)301和一个或一个以上的存储器302，其中，所述存储器302中存储有至少一条指令，所述至少一条指令由所述处理器301加载并执行以实现上述各个方法实施例提供的媒体数据的生成方法。

当然，该电子设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该电子设备300还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图1所示实施例提供的媒体数据的生成方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1所示实施例提供的媒体数据的生成方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种媒体数据的生成方法，其特征在于，所述方法包括：

基于所述至少一个第一素材和所述目标第二素材，生成媒体数据；

当所述目标素材类别的数量为多种时，所述从素材库中获取属于所述目标素材类别的目标第二素材，包括：

基于所述至少一个第一素材的第一总数量，确定第一数值；

确定每种目标素材类别对应的第二比例，所述第二比例为所述素材库中属于对应的目标素材类别的第二素材个数与第二总数量的比值，所述第二总数量是指所述素材库中属于多种所述目标素材类别的第二素材的总数量；

2.如权利要求1所述的方法，其特征在于，所述基于所述第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值，包括：

3.如权利要求2所述的方法，其特征在于，所述基于每种目标素材类别对应的平均值和所述第一数值，确定每种目标素材类别对应的第二数值，包括：

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述操作数据更新所述目标权重。

5.如权利要求2-4中的任一项所述的方法，其特征在于，所述基于每种目标素材类别对应的第二数值，从所述素材库中获取属于多个目标素材类别的目标第二素材，包括：

确定属于所述任一目标素材类别的每个第二素材与属于任一目标素材类别的第一素材的相似度；

6.如权利要求5所述的方法，其特征在于，所述确定属于所述任一目标素材类别的每个第二素材与属于所述任一目标素材类别的第一素材的相似度，包括：

对于属于所述任一目标素材类别的任一第二素材，确定所述任一第二素材与属于任一目标素材类别的每个第一素材的相似度，得到所述任一第二素材对应的至少一个相似度；

7.如权利要求5所述的方法，其特征在于，所述基于相似度，从属于所述任一目标素材类别的第二素材中，选择所述第二数值个第二素材，作为属于所述任一目标素材类别的目标第二素材，包括：

8.如权利要求6所述的方法，其特征在于，所述基于相似度，从属于所述任一目标素材类别的第二素材中，选择所述第二数值个第二素材，作为属于所述任一目标素材类别的目标第二素材，包括：

9.如权利要求1所述的方法，其特征在于，所述基于所述至少一个第一素材和所述目标第二素材，生成媒体数据，包括：

10.一种媒体数据的生成装置，其特征在于，所述装置包括：

生成模块，用于基于所述至少一个第一素材和所述目标第二素材，生成媒体数据；

当所述目标素材类别的数量为多种时，所述获取模块用于基于所述至少一个第一素材的第一总数量，确定第一数值；确定每种目标素材类别对应的第一比例，所述第一比例为所述至少一个第一素材中属于对应的目标素材类别的第一素材个数与所述第一总数量的比值；确定每种目标素材类别对应的第二比例，所述第二比例为所述素材库中属于对应的目标素材类别的第二素材个数与第二总数量的比值，所述第二总数量是指所述素材库中属于多种所述目标素材类别的第二素材的总数量；基于所述第一数值、以及每种目标素材类别对应的第一比例和第二比例，确定每种目标素材类别对应的第二数值；基于每种目标素材类别对应的第二数值，从所述素材库中获取属于多个目标素材类别的目标第二素材。

11.一种电子设备，其特征在于，包括：

处理器；

存储器，所述存储器存储有所述处理器可执行的指令；

其中，所述处理器被配置为执行所述指令并实现权利要求1-9任一项所述的方法的步骤。

12.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-9任一项所述的方法的步骤。