CN112989074A

CN112989074A - 多媒体信息推荐方法、装置、电子设备及存储介质

Info

Publication number: CN112989074A
Application number: CN202110440064.3A
Authority: CN
Inventors: 王韵陶; 陈炳文
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-04-23
Filing date: 2021-04-23
Publication date: 2021-06-18

Abstract

本发明提供了一种多媒体信息推荐方法、装置、电子设备，方法包括：确定与待推荐多媒体信息相对应的多媒体信息属性特征，并确定与待推荐多媒体信息相对应的用户属性特征；对标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；基于特征融合处理的结果，通过多媒体信息推荐模型中的融合分类网络对特征融合处理的结果进行特征分类处理，形成特征分类处理结果；基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向目标用户推荐待推荐多媒体信息。由此，不但能够增强多媒体信息推荐的准确性与时效性，有效提多媒体信息的推荐的质量，提升用户的使用体验。

Description

多媒体信息推荐方法、装置、电子设备及存储介质

技术领域

本发明涉及信息处理技术，尤其涉及多媒体信息推荐方法、装置、及电子设备。

背景技术

人工智能（AI，Artificial Intelligence）是计算机科学的一个综合技术，通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，例如自然语言处理技术以及机器学习/深度学习等几大方向，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

传统技术中，采用的协同过滤方式，基于用户曝光历史记录的新鲜度策略，具体为用户终端请求广告，广告系统返回广告，终端曝光广告并产生曝光记录，终端将该曝光记录发送给广告系统，或者协同过滤的方法无法全局利用用户和商品属性的信息，难以进行多个时间周期的特征融合，虽然可以解决冷启动问题，但在用户未涉及类型的相关商品推荐上，所推荐的内容无法触发用户的兴趣。

发明内容

有鉴于此，本发明实施例提供一种多媒体信息推荐方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种多媒体信息推荐方法包括：

获取多媒体信息数据源中的待推荐多媒体信息；

通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征；

通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征；

对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；

基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果；

基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。

本发明实施例还提供了一种多媒体信息推荐装置，包括：

信息传输模块，用于获取多媒体信息数据源中的待推荐多媒体信息；

信息处理模块，用于通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征；

所述信息处理模块，用于通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征；

所述信息处理模块，用于对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；

所述信息处理模块，用于基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果；

所述信息处理模块，用于基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。

上述方案中，

所述信息处理模块，用于对所述待推荐多媒体信息中的多媒体信息标识进行序列化处理，通过所述融合特征处理网络中的标识信息处理网络，对所述多媒体信息的标识进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征；

对所述待推荐多媒体信息中的多媒体信息的文本信息进行文本筛选处理，通过所述融合特征处理网络中的文本信息处理网络，对所述多媒体信息的文本信息进行处理，确定与所述待推荐多媒体信息相匹配的文本嵌入特征；

对所述待推荐多媒体信息中的多媒体信息的信息类型进行分类处理，基于与多媒体信息数据源相对应的统计周期，确定与所述待推荐多媒体信息相匹配的统计特征。

上述方案中，

所述信息处理模块，用于对所述待推荐多媒体信息进行数据筛选处理，解析获取所述待推荐多媒体信息的标题和标签；

触发目标分词库，并通过所述目标分词库对所述待推荐多媒体信息的标题和标签分别进行分词处理，以获得词语级待推荐多媒体信息；

通过所述多媒体信息推荐模型中的文本信息处理网络，对所述词语级待推荐多媒体信息进行向量化处理，形成待推荐多媒体信息的多维词语级标题特征向量和多维词语级标签特征向量。

上述方案中，

所述信息处理模块，用于确定所述待推荐多媒体信息相对应的多媒体信息属性特征中的数值类型属性特征与非数值类型特征；

将所述非数值类型特征转换为数值类型属性特征；

根据多媒体信息的推荐使用环境，确定与所述待推荐多媒体信息相对应的用户属性特征，其中所述用户属性特征包括：性别属性、年龄属性、地域属性。

上述方案中，

所述信息处理模块，用于通过所述融合分类网络中的支持向量机分类网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第一分类结果；

通过所述融合分类网络中的极端梯度提升网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第二分类结果；

通过所述融合分类网络中的支逻辑回归分类网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第三分类结果；

对所述第一分类结果、第二分类结果以及第三分类结果进行融合处理，形成特征分类处理结果。

上述方案中，

所述信息处理模块，用于当所述多媒体信息为短视频中的插播广告信息时，监听所述短视频的曝光参数；

根据所述短视频的曝光参数确定所植入的广告信息对应的曼荣视觉效果指数；

根据所述所植入的广告信息对应的曼荣视觉效果指数，通过所述拓扑文件调整短视频中的插播广告信息对应的播放配置信息。

上述方案中，

所述信息处理模块，用于将所述短视频播放时的曝光参数向监测服务器发送，以实现所述监测服务器获取短视频的曝光参数；

将所述监测服务器所保存的短视频播放时的曝光参数作为多媒体信息的播放效果参数的数据源。

上述方案中，

所述信息处理模块，用于获取目标用户的历史浏览信息；

基于所述目标用户的历史浏览信息，确定与所述历史浏览信息对应的多媒体信息曝光历史；

基于所述历史浏览信息对应的多媒体信息曝光历史，对所述多媒体信息的播放策略进行动态调整。

上述方案中，

所述信息处理模块，用于确定终端显示界面的使用环境；

根据所述终端显示界面的使用环境，确定待播放多媒体信息的品类；

响应于所述待播放多媒体信息的品类，触发相匹配的多媒体信息数据源，以实现通过与待播放多媒体信息的品类相匹配的多媒体信息数据源对所述待播放多媒体信息进行调整。

上述方案中，

所述信息处理模块，用于根据所述待推荐多媒体信息所处多媒体信息推荐环境的类型，确定所述待推荐多媒体信息的历史参数；

基于所述待推荐多媒体信息的历史参数，确定与所述多媒体信息推荐模型相匹配的训练样本集合，其中，所述训练样本集合包括至少一组训练样本；

通过所述多媒体信息推荐模型相匹配的噪音阈值提取与所述训练样本相匹配的训练样本集合；

根据与所述训练样本相匹配的训练样本集合对所述多媒体信息推荐模型进行训练。

上述方案中，

所述信息处理模块，用于确定与所述多媒体信息推荐模型相匹配的多任务损失函数；

基于所述多任务损失函数，调整所述多媒体信息推荐模型中的融合特征处理网络的参数和融合分类网络的网络参数，直至所述多媒体信息推荐模型对应的不同维度的损失函数达到相应的收敛条件；以实现所述多媒体信息推荐模型的参数与多媒体信息推荐环境相适配。

上述方案中，

所述信息处理模块，用于当所述待推荐多媒体信息所处多媒体信息推荐环境为短视频推荐时，确定与所述多媒体信息推荐模型的使用环境相匹配的动态噪声阈值；

根据所述动态噪声阈值对第一训练样本集合进行去除噪声处理，以形成与所述动态噪声阈值相匹配的第二训练样本集合；

当所述待推荐多媒体信息所处多媒体信息推荐环境为即时通讯客户端中播放时，确定与多媒体信息推荐模型相对应的固定噪声阈值，并根据所述固定噪声阈值对第一训练样本集合进行去除噪声处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。

上述方案中所述信息处理模块，用于对与所述待推荐多媒体信息相对应的曝光率进行动态调整；或者

对与所述待推荐多媒体信息相对应的曝光渠道进行调整；或者

对与所述待推荐多媒体信息相对应的曝光位置进行调整。

本发明实施例还提供了一种电子设备，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前述的多媒体信息推荐方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的多媒体信息推荐方法。

本发明实施例具有以下有益效果：

本发明通过获取多媒体信息数据源中的待推荐多媒体信息；通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征；通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征；对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果；基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。由此，可以实现多媒体信息推荐模型能够对使用环境中的多媒体信息进行向不同的用户进行推荐，同时增强了多媒体信息推荐的准确性与时效性，有效提高多媒体信息的推荐的质量，提升用户的使用体验。

附图说明

图1为本发明实施例提供的多媒体信息推荐方法的使用场景示意图；

图2为本发明实施例提供的多媒体信息推荐装置的组成结构示意图；

图3为本发明实施例提供的多媒体信息推荐方法一个可选的流程示意图；

图4为本发明实施例中融合特征处理网络的结构示意图；

图5为本发明实施例中一个可选的多媒体信息推荐的示意图；

图6为本发明实施例提供的多媒体信息推荐方法一个可选的流程示意图；

图7为本发明实施例中多媒体信息推荐模型的训练方法的应用环境示意图；

图8为本发明实施例所提供的多媒体信息推荐方法的工作过程示意图；

图9是本发明实施例提供的多媒体信息推荐装置100的架构示意图；

图10是本发明实施例提供的区块链网络200中区块链的结构示意图；

图11是本发明实施例提供的区块链网络200的功能架构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1）响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

2）基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

3）模型训练，对图像数据集进行多分类学习。该模型可采用Tensor Flow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分类模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。

4）神经网络（Neural Network，NN）：人工神经网络（Artificial Neural Network，ANN），简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

5）多任务学习：Multi-task Learning，在机器学习领域，通过同时对多个相关任务进行联合学习、优化，可以达到比单个任务更好的模型精度，多个任务通过共享表示层来彼此帮助，这种训练方法称为多任务学习，也叫联合学习（Joint Learning）。

6）视频时效性：视频内容在一段时间内具有一定的效果，效果是依靠用户对视频内容的感兴趣度来衡量的。一般来说，时效性就是指一个时间范围内推送视频给用户看也不过期，时效性对端侧线上用户留存、点击和CTR都有重要的作用，在内容时效有效期范围内推送内容给用户能起到正向作用，否则会引起用户的反感。

其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。

需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

7）多媒体信息，互联网中可获取的各种形式的资讯，如客户端或者智能设备中呈现的广告信息、视频文件、待推荐多媒体信息、新闻信息等。

8）曼荣视觉效果指数，具体包括：1、最小曝光，即画面曝光时长必须长于1秒。2、多媒体信息的可视性即所植入的多媒体信息在屏幕上显示的比例必须高于预设的临界值。该临界值由首次曝光和其余曝光的临界值组成。3、清晰度，即清晰度必须高于一个预设的临界值（清晰度阈值），不同的尺寸大小会有不同的预设值。具体的，可以根据以下参数来计算相应多媒体信息的视觉效果指数（VIS）：

曝光尺寸占屏幕的比列参数、显著性参数（嵌入品牌在场景和环境的可见程度）、邻近效果参数（在场景中与主要活动任务/物体的接近程度）。

9）“插播广告”，将产品或品牌信息以一个实物或者一张图片或者一段视频的形式，植入视频内容中，给观众留下品牌印象，以达到营销目的。其中，“广告“的表现形式为多媒体信息，所述多媒体信息的类型包括但不限于：图片、文字、视频、音频。“插播广告”隐藏于载体并和载体融为一体，同时将广告信息用非广告表现方法精心编码，使受众在无意识的状态下，感受到商品和品牌信息，从而接受了广告信息的刺激，由于受众在非对抗状态下接受广告，所以这种广告效果是普通广告所不能达到的。

图1为本发明实施例提供的多媒体信息处理方法的使用场景示意图，参见图1，终端（包括终端10-1和终端10-2）上设置有能够播放植入多媒体信息的相应客户端，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，多媒体信息包括但不限于视频、图片、GIF动画和广告信息。其中，终端（包括终端10-1和终端10-2）通过网络300从相应的服务器200中所获取的多媒体信息类型既可以相同也可以不相同，例如：终端（包括终端10-1和终端10-2）既可以通过网络300从相应的服务器200中获取广告主所投放的视频广告，也可以通过网络300从相应的服务器200中获取广告主所投放的图像广告，具体类型本申请不做限制。服务器200中可以保存有不同的多媒体信息，其中作为广告的多媒体信息可以为不同的动态格式的内容，例如gif、mp4、mov等。

终端（终端10-1和/或终端10-2）在通过网络300向服务器200获取并中现相应的带有植入多媒体信息的业务的过程中，用户可以通过终端（终端10-1和/或终端10-2）对多媒体信息播放窗口中呈现所述多媒体信息进行不同的操作，产生不同的用户行为，例如，当所述多媒体信息为视频广告时，用户在观看信息的过程中可以分享和/或点赞所曝光的短视频，也可以通过点击。当多媒体信息为动态GIF广告时，在广告的通过终端（终端10-1和/或终端10-2）的曝光过程中，用户可以对广告进行转发和/或评论，也可以通过GIF广告跳转至相应的产品购买链接页面。

作为一个示例，服务器200在确定向用户的终端10-1或者10-2推荐何种多媒体信息进行播放时，需要及时地对待播放的多媒体信息进行调整，例如替换待播放多媒体信息集合中的任一多媒体信息，以适配不同目标用户的观看需求，例如可以作为一个示例，服务器200用于布设相应的多媒体信息推荐模型以实现本发明所提供的多媒体信息推荐方法，或者布设多媒体信息推荐装置，以实现多媒体信息推荐方法，具体的，通过获取多媒体信息数据源中的待推荐多媒体信息；通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征；通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征；对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果；基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息，并通过终端（终端10-1和/或终端10-2）展示输出与所述目标用户相匹配的待推荐多媒体信息。以短多媒体信息为例，本发明所提供的多媒体信息推荐模型可以应用于短视频播放，在短视频播放中通常会对不同数据来源的不同短多媒体信息进行处理，最终在用户界面UI（User Interface）上呈现出与相应的不同多媒体信息以及相应的与相应短视频推荐进程相对应的待推荐多媒体信息，不同多媒体信息相的特征的准确性与及时性直接影响了用户体验。视频播放的后台数据库每天都会收到大量不同来源的多媒体信息数据，所得到与向目标用户进行多媒体信息推荐的不同多媒体信息还可以供其他应用程序调用（例如短视频推荐进程的推荐结果迁移至即时通讯客户端中推荐进程或者新闻推荐进程），当然，与相应的目标用户相匹配的多媒体信息推荐模型也可以迁移至不同的视频推荐进程（例如网页视频推荐进程、小程序视频推荐进程或者即时通讯客户端中客户端的视频推荐进程）。

其中，本申请实施例所提供的多媒体信息推荐方法是基于人工智能实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(Speech Technology)中的语音识别技术(AutomaticSpeech Recognition，ASR)，其中包括语音信号预处理(Speech signal preprocessing)、语音信号频域分析(Speech signal frequency analyzing)、语音信号特征提取(Speechsignal feature extraction)、语音信号特征匹配/识别(Speech signal featurematching/recognition)、语音的训练(Speech training)等。

例如可以涉及机器学习(Machine learning，ML)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificial neural network) ，例如卷积神经网络(ConvolutionalNeural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。

可以理解的是，本申请提供的多媒体信息推荐方法以及语音处理可以应用于智能设备(Intelligent device)上，智能设备可以是任何一种具有信息展示功能的设备，例如可以是智能终端、智能家居设备(如智能音箱、智能洗衣机等)、智能穿戴设备(如智能手表)、车载智能中控系统（通过执行不同任务的小程序向用户展示多媒体信息）或者AI智能医疗设备（通过展示多媒体信息展示治疗案例）等。

下面对本发明实施例的多媒体信息推荐装置的结构做详细说明，多媒体信息推荐装置可以各种形式来实施，如带有多媒体信息推荐处理功能的专用终端，也可以为设置有多媒体信息推荐装置处理功能的服务器，例如前序图1中的服务器200。图2为本发明实施例提供的多媒体信息推荐装置的组成结构示意图，可以理解，图2仅仅示出了多媒体信息推荐装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。

本发明实施例提供的多媒体信息推荐装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。多媒体信息推荐装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的多媒体信息推荐装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的多媒体信息推荐装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的多媒体信息推荐模型的训练方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，ProgrammableLogic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。

作为本发明实施例提供的多媒体信息推荐装置采用软硬件结合实施的示例，本发明实施例所提供的多媒体信息推荐装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器201以及连接到总线205的其他组件）完成本发明实施例提供的多媒体信息推荐模型的训练方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的多媒体信息推荐装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的多媒体信息推荐模型的训练方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持多媒体信息推荐装置的操作。这些数据的示例包括：用于在多媒体信息推荐装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从多媒体信息推荐模型的训练方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的多媒体信息推荐装置可以采用软件方式实现，图2示出了存储在存储器202中的多媒体信息推荐装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括多媒体信息推荐装置，多媒体信息推荐装置中包括以下的软件模块：

信息传输模块2081和信息处理模块2082。当多媒体信息推荐装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的多媒体信息推荐模型的训练方法，其中，多媒体信息推荐装置中各个软件模块的功能，包括：信息传输模块，用于响应于多媒体信息推荐请求，获取目标用户的行为参数信息；

信息传输模块2081，用于获取多媒体信息数据源中的待推荐多媒体信息。

信息处理模块2082，用于通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征。

所述信息处理模块2082，用于通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征。

所述信息处理模块2082，用于对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理。

所述信息处理模块2082，用于基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果。

所述信息处理模块2082，用于基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。

根据图2所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述多媒体信息推荐方法的各种可选实现方式中所提供的不同实施例及实施例的组合。

结合图2示出的多媒体信息推荐装置说明本发明实施例提供的多媒体信息推荐方法，参见图3，图3为本发明实施例提供的多媒体信息推荐方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行多媒体信息推荐装置的各种电子设备执行，例如可以是如带有多媒体信息推荐装置的专用终端、服务器或者服务器集群，其中，带有多媒体信息推荐装置的专用终端可以为前序图2所示的实施例中带有多媒体信息推荐装置的电子设备。下面针对图3示出的步骤进行说明。

步骤301：多媒体信息推荐装置接收终端发送的多媒体信息推荐请求。

步骤302：多媒体信息推荐装置响应于多媒体信息推荐请求，获取多媒体信息数据源中的待推荐多媒体信息。

在本发明的一些实施例中，可以通过不同的程序组件对相应的客户端所匹配的用户各类行为的收集，通过对用户行为数据的原始日志进行有效提取，例如提取用户的设备号（用户账号），多媒体信息种类，多媒体信息的浏览时长，以及多媒体信息的浏览完整度参数。其中，用户的历史点击行为及对应资讯的浏览时长会通过订阅服务记录下来并存储在Redis中，在线推荐系统会在用户请求到来时，去拉取对应用户的历史点击行为。进一步地，可以根据所述多媒体信息推荐模型使用环境，确定与所述多媒体信息推荐模型使用环境相匹配的曝光阈值；获取所述多媒体信息源中的不同多媒体信息所携带的曝光量参数；通过所述曝光阈值对所述不同多媒体信息所携带的曝光量参数进行遍历，确定所述多媒体信息推荐模型使用环境中的待推荐多媒体信息。

步骤303：多媒体信息推荐装置通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征。

在本发明的一些实施例中，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征，可以通过以下方式实现：

对所述待推荐多媒体信息中的多媒体信息标识进行序列化处理，通过所述融合特征处理网络中的标识信息处理网络，对所述多媒体信息的标识进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征；对所述待推荐多媒体信息中的多媒体信息的文本信息进行文本筛选处理，通过所述融合特征处理网络中的文本信息处理网络，对所述多媒体信息的文本信息进行处理，确定与所述待推荐多媒体信息相匹配的文本嵌入特征；对所述待推荐多媒体信息中的多媒体信息的信息类型进行分类处理，基于与多媒体信息数据源相对应的统计周期，确定与所述待推荐多媒体信息相匹配的统计特征。其中，多媒体信息数据源中的待推荐多媒体信息通常携带有基础特征，便于提供给不同的多媒体信息播放客户端进行推荐，例如，多媒体信息为广告视频时，可以向视频客户端进行推荐，多媒体信息为新闻信息时，可以向即时通讯客户端进行推荐，多媒体信息中所包括的不同类型子信息可以包括：多媒体信息标识、多媒体信息所包括的文本信息以及多媒体信息的信息类型，以视频广告为例，多媒体信息标识可以通过定义方式对视频广告进行基础描述，包含视频广告类别、视频标签、视频发布来源、视频时长、发布时间、对应的广告主等不同的信息。

以多媒体信息为商品广告为例，获得标识嵌入特征时，可以按照商品名称排序得到ID编号，对一段时间内展示给用户的广告商品进行序列化统计，通过表1确定点击序列格式。

表1

其中，（1）商品用商品ID作为唯一标识；（2）在规定的T分钟内多次推送相同的商品，记为1次；（3）商品广告展示给用户顺序按照展示的时间进行排序。

在本发明的一些实施例中，对所述待推荐多媒体信息中的多媒体信息的文本信息进行文本筛选处理，通过所述融合特征处理网络中的文本信息处理网络，对所述多媒体信息的文本信息进行处理，确定与所述待推荐多媒体信息相匹配的文本嵌入特征，可以通过以下方式实现：

对所述待推荐多媒体信息进行数据筛选处理，解析获取所述待推荐多媒体信息的标题和标签；触发目标分词库，并通过所述目标分词库对所述待推荐多媒体信息的标题和标签分别进行分词处理，以获得词语级待推荐多媒体信息；通过所述多媒体信息推荐模型中的文本信息处理网络，对所述词语级待推荐多媒体信息进行向量化处理，形成待推荐多媒体信息的多维词语级标题特征向量和多维词语级标签特征向量。其中，在获得文本嵌入特征时，对于商品广告信息，可以通过以下处理方式：（1）删除商品广告信息中的标点、字母、数字、特殊符号，例如：删除[a-zA-Z0-9’!"#$%&\'()*+，-./:;<=>

@，。

★、…【】《》

“”‘’！[\\]^_`{|}~]+等内容，便于文本信息处理网络的处理。

（2）删除规定的停用词，如：“的”、“哦”、“呀”……。

（3）配置自定义的分词词典，分词词典中可以包括某个商品的名称、广告中的常用词汇。

（4）对筛选好的广告的文本进行分词处理，将每段文本变成词序列，形成的分词序列如表2所示。

表2 分词序列格式

其中，（1）文本为广告描述或推送内容，用广告ID作为唯一标识，（2）生成分词序列后，需要对分词序列进行去重处理，保证每个分词序列都是唯一的，以减少对于重复内容的处理，提升信息处理的速度。

在本发明的一些实施例中，参考图4，图4为本发明实施例中融合特征处理网络的结构示意图，继续以多媒体信息为商品广告为例，每个ID可以编码成独热编码（one-hot）格式，输入层（input）的大小为1*N，其中N为ID的个数。隐藏层（hidden）可以表示为权重矩阵W，大小为V*N，每一行代表一个ID的嵌入向量（embedding），向量其中V为ID的长度，N为隐层神经元个数，同时也embedding向量的维度。隐层到输出层（output）的权重矩阵可以用O表示，大小为N*V，从input到hidden的输出可以表示为公式1：

公式1

从hidden到output的输出可以表示为公式2：

公式2

使用softmax函数将output的输出结果进行归一化处理调整至[0，1]，广告标识IDt出现的条件下，广告标识IDj出现的概率可以表示为公式3：

公式3

由于Skig-gram是单输入多输出，因此通过上述公式3预测的是给定广告标识IDt的情况，预测上下文多个广告标识ID时，损失函数可以示为公式4：

公式4

由于公式4的复杂性，因此，可以对公式4进行处理，形成公式5，并表示为公式6所示的最小化损失函数：

公式5

公式6

通过最小化损失函数，更新权重矩阵W的参数，最终得到每个广告标识ID的embedding特征。

对于商品ID序列特征，生成的嵌入特征向量为每个商品ID对应的V维向量，如表3所示（商品ID向量格式以5维为例）。每个用户对应的商品展示序列的词向量可以通过商品序列所包含的所有商品ID向量的加权求和并去平均值获得。

表3

其中，对于文本分词序列，生成的嵌入特征向量为每个词一个V维向量，如表4（词向量格式以5维为例）所示，待推荐多媒体信息的文本的词向量可以通过该段文本所有单词向量的加权求和并取平均值获得。

表4

步骤304：多媒体信息推荐装置通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征。

步骤305：多媒体信息推荐装置对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理。

进一步地，融合特征时，需要确定所述待推荐多媒体信息相对应的多媒体信息属性特征中的数值类型属性特征与非数值类型特征；将所述非数值类型特征转换为数值类型属性特征；根据多媒体信息的推荐使用环境，确定与所述待推荐多媒体信息相对应的用户属性特征，其中所述用户属性特征包括：性别属性、年龄属性、地域属性。其中，将商品属性分为可数值型属性和非数值型属性。数值型属性可直接作为计算特征，而非数值型属性需要先转化为可计算的数值特征。例如，商品有10个类别，将10个类别一次编号为1-10，转化成one-hot的稀疏向量，用于特征计算。比如A商品属于10个类别中的第3类，那该商品类属性的特征为[0，0，1，0，0，0，0，0，0，0]。

进一步地，将每个用户的广告推送数据，按照营销类和会员交互类，以商品名称按多个周期进行统计，例如1周、2周、1月、3月、6月、12月的广告推送情况，统计格式举例如表5（单个用户与A商品的多周期统计特征）和表6（单个用户与B商品的多周期统计特征）所示：

表5

表6

假设统计周期为6个，商品个数为10个，那么单个用户的多周期统计特征为6（周期数）*10（商品数）*2（推送类别）=120维长度的特征向量。

其中，用户属性特征包括但不限于：性别、年龄、地域等。对于性别特征，可直接用0和1表示不同的性别；对于年龄，可以由小到大划分为7个年龄段，每个年龄分别用整数1-7进行标识，划分方法为：0-18、18-25、25-30、30-40、40-50、50-60、60以上；对于地域，可以将所有地域进行编号，使用one-hot稀疏向量的方式表示地域特征。

步骤306：多媒体信息推荐装置基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果。

在本发明的一些实施例中，基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果，可以通过以下方式实现：

通过所述融合分类网络中的支持向量机分类网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第一分类结果；通过所述融合分类网络中的极端梯度提升网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第二分类结果；通过所述融合分类网络中的支逻辑回归分类网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第三分类结果；对所述第一分类结果、第二分类结果以及第三分类结果进行融合处理，形成特征分类处理结果。

下面对不同的分类器网络分别进行说明，其中，SVM分类器网络是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题，可以通过公式7表示：

公式7

通过求解参数公式7中的w和b，即可得到SVM分类模型的模型参数。

同时，SVM可以引入核函数，将数据从原本的线性空间升到更高为的空间，将线性不可分问题变为线性可分问题。

极端梯度提升模型（XGBoost，Xtreme Gradient Boosting）进行处理时，极端梯度提升模型XGBoost是机器学习领域中迭代的决策树算法（GBDT Gradient BoostingDecision Tree）的改进型算法。对于给定的样本量n，变量维度m的数据集D，可以记为：

以加法集成树模型拟合数据，可表达成以下形式：

；

其中f_k表示函数空间Γ的一个函数，代表一个树模型，包含具体的树结构和和叶子节点等信息。

之后对于目标函数进行最小化处理，即：

，

其中，Ω(f_k) 为正则化项，表示为

，M _k为叶子节点个数，w _kj为叶子节点系数，γ表示节点切分的难度，λ表示L2正则化系数，

为损失函数，表示

与

之间的偏差。

因为要得到的所有树模型的一个集合，但是又无法一次获得，那么可以采取一个种方式就为：将上一次即（t-1）次所得的模型先固定下来，然后下一次即t次训练时，就在之前固定的结果的基础上进行训练，得到对应的第t颗树，以此类推，依次进行训练。其中，第t次的预测结果表达为：

，

则目标函数为：

对其使用二阶泰勒展开，

其中

删除常数项后得到：

定义

为第j个叶子节点，将Ω(f_t) 展开得到：

由此可得：

；

最终目标函数为：

该目标函数Obj ^t*可以衡量树结构好坏的标准，值越小，代表这样的结构越好。通过该目标函数选择最佳切分点，从而构建分类与回归树（CARTC lassification andregression tree）。

最后，对于Logistic回归分类器（简称LR），逻辑回归是在线性回归的基础上，套用了一个Logistic函数，对于两类问题，其分类判别函数为：

其中，w为模型参数。

对于模型的参数求解采用极大似然估计，即找到一组参数，使得在这组参数下，其中，数据的似然度（概率）越大。在逻辑回归模型中，似然度可表示为：

取对数可以得到对数似然度：

将上式作为目标函数，利用梯度下降法进行求解参数。

在本发明的一些实施例中，在进行融合分类处理时，将SVM、XGBoost和LR分类器得到的结果进行加权融合，并通过公式8进行表示：

F= a_1fsvm+a₂ f_XGBoost+a₃ f_LR 公式8

其中，f_svm、f_XGBoost f_LR 分别为SVM、XGBoost、LR分类器的打分结果，a₁、a₂、a₃ 分别为三个分类器的权重，且a₁+a₂+a₃ =1。

最终，融合的结果将表示用户对某个商品意向程度的结果。

步骤307：多媒体信息推荐装置基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。

参见图5，图5为本发明实施例中一个可选的多媒体信息推荐的示意图，其中，所有任务共用一个网络结构，但不同网络层次提取出的特征对应不同的任务。一般来说，模型结构的底层对应复杂度较小的NLP任务，在使用时，当目标资源中包括同一广告主的不同广告时，可以在时效类短视频播放窗口中依次播放不同资源组中所包括的时效类短视频广告信息，当显示界面中的所有时效类短视频播放区域被广告主承包时，广告信息播放结束时，可以在广告信息展示界面的时效类短视频播放窗口中循环呈现同一广告主的广告信息，同时当广告主的时效类短视频为视频广告时，可以在循环呈现同一广告主的视频广告信息，依次调整视频所携带的音频音量至最大，以提示用户观看所播放的视频广告。由广告A替换为广告B，达到为广告B配置更多的播放流量，实现用户获得更好的观看体验。具体来说，基于广告信息的播放策略匹配的流量参数以及迭代实验参数，对广告信息的播放策略进行动态调整时，对于广告曝光率可以增加，在本发明的一些实施例中，还可以将广告A的曝光渠道由当前的短多媒体信息播放客户端中曝光调整至即时通讯客户端的联系人状态信息中进行广告投放，当然广告A的曝光位置进行调整时可以由即时通讯客户端的朋友圈广告调整至开屏广告，以符合不同的动态调整的播放策略，使得时效类的短视频能够在短时间内向不同的用户进行推荐，以获得更好的视频推荐效果。以图5为例，当确定目标用户1的历史浏览信息中曾经屏蔽广告B时，通过动态调整播放策略可以使用其他广告信息（例如广告C）替换广告A，当确定目标用户2的历史浏览信息中曾经屏蔽广告C时，通过动态调整播放策略可以使用其他广告信息（例如广告D）替换广告A，以符合目标用户的使用习惯，使得用户获得更好的使用体验。

结合图2示出的多媒体信息推荐装置说明本发明实施例提供的多媒体信息推荐方法，参见图6，图6为本发明实施例提供的多媒体信息推荐方法一个可选的流程示意图，可以理解地，图6所示的步骤可以由运行多媒体信息推荐装置的各种电子设备执行，例如可以是如带有多媒体信息推荐装置的专用终端、服务器或者服务器集群，其中，带有多媒体信息推荐装置的专用终端可以为前序图2所示的实施例中带有多媒体信息推荐装置的电子设备。下面针对图6示出的步骤进行说明。

步骤601：根据所述待推荐多媒体信息所处多媒体信息推荐环境的类型，确定所述待推荐多媒体信息的历史参数。

步骤602：基于所述待推荐多媒体信息的历史参数，确定与所述多媒体信息推荐模型相匹配的训练样本集合。

步骤603：通过所述多媒体信息推荐模型相匹配的噪音阈值提取与所述训练样本相匹配的训练样本集合。

步骤604：确定与所述多媒体信息推荐模型相匹配的多任务损失函数。

步骤605：基于所述多任务损失函数，调整所述多媒体信息推荐模型中的融合特征处理网络的参数和融合分类网络的网络参数。

由此，在训练过程中，直至所述多媒体信息推荐模型对应的不同维度的损失函数达到相应的收敛条件；可以实现所述多媒体信息推荐模型的参数与多媒体信息推荐环境相适配。其中，例如，在多媒体信息推荐模型的使用环境为短视频推荐时，短视频进程中向用户推荐不同的短视频的过程中，短视频播放界面可以是相应的APP中所展现的，也可以是通过即时通讯客户端小程序所触发的（多媒体信息推荐模型可以经过训练后封装于相应的APP或以插件形式保存于即时通讯客户端小程序中），随着短视频应用产品不断发展增多，多媒体信息的承载量远远大于文字信息，短视频服务器中的不同的类型的短视频可以通过相应的应用程序不间断地向用户进行推荐，而这一训练过程中，通过即时通讯客户端小程序触发短视频推荐的使用环境中，与所述多媒体信息推荐模型的使用环境相匹配的动态噪声阈值需要小于直接在短多媒体信息播放客户端中向用户推荐短视频的动态噪声阈值。

在本发明的一些实施例中，当所述多媒体信息推荐模型应用于新闻信息推荐进程中时，确定与所述新闻信息推荐进程相对应的固定噪声阈值，并根据所述固定噪声阈值对第一训练样本集合进行去噪处理，以形成与所述固定噪声阈值相匹配的第二训练样本集合。其中，当多媒体信息推荐模型固化于相应的硬件机构（例如新闻阅读终端、电子书终端、财经新闻终端）中，使用环境为通过新闻阅读终端或电子书终端向用户推送不同的新闻资讯时，通过固定多媒体信息推荐模型相对应的固定噪声阈值，能够有效提升多媒体信息推荐模型的训练速度，减少用户的等待时间。其中，当噪声固定的使用环境中，训练样本集合可以来自目标用户的历史数据，历史的推荐多媒体信息浏览数据可以是曾经为目标用户推荐推荐多媒体信息时产生的推荐多媒体信息查看行为数据，可以从历史浏览日志中提取。这里历史的推荐多媒体信息浏览数据可以是全部的历史的推荐多媒体信息浏览数据；也可以考虑到行为数据的时效性，仅包括预设时间段内的历史的推荐多媒体信息浏览数据，比如一周内的历史的推荐多媒体信息浏览数据等不同的历史数据。

下面以短视频播放界面中的商品插播广告信息推荐场景为例对本发明实施例所提供的多媒体信息推荐模型的训练方法进行说明，其中，图7为本发明实施例中多媒体信息推荐模型的训练方法的应用环境示意图，其中，如图7所示，商品插播广告信息播放界面可以是相应的APP中所展现的，也可以是通过即时通讯客户端小程序所触发的（多媒体信息推荐模型可以经过训练后封装于相应的APP或以插件形式保存于即时通讯客户端小程序中，使用环境为新闻资讯的推荐），随着短视频应用产品不断发展增多，视频新闻多媒体信息的承载量远远大于文字信息，商品插播广告信息可以通过相应的应用程序不间断地向用户进行推荐。例如即时通讯客户端应用的发现页面中包括的“看一看”入口，或者音频应用的音频推荐入口，或者视频应用的视频推荐入口，或者直播应用的直播推荐入口等。目标终端在根据用户操作运行目标应用，并控制目标应用展示包括用于触发开启推荐内容展示页面的触发入口的应用页面时，可检测对该触发入口的触发操作。当产生对应于该触发入口的触发操作时，向服务器发送推荐请求，并在接收到服务器响应于该推荐请求反馈的推荐内容后，在推荐内容展示页面将推荐内容按照推荐顺序展示。

参考图8，图8为本发明实施例所提供的多媒体信息推荐方法的工作过程示意图，下面结合图8所示的多媒体信息推荐方法的对本发明所提供的多媒体信息推荐模型的工作过程进行说明，其中，多媒体信息为广告，具体包括以下步骤：

步骤801：获取广告推送数据。

步骤802：对广告推送数据进行数据预处理。

步骤803：对商品ID进行序列化处理。

步骤804：对广告的文本进行切分、序列化处理。

步骤805：对推送数据进行分类处理。

步骤806：对多媒体信息推荐模型训练，确定多媒体信息推荐模型的初始模型参数。

步骤807：确定所述多媒体信息推荐模型的更新参数。

步骤808：对推送数据的分类处理结果，进行统计周期划分。

步骤809：确定广告信息的商品属性。

步骤810：获得标识嵌入特征。

步骤811：获得文本嵌入特征。

步骤812：获得统计特征。

步骤813：获取用户属性特征，并进行数据预处理。

步骤814：对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理。

步骤815：通过SVM分类器获得第一分类结果。

步骤816：通过XGBoost分类器获得第二分类结果。

步骤817：通过Logistic分类器获得第三分类结果。

步骤818：对第一分类结果、第二分类结果以及第三分类结果进行融合处理，形成特征分类处理结果。

步骤819：基于特征分类处理结果，确定推荐人群。

在本发明的一些实施例中，还可以：

将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识发送至区块链网络，以使

所述区块链网络的节点将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识填充至新区块，且当对所述新区块共识一致时，将所述新区块追加至区块链的尾部，以实现不同使用环境中终端均能够获取所述区块中的信息，其中，所述标识信息用于表征广告主投放的多媒体信息。

参见图9，图9是本发明实施例提供的多媒体信息推荐装置100的架构示意图，包括区块链网络200（示例性示出了共识节点210-1至共识节点210-3）、认证中心300、业务主体400和业务主体500，下面分别进行说明。

区块链网络200的类型是灵活多样的，例如可以为公有链、私有链或联盟链中的任意一种。以公有链为例，任何业务主体的电子设备例如用户终端和服务器，都可以在不需要授权的情况下接入区块链网络200；以联盟链为例，业务主体在获得授权后其下辖的电子设备（例如终端/服务器）可以接入区块链网络200，此时，成为区块链网络200中的客户端节点。

在一些实施例中，客户端节点可以只作为区块链网络200的观察者，即提供支持业务主体发起交易（例如，用于上链存储数据或查询链上数据）功能，对于区块链网络200的共识节点210的功能，例如排序功能、共识服务和账本功能等，客户端节点可以缺省或者有选择性（例如，取决于业务主体的具体业务需求）地实施。从而，可以将业务主体的数据和业务处理逻辑最大程度迁移到区块链网络200中，通过区块链网络200实现数据和业务处理过程的可信和可追溯。

区块链网络200中的共识节点接收来自不同业务主体（例如图9中示出的业务主体400和业务主体500）的客户端节点（例如，图9中示出的归属于业务主体400的客户端节点410、以及归属于服务器500的客户端节点510）提交的交易，执行交易以更新账本或者查询账本，执行交易的各种中间结果或最终结果可以返回业务主体的客户端节点中显示。

例如，客户端节点410/510可以订阅区块链网络200中感兴趣的事件，例如区块链网络200中特定的组织/通道中发生的交易，由共识节点210推送相应的交易通知到客户端节点410/510，从而触发客户端节点410/510中相应的业务逻辑。

下面以多个业务主体接入区块链网络以实现多媒体信息的管理与处理为例，说明区块链网络的示例性应用。

参见图9，管理环节涉及的多个业务主体，如业务主体400可以是承载有的多媒体信息推荐装置，业务主体500可以是带有多媒体信息显示（操作）功能的显示系统，从认证中心300进行登记注册获得各自的数字证书，数字证书中包括业务主体的公钥、以及认证中心300对业务主体的公钥和身份信息签署的数字签名，用来与业务主体针对交易的数字签名一起附加到交易中，并被发送到区块链网络，以供区块链网络从交易中取出数字证书和签名，验证消息的可靠性（即是否未经篡改）和发送消息的业务主体的身份信息，区块链网络会根据身份进行验证，例如是否具有发起交易的权限。业务主体下辖的电子设备（例如终端或者服务器）运行的客户端都可以向区块链网络200请求接入而成为客户端节点。

业务主体400的客户端节点410用于确定与终端显示界面中所展示的信息流相匹配的操作参数，其中，所述操作参数用于表征与终端显示界面所展示的信息流进行交互过程中不同操作所产生的参数；根据所述操作参数，确定与所述操作参数相匹配的状态特征；响应于所述状态特征，触发与所述状态特征相对应的控制组件，过所述控制组件确定与所述状态特征相匹配的多媒体信息；通过所述终端显示界面呈现相应的多媒体信息，将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识发送至区块链网络200。

其中，将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识发送至区块链网络200，可以预先在客户端节点410设置业务逻辑，当形成相应的多媒体信息时，客户端节点410将将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识自动发送至区块链网络200，也可以由业务主体400的业务人员在客户端节点410中登录，手动打包目与所述使用环境中相匹配的新的多媒体信息，并将其发送至区块链网络200。在发送时，客户端节点410根据与所述使用环境中相匹配的新的多媒体信息生成对应更新操作的交易，在交易中指定了实现更新操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点410的数字证书、签署的数字签名（例如，使用客户端节点410的数字证书中的私钥，对交易的摘要进行加密得到），并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易时，对交易携带的数字证书和数字签名进行验证，验证成功后，根据交易中携带的业务主体400的身份，确认业务主体400是否是具有交易权限，数字签名和权限验证中的任何一个验证判断都将导致交易失败。验证成功后签署节点210自己的数字签名（例如，使用节点210-1的私钥对交易的摘要进行加密得到），并继续在区块链网络200中广播。

区块链网络200中的共识节点210接收到验证成功的交易后，将交易填充到新的区块中，并进行广播。区块链网络200中的共识节点210广播的新区块时，会对新区块进行共识过程，如果共识成功，则将新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交更新多媒体信息、将所述目标用户的标识信息、所述控制组件信息的交易，在状态数据库中添加包括将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识的键值对。

业务主体500的业务人员在客户端节点510中登录，输入多媒体信息或者多媒体信息查询请求，客户端节点510根据多媒体信息或者多媒体信息查询请求生成对应更新操作/查询操作的交易，在交易中指定了实现更新操作/查询操作需要调用的智能合约、以及向智能合约传递的参数，交易还携带了客户端节点510的数字证书、签署的数字签名（例如，使用客户端节点510的数字证书中的私钥，对交易的摘要进行加密得到），并将交易广播到区块链网络200中的共识节点210。

区块链网络200中的共识节点210中接收到交易，对交易进行验证、区块填充及共识一致后，将填充的新区块追加到自身所存储的区块链的尾部，并根据交易的结果更新状态数据库，执行新区块中的交易：对于提交的更新某一多媒体信息对应的人工识别结果的交易，根据人工识别结果更新状态数据库中该多媒体信息对应的键值对；对于提交的查询某个多媒体信息的交易，从状态数据库中查询多媒体信息对应的键值对，并返回交易结果。

值得说明的是，在图9中示例性地示出了将待推荐多媒体信息、特征分类处理结果以及待推荐多媒体信息相匹配的目标用户的标识接上链的过程，但在另一些实施例中，对于多媒体信息的数据量较大的情况，客户端节点410可将多媒体信息的哈希以及相应的多媒体信息的哈希成对上链，将原始的多媒体信息以及相应的多媒体信息存储于分布式文件系统或数据库。客户端节点510从分布式文件系统或数据库获取到多媒体信息以及相应的多媒体信息后，可结合区块链网络200中对应的哈希进行校验，从而减少上链操作的工作量。

作为区块链的示例，参见图10，图10是本发明实施例提供的区块链网络200中区块链的结构示意图，每个区块的头部既可以包括区块中所有交易的哈希值，同时也包含前一个区块中所有交易的哈希值，新产生的交易的记录被填充到区块并经过区块链网络中节点的共识后，会被追加到区块链的尾部从而形成链式的增长，区块之间基于哈希值的链式结构保证了区块中交易的防篡改和防伪造。其中，存储在区块链网络中的多媒体信息可以是某一广告主所投放的单一多媒体信息（例如广告主投放的一张图片或者一张海报、或者一段视频），通过存储在区块链网络中可以实现不同的节点之间共享这些多媒体信息。

下面说明本发明实施例提供的区块链网络的示例性的功能架构，参见图11，图11是本发明实施例提供的区块链网络200的功能架构示意图，包括应用层201、共识层202、网络层203、数据层204和资源层205，下面分别进行说明。

资源层205封装了实现区块链网路200中的各个节点210的计算资源、存储资源和通信资源。

数据层204封装了实现账本的各种数据结构，包括以文件系统中的文件实现的区块链，键值型的状态数据库和存在性证明（例如区块中交易的哈希树）。

网络层203 封装了点对点（P2P，Point to Point）网络协议、数据传播机制和数据验证机制、接入认证机制和业务主体身份管理的功能。

其中，P2P网络协议实现区块链网络200中节点210之间的通信，数据传播机制保证了交易在区块链网络200中的传播，数据验证机制用于基于加密学方法（例如数字证书、数字签名、公/私钥对）实现节点210之间传输数据的可靠性；接入认证机制用于根据实际的业务场景对加入区块链网络200的业务主体的身份进行认证，并在认证通过时赋予业务主体接入区块链网络200的权限；业务主体身份管理用于存储允许接入区块链网络200的业务主体的身份、以及权限（例如能够发起的交易的类型）。

共识层202封装了区块链网络200中的节点210对区块达成一致性的机制（即共识机制）、交易管理和账本管理的功能。共识机制包括POS、POW和DPOS等共识算法，支持共识算法的可插拔。

交易管理用于验证节点210接收到的交易中携带的数字签名，验证业务主体的身份信息，并根据身份信息判断确认其是否具有权限进行交易（从业务主体身份管理读取相关信息）；对于获得接入区块链网络200的授权的业务主体而言，均拥有认证中心颁发的数字证书，业务主体利用自己的数字证书中的私钥对提交的交易进行签名，从而声明自己的合法身份。

账本管理用于维护区块链和状态数据库。对于取得共识的区块，追加到区块链的尾部；执行取得共识的区块中的交易，当交易包括更新操作时更新状态数据库中的键值对，当交易包括查询操作时查询状态数据库中的键值对并向业务主体的客户端节点返回查询结果。支持对状态数据库的多种维度的查询操作，包括：根据区块向量号（例如交易的哈希值）查询区块；根据区块哈希值查询区块；根据交易向量号查询区块；根据交易向量号查询交易；根据业务主体的账号（向量号）查询业务主体的账号数据；根据通道名称查询通道中的区块链。

应用层201 封装了区块链网络能够实现的各种业务，包括交易的溯源、存证和验证等。

以多媒体信息为视频广告为例，由于向不同多媒体信息播放客户端进行推荐的视频广告与目标用户相匹配，由此，可以激发用户观看视频广告的兴趣，提升用户对视频广告的点击率，使得视频广告投放获得更好的效果。

在本发明的一些实施例中，多媒体信息推荐方法还包括：

有益技术效果：

本发明通过获取多媒体信息数据源中的待推荐多媒体信息；通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征；通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征；对所述标识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征进行特征融合处理；基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果；基于特征分类处理结果，确定与多媒体信息数据源中的待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。由此，可以实现多媒体信息推荐模型能够对使用环境中的多媒体信息进行向不同的用户进行推荐，同时增强了多媒体信息推荐的准确性与时效性，有效提高多媒体信息的推荐的质量，提升用户的使用体验，同时标识嵌入特征、文本嵌入特征，以及统计特征，既可以作为融合分类网络所需要的特征，也可以作为短期内用户兴趣画像以供其他推荐算法的使用。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多媒体信息推荐方法，其特征在于，所述方法包括：

获取多媒体信息数据源中的待推荐多媒体信息；

基于特征分类处理结果，确定与所述待推荐多媒体信息相匹配的目标用户，并向所述目标用户推荐所述待推荐多媒体信息。

2.根据权利要求1所述的方法，其特征在于，所述通过多媒体信息推荐模型中的融合特征处理网络，对所述待推荐多媒体信息中所包括的不同类型子信息进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征、文本嵌入特征，以及统计特征，包括：

对所述待推荐多媒体信息中的多媒体信息标识进行序列化处理，通过所述融合特征处理网络中的标识信息处理网络，对所述多媒体信息的标识进行处理，确定与所述待推荐多媒体信息相匹配的标识嵌入特征；

3.根据权利要求2所述的方法，其特征在于，所述对所述待推荐多媒体信息中的多媒体信息的文本信息进行文本筛选处理，通过所述融合特征处理网络中的文本信息处理网络，对所述多媒体信息的文本信息进行处理，确定与所述待推荐多媒体信息相匹配的文本嵌入特征，包括：

对所述待推荐多媒体信息进行数据筛选处理，解析获取所述待推荐多媒体信息的标题和标签；

4.根据权利要求1所述的方法，其特征在于，所述通过对所述待推荐多媒体信息的属性类型进行转换处理，确定与所述待推荐多媒体信息相对应的多媒体信息属性特征，并确定与所述待推荐多媒体信息相对应的用户属性特征，包括：

确定所述待推荐多媒体信息相对应的多媒体信息属性特征中的数值类型属性特征与非数值类型特征；

将所述非数值类型特征转换为数值类型属性特征；

5.根据权利要求1所述的方法，其特征在于，所述基于特征融合处理的结果，通过所述多媒体信息推荐模型中的融合分类网络对所述特征融合处理的结果进行特征分类处理，形成特征分类处理结果，包括：

通过所述融合分类网络中的支持向量机分类网络，对所述识嵌入特征、文本嵌入特征、统计特征、多媒体信息属性特征以及用户属性特征的融合处理结果进行分类，获得第一分类结果；

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述多媒体信息为短视频中的插播广告信息时，监听所述短视频的曝光参数；

根据所述所植入的广告信息对应的曼荣视觉效果指数，通过拓扑文件调整短视频中的插播广告信息对应的播放配置信息。

7.据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述短视频播放时的曝光参数向监测服务器发送，以实现所述监测服务器获取短视频的曝光参数；

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标用户的历史浏览信息；

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定终端显示界面的使用环境；

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述待推荐多媒体信息所处多媒体信息推荐环境的类型，确定所述待推荐多媒体信息的历史参数；

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

确定与所述多媒体信息推荐模型相匹配的多任务损失函数；

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

当所述待推荐多媒体信息所处多媒体信息推荐环境为短视频推荐时，确定与所述多媒体信息推荐模型的使用环境相匹配的动态噪声阈值；

13.一种多媒体信息推荐装置，其特征在于，所述装置包括：

14.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至12任一项所述多媒体信息推荐方法。

15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1-12任一项所述多媒体信息推荐方法。