CN116129181A - 展示信息推送方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种展示信息推送方法、装置、电子设备及存储介质，该方法包括：获取待推荐信息对应的展示图像、待推荐信息对应的推荐对象类别以及待推荐信息对应的交互预测特征；获取展示图像的图像特征，并基于推荐对象类别对图像特征进行特征筛选处理，得到类别门控特征；根据交互预测特征和类别门控特征，得到目标用户账号对待推荐信息的交互预测结果；在交互预测结果符合预设条件的情况下，向目标用户帐号推送待推荐信息，并展示展示图像。利用本公开实施例可以丰富预测交互结果所使用数据的维度，提升交互预测结果的准确性，根据该交互预测结果推荐信息，可以有效提升信息推荐的精确性。

Description

展示信息推送方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种展示信息推送方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，基于神经网络和特征表征的深度学习技术在推荐系统中获得广泛的应用。

相关技术中，基于采集的多媒体资源样本数据，如资源标识，训练推荐模型，并以相应标签，如资源点击通过率，为监督信号约束推荐模型训练，使得训练出的推荐模型能够输出用于推荐的指标数据。

相关技术中，信息推荐所使用数据的维度较少，信息推荐的精确性较低。

发明内容

本公开提供一种展示信息推送方法、装置、电子设备及存储介质，以至少解决相关技术中信息推荐精确性较低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种展示信息推送方法，所述方法包括：

获取待推荐信息对应的展示图像、所述待推荐信息对应的推荐对象类别以及所述待推荐信息对应的交互预测特征，所述交互预测特征表征目标用户帐号对所述待推荐信息的交互预测情况；

获取所述展示图像的图像特征，并基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征；所述类别门控特征表征所述目标用户帐号对所述展示图像的交互预测情况；

根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果；

在所述交互预测结果符合预设条件的情况下，向所述目标用户帐号推送所述待推荐信息，并展示所述展示图像。

在一些可能的设计中，所述基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征，包括：

确定所述推荐对象类别对应的类别特征；

对所述图像特征进行池化处理，得到池化图像特征；

将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征，包括：

将所述池化图像特征与所述类别特征进行拼接，得到拼接特征；

对所述拼接特征进行特征选择处理，得到选择后的拼接特征；

将所述选择后的拼接特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述池化图像特征包括最大池化特征和平均池化特征，所述将所述池化图像特征与所述类别特征进行拼接，得到拼接特征，包括：

将所述类别特征与所述最大池化特征进行拼接，得到第一拼接特征；

将所述类别特征与所述平均池化特征进行拼接，得到第二拼接特征；

其中，所述拼接特征包括所述第一拼接特征和第二拼接特征。

在一些可能的设计中，所述对所述拼接特征进行特征选择处理，得到选择后的拼接特征，包括：

对所述第一拼接特征和所述第二拼接特征进行特征选择处理，得到所述第一拼接特征和所述第二拼接特征各自对应的选择后特征；

对所述第一拼接特征和所述第二拼接特征各自对应的选择后特征进行平均处理，得到所述选择后的拼接特征。

在一些可能的设计中，所述获取所述展示图像的图像特征，包括：

将所述展示图像输入训练好的视觉模型进行特征提取处理，得到所述图像特征，所述视觉模型是以样本展示信息对应的交互指标标签数据为监督信息进行训练的，所述交互指标标签数据表征样本用户帐号与所述样本展示信息之间的实际交互结果。

在一些可能的设计中，所述根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果，包括：

将所述交互预测特征和所述类别门控特征进行融合，得到融合交互预测特征；

将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果；

其中，所述交互预测模型是与所述视觉模型联合训练的。

在一些可能的设计中，所述交互预测模型是多门控混合网络模型，所述多门控混合网络模型是指混合有多个门控网络和多个分支网络的神经网络模型，所述将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果，包括：

将所述融合特征输入所述多个分支网络进行处理，得到所述多个分支网络中每一分支网络输出的特征数据，所述多个门控网络包括目标门控网络，所述目标门控网络与所述交互指标数据对应；

将所述融合特征输入所述目标门控网络进行处理，得到每一所述分支网络各自对应的权重数据；

根据每一所述分支网络各自对应的权重数据，对每一所述分支网络输出的特征数据进行融合处理，得到所述交互指标数据，所述交互指标数据表征所述交互预测结果。

在一些可能的设计中，所述方法还包括：

获取所述样本展示信息对应的样本图像、所述样本展示信息对应的样本类别、所述样本展示信息对应的交互预测样本特征以及所述交互指标标签数据，所述交互预测样本特征表征所述样本用户帐号对应的交互情况；

将所述样本图像输入初始视觉模型进行特征提取处理，得到样本图像特征；

基于所述样本类别对所述样本图像特征进行特征筛选处理，得到样本类别门控特征；

将所述交互预测样本特征和所述样本类别门控特征输入初始交互预测模型进行预测处理，得到交互指标预测数据；

基于所述交互指标预测数据和所述交互指标标签数据，确定模型损失信息；

基于所述模型损失信息对所述初始视觉模型和所述初始交互预测模型进行参数调整处理，得到训练好的所述视觉模型和训练好的所述交互预测模型。

根据本公开实施例的第二方面，提供一种展示信息推送装置，所述装置包括：

信息获取模块，被配置为执行获取待推荐信息对应的展示图像、所述待推荐信息对应的推荐对象类别以及所述待推荐信息对应的交互预测特征，所述交互预测特征表征目标用户帐号对所述待推荐信息的交互预测情况；

特征提取模块，被配置为执行获取所述展示图像的图像特征，并基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征；所述类别门控特征表征所述目标用户帐号对所述展示图像的交互预测情况；

交互预测模块，被配置为执行根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果；

信息推荐模块，被配置为执行在所述交互预测结果符合预设条件的情况下，向所述目标用户帐号推送所述待推荐信息，并展示所述展示图像。

在一些可能的设计中，所述特征提取模块，包括：

类别特征确定子模块，被配置为执行确定所述推荐对象类别对应的类别特征；

图像特征池化子模块，被配置为执行对所述图像特征进行池化处理，得到池化图像特征；

门控特征确定子模块，被配置为执行将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述门控特征确定子模块，包括：

特征拼接单元，被配置为执行将所述池化图像特征与所述类别特征进行拼接，得到拼接特征；

特征选择单元，被配置为执行对所述拼接特征进行特征选择处理，得到选择后的拼接特征；

特征融合单元，被配置为执行将所述选择后的拼接特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述池化图像特征包括最大池化特征和平均池化特征，所述特征拼接单元，具体配置为执行：

将所述类别特征与所述最大池化特征进行拼接，得到第一拼接特征；

将所述类别特征与所述平均池化特征进行拼接，得到第二拼接特征；

其中，所述拼接特征包括所述第一拼接特征和第二拼接特征。

在一些可能的设计中，所述特征选择单元，具体被配置为执行：

对所述第一拼接特征和所述第二拼接特征进行特征选择处理，得到所述第一拼接特征和所述第二拼接特征各自对应的选择后特征；

对所述第一拼接特征和所述第二拼接特征各自对应的选择后特征进行平均处理，得到所述选择后的拼接特征。

在一些可能的设计中，所述特征提取模块，还包括：

图像特征提取子模块，被配置为执行将所述展示图像输入训练好的视觉模型进行特征提取处理，得到所述图像特征，所述视觉模型是以样本展示信息对应的交互指标标签数据为监督信息进行训练的，所述交互指标标签数据表征样本用户帐号与所述样本展示信息之间的实际交互结果。

在一些可能的设计中，所述交互预测模块，包括：

特征融合子模块，被配置为执行将所述交互预测特征和所述类别门控特征进行融合，得到融合交互预测特征；

交互预测子模块，被配置为执行将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果；

其中，所述交互预测模型是与所述视觉模型联合训练的。

在一些可能的设计中，所述交互预测模型是多门控混合网络模型，所述多门控混合网络模型是指混合有多个门控网络和多个分支网络的神经网络模型，所述交互预测子模块，包括：

特征数据提取单元，被配置为执行将所述融合特征输入所述多个分支网络进行处理，得到所述多个分支网络中每一分支网络输出的特征数据，所述多个门控网络包括目标门控网络，所述目标门控网络与所述交互指标数据对应；

权重数据确定单元，被配置为执行将所述融合特征输入所述目标门控网络进行处理，得到每一所述分支网络各自对应的权重数据；

指标数据确定单元，被配置为执行根据每一所述分支网络各自对应的权重数据，对每一所述分支网络输出的特征数据进行融合处理，得到所述交互指标数据，所述交互指标数据表征所述交互预测结果。

在一些可能的设计中，所述装置还包括：

训练数据获取模块，被配置为执行获取所述样本展示信息对应的样本图像、所述样本展示信息对应的样本类别、所述样本展示信息对应的交互预测样本特征以及所述交互指标标签数据，所述交互预测样本特征表征所述样本用户帐号对应的交互情况；

所述图像特征提取模块，还被配置为执行将所述样本图像输入初始视觉模型进行特征提取处理，得到样本图像特征；

所述门控特征筛选模块，还被配置为执行基于所述样本类别对所述样本图像特征进行特征筛选处理，得到样本类别门控特征；

所述指标数据预测模块，还被配置为执行将所述交互预测样本特征和所述样本类别门控特征输入初始交互预测模型进行预测处理，得到交互指标预测数据；

模型损失确定模块，被配置为执行基于所述交互指标预测数据和所述交互指标标签数据，确定模型损失信息；

模型参数调整模块，被配置为执行基于所述模型损失信息对所述初始视觉模型和所述初始交互预测模型进行参数调整处理，得到训练好的所述视觉模型和训练好的所述交互预测模型。

根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的展示信息推送方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一项所述的展示信息推送方法。

根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一项所述的展示信息推送方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过待推荐信息对应的推荐对象类别对展示图像特征进行筛选，可以得到能够表征目标用户帐号对展示图像的交互预测情况的视觉特征，即类别门控特征，基于该类别门控特征与待推荐信息对应的原始交互预测特征，可以得到目标对象对待推荐信息的交互预测结果，丰富了预测交互结果所使用数据的维度，提升了交互预测结果的准确性，根据该交互预测结果推荐信息，可以有效提升信息推荐的精确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用环境的示意图；

图2是根据一示例性实施例示出的一种展示信息推送方法的流程图一；

图3是根据一示例性实施例示出的一种展示信息推送方法的流程图二；

图4是根据一示例性实施例示出的一种展示信息推送方法的流程图三；

图5示例性示出了一种确定类别门控特征的流程示意图；

图6示例性示出了一种基于视觉模型和交互预测模型预测交互指标数据的技术流程示意图；

图7是根据一示例性实施例示出的一种展示信息推送模型的训练方法的流程图；

图8是根据一示例性实施例示出的一种展示信息推送装置框图；

图9是根据一示例性实施例示出的一种用于展示信息推送的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括终端100和服务器200。

终端100可以用于面向任一用户提供信息展示服务。具体的，终端100可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备，也可以为运行于上述电子设备的软体，例如应用程序等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

在一个可选的实施例中，服务器200可以为终端100提供后台服务，向终端100推送相关展示信息。具体的，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如可以包括更多的终端。

本说明书实施例中，上述终端100以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

图2是根据一示例性实施例示出的一种展示信息推送方法的流程图一。可选地，该展示信息推送方法用于电子设备中。如图2所示，该方法可以包括以下步骤(210～250)。

步骤210，获取待推荐信息对应的展示图像、待推荐信息对应的推荐对象类别以及待推荐信息对应的交互预测特征。

可选地，交互预测特征表征目标用户帐号对待推荐信息的交互预测情况。可选地，交互预测特征是根据目标用户帐号在展示环境中的交互信息确定的，可以单独用于确定目标用户帐号对待推荐信息的交互预测结果。

上述待推荐信息可以是任何在设备的显示屏幕上进行展示的信息。待推荐信息包括但不限于网页、文章、视频、音乐、图像、广告等。

可选地，待推荐信息是要在信息流展示环境中进行展示的多媒体信息。

可选地，上述展示图像中是展示信息中的图像，也可以是展示信息对应的元信息中的展示图像。

可选地，上述推荐对象类别是待推荐信息对应的一种特定类别，比如广告对应的商品类别。该推荐对象类别可以与展示图像中出现的对象类别有重合，也可以无重合。推荐对象类别与展示图像中出现的对象类别相互独立。

可选地，上述交互预测特征是基于待推荐信息对应的交互信息提取出的特征。可选地，上述交互信息包括待推荐信息对应的信息标识特征、目标用户帐号对应的帐号标识特征、以及目标用户帐号对应的反馈数据。

可选地，目标用户帐号对应的反馈数据包括目标用户帐号发送的历史交互操作指令对应的时间戳、历史交互操作指令对应的操作行为类型以及历史交互操作指令形成的操作行为序列。基于上述反馈数据可以提取目标用户帐号对应的交互环境特征，交互环境特征表征目标用户帐号在展示环境中浏览信息的上下文特征。

可选地，对上述待推荐信息对应的信息标识特征、目标用户帐号对应的帐号标识特征以及交互环境特征进行表征处理，得到上述交互预测特征。

在一种可能的实施方式中，交互预测特征式预测交互指标数据的基准特征，该交互预测特征能够独立预测待推荐信息对应的交互指标数据。

步骤220，获取展示图像的图像特征，并基于推荐对象类别对图像特征进行特征筛选处理，得到类别门控特征。

其中，类别门控特征表征目标用户帐号对所述展示图像的交互预测情况。

在一种可能的实施方式中，对展示图像进行特征提取处理，得到图像特征。

可选地，将展示图像输入训练好的视觉模型进行特征提取处理，得到图像特征。

其中，视觉模型是以样本展示信息对应的交互指标标签数据为监督信息进行训练的，交互指标标签数据表征样本用户帐号与样本展示信息之间的实际交互结果。比如，样本用户帐号对样本展示信息进行过点击、点赞、购买等操作，交互指标标签数据可以为1；未进行过操作，交互指标标签数据可以为0。

可选地，上述视觉模型是图像分类模型，但是是以上述交互指标标签数据为监督信息进行训练的。可选地，上述交互指标标签数据是样本展示信息对应的点击通过率(Click Through Rate，CTR)。

展示图像，如广告图片或视频，本身包含了丰富的信息，比如颜色、图像中包含的商品等。相关技术中预训练的视觉模型只能捕捉到基于分类的信息，这些信息和CTR预估模型目标之间有一定夹角。本申请实施例中，以上述交互指标标签数据为监督信息训练视觉模型，使得视觉模型提取出的图像特征即是能表征待推荐信息内容的视觉特征，与此同时又是能够有利于预估交互指标数据，如CTR，的图像特征，从而更好的进行展示信息推荐。

可选地，上述图像分类模型是卷积神经网络模型，比如Mobilenet或者Resnet18等小型卷积神经网络。

本申请实施例提供的技术方案，以交互指标标签数据为监督信息对视觉模型进行训练，可以使得视觉模型学习到样本用户帐号与样本展示信息之间的交互关系，从而在应用侧能够有侧重点地输出表征交互操作触发概率的图像特征，丰富了预测交互指标数据所使用数据的维度，提升了交互指标数据的准确性。

可选地，确定上述图像特征后，可基于推荐对象类别对图像特征进行特征筛选处理，得到类别门控特征。

可选地，上述类别门控特征是表征交互操作触发概率的视觉特征，交互操作触发概率是指目标用户帐号基于待推荐信息触发交互操作指令的概率，交互操作触发概率可以反映目标用户帐号对待推荐信息的交互预测情况。比如，待推荐信息在进行展示后，目标用户帐号基于该信息触发交互操作的概率。

可选地，上述交互操作指令可以是终端响应于交互操作触发的指令。可选地，上述交互操作包括但不限于滑动、点击、点赞、评论等操作。相应的，上述交互操作指令包括但不限于滑动操作指令、点击操作指令、点赞操作指令、评论操作指令等。

在上述视觉模型进行训练时，对于同一样本图像对应的交互指标标签数据可能不止一个，不同的交互指标标签数据分别表征不同的标签样本帐号与该样本展示信息之间的交互关系，可以侧面表征不同样本用户帐号对样本展示信息的感兴趣程度。

比如，一张样本图片是A商品广告中的样本图像，其中同时包括A商品和B物体。样本用户帐号1对A商品比较感兴趣，点击过该A商品广告，则A商品广告相对于样本用户帐号1所标记的交互指标标签数据可以是1；然而，样本用户帐号2对A商品不感兴趣，甚至是对B物体感兴趣，但由于是A商品广告，并未点击A商品广告，那么此种情况下A商品广告相对于样本用户帐号2所标记的交互指标标签数据可以是0。

在一种实际应用中，上述视觉模型是端到端训练，在此种训练方式下，直接基于对应有多个标签数据的样本图像训练视觉模型，容易发生坍塌，其现象是对于任意图像，视觉模型输出的特征都较为相似，也叫模型过平滑。因此，为解决视觉模型过平滑的问题，本申请实施例引入上述推荐对象类别对视觉模型输出的特征做特征筛选，加强模型输出特征的重要性，使得预测交互指标数据所用的类别门控特征是偏向于上述推荐对象类别的视觉特征，同时还是有利于预估交互指标数据，如CTR，的视觉特征，从而更好的进行展示信息推荐。

在示例性实施例中，如图3所示，上述步骤220包括如下步骤(221～223)，图3是根据一示例性实施例示出的一种展示信息推送方法的流程图二。

步骤221，确定推荐对象类别对应的类别特征。

可选地，将推荐对象类别对应的类别特征标识确定为上述类别特征。可选地，对推荐对象类别对应的类别特征标识进行表征处理，得到上述类别特征。

上述类别特征可以是类别特征向量，也可以是类别特征数据序列，本公开实施例对此不作限定。

步骤222，对图像特征进行池化处理，得到池化图像特征。

可选地，对上述图像特征进行最大池处理，得到最大池化特征；对上述图像特征进行平均池化处理，得到平均池化特征。上述池化图像特征包括上述最大池化特征和平均池化特征。

可选地，上述图像特征是展示图像对应的特征图；相应地，对上述特征图进行最大池处理，得到最大池化特征；对上述特征图进行平均池化处理，得到平均池化特征。

步骤223，将池化图像特征、类别特征与图像特征进行融合，得到类别门控特征。

本公开实施例提供的技术方案，通过池化图像特征，并将池化图像特征再与类别特征和原始图像特征进行融合，即可实现对图像特征的类别筛选，提升提取类别门控特征的准确性。

本公开实施例对上述特征融合方式不作限定，可以根据实际应用场景进行配置。

在示例性实施例中，如图4所示，上述步骤223包括如下步骤(2231～2233)，图4是根据一示例性实施例示出的一种展示信息推送方法的流程图三。

步骤2231，将池化图像特征与类别特征进行拼接，得到拼接特征。

可选地，将类别特征与最大池化特征进行拼接，得到第一拼接特征；将类别特征与平均池化特征进行拼接，得到第二拼接特征。

其中，拼接特征包括第一拼接特征和第二拼接特征。

本公开实施例提供的技术方案，通过对图像特征进行不同的池化处理，并将不同池化特征分别与类别特征进行拼接，能够提取出更加丰富的特征信息，有助于提升类别门控特征的准确性。

步骤2232，对拼接特征进行特征选择处理，得到选择后的拼接特征。

特征选择也称特征子集选择，或属性选择。是指从已有的M个特征中选择N个特征使得系统的特定指标最优化，是从原始特征中选择出一些最有效特征以降低数据集维度的过程，有助于提高学习算法性能，也是模式识别(上述分类模型即是模式识别模型)中关键的数据预处理步骤。

可选地，对第一拼接特征和第二拼接特征进行特征选择处理，得到第一拼接特征和第二拼接特征各自对应的选择后特征；对第一拼接特征和第二拼接特征各自对应的选择后特征进行平均处理，得到选择后的拼接特征。

本公开实施例提供的技术方案，通过对不同的拼接特征分别进行特征选择处理，可以得到不同维度的选择后特征，再将不同维度的选择后特征进行平均融合，能够有侧重点的提取出更加丰富且重要的特征信息，有助于提升类别门控特征的准确性。

步骤2233，将选择后的拼接特征与图像特征进行融合，得到类别门控特征。

本公开实施例提供的技术方案，通过对池化图像特征与类别特征之间的拼接特征进行特征选择，可以从拼接特征中提取出有效特征，并降低数据维度，提升了类别门控特征的准确性，同时降低了模型数据处理量。

在一个示例中，如图5所示，其示例性示出了一种确定类别门控特征的流程示意图。整个流程可以分为三小步：

step 1：针对视觉模型的输出特征图51，特征图51的尺寸为CxHxW，分别做平均池化和最大池化，得到平均池化特征和最大池化特征，然后将两种分别与商品类别特征做特征拼接。

step 2：step 1中的两个拼接向量分别通过一个特征选择模块52，输出各自对应的Cx1x1大小的特征，其中C正好为卷积网络特征输出大小的通道(channel)数。

step 3：对step 2中的两个选择后特征做平均，得到最终的权重向量53，即选择后特征，大小为Cx1x1；然后将权重向量53和原始特征图51做乘，得到最终的商品类别门控特征54。

步骤230，根据交互预测特征和类别门控特征，得到目标用户账号对待推荐信息的交互预测结果。

可选地，交互预测结果包括交互指标数据。交互指标数据可以表征交互操作触发概率。可选地，交互操作触发概率是指目标用户帐号基于该待推荐信息触发交互操作的概率。

在示例性实施例中，将交互预测特征和类别门控特征进行融合，得到融合交互预测特征；再将融合交互预测特征输入训练好的交互预测模型进行预测处理，得到交互预测结果。比如，输出上述交互指标数据。

其中，交互预测模型是与视觉模型联合训练的。

通过将融合交互预测特征输入到与视觉模型联合训练的预测模型中，可以使得交互预测模型根据更加多元的特征数据，从更多的维度预测交互指标数据，提升了预测上述交互指标数据的准确性。

下面结合具体的情况对交互指标数据进行说明。比如，一张展示图像是Q商品广告中的展示图像，其中同时包括Q商品和E物体。用户帐号11对Q商品比较感兴趣，用户帐号12对Q商品不感兴趣，而是对E物体感兴趣，那么Q商品广告相对于用户帐号11所对应的交互指标数据，高于Q商品广告相对于用户帐号12所对应的交互指标数据。通过类别门控就减轻了图像中与Q商品无关的E物体对于预测交互指标数据的干扰。

在一种可能的实施方式中，交互预测模型是多门控混合网络模型，多门控混合网络模型是指混合有多个门控网络和多个分支网络的神经网络模型。其中，不同的门控网络对应不同的指标数据预测任务，上述多个门控网络中包括与交互指标数据相对应的目标门控网络。上述多个分支网络可以是共享参数的多个特征提取网络。可选地，多门控混合网络模型是MMoE(Multi-gate Mixture-of-Experts，多门混合专家)+MLP(MultilayerPerceptron，多层感知机)模型。

相应地，基于多门控混合网络模型预测交互指标数据的过程如下：

将融合特征输入多个分支网络进行处理，得到多个分支网络中每一分支网络输出的特征数据。其中，多个门控网络包括目标门控网络，目标门控网络与交互指标数据对应。

将融合特征输入目标门控网络进行处理，得到每一分支网络各自对应的权重数据。对于不同的指标数据预测任务来说，其关注不同的特征数据，因此不同的门控网络分别用于确定各个分支网络在相应任务下的所占权重信息。上述目标门控网络是与上述交互指标数据对应的门控网络，因此目标门控网络输出的权重数据是适用于预测交互指标数据的权重数据。

根据每一分支网络各自对应的权重数据，对每一分支网络输出的特征数据进行融合处理，得到交互指标数据。按照上述每一分支网络各自对应的权重对一分支网络输出的特征数据进行加权融合，即可得到上述交互指标数据。交互指标数据可以表征交互预测结果。

本公开实施例提供的技术方案，通过在多任务模型，即上述多门控混合网络模型，中部署目标门控网络，使得多任务模型可以在预测其他数据指标的同时，根据目标门控网络输出的权重对各个分支网络输出的特征数据进行融合，从而预测交互指标数据，提升了预测交互指标数据的效率，同时还易扩展，符合推荐系统多维度推荐的需求。

在一个示例中，如图6所示，其示例性示出了一种基于视觉模型和交互预测模型预测交互指标数据的技术流程示意图。其中，视觉模型61(卷积神经网络模型)与交互预测模型62(MMoE+MLP)联合构成一种展示信息推送模型，其采用的是基于异构图的特征学习方案。具体来说，是在在基准CTR预估模型，即上述交互预测模型62的基础上，嵌入端到端视觉模型61建模。视觉模型61的输入是广告原始图像63。通过视觉模型61可以是预定义的卷积网络模型，比如Mobilenet或者Resnet18等小网络。通过视觉模型61可以提取广告原始图像63对应的图像特征，并使用广告商品类别对图像特征做门控筛选，从而得到交互预测模型62喜欢的视觉特征，即类别门控特征，同时也是可以对应预估商品类别的视觉特征。该展示信息推送模型还包括交互特征表征层64。交互特征表征层64与交互预测模型62可以构成基准的展示信息推送模型，即仅根据交互预测特征预测上述交互指标数据的模型。在基准的展示信息推送模型中嵌入上述视觉模型61，即可得到能够实现端到端视觉感知的展示信息推送模型。交互特征表征层64对应三种输入，一是广告标识类特征，二是目标用户帐号特征，可以是帐号标识特征或者帐号属性特征，三是交互环境特征，也称上下文特征，比如时间戳、用户行为类型、行为序列等特征。上述三种特征输入上述交互特征表征层64之后即可输出基准模型所使用的交互预测特征，将类别门控特征与交互预测特征做拼接后，输入交互预测模型62进行预测处理，即可预测广告原始图像63相对于目标用户帐号所对应的点击通过率。在原始基准模型上，通过引入视觉信息增量，进一步提升了CTR预估精度。

步骤240，在交互预测结果符合预设条件的情况下，向目标用户帐号推送待推荐信息，并展示展示图像。

可选地，待推荐信息用于在展示环境中展示。

可选地，上述预设条件是指交互指标数据大于等于阈值的条件，即在交互指标数据大于等于阈值的情况下，向目标用户帐号推送待推荐信息。可选地，上述交互预测特征是根据实时反馈数据实时确定的，若当前的交互指标数据大于等于阈值，则可以向目标用户帐号推送上述待推荐信息。

可选地，展示环境可以是设备展示的信息流环境等环境，本申请实施例对此不作限定。

综上所述，本公开实施例提供的技术方案，通过待推荐信息对应的推荐对象类别对展示图像特征进行筛选，可以得到能够表征目标用户帐号对展示图像的交互预测情况的视觉特征，即类别门控特征，基于该类别门控特征与待推荐信息对应的原始交互预测特征，可以得到目标对象对待推荐信息的交互预测结果，丰富了预测交互结果所使用数据的维度，提升了交互预测结果的准确性，根据该交互预测结果推荐信息，可以有效提升信息推荐的精确性。

图7是根据一示例性实施例示出的一种展示信息推送模型的训练方法的流程图。可选地，展示信息推送模型包括视觉模型和交互预测模型。可选地，该展示信息推送模型的训练方法用于电子设备中。如图7所示，该方法可以包括以下步骤(710～750)。

步骤710，获取样本展示信息对应的样本图像、样本展示信息对应的样本类别、样本展示信息对应的交互预测样本特征以及交互指标标签数据。

可选地，交互预测样本特征表征样本用户帐号对应的交互情况。

上述样本展示信息可以是采集的历史展示信息。样本展示信息包括但不限于网页、文章、视频、音乐、图像、广告等。

可选地，上述样本图像中是样本展示信息中的图像，也可以是样本展示信息对应的元信息中的展示图像。

可选地，上述样本类别是样本展示信息对应的一种特定类别，比如广告对应的商品类别。该样本类别可以与样本图像中出现的对象类别有重合，也可以无重合。样本类别与样本图像中出现的对象类别相互独立。

可选地，上述交互预测样本特征是基于样本展示信息对应的历史交互信息提取出的特征。可选地，上述历史交互信息包括样本信息对应的样本信息标识特征、样本用户帐号对应的帐号标识特征、以及样本用户帐号对应的样本反馈数据。

可选地，样本用户帐号对应的样本反馈数据包括样本用户帐号发送的历史交互操作指令对应的时间戳、历史交互操作指令对应的操作行为类型以及历史交互操作指令形成的操作行为序列。基于上述样本反馈数据可以提取样本用户帐号对应的交互环境样本特征，交互环境样本特征表征样本用户帐号在展示环境中浏览信息的上下文特征。

可选地，对上述样本展示信息对应的信息标识特征、样本用户帐号对应的帐号标识特征以及交互环境样本特征进行表征处理，得到上述交互预测样本特征。

在一种可能的实施方式中，交互预测样本特征是预测样本展示信息对应的交互指标数据的基准特征，该交互预测样本特征能够独立预测样本展示信息对应的交互指标数据。

步骤720，将样本图像输入初始视觉模型进行特征提取处理，得到样本图像特征。

可选地，初始视觉模型是指未训练完成的视觉模型。

步骤730，基于样本类别对样本图像特征进行特征筛选处理，得到样本类别门控特征。

在示例性实施例中，确定样本类别对应的样本类别特征；对样本图像特征进行池化处理，得到池化样本图像特征；将池化样本图像特征、样本类别特征与样本图像特征进行融合，得到样本类别门控特征。

可选地，池化样本图像特征包括最大池化样本特征和平均池化样本特征。

可选地，将池化样本图像特征与样本类别特征进行拼接，得到拼接样本特征。比如，将样本类别特征与最大池化样本特征进行拼接，得到第一拼接样本特征；将样本类别特征与平均池化样本特征进行拼接，得到第二拼接样本特征；其中，拼接样本特征包括第一拼接样本特征和第二拼接样本特征。

对拼接样本特征进行特征选择处理，得到选择后的拼接样本特征。可选地，对第一拼接样本特征和第二拼接样本特征进行特征选择处理，得到第一拼接样本特征和第二拼接样本特征各自对应的选择后特征；对第一拼接样本特征和第二拼接样本特征各自对应的选择后特征进行平均处理，得到选择后的拼接样本特征。

将选择后的拼接样本特征与样本图像特征进行融合，得到样本类别门控特征。

步骤740，将交互预测样本特征和样本类别门控特征输入初始交互预测模型进行预测处理，得到交互指标预测数据。

可选地，初始交互预测模型是已经训练好的基准交互预测模型，基准交互预测模型是以单以交互预测特征为输入预测交互指标数据的。

步骤750，基于交互指标预测数据和交互指标标签数据，确定模型损失信息。

可选地，样本展示信息与样本用户帐号之间具有配对关系。可选地，每一交互指标标签数据分别对应有样本用户帐号，每一交互指标标签数据用于表征样本展示信息与相应样本用户帐号之间的交互关系。交互关系包括存在交互关系或不存在交互关系。

例如，样本对1：样本用户帐号a，图片c，交互指标标签数据(CTR)＝1；样本对2：样本用户帐号b，图片c，交互指标标签数据(CTR)＝0。其中，1标识存在交互关系，0标识不存在交互关系。

步骤760，基于模型损失信息对初始视觉模型和初始交互预测模型进行参数调整处理，得到训练好的视觉模型和训练好的交互预测模型。

本公开实施例提供的技术方案，通过样本展示信息对应的样本类别对视觉模型输出的样本图像特征进行筛选，可以防止视觉模型训练发生崩塌，避免视觉模型对于任意样本图像均输出较为相似的图像特征，加强视觉模型输出特征的侧重点；将筛选得到的样本门控特征与交互预测样本特征即类别门控特征一同输入预测模型，并以交互指标标签数据作为监督信号对预测模型进行有监督训练，一方面可以使得视觉模型学习到能够表征交互操作触发概率的视觉特征，另一方面由于类别门控特征的引入，预测模型也可以在监督信号的约束下学习到更多元的特征，从而输出更加精确的交互指标预测数据。通过上述联合训练得到的视觉模型和预测模型，可以在应用侧根据多元的特征数据预测出更加精确地的交互指标数据，从而提升信息推荐的精确性。

图8是根据一示例性实施例示出的一种展示信息推送装置框图。参照图8，该装置800包括：

信息获取模块810，被配置为执行获取待推荐信息对应的展示图像、所述待推荐信息对应的推荐对象类别以及所述待推荐信息对应的交互预测特征，所述交互预测特征表征目标用户帐号对所述待推荐信息的交互预测情况；

特征提取模块820，被配置为执行获取所述展示图像的图像特征，并基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征；所述类别门控特征表征所述目标用户帐号对所述展示图像的交互预测情况；

交互预测模块830，被配置为执行根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果；

信息推荐模块840，被配置为执行在所述交互预测结果符合预设条件的情况下，向所述目标用户帐号推送所述待推荐信息，并展示所述展示图像。

在一些可能的设计中，所述特征提取模块，包括：

类别特征确定子模块，被配置为执行确定所述推荐对象类别对应的类别特征；

图像特征池化子模块，被配置为执行对所述图像特征进行池化处理，得到池化图像特征；

门控特征确定子模块，被配置为执行将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述门控特征确定子模块，包括：

特征拼接单元，被配置为执行将所述池化图像特征与所述类别特征进行拼接，得到拼接特征；

特征选择单元，被配置为执行对所述拼接特征进行特征选择处理，得到选择后的拼接特征；

特征融合单元，被配置为执行将所述选择后的拼接特征与所述图像特征进行融合，得到所述类别门控特征。

在一些可能的设计中，所述池化图像特征包括最大池化特征和平均池化特征，所述特征拼接单元，具体配置为执行：

将所述类别特征与所述最大池化特征进行拼接，得到第一拼接特征；

将所述类别特征与所述平均池化特征进行拼接，得到第二拼接特征；

其中，所述拼接特征包括所述第一拼接特征和第二拼接特征。

在一些可能的设计中，所述特征选择单元，具体被配置为执行：

对所述第一拼接特征和所述第二拼接特征进行特征选择处理，得到所述第一拼接特征和所述第二拼接特征各自对应的选择后特征；

对所述第一拼接特征和所述第二拼接特征各自对应的选择后特征进行平均处理，得到所述选择后的拼接特征。

在一些可能的设计中，所述特征提取模块，还包括：

图像特征提取子模块，被配置为执行将所述展示图像输入训练好的视觉模型进行特征提取处理，得到所述图像特征，所述视觉模型是以样本展示信息对应的交互指标标签数据为监督信息进行训练的，所述交互指标标签数据表征样本用户帐号与所述样本展示信息之间的实际交互结果。

在一些可能的设计中，所述交互预测模块，包括：

特征融合子模块，被配置为执行将所述交互预测特征和所述类别门控特征进行融合，得到融合交互预测特征；

交互预测子模块，被配置为执行将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果；

其中，所述交互预测模型是与所述视觉模型联合训练的。

在一些可能的设计中，所述交互预测模型是多门控混合网络模型，所述多门控混合网络模型是指混合有多个门控网络和多个分支网络的神经网络模型，所述交互预测子模块，包括：

特征数据提取单元，被配置为执行将所述融合特征输入所述多个分支网络进行处理，得到所述多个分支网络中每一分支网络输出的特征数据，所述多个门控网络包括目标门控网络，所述目标门控网络与所述交互指标数据对应；

权重数据确定单元，被配置为执行将所述融合特征输入所述目标门控网络进行处理，得到每一所述分支网络各自对应的权重数据；

指标数据确定单元，被配置为执行根据每一所述分支网络各自对应的权重数据，对每一所述分支网络输出的特征数据进行融合处理，得到所述交互指标数据，所述交互指标数据表征所述交互预测结果。

在一些可能的设计中，所述装置还包括：

训练数据获取模块，被配置为执行获取所述样本展示信息对应的样本图像、所述样本展示信息对应的样本类别、所述样本展示信息对应的交互预测样本特征以及所述交互指标标签数据，所述交互预测样本特征表征所述样本用户帐号对应的交互情况；

所述图像特征提取模块，还被配置为执行将所述样本图像输入初始视觉模型进行特征提取处理，得到样本图像特征；

所述门控特征筛选模块，还被配置为执行基于所述样本类别对所述样本图像特征进行特征筛选处理，得到样本类别门控特征；

所述指标数据预测模块，还被配置为执行将所述交互预测样本特征和所述样本类别门控特征输入初始交互预测模型进行预测处理，得到交互指标预测数据；

模型损失确定模块，被配置为执行基于所述交互指标预测数据和所述交互指标标签数据，确定模型损失信息；

模型参数调整模块，被配置为执行基于所述模型损失信息对所述初始视觉模型和所述初始交互预测模型进行参数调整处理，得到训练好的所述视觉模型和训练好的所述交互预测模型。

综上所述，本公开实施例提供的技术方案，通过待推荐信息对应的推荐对象类别对展示图像特征进行筛选，可以得到能够表征目标用户帐号对展示图像的交互预测情况的视觉特征，即类别门控特征，基于该类别门控特征与待推荐信息对应的原始交互预测特征，可以得到目标对象对待推荐信息的交互预测结果，丰富了预测交互结果所使用数据的维度，提升了交互预测结果的准确性，根据该交互预测结果推荐信息，可以有效提升信息推荐的精确性。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图9是根据一示例性实施例示出的一种用于展示信息推送的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种展示信息推送方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的展示信息推送方法。

在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的展示信息推送方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的展示信息推送方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种信息推荐方法，其特征在于，所述方法包括：

获取待推荐信息对应的展示图像、所述待推荐信息对应的推荐对象类别以及所述待推荐信息对应的交互预测特征，所述交互预测特征表征目标用户帐号对所述待推荐信息的交互预测情况；

获取所述展示图像的图像特征，并基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征；所述类别门控特征表征所述目标用户帐号对所述展示图像的交互预测情况；

根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果；

在所述交互预测结果符合预设条件的情况下，向所述目标用户帐号推送所述待推荐信息，并展示所述展示图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征，包括：

确定所述推荐对象类别对应的类别特征；

对所述图像特征进行池化处理，得到池化图像特征；

将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征。

3.根据权利要求2所述的方法，其特征在于，所述将所述池化图像特征、所述类别特征与所述图像特征进行融合，得到所述类别门控特征，包括：

将所述池化图像特征与所述类别特征进行拼接，得到拼接特征；

对所述拼接特征进行特征选择处理，得到选择后的拼接特征；

将所述选择后的拼接特征与所述图像特征进行融合，得到所述类别门控特征。

4.根据权利要求3所述的方法，其特征在于，所述池化图像特征包括最大池化特征和平均池化特征，所述将所述池化图像特征与所述类别特征进行拼接，得到拼接特征，包括：

将所述类别特征与所述最大池化特征进行拼接，得到第一拼接特征；

将所述类别特征与所述平均池化特征进行拼接，得到第二拼接特征；

其中，所述拼接特征包括所述第一拼接特征和第二拼接特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述拼接特征进行特征选择处理，得到选择后的拼接特征，包括：

对所述第一拼接特征和所述第二拼接特征进行特征选择处理，得到所述第一拼接特征和所述第二拼接特征各自对应的选择后特征；

对所述第一拼接特征和所述第二拼接特征各自对应的选择后特征进行平均处理，得到所述选择后的拼接特征。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取所述展示图像的图像特征，包括：

将所述展示图像输入训练好的视觉模型进行特征提取处理，得到所述图像特征，所述视觉模型是以样本展示信息对应的交互指标标签数据为监督信息进行训练的，所述交互指标标签数据表征样本用户帐号与所述样本展示信息之间的实际交互结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果，包括：

将所述交互预测特征和所述类别门控特征进行融合，得到融合交互预测特征；

将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果；

其中，所述交互预测模型是与所述视觉模型联合训练的。

8.根据权利要求7所述的方法，其特征在于，所述交互预测模型是多门控混合网络模型，所述多门控混合网络模型是指混合有多个门控网络和多个分支网络的神经网络模型，所述将所述融合交互预测特征输入训练好的交互预测模型进行预测处理，得到所述交互预测结果，包括：

将所述融合特征输入所述多个分支网络进行处理，得到所述多个分支网络中每一分支网络输出的特征数据，所述多个门控网络包括目标门控网络，所述目标门控网络与所述交互指标数据对应；

将所述融合特征输入所述目标门控网络进行处理，得到每一所述分支网络各自对应的权重数据；

根据每一所述分支网络各自对应的权重数据，对每一所述分支网络输出的特征数据进行融合处理，得到所述交互指标数据，所述交互指标数据表征所述交互预测结果。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

获取所述样本展示信息对应的样本图像、所述样本展示信息对应的样本类别、所述样本展示信息对应的交互预测样本特征以及所述交互指标标签数据，所述交互预测样本特征表征所述样本用户帐号对应的交互情况；

将所述样本图像输入初始视觉模型进行特征提取处理，得到样本图像特征；

基于所述样本类别对所述样本图像特征进行特征筛选处理，得到样本类别门控特征；

将所述交互预测样本特征和所述样本类别门控特征输入初始交互预测模型进行预测处理，得到交互指标预测数据；

基于所述交互指标预测数据和所述交互指标标签数据，确定模型损失信息；

基于所述模型损失信息对所述初始视觉模型和所述初始交互预测模型进行参数调整处理，得到训练好的所述视觉模型和训练好的所述交互预测模型。

10.一种展示信息推送装置，其特征在于，所述装置包括：

信息获取模块，被配置为执行获取待推荐信息对应的展示图像、所述待推荐信息对应的推荐对象类别以及所述待推荐信息对应的交互预测特征，所述交互预测特征表征目标用户帐号对所述待推荐信息的交互预测情况；

特征提取模块，被配置为执行获取所述展示图像的图像特征，并基于所述推荐对象类别对所述图像特征进行特征筛选处理，得到类别门控特征；所述类别门控特征表征所述目标用户帐号对所述展示图像的交互预测情况；

交互预测模块，被配置为执行根据所述交互预测特征和所述类别门控特征，得到所述目标用户账号对所述待推荐信息的交互预测结果；

信息推荐模块，被配置为执行在所述交互预测结果符合预设条件的情况下，向所述目标用户帐号推送所述待推荐信息，并展示所述展示图像。

11.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的展示信息推送方法。

12.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至9中任一项所述的展示信息推送方法。

Images