CN113761338A - 信息推送方法、装置和计算机可读存储介质 - Google Patents

信息推送方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN113761338A
CN113761338A CN202110038579.0A CN202110038579A CN113761338A CN 113761338 A CN113761338 A CN 113761338A CN 202110038579 A CN202110038579 A CN 202110038579A CN 113761338 A CN113761338 A CN 113761338A
Authority
CN
China
Prior art keywords
resource
information
attribute information
application object
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110038579.0A
Other languages
English (en)
Inventor
廖可欣
梁竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110038579.0A priority Critical patent/CN113761338A/zh
Publication of CN113761338A publication Critical patent/CN113761338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本公开涉及一种信息推送方法、装置和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：获取待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率；选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至待推送用户。

Description

信息推送方法、装置和计算机可读存储介质
技术领域
本公开涉及计算机技术领域，特别涉及一种信息推送方法、装置和计算机可读存储介质。
背景技术
随着互联网技术的发展，用户在浏览网站时会接受到更多个性化和智能化的服务。例如，网站针对不同的用户推荐不同的对象(例如，音乐、视频、新闻、商品等)或者针对不同的用户推荐不同的资源(例如，可用流量、虚拟资源等)。目前，对象的推荐和资源的推荐都是分别进行的。
发明内容
发明人发现：一般网络平台都是分别利用不同的推荐模型确定为用户推荐的资源和对象，即仅能针对单类型的目标进行推荐，无法实现多类型的目标的联合推荐。这种情况下，可能导致推荐的资源不能用于推荐的对象，用户还需要自行查看各种对象和资源的匹配情况，并不方便，导致推荐效率不高、效果不好。
本公开所要解决的一个技术问题是：如何提高推荐的效率和推荐效果。
根据本公开的一些实施例，提供的一种信息推送方法，包括：获取待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率；根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至待推送用户。
在一些实施例中，根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率包括：确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度，作为第一相关度；确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征，以及各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征；确定第一融合特征和第二融合特征的相关度，作为第二相关度；根据第一相关度和第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度包括：将各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息分别输入联合推荐模型的第一特征提取模块和第二特征提取模块，得到各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量，其中，特征矩阵包括各项备选资源的应用对象的属性信息对应的特征向量；将各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量输入第一注意力机制层，得到各项备选资源的应用对象的属性信息对应的特征向量相对于融合特征向量的注意力权重。
在一些实施例中，确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征包括：根据各项备选资源的应用对象的属性信息对应的特征向量关于融合特征向量的注意力权重，确定第一注意力特征向量；将各项备选资源的属性信息对应的特征向量与第一注意力特征向量进行拼接，得到各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征向量，作为第一融合特征。
在一些实施例中，各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征包括：将各项历史资源的属性信息对应的特征向量与各项历史资源的应用对象的属性信息对应的融合特征向量进行拼接，得到各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征向量，作为第二融合特征。
在一些实施例中，确定第一融合特征和第二融合特征的相关度，作为第二相关度包括：将第一融合特征和第二融合特征输入第二注意力机制层，得到第二融合特征相对于第一融合特征的注意力权重。
在一些实施例中，根据第一相关度和第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率包括：根据第二融合特征相对于第一融合特征的注意力权重，确定第二注意力特征向量；将第一融合特征、第二注意力特征向量以及待推送用户的特征信息对应的用户特征向量输入联合推荐模型的多层感知机；将多层感知机输出的特征输入联合推荐模型的softmax层，得到输出的各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，用户特征向量是将待推送用户的特征信息输入联合推荐模型的第一嵌入层后输出的结果；各项备选资源的属性信息对应的特征向量是将待推送用户的特征信息输入联合推荐模型的第二嵌入层后输出的结果。
在一些实施例中，将各项备选资源的应用对象的属性信息输入联合推荐模型的第一特征提取模块得到各项备选资源的应用对象的属性信息对应的特征矩阵包括：将各项备选资源的应用对象的属性信息输入第一特征提取模块的嵌入层，得到各项备选资源的应用对象的属性信息的嵌入式编码；将各项备选资源的应用对象的属性信息输入位置编码函数，得到各项备选资源的应用对象的属性信息的位置编码；将各项备选资源的应用对象的属性信息的嵌入式编码和位置编码加和，生成初步特征矩阵；将初步特征矩阵输入多个第一编码层进行特征提取，得到各项备选资源的应用对象的属性信息对应的特征矩阵。
在一些实施例中，每个第一编码层包括一个自注意力机制层和一个前置神经网络层，将初步特征矩阵输入多个第一编码层进行特征提取包括：将初步特征矩阵依次输入各个第一编码层的自注意力机制层和前置神经网络层进行特征提取。
在一些实施例中，将各项历史资源的应用对象的属性信息输入联合推荐模型的第二特征提取模块，得到各项历史资源的应用对象的属性信息对应的融合特征向量包括：将各项历史资源的应用对象的属性信息输入第二特征提取模块的嵌入层，得到各项历史资源的应用对象的属性信息的嵌入式编码；将各项历史资源的应用对象的属性信息输入位置编码函数，得到各项历史资源的应用对象的属性信息的位置编码；将各项历史资源的应用对象的属性信息的嵌入式编码和位置编码加和，得到各项历史资源的应用对象的属性信息的初步编码；将初步编码输入多个第二编码层进行特征提取，得到各项历史资源的应用对象的属性信息对应的特征编码；将各项历史资源的应用对象的属性信息对应的特征编码输入平均池化层，得到各项历史资源的应用对象的属性信息对应的融合特征向量。
在一些实施例中，每个第二编码层包括一个自注意力机制层和一个前置神经网络层，将初步编码输入多个第二编码层进行特征提取包括：将初步编码依次输入各个第二编码层的自注意力机制层和前置神经网络层进行特征提取。
在一些实施例中，该方法还包括：获取训练用户的特征信息，训练用户的历史交互信息，备选资源信息以及训练用户实际选择的备选资源和备选资源的应用对象，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；将训练用户的特征信息、历史交互信息，以及备选资源信息输入联合推荐模型；根据联合推荐模型输出的各项备选资源的推送概率、各项备选资源的应用对象推送概率以及训练用户实际选择的备选资源和备选资源的应用对象，确定损失函数；根据损失函数对联合推荐模型的参数进行调整，直至完成训练。
根据本公开的另一些实施例，提供的一种信息推送装置，包括：获取模块，用于获取待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；确定模块，用于根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率；推送模块，用于根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至待推送用户。
根据本公开的又一些实施例，提供的一种信息推送装置，包括：处理器；以及耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行如前述任意实施例的信息推送方法。
根据本公开的再一些实施例，提供的一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的信息推送方法的步骤。
本公开中根据待推送用户的历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。由于历史交互信息包括历史预设时间内交互的各项历史资源的属性信息和各项历史资源的应用对象的属性信息，备选资源信息包括项备选资源的属性信息以及各项备选资源的应用对象的属性信息，因此，本公开的方案考虑了历史资源、历史资源的应用对象与备选资源和备选资源的应用对象的相关度，同时考虑出了待推送用户的特征，实现备选资源和应用对象的联合推荐，使待推送用户能够同时获得推送的备选资源和备选资源的应用对象，提高推荐的效率和推荐效果。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的信息推送方法的流程示意图。
图2示出本公开的一些实施例的联合推荐模型的结构示意图。
图3示出本公开的另一些实施例的信息推送方法的流程示意图。
图4示出本公开的一些实施例的信息推送装置的结构示意图。
图5示出本公开的另一些实施例的信息推送装置的结构示意图。
图6示出本公开的又一些实施例的信息推送装置的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开提供一种信息推送方法，下面结合图1～3进行描述。
图1为本公开信息推送方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S106。
在步骤S102中，获取待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息。
在一些实施例中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息。待推送用户的特征信息例如包括：待推送用户的标识、年龄、性别等人口特征，可以根据实际需求进行选择和配置。历史资源的属性信息例如包括：历史资源的标识，在历史资源为虚拟资源的情况下，还可以包括历史资源的抵用率，例如，一个应用对象实际需要的资源为100，使用某项历史资源后，可以抵用20，则该项历史资源的抵用率为20％。备选资源的属性信息可以包括：备选资源的标识、备选资源的抵用率等。应用对象的属性信息包括：应用对象的标识、应用对象所属类型、应用对象所属提供方中至少一项。
交互是指待推送用户点击或使用等行为。待推送用户的交互行为例如点击流可以实时存入kafka系统。点击流可以包括待推送用户点击的资源的标识，与资源的其他属性信息、应用对象的属性信息、待推送用户的特征信息等进行预处理，例如利用Flink和BDP技术进行特征清洗、特征聚合、特征补全等预处理，之后进入消息队列(MQ)等待被调用。
在步骤S104中，根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度，作为第一相关度；确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征，以及各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征；确定第一融合特征和第二融合特征的相关度，作为第二相关度；根据第一相关度和第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度包括：将各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息分别输入联合推荐模型的第一特征提取模块和第二特征提取模块，得到各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量，其中，特征矩阵包括各项备选资源的应用对象的属性信息对应的特征向量；将特征矩阵和特征向量输入第一注意力机制层，得到各项备选资源的应用对象的属性信息对应的特征向量相对于融合特征向量的注意力权重。
待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息都会输入联合推荐模型进行运算，对于连续型特征，例如资源的抵用率、年龄等，可以直接对特征进行标准化后输入到模型。对于离散特征，例如待推送用户的标识、资源的标识等，可以进行one-hot编码后输入到模型。
在一些实施例中，各项备选资源的应用对象的属性信息输入第一特征提取模块主要进行以下处理：将各项备选资源的应用对象的属性信息输入第一特征提取模块的嵌入层，得到各项备选资源的应用对象的属性信息的嵌入式编码；将各项备选资源的应用对象的属性信息输入位置编码函数，得到各项备选资源的应用对象的属性信息的位置编码；将各项备选资源的应用对象的属性信息的嵌入式编码和位置编码加和，生成初步特征矩阵；将初步特征矩阵输入多个第一编码层进行特征提取，得到各项备选资源的应用对象的属性信息对应的特征矩阵。
如图2所示，第一特征提取模块包括嵌入层、位置编码层和第一编码层。下面依次进行描述。嵌入(Embedding)层的作用是将高维稀疏的向量，转化为低维稠密的向量。每项备选资源的应用对象的属性信息在输入之前可以转换为二元向量。每项备选资源的应用对象的属性信息假设为一项特征，对于特征i，Ki表示特征i的总个数，D表示特征i的embedding维度。令特征i的embedding权重
Figure BDA0002894485770000091
Figure BDA0002894485770000092
则
Figure BDA0002894485770000093
可以表示特征i中的第j个维度为D的embedding向量。对于one-hot向量ti，若ti[j]＝1，j∈{i1，...，ik}，那么ti经过embedding层得到的embedding向量ei则表示为：
Figure BDA0002894485770000094
位置编码层包括位置编码函数，在对输入信息进行embedding编码的时候，还可以采用位置编码函数，对输入信息的位置信息进行编码，再将编码后的输出与embedding进行加和生成初步特征矩阵。例如位置编码函数可以采用以下公式表示
PE(pos，2i)＝sin(pos/100002i/d) (1)
PE(pos，2i+1)＝cos(pos/100002i/d) (2)
其中，pos代表某一位置，i代表embedding的某一维度，d代表输入特征的维度。位置编码函数可以采用现有的位置编码函数，例如，Transformer模型中的位置编码函数。
在一些实施例中，每个第一编码层包括一个自注意力机制层和一个前置神经网络层，将初步特征矩阵输入多个第一编码层进行特征提取包括：将初步特征矩阵依次输入各个第一编码层的自注意力机制层和前置神经网络层进行特征提取，得到各项备选资源的应用对象的属性信息对应的特征矩阵。
多个第一编码层(encoder)，可以采用Transformer模型的结构，每个第一编码层各自包含一个注意力机制层(Self-attention)和前置神经网络层。对于每个第一编码层，它的输入首先会经过self-attention层，再经过前置神经网络层。Self-attention层的作用是编码每个位置的特征的同时也关注其他位置的特征，可以采用以下公式表示，
Figure BDA0002894485770000095
其中，d为输入特征X(初步特征矩阵中的各个向量)的维度，Q、K、V分别对应query、key和value三个向量。这三个向量是由输入特征向量X与三个矩阵WQ，WK，
Figure BDA0002894485770000096
分别线性映射而来。
Figure BDA0002894485770000097
Figure BDA0002894485770000098
Figure BDA0002894485770000101
可以采用现有技术中的multi-head attention，通过多组不同的线性映射得到多组self-attention，并将多组attention拼接后通过映射矩阵
Figure BDA0002894485770000102
进行线性映射，例如参考以下公式进行计算。
S＝MultiHead(Q，K，V)＝Concat(head1，...，headh)WO (7)
Figure BDA0002894485770000103
其中，h代表head的总个数，WO是额外加入的映射矩阵，目的是将拼接后的heads映射为维度为d的特征向量。headi表示第i个head生成的向量，
Figure BDA0002894485770000104
表示第i个head对应的一组映射矩阵。
前置神经网络(Feedforward Neural Network)层的主要作用是增加非线性的同时进一步提取特征。前置神经网络由dropout层、Layer normalization、残差连接以及全连层组成，例如参考以下公式进行计算。
S′＝LayerNorm(S+Dropout(MH(S))) (9)
F＝LayerNorm(S′+Dropout(LeakyReLU(S′W(1)+b(1))W(2)+b(2))) (10)
其中，W(1)，b(1)，W(2)，b(2)是可训练的参数，LayerNorm表示标准化层(Layernormalization)，Dropout代表dropout层，S是multi-head attention的输出，S′是前置神经网络中的中间层输出。
经过上述第一特征提取模块中各层的处理，可以将各项备选资源的应用对象的属性信息的关键特征挖掘出来，以便后续更加准确的确定第一相关度。
在一些实施例中，各项历史资源的应用对象的属性信息输入第二特征提取模块主要进行以下处理：将各项历史资源的应用对象的属性信息输入第二特征提取模块的嵌入层，得到各项历史资源的应用对象的属性信息的嵌入式编码；将各项历史资源的应用对象的属性信息输入位置编码函数，得到各项历史资源的应用对象的属性信息的位置编码；将各项历史资源的应用对象的属性信息的嵌入式编码和位置编码加和，得到各项历史资源的应用对象的属性信息的初步编码；将初步编码输入多个第二编码层进行特征提取，得到各项历史资源的应用对象的属性信息对应的特征编码；将各项历史资源的应用对象的属性信息对应的特征编码输入平均池化层，得到各项历史资源的应用对象的属性信息对应的融合特征向量。
进一步，每个第二编码层包括一个自注意力机制层和一个前置神经网络层，将初步编码输入多个第二编码层进行特征提取包括：将初步编码依次输入各个第二编码层的自注意力机制层和前置神经网络层进行特征提取。
如图2所示，第二特征提取模块包括嵌入层、位置编码层和第二编码层，分别与第一特征提取模块中的嵌入层、位置编码层和第一编码层类似，可以参考前述实施例。进一步，第二特征提取模块还包括平均池化层。平均池化层(Average Pooling Layer)的作用是将多个特征向量融合为单个特征向量。平均池化层例如采用以下公式表示。
Figure BDA0002894485770000111
Figure BDA0002894485770000112
表示用户i各项历史资源的应用对象的属性信息对应的特征编码，k代表应用对象的总数。
经过上述第二特征提取模块中各层的处理，可以将各项历史资源的应用对象的属性信息的关键特征挖掘出来，并进行融合得到融合特征向量，以便后续更加准确的确定第一相关度。
在一些实施例中，通过第一特征提取模块和第二特征提取模块分别得到各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量后，输入第一注意力机制层，得到各项备选资源的应用对象的属性信息对应的特征向量相对于融合特征向量的注意力权重。
在一些实施例中，将第一融合特征和第二融合特征输入第二注意力机制层，得到第二融合特征相对于第一融合特征的注意力权重。
如图2所示，联合推荐模型中包括第一注意力(Attention)机制层和第二注意力机制层。第一注意力机制层和第二注意力机制层的结构是类似的。第一注意力机制层主要用于学习各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度，第二注意力机制层主要用于学习第一融合特征和第二融合特征的相关度。例如，第一注意力机制层可以采用以下公式表示。
Figure BDA0002894485770000121
其中，{e1，...，eH}是各项备选资源的应用对象的属性信息对应的特征向量(前述特征矩阵中的向量)，1≤j≤H，vA是各项历史资源的应用对象的属性信息对应的融合特征向量，a(·)是一个前置神经网络，输出的值为attention权重，wj表示attention权重，vU(A)可以表示第一注意力特征向量。第二注意力机制层与第一注意力机制层类似，不再赘述。
在一些实施例中，第一融合特征和第二融合特征可以采用以下方法确定。根据各项备选资源的应用对象的属性信息对应的特征向量关于融合特征向量的注意力权重，确定第一注意力特征向量；将各项备选资源的属性信息对应的特征向量与第一注意力特征向量进行拼接，得到各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征向量，作为第一融合特征。将各项历史资源的属性信息对应的特征向量与各项历史资源的应用对象的属性信息对应的融合特征向量进行拼接，得到各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征向量，作为第二融合特征。
各项备选资源的属性信息对应的特征向量以及各项历史资源的属性信息对应的特征向量可以通过嵌入(embedding)算法或其他编码算法得到。例如，用户特征向量是将待推送用户的特征信息输入联合推荐模型的第一嵌入层后输出的结果；各项备选资源的属性信息对应的特征向量是将待推送用户的特征信息输入联合推荐模型的第二嵌入层后输出的结果。
第二注意力机制层不仅可以到得到第二融合特征相对于第一融合特征的注意力权重，还可以根据第二融合特征相对于第一融合特征的注意力权重，确定第二注意力特征向量。
进一步，如图2所示，联合推荐模型还包括多层感知机(MLP)，MLP层主要的作用是自动学习组合前面生成的各种特征，用于进一步挖掘特征信息。MLP中例如采用多个LeakyReLU激活函数，采用以下公式表示。
Fl＝LeakyRelu(XWT)+b (13)
X代表MLP层的输入，W为MLP层可训练的参数矩阵，b为MLP层的偏置参数，LeakyRelu表示激活函数。
在一些实施例中，如图2所示，联合推荐模型还包括softmax层。将第一融合特征、第二注意力特征向量以及待推送用户的特征信息对应的用户特征向量输入联合推荐模型的多层感知机(MLP)；将多层感知机输出的特征输入联合推荐模型的softmax层，得到输出的各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在步骤S106中，根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至待推送用户。
例如，可以选取推送概率大于第一阈值的一项或多项备选资源，或者，将各项备选资源按照推送概率由大到小进行排序，选取排序在第一预设位置之前的一项或多项备选资源。针对选取的备选资源，从这些备选资源的应用对象中，选取推送概率大于第二阈值的一个或多个应用对象，或者，将这些备选资源的应用对象按照推送概率由大到小进行排序，选取排序在第二预设位置之前的一个或多个应用对象。
前述实施例提到获取的待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息经过预处理，之后进入消息队列(MQ)等待被调用。MQ中的信息被调用进行实时计算，例如，在线推理各项备选资源的推送概率以及各项备选资源的应用对象推送概率，实现各项备选资源和应用对象的排序，将排序结果发送至消息队列，进而可以发送至数据库进行存储，数据库例如包括：Redis，MySQL，HBase等。进一步，可以设置推荐接口。推荐接口可以采用RPC(远程过程调用接口)。从数据库获取排序结果后可以进行数据中转，解析结果并实时过滤得到推送的备选资源和应用对象作为推荐数据，通过推荐接口发送出去，还可以将推荐数据发送至数据库进行存储。
上述实施例中根据待推送用户的历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。由于历史交互信息包括历史预设时间内交互的各项历史资源的属性信息和各项历史资源的应用对象的属性信息，备选资源信息包括项备选资源的属性信息以及各项备选资源的应用对象的属性信息，因此，上述实施例的方案考虑了历史资源、历史资源的应用对象与备选资源和备选资源的应用对象的相关度，同时考虑出了待推送用户的特征，实现备选资源和应用对象的联合推荐，使待推送用户能够同时获得推送的备选资源和备选资源的应用对象，提高推荐的效率和推荐效果。
下面结合图3描述本公开信息推送方法的另一些实施例。
图3为本公开信息推送方法另一些实施例的流程图。如图3所示，该实施例的方法包括：步骤S302～S308。
在步骤S302中，获取训练用户的特征信息，训练用户的历史交互信息，备选资源信息以及训练用户实际选择的备选资源和备选资源的应用对象。
可以每天利用大量用户的数据，离线训练得到联合推荐模型；将训练好的模型部署成服务并提供RPC接口；同时，通过Flink收集用户和资源和应用对象的实时数据，经过特征处理后作为入参，调用模型接口来获得返回的推荐的备选资源和应用对象。联合推荐的流程包含了以下几个部分：离线数据采集、离线模型训练、模型部署、实时数据采集、实时推理、推荐结果前端展示，以及推荐效果评估。
离线数据采集包括采集训练用户的特征信息，训练用户的历史交互信息，备选资源信息以及训练用户实际选择的备选资源和备选资源的应用对象。历史交互信息例如包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息例如包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息。
例如，我们从网络平台的数据仓库中抽取历史预设时间(例如近90天内)所有用户交互的历史资源的信息，为每个用户生成若干个窗口训练样本。表1展示了为某个用户构建的训练样本中关于历史资源的部分。该用户近90天使用过的历史资源的标识按时间排序依次为1、1916、1345、1376、1452。按照滑动窗口的方式，依次在用户的历史列表上构建不同窗口的正负样本。标签为1的样本为正样本，即用户实际选择的备选资源；反之，标签为0代表用户没有选择该备选资源的负样本。每个用户的负样本均从用户未选择备选资源集合中随机采样得到。
表1
Figure BDA0002894485770000151
在步骤S304中，将训练用户的特征信息、历史交互信息，以及备选资源信息输入联合推荐模型。
在步骤S306中，根据联合推荐模型输出的各项备选资源的推送概率、各项备选资源的应用对象推送概率以及训练用户实际选择的备选资源和备选资源的应用对象，确定损失函数。
例如，损失函数可以采用负对数似然函数，可以采用以下公式表示。
Figure BDA0002894485770000161
S为训练集，x为输入，y∈{0，1}为样本的标签，p(x)是模型的输出，作为推荐x的概率。
模型构建完成以后，通常需要运行一段时间来完成模型的训练。训练的时长通常由模型本身的表现能力、模型的复杂度、训练模型所用到的硬件能力，以及应用模型的业务场景来决定。在联合推荐的场景中，考虑到用户的行为以及备用资源的更新频率较高，我们需要每天训练一次模型，每次训练使用的数据为当前时间往前的若干天的历史数据。
在步骤S308中，根据损失函数对联合推荐模型的参数进行调整，直至完成训练。
例如，损失函数值达到最小，或者损失函数值达到阈值，或者迭代次数达到阈值等收敛条件。
对联合推荐模型进行离线训练，可以使用全量用户作为训练用户，联合模型中各部分仍然需要对输入的信息进行如前述实施例中操作，在此不再赘述。
将离线训练好的模型部署成服务供客户端调用接口，可以使用了Tensorflowserving来完成模型的部署。Tensorflow serving是Tensorflow提供的一个针对机器学习模型的灵活、高性能的服务系统。它自带了模型版本的管理功能，不仅能提供多个版本模型的服务，还能将最新更新的模型自动部署成服务。
完成模型的部署后可以针对实时待推送用户执行如前述实施例的处理。例如，获取待推送用户的特征信息，待推送用户的历史交互信息，以及实时的备选资源信息。将这些数据作为入参，来调用模型服务接口，获取实时的推送结果。可以使用Flink框架，通过接入网络平台的实时点击流和实时备选资源变更流，将预设时间(例如5分钟)内收集到的备选资源信息和待推送用户的行为数据分别聚合起来，最终得到聚合后的数据并发送消息队列，由后续的计算模块消费消息并进行计算。
表2显示了待推送用户的历史资源的部分属性信息，表3显示了备选资源的部分属性信息。表2中展示了五分钟内收集到的user_1,user_2,user_3各自交互过的历史资源的标识，例如user_1在五分钟内交互过774,18,788,112,219这五项历史资源。表3中展示了当前获取到的最新的备选资源的属性信息，这里具体展示了其中的三项备选资源。每项备选资源有对应的应用对象，例如标识为33的备选资源的应用对象的标识有70,7,73,等等。还可以选择性加入一些备选资源的其他属性，如备选资源的抵用率等，选择什么样的属性需要根据具体的业务场景来决定。
表2
窗口用户 历史资源的标识
user_1 774,18,788,112,219
user_2 258,779,972
user_3 2,682,664,504,719,290,437,325
表3
Figure BDA0002894485770000171
将表2表3中的信息，以及前述实施例中列举的待推送用户的其他信息作为输入信息，通过调用部署好的联合推荐模型服务，最终得到推理结果例如表4所示。例如，表4中为对于user_1计算得到的三向备选资源的推送概率，其中备选资源738的概率最高，为0.82。在备选资源738的应用对象列表中，针对user_1计算得到的各应用对象对应的推送概率依次如表格中所展示，例如，标识为71的应用对象的推送概率最高，为0.4。实际在前端为用户展示的时候，可以按照表中所示的备选资源概率进行排序，在这个例子中，前端页面将依次展示备选资源738、855、33。同时，前端页面将按照计算出的应用对象的推送概率的排序先后展示应用对象。对于备选资源738，页面将会依次展示它的应用对象71、50、59，...,以此类推。
表4
Figure BDA0002894485770000181
为了保证实时性，可以提前在后端算好对每个用户的推送列表，将算好的结果存入数据库(例如Redis)中，这个过程称为近线计算。每当有新的用户行为产生，或者有新的资源变更，系统都会自动进行一次计算，并把结果更新到数据库中。推荐系统将额外提供接口给前端调用。前端只需要传入用户的标识，推荐接口则会从Redis中获取该用户对应的推送列表并返回给前端调用方。再由前端解析推送列表，并将推送列表对应的备选资源和应用对象展示在前端页面。
备选资源和应用对象联合推荐在前端的展示，可以每一行对应一项备选资源，每一行中的若干个应用对象图片则对应了该备选资源对应的推送的应用对象。用户可以通过滑动每行的应用对象来浏览更多的被推送应用对象。同时，用户可以点击这些应用对象图片直接跳转到应用对象的详情页面。最后，如果用户对某项备选资源感兴趣，可以点击该备选资源最右侧的红色按钮进行领取。
可以对最终的推送效果进行评估，例如采用AUC作为评估整体方案的指标，例如采用以下公式计算AUC。
Figure BDA0002894485770000191
AUCi是用户i的AUC值，#impressioni是用户i的点击的备选资源总数。该改进版的AUC实际上是按照用户维度进行了impression的加权。
本公开还提供一种信息推送装置，下面结合图4进行描述。
图4为本公开信息推送装置的一些实施例的结构图。如图4所示，该实施例的装置40包括：获取模块410，确定模块420，推送模块430。
获取模块410用于获取待推送用户的特征信息，待推送用户的历史交互信息，以及备选资源信息，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息。
确定模块420用于根据历史交互信息与备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定模块420用于确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度，作为第一相关度；确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征，以及各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征；确定第一融合特征和第二融合特征的相关度，作为第二相关度；根据第一相关度和第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定模块420用于将各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息分别输入联合推荐模型的第一特征提取模块和第二特征提取模块，得到各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量，其中，特征矩阵包括各项备选资源的应用对象的属性信息对应的特征向量；将各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量输入第一注意力机制层，得到各项备选资源的应用对象的属性信息对应的特征向量相对于融合特征向量的注意力权重。
在一些实施例中，确定模块420用于根据各项备选资源的应用对象的属性信息对应的特征向量关于融合特征向量的注意力权重，确定第一注意力特征向量；将各项备选资源的属性信息对应的特征向量与第一注意力特征向量进行拼接，得到各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征向量，作为第一融合特征。
在一些实施例中，确定模块420用于将各项历史资源的属性信息对应的特征向量与各项历史资源的应用对象的属性信息对应的融合特征向量进行拼接，得到各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征向量，作为第二融合特征。
在一些实施例中，确定模块420用于将第一融合特征和第二融合特征输入第二注意力机制层，得到第二融合特征相对于第一融合特征的注意力权重。
在一些实施例中，确定模块420用于根据第二融合特征相对于第一融合特征的注意力权重，确定第二注意力特征向量；将第一融合特征、第二注意力特征向量以及待推送用户的特征信息对应的用户特征向量输入联合推荐模型的多层感知机；将多层感知机输出的特征输入联合推荐模型的softmax层，得到输出的各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
在一些实施例中，确定模块420用于将各项备选资源的应用对象的属性信息输入第一特征提取模块的嵌入层，得到各项备选资源的应用对象的属性信息的嵌入式编码；将各项备选资源的应用对象的属性信息输入位置编码函数，得到各项备选资源的应用对象的属性信息的位置编码；将各项备选资源的应用对象的属性信息的嵌入式编码和位置编码加和，生成初步特征矩阵；将初步特征矩阵输入多个第一编码层进行特征提取，得到各项备选资源的应用对象的属性信息对应的特征矩阵。
在一些实施例中，确定模块420用于将各项历史资源的应用对象的属性信息输入第二特征提取模块的嵌入层，得到各项历史资源的应用对象的属性信息的嵌入式编码；将各项历史资源的应用对象的属性信息输入位置编码函数，得到各项历史资源的应用对象的属性信息的位置编码；将各项历史资源的应用对象的属性信息的嵌入式编码和位置编码加和，得到各项历史资源的应用对象的属性信息的初步编码；将初步编码输入多个第二编码层进行特征提取，得到各项历史资源的应用对象的属性信息对应的特征编码；将各项历史资源的应用对象的属性信息对应的特征编码输入平均池化层，得到各项历史资源的应用对象的属性信息对应的融合特征向量。
推送模块430用于根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至待推送用户。
在一些实施例中，装置40还包括：训练模块440用于获取训练用户的特征信息，训练用户的历史交互信息，备选资源信息以及训练用户实际选择的备选资源和备选资源的应用对象，其中，历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；将训练用户的特征信息、历史交互信息，以及备选资源信息输入联合推荐模型；根据联合推荐模型输出的各项备选资源的推送概率、各项备选资源的应用对象推送概率以及训练用户实际选择的备选资源和备选资源的应用对象，确定损失函数；根据损失函数对联合推荐模型的参数进行调整，直至完成训练。
本公开的实施例中的信息推送装置可各由各种计算设备或计算机系统来实现，下面结合图5以及图6进行描述。
图5为本公开信息推送装置的一些实施例的结构图。如图5所示，该实施例的装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行本公开中任意一些实施例中的信息推送方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图6为本公开信息推送装置的另一些实施例的结构图。如图6所示，该实施例的装置60包括：存储器610以及处理器620，分别与存储器510以及处理器520类似。还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (16)

1.一种信息推送方法，包括：
获取待推送用户的特征信息，所述待推送用户的历史交互信息，以及备选资源信息，其中，所述历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，所述备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；
根据所述历史交互信息与所述备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率；
根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至所述待推送用户。
2.根据权利要求1所述的信息推送方法，其中，所述根据所述历史交互信息与所述备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率包括：
确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度，作为第一相关度；
确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征，以及各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征；
确定所述第一融合特征和所述第二融合特征的相关度，作为第二相关度；
根据所述第一相关度和所述第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
3.根据权利要求2所述的信息推送方法，其中，所述确定各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息的相关度包括：
将各项备选资源的应用对象的属性信息与各项历史资源的应用对象的属性信息分别输入联合推荐模型的第一特征提取模块和第二特征提取模块，得到各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量，其中，所述特征矩阵包括各项备选资源的应用对象的属性信息对应的特征向量；
将各项备选资源的应用对象的属性信息对应的特征矩阵以及各项历史资源的应用对象的属性信息对应的融合特征向量输入第一注意力机制层，得到各项备选资源的应用对象的属性信息对应的特征向量相对于所述融合特征向量的注意力权重。
4.根据权利要求3所述的信息推送方法，其中，所述确定各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征，作为第一融合特征包括：
根据各项备选资源的应用对象的属性信息对应的特征向量关于所述融合特征向量的注意力权重，确定第一注意力特征向量；
将各项备选资源的属性信息对应的特征向量与所述第一注意力特征向量进行拼接，得到各项备选资源的属性信息和各项备选资源的应用对象的属性信息的融合特征向量，作为第一融合特征。
5.根据权利要求3所述的信息推送方法，其中，所述各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征，作为第二融合特征包括：
将各项历史资源的属性信息对应的特征向量与所述各项历史资源的应用对象的属性信息对应的融合特征向量进行拼接，得到各项历史资源的属性信息和各项历史资源的应用对象的属性信息的融合特征向量，作为第二融合特征。
6.根据权利要求4所述的信息推送方法，其中，所述确定所述第一融合特征和所述第二融合特征的相关度，作为第二相关度包括：
将所述第一融合特征和所述第二融合特征输入第二注意力机制层，得到所述第二融合特征相对于所述第一融合特征的注意力权重。
7.根据权利要求6所述的信息推送方法，其中，所述根据所述第一相关度和所述第二相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率包括：
根据所述第二融合特征相对于所述第一融合特征的注意力权重，确定第二注意力特征向量；
将所述第一融合特征、所述第二注意力特征向量以及待推送用户的特征信息对应的用户特征向量输入联合推荐模型的多层感知机；
将多层感知机输出的特征输入联合推荐模型的softmax层，得到输出的各项备选资源的推送概率以及各项备选资源的应用对象推送概率。
8.根据权利要求7所述的信息推送方法，其中，
所述用户特征向量是将所述待推送用户的特征信息输入联合推荐模型的第一嵌入层后输出的结果；
所述各项备选资源的属性信息对应的特征向量是将所述待推送用户的特征信息输入联合推荐模型的第二嵌入层后输出的结果。
9.根据权利要求3所述的信息推送方法，其中，所述将各项备选资源的应用对象的属性信息输入联合推荐模型的第一特征提取模块得到各项备选资源的应用对象的属性信息对应的特征矩阵包括：
将各项备选资源的应用对象的属性信息输入所述第一特征提取模块的嵌入层，得到各项备选资源的应用对象的属性信息的嵌入式编码；
将各项备选资源的应用对象的属性信息输入位置编码函数，得到各项备选资源的应用对象的属性信息的位置编码；
将各项备选资源的应用对象的属性信息的嵌入式编码和位置编码加和，生成初步特征矩阵；
将所述初步特征矩阵输入多个第一编码层进行特征提取，得到各项备选资源的应用对象的属性信息对应的特征矩阵。
10.根据权利要求9所述的信息推送方法，其中，每个第一编码层包括一个自注意力机制层和一个前置神经网络层，所述将所述初步特征矩阵输入多个第一编码层进行特征提取包括：
将所述初步特征矩阵依次输入各个第一编码层的自注意力机制层和前置神经网络层进行特征提取。
11.根据权利要求3所述的信息推送方法，其中，所述将各项历史资源的应用对象的属性信息输入联合推荐模型的第二特征提取模块，得到各项历史资源的应用对象的属性信息对应的融合特征向量包括：
将各项历史资源的应用对象的属性信息输入所述第二特征提取模块的嵌入层，得到各项历史资源的应用对象的属性信息的嵌入式编码；
将各项历史资源的应用对象的属性信息输入位置编码函数，得到各项历史资源的应用对象的属性信息的位置编码；
将各项历史资源的应用对象的属性信息的嵌入式编码和位置编码加和，得到各项历史资源的应用对象的属性信息的初步编码；
将所述初步编码输入多个第二编码层进行特征提取，得到各项历史资源的应用对象的属性信息对应的特征编码；
将各项历史资源的应用对象的属性信息对应的特征编码输入平均池化层，得到各项历史资源的应用对象的属性信息对应的融合特征向量。
12.根据权利要求11所述的信息推送方法，其中，每个第二编码层包括一个自注意力机制层和一个前置神经网络层，所述将所述初步编码输入多个第二编码层进行特征提取包括：
将所述初步编码依次输入各个第二编码层的自注意力机制层和前置神经网络层进行特征提取。
13.根据权利要求3所述的信息推送方法，还包括：
获取训练用户的特征信息，所述训练用户的历史交互信息，备选资源信息以及所述训练用户实际选择的备选资源和备选资源的应用对象，其中，所述历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，所述备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；
将所述训练用户的特征信息、历史交互信息，以及备选资源信息输入所述联合推荐模型；
根据所述联合推荐模型输出的各项备选资源的推送概率、各项备选资源的应用对象推送概率以及所述训练用户实际选择的备选资源和备选资源的应用对象，确定损失函数；
根据所述损失函数对所述联合推荐模型的参数进行调整，直至完成训练。
14.一种信息推送装置，包括：
获取模块，用于获取待推送用户的特征信息，所述待推送用户的历史交互信息，以及备选资源信息，其中，所述历史交互信息包括：历史预设时间内交互的各项历史资源的属性信息，各项历史资源的应用对象的属性信息，所述备选资源信息包括：各项备选资源的属性信息以及各项备选资源的应用对象的属性信息；
确定模块，用于根据所述历史交互信息与所述备选资源信息的相关度，以及待推送用户的特征信息，确定各项备选资源的推送概率以及各项备选资源的应用对象推送概率；
推送模块，用于根据各项备选资源的推送概率以及各项备选资源的应用对象推送概率，选取一项或多项备选资源，并针对选取的备选资源选取一个或多个应用对象推送至所述待推送用户。
15.一种信息推送装置，包括：
处理器；以及
耦接至所述处理器的存储器，用于存储指令，所述指令被所述处理器执行时，使所述处理器执行如权利要求1-13任一项所述的信息推送方法。
16.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-13任一项所述方法的步骤。
CN202110038579.0A 2021-01-12 2021-01-12 信息推送方法、装置和计算机可读存储介质 Pending CN113761338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110038579.0A CN113761338A (zh) 2021-01-12 2021-01-12 信息推送方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110038579.0A CN113761338A (zh) 2021-01-12 2021-01-12 信息推送方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113761338A true CN113761338A (zh) 2021-12-07

Family

ID=78786287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110038579.0A Pending CN113761338A (zh) 2021-01-12 2021-01-12 信息推送方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113761338A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205477A1 (en) * 2017-12-29 2019-07-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Processing Fusion Data and Information Recommendation System
CN110046304A (zh) * 2019-04-18 2019-07-23 腾讯科技（深圳）有限公司 一种用户推荐方法和装置
CN110825957A (zh) * 2019-09-17 2020-02-21 中国平安人寿保险股份有限公司 基于深度学习的信息推荐方法、装置、设备及存储介质
CN110929206A (zh) * 2019-11-20 2020-03-27 腾讯科技（深圳）有限公司 点击率预估方法、装置、计算机可读存储介质和设备
US20200288205A1 (en) * 2019-05-27 2020-09-10 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, electronic device, and storage medium for recommending multimedia resource
CN111858971A (zh) * 2020-07-23 2020-10-30 北京达佳互联信息技术有限公司 多媒体资源推荐方法、装置、终端及服务器
US20210173884A1 (en) * 2018-11-29 2021-06-10 Tencent Technology (Shenzhen) Company Limited Recommendation method and apparatus, and storage medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205477A1 (en) * 2017-12-29 2019-07-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for Processing Fusion Data and Information Recommendation System
US20210173884A1 (en) * 2018-11-29 2021-06-10 Tencent Technology (Shenzhen) Company Limited Recommendation method and apparatus, and storage medium
CN110046304A (zh) * 2019-04-18 2019-07-23 腾讯科技（深圳）有限公司 一种用户推荐方法和装置
US20210279552A1 (en) * 2019-04-18 2021-09-09 Tencent Technology (Shenzhen) Company Limited Method for making recommendations to a user and apparatus, computing device, and storage medium
US20200288205A1 (en) * 2019-05-27 2020-09-10 Beijing Dajia Internet Information Technology Co., Ltd. Method, apparatus, electronic device, and storage medium for recommending multimedia resource
CN110825957A (zh) * 2019-09-17 2020-02-21 中国平安人寿保险股份有限公司 基于深度学习的信息推荐方法、装置、设备及存储介质
CN110929206A (zh) * 2019-11-20 2020-03-27 腾讯科技（深圳）有限公司 点击率预估方法、装置、计算机可读存储介质和设备
CN111858971A (zh) * 2020-07-23 2020-10-30 北京达佳互联信息技术有限公司 多媒体资源推荐方法、装置、终端及服务器

Similar Documents

Publication Publication Date Title
US11915123B2 (en) Fusing multimodal data using recurrent neural networks
WO2021139415A1 (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN108229986B (zh) 信息点击预测中的特征构建方法、信息投放方法和装置
CN111339406B (zh) 个性化推荐方法、装置、设备及存储介质
CN111429204A (zh) 酒店推荐方法、系统、电子设备和存储介质
CN112231580B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN117836765A (zh) 基于多模态超图的点击预测
CN112348592A (zh) 广告推荐方法、装置、电子设备及介质
CN115130711A (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN117197722B (zh) 基于移动互联网视频的用户感知与分析系统
Liang et al. Generative ai-driven semantic communication networks: Architecture, technologies and applications
US11328205B2 (en) Generating featureless service provider matches
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN113761338A (zh) 信息推送方法、装置和计算机可读存储介质
CN115168609A (zh) 一种文本匹配方法、装置、计算机设备和存储介质
CN115269998A (zh) 信息推荐方法、装置、电子设备及存储介质
CN115203516A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质
CN114357242A (zh) 基于召回模型的训练评估方法及装置、设备、存储介质
CN113761272A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN115687701A (zh) 文本处理方法
CN115631008A (zh) 商品推荐方法、装置、设备及介质
CN112446738A (zh) 广告数据处理方法、装置、介质以及电子设备
CN113792163B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN114996561B (zh) 一种基于人工智能的信息推荐方法及装置
CN114417944B (zh) 识别模型训练方法及装置、用户异常行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination