CN112163149B - 推荐消息的方法及装置 - Google Patents

推荐消息的方法及装置 Download PDF

Info

Publication number
CN112163149B
CN112163149B CN202010972151.9A CN202010972151A CN112163149B CN 112163149 B CN112163149 B CN 112163149B CN 202010972151 A CN202010972151 A CN 202010972151A CN 112163149 B CN112163149 B CN 112163149B
Authority
CN
China
Prior art keywords
message
vector
historical
entity
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010972151.9A
Other languages
English (en)
Other versions
CN112163149A (zh
Inventor
蔡怡蕾
景艳山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Minglue Zhaohui Technology Co Ltd
Original Assignee
Beijing Minglue Zhaohui Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Minglue Zhaohui Technology Co Ltd filed Critical Beijing Minglue Zhaohui Technology Co Ltd
Priority to CN202010972151.9A priority Critical patent/CN112163149B/zh
Publication of CN112163149A publication Critical patent/CN112163149A/zh
Application granted granted Critical
Publication of CN112163149B publication Critical patent/CN112163149B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种推荐消息的方法及装置。该发明包括：将目标对象的历史消息对应的向量，输入双向长短时记忆网络，输出与每条历史消息被点击时刻对应的第二向量，然后获取待推荐的候选消息的向量与每条历史消息的第二向量的相似度得分，依据相似度得分得到最终得分，将最终得分作为该条历史消息的权重，对多条历史消息的第一向量进行加权求和，得到第三向量，获取目标对象点击候选消息的概率，依据概率大小决定是否向目标对象推送消息。采用上述方案，解决了相关技术中推荐消息时忽略用户兴趣随时间转移的问题，从而实现精准度更高的个性化推送。

Description

推荐消息的方法及装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种推荐消息的方法及装置。
背景技术
近年来，随着互联网的发展，各类信息呈现出指数级的增长，在数据大爆炸的时代，推荐算法可以更好的帮助用户在海量数据中发现所感兴趣的内容，目前推荐算法常用在商品推荐、电影推荐、图书推荐、新闻推荐以及视频推荐等领域内。
在新闻推荐中，以往的方法大都基于语义的表层相似推荐，而忽略在新闻中的多角度的潜在信息。
针对相关技术中推荐消息时忽略用户兴趣随时间转移的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种推荐消息的方法及装置，以解决相关技术中推荐消息时忽略用户兴趣随时间转移的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种推荐消息的方法。该发明包括：获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
为了实现上述目的，根据本发明的另一方面，提供了一种推荐消息的装置，包括：第一获取模块，用于获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；输出模块，用于按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；第二获取模块，用于通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；计算模块，用于使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
通过本发明，将目标对象历史点击过的历史消息对应的向量，输入双向长短时记忆网络，输出与每条历史消息被点击时刻对应的第二向量，然后获取待推荐的候选消息的向量与每条历史消息的第二向量的相似度得分，依据相似度得分得到最终得分，将最终得分作为该条历史消息的权重，对多条历史消息的第一向量进行加权求和，得到第三向量，获取目标对象点击候选消息的概率，依据概率大小决定是否向目标对象推送消息。采用上述方案，将历史消息的第一向量经过双向长短时记忆网络，考虑到用户兴趣随时间而产生变化的情况，在模型中使用长短时记忆网络和时间衰减系数，解决了相关技术中推荐消息时忽略用户兴趣随时间转移的问题，从而实现精准度更高的个性化推送。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的推荐消息的方法的流程图；
图2是根据本申请实施例的推荐系统模型的结构图；
图3是根据本发明实施例的推荐消息的装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在相关技术中的推荐算法中，推荐方法主要有以下四种：
一、基于热度的推荐方法。该方法简单的依据所要推荐内容的热度(如点赞数、评论数等)对推荐内容进行排序，并将排序靠前者推荐给用户。
二、基于内容的推荐方法。该方法依据信息检索和信息过滤，通过用户历史点击信息刻画用户画像，从而为用户推荐其更为感兴趣的信息。在用户画像生成阶段，常用的方法包括有：(1)对历史点击内容的特征进行人工标注；(2)利用计算机技术对历史点击进行自动特征标注，如词频-逆文本频率指数(term frequency–i nverse document frequency，简称为TF-IDF)等。得到用户画像之后，将其与各个预推荐内容进行相似度比较计算，从而得到推荐内容等排序。
三、基于协同过滤的推荐方法。该方法利用“物以类聚，人以群分”的思想，将相似用户的历史点击内容作为推荐的重要指标。目前，基于协同过滤的推荐系统主要分为两类，分别为：(1)基于用户的协同过滤推荐方法，该方法通过发现与当前用户兴趣爱好相似或相同用户的历史点击对推荐物品进行打分，从而实现推荐的目的；(2)基于物品的协同过滤方法，该方法通过用户对商品对不同行为进行打分，构建物品表示向量，从而通过对物品之间对相似度进行推荐。
四、基于模型的推荐方法。该方法通过机器学习对目标用户及其推荐内容进行建模，高效、自动的对用户喜好进行预测，得到推荐物品对打分。本发明的灵感来源于基于模型的推荐方法所设计的DKN模型，该模型将新闻中的实体转化为更具有普适性的上下文实体，并结合新闻标题，标题实体以及上下文实体进行用户画像表示，从而解决了新闻中普遍存在的浅层语义表示问题。
上述相关技术的方法中，基于热度的推荐方法所需用户信息较少，但无法针对用户进行个性化推荐，推荐内容较为单一，不符合大众需求。
基于内容的推荐方法使用用户历史点击内容进行推荐，但是在新闻推荐中会存在推荐相似表述的同一新闻问题。
基于协同过滤的推荐方法虽然克服了上述问题，可以在相似用户的喜好中发掘目标用户的潜在兴趣，但是该种方法存在冷启动问题，即是如果目标用户是新用户，历史点击信息较少，或者目标用户的兴趣爱好较为冷门，在大数据中极少存在与目标用户相似兴趣爱好的用户的情况下，该种方法无法进行有效的新闻推荐。
基于模型的推荐方法是当今最为流行的推荐方法之一，但是该方法通常较为存在与较为浅层的语义表达，无法进行其更为深层的知识理解，从而导致推荐内容的知识面较窄，无法实现多维度个性化的推荐算法，除此之外，现有的模型大都关注点较为单一，仅仅关注新闻中的一列信息，而使对新闻的理解不全面，而且，现有模型对于用户历史点击新闻的时间关注较少，对于所有新闻采用相同的关注度，从而忽略了用户兴趣的迁移问题。
本申请为了克服上述问题，将新闻类别和知识图谱融入基于模型的推荐方法中，同时考虑到用户兴趣随时间而产生变化的情况，在模型中使用长短时记忆神经网络和衰减系数，从而达到个性化的新闻推荐效果。
根据本发明的实施例，提供了一种推荐消息的方法，图1是根据本发明实施例的推荐消息的方法的流程图。如图1所示，该发明包括以下步骤：
步骤S101，获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；
目标对象可以是目标人物，候选消息可以是候选新闻，历史消息可以是历史点击新闻。图2是根据本申请实施例的推荐系统模型的结构图，如图2所示，从下到上依次为识别候选新闻类别，用户历史点击新闻类别，上下文实体，新闻摘要实体，新闻标题实体，新闻摘要，新闻标题等，将用户历史点击新闻的特征经过长短时记忆网络，加入时间衰减系数，最终经过多层感知机得到候选消息或候选新闻被用户点击的概率。
本申请中的推荐系统模型的输入输出可形式化的表示成公式1和公示2，历史消息中除消息本身外，还包括用户点击消息时间。
输入＝【候选消息，历史消息】 公式1
输出＝【用户点击候选消息的概率】 公式2
可选地，依据点击顺序对所述历史消息进行排序，包括：提取所述历史消息的消息特征并组成消息序列，所述消息特征包括：类别，标题，摘要，标题实体，摘要实体；依据所述目标对象点击消息的时间顺序对多条所述历史消息的消息序列进行排序。
可以通过以下方式获取待推荐给目标对象的候选消息，和目标对象历史点击过的历史消息：按照时间先后顺序对用户历史点击消息序列进行排序，消息序列为[CN1,CN2,......CNn],CNi中包括有类别、标题、摘要、标题实体、摘要实体。通过消息信息在知识图谱中找寻标题实体和摘要实体的上下文实体。
可选地，通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量，包括：依据所述摘要实体或所述标题实体在知识图谱中查找对应的上下文实体，将所述上下文实体作为消息特征加入所述消息序列；对候选消息或历史消息的所述消息特征执行以下四步骤操作：步骤一，对类别、标题、摘要中的字词进行word2vec编码，获得所述类别的最终向量，以及所述标题或摘要的初始向量；步骤二，将所述标题和所述摘要的初始向量再分别通过卷积神经网络进行编码，在卷积层中设置卷积核大小为n*k，其中n为词向量维度，k为词语个数，在池化层中使用最大池化操作，将所述池化层的输出作为线性层的输入，获得所述标题或所述消息的最终向量；步骤三，采用TransD方法在知识图谱中对所述标题实体或所述摘要实体，以及二者之间的关系进行编码，得到所述标题实体或所述摘要实体的最终向量；步骤四，采用TransD方法对所述标题实体或所述摘要实体对应的上文实体和下文实体进行编码，得到上文实体向量和下文实体向量，将所述上文实体向量和所述下文实体向量的平均值作为与所述标题实体或摘要实体对应的上下文实体的最终向量；将所述类别、标题、摘要、标题实体、摘要实体、上下文实体对应的最终向量相加，得到所述候选消息的候选消息向量，或所述历史消息的第一向量。采用上述方案，引入知识图谱，将消息标题和摘要中的实体利用知识图谱进行表达，扩充了机器学习的表达方式，在语义表示中更进一步的加入知识表达，使消息学习更加全面化。
可选地，具体的编码方式如下：本申请中需先对消息的类别、标题、摘要、标题实体、摘要实体以及上下文实体分别进行编码。其中，需要对消息的类别、标题和摘要中的词语进行word2vec编码，每个词语向量大小为Rn*1，其中n为词向量维度。之后将消息的标题和摘要分别通过卷积神经网络进行编码，在卷积层中设置卷积核大小为n*k，其中n为词向量维度，k为词语个数，在池化层中使用最大池化操作，然后将池化层的输出输入至线性层中，使标题和摘要的最终向量表示大小为Rn*1。在实体表示中，本发明采用TransD在知识图谱中对实体和关系进行编码，从而最终得到实体向量表示，本发明中实体向量大小为Rn*1。在上下文实体向量表示中，得到某一实体的上下文实体向量表示后对其求平均，以向量平均值作为上下文实体的向量表示。
可选地，将所述类别、标题、摘要、标题实体、摘要实体、上下文实体对应的最终向量相加，得到所述候选消息的候选消息向量，或所述历史消息的第一向量，包括：得到的类别、标题、摘要、标题实体、摘要实体以及上下文实体编码相加，得到候选消息的候选消息向量，或历史消息的第一向量，其向量表示维度为Rn*1。本发明分别从消息类别、标题、摘要、相关实体以及上下文实体等不同方面进行多视角学习，使神经网络在消息的表达能力增强，从而可以得到更好的结果。
步骤S102，按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；
可选地，在得到每个消息的第一向量之后，将用户点击的历史消息的第一向量输入至双向长短时记忆网络中，得到每一时刻t的输出ht，即 是时刻t的正向计算的输出向量，/>是时刻t的反向计算的输出向量。
步骤S103，通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；
可选地，计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，包括：通过对所述候选消息向量与所述第二向量的乘积进行概率归一化计算，得到二者之间的相似度得分。
可选地，通过以下方式进行概率归一化计算：使用候选消息的候选消息向量为引导进行注意力机制计算，如公式3所示。其中candidateNew为候选消息向量表示，ht为t时刻双向长短时记忆网络对输出，softmax(·)为概率归一化计算，计算方式如公式4所示，为相似度得分，/>
可选地，加入时间衰减系数：考虑到用户的兴趣会随时间迁移而发生改变，因此本申请中加入时间衰减系数β＝[β1，β2，βT]，其中，βt1＝0.75*βt。将公式3中所计算出的相似度得分与βt相乘得到最终得分，如公式5所示。
输出：将最终得分作为权重对历史消息的第一向量进行加权求和得到第三向量，如公式6所示，该向量大小为Rn*1。
采用上述方案，本发明考虑到用户兴趣随时间迁移的变化，引入时间衰减系数，使历史点击消息的重要程度随时间的迁移而有所变化，更加符合个性化推荐。
步骤S104，使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
可选地，第三向量与候选消息对应，是基于一条候选消息和多条历史消息的向量得到的，后续可依据第三向量得到该候选消息对应的概率。
可选地，通过对所述第三向量进行多层感知机计算获取所述目标对象点击所述候选消息的概率，包括：将所述第三向量进行多层感知机MLP计算；将多层感知机计算结果输入sigmoid(·)函数，将输出结果作为所述概率。
可选地，然后通过多层感知机计算用户点击候选消息的概率，如公式7所示，其中，MLP(·)为多层感知机计算，如公式8所示，sigmoid(·)为S型函数计算，如公式9所示。
pred＝sigmoid(MLP(d)) 公式7
MLP(x)＝VTReLU(WTx) 公式8
通过本发明，将目标对象历史点击过的历史消息对应的向量，输入双向长短时记忆网络，输出与每条历史消息被点击时刻对应的第二向量，然后获取待推荐的候选消息的向量与每条历史消息的第二向量的相似度得分，依据相似度得分得到最终得分，将最终得分作为该条历史消息的权重，对多条历史消息的第一向量进行加权求和，得到第三向量，获取目标对象点击候选消息的概率，依据概率大小决定是否向目标对象推送消息。采用上述方案，将历史消息的第一向量经过双向长短时记忆网络，考虑到用户兴趣随时间而产生变化的情况，在模型中使用长短时记忆网络和时间衰减系数，解决了相关技术中推荐消息时忽略用户兴趣随时间转移的问题，从而实现精准度更高的个性化推送。
可选地，词向量表示方法除word2vec之外，还有one-hot、g love、fastText、Bert、Elmo等，在计算标题向量和摘要向量时除CNN之外，还可使用双向长短记忆网络LSTM、GRU等神经网络，在实体向量计算时，除TransD之外还有TransE、TransH、TransR等。在注意力机制计算时除双向长短时记忆网络LSTM外，还可选用GRU等网络。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种推荐消息的装置，需要说明的是，本发明实施例的推荐消息的装置可以用于执行本发明实施例所提供的用于推荐消息的方法。以下对本发明实施例提供的推荐消息的装置进行介绍。
图3是根据本发明实施例的推荐消息的装置的示意图。如图3所示，该装置包括：
第一获取模块，用于获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；
输出模块，用于按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；
第二获取模块，用于通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；
计算模块，用于使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
采用上述方案，将历史消息的第一向量经过双向长短时记忆网络，考虑到用户兴趣随时间而产生变化的情况，在模型中使用长短时记忆网络和时间衰减系数，解决了相关技术中推荐消息时忽略用户兴趣随时间转移的问题，从而实现精准度更高的个性化推送。
可选地，所述第一获取模块依据点击顺序对所述历史消息进行排序，包括：用于提取所述历史消息的消息特征并组成消息序列，所述消息特征包括：类别，标题，摘要，标题实体，摘要实体；还用于依据所述目标对象点击消息的时间顺序对多条所述历史消息的消息序列进行排序。
可选地，所述第一获取模块执行以下步骤：通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量，包括：依据所述摘要实体或所述标题实体在知识图谱中查找对应的上下文实体，将所述上下文实体作为消息特征加入所述消息序列；对候选消息或历史消息的所述消息特征执行以下四步骤操作：步骤一，对类别、标题、摘要中的字词进行word2vec编码，获得所述类别的最终向量，以及所述标题或摘要的初始向量；步骤二，将所述标题和所述摘要的初始向量再分别通过卷积神经网络进行编码，在卷积层中设置卷积核大小为n*k，其中n为词向量维度，k为词语个数，在池化层中使用最大池化操作，将所述池化层的输出作为线性层的输入，获得所述标题或所述消息的最终向量；步骤三，采用TransD方法在知识图谱中对所述标题实体或所述摘要实体，以及二者之间的关系进行编码，得到所述标题实体或所述摘要实体的最终向量；步骤四，采用TransD方法对所述标题实体或所述摘要实体对应的上文实体和下文实体进行编码，得到上文实体向量和下文实体向量，将所述上文实体向量和所述下文实体向量的平均值作为与所述标题实体或摘要实体对应的上下文实体的最终向量；将所述类别、标题、摘要、标题实体、摘要实体、上下文实体对应的最终向量相加，得到所述候选消息的候选消息向量，或所述历史消息的第一向量。
可选地，所述第二获取模块通过以下方式计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分：通过对所述候选消息向量与所述第二向量的乘积进行概率归一化计算，得到二者之间的相似度得分。
可选地，所述计算模块还用于执行以下步骤：通过对所述第三向量进行多层感知机计算获取所述目标对象点击所述候选消息的概率，包括：将所述第三向量进行多层感知机MLP计算；将多层感知机计算结果输入Sigmoid函数，将输出结果作为所述概率。
所述推荐消息的装置包括处理器和存储器，上述第一获取模块，输出模块，第二获取模块，计算模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来将历史消息的第一向量经过双向长短时记忆网络，考虑到用户兴趣随时间而产生变化的情况，在模型中使用长短时记忆网络和时间衰减系数，解决了相关技术中推荐消息时忽略用户兴趣随时间转移的问题，从而实现精准度更高的个性化推送。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述推荐消息的方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述推荐消息的方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。本文中的设备可以是服务器、PC、PAD、手机等。
本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种推荐消息的方法，其特征在于，包括：
获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；
按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；
通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；
使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
2.根据权利要求1所述的方法，其特征在于，依据点击顺序对所述历史消息进行排序，包括：
提取所述历史消息的消息特征并组成消息序列，所述消息特征包括：类别，标题，摘要，标题实体，摘要实体；
依据所述目标对象点击消息的时间顺序对多条所述历史消息的消息序列进行排序。
3.根据权利要求2所述的方法，其特征在于，通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量，包括：
依据所述摘要实体或所述标题实体在知识图谱中查找对应的上下文实体，将所述上下文实体作为消息特征加入所述消息序列；
对候选消息或历史消息的所述消息特征执行以下四步骤操作：步骤一，对类别、标题、摘要中的字词进行word2vec编码，获得所述类别的最终向量，以及所述标题或摘要的初始向量；步骤二，将所述标题和所述摘要的初始向量再分别通过卷积神经网络进行编码，在卷积层中设置卷积核大小为n*k，其中n为词向量维度，k为词语个数，在池化层中使用最大池化操作，将所述池化层的输出作为线性层的输入，获得所述标题或所述消息的最终向量；步骤三，采用TransD方法在知识图谱中对所述标题实体或所述摘要实体，以及二者之间的关系进行编码，得到所述标题实体或所述摘要实体的最终向量；步骤四，采用TransD方法对所述标题实体或所述摘要实体对应的上文实体和下文实体进行编码，得到上文实体向量和下文实体向量，将所述上文实体向量和所述下文实体向量的平均值作为与所述标题实体或摘要实体对应的上下文实体的最终向量；
将所述类别、标题、摘要、标题实体、摘要实体、上下文实体对应的最终向量相加，得到所述候选消息的候选消息向量，或所述历史消息的第一向量。
4.根据权利要求1所述的方法，其特征在于，计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，包括：
通过对所述候选消息向量与所述第二向量的乘积进行概率归一化计算，得到二者之间的相似度得分。
5.根据权利要求1所述的方法，其特征在于，通过对所述第三向量进行多层感知机计算获取所述目标对象点击所述候选消息的概率，包括：
将所述第三向量进行多层感知机MLP计算；
将多层感知机计算结果输入Sigmoid函数，将输出结果作为所述概率。
6.一种推荐消息的装置，其特征在于，包括：
第一获取模块，用于获取待推荐给目标对象的候选消息，和所述目标对象历史点击过的历史消息，依据点击顺序对所述历史消息进行排序，并通过对所述候选消息或所述历史消息的消息特征编码，得到所述候选消息对应的候选消息向量，或者所述历史消息的第一向量；
输出模块，用于按照排序结果依次将每条所述历史消息的所述第一向量输入至双向长短时记忆网络，输出与每条所述历史消息被点击时刻对应的第二向量；
第二获取模块，用于通过以下方式获取与每条历史消息对应的权重：计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分，将所述相似度得分和时间衰减系数相乘得到最终得分，将所述最终得分作为该条历史消息的权重；
计算模块，用于使用所述权重对多条历史消息的第一向量进行加权求和，得到第三向量，通过对所述第三向量进行多层感知机MLP计算获取所述目标对象点击所述候选消息的概率，依据所述概率大小向所述目标对象推送消息。
7.根据权利要求6所述的装置，其特征在于，所述第一获取模块依据点击顺序对所述历史消息进行排序，包括：
用于提取所述历史消息的消息特征并组成消息序列，所述消息特征包括：类别，标题，摘要，标题实体，摘要实体；
还用于依据所述目标对象点击消息的时间顺序对多条所述历史消息的消息序列进行排序。
8.根据权利要求6所述的装置，其特征在于，所述第二获取模块通过以下方式计算所述候选消息向量与每条历史消息的所述第二向量的相似度得分：
通过对所述候选消息向量与所述第二向量的乘积进行概率归一化计算，得到二者之间的相似度得分。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至5中任意一项所述推荐消息方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述推荐消息方法。
CN202010972151.9A 2020-09-16 2020-09-16 推荐消息的方法及装置 Active CN112163149B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010972151.9A CN112163149B (zh) 2020-09-16 2020-09-16 推荐消息的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010972151.9A CN112163149B (zh) 2020-09-16 2020-09-16 推荐消息的方法及装置

Publications (2)

Publication Number Publication Date
CN112163149A CN112163149A (zh) 2021-01-01
CN112163149B true CN112163149B (zh) 2024-05-03

Family

ID=73858069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972151.9A Active CN112163149B (zh) 2020-09-16 2020-09-16 推荐消息的方法及装置

Country Status (1)

Country Link
CN (1) CN112163149B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989829B (zh) * 2021-02-10 2024-03-08 卡奥斯数字科技(上海)有限公司 一种命名实体识别方法、装置、设备及存储介质
CN113609394B (zh) * 2021-08-09 2023-09-05 上海交通大学 面向信息流的安全推荐系统
CN116911304B (zh) * 2023-09-12 2024-02-20 深圳须弥云图空间科技有限公司 一种文本推荐方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682152A (zh) * 2016-12-23 2017-05-17 西安电子科技大学 一种个性化消息推荐方法
CN107026892A (zh) * 2016-11-03 2017-08-08 阿里巴巴集团控股有限公司 消息推荐方法和装置
CN109165350A (zh) * 2018-08-23 2019-01-08 成都品果科技有限公司 一种基于深度知识感知的信息推荐方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10680978B2 (en) * 2017-10-23 2020-06-09 Microsoft Technology Licensing, Llc Generating recommended responses based on historical message data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107026892A (zh) * 2016-11-03 2017-08-08 阿里巴巴集团控股有限公司 消息推荐方法和装置
CN106682152A (zh) * 2016-12-23 2017-05-17 西安电子科技大学 一种个性化消息推荐方法
CN109165350A (zh) * 2018-08-23 2019-01-08 成都品果科技有限公司 一种基于深度知识感知的信息推荐方法和系统

Also Published As

Publication number Publication date
CN112163149A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
Gabriel De Souza et al. Contextual hybrid session-based news recommendation with recurrent neural networks
Anandhan et al. Social media recommender systems: review and open research issues
CN111061946B (zh) 场景化内容推荐方法、装置、电子设备及存储介质
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN112163149B (zh) 推荐消息的方法及装置
RU2725659C2 (ru) Способ и система для оценивания данных о взаимодействиях пользователь-элемент
Deepak et al. An intelligent inventive system for personalised webpage recommendation based on ontology semantics
US20140250115A1 (en) Prototype-Based Re-Ranking of Search Results
CN111949887B (zh) 物品推荐方法、装置及计算机可读存储介质
Huang et al. Neural embedding collaborative filtering for recommender systems
CN115687690A (zh) 一种视频推荐方法、装置、电子设备及存储介质
US20230237093A1 (en) Video recommender system by knowledge based multi-modal graph neural networks
EP3847559A1 (en) System and method for improved content discovery
CN114168790A (zh) 一种基于特征自动组合的个性化视频推荐方法及系统
Nazari et al. Scalable and data-independent multi-agent recommender system using social networks analysis
CN112256963A (zh) 新闻推荐方法、装置、媒体服务器及可读存储介质
Yuan et al. Enriching one-class collaborative filtering with content information from social media
Zeng et al. User Personalized Recommendation Algorithm Based on GRU Network Model in Social Networks
CN115600017A (zh) 特征编码模型训练方法及装置、媒体对象推荐方法及装置
US11727051B2 (en) Personalized image recommendations for areas of interest
Harrando et al. Improving media content recommendation with automatic annotations
Patil et al. A Comparison of Similarity Measures in an Online Book Recommendation System
CN117786234B (zh) 一种基于两阶段对比学习的多模态资源推荐方法
CN112035740B (zh) 项目使用时长预测方法、装置、设备及存储介质
Katariya et al. A Privacy Preserving Approach to Generating Personalized Recommendations Based on Short Text Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant