CN109543100B - 基于协同学习的用户兴趣建模方法和系统 - Google Patents

基于协同学习的用户兴趣建模方法和系统 Download PDF

Info

Publication number
CN109543100B
CN109543100B CN201811287804.9A CN201811287804A CN109543100B CN 109543100 B CN109543100 B CN 109543100B CN 201811287804 A CN201811287804 A CN 201811287804A CN 109543100 B CN109543100 B CN 109543100B
Authority
CN
China
Prior art keywords
encoder
variational
user
distribution
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811287804.9A
Other languages
English (en)
Other versions
CN109543100A (zh
Inventor
张娅
崔克楠
陈旭
姚江超
王延峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201811287804.9A priority Critical patent/CN109543100B/zh
Publication of CN109543100A publication Critical patent/CN109543100A/zh
Application granted granted Critical
Publication of CN109543100B publication Critical patent/CN109543100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于协同学习的用户兴趣建模方法和系统，利用用户的历史交互行为数据和辅助信息数据，协同地对用户兴趣进行建模，给用户推荐符合心理的物品。在训练阶段中，利用两个变分自编码器(VAE)对两种信息分别进行编码，得到两个表征用户兴趣的变分分布，同时提出利用协同学习机制对两个变分分布进行相互约束。在预测阶段中，根据新用户的历史交互行为数据或者辅助信息数据为其推荐新的物品。采用变分分布来表征用户兴趣爱好，在两个变分自编码器之间设计了基于相对熵的协同学习训练，使得两个变分自编码器利用两种数据能够相互增强，从而使变分分布能够更加准确的表征用户兴趣，进而为用户推荐出更加符合心理的物品。

Description

基于协同学习的用户兴趣建模方法和系统
技术领域
本发明涉及推荐系统和数据挖掘领域，具体地，涉及基于协同学习的用户兴趣建模方法和系统，尤其是涉及一种基于用户历史交互行为数据和辅助信息数据的用户兴趣建模和物品推荐方法及系统。
背景技术
随着网络信息的爆炸式增长，推荐系统在解决信息负载的问题下扮演越来越重要的位置，尤其是在电商网络平台。它能够帮助用户快速找到想要的物品。好的推荐系统能够有效的减少网络平台的信息负载，同时根据用户的喜好推荐符合用户心理的物品，保持网络电商平台的用户黏性。
而协同过滤算法是现代推荐系统中常用的技术，已经被广泛应用到网飞，亚马逊等网站。协同过滤算法通过分析用户对物品的历史交互行为数据，了解用户的兴趣爱好，并使用特征值向量来表征用户兴趣爱好，进而为用户推荐其他物品，产生推荐结果。然而，这些方法往往会受到历史交互行为数据过于稀疏问题的困扰，如一个用户往往仅和个别物品产生过交互，这使得协同过滤算法很难从过少的历史交互数据中提取较为准确的用户偏好向量，进而使得协同过滤算法的表现急剧下降。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于协同学习的用户兴趣建模方法和系统。
根据本发明提供的一种基于协同学习的用户兴趣建模方法，包括以下步骤，数据收集步骤：收集用户数据，所述用户数据主要包括历史交互行为数据、辅助信息数据；变分编码器步骤：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布；协同学习训练步骤：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器；预测算法步骤：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果。
优选地，所述变分编码器步骤包括：编码步骤：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；第一变分分布步骤：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure BDA0001849454440000021
第一方差
Figure BDA0001849454440000022
第一变分分布计算如下：
Figure BDA0001849454440000023
式中，
Figure BDA0001849454440000024
是高斯分布，表示第一变分分布；
下标u表示用户u；
Figure BDA0001849454440000025
表示均值为A，方差为B的高斯分布；
zu表示用户u的第一隐变量；
φx表示第一变分自编码器的网络参数；
第二变分分布步骤：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure BDA0001849454440000026
第二方差
Figure BDA0001849454440000027
第二变分分布计算如下：
Figure BDA0001849454440000028
式中，
Figure BDA0001849454440000029
是高斯分布，表示第二变分分布；
ru表示用户u的第二隐变量；
φy表示第二变分自编码器的网络参数
所述协同学习训练步骤包括，第一变分自编码器协同训练步骤：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure BDA00018494544400000210
符合
Figure BDA00018494544400000211
式中；KL(A||B)表示分布A与分布B之间的相对熵；第二变分自编码器协同训练步骤：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure BDA00018494544400000212
符合
Figure BDA00018494544400000213
所述预测算法步骤包括，选择概率计算步骤：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu。预测推荐步骤：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
根据本发明提供的一种基于协同学习的用户兴趣建模系统，包括以下模块，数据收集模块：收集用户数据，所述用户数据主要包括历史交互行为数据、辅助信息数据；变分编码器模块：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布；协同学习训练模块：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器；预测算法模块：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果。
优选地，所述变分编码器模块包括，编码模块：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；第一变分分布模块：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure BDA0001849454440000031
第一方差
Figure BDA0001849454440000032
第一变分分布计算如下：
Figure BDA0001849454440000033
式中，
Figure BDA0001849454440000034
是高斯分布，表示第一变分分布；
下标u表示用户u；
Figure BDA0001849454440000035
表示均值为A，方差为B的高斯分布；
zu表示用户u的第一隐变量；
φx表示第一变分自编码器的网络参数；
第二变分分布模块：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure BDA0001849454440000036
第二方差
Figure BDA0001849454440000037
第二变分分布计算如下：
Figure BDA0001849454440000038
式中，
Figure BDA0001849454440000039
是高斯分布，表示第二变分分布；
ru表示用户u的第二隐变量；
φy表示第二变分自编码器的网络参数
优选地，所述协同学习训练模块包括，第一变分自编码器协同训练模块：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure BDA0001849454440000041
符合
Figure BDA0001849454440000042
式中；KL(A||B)表示分布A与分布B之间的相对熵；第二变分自编码器协同训练模块：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure BDA0001849454440000043
符合
Figure BDA0001849454440000044
优选地，所述预测算法模块包括，选择概率计算模块：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu。预测推荐模块：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
优选地，所述历史交互行为数据、辅助信息数据是采用网络爬虫，在互联网进行收集，所述历史交互行为数据主要包括用户点击行为数据，辅助信息数据主要包括用户评论文字信息。
与现有技术相比，本发明具有如下的有益效果：
1、采用变分自编码器和协同学习机制的混合推荐，解决当历史交互行为数据稀疏时的推荐；
2、采用变分分布来表征用户兴趣爱好，在两个变分自编码器之间设计了基于相对熵的协同学习训练，使得两个变分自编码器利用两种数据能够相互增强，从而使变分分布能够更加准确的表征用户兴趣，进而为用户推荐出更加符合心理的物品。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的结构简略示意图；
图2为本发明的结构详细示意图，图中包括两支变分自编码器对两种数据的建模，和协同学习训练机制；
图3为新用户基于其历史交互行为的推荐方法示意图；
图4为新用户基于其辅助信息的推荐方法示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于协同学习的用户兴趣建模方法，包括以下步骤，数据收集步骤：收集用户数据，所述用户数据主要包括历史交互行为数据、辅助信息数据；变分编码器步骤：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布，优选地，第一变分分布、第二变分分布用于表征用户兴趣偏好的变分分布；协同学习训练步骤：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器，对用于表征用户兴趣偏好的第一变分分布与第二变分分布使用相对熵来相互约束，使得两个变分自编码器能够协同训练，互相增强；预测算法步骤：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果。
具体地，所述变分编码器步骤包括，编码步骤：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；第一变分分布步骤：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure BDA0001849454440000051
第一方差
Figure BDA0001849454440000052
第一变分分布计算如下：
Figure BDA0001849454440000053
式中，
Figure BDA0001849454440000054
是高斯分布，表示第一变分分布；下标u表示用户u；
Figure BDA0001849454440000055
表示均值为A，方差为B的高斯分布；zu表示用户u的第一隐变量；φx表示第一变分自编码器的网络参数；第二变分分布步骤：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure BDA0001849454440000056
第二方差
Figure BDA0001849454440000057
第二变分分布计算如下：
Figure BDA0001849454440000058
式中，
Figure BDA0001849454440000059
是高斯分布，表示第二变分分布；ru表示用户u的第二隐变量；φy表示第二变分自编码器的网络参数。
具体地，所述协同学习训练步骤包括，第一变分自编码器协同训练步骤：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure BDA0001849454440000061
符合
Figure BDA0001849454440000062
式中；KL(A||B)表示分布A与分布B之间的相对熵；第二变分自编码器协同训练步骤：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure BDA0001849454440000063
符合
Figure BDA0001849454440000064
具体地，所述预测算法步骤包括，选择概率计算步骤：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu；预测推荐步骤：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
具体地，所述历史交互行为数据、辅助信息数据是采用网络爬虫，在互联网进行收集，所述历史交互行为数据主要包括用户点击行为数据，辅助信息数据主要包括用户评论文字信息。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述方法的步骤。
根据本发明提供的一种基于协同学习的用户兴趣建模系统，包括以下模块，数据收集模块：收集用户数据，所述用户数据主要包括历史交互行为数据、辅助信息数据；变分编码器模块：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布；协同学习训练模块：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器；预测算法模块：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果。
具体地，所述变分编码器模块包括，编码模块：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；第一变分分布模块：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure BDA0001849454440000065
第一方差
Figure BDA0001849454440000066
第一变分分布计算如下：
Figure BDA0001849454440000071
式中，
Figure BDA0001849454440000072
是高斯分布，表示第一变分分布；下标u表示用户u；
Figure BDA0001849454440000073
表示均值为A，方差为B的高斯分布；zu表示用户u的第一隐变量；φx表示第一变分自编码器的网络参数；第二变分分布模块：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure BDA0001849454440000074
第二方差
Figure BDA0001849454440000075
第二变分分布计算如下：
Figure BDA0001849454440000076
式中，
Figure BDA0001849454440000077
是高斯分布，表示第二变分分布；ru表示用户u的第二隐变量；φy表示第二变分自编码器的网络参数。
具体地，所述协同学习训练模块包括，第一变分自编码器协同训练模块：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure BDA0001849454440000078
符合
Figure BDA0001849454440000079
式中；KL(A||B)表示分布A与分布B之间的相对熵；第二变分自编码器协同训练模块：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure BDA00018494544400000710
符合
Figure BDA00018494544400000711
具体地，所述预测算法模块包括，选择概率计算模块：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu；预测推荐模块：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
本发明提供的基于协同学习的用户兴趣建模系统，可以通过基于协同学习的用户兴趣建模方法的步骤流程实现。本领域技术人员可以将基于协同学习的用户兴趣建模方法理解为所述基于协同学习的用户兴趣建模系统的优选例。
本发明是解决传统协同算法当中无法应对交互行为数据过于稀疏的问题，利用用户的历史交互行为数据和辅助信息数据，协同地对用户兴趣进行建模，并给用户推荐符合心理的物品。在训练阶段中，利用两个变分自编码器(VAE)对两种信息分别进行编码，得到两个表征用户兴趣的变分分布。同时提出利用协同学习机制，即利用相对熵对两个变分分布进行相互约束，使得两个变分自编码器能够协同训练，互相增强。在预测阶段中，可以根据新用户的历史交互行为数据或者利新用户的辅助信息数据为其推荐新的物品。
如图1所示，本发明主要分四部分：(一)用户数据收集模块；(二)变分编码器模块；(三)协同学习训练算法模块；(四)预测算法模块。
用户数据收集模块：在互联网如电商平台上收集大量用户的历史交互行为数据，如用户对物品的点击行为(约8万用户和2万物品)。同时收集用户的评论文字作为辅助信息数据。
变分编码器模块：将用户的点击行为处理为一个二值化的向量xu，并利用变分自编码器VAEx对其进行编码，从而获得变分分布参数均值
Figure BDA0001849454440000081
和方差
Figure BDA0001849454440000082
进而从用户的历史交互行为数据中获得用于表征用户兴趣爱好的变分分布
Figure BDA0001849454440000083
在这里变分分布
Figure BDA0001849454440000084
为高斯分布。将用户的评论文字处理为一个词袋向量yu，并利用另外一个变分自编码器VAEy对其编码，从而获得变分分布参数均值
Figure BDA0001849454440000085
和方差
Figure BDA0001849454440000086
进而从用户的辅助信息数据中同样获得了用于表征用户兴趣爱好的变分分布
Figure BDA0001849454440000087
在这里
Figure BDA0001849454440000088
变分分布同样为高斯分布。从变分分布
Figure BDA0001849454440000089
和
Figure BDA00018494544400000810
中采样，获得用于表征用户兴趣偏好的隐变量zu和ru。利用变分自编码器VAEx对zu进行解码，获得用户u对所有物品的选择概率πu。利用变分自编码器VAEy对ru进行解码，获得用户u对评论中所有文字的选择概率pu。
协同学习训练算法模块：为了使得两个变分自编码器实现协同学习，相互增强，采用基于相对熵KL的协同学习机制，相互约束。对于VAEx，令VAEy作为其导师，协助VAEx学习，使其获得更加具有表达能力的分布
Figure BDA00018494544400000811
这里使用
Figure BDA00018494544400000812
使得辅助信息数据中的信息流向VAEx。对于VAEy，令VAEx作为其导师，协助VAEy学习，使其获得更加具有表达能力的分布
Figure BDA00018494544400000813
这里使用
Figure BDA00018494544400000814
使得历史交互行为数据中的信息流向VAEy。
预测算法模块：在VAEy和VAEx训练完毕后，模型可以有两种方式来为新的用户推荐物品。基于用户历史交互行为数据的推荐，当提供一个新用户的历史交互行为数据xu，使用VAEx对其进行编码得到变分分布参数
Figure BDA0001849454440000091
和
Figure BDA0001849454440000092
并利用变分分布均值
Figure BDA0001849454440000093
作为用户的隐变量zu，并利用VAEx对该用户隐变量zu进行解码，得到用户u对各个物品的选择概率。对该选择概率按照大小排序，对应概率较大的物品则为需要推荐给用户的物品；基于辅助信息数据的推荐，当用户没有交互行为，只有一些文字评论信息时yu，并利用VAEy对其进行编码得到变分分布参数
Figure BDA0001849454440000094
和
Figure BDA0001849454440000095
并利用变分分布均值
Figure BDA0001849454440000096
作为用户的隐变量zu，并利用VAEx对该用户隐变量zu进行解码，得到用户u对各个物品的选择概率。对该概率按照大小排序，对应选择概率较大的物品则为需要推荐给用户的物品。这种基于辅助信息数据的推荐方法尤其适合那些没有历史交互行为的新用户。
基于协同学习的用户兴趣建模方法的提出就是用来解决上面提到的问题，它是利用用户的历史交互行为数据，联合用户的辅助信息对用户兴趣偏好进行建模，如用户对物品的评论或者用户对物品标注的标签等。由于使用了多种信息联合对用户兴趣进行建模，并让这些信息协同增强，从而能够更加准确来表征用户的兴趣爱好，进而使得产生的推荐结果更加符合用户的兴趣。
本发明的建模过程是在一个协同学习的框架中联动两个变分自编码器(VAE)：分析历史交互行为数据的自编码器、分析辅助信息数据的自编码器；在模型训练阶段，每次使提取一批用户的历史交互行为数据和辅助信息，并使用两个变分自编码器分别对其进行编码，得到用于表征用户兴趣偏好的变分分布，并通过相对熵对两个分布进行约束，进而以协同学习的方式更新两个变分自编码器。在模型预测阶段，提供一个新用户的历史交互行为数据，或者该用户的辅助信息数据，即可对该用户推荐符合该用户心理的物品。
本方法相比以往协同过滤算法中使用特征向量表征兴趣爱好，使用了变分自编码器从历史交互行为数据和辅助信息中提取了用于表达用户偏好的变分分布；在模型训练阶段，同时使用两个分布的相对熵来对两个变分自编码器进行约束，以实现两个变分自编码器的协同学习，从而使变分分布能够更加准确的表征用户的偏好。在模型预测阶段，可以通过新用户的历史交互行为数据或者辅助信息数据对新用户所喜欢的物品进行预测。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (9)

1.一种基于协同学习的用户兴趣建模方法，其特征在于，包括以下步骤：
数据收集步骤：收集用户数据，所述用户数据包括历史交互行为数据、辅助信息数据；
变分编码器步骤：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布；
协同学习训练步骤：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器；
预测算法步骤：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果；
使用变分自编码器从历史交互行为数据和辅助信息中提取用于表达用户偏好的变分分布；
在两个变分自编码器之间设计基于相对熵的协同学习训练，使得两个变分自编码器利用两种数据能够相互增强。
2.根据权利要求1所述的基于协同学习的用户兴趣建模方法，其特征在于，所述变分编码器步骤包括：
编码步骤：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；
第一变分分布步骤：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure FDA0002915182450000011
第一方差
Figure FDA0002915182450000012
第一变分分布计算如下：
Figure FDA0002915182450000013
式中，
Figure FDA0002915182450000014
是高斯分布，表示第一变分分布；
下标u表示用户u；
Figure FDA0002915182450000015
表示均值为A，方差为B的高斯分布；
zu表示用户u的第一隐变量；
φx表示第一变分自编码器的网络参数；
第二变分分布步骤：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure FDA0002915182450000021
第二方差
Figure FDA0002915182450000022
第二变分分布计算如下：
Figure FDA0002915182450000023
式中，
Figure FDA0002915182450000024
是高斯分布，表示第二变分分布；
ru表示用户u的第二隐变量；
φy表示第二变分自编码器的网络参数。
3.根据权利要求2所述的基于协同学习的用户兴趣建模方法，其特征在于，所述协同学习训练步骤包括：
第一变分自编码器协同训练步骤：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure FDA0002915182450000025
符合
Figure FDA0002915182450000026
式中；KL(A||B)表示分布A与分布B之间的相对熵；
第二变分自编码器协同训练步骤：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure FDA0002915182450000027
符合
Figure FDA0002915182450000028
4.根据权利要求2所述的基于协同学习的用户兴趣建模方法，其特征在于，所述预测算法步骤包括：
选择概率计算步骤：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu；
预测推荐步骤：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
5.一种基于协同学习的用户兴趣建模系统，其特征在于，包括以下模块：
数据收集模块：收集用户数据，所述用户数据包括历史交互行为数据、辅助信息数据；
变分编码器模块：使用第一变分自编码器、第二变分自编码器分别对历史交互行为数据、辅助信息数据进行编码，得到第一变分分布、第二变分分布；
协同学习训练模块：采用相对熵作为第一变分分布与第二变分分布的约束因素，得到训练后第一变分自编码器、训练后第二变分自编码器；
预测算法模块：使用训练后第一变分自编码器得到第一用户推荐结果，使用训练后第二变分自编码器得到第二用户推荐结果，令第一用户推荐结果或者第二用户推荐结果作为预测推荐结果；
使用变分自编码器从历史交互行为数据和辅助信息中提取用于表达用户偏好的变分分布；
在两个变分自编码器之间设计基于相对熵的协同学习训练，使得两个变分自编码器利用两种数据能够相互增强。
6.根据权利要求5所述的基于协同学习的用户兴趣建模系统，其特征在于，所述变分编码器模块包括：
编码模块：令历史交互行为数据做二值化处理，得到向量xu，令辅助信息数据做二值化处理，得到向量yu；
第一变分分布模块：采用第一变分自编码器VAEx对向量xu编码，得到第一变分分布参数均值
Figure FDA0002915182450000031
第一方差
Figure FDA0002915182450000032
第一变分分布计算如下：
Figure FDA0002915182450000033
式中，
Figure FDA0002915182450000034
是高斯分布，表示第一变分分布；
下标u表示用户u；
Figure FDA0002915182450000035
表示均值为A，方差为B的高斯分布；
zu表示用户u的第一隐变量；
φx表示第一变分自编码器的网络参数；
第二变分分布模块：采用第二变分自编码器VAEy对向量yu编码，得到第二变分分布参数均值
Figure FDA0002915182450000036
第二方差
Figure FDA0002915182450000037
第二变分分布计算如下：
Figure FDA0002915182450000038
式中，
Figure FDA0002915182450000039
是高斯分布，表示第二变分分布；
ru表示用户u的第二隐变量；
φy表示第二变分自编码器的网络参数。
7.根据权利要求6所述的基于协同学习的用户兴趣建模系统，其特征在于，所述协同学习训练模块包括：
第一变分自编码器协同训练模块：令第二变分自编码器VAEy辅助第一变分自编码器VAEx，令第一变分分布
Figure FDA0002915182450000041
符合
Figure FDA0002915182450000042
式中；KL(A||B)表示分布A与分布B之间的相对熵；
第二变分自编码器协同训练模块：令第一变分自编码器VAEx辅助第二变分自编码器VAEy，令第二变分分布
Figure FDA0002915182450000043
符合
Figure FDA0002915182450000044
8.根据权利要求6所述的基于协同学习的用户兴趣建模系统，其特征在于，所述预测算法模块包括：
选择概率计算模块：对第一变分分布进行采样，得到隐变量zu，采用第一变分自编码器VAEx对隐变量zu解码，获得用户u的第一物品选择概率πu；对第二变分分布进行采样，得到隐变量ru，采用第二变分自编码器VAEy对隐变量ru解码，获得用户u的第二物品选择概率pu；
预测推荐模块：令第一物品选择概率πu、第二物品选择概率pu进行大小排序，若第一物品选择概率πu大于第二物品选择概率pu，则将第一变分分布作为预测推荐结果；若第一物品选择概率πu不大于第二物品选择概率pu，则将第二变分分布作为预测推荐结果。
9.根据权利要求1所述的基于协同学习的用户兴趣建模方法或者根据权利要求5所述的基于协同学习的用户兴趣建模系统，其特征在于，所述历史交互行为数据、辅助信息数据是采用网络爬虫，在互联网进行收集，所述历史交互行为数据包括用户点击行为数据，辅助信息数据包括用户评论文字信息。
CN201811287804.9A 2018-10-31 2018-10-31 基于协同学习的用户兴趣建模方法和系统 Active CN109543100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811287804.9A CN109543100B (zh) 2018-10-31 2018-10-31 基于协同学习的用户兴趣建模方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811287804.9A CN109543100B (zh) 2018-10-31 2018-10-31 基于协同学习的用户兴趣建模方法和系统

Publications (2)

Publication Number Publication Date
CN109543100A CN109543100A (zh) 2019-03-29
CN109543100B true CN109543100B (zh) 2021-04-02

Family

ID=65845763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811287804.9A Active CN109543100B (zh) 2018-10-31 2018-10-31 基于协同学习的用户兴趣建模方法和系统

Country Status (1)

Country Link
CN (1) CN109543100B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110260925B (zh) * 2019-07-12 2021-06-25 重庆赛迪奇智人工智能科技有限公司 司机停车技术优劣的检测方法及其系统、智能推荐方法、电子设备
CN110765353B (zh) * 2019-10-16 2022-03-08 腾讯科技（深圳）有限公司 项目推荐模型的处理方法、装置、计算机设备和存储介质
CN110827078B (zh) * 2019-11-04 2024-04-05 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN112231582B (zh) * 2020-11-10 2023-11-21 南京大学 一种基于变分自编码数据融合的网站推荐方法和设备
CN113723008B (zh) * 2021-09-08 2023-09-15 北京邮电大学 基于几何非纠缠变分自动编码器学习几何解耦表示的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460390A (zh) * 2018-02-27 2018-08-28 北京中晟信达科技有限公司 一种基于特征学习的敏感图像识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150088953A1 (en) * 2013-09-23 2015-03-26 Infosys Limited Methods, systems and computer-readable media for distributed probabilistic matrix factorization
CN106778700A (zh) * 2017-01-22 2017-05-31 福州大学 一种基于変分编码器中国手语识别方法
CN108171324A (zh) * 2017-12-26 2018-06-15 天津科技大学 一种变分自编码混合模型

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460390A (zh) * 2018-02-27 2018-08-28 北京中晟信达科技有限公司 一种基于特征学习的敏感图像识别方法

Also Published As

Publication number Publication date
CN109543100A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543100B (zh) 基于协同学习的用户兴趣建模方法和系统
Chen et al. Effective deep attributed network representation learning with topology adapted smoothing
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
Gain et al. Low-code AutoML-augmented data pipeline–a review and experiments
CN109508419B (zh) 一种基于知识学习的推荐方法和系统
CN109492113B (zh) 一种面向软件缺陷知识的实体、关系联合抽取方法
CN109446413B (zh) 基于物品关联关系的序列化推荐方法
CN108647226B (zh) 一种基于变分自动编码器的混合推荐方法
CN105893609A (zh) 一种基于加权混合的移动app推荐方法
CN110276456A (zh) 一种机器学习模型辅助构建方法、系统、设备及介质
CN110020176A (zh) 一种资源推荐方法、电子设备以及计算机可读存储介质
CN114780831A (zh) 基于Transformer的序列推荐方法及系统
Tan et al. Human motion capture data recovery using trajectory‐based matrix completion
CN107247753B (zh) 一种相似用户选取方法及装置
CN111881363A (zh) 一种基于图交互网络的推荐方法
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
CN113505583B (zh) 基于语义决策图神经网络的情感原因子句对提取方法
CN117273003B (zh) 文本数据处理方法、模型训练方法以及命名实体识别方法
Yang et al. Design and implementation of an explainable bidirectional lstm model based on transition system approach for cooperative ai-workers
Aich et al. Convolutional neural network-based model for web-based text classification.
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN111026910B (zh) 视频推荐方法、装置、电子设备及计算机可读存储介质
CN112905906A (zh) 一种融合局部协同与特征交叉的推荐方法及系统
Mu et al. Auxiliary stacked denoising autoencoder based collaborative filtering recommendation
Xia et al. An evaluation method for sortie generation capacity of carrier aircrafts with principal component reduction and catastrophe progression method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant