CN104809107A - 基于上下文转换向量模型的推荐方法和系统 - Google Patents

基于上下文转换向量模型的推荐方法和系统 Download PDF

Info

Publication number
CN104809107A
CN104809107A CN201510253508.7A CN201510253508A CN104809107A CN 104809107 A CN104809107 A CN 104809107A CN 201510253508 A CN201510253508 A CN 201510253508A CN 104809107 A CN104809107 A CN 104809107A
Authority
CN
China
Prior art keywords
context
user
product
implicit
sigma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510253508.7A
Other languages
English (en)
Inventor
王亮
谭铁牛
吴书
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201510253508.7A priority Critical patent/CN104809107A/zh
Publication of CN104809107A publication Critical patent/CN104809107A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Abstract

本发明公开一种基于上下文转换向量模型的推荐方法及系统，该推荐方法包括：步骤1，将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示；步骤2，基于步骤1中词典生成上下文度量转换子；步骤3，由步骤2中矩阵和用户、产品的隐含向量表示生成对应于特定环境的用户隐含向量表示和产品隐含向量表示；步骤4，由步骤3中的向量计算出预测值。本发明引入用户隐含向量表示、产品隐含向量表示、上下文集合的隐含矩阵表示，去除了原始向量空间中的一些“噪音”，获得比其他现有模型的预测更准确的效果。

Description

基于上下文转换向量模型的推荐方法和系统
技术领域
本发明涉及信息设别技术领域，更具体地涉及一种基于上下文转换向量模型(Contextual to Vector，简称Context2vec)的推荐方法和系统。
背景技术
随着互联网可获取信息的快速增长，信息过载一直为用户所诟病。推荐系统可以帮助用户快速而准确的得到所想要的信息。系统收集信息能力的剧增使得推荐系统中大量的上下文信息被收集到。现实世界中的上下文信息包括时间、地点、天气等等，这些上下文信息会对用户的习惯产生巨大的影响。
近年来，矩阵分解方法在推荐系统中得到了比较广泛的应用。矩阵分解对每个用户和产品学习一个相应的特征向量，来分别表征用户偏好和产品属性，然后利用学习到的特征向量进行产品推荐。但是传统矩阵分解方法只考虑了对历史评分信息进行分析，并未挖掘文本内容相关的信息，因此学习到的特征向量可解释性较差。
发明内容
为了解决现有技术中存在的问题，本发明的主要目的之一在于提供一种基于上下文转换向量模型的推荐系统，该上下文转换向量模型通过上下文词典的演变和操作，使得代表用户和产品的隐含向量表示随着上下文集合的改变而改变，从而能够准确地得到预测值。
为了实现上述目的，作为本发明的一个方面，本发明提出了一种基于上下文转换向量模型的推荐方法，包括以下步骤：
步骤S1，将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示；
步骤S2，基于步骤S1中上下文词典和特定属性的隐含向量表示，生成上下文度量转换子；
步骤S3，通过步骤S2中得到的所述上下文度量转换子与步骤S1中的所述隐含矩阵及用户和产品的隐含向量表示，生成对应于特定环境的隐含向量表示；
步骤S4，根据步骤S3中得到的所述隐含向量表示来计算出预测值，基于所述预测值进行推荐。
其中，所述步骤S1包括：将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，...，cn，k}的多个隐含向量表示[h1，k，...，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI；
其中，所述上下文常用语义作用分为用户U、对象V两种，基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品两类；基于三种属性：用户属性CU、产品属性CV、用户产品交互属性CI，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品、用户产品交互三类。
其中，所述步骤S2包括：基于S1中上下文词典和特定属性的隐含向量表示生成上下文度量转换子 M U , c u , M U , c v , M U , c i , M V , c u , M V , c v , M V , c i ,
其中为基于用户属性的用户上下文度量转换子、为基于产品属性的用户上下文度量转换子、为基于用户产品交互属性的用户上下文度量转换子、为基于用户属性的产品上下文度量转换子、为基于产品属性的产品上下文度量转换子，以及为基于用户产品交互属性的产品上下文度量转换子；所述用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c，具体计算过程如下：
M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，向量中的元素表示权重，计算结果如下：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
其中，所述步骤S3包括：
基于步骤S2中得到的所述用户上下文度量转换子MU，c、产品上下文度量转换子MV，c及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，以及对应于特定环境的产品隐含向量表示vc＝MV，cv，计算公式如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v .
其中，所述步骤S4包括：
根据步骤S3中得到的所述特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值，具体计算公式如下：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v .
作为本发明的另一个方面，本发明还提出了一种基于上下文转换向量模型的推荐系统，包括：
将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示的第一装置；
基于上下文词典和特定属性的隐含向量表示，生成上下文度量转换子的第二装置；
通过所述上下文度量转换子与所述隐含矩阵及用户和产品的隐含向量表示，生成对应于特定环境的隐含向量表示的第三装置；
根据所述隐含向量表示来计算出预测值的第四装置。
其中，所述第一装置执行以下步骤：
将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，...，cn，k}的多个隐含向量表示[h1，k，...，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI；
其中，所述上下文常用语义作用分为用户U、对象V两种，基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品两类；基于三种属性：用户属性CU、产品属性CV、用户产品交互属性CI，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品、用户产品交互三类。
其中，所述第二装置执行以下步骤：
基于所述上下文词典和特定属性的隐含向量表示生成上下文度量转换子 M U , c u , M U , c v , M U , c i , M V , c u , M V , c v , M V , c i ,
其中为基于用户属性的用户上下文度量转换子、为基于产品属性的用户上下文度量转换子、为基于用户产品交互属性的用户上下文度量转换子、为基于用户属性的产品上下文度量转换子、为基于产品属性的产品上下文度量转换子，以及为基于用户产品交互属性的产品上下文度量转换子；所述用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c，具体计算过程如下：
M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，向量中的元素表示权重，计算结果如下：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
其中，所述第三装置执行以下步骤：基于所述用户上下文度量转换子MU，c、产品上下文度量转换子MV，c及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝NU，cu，以及对应于特定环境的产品隐含向量表示vc＝MV，cv，计算公式如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v .
其中，所述第四装置执行以下步骤：
根据所述特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值，具体计算公式如下：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v .
基于上述技术方案可知，本发明的基于上下文转换向量模型的推荐方法和系统，不仅能够获取上下文的特定语义度量转换作用，而且能应用于大量上下文信息的情形中。本发明通过引入用户隐含向量表示、产品隐含向量表示和上下文集合的隐含矩阵表示，去除了原始向量空间中的一些噪音，获得了更准确的预测效果。
附图说明
图1是本发明的上下文转换向量模型的框架分解图；
图2是生成特定属性的隐含向量表示的示意图；
图3是在Movielens-1M数据集的测试结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
本发明基于矩阵分解，提出了上下文转换向量模型。通过将用户和产品映射到隐含向量空间，对每个用户和产品学习一个d维特征向量ui，vj。通过引入上下文度量转换子，使得学习到特定情景的隐含向量表示ui，k，vj，k更加灵活，不再受限于相应的单纯形，这样不仅使得特征向量表达性更好，而且用于矩阵分解进行评分预测也更加灵活。
图1是本发明的上下文转换向量模型示意图，本发明的推荐方法包括以下步骤：
步骤S1，将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，...cn，k}的多个隐含向量表示[h1，k，...，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI。本发明中上下文常用语义作用分为用户U、对象V两种。基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示等变量，均分为用户、产品两类。例如，用户上下文词典产品上下文词典本发明涉及以下三种属性：用户属性CU、产品属性CV、用户产品交互属性CI。基于三种属性种类，上下文词典、权重向量、特定属性的隐含向量表示等变量，均分为用户、产品、用户产品交互三类。对于用户上下文常用语义作用，基于三种属性分类可以分为：基于用户属性的用户上下文词典基于产品属性的用户上下文词典和基于用户产品交互属性的用户上下文词典
步骤S2，基于步骤S1中上下文词典和特定属性的隐含向量表示生成上下文度量转换子其中，基于用户、产品两种上下文常用语义作用以及用户属性、产品属性和用户产品交互属性三种属性，可以对应生成基于用户属性的用户上下文度量转换子基于产品属性的用户上下文度量转换子基于用户产品交互属性的用户上下文度量转换子基于用户属性的产品上下文度量转换子基于产品属性的产品上下文度量转换子以及基于用户产品交互属性的产品上下文度量转换子用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c。具体计算过程如下： M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，其中向量中的元素表示权重。结果：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
步骤S3，由步骤S2中用户上下文度量转换子MU，c、产品上下文度量转换子MV，c以及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，特定环境的产品隐含向量表示vc＝MV，cv。将步骤S2中结果代入得：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
计算如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v
步骤S4，由步骤S3中的特定环境的用户隐含向量表示，特定环境的产品隐含向量表示计算出预测值：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
本发明还公开了一种基于上下文转换向量模型的推荐系统，包括：
将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示的第一装置；
基于上下文词典和特定属性的隐含向量表示，生成上下文度量转换子的第二装置；
通过所述上下文度量转换子与所述隐含矩阵及用户和产品的隐含向量表示，生成对应于特定环境的隐含向量表示的第三装置；
根据所述隐含向量表示来计算出预测值的第四装置。
其中，所述第一装置执行以下步骤：将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，...，cn，k}的多个隐含向量表示[h1，k，...，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI；
其中，所述上下文常用语义作用分为用户U、对象V两种，基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品两类；基于三种属性：用户属性CU、产品属性CV、用户产品交互属性CI，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品、用户产品交互三类。
其中，所述第二装置执行以下步骤：基于所述上下文词典和特定属性的隐含向量表示生成上下文度量转换子
其中为基于用户属性的用户上下文度量转换子、为基于产品属性的用户上下文度量转换子、为基于用户产品交互属性的用户上下文度量转换子、为基于用户属性的产品上下文度量转换子、为基于产品属性的产品上下文度量转换子，以及为基于用户产品交互属性的产品上下文度量转换子；所述用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c，具体计算过程如下：
M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，向量中的元素表示权重，计算结果如下：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
其中，所述第三装置执行以下步骤：基于所述用户上下文度量转换子MU，c、产品上下文度量转换子MV，c及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，以及对应于特定环境的产品隐含向量表示vc＝MV，cv，计算公式如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v .
其中，所述第四装置执行以下步骤：根据所述特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值，具体计算公式如下：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v .
为了更好地理解上下文转换向量模型在推荐系统中的作用，以及验证本发明的实施效果，接下来以电影推荐系统为例进行说明，本示例采用Movielens-1M数据库。该数据库含有用户、产品、交互三种属性信息：用户属性信息有职业、年龄、性别，产品属性信息有类别、时长、导演，交互属性信息有陪伴、时间、地点、是否首映。环境属性信息可能会影响用户对产品的决策。比如，你可能会倾向于陪伴小孩看动画片，陪伴父母看综艺节目；周末你可能去购物；在家你可能看小说。
在Movielens-1M数据集上具体实验步骤如下：
步骤S1，将用户和电影产品分别表示为一个上下文词典将上述的用户、产品、交互三种属性信息表示为隐含向量表示hk，对应于不同上下文{c1，k，...，cn，k}的多个隐含向量表示[h1，k，...，hn，k]形成上下文集合隐含矩阵表示Hk。实验中选取向量维度为d＝8。
步骤S2，基于步骤S1中上下文词典和上下文集合隐含矩阵表示Hk，生成上下文度量转换子MU，k，MV，k。
步骤S3，由步骤S2中用户上下文度量转换子MU，c、产品上下文度量转换子MV，c以及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，特定环境的产品隐含向量表示vc＝MV，cv。
步骤S4，由步骤S3中的特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
本发明将上下文转换向量模型(Context2vec)与现有的4种模型Multiverse Recommendation、FM、HeteroMF和CARS2比较。FM+、Context2vec+表示采用用户、产品、交互三种属性的实验，其他表示只采用交互属性的实验。
两种常用指标用于衡量上下文转换向量模型评分预测的性能，包括误差方均根(Root Mean Square Error，简称RMSE)和平均预测率(MeanAverage Precision，简称MAE)。
RMSE = Σ ( i . j . k ) ∈ Ω test ( r i , j , k - r ^ i , j , k ) 2 n test ;
MAE = Σ ( i . j . k ) ∈ Ω test | r i , j , k - r ^ i , j , k | n test .
这里Ωtest指的是测试集，即10％Movielens-1M2数据集；ntest为测试集的评分。剩下的90％Movielens-1M数据集为训练集。
通过两种方法使用数据库，分别为全用户方法和冷启动方法。其中，全用户方法是随机采样数据集中10％的用户评分作为测试集，剩下90％作为训练集；而冷启动方法是随机采样数据集中不多于3个用户评分作为训练集，剩下的作为测试集，训练集仍然占90％，测试集占10％。实验结果如图3所示。从图上可以看出，本发明的推荐方法RMSE指标提高比例最高，迭代步数最少。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于上下文转换向量模型的推荐方法，包括以下步骤：
步骤S1，将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示；
步骤S2，基于步骤S1中上下文词典和特定属性的隐含向量表示，生成上下文度量转换子；
步骤S3，通过步骤S2中得到的所述上下文度量转换子与步骤S1中的所述隐含矩阵及用户和产品的隐含向量表示，生成对应于特定环境的隐含向量表示；
步骤S4，根据步骤S3中得到的所述隐含向量表示来计算出预测值，基于所述预测值进行推荐。
2.根据权利要求1所述的基于上下文转换向量模型的推荐方法，其中所述步骤S1包括：将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，…，cn，k}的多个隐含向量表示[h1，k，…，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI；
其中，所述上下文常用语义作用分为用户U、对象V两种，基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品两类；基于三种属性：用户属性Cu、产品属性CV、用户产品交互属性CI，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品、用户产品交互三类。
3.根据权利要求1所述的基于上下文转换向量模型的推荐方法，其中所述步骤S2包括：基于S1中上下文词典和特定属性的隐含向量表示生成上下文度量转换子
其中为基于用户属性的用户上下文度量转换子、为基于产品属性的用户上下文度量转换子、为基于用户产品交互属性的用户上下文度量转换子、为基于用户属性的产品上下文度量转换子、为基于产品属性的产品上下文度量转换子，以及为基于用户产品交互属性的产品上下文度量转换子；所述用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c，具体计算过程如下：
M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，向量中的元素表示权重，计算结果如下：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
4.根据权利要求1所述的基于上下文转换向量模型的推荐方法，其中所述步骤S3包括：
基于步骤S2中得到的所述用户上下文度量转换子MU，c产品上下文度量转换子MV，c及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，以及对应于特定环境的产品隐含向量表示vc＝MV，cv，计算公式如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v .
5.根据权利要求1所述的基于上下文转换向量模型的推荐方法，其中所述步骤S4包括：
根据步骤S3中得到的所述特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值，具体计算公式如下：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v .
6.一种基于上下文转换向量模型的推荐系统，包括：
将上下文常用语义作用表示为一个上下文词典，将上下文表示为一个隐含向量表示，多个隐含向量表示形成隐含矩阵表示，隐含矩阵表示配合对应的权重向量生成特定属性的隐含向量表示的第一装置；
基于上下文词典和特定属性的隐含向量表示，生成上下文度量转换子的第二装置；
通过所述上下文度量转换子与所述隐含矩阵及用户和产品的隐含向量表示，生成对应于特定环境的隐含向量表示的第三装置；
根据所述隐含向量表示来计算出预测值的第四装置。
7.根据权利要求6所述的基于上下文转换向量模型的推荐系统，其中所述第一装置执行以下步骤：
将上下文常用语义作用表示为一个上下文词典将上下文cm，k表示为一个隐含向量表示hk，对应于不同上下文{c1，k，…，cn，k}的多个隐含向量表示[h1，k，…，hn，k]形成上下文集合隐含矩阵表示Hk，隐含矩阵表示配合对应的权重向量wk生成特定属性的隐含向量表示ak，其中k表示三种环境属性CU，CV，CI；
其中，所述上下文常用语义作用分为用户U、对象V两种，基于两种上下文常用语义作用种类，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品两类；基于三种属性：用户属性CU、产品属性CV、用户产品交互属性CI，上下文词典、权重向量、特定属性的隐含向量表示均分为用户、产品、用户产品交互三类。
8.根据权利要求6所述的基于上下文转换向量模型的推荐系统，其中所述第二装置执行以下步骤：
基于所述上下文词典和特定属性的隐含向量表示生成上下文度量转换子 M U , c u , M U , c v , M U , c i , M V , c u , M V , c v , M V , c i ,
其中为基于用户属性的用户上下文度量转换子、为基于产品属性的用户上下文度量转换子、为基于用户产品交互属性的用户上下文度量转换子、为基于用户属性的产品上下文度量转换子、为基于产品属性的产品上下文度量转换子，以及为基于用户产品交互属性的产品上下文度量转换子；所述用户和产品的各三种上下文度量转换子相加得到用户上下文度量转换子MU，c、产品上下文度量转换子MV，c，具体计算过程如下：
M U , k = a U , k T T U , k [ 1 : d ] , M V , k = a V , k T T V , k [ 1 : d ] , 其中 a U , k T = H k W U , k , WU，k为n维向量，向量中的元素表示权重，计算结果如下：
M U , k = ( H k W U , k ) T T U , k [ 1 : d ] , M V , k = ( H k W U , k ) T T V , k [ 1 : d ]
M U , c = Σ k = C U , C V , C I M U , k = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ]
M V , c = Σ k = C U , C V , C I M V , k = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] .
9.根据权利要求6所述的基于上下文转换向量模型的推荐系统，其中所述第三装置执行以下步骤：基于所述用户上下文度量转换子MU，c产品上下文度量转换子MV，c及用户和产品的隐含向量表示u，v生成对应于特定环境的用户隐含向量表示uc＝MU，cu，以及对应于特定环境的产品隐含向量表示vc＝MV，cv，计算公式如下：
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v
u c = Σ k = C U , C V , C I ( H k W U , k ) T T U , k , 1 [ 1 : d ] u . . . Σ k = C U , C V , C I ( H k W U , k ) T T U , k , d [ 1 : d ] u , v c = Σ k = C U , C V , C I ( H k W V , k ) T T V , k , 1 [ 1 : d ] v . . . Σ k = C U , C V , C I ( H k W V , k ) T T V , k , d [ 1 : d ] v .
10.根据权利要求6所述的基于上下文转换向量模型的推荐系统，其中所述第四装置执行以下步骤：
根据所述特定环境的用户隐含向量表示、特定环境的产品隐含向量表示计算出预测值，具体计算公式如下：
r ^ u , v , c = b 0 + b u + b v + Σ m = 1 | c | b c , m + u c T v c = b 0 + b u + b v + Σ m = 1 | c | b c , m + [ Σ k = C U , C V , C I ( H k W U , k ) T T U , k [ 1 : d ] u ] T Σ k = C U , C V , C I ( H k W V , k ) T T V , k [ 1 : d ] v .
CN201510253508.7A 2015-05-18 2015-05-18 基于上下文转换向量模型的推荐方法和系统 Pending CN104809107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510253508.7A CN104809107A (zh) 2015-05-18 2015-05-18 基于上下文转换向量模型的推荐方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510253508.7A CN104809107A (zh) 2015-05-18 2015-05-18 基于上下文转换向量模型的推荐方法和系统

Publications (1)

Publication Number Publication Date
CN104809107A true CN104809107A (zh) 2015-07-29

Family

ID=53693938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510253508.7A Pending CN104809107A (zh) 2015-05-18 2015-05-18 基于上下文转换向量模型的推荐方法和系统

Country Status (1)

Country Link
CN (1) CN104809107A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766319A (zh) * 2016-08-19 2018-03-06 华为技术有限公司 序列转换方法及装置
US11568289B2 (en) 2018-11-14 2023-01-31 Bank Of America Corporation Entity recognition system based on interaction vectorization
US11669759B2 (en) * 2018-11-14 2023-06-06 Bank Of America Corporation Entity resource recommendation system based on interaction vectorization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334792A (zh) * 2008-07-10 2008-12-31 中国科学院计算技术研究所 一种个性化服务推荐系统和方法
US20100185578A1 (en) * 2009-01-22 2010-07-22 Nec Laboratories America, Inc. Social network analysis with prior knowledge and non-negative tensor factorization
CN102982107A (zh) * 2012-11-08 2013-03-20 北京航空航天大学 一种融合用户、项目和上下文属性信息的推荐系统优化方法
CN103136694A (zh) * 2013-03-20 2013-06-05 焦点科技股份有限公司 基于搜索行为感知的协同过滤推荐方法
CN103559197A (zh) * 2013-09-23 2014-02-05 浙江大学 基于上下文预过滤的实时音乐推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101334792A (zh) * 2008-07-10 2008-12-31 中国科学院计算技术研究所 一种个性化服务推荐系统和方法
US20100185578A1 (en) * 2009-01-22 2010-07-22 Nec Laboratories America, Inc. Social network analysis with prior knowledge and non-negative tensor factorization
CN102982107A (zh) * 2012-11-08 2013-03-20 北京航空航天大学 一种融合用户、项目和上下文属性信息的推荐系统优化方法
CN103136694A (zh) * 2013-03-20 2013-06-05 焦点科技股份有限公司 基于搜索行为感知的协同过滤推荐方法
CN103559197A (zh) * 2013-09-23 2014-02-05 浙江大学 基于上下文预过滤的实时音乐推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIANG LIU ET AL.: "COT：Contextual Operating Tensor for Context-aware Recommender Systems", 《ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE》 *
王立才 等: "上下文感知推荐系统", 《软件学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766319A (zh) * 2016-08-19 2018-03-06 华为技术有限公司 序列转换方法及装置
CN107766319B (zh) * 2016-08-19 2021-05-18 华为技术有限公司 序列转换方法及装置
US11288458B2 (en) 2016-08-19 2022-03-29 Huawei Technologies Co., Ltd. Sequence conversion method and apparatus in natural language processing based on adjusting a weight associated with each word
US11568289B2 (en) 2018-11-14 2023-01-31 Bank Of America Corporation Entity recognition system based on interaction vectorization
US11669759B2 (en) * 2018-11-14 2023-06-06 Bank Of America Corporation Entity resource recommendation system based on interaction vectorization

Similar Documents

Publication Publication Date Title
CN102982107B (zh) 一种融合用户、项目和上下文属性信息的推荐系统优化方法
CN110457480B (zh) 基于交互式注意力机制的细粒度情感分类模型的构建方法
Sadaei et al. Combining ARFIMA models and fuzzy time series for the forecast of long memory time series
CN109446430A (zh) 产品推荐的方法、装置、计算机设备及可读存储介质
CN105976070A (zh) 基于重点元素的矩阵分解及微调方法
CN105069122A (zh) 一种基于用户行为的个性化推荐方法及其推荐装置
CN115082920B (zh) 深度学习模型的训练方法、图像处理方法和装置
JP2023017910A (ja) セマンティック表現モデルの事前トレーニング方法、装置及び電子機器
CN104199818A (zh) 一种基于分类的社会化推荐方法
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
Ayyadevara Neural Networks with Keras Cookbook: Over 70 recipes leveraging deep learning techniques across image, text, audio, and game bots
CN104809107A (zh) 基于上下文转换向量模型的推荐方法和系统
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
CN111507765A (zh) 广告点击率预测方法、装置、电子设备和可读存储介质
Song et al. Cold-start aware deep memory networks for multi-entity aspect-based sentiment analysis
Hassan et al. Performance analysis of neural networks-based multi-criteria recommender systems
Xu et al. [Retracted] Research on the Construction of Crossborder e‐Commerce Logistics Service System Based on Machine Learning Algorithms
CN112446739B (zh) 一种基于分解机和图神经网络的点击率预测方法及系统
Hossain et al. Development of an Intelligent Job Recommender System for Freelancers using Client's Feedback Classification and Association Rule Mining Techniques.
Khanvilkar et al. Smart recommendation system based on product reviews using Random Forest
CN112632377A (zh) 一种基于用户评论情感分析与矩阵分解的推荐方法
Zhang et al. Closeness degree-based hesitant trapezoidal fuzzy multicriteria decision making method for evaluating green suppliers with qualitative information
Bolin et al. Scale dependence: Why the average CRPS often is inappropriate for ranking probabilistic forecasts
CN103279549A (zh) 一种目标对象的目标数据的获取方法及装置
Frieder et al. Large language models for mathematicians

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150729

WD01 Invention patent application deemed withdrawn after publication