CN108491477A - 基于多维云和用户动态兴趣的神经网络推荐方法 - Google Patents

Abstract

本发明涉及信息检索和数据挖掘领域，特别涉及一种基于多维云和用户动态兴趣的神经网络推荐方法，包括：获取用户对项目的评分及用户评分时间并进行预处理；使用预处理后的数据构建基于用户的多维云模型和基于项目的多维云模型，得到基于用户的预测评分和基于项目的预测评分；将基于用户的预测评分和基于项目的预测评分作为训练好的神经网络评分预测模型的输入数据，得到最终预测评分；本发明不仅有效利用用户数据，还改善了个性化推荐方法在数据稀疏场景下存在的弊端。

Description

基于多维云和用户动态兴趣的神经网络推荐方法

技术领域

本发明涉及信息检索和数据挖掘领域，特别涉及一种基于多维云和用户动态兴趣的神经网络推荐方法。

背景技术

Internet和Web2.0技术的不断发展给用户产生大量的信息数据，满足了用户在信息化时代对信息的需求，但信息过载给信息消费者和信息生产者带来严重影响，解决信息过载最有效的方法就是推荐系统。

推荐系统作为一种智能信息服务方式，被电子商务、社交网络、电影和视频、音乐、个性化邮件和广告等广泛利用。推荐系统以电子服务个性化技术为代表，它把电子商务网站浏览者的历史行为数据(购买、点击、收藏、评价)分析计算生成用户的个性化推荐系统，把浏览者变成消费者，并且提高电子商务网站的信息交互能力和建立友好忠诚度。和搜索引擎相比，个性化推荐系统主动分析用户历史行为并研究用户兴趣偏好，进行个性化计算，由系统主动给用户推荐有价值的信息，引导用户发现自己的信息需求。一个好的推荐系统不仅能为用户提供个性化的服务，还能和用户之间建立密切关系，让用户对推荐产生依赖。目前常用的个性化推荐算法是基于内容的推荐、基于社会化的推荐和基于协同过滤的推荐。基于内容的推荐是根据用户历史数据，考察用户与项目的匹配程度。基于社会化的推荐技术是利用在社交网络上用户之间的社交关系，根据直接或间接的社会化关系构建用户兴趣模型。基于协同过滤的推荐技术是利用用户历史行为数据，寻找匹配度高的邻居群体，根据用户邻居群体兴趣对目标用户进行推荐。而基于内容的推荐可分析的内容有限，新颖度差以及新用户需要用户的偏好信息。同时，基于社会化的推荐技术仅挖掘用户之间的好友关系，缺乏对用户自身属性的考虑。因此，基于协同过滤的推荐方法在推荐系统中得到了广泛的研究与应用。

基于协同过滤的推荐技术虽然具有良好的推荐效果，但近年来我们观察到数字信息，资源和在线内容的可用性呈爆炸式增长，用户对项目的评价信息有大量的缺失，造成数据稀疏性问题，从而传统的协同过滤推荐方法已不适应当前规模下的网络。并且因用户个体差异，导致用户评价信息的随机性和模糊性问题，用户评分信息的随机性指用户在特定评分行为下，改变评分行为，用户评分信息的模糊性指用户只能用1-5分描述对项目的评价，这样的表示比较模糊而不准确，没有用定性语言概念表述更准确，从而对评分预测造成准确度低的困难。

发明内容

针对上述问题，本发明提供一种基于多维云和用户动态兴趣的神经网络推荐方法，如图1，包括：

S1、获取用户对项目的评分及用户评分时间并进行预处理；

S2、使用预处理后的数据构建基于用户的多维云和基于项目的多维云模型，得到基于用户的预测评分和基于项目的预测评分；

S3、将基于用户的预测评分和基于项目的预测评分作为神经网络评分预测模型的输入数据，得到最终预测评分。

优选的，所述进行预处理包括设定时间间隔阈值，评分时间大于时间间隔阈值则根据用户的评分时间对用户对项目的评分进行加权处理，否则不做处理，具体表示为：

其中，r_jk表示用户对项目的评分，λ是时间衰减因子，K表示时间间隔阈值，t_now表示用户对项目评分结束的时刻值，t₀表示用户对项目评分开始的时刻值。

优选的，构建基于用户的多维云和基于项目的多维云模型，如图3，包括：

S21：将用户数据输入逆向云发生器，得到所有用户对所有项目评分的数据的特征值；

S22：筛选出一个用户的所有已评分项目的用户数据的特征值构建基于用户的多维云模型；

S23：筛选出一个项目的所有已评分用户的用户数据的特征值构建基于项目的多维云模型；

S24：通过正向云发生器计算已评分项目的基于用户的隶属度和基于项目的隶属度

S25：计算待评分项目的基于用户的隶属度和基于项目的隶属度

S26：根据待评分项目的隶属度计算出目标用户对待评分项目的基于用户的预测评分和基于项目的预测评分

优选的，构建基于用户的多维云模型包括：

单一用户对项目集合产生的多维云，表示为：

C＝{(Ex₁,En₁,He₁),(Ex₂,En₂,He₂),...,(Ex_j,En_j,He_j),...,(Ex_n,En_n,He_n)}；

其中：

其中，Ex_j表示用户j的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_j表示用户j的所有评分的熵，表示用户j的所有评分的方差，He_j表示用户j的所有评分的超熵。

优选的，构建基于项目的多维云模型包括：

单一项目对用户集合产生的多维云，表示为：

C'＝{(Ex₁',En₁',He₁'),(Ex₂',En₂',He₂'),...,(Ex_k',En_k',He_k'),...,(Ex_m',En_m',He_m')}；

其中：

其中，Ex_k'表示项目k的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_k'表示项目k的所有评分的熵，(S_k')²表示项目k的所有评分的方差，He_k'表示项目k的所有评分的超熵。

优选的，通过正向云发生器计算项目的基于用户的隶属度和基于项目的隶属度包括：

项目的基于用户的隶属度表示为：

项目的基于项目的隶属度表示为：

其中，Ex_k'表示项目k的所有评分的平均值；θ'为第二正态高斯随机变量，表示为θ'＝NORM[En_k',(He_k')²]，NORM[En_k',(He_k')²]是期望为En_k'，方差为(He_k')²的正态高斯随机变量；Ex_j表示用户j的所有评分的平均值；θ为第一正态高斯随机变量，表示为其中是期望为En_j，方差为He_j ²的正态高斯随机变量。

优选的，计算待评分项目的基于用户的隶属度和基于项目的隶属度表示为：

待评分项目的基于用户的隶属度表示为：

待评分项目的基于项目的隶属度表示为：

其中，S_k|k|表示待预测项目i_k与项目i_|k|的相似度，m表示项目的数量，S_j|j|表示目标用户u_j与用户u_|j|的相似度，n表示用户的数量。

优选的，待预测项目i_k与项目i_|k|的相似度、目标用户u_j与用户u_|j|的相似度包括：

待预测项目i_k与项目i_|k|的相似度表示为：

目标用户u_j与用户u_|j|的相似度表示为：

其中，i_k表示对项目k评过分的用户数，i_|k|表示对项目|k|评分的用户数，u_j表示用户j评分的项目数，u_|j|表示用户|j|评过分的项目数。

优选的，根据待评分项目的隶属度计算出待评分项目的基于用户的预测评分和基于项目的预测评分r_i ²包括：

目标用户对待评分项目的基于用户的预测评分表示为：

目标用户对待评分项目的基于项目的预测评分表示为：

优选的，神经网络模型的训练过程，如图4，包括：

S31：选取隐含层神经元个数，初始化网络结构的参数、初始化连接权值权值和各神经元的阈值、误差阈值ε和最大学习次数D；

S32：根据用户历史评分计算隐含层各神经元的输出及输出层各神经元的输出；

S33：根据历史用户对项目的基于用户的预测评分和基于项目的预测评分r_i ²与实际用户对项目的评分之间的误差修正各层之间的连接权值；

S34：计算误差值E，判断是否误差值E<ε，若是则输出并储存各层之间的连接权值，否则进行S35；

S35：判断是否d>D，若是则输出并储存各层之间的连接权值，否则返回步骤S32。

本发明根据用户评分时间与当前时间的时间间隔，提出时间衰减函数的概念，使推荐模型更加准确可靠，构建多隐含层神经网络评分预测模型，有效改善了数据稀疏性产生的预测不准确的问题，提高推荐质量；总的来说，本发明不仅有效利用用户数据，还改善了个性化推荐方法在数据稀疏场景下存在的弊端。

附图说明

图1为本发明的总体流程图；

图2为本发明的多隐含层神经网络模型图；

图3为本发明构建基于用户的多维云和基于项目的多维云模型流程图；

图4为本发明神经网络评分预测模型的训练过程流程图；

图5为本发明的基于项目的多维云模型构建示意图。

具体实施方式

为了使本技术领域人员能更好地理解本发明的目的、技术方案和有益效果，下面结合具体实施例和说明附图来进行完整的描述。

本发明提供一种基于多维云和用户动态兴趣的神经网络推荐方法，如图1，包括：

S1、获取用户对项目的评分及用户评分时间并进行预处理；

S2、使用预处理后的数据构建基于用户的多维云和基于项目的多维云模型，得到基于用户的预测评分和基于项目的预测评分；

S3、将基于用户的预测评分和基于项目的预测评分作为神经网络评分预测模型的输入数据，得到最终预测评分。

可以将用户对多个项目的最终预测评分由高到度进行排序并生成列表，推送给用户。

优选的，所述进行预处理包括设定时间间隔阈值，评分时间大于时间间隔阈值则根据用户的评分时间对用户对项目的评分进行加权处理，否则不做处理，具体表示为：

其中，r_jk表示用户对项目的评分，λ是时间衰减因子，K表示时间间隔阈值，t_now表示用户对项目评分结束的时刻值，t₀表示用户对项目评分开始的时刻值。

隶属云发生器(Membership Clouds Generator，MCG)，是一种由计算机或者微电子电路技术实现的特定算法，隶属云发生器包括正向云发生器和逆向云发生器两种，逆向云发生器实现定量数值到定性概念的转换，可以将一定数量的数据转换为以数字特征表示的定性概念，数字特征包括数据的平均值，数据的熵和数据的超熵，本发明的逆向云发生器是将用户对项目的评分转换为特征值；正向云发生器是从定性到定量的一种映射，本发明将特征值通过正向云发生器的映射得到的云滴定义为一个预测评分；总的来说，云模型可以处理用户评分的随机性和模糊性，利用云发生器实现定量精确数值到定性概念的转化，本发明根据用户数据构建基于用户的多维云和基于项目的多维云模型包括，如图3，包括：

S21：将用户数据输入逆向云发生器，得到所有用户对所有项目评分的数据的特征值；

S22：筛选出一个用户的所有已评分项目的用户数据的特征值构建基于用户的多维云模型；

S23：筛选出一个项目的所有已评分用户的用户数据的特征值构建基于项目的多维云模型；

S24：通过正向云发生器计算已评分项目的基于用户的隶属度和基于项目的隶属度

S25：计算待评分项目的基于用户的隶属度和基于项目的隶属度

S26：根据待评分项目的隶属度计算出目标用户对待评分项目的基于用户的预测评分和基于项目的预测评分r_i ²。

优选的，构建基于用户的多维云模型包括：

单一用户对项目集合产生的多维云，表示为：

C＝{(Ex₁,En₁,He₁),(Ex₂,En₂,He₂),...,(Ex_j,En_j,He_j),...,(Ex_n,En_n,He_n)}；

其中：

其中，Ex_j表示用户j的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_j表示用户j的所有评分的熵，表示用户j的所有评分的方差，He_j表示用户j的所有评分的超熵。

优选的，构建基于项目的多维云模型包括：

单一项目对用户集合产生的多维云，表示为：

C'＝{(Ex₁',En₁',He₁'),(Ex₂',En₂',He₂'),...,(Ex_k',En_k',He_k'),...,(Ex_m',En_m',He_m')}；

其中：

其中，Ex_k'表示项目k的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_k'表示项目k的所有评分的熵，(S_k')²表示项目k的所有评分的方差，He_k'表示项目k的所有评分的超熵；

如图5，当用户没有对项目评分，则记为0，例如用户i₁没有对项目u_n评过分，则记为0；计算项目i₁对应的n个用户中评过分的项目的评分的平均值Ex₁'，用户评分的熵En₁'和用户评分的超熵He₁'，形成基于项目i₁的一维云，基于项目i₁的一维云表示为一条高斯正太分布曲线，将所有项目的一维云构建基于项目的多维云模型。

优选的，通过正向云发生器计算项目的基于用户的隶属度和基于项目的隶属度包括：

项目的基于用户的隶属度表示为：

项目的基于项目的隶属度表示为：

其中，Ex_k'表示项目k的所有评分的平均值；θ'为第二正态高斯随机变量，表示为θ'＝NORM[En_k',(He_k')²]，其中NORM[En_k',(He_k')²]是期望为En_k'，方差为(He_k')²的正态高斯随机变量；Ex_j表示用户j的所有评分的平均值；θ为第一正态高斯随机变量，表示为其中是期望为En_j，方差为He² _j的正态高斯随机变量。

优选的，计算待评分项目的基于用户的隶属度和基于项目的隶属度表示为：

待评分项目的基于用户的隶属度表示为：

待评分项目的基于项目的隶属度表示为：

其中，S_k|k|表示待预测项目i_k与项目i_|k|的相似度，m表示项目的数量，S_j|j|表示目标用户u_j与用户u_|j|的相似度，n表示用户的数量。

优选的，待预测项目i_k与已评分项目i_|k|的相似度、目标用户u_j与已评分用户u_|j|的相似度包括：

待预测项目i_k与已评分项目i_|k|的相似度表示为：

目标用户u_j与已评分用户u_|j|的相似度表示为：

其中，i_k表示对项目k评过分的用户数，i_|k|表示对项目|k|评过分的用户数，u_j表示用户j评过分的项目数，u_|j|表示用户|j|评过分的项目数。

优选的，根据待评分项目的隶属度计算出待评分项目的基于用户的预测评分和基于项目的预测评分r_i ²包括：

目标用户对待评分项目的基于用户的预测评分表示为：

目标用户对待评分项目的基于项目的预测评分表示为：

优选的，神经网络评分预测模型，如图2，包括输入层、隐含层和输出层，每一层的神经元表示在该层的预测评分，其中输入层有两个神经元，分别为基于项目的预测评分和基于用户的预测评分；隐含层的每一个神经元可以视为一个二次分类器，二次分类器是在机器学习中使用二次曲面将数据分为两个或两个以上的类别，神经元的数量由技术人员设置，通常情况下，隐含层的神经元数量h与输入层的神经元数量和输出层的神经元数量有关，本发明中输入层的神经元数量为2，输出层的神经元数量为1，隐含层的神经元数量可以表示为：其中a为1～10之间的调节常数，表示向上取整；输出层的只有最终预测评分的神经元；对于高维的数据，很难进行可视化，所以每层之间的连接权值，只能通过多次训练调整，其中神经网络评分预测模型的训练过程包括：

S31：选取隐含层神经元个数，初始化网络结构的参数、初始化连接权值权值和各神经元的阈值、误差阈值ε和最大学习次数D，令d＝1；

S32：根据用户对已评分项目的评分计算隐含层各神经元的输出及输出层各神经元的输出；

S33：根据历史用户对项目的基于用户的预测评分和基于项目的预测评分r_i ²与实际用户对项目的评分之间的误差修正各层之间的连接权值；

S34：计算误差值E，判断是否误差值E<ε，若是则输出并储存各层之间的连接权值，否则进行S35；

S35：判断是否d>D，若是则输出并储存各层之间的连接权值，否则返回步骤S32。

优选的，计算隐含层各神经元的输出及输出层神经元的输出包括：

隐含层的第h个神经元的输出表示为：

令则

x_c＝{x₁,x₂},其中

输出层神经元的输出O^O，表示为：

其中，ω_ch为输入层第c个神经元到隐含层的第h个的连接权值，是隐含层第h个神经元的阈值，f表示Sigmoid激活函数，ω_h为隐含层的第h个神经元到输出层的连接权值，θ^O是输出层神经元的阈值；x_c表示输入层神经元输入的神将元，当c＝1时表示基于用户的预测评分数据，当c＝2时表示基于物品的预测评分数据；为输入层的神经元，M表示隐含层神经元的数量，输出层的神经元个数为1。

优选的，修正各层之间的连接权值包括：

修正输入层到隐含层之间权值：

ω_ch ^N+1＝ω_ch ^N+Δω_ch；

令则

修正隐含层到输出层之间权值：

ω_h ^N+1＝ω_h ^N+Δω_h；

令则Δω_h＝ηe_hx_c；

其中，为输入层第c个神经元与隐含层的第h个神经元修正后的连接权值，为输入层第c个神经元与隐含层的第h个神经元修正前的连接权值，为隐含层的第h个神经元与输出层的神经元修正后的连接权值，为隐含层的第h个神经元与输出层的神经元修正后的连接权值，O^O表示隐含层的第h个神经元输出的预测评分值，为输出层神经元所对应的实际输出值，η表示多隐含层神经网络模型的学习率，Δω_ij表示输入层到隐含层的连接权值的变化量，Δω_h表示隐含层到输出层的连接权值的变化量。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，包括：

S1、获取用户对项目的评分及用户评分时间并进行预处理；

S2、使用预处理后的数据构建基于用户的多维云模型和基于项目的多维云模型，得到基于用户的预测评分和基于项目的预测评分；

S3、将基于用户的预测评分和基于项目的预测评分作为训练好的神经网络评分预测模型的输入数据，得到最终预测评分。

2.根据权利要求1所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，所述进行预处理包括设定时间间隔阈值，若用户评分时间大于时间间隔阈值则根据用户的评分时间对用户对项目的评分进行加权处理，否则不做处理，具体表示为：

其中，r_jk表示用户j对项目的评分k，λ是时间衰减因子，K表示时间间隔阈值，t_now表示用户对项目评分结束的时刻值，t₀表示用户对项目评分开始的时刻值。

3.根据权利要求1所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，所述使用预处理后的数据构建基于用户的多维云和基于项目的多维云模型，得到基于用户的预测评分和基于项目的预测评分包括：

S21：将用户数据输入逆向云发生器，得到所有用户对所有项目评分的数据的特征值；

S22：利用一个用户的所有已评分项目的用户数据的特征值构建基于用户的多维云模型；

S23利用一个项目的所有已评分的用户数据的特征值构建基于项目的多维云模型；

S24：通过正向云发生器计算已评分项目的基于用户的隶属度和基于项目的隶属度

S25：计算待评分项目的基于用户的隶属度和基于项目的隶属度

S26：根据待评分项目的隶属度计算出目标用户对待评分项目的基于用户的预测评分和基于项目的预测评分r_i ²。

4.根据权利要求3所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，基于用户的多维云模型包括：

单一用户对项目集合产生的多维云，表示为：

C＝{(Ex₁,En₁,He₁),(Ex₂,En₂,He₂),...,(Ex_j,En_j,He_j),...,(Ex_n,En_n,He_n)}；

其中：

其中，Ex_j表示用户j的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_j表示用户j的所有评分的熵，表示用户j的所有评分的方差，He_j表示用户j的所有评分的超熵。

5.根据权利要求3所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，基于项目的多维云模型包括：

单一项目对用户集合产生的多维云，表示为：

C'＝{(Ex₁',En₁',He₁'),(Ex₂',En₂',He₂'),...,(Ex_k',En_k',He_k'),...,(Ex_m',En_m',He_m')}；

其中：

其中，Ex_k'表示项目k的所有评分的平均值，r_jk表示第j个用户对第k个项目的评分，En_k'表示项目k的所有评分的熵，(S_k')²表示项目k的所有评分的方差，He_k'表示项目k评分的超熵。

6.根据权利要求3所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，通过正向云发生器计算项目的基于用户的隶属度和基于项目的隶属度包括：

项目的基于用户的隶属度表示为：

项目的基于项目的隶属度表示为：

其中，Ex_k'表示项目k的所有评分的平均值；θ'为第二正态高斯随机变量，表示为θ'＝NORM[En_k',(He_k')²]，其中NORM[En_k',(He_k')²]是期望为En_k'，方差为(He_k')²的正态高斯随机变量；Ex_j表示用户j的所有评分的平均值；θ为第一正态高斯随机变量，表示为其中是期望为En_j，方差为He_j ²的正态高斯随机变量。

7.根据权利要求3所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，计算待评分项目的基于用户的隶属度和基于项目的隶属度表示为：

待评分项目的基于用户的隶属度表示为：

待评分项目的基于项目的隶属度表示为：

其中，S_k|k|表示待预测项目i_k与项目i_|k|的相似度，m表示项目的数量，S_j|j|表示目标用户u_j与用户u_|j|的相似度，n表示用户的数量。

8.根据权利要求7所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，待预测项目i_k与项目i_|k|的相似度、目标用户u_j与用户u_|j|的相似度包括：

待预测项目i_k与项目i_|k|的相似度表示为：

目标用户u_j与用户u_|j|的相似度表示为：

其中，n(i_k)表示对待预测项目i_k评过分的用户数，n(i_|k|)表示对项目i_|k|评过分的用户数，n(u_j)表示目标用户u_j评过分的项目数，n(u_|j|)表示用户u_|j|评过分的项目数。

9.根据权利要求6所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，根据待评分项目的隶属度计算出待评分项目的基于用户的预测评分和基于项目的预测评分r_i ²包括：

目标用户对待评分项目的基于用户的预测评分表示为：

目标用户对待评分项目的基于项目的预测评分表示为：

10.根据权利要求1所述的基于多维云和用户动态兴趣的神经网络推荐方法，其特征在于，神经网络评分预测模型的训练过程包括：

S31：选取隐含层神经元个数，初始化网络结构的参数、初始化连接权值权值和各神经元的阈值、误差阈值ε和最大学习次数D，令d＝1；

S32：根据用户数据计算隐含层各神经元的输出及输出层各神经元的输出；

S33：根据历史用户对项目的基于用户的预测评分和基于项目的预测评分r_i ²与实际用户对项目的评分之间的误差修正各层之间的连接权值；

S34：计算误差值E，判断是否误差值E<ε，若是则输出并储存各层之间的连接权值，否则进行S35；

S35：判断是否d>D，若是则输出并储存各层之间的连接权值，否则返回步骤S32。