CN111967578B - 基于非补偿决策机制的深度推荐系统框架的构建方法 - Google Patents

Abstract

基于非补偿决策机制的深度推荐系统框架的构建方法，涉及机器学习。提供可全面提高推荐的性能，弥补深度神经网络作为黑盒缺乏可解释性的缺点，更符合消费者普遍采用的决策规则的一种基于非补偿决策机制的深度推荐系统框架的构建方法。包括以下步骤：1)收集并处理评分数据集；2)对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型；3)利用NeuralNCR模型对评分数据集进行还原，产生Top‑N推荐。应用非补偿决策机制的深度推荐算法可以全面提高推荐的性能。同时，弥补了深度神经网络作为黑盒缺乏可解释性的缺点，更符合消费者普遍采用的决策规则。

Description

基于非补偿决策机制的深度推荐系统框架的构建方法

技术领域

本发明涉及机器学习，尤其是涉及一种基于非补偿决策机制的深度推荐系统框架的构建方法。

背景技术

推荐系统中，现有的主流先进推荐模型都是基于隐含因子模型。通常，隐含因子模型将用户偏好和项目特征转换为K维向量，代表用户偏好和项目特征都有K个方面的隐含特征空间。为了还原推荐系统中的评分，一般采用将用户偏好向量和项目特征向量进行内积的方法。

从消费者决策的角度来看，现有的隐含因子模型都属于补偿决策规则的范畴。根据补偿决策规则，消费者会从各个方面对商品进行评估，因此，商品在某一方面的良好表现会弥补其他方面的糟糕表现。例如，某消费者想买一部手机，该消费者考虑的是电池寿命、价格和存储空间三个方面。评价手机的一种补偿性规则是分别对手机电池寿命、价格和存储空间三个方面的性能进行打分，并计算各方面的加权总和，从而来得出最终的评分。

然而，根据Engel,Blackwell,Miniard等人在1986年《Consumer Behavior》中对人类选择行为的研究中表示，消费者更多的是基于非补偿规则做出与消费相关的选择。例如，Hauser,Ding，和Gaskin在2009年Proceedings of the Sawtooth Software Conference发表的《Non-compensatory(and Compensatory)Models of Consideration-Set Decisions》中做了132个实证调查，得出结论：超过70％的消费者在购买空调、汽车、电脑、相机等产品时采用了非补偿规则。

非补偿规则不允许一个产品的缺点被其吸引人的优点所抵消。非补偿规则有几种类型。其中，最常见的是词典规则和联结规则。词典规则假定产品的各个方面可以按重要性排序，从最主要的方面到最不主要的方面依次评价备选品牌。如果两个商品在某个方面具备相同的性能，则消费者比较次重要的方面。联结规则为每个方面建立一个最小可接受的阈值，根据产品是否同时满足每个方面的阈值进行评价。

目前，深度神经网络受到了较多的关注，并且已经在包括推荐系统的很多领域有了出色的表现。

发明内容

本发明的目的是针对如何构建基于非补偿决策机制的深度神经网络推荐系统框架，使得推荐系统既具有较高的准确性，又符合消费者普遍采用决策规则，从而具有更好的可解释性等问题，提供可全面提高推荐的性能，弥补深度神经网络作为黑盒缺乏可解释性等缺点的一种基于非补偿决策机制的深度推荐系统框架的构建方法。

本发明包括以下步骤：

1)收集并处理评分数据集；

2)对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型；

3)利用NeuralNCR模型对评分数据集进行还原，产生Top-N推荐。

在步骤1)中，所述收集并处理评分数据集的具体步骤为：收集评分数据集并处理为一个评分矩阵y，评分矩阵y中的第u行第i列元素表示为y_ui，根据推荐系统里用户u对项目i的评分与否标记y_ui为0或1；若y_ui＝0，则表示用户u对该项目i没有进行评分；若y_ui＝1，则表示用户u对该项目i进行了评分。

在步骤2)中，所述对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型的具体步骤可为：

(1)首先确定输入层：对于所有的用户集合U，用户个数为M，和所有的项目集合I，项目个数为N，用户u和项目i的输入用独热向量

和

来表示，v_u＝[0,…,1,0,…,0]，只有用户u对应在用户集合U中的位置为1，其余的分量都是0；v_i＝[0,…,1,0,…,0]，同理只有项目i对应在项目集合I中的位置为1，其余的分量都是0；

(2)确定嵌入层：用于将输入层的稀疏表示v_u和v_i映射为稠密向量p_u和q_i，

p_u和q_i被称为用户嵌入向量和项目嵌入向量，其中映射的过程为：

p_u＝P^Tv_u

q_i＝Q^Tv_i

其中，

和

是可训练的参数矩阵，分别代表所有的用户U和所有的项目I的隐含特征矩阵，M和N分别代表用户和项目的数目，K代表隐含特征的数目，由系统使用者指定；

(3)确定神经NCR层：将用户嵌入向量和项目嵌入向量p_u和q_i送入多层神经网络结构，把这个结构称为神经NCR层，神经NCR层将输出用户u对项目i的预测分数r^ui，神经NCR层具体分为左边部分和右边部分；

左边部分：

合并层：

用户嵌入向量表示用户u在隐含的K个方面的偏好程度，项目嵌入向量表示项目i在隐含的k个方面的性能表现，因此合并层可以预测

代表用户u在隐含的k个方面对项目i的评价，根据映射函数：

其中，

表示神经NCR层的映射函数，是对p_u和q_i的逐元素乘积，⊙表示两个向量的逐元素乘积。

池化层：

然后，将该合并后的乘积r^ui做最大池化(maxpooling)操作，得到向量v_mp，

池化过程如下：设定池化尺寸为2，步长为1，对合并后的乘积r^ui进行池化，得到池化向量：

其中，concate(·)是一个拼接操作，池化过程对r^ui以大小为2的窗口遍历，取每个窗口里的最大值，将所有最大值拼接成一个向量；

右边部分：

在用户嵌入向量和项目嵌入向量的连接上增加隐藏层，使用标准的多层感知机来学习用户和项目隐含特征之间的相互作用，这一部分的多层感知机的模型定义为：

其中，W_l，b_l和a_l分别表示l层的感知机中的权重矩阵，偏置向量(神经网络的神经元阈值)和激活函数，对于这些隐含层的激活函数，选择的是ReLU函数(修正线性单元函数)，a_l(x)＝max(0,x)。

隐含层网络结构是一个塔式模型，其权重的维度

是逐层减小的，其中，

即D_l表示第L层隐含层的神经元数量，相比L-1层，缩减一半的规模。

NeuralNCR模型即为由上述左边组分和右边部分两部分组成，公式如下：

其中，最外层的激活函数是Sigmoid函数，σ(x)＝1/(1+e^-x)。

在步骤3)中，所述利用NeuralNCR模型对评分数据集进行还原，产生Top-N推荐的具体方法可为：原始的评分数据集中的评分，已经通过步骤1)处理成0或1的形式，通过应用NeuralNCR模型后得到的预测分数

即代表了项目i和用户u相关的可能性大小；为了赋予NeuralNCR模型这样的概率解释，将网络输出限制到[0,1]的范围内，选择

最大的前N个商品产生Top-N推荐。

与现有技术相比，本发明具有以下突出的优点：

1、本发明针对如何构建基于非补偿决策机制的深度神经网络推荐系统框架，使得推荐系统既具有较高的准确性，又符合消费者普遍采用决策规则，从而具有更好的可解释性等问题，提出的推荐系统，基于非补偿决策机制和机器学习。

2、依次使用以下步骤：收集并处理评分数据集；对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型；利用NeuralNCR模型对评分数据集进行还原，最终产生项目的Top-N推荐。

3、本发明最终的效果表明应用非补偿决策机制的深度推荐算法可以全面提高推荐的性能。同时，弥补了深度神经网络作为黑盒缺乏可解释性的缺点，更符合消费者普遍采用的决策规则。

附图说明

图1是本发明实施例的流程图。

图2是本发明提出的基于非补偿决策机制的推荐系统模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下实施例将结合附图对本发明进行作进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，以下对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

本发明的核心思想在于提出一个基于非补偿决策机制的深度化推荐系统，以下实施例中所使用的数据集，是Movielen、FilmTrust、CiaoDVD等推荐系统中的主流数据集。

图1给出这个基于非补偿决策机制的深度化推荐系统的流程图，为了评估项目推荐的性能，采用了leave-one-out(留一法)的评估方案，即：对于每个用户的所有项目交互中，取出其中一份作为测试集，并利用余下的交互作为训练集。由于在评估过程中，为每个用户排列所有项目的话，花费的时间太多，所以遵循一般的策略，随机抽取100个没有与用户进行交互的项目，并将这一份测试项目安排在这100个项目之中。

评估指标则使用HR(命中率)和NDCG(归一化折扣累积增益)来衡量。没有特别说明的话，将这两个指标的排序列表截断为10，即取Top 10。如此一来，评估指标命中率直观地衡量测试项目是否存在于前10名列表中，而归一化折扣累积增益则通过将较高分数指定为最高的排名来计算命中的位置。计算了每个测试用户的这两个指标，并且求取了平均分作为最终的实验结果。最终的效果表明，应用非补偿决策机制的深度推荐算法可以全面提高推荐的性能。

本发明实施例包括以下步骤：

1)收集并处理评分数据集：收集评分数据集并处理为一个评分矩阵y，评分矩阵y中的第u行第i列元素表示为y_ui，根据推荐系统里用户u对项目i的评分与否标记y_ui为0或1；若y_ui＝0，则表示用户u对该项目i没有进行评分；若y_ui＝1，则表示用户u对该项目i进行了评分。

2)对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型；如图2所示，依次依照以下步骤进行建模：

(1)首先确定输入层：对于所有的用户集合U，用户集合大小为M，和所有的项目集合I，项目集合大小为N，在该模型中只考虑一个用户u∈U和一个项目i∈I作为输入；用户u和项目i的输入用独热向量

和

来表示，v_u＝[0,…,1,0,…,0]，只有用户u对应在用户集合U中的位置为1，其余的分量都是0；v_i＝[0,…,1,0,…,0]，同理只有项目i对应在项目集合I中的位置为1，其余的分量都是0；

(2)确定嵌入层：用于将输入层的稀疏表示v_u和v_i映射为稠密向量p_u和q_i，

p_u和q_i被称为用户嵌入向量和项目嵌入向量，其中映射的过程为：

p_u＝P^Tv_u

q_i＝Q^Tv_i

其中，

和

分别代表所有的用户U和所有的项目I的隐含特征矩阵，M和N分别代表用户和项目的数目，K代表隐含特征的数目，由系统使用者指定。

(3)确定神经NCR层：将用户嵌入和项目嵌入送入多层神经网络结构，把这个结构称为神经NCR层，神经NCR层将隐含向量映射为预测分数，神经NCR层具体分为左边部分和右边部分两个部分；

左边部分：

合并层：

由嵌入层得到的稠密向量

和

可用来表示用户u和项目i的隐含向量，则映射函数为：

其中，⊙表示向量的逐元素乘积，

表示神经NCR层的映射函数，最后乘积结果为

然后，将该合并后的乘积r^ui做最大池化(maxpooling)操作，得到向量v_mp，

池化过程如下：设定池化尺寸为2，步长为1，对合并后的乘积r^ui进行池化，得到池化向量：

其中，concate(·)是一个拼接操作，池化过程对r^ui以大小为2的窗口遍历，取每个窗口里的最大值，将所有最大值拼接成一个向量；

右边部分：

在向量的连接上增加隐藏层，使用标准的多层感知机来学习用户和项目隐含特征之间的相互作用，这一部分的多层感知机的模型定义为：

其中，W_l，b_l和a_l分别表示l层的感知机中的权重矩阵，偏置向量(神经网络的神经元阈值)和激活函数，对于这些隐含层的激活函数，选择的是ReLU函数(修正线性单元函数)，a_l(x)＝max(0,x)。

隐含层网络结构是一个塔式模型，其权重的维度

是逐层减小的，其中，

即D_L表示第L层隐含层的神经元数量，相比L-1层，缩减一半的规模。

最终的NeuralNCR模型即为由上述左右两部分组成，公式如下：

这里的最外层的激活函数是Sigmoid函数，σ(x)＝1/(1+e^-x)。

3)利用NeuralNCR模型对评分数据集进行还原，产生Top-N推荐。

原始的评分数据集中的评分，已经通过步骤1)处理成0或1的形式，通过应用NeuralNCR模型后得到的预测分数

即代表了项目i和用户u相关的可能性大小；为了赋予NeuralNCR模型这样的概率解释，将网络输出限制到[0,1]的范围内，选择

最大的前N个商品产生Top-N推荐。

实施例中，对于每个数据集，保留至少20个评分的用户，并且将其转换为隐式数据，其中每个条目被标记为0或者1表示用户是否已经对该项进行评分。将不同的几个评分数据集输入NeuralNCR模型，最终实验结果得到在这些数据集上的两个评价指标的值，对比实验使用的是NeuCF(神经协同过滤)和AutoEncoder(自动编码器)。

对照结果表1所示：

表1：基于非补偿决策机制的深度推荐系统模型的实验结果

从表1，可以看到，采用非补偿决策机制的深度推荐系统模型在Amazon-Musical数据集上可以取得最好的效果，在其他数据集上，能达到与NeuCF(神经协同过滤)相较而言具有竞争力的效果。

Claims (3)

1.基于非补偿决策机制的深度推荐系统框架的构建方法，其特征在于包括以下步骤：

1)收集并处理评分数据集；

2)对非补偿决策机制进行深度神经网络化，建立NeuralNCR模型，具体步骤为：

(1)首先确定输入层：对于所有的用户集合U，用户个数为M，和所有的项目集合I，项目个数为N，用户u和项目i的输入用独热向量

和

来表示，v_u＝[0,…,1,0,…,0]，只有用户u对应在用户集合U中的位置为1，其余的分量都是0；v_i＝[0,…,1,0,…,0]，同理只有项目i对应在项目集合I中的位置为1，其余的分量都是0；

(2)确定嵌入层：用于将输入层的稀疏表示v_u和v_i映射为稠密向量p_u和q_i，

p_u和q_i被称为用户嵌入向量和项目嵌入向量，其中映射的过程为：

p_u＝P^Tv_u

q_i＝Q^Tv_i

其中，

和

是可训练的参数矩阵，分别代表所有的用户U和所有的项目I的隐含特征矩阵，M和N分别代表用户和项目的数目，K代表隐含特征的数目，由系统使用者指定；

(3)确定神经NCR层：将用户嵌入向量和项目嵌入向量p_u和q_i送入多层神经网络结构，将这个结构作为神经NCR层，神经NCR层将输出用户u对项目i的预测分数r^ui，神经NCR层具体分为左边部分和右边部分；

左边部分：

合并层：

用户嵌入向量表示用户u在隐含的k个方面的偏好程度，项目嵌入向量表示项目i在隐含的k个方面的性能表现，因此合并层可以预测

代表用户u在隐含的k个方面对项目i的评价，根据映射函数：

其中，

表示神经NCR层的映射函数，是对p_u和q_i的逐元素乘积，⊙表示两个向量的逐元素乘积；

池化层：

然后，将该合并后的乘积r^ui做最大池化操作，得到向量v_mp，

池化过程如下：设定池化尺寸为2，步长为1，对合并后的乘积r^ui进行池化，得到池化向量：

其中，concate(·)是一个拼接操作，池化过程对r^ui以大小为2的窗口遍历，取每个窗口里的最大值，将所有最大值拼接成一个向量；

右边部分：

在用户嵌入向量和项目嵌入向量的连接上增加隐藏层，使用标准的多层感知机来学习用户和项目隐含特征之间的相互作用，这一部分的多层感知机的模型定义为：

……

其中，W_l，b_l和a_l分别表示l层的感知机中的权重矩阵，偏置向量和激活函数，对于这些隐含层的激活函数，选择的是ReLU函数，a_l(x)＝max(0,x)；

隐含层网络结构是一个塔式模型，其权重的维度

是逐层减小的，其中，

即D_l表示第L层隐含层的神经元数量，相比L-1层，缩减一半的规模；

NeuralNCR模型即为由上述左边部 分和右边部分两部分组成，公式如下：

其中，最外层的激活函数是Sigmoid函数，σ(x)＝1/(1+e^-x)；

3)利用NeuralNCR模型对评分数据集进行还原，产生Top-N推荐。

2.如权利要求1所述基于非补偿决策机制的深度推荐系统框架的构建方法，其特征在于在步骤1)中，所述收集并处理评分数据集的具体步骤为：收集评分数据集并处理为一个评分矩阵y，评分矩阵y中的第u行第i列元素表示为y_ui，根据推荐系统里用户u对项目i的评分与否标记y_ui为0或1；若y_ui＝0，则表示用户u对该项目i没有进行评分；若y_ui＝1，则表示用户u对该项目i进行了评分。

3.如权利要求1所述基于非补偿决策机制的深度推荐系统框架的构建方法，其特征在于在步骤3)中，所述利用NeuralNCR模型对评分数据集进行还原，产生Top-N推荐的具体方法为：原始的评分数据集中的评分，已经通过步骤1)处理成0或1的形式，通过应用NeuralNCR模型后得到的预测分数

即代表了项目i和用户u相关的可能性大小；将网络输出限制到[0,1]的范围内，选择

最大的前N个商品产生Top-N推荐。

Images