CN101694652B

CN101694652B - 一种基于极速神经网络的网络资源个性化推荐方法

Info

Publication number: CN101694652B
Application number: CN2009100241613A
Authority: CN
Inventors: 郑庆华; 刘均; 王昕�; 邓万宇; 吴茜媛; 田锋
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2009-09-30
Filing date: 2009-09-30
Publication date: 2012-11-28
Anticipated expiration: 2029-09-30
Also published as: CN101694652A

Abstract

本发明属于网络资源管理领域，涉及网络资源的协作过滤技术，公开了一种基于极速神经网络模型的网络资源个性化推荐方法。它包括：(1)数据预处理：从系统用户日志文件中读取信息并生成全局用户兴趣矩阵，并变换为当前用户的单用户兴趣矩阵，然后进行变换、降维，划分出训练集A1和预测集A2；(2)模型训练：为目标用户建立结构为单隐藏层神经网络SLFNs的兴趣预测模型，采用极速学习机技术在训练集A1上进行训练，得到单隐藏层神经网络模型的各个连接权值以及隐藏层阈值；(3)预测推荐：利用训练所得到的预测模型计算出该目标用户对预测集A2中每一项资源的评分值，并将预测评分最高的前几项资源推荐给目标用户。

Description

一种基于极速神经网络的网络资源个性化推荐方法

技术领域

本发明属于网络资源管理领域，涉及网络资源的协作过滤技术，特别涉及一种基于极速神经网络模型的网络资源个性化推荐方法。

背景技术

目前，协作过滤技术是最流行的个性化推荐技术。用户建模以及以此为基础的用户兴趣预测的研究集中在Web日志挖掘(Web Usage Mining)领域，其数据来源主要是服务器端记录的Web日志——用户的兴趣信息。常用的协作过滤技术主要包括以下三种：①基于用户(User-based)的协作过滤技术，为用户推荐与其相似用户感兴趣的资源；②基于项目(Item-based)的协作过滤技术，为用户推荐与其感兴趣资源相似的资源；③基于模型(Model-based)的协作过滤技术，构造一个用户的评分模型，系统采用概率统计或者机器学习的方法来预测目标用户对未评分项目的评分，从而产生推荐。

关于利用协作过滤技术进行网络资源个性化推荐方法，发明人经过查新，检索得到一篇相关专利文献：一种引入节目热门度权重的协作过滤推荐方法(公开号CN101287082)，首先收集用户的行为特征信息，作出“用户-项目”评分矩阵A(m，n)；计算热门度权重值；计算相似度大小并排序；对目标用户进行预测评分并排序；作出推荐列表给目标用户。

随着网络中的用户和资源数目不断增加，上述专利文献采用协作过滤技术，存在着以下一些问题：①数据的高维稀疏性现象出现，即系统中的用户并不可能对所有资源进行评价，他们对系统中资源已有的评价相对系统中资源总数来说少得多，这就导致数据高维稀疏问题的出现，数据的高维稀疏性使得协作过滤技术的信息推荐质量大大下降；②系统计算耗时，协作过滤要比较目标用户(资源)与系统中所有用户(资源)的相似度，随着系统规模的不断增大，计算量急剧增加，无法满足在线用户对系统实时性能的要求。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于极速神经网络的协作过滤方法，能够解决数据高维稀疏所导致的协作过滤技术的信息推荐质量大大下降问题，以及系统计算耗时大而无法满足在线用户对系统实时性能要求的问题。

为了解决上述技术问题，本发明采用以下技术方案予以实现。

一种基于极速神经网络的网络资源个性化推荐方法，其特征在于，具体包括以下步骤：

(1)数据预处理

从系统用户日志文件中读取信息并生成全局用户兴趣矩阵，根据当前用户将全局用户兴趣矩阵进行变换，得到当前用户的单用户兴趣矩阵，其中，系统用户日志信息记录了3项内容：用户ID、资源ID以及该用户对资源的评分值，表示为三元组的形式：(UserID，ItemID，Rate)，其中，UserID：用于唯一标识某个用户的ID；ItemID：用于唯一标识某项资源的ID；Rate：用户对资源的评分，评分的类型为从1到5的正整数，该值越高，表示用户对资源越感兴趣，若该值为空时，表示用户对资源没有评分；

当前用户的单用户兴趣矩阵中每一列定义为一个样本实例，每个样本实例由特征属性和目标属性组成，其中特征属性对应为单用户兴趣矩阵中其他用户对该列所对应资源的评分，目标属性为当前用户对该列所对应资源的评分值，其中目标属性对应的行向量记为T_i×N，特征属性对应的行向量集所组成的矩阵记为I_(M-1)×N；其中N表示系统中被评价的资源的个数，M表示系统中参与评分的用户的个数，每一个元素存放用户对资源的评分；

此时矩阵I_(M-1)×N中存在着大量空缺值，对于空缺值采用同一样本实例的其他属性平均值进行预填充，并记填充后的矩阵为X_(M-1)×N，将矩阵X_(M-1)×N经过主成分分析法降维为特征矩阵P_n×N，其中，n表示降维后的维数；

然后，将目标用户对系统资源的评分的行向量T_1×N放置在特征矩阵P_n×N的尾行之后，形成降维后的用户兴趣矩阵A，看成是由降维后的N个样本实例形成的集合，再根据目标用户对目标属性是否评分将样本实例的集合划分为训练集A1和预测集A2，该训练集A1和预测集A2形式化表示为：

A1＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i∈R，i＝1...N_x}；

A2＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i＝Null，i＝1...N-N_x}；

其中：

x_i代表第i个样本实例的n维特征属性；

t_i为目标属性；

R为实数域；

N_x为训练集包含的样本实例的个数；

(2)模型训练

首先，为目标用户建立用户兴趣预测模型，其模型结构为单隐藏层神经网络SLFNs，其数学表示采用式子：

Σ_{i = 1}^{\tilde{N}} β_{i} g_{i} (x_{j}) = Σ_{i = 1}^{\tilde{N}} β_{i} g (w_{i} \cdot x_{j} + b_{i}) = o_{j}, j = 1, . . ., N,

其中：

w_i＝[w_i1，w_i2，...，w_in]^T：为连接第i个隐藏层节点和模型输入的权值向量，通过样本实例训练得到；

β_i＝[β_i1，β_i2，...，β_im]^T：为连接第i个隐藏层节点和模型输出的权值向量，通过样本实例训练得到；

b_i：为第i个隐藏层节点的阈值，通过样本实例训练得到；

x_j∈Rⁿ：为模型输入向量，对应某个实例的特征向量；

o_j∈R^m：为模型输出向量，对应某个实例的目标向量；

为用户模型中隐藏层包含的节点个数；

g(x)：为激活函数，要求该函数为连续函数；

w_i·x_j：表示w_i与x_j的点积；

然后，对预测模型采用极速学习机技术在训练集A1上进行训练，得到单隐藏层神经网络模型的各个连接权值以及隐藏层阈值，完成对用户兴趣预测模型中各权值的求解；

(3)预测推荐

利用训练所得到的预测模型计算出该目标用户对预测集A2中每一项资源的评分值，并将预测评分最高的前几项资源推荐给目标用户。

在资源项目很多的情况下，用户的评分数据相对来说是很少的，比如在大型的电子商务系统中，用户的评分项目一般不会超过资源项目总数的1％，数据的高维稀疏性导致不同用户之间交叉评分的资源项目会很少，导致信息推荐质量的下降，另一方面也会导致系统计算量巨大。针对上面的问题，本发明在数据预处理阶段拟采用主成分分析降维技术对原始高维数据集合降维，将稀疏的用户兴趣预测矩阵转化为由主成分构成的稠密矩阵以解决数据高维稀疏问题。

另外，本发明选择单隐藏层神经网络模型作为用户的兴趣预测模型，并采用极速学习机技术对模型进行训练，这是因为传统的神经网络模型训练方法如BP算法速度较慢，而且会陷入局部最小值，而单隐藏层神经网络具有如下的特性：当隐藏层节点个数N^～等于训练集合中实例个数N时，网络可以无误差地逼近任何非线性函数。这就意味着对输入层权值w_i和隐藏层阈值b_i进行随机赋值，而无需迭代调整；输出层权值β_i则可以根据最小二乘法直接计算得出。基于以上思想的极速学习算法(Extreme Learning Machine)，首先为单隐藏层神经网络的输入权值和隐藏层阈值随机赋值，根据样本集合和前面的随机参数计算隐藏层输出矩阵，最后利用最小二乘解的思想计算输出权值。这个算法与传统算法比较，模型参数无需进行迭代调整，训练速度大大提高，因为所求的解是唯一的最小范数解，因此不存在局部最小值问题，具有较好的泛化性能。

附图说明

图1为用户对资源评分情况的日志文件具体信息格式示意图；

图2为全局用户兴趣矩阵的格式示意图；

图3为单用户兴趣矩阵的相关概念的标识示意图；

图4为一具体单用户兴趣矩阵的训练集和预测集划分示意图；

图5为数据集合未降维与经过降维模型训练性能比较图，其中隐藏节点个数为30个；

图6为BP与ELM算法训练精度的比较图；

图7为BP与ELM算法测试精度的比较图；

图8为BP与ELM算法训练时间的比较图。

具体实施方式

为了更清楚的理解本发明，下面结合附图和具体实施方式对本发明的内容作进一步详细说明。

1、相关数据表示

1)建立系统用户日志文件

参照图1，系统用户日志文件中每行记录了3项内容：用户ID、资源ID以及该用户对资源的评分值，可表示为三元组的形式：

(UserID，ItemID，Rate) (式1)

其中：

UserID：用于唯一标识某个用户的ID；

ItemID：用于唯一标识某项资源的ID；

Rate：用户对资源的评分，评分的类型可以为从1到5的正整数，该值越高，表示用户对资源越感兴趣，若该值为空时，表示用户对资源没有评分，也就是方法要进行预测计算的部分。如图1所示，其中用户ID和资源ID为字符串类型，用户对资源的评分为正整数，范围从1到5，分数越高表示用户对该资源越感兴趣；每项之间用逗号相隔。

2)生成用户兴趣矩阵

从系统用户日志中读取的信息最终生成用户一项目(User-Item)评价矩阵，称用户兴趣矩阵。例如当系统中有M个用户对N项资源进行评价，则用户兴趣矩阵用一个R_M×N矩阵来表示，如图2所示，其中矩阵中的每个元素R_ij表示了用户i对资源j的评分。空元素值表示用户没有对相应的资源做出评价。

由于系统只包含一个图1所示的系统用户日志，因此上述用户兴趣矩阵对于整个推荐系统只有一个(即为全局用户兴趣矩阵)。当要为某个用户建立模型时(系统输入该用户ID)，需要获取该用户的单用户兴趣矩阵。为了得到当前用户的单用户兴趣矩阵，则只需将全局用户兴趣矩阵中该用户对应的行向量移至最后一行，再根据当前用户对系统资源的是否评分的情况进行列变换，将其划分为训练集和预测集。

参照图3，当前用户的单用户兴趣矩阵中每一列定义为一个样本实例，每个用户对某资源的评分定义为该样本实例的一个维上的属性值，每个元素值表示样本实例的属性值。将当前用户所对应的属性称为目标属性，其他的用户所对应的属性称为特征属性。

参照图4，为了对用户U4进行预测，先生成用户U4的单用户兴趣矩阵，由用户U4的目标属性组成的行向量对应用户模型的输出；用户U1、U2、U3对应的特征属性的组成的行向量集合(矩阵)，为用户模型输入；然后将单用户兴趣矩阵划分为训练集和预测集。该单用户兴趣矩阵中包含5个样本实例，其中样本实例I1、I2和I3对应用户U4评价过的资源，那么前三个实例组成用户模型的训练集，剩下的样本实例被划分为用户的预测集。

2、数据预处理

1)当系统用户日志中记录了M个用户对N个资源的评价情况，数据预处理阶段首先形成大小为M×N的目标用户的单用户兴趣矩阵R_M×N，然后将样本实例的属性划分为目标属性和特征属性，形成目标向量集和特征向量集，并分别定义为目标用户对系统资源的评分向量集T_1×N系统其他用户对系统资源的评分向量集I_(M-1)×N，这里的目标用户为将要为其进行预测推荐资源的用户。

此时的单用户兴趣矩阵存在着大量的空缺值，对于空缺值采用样本实例的属性平均值进行预填充，即将I中每一列已有的特征值的平均值填入该列的空缺位置，填充后的特征属性的列向量集记为矩阵X_(M-1)×N。

2)矩阵X_(M-1)×N降维处理：此时的矩阵X_(M-1)×N可看作由N个(M-1)维样本实例组成的矩阵，采用主成分分析(PCA)技术对其进行降维处理，具体步骤如下：

Step1：计算矩阵X_(M-1)×N的相关矩阵R∈R^(M-1)×(M-1)

R＝XX^T，X∈R^(M-1)×N

Step2：求出R的特征值λ₁，λ₂...λ_M-1(λ₁≥λ₂...λ_M-1≥0)以及相应的特征向量l₁，l₂，...，l_M-1；

Step3：取前n-1个特征值，并将这n个特征值对应的特征向量l₁，l₂，...，l_n整合为变换矩阵L_n＝(l′₁；l′₂；...；l′_n)∈R^(M-1)×n；其中n是由该累计贡献率公式得出：k表示这n个主成分的方差和在全部方差中所占比重(本实施例中k＝0.85)；

Step4：变换矩阵L_n乘以原始输入的矩阵X_(M-1)×N，得到降维后的特征矩阵P_n×N

3)划分训练集和预测集：将目标用户对系统资源的评分向量集T_1×N放置在特征矩阵P_n×N的尾行之后，形成降维后的用户兴趣矩阵A，划分出用户兴趣矩阵A的训练集和预测集，其形式化的定义描述如下。

定义1：当前用户的降维后的用户兴趣矩阵A的样本实例集合A’的表示形式

A’＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i∈R ∨t_i＝Null，i＝1...N}；

定义2：训练集，目标属性值存在的样本实例组成的集合，即当前用户评价的样本实例集，作为模型训练所用到的样本集合，形式化描述为：A1＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i∈R，i＝1...N_x}；

定义3：预测集，目标属性值不存在的样本实例组成的集合，即当前用户还未评价的样本实例集，其目标属性值需要经过模型计算得出，形式化描述为：A2＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i＝Null，i＝1...N-N_x}。

其中N为A’集合中样本个数，N_x为训练集合样本个数。

那么，当为系统中某个用户训练模型时，首先根据用户对系统资源的评分情况将当前用户样本实例集合划分为训练集A1和预测集A2，A1用来为用户训练模型，再利用训练好的模型来计算用户预测集A2，预测结果最终赋给A2中的t_i。

3、模型训练

1)用户模型的基本结构

模型训练时，首先为当前用户建立一个结构为单隐藏层神经网络(Singlehidden Layer Feedforward networks/SLFNs)的用户兴趣预测模型，其数学表示形式如下式所示：

Σ_{i = 1}^{\tilde{N}} β_{i} g_{i} (x_{j}) = Σ_{i = 1}^{\tilde{N}} β_{i} g (w_{i} \cdot x_{j} + b_{i}) = o_{j}, j = 1, . . ., N

(式2)

其中：

b_i：为第i个隐藏层节点的阈值，通过样本实例训练得到；

x_j∈Rⁿ：为模型输入向量，对应某个实例的特征向量；

o_j∈R^m：为模型输出向量，对应某个实例的目标向量；

为用户模型中隐藏层包含的节点个数；

g(x)：为激活函数，要求该函数为连续函数；

w_i·x_j：表示w_i与x_j的点积。

当给定N个样本点{(x_i，t_i)/x_i＝[x_i1，x_i2.......x_in]^T∈Rⁿ，t_i∈R^m，i＝1...N}，通过采用极速学习算法使得SLFNs能够精确地学习这N个样本点，也就是使得

足够小的过程。模型的训练过程也就是求解w_i、b_i和β_i的过程。

2)利用极速学习机训练用户模型

该技术首先为单隐藏层神经网络的输入权值和隐藏层阈值随机赋值，将上述随机参数和训练集代入用户模型形成线性方程组，最后利用最小二乘法的思想计算输出权值。

首先，将N个样本实例代入模型方程中得到由N个线性方程组成的方程组：

Σ_{i = 1}^{\tilde{N}} β_{i} g (w_{i} \cdot x_{j} + b_{i}) = t_{j}, j = 1, . . ., N

(式3)

上面N个式子可以简写为：

Hβ＝T (式4)

H = {(\begin{matrix} g (w_{1} x_{1} + b_{1}) & \cdot \cdot \cdot & g (w_{\tilde{N}} x_{1} + b_{\tilde{N}}) \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ g (w_{1} x_{N} + b_{1}) & \cdot \cdot \cdot & g (w_{\tilde{N}} x_{N} + b_{\tilde{N}}) \end{matrix})}_{N \times \tilde{N}}

(式5)

β = {(\begin{matrix} β_{1}^{T} \\ \cdot \\ \cdot \\ β_{\tilde{N}}^{T} \end{matrix})}_{\tilde{N} \times m}

O = {(\begin{matrix} O_{1}^{T} \\ \cdot \\ \cdot \\ O_{\tilde{N}}^{T} \end{matrix})}_{\tilde{N} \times m}

(式6)

式5中：H称为隐藏层输出矩阵。

模型训练过程就是通过样本输出和H计算β的过程。具体过程如下所示：

训练过程：给定训练集A1＝{(x_i，t_i)|x_i∈Rⁿ，t_i∈R，i＝1，...，N_x}，激活函数为g(x)，隐藏层节点个数为

Step1：为输入权值w_i和阈值β_i随机赋值，其中

Step2：计算隐藏层输出矩阵H；

Step3：计算输出权值β，β＝H⁺T其中T＝[t₁，...，t_N]^T。

注：这里隐藏层节点数(20-30)和激活函数g(x)都是事先给定的。激活函数可以为S型函数，比如径向基函数(radial basis)、正弦(sine)、余弦(cosine)、指数函数以及其它非正规的连续函数。

4、预测推荐

一旦单隐藏层神经网络SLFNs参数w_i、b_i和β_i确定后，就得到了该用户的兴趣预测模型，便可以应用该模型计算用户对预测集中各项资源的可能评分。

具体步骤如下：

预测过程：给定预测集A2＝{(x_i，t_i)/x_i＝[x_i1，x_i2......x_in]^T∈Rⁿ，t_i＝Null，i＝1...N-N_x}；

Step1：计算A2集合中未被评价的资源通过SLFN所形成的矩阵

H^{~} = {(\begin{matrix} g (w_{1} x_{1} + b_{1}) & \cdot \cdot \cdot & g (w_{\tilde{N}} x_{1} + b_{\tilde{N}}) \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ g (w_{1} x_{(N - N_{x})} + b_{1}) & \cdot \cdot \cdot & g (w_{\tilde{N}} x_{(N - N_{x})} + b_{\tilde{N}}) \end{matrix})}_{(N - N_{x}) \times \tilde{N}}

Step2：利用下面公式计算未评级资源的输出值Y；

Y = \tilde{H} B

Step3：按照计算得到的Y值大小将资源进行排序，从而产生推荐。

实施例

为了说明本发明在时间以及精度上改善的效果，采用资源推荐领域一个权威的数据集合MovieLens推荐系统的数据集合进行实验。该数据集合记录了系统中用户对电影资源的评分情况，其评分值为1到5的整数值，分数越高则评价越高。

另外，为了观察方法在不同规模数据集上产生的效果，将原MovieLens数据集按用户的个数取200，500，1000，2000和3500五个规模的子集。其对应的被评分资源个数分别为2833，3172，3381，3580和3633。另外设单隐藏层神经网络模型的激活函数为S型函数，隐藏层节点个数固定为30个。

实验一.数据集合未降维与经过降维对比实验

从图5可以看出，未经过降维的方法，训练精度和F-measure要低于经过降维后方法的性能；另外经过降维的用户模型性能随着数据规模增大而增大，这是因为降维前，系统中存在大量的噪声和冗余数据，这些数据导致未降维的方法推荐质量下降，经过降维操作将这些数据过滤后，降维的方法的预测能力相应也会得到提高；另外，随着数据规模增大，系统中可用的信息也越来越多，降维的方法的预测效果也将越来越好，这种结果也正符合运用协作过滤方法进行预测的实际情况，即随着数据的不断积累增多，系统预测的效果将越来越好。

实验二采用不同模型训练算法的对比实验

这里将给出ELM算法与传统的神经网络训练算法的对比试验，这里的对比算法主要使用基于误差反向传播(Back Propagation/BP)算法，并对ELM与BP算法的模型训练时间和正确率进行比较。

图6和图7分别对两种算法的训练精度和测试精度进行比较，其中BP算法的训练精度较高，然而测试精度远不及ELM算法。即ELM算法随着训练能力的提高，模型的预测能力也相应有所提高，该算法的泛化性能要优于BP算法。

从图8可以看出，ELM算法的模型训练速度远远快于BP算法的模型训练速度。这是因为ELM算法在模型初始化阶段首先为输入权值和隐藏层阈值随机赋值，并在整个学习过程中不变，学习只是通过最小二乘解的方法求取输出权值，一旦输出权值求出，模型训练结束。整个过程无需反复迭代，也不用担心模型的关键参数设置不当，导致训练失败。在相同数据集合上，ELM算法的速度远远快于BP算法。

Claims

1.一种基于极速神经网络的网络资源个性化推荐方法，其特征在于，具体包括以下步骤：

(1)数据预处理

当前用户的单用户兴趣矩阵中每一列定义为一个样本实例，每个样本实例由特征属性和目标属性组成，其中特征属性对应为单用户兴趣矩阵中其他用户对该列所对应资源的评分，目标属性为当前用户对该列所对应资源的评分值，其中目标属性对应的行向量记为T_1×N，特征属性对应的行向量集所组成的矩阵记为I_(M-1)×N；其中N表示系统中被评价的资源的个数，M表示系统中参与评分的用户的个数，每一个元素存放用户对资源的评分；

其中：x_i代表第i个样本实例的n维特征属性；

t_i为目标属性；

R为实数域；

N_x为训练集包含的样本实例的个数；

(2)模型训练

Σ_{i = 1}^{\tilde{N}} β_{i} g_{i} (x_{j}) = Σ_{i = 1}^{\tilde{N}} β_{i} g (w_{i} \cdot x_{j} + b_{i}) = o_{j}, j = 1, . . ., N,

其中：

b_i：为第i个隐藏层节点的阈值，通过样本实例训练得到；

x_j∈Rⁿ：为模型输入向量，对应某个实例的特征向量；

o_j∈R^m：为模型输出向量，对应某个实例的目标向量；

为用户模型中隐藏层包含的节点个数；

g(x)：为激活函数，要求该函数为连续函数；

w_i·x_j：表示w_i与x_j的点积；

然后，对预测模型采用极速学习机技术在训练集A1上进行训练，得到单隐藏层神经网络模型的各个连接权值以及隐藏层阈值，完成对用户兴趣预测模型中各参数的求解；

(3)预测推荐