CN108681570B - 一种基于多目标进化算法的个性化网页推荐方法 - Google Patents

Abstract

本发明公开了一种基于多目标进化算法的个性化网页推荐方法，包括：S1、获取网页信息，并根据用户点击流分配网页信息的相关性，得到相关信息集合S；S2、从S中选取网页信息特征，并根据网页信息特征将S转换为二类样本集合；S3、对相关信息集合进行编码得到父代种群，并随机初始化父代种群；S4、基于父代种群初始化子种群；S5、将父代种群和子种群合并进化；S6、重复执行步骤S4和步骤S5进行下一代遗传，直到达到最大遗传代数终止遗传，得到网页推荐预测模型；S7、通过网页推荐预测模型对网页信息集合进行预测，得到用户感兴趣的网页信息。

Description

一种基于多目标进化算法的个性化网页推荐方法

技术领域

本发明涉及网页推荐技术领域，尤其涉及一种基于多目标进化算法的个性化网页推荐方法。

背景技术

随着互联网技术在日常生活中的应用越来越广泛，人们面临的信息量正在以疯狂的速度增长。人们每天都需要从外界获取自己需要的信息，如何在众多的信息里找到有价值的信息是一个很值得研究的课题。

基于内容的推荐，如果你浏览或购买过某种类型的信息，则给你推荐这种类型下的其他信息。这种推荐方法根据用户的兴趣偏好建模，推荐的准确性依赖对信息建模的全面性和完整性。基于内容的推荐好处在于易于理解，但不足在于推荐不够智能，多样性和新颖性不足。基于协同过滤的推荐，即根据用户对信息的偏好，发现信息之间的相关性或用户之间的相关性，然后基于这些相关性进行推荐。社会化推荐，即利用社交网络数据给用户推荐物品。根据某机构的调查，在购买物品时，90％左右的用户会相信朋友的推荐，70％的用户会相信网上其他用户对商品的评论，推荐系统会把用户好友感兴趣的物品推荐给用户。

上述方法虽然能在一定程度上提高推荐准确率，但是它们在训练推荐模型时都认为训练数据是完全可信任的既没有噪音的，但是由于某些时候查询意图具有模糊性，致使训练数据常常含有噪音。例如，在用户点击数据中，往往认为被用户点击的条目应该获得更高的相关性等级，但是这并不是完全可靠的，失误操作等原因都会导致错误。因此，在推荐系统的训练数据中，通常包含噪音。如果忽略这个事实，推荐算法的性能将会受到损害。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于多目标进化算法的个性化网页推荐方法；

本发明提出的一种基于多目标进化算法的个性化网页推荐方法，包括：

S1、获取网页信息S，并根据关键字对网页信息进行分类得到集合{q₁，q₂，....q_m}，{q₁，q₂，....q_m}包括有n_k个样本点的集合，样本点的集合中样本根据用户点击流分配网页信息的相关性标签y_k；

S2、从S中选取网页信息特征，并根据网页信息特征将S转换为二类样本集合；

S3、对相关信息集合进行编码得到父代种群，并随机初始化父代种群；

S4、基于父代种群初始化子种群；

S5、将父代种群和子种群合并进化；

S6、重复执行步骤S4和步骤S5进行下一代遗传，直到达到最大遗传代数终止遗传，得到网页推荐预测模型；

S7、通过网页推荐预测模型对网页信息集合进行预测，得到用户感兴趣的网页信息。

优选地，步骤S2，具体包括：

从S中选取网页信息特征x_T；

根据x_T和pairwise算法将S转换为二类样本集合，当S中样本对

对应的

时，将新产生的样本对的相关性标签置为1，否则，将新产生的样本对的相关性标签置为-1。

优选地，步骤S3，具体包括：

将相关信息集合中每一条网页信息表示一个基因位，得到n条网页信息组成一条染色体p(d₁，d₂，d_i...d_n)，得到父代种群，其中，n表示网页的个数，d_i表示第i网页，d_i∈{0，1}，0代表不选择这条网页信息，1代表选择这条网页信息；

随机初始化父代种群P_t＝{p¹，p²pⁱ，...，p^pop}，其中pop表示父代种群的大小。

优选地，步骤S4，具体包括：

S41、计算父代种群P_t中每一条染色体三个目标函数的值，三个目标函数如下：

其中G[pⁱ]表示当前模型下的收益，V[pⁱ]表示当前模型下存在的风险，n(S)表示使用样本的数量，M_R(q_i)表示当前模型下的效力，M_B(q_i)表示完美模型下的效力；

S42、将父种群P_t中的每一条染色体按三个目标函数的值进行降序排列，得到三个目标函数表；

S43、在父代种群P_t中随机选取一半的染色体作为样本染色体；

S44、从样本染色体中选取一个目标染色体记为pⁱ，根据三个目标函数表找到pⁱ对应的位置，再从三个目标函数值表中找到pⁱ的相邻染色体，分别计算pⁱ与其相邻个体的标准欧氏距离，获取与pⁱ有最大标准欧氏距离的相邻染色体p^j；

S45、获取与目标染色体有相同维度的K＝(k₁，k₂，k_i...k_n)，其中k_i∈{0，1}，从个体pⁱ和p^j的第一位基因开始，如果相应位置的k_i的值为1，交换个体pⁱ和p^j在该位上的值；

S46、对染色体pⁱ和p^j的每一位基因均重复步骤S45操作，得到crosspⁱ和crossp^j；

S47、获取与目标染色体有相同维度的M＝(m₁，m₂，m_i...m_n)，其中0＜m_i＜1，从个体crosspⁱ的第一位基因开始，当相应位置的m₁的值小于预设变异概率时，判断crosspⁱ在该位上的值是否为0，若是，将crosspⁱ在该位上的值置为1；否则，将crosspⁱ在该位上的值置为0；

S48、对crosspⁱ的每一位基因、crossp^j的每一位基因均重复步骤S47操作，得到两个新染色体，记为子代染色体种群；

S49、重复步骤S44、S45、S46、S47、S48操作，直到得到的子代种群与父代种群大小相同，记为Q_t。

优选地，步骤S5，具体包括：

S51、父代种群和子种群进行合并，得到合并种群R_t＝P_t∪Q_t；

S52、计算R_t中每个个体的三个目标函数的值，并根据目标函数值进行快速非支配排序；

S53、获取R_t中的非支配解集，记为第一非支配层，获取余下群体中非支配解集，记为第二非支配层；

S54、重复步骤S53，直到R_t被分层完；

S55、在同层之间计算每个染色体的拥挤距离，将每个染色体的拥挤距离按照降序排序；

S56、选取位于第一非支配层的染色体，若第一非支配层里的染色体数量大于pop，选择前pop个染色体作为新的父代种群；若第一非支配层的个体数目小于pop，将第一非支配层的染色体放入新的父代种群里，少于pop的染色体从第二非支配层里按拥挤距离选取，若再不足pop个依次按拥挤距离从剩余的非支配分层里选取，直到选取的个体数目等于pop，更新父代种群Pt。

优选地，步骤S55中，所述染色体的拥挤距离，具体包括：染色体的拥挤距离是目标空间上与i相邻的两个染色体i+1和i-1之间的距离。

本发明为了剔除网页信息中的噪音数据设计了三个目标：收益函数、风险函数和训练样本的数量，使用多目标进化算法优化求解这三个目标，保证了对噪音信息的有效剔除，一方面提高了推荐方法的准确性，另一方面因为减少了网页信息数据中的噪音数据，使得推荐方法的效率得到提高。本发明在进化算法中采用HEM策略，采用标准欧氏距离来度量两个个体之间的相似程度，选择标准欧氏距离最大的个体进行交叉变异，从而提高子代个体的质量，提高推荐模型的精度和多样性。

附图说明

图1为本发明提出的一种基于多目标进化算法的个性化网页推荐方法的流程示意图。

具体实施方式

参照图1，本发明提出的一种基于多目标进化算法的个性化网页推荐方法，包括：

步骤S1，获取网页信息S，并根据关键字对网页信息进行分类得到集合{q₁,q₂,....q_m}，{q₁,q₂,....q_m}包括有n_k个样本点的集合，样本点的集合中样本根据用户点击流分配网页信息的相关性标签y_k。

在具体方案中，用户每天都会使用浏览器，各种网页信息五花八门，有的人关注娱乐八卦、有的人喜欢看体育赛事、有的人关注医疗健康、还有的人关注各种商品买卖等等。但用户在浏览的过程中，只会点击自己感兴趣的网页信息，例如追星族喜欢看娱乐八卦。由此，利用网络爬虫软件采集网络上的网页信息，并根据用户点击流来分配信息数据的相关性。具体的讲，首先获取网页的统一资源定位符URL，然后对URL进行解析从而得到网页信息的数据，记为S＝{s₁，s₂，...，s_m}，并根据关键字对网页信息进行分类得到集合{q₁，q₂，....q_m}∈Q，{q₁，q₂，....q_m}∈Q包括有n_k个样本点的集合

内样本根据用户点击流分配网页信息的相关性标签

其中，

表示第k个类别下第i个网页信息，x_i∈R^d，R^d表示实数的d维空间，d表示网页信息的关键词个数；y_i表示网页信息的相关性y_i表示网页信息的相关性，对于每一个相关性标签y_i∈{r₁，r₂，....r_l}有r_l＞r_l-1＞....r₁(越大表示相关性越高)。

步骤S2，从S中选取网页信息特征，并根据网页信息特征将S转换为二类样本集合，具体包括：

从S中选取网页信息特征x_T；

根据x_T和pairwise算法将S转换为二类样本集合，当S中样本对

对应的

时，将新产生的样本对的相关性标签置为1，否则，将新产生的样本对的相关性标签置为-1。

在具体方案中，使用pairwise法把S变为二类样本，既相关样本与不相关样本，在S里，存在样本对

具有不同的相关性，记作x_(i，j)。如果有

将新产生的样本对的相关性标签置为1，否则，将新产生的样本对的相关性标签置-1。

步骤S3，对相关信息集合进行编码得到父代种群，并随机初始化父代种群，步骤S3，具体包括：

将相关信息集合中每一条网页信息表示一个基因位，得到n条网页信息组成一条染色体p(d₁，d₂，d_i...d_n)，得到父代种群，其中，n表示网页的个数，d_i表示第i网页，d_i∈{0，1}，0代表不选择这条网页信息，1代表选择这条网页信息；

随机初始化父代种群P_t＝{p¹，p²，pⁱ，...，p^pop}，其中pop表示父代种群的大小。

在具体方案中，使用二进制编码方式，令每一条网页信息表示一个基因位，n条网页信息组成一条染色体用p(d₁，d₂，d_i...d_n)表示，其中n表示网页的个数，d_i表示第i网页，d_i∈{0，1}，0代表不选择这条网页信息，1代表选择这条网页信息；

随机初始化父代种群P_t＝{p¹，p²，pⁱ，...，p^pop}，其中pop表示父代种群的大小。

步骤S4，基于父代种群初始化子种群，步骤S4，具体包括：

S41、计算父代种群P_t中每一条染色体三个目标函数的值，三个目标函数如下：

其中G[pⁱ]表示当前模型下的收益，V[pⁱ]表示当前模型下存在的风险，n(S)表示使用样本的数量，M_R(q_i)表示当前模型下的效力，M_B(q_i)表示完美模型下的效力；

S42、将父种群P_t中的每一条染色体按三个目标函数的值进行降序排列，得到三个目标函数表；

S43、在父代种群P_t中随机选取一半的染色体作为样本染色体；

S44、从样本染色体中选取一个目标染色体记为pⁱ，根据三个目标函数表找到pⁱ对应的位置，再从三个目标函数值表中找到pⁱ的相邻染色体，分别计算pⁱ与其相邻个体的标准欧氏距离，获取与pⁱ有最大标准欧氏距离的相邻染色体p^j；

S45、获取与目标染色体有相同维度的K＝(k₁，k₂，k_i...k_n)，其中k_i∈{0，1}，从个体pⁱ和p^j的第一位基因开始，如果相应位置的k_i的值为1，交换个体pⁱ和p^j在该位上的值；

S46、对染色体pⁱ和p^j的每一位基因均重复步骤S45操作，得到crosspⁱ和crossp^j；

S47、获取与目标染色体有相同维度的M＝(m₁，m₂，m_i...m_n)，其中0＜m_i＜1，从个体crosspⁱ的第一位基因开始，当相应位置的m₁的值小于预设变异概率时，判断crosspⁱ在该位上的值是否为0，若是，将crosspⁱ在该位上的值置为1；否则，将crosspⁱ在该位上的值置为0；

S48、对crosspⁱ的每一位基因、crossp^j的每一位基因均重复步骤S47操作，得到两个新染色体，记为子代染色体种群；

S49、重复步骤S44、S45、S46、S47、S48操作，直到得到的子代种群与父代种群大小相同，记为Q_t。

在具体方案中，步骤S41中，M_R(q_i)以NDCG@10计算，NDCG是“归一化累积折扣信息增益值”，给定一个查询分类集q，首先给出在第K个位置上的DCG的公式：

其中r(j)表示返回样本列表中第j个样本的等级，那么在第K个位置上的归一化的DCG可以用一下的公式表示：

其中Z是归一化因子，通俗的说Z表示这个样本上最大的DCG值的倒数，也就是理想状态下的DCG值的倒数，因此可以确保NDCG的值在0-1之间。

步骤S44为选择操作，步骤S45和步骤S46为交叉操作，步骤S47、S48为变异操作，重复选择、交叉和变异三个操作直到产生的子代种群与父代种群大小相同时停止，子代种群记作Q_t。

步骤S5，将父代种群和子种群合并进化，步骤S5，具体包括：

S51、父代种群和子种群进行合并，得到合并种群R_t＝P_t∪Q_t；

S52、计算R_t中每个个体的三个目标函数的值，并根据目标函数值进行快速非支配排序；

S53、获取R_t中的非支配解集，记为第一非支配层，获取余下群体中非支配解集，记为第二非支配层；

S54、重复步骤S53，直到R_t被分层完；

S55、在同层之间计算每个染色体的拥挤距离，将每个染色体的拥挤距离按照降序排序，所述染色体的拥挤距离，具体包括：染色体的拥挤距离是目标空间上与i相邻的两个染色体i+1和i-1之间的距离。

S56、选取位于第一非支配层的染色体，若第一非支配层里的染色体数量大于pop，选择前pop个染色体作为新的父代种群；若第一非支配层的个体数目小于pop，将第一非支配层的染色体放入新的父代种群里，少于pop的染色体从第二非支配层里按拥挤距离选取，若再不足pop个依次按拥挤距离从剩余的非支配分层里选取，直到选取的个体数目等于pop，更新父代种群P_t。

步骤S6，重复执行步骤S4和步骤S5进行下一代遗传，直到达到最大遗传代数终止遗传，得到网页推荐预测模型；

步骤S7，通过网页推荐预测模型对网页信息集合进行预测，得到用户感兴趣的网页信息。

在具体方案中，重复步骤S4和步骤S5进入下一代遗传，直到达到最大遗传代数终止遗传，在最终产生的Pareto解集上使用LIBSVM工具得到个性化网页推荐预测模型w_T，使用全w_T对其他网页信息集合进行预测，从而得到用户感兴趣的网页信息。

本实施方式为了剔除网页信息中的噪音数据设计了三个目标：收益函数、风险函数和训练样本的数量，使用多目标进化算法优化求解这三个目标，保证了对噪音信息的有效剔除，一方面提高了推荐方法的准确性，另一方面因为减少了网页信息数据中的噪音数据，使得推荐方法的效率得到提高。本发明在进化算法中采用HEM策略，采用标准欧氏距离来度量两个个体之间的相似程度，选择标准欧氏距离最大的个体进行交叉变异，从而提高子代个体的质量，提高推荐模型的精度和多样性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于多目标进化算法的个性化网页推荐方法，其特征在于，包括：

S1、获取网页信息

，并根据关键字对网页信息进行分类得到集合

，

包括有

个样本点的集合，样本点的集合中样本根据用户点击流分配网页信息的相关性标签

；

S2、从

中选取网页信息特征，并根据网页信息特征将

转换为二类样本集合；

S3、对相关信息集合进行编码得到父代种群，并随机初始化父代种群；

S4、基于父代种群初始化子种群；

S5、将父代种群和子种群合并进化；

S6、重复执行步骤S4和步骤S5进行下一代遗传，直到达到最大遗传代数终止遗传，得到网页推荐预测模型；

S7、通过网页推荐预测模型对网页信息集合进行预测，得到用户感兴趣的网页信息；

其中，步骤S4，具体包括：

S41、计算父代种群

中每一条染色体三个目标函数的值，三个目标函数如下：

，其中

表示当前模型下的收益，

表示当前模型下存在的风险，

表示使用样本的数量，

表示当前模型下的效力，

表示完美模型下的效力；

S42、将父种群

中的每一条染色体按三个目标函数的值进行降序排列，得到三个目标函数表；

S43、在父代种群

中随机选取一半的染色体作为样本染色体；

S44、从样本染色体中选取一个目标染色体记为

，根据三个目标函数表找到

对应的位置，再从三个目标函数值表中找到

的相邻染色体，分别计算

与其相邻个体的标准欧氏距离，获取与

有最大标准欧氏距离的相邻染色体

；

S45、获取与目标染色体有相同维度的

，其中

，从个体

和

的第一位基因开始，如果相应位置的

的值为1，交换个体

和

在该位上的值；

S46、对染色体

和

的每一位基因均重复步骤S45操作，得到

和

；

S47、获取与目标染色体有相同维度的

，其中

，从个体

的第一位基因开始，当相应位置的

的值小于预设变异概率时，判断

在该位上的值是否为0，若是，将

在该位上的值置为1；否则，将

在该位上的值置为0；

S48、对

的每一位基因、

的每一位基因均重复步骤S47操作，得到两个新染色体，记为子代染色体种群；

S49、重复步骤S44、S45、S46、S47、S48操作，直到得到的子代种群与父代种群大小相同，记为

。

2.根据权利要求1所述的基于多目标进化算法的个性化网页推荐方法，其特征在于，步骤S2，具体包括：

从

中选取网页信息特征

；

根据

和pairwise算法将

转换为二类样本集合，当

中样本对

对应的

时，将新产生的样本对的相关性标签置为1，否则，将新产生的样本对的相关性标签置为-1。

3.根据权利要求1所述的基于多目标进化算法的个性化网页推荐方法，其特征在于，步骤S3，具体包括：

将相关信息集合中每一条网页信息表示一个基因位，得到

条网页信息组成一条染色体

，得到父代种群，其中，

表示网页的个数，

表示第

网页，

，0代表不选择这条网页信息，1代表选择这条网页信息；

随机初始化父代种群

，其中

表示父代种群的大小。

4.根据权利要求1所述的基于多目标进化算法的个性化网页推荐方法，其特征在于，步骤S5，具体包括：

S51、父代种群和子种群进行合并，得到合并种群

；

S52、计算

中每个个体的三个目标函数的值，并根据目标函数值进行快速非支配排序；

S53、获取

中的非支配解集，记为第一非支配层，获取余下群体中非支配解集，记为第二非支配层；

S54、重复步骤S53，直到

被分层完；

S55、在同层之间计算每个染色体的拥挤距离，将每个染色体的拥挤距离按照降序排序；

S56、选取位于第一非支配层的染色体，若第一非支配层里的染色体数量大于

，选择前

个染色体作为新的父代种群；若第一非支配层的个体数目小于

，将第一非支配层的染色体放入新的父代种群里，少于

的染色体从第二非支配层里按拥挤距离选取，若再不足

个依次按拥挤距离从剩余的非支配分层里选取，直到选取的个体数目等于

，更新父代种群

。

5.根据权利要求4所述的基于多目标进化算法的个性化网页推荐方法，其特征在于，步骤S55中，所述染色体的拥挤距离，具体包括：染色体的拥挤距离是目标空间上与i相邻的两个染色体i+1和i-1之间的距离。

Images