CN114168465B - 一种基于计算实验的推荐系统验证方法 - Google Patents

Abstract

本发明公开了一种基于计算实验的推荐系统验证方法，所述方法是基于推荐系统单元、用户选择处理单元和数据处理单元，其特征在于：所述用户选择处理单元根据网络在线用户的行为习惯通过如下步骤实现对推荐系统在线交互过程；其中：通过获取推荐系统结果和用户主体的历史选择的向量表示；根据用户主体的行为选择模型对基于标签相似度的推荐系统主体、协同过滤推荐系统主体和多样性推荐系统主体的推荐结果进行概率计算；用户主体根据概率判断是否对推荐结果进行选择，满足选择条件则将用户主体的选择结果反馈给推荐系统用于调整用户模型；否则返回上一步；本发明在推荐系统上线前能够掌握最新的算法数据和用户数据提供可能，为使用平台治理提供保障。

Description

一种基于计算实验的推荐系统验证方法

技术领域

本发明属于推荐系统的服务计算领域，涉及一种基于计算实验的推荐系统验证方法。

背景技术

从第一个推荐系统Tapestry的建立开始，推荐系统的应用已经持续了将近三十年。通过多年的发展与完善，推荐算法已经造就了自己在互联网行业中的重要地位。智能搜索、电子商务平台、短视频应用、新闻推送、社交媒体平台，几乎所有的网络媒体平台都或多或少地使用了推荐系统。推荐系统的广泛应用让更多的人减轻了信息选择的负担，更重要的是，它为科技公司带来的经济效益是不可估量的。正因为这些，对于推荐系统的研究，一直是一个行业流行的课题。但是目前，研究者们主要还是关注用户选择影响推荐系统这一过程，即利用用户数据提升推荐系统性能。但却较少关注推荐系统影响用户这一过程，即推荐系统通过其运行机理与推荐模型影响用户行为或认知(如图1)。对于这两个过程研究不平衡的关注亟待改变。

目前，推荐系统的泛滥式发展对人们的影响已经越来越广泛。媒体信息推荐影响人们对信息的选择、智能导航推荐影响人们的出行、购物平台的商品推荐影响用户购买等。智能推荐主体的设计初衷通常是对人们是有益的，因此，科学家创建主体解决特定的推荐任务时，他们通常关注于确保主体预期的功能，但是推荐主体可能产生的意外后果，可以表现出对人们行为或认知的改变，可能是积极的或消极的，这是推荐主体的创造者没有预料到的。因此，为了能够预测推荐系统产生的后果并对推荐系统进行有效地监管，对推荐系统的行为机理进行研究，以及探究其对人们产生的影响是非常有必要的。

推荐系统对用户的影响的研究，包含推荐系统如何影响用户以及推荐系统会对用户造成什么样的影响这一个新颖的课题，已经有研究者开始关注并提供了自己的分析和见解。有研究者定性的阐述了推荐系统影响用户行为和认知的可能性，为后续研究提供理论思路。同时，还有研究者从分析推荐系统上的用户数据集入手，分析在推荐系统所造就的数据环境下，用户选择结果的变化。他们的研究为该课题的后续发展提供了宝贵的建议。但是，他们仍然存在相应的问题。具体问题主要包括，研究缺乏对推荐系统如何影响用户这一过程详细的分析。推荐系统数据集时间跨度较长，数据的时间节点不顾紧凑，这样导致的结果就是研究不能排除现实环境对用户选择的影响。对于推荐系统对用户未来的影响变化缺乏预测。如果需要解决这些问题，则面临着如下挑战：1)如何对推荐系统进行统一分析：推荐系统具有多样性的特征，单独地对每一种推荐策略进行分析是一项几乎不可能完成的任务，因此，能够将各种推荐策略按照某种方式进行分类，然后在类别中统一地分析推荐系统的行为机理至关重要。2)如何排除现实因素的影响：数据集中总会引入用户从现实环境中获得的对推荐内容的选择的指导，因此，如何排除这种噪声而降低研究的不确定性是一个难点。3)如何长期而不间断的对推荐系统进行跟踪：由于推荐系统对用户的影响是一个长期的过程，但是，如果不使用分析数据集的方法，那么对这一长期过程的跟踪将是非常困难的。同时，还应强调时间这一过程的连续性以降低研究的不确定性因素。

因此，为了应对上述挑战并对推荐系统对用户选择结果多样性的影响进行研究，我们提出了一种新的研究方法-计算实验，我们创建用户主体，并根据用户的行为习惯设计他的选择模型，使其与真实的推荐策略进行交互，在交互的过程中，利用我们精心设计的指标对交互产生的结果进行分析。该研究方法不仅彻底隔离了现实环境中的噪声，降低了研究过程的不确定性。同时，还确保了时间序列上的连续性。最为重要的是，这种方法为推荐系统未来可能产生的影响提供了预测。实验结果证明，该方法是一个研究推荐系统对用户影响的有效的方法。

发明内容

针对现有技术存在问题，本发明提出一种基于计算实验的推荐系统验证方法，本发明根据网络在线用户的行为习惯设计用户主体，并设计三种真实的推荐系统主体，通过计算实验的方式模拟二者的在线交互，设计多样性指标来分析用户主体的选择结果多样性在推荐系统影响下选择的变化。

本发明采用如下技术方案实施：

一种基于计算实验的推荐系统验证方法，所述方法是基于推荐系统、用户选择处理单元和数据处理单元，所述用户选择处理单元根据网络在线用户的行为习惯通过如下步骤实现对推荐系统在线交互过程；其中：

通过获取推荐系统结果和用户主体的历史选择的向量表示；

根据用户主体的行为选择模型对基于标签相似度的推荐系统主体、协同过滤推荐系统主体和多样性推荐系统主体的推荐结果进行概率计算；

用户主体根据概率判断是否对推荐结果进行选择，满足选择条件则将用户主体的选择结果反馈给推荐系统用于调整用户模型；否则返回上一步；其中：所述反馈给推荐系统用于调整用户模型包括如下过程：

用户选择处理单元将用户主体保持一个当前交互周期的历史选择H^t，其记录用户主体在某一时刻t时的历史选择项目，其相关定义如下：

约束条件：length≤capcity

其中，对应于H^t中的具体项目，length表示用户主体历史选择存储队列的当前容量；capcity表示用户主体历史选择存储队列的最大容量；

当用户主体依据自身的行为选择习惯做出新的选择时，用户主体在新的交互周期的选择结果会按顺序加入到该用户主体的历史行为存储队列的队尾，如果该队列未满，则直接加入到队尾，否则，在该存储队列中出队相应数量的历史选择项目，然后将选择结果加入到队尾，以维持队列最大容量不变

推荐系统在某一时刻t向用户主体推荐一个项目列表，用户对项目列表中的项目进行选择，最终的选择结果记作a^t，其定义如下：

约束条件：0≤n≤k

其中，k表示推荐系统每次向用户推荐的项目数量。

进一步，所述用户选择处理单元根据用户主体对推荐结果中每个项目的选择结果模型，用户主体将依据该模型对推荐结果进行选择，具体公式如下：

其中，φ(H^t，A^t)代表用户主体的选择效用，该公式表示用户对推荐列表中每个项目的选择效用。

进一步，所述基于标签相似度的推荐系统主体是通过将用户在某一交互周期t的选择项目映射为向量，取得当前周期所有选择项目的向量的累加结果的平均；利用该结果向量计算待选项目集合L^t余弦相似度最高的项目加入到推荐列表；即：

其中，代表在交互周期t时待选项目集合L^t中的项目向量，i∈L^t。而/>代表用户u在上一交互周期中所有的选择项目的平均向量和：

其中n代表用户选择项目的数量；

进一步，所述协同过滤的推荐系统主体是通过对处于同一组织中的用户历史行为数据进行挖掘，发现用户的兴趣，基于不同的兴趣对用户进行群组划分并推荐品味相似的商品；即：

A^t＝topk(pred(u，i))

其中：r_uj代表用户u对项目i的评分，I代表项目集合。

进一步，所述基于多样性的推荐系统主体是增加了随机性的推荐内容使推荐结果的多样性；这种随机内容通过如下规则进行选取：

rond_item＝Random(L^t)

推荐结果就可以表示为：

A^t＝s·rond_item+top(k-s)(strategy1)

其中，s代表在每一个推荐周期中推荐算法向推荐结果中引入随机项目的数量。

有益效果

我们通过计算实验的方式研究三种不同的推荐策略对用户选择结果多样性的影响是行之有效的。作为一种新的研究手段，其可以被用来对不同的推荐系统对用户的影响进行研究。为算法设计者在推荐系统上线前能够掌握最新的算法数据和用户数据提供可能，使得设计者可以掌握和预测推荐系统所产生的下游影响，对推荐系统可能产生的负面效应进行有效地监督，为平台治理提供保障。

附图说明

图1推荐系统和用户之间影响的研究现状图

图2推荐系统影响用户选择的过程图

图3表示用户主体在与推荐系统交互时的选择流程图

图4推荐系统影响用户选择的可能结果

具体实施方式

为实现上述目的，本发明提出一种基于计算实验的推荐系统验证方法，本发明根据网络在线用户的行为习惯设计用户主体，并设计三种真实的推荐系统主体，通过计算实验的方式模拟二者的在线交互，设计多样性指标来分析用户主体的选择结果多样性在推荐系统影响下选择的变化。

一.推荐系统主体建模

在这一部分中，我们主要介绍推荐系统主体的符号描述及约束，同时定义了三种具体的推荐系统主体，并在该部分对他们进行介绍。

推荐系统创建的环境会依据用户的选择，根据不同的推荐策略从待选项目子集中选择固定数量的项目展示给用户，下面是推荐系统主体包含的符号描述及约束。

1.L：推荐系统主体的待选推荐集合。

2.k：对应推荐系统主体每个推荐周期向用户推荐的项目数量，他每次从项目集合L中选择k个项目展现给用户。

3.将对应于推荐系统主体在L^t所有包含k个项目的子集中选择一个集合展现给用户。/>代表L^t中所有包含k个项目的子集，/>表示在所有项目L中，可用项目的子集在时间t的推荐结果。

4.π(R，L)：对应推荐系统主体根据某种筛选规则R从待选项目集合L中选择项目进行推荐。

本发明不同的推荐算法代表不同的策略，他们所依赖的选择规则是不一样的。

本发明为推荐系统主体设计了三种不同的推荐策略，他们分别是基于标签相似度的推荐算法、协同过滤推荐算法、多样性推荐算法。在不同的推荐策略π(R，L)中，R对应不同的筛选规则，推荐算法会根据自身的筛选规则从待选项目集合中选择项目，最终形成推荐结果。下面本发明对三种不同的推荐算法进行详细定义。

(1)基于标签相似度的推荐算法(策略1)

该推荐算法是一种基于个体信息的推荐策略，该算法通过将用户在某一交互周期t的选择项目映射为向量，取得当前周期所有选择项目的向量的累加结果的平均。利用该结果向量计算待选项目集合L^t余弦相似度最高的项目加入到推荐列表。该推荐算法遵循以下面的筛选规则：

其中，代表在交互周期t时待选项目集合L^t中的项目向量，i∈L^t。而/>代表用户u在上一交互周期中所有的选择项目的平均向量和：

其中n代表用户选择项目的数量。

(2)协同过滤推荐算法(策略2)

该推荐算法是一种基于组织信息的推荐策略，该算法通过对处于同一组织中的用户历史行为数据进行挖掘，发现用户的兴趣，基于不同的兴趣对用户进行群组划分并推荐品味相似的商品。本发明将对两种协同过滤推荐算法进行再现，他们分别是基于用户的协同过滤推荐算法与基于项目的协同过滤推荐算法。这两种推荐算法都需要获得用户-项目评分矩阵M，接下来需要计算用户相似度或项目相似度，我们使用皮尔逊相关系数来计算相似度：

其中，在基于用户的协同过滤推荐中，ρ_a，b计算两个用户之间的相似度，而在基于项目的协同过滤推荐算法中，ρ_a，b分计算两个项目之间的相似度。x，y代表评分矩阵M的横纵坐标。在完成相似度计算后，协同过滤推荐算法还需要根据相似度计算结果对用户对项目评分进行预测，基于用户的协同过滤推荐算法根据如下公式进行评分预测：

这里的r_vi代表用户v对项目i的评分，U代表不包含用户u的用户群组。而在基于项目的协同过滤推荐算法中，算法根据下面的公式进行评分预测：

这里的r_uj代表用户u对项目i的评分，I代表项目集合。最终，协同过滤推荐算法根据预测评分排名选择对用户u最终的推荐结果：

A^t＝topk(pred(u，i))

(3)多样性推荐算法(策略3)

在该推荐算法中，本发明在基于标签相似度的推荐算法基础上，增加了随机性的推荐内容，由此带来的影响是增加了推荐结果的多样性。这种随机内容通过如下规则进行选取：

rond_item＝Random(L^t)

那么，我们最终得到的推荐结果就可以表示为：

A^t＝s·rond_item+top(k-s)(strategy1)

其中，s代表在每一个推荐周期中推荐算法向推荐结果中引入随机项目的数量，因此本发明可以通过s/k表示推荐算法向推荐结果中引入随机项目的频率。通过随机项目在推荐结果中的引入，在一定程度上增加了推荐结果的多样性，因为随机项目并不遵循内容相似度进行选择，这增加了用户接触到新颖内容的概率。

二.用户主体建模

在这一部分，本发明将对用户主体的选择模型及其符号描述及约束。

本发明从一个用户主体，他能够从一个特定的环境中选择一组可能的动作，这组动作会使得推荐系统主体发生改变。用户主体知道每个结果的效用，用户主体为选择的结果生成数值，以表明与这一动作相关的预期。

实际上，在与推荐系统交互的过程中，网络用户的选择过程只与用户可见的部分有关，即用户的历史选择和当前的推荐项目，而对于推荐系统内部的推荐模型，对用户则是隐藏的。因此，在本文中，我们提出的用户行为模型主要表现为：在用户主体与推荐系统主体交互过程中，用户主体保持一个当前交互周期的历史选择H^t，其记录用户主体在某一时刻t时的历史选择项目，其相关定义如下：

约束条件：length≤capcity

其中，对应于H^t中的具体项目，length表示用户主体历史选择存储队列的当前容量，capcity表示用户主体历史选择存储队列的最大容量。当用户主体依据自身的行为选择习惯做出新的选择时，用户主体在新的交互周期的选择结果会按顺序加入到该用户主体的历史行为存储队列的队尾，如果该队列未满，则直接加入到队尾，否则，在该存储队列中出队相应数量的历史选择项目，然后将选择结果加入到队尾，以维持队列最大容量不变。

推荐系统主体在某一时刻t向用户主体推荐一个项目列表，用户对项目列表中的项目进行选择，最终的选择结果记作a^t，其定义如下：

约束条件：0≤n≤k

其中，k表示推荐系统每次向用户推荐的项目数量。

接下来，为了构建用户主体的行为选择模型，本发明使用如下公式定义用户主体对推荐结果中每个项目的选择效用，用户主体将依据该效用对推荐结果进行选择，具体公式如下：

其中，φ(H^t，A^t)代表用户主体的选择效用，该公式表示用户对推荐列表中每个项目的选择效用。

本发明遵循三个真实的观点来建模用户主体的行为选择习惯：1)推荐项目与用户历史选择越相似，用户越倾向于对其进行选择。2)相比时间间隔较远的历史选择项目，用户更加依赖时间间隔更近的历史选择项目做出决策。3)对于与用户历史选择相似度较低的项目，用户仍然有可能对其进行选择。例如，用户并未观看过科幻类别的电影，但是推荐列表恰好在某一时间向用户推荐了该类电影并受到了用户的喜爱。的具体定义如下：

其中，用来计算推荐列表A^t中的某一项目/>与用户主体历史选择存储队列中的某一项目/>的相似程度，其计算的是两者之间的余弦相似度，在计算时，我们会使用通过词嵌入模型对项目映射到向量空间的结果进行计算。因此，该公式可转化为下面的公式：

其中，v表示将项目进行预训练时的映射函数。参数ω₁…ω_j用来为历史选择存储队列中的每个项目分配权重，代表该项目对用户主体下一交互周期选择的影响程度。参数ω应在时间序列上符合一种概率分布，为了体现用户习惯相比时间间隔较远的历史选择项目，用户更加依赖时间间隔更近的历史选择项目做出决策，该参数根据下面的公式进行初始化：

约束条件：j∈[0，length-1]

本发明使用积分的方法使用连续的标准正态分布来初始化离散的ω₁…ω_j的值。其中，N(0，1)代表标准的正态分布。将所有的ω₁…ω_j的值相加，其结果趋近于1。

根据上面两个公式可知：用户主体对每个项目的选择效用得分范围在(-1，1)之间，这就使得概率数值在(-1，0)之间项目永远不会被选择，为了让用户主体对所有项目的选择概率处于大于0的区间。我们定义使用下面的函数公式：

其中，该函数中参数c＞0，c主要代表与用户主体历史选择相似度较低的项目被选择的概率(初始化为c＝0.2)，这与用户选择习惯中的第3点相符合。最终，用户主体对于推荐结果将根据上述公式进行选择。

三.评价指标

在本发明中，为分析用户选择多样性以及推荐结果多样性的变化，本发明设计了两个指标来分析二者的变化。第一个指标表示用户主体从模拟交互开始到达交互周期t时所有选择的项目的平均余弦距离，我们将其称为dt，其定义如下：

本发明用该指标衡量推荐系统主体与用户主体交互过程中用户选择结果的多样性以及推荐系统主体推荐结果多样性随着时间的变化情况。其中，R^t分别代表用户主体与推荐系统主体在交互周期t时所有的历史选择项目和推荐结果，m_i≠m_j并且n为R^t中所有项目对的数量。

另外，为了对推荐系统主体与群体用户主体的交互过程(策略2)进行分析，本发明设计第二个指标dT第二个指标表示群体用户主体从模拟交互开始到达交互周期T时所有项目的平均余弦距离。该指标的定义如下：

来表示群体用户主体选择结果的多样性和推荐系统主体推荐结果的多样性，其中G^T分别代表在时间段T内群体内所有用户主体的选择结果和推荐系统主体的推荐结果，T＝10t，m_i≠m_j并且N为G^T中所有项目对的数量。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (5)

1.一种基于计算实验的推荐系统验证方法，所述方法是基于推荐系统单元、用户选择处理单元和数据处理单元，其特征在于：所述用户选择处理单元根据网络在线用户的行为习惯通过如下步骤实现对推荐系统在线交互过程；其中：

通过获取推荐系统结果和用户主体的历史选择的向量表示；

根据用户主体的行为选择模型对基于标签相似度的推荐系统主体、协同过滤推荐系统主体和多样性推荐系统主体的推荐结果进行概率计算；

用户主体根据概率判断是否对推荐结果进行选择，满足选择条件则将用户主体的选择结果反馈给推荐系统用于调整用户模型；否则返回上一步；其中：所述反馈给推荐系统用于调整用户模型包括如下过程：

用户选择处理单元将用户主体保持一个当前交互周期的历史选择H^t，其记录用户主体在某一时刻t时的历史选择项目，其相关定义如下：

约束条件：length≤capcity

其中，对应于H^t中的具体项目，length表示用户主体历史选择存储队列的当前容量；capcity表示用户主体历史选择存储队列的最大容量；

当用户主体依据自身的行为选择习惯做出新的选择时，用户主体在新的交互周期的选择结果会按顺序加入到该用户主体的历史行为存储队列的队尾，如果该队列未满，则直接加入到队尾，否则，在该存储队列中出队相应数量的历史选择项目，然后将选择结果加入到队尾，以维持队列最大容量不变；

推荐系统在某一时刻t向用户主体推荐一个项目列表，用户对项目列表中的项目进行选择，最终的选择结果记作a^t，其定义如下：

约束条件：0≤n≤k

其中，k表示推荐系统每次向用户推荐的项目数量。

2.根据权利要求1所述的一种基于计算实验的推荐系统验证方法，其特征在于：

所述用户选择处理单元根据用户主体对推荐结果中每个项目的选择结果模型，用户主体将依据该模型对推荐结果进行选择，具体公式如下：

其中，φ(H^t,A^t)代表用户主体的选择效用，该公式表示用户对推荐列表中每个项目的选择效用。

3.根据权利要求1所述所述的一种基于计算实验的推荐系统验证方法，其特征在于：所述基于标签相似度的推荐系统主体是通过将用户在某一交互周期t的选择项目映射为向量，取得当前周期所有选择项目的向量的累加结果的平均；利用该结果向量计算待选项目集合L^t余弦相似度最高的项目加入到推荐列表；即：

其中，代表在交互周期t时待选项目集合L^t中的项目向量，i∈L^t；而/>代表用户u在上一交互周期中所有的选择项目的平均向量和：

其中n代表用户选择项目的数量。

4.根据权利要求1所述所述的一种基于计算实验的推荐系统验证方法，其特征在于：

所述协同过滤的推荐系统主体是通过对处于同一组织中的用户历史行为数据进行挖掘，发现用户的兴趣，基于不同的兴趣对用户进行群组划分并推荐品味相似的商品；即：

A^t＝topk(pred(u,i))

其中：r_uj代表用户u对项目i的评分，I代表项目集合。

5.根据权利要求1所述所述的一种基于计算实验的推荐系统验证方法，其特征在于：

所述基于多样性的推荐系统主体是增加了随机性的推荐内容使得推荐结果的多样性增加；这种随机内容通过如下规则进行选取：

rond_item＝Random(L^t)

推荐结果就可以表示为：

A^t＝s·rond_item+top(k-s)(strategy1)

其中，s代表在每一个推荐周期中推荐算法向推荐结果中引入随机项目的数量。