CN102855333A

CN102855333A - 一种基于组推荐的服务选取系统及其选取方法

Info

Publication number: CN102855333A
Application number: CN2012103689021A
Authority: CN
Inventors: 吕建; 徐锋; 刘涛
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2012-09-27
Filing date: 2012-09-27
Publication date: 2013-01-02

Abstract

本发明公开了一种基于组推荐的服务选取系统及其选取方法，该系统其工作在用户及可满足用户基本功能的若干服务之间，包括数据获取模块、数据处理模块和请求处理模块。选取方法为：数据获取模块从服务中取得每个用户的评分数据，数据处理模块对用户的评分进行分析，获得用户的偏好特征，请求处理模块接收用户发送的查询请求，并将查询请求转发给数据处理模块，当一个组推荐请求到来时，处理模块综合组内每个用户的特征，为组整体建立模型，采用协同过滤法获取领域，生成整个组的推荐列表，并将推荐列表返回。发明考虑多QoS因素的组推荐服务选取算法，并验证了该算法的正确性和高效性。并设计和实现了基于WebService的简单原型系统。

Description

一种基于组推荐的服务选取系统及其选取方法

技术领域

本发明涉及计算机领域，具体是一种在开放的网络环境中，利用组推荐和协同过滤技术，针对用户团体，综合考虑每个用户的兴趣，提出了极大化团体满意度的方法。

背景技术

随着软件技术的不断发展和成熟，越来越多的服务实现了相同或者相近的功能，在服务选取的过程中，如何最大化用户的满意度，真正做到面向用户是现阶段研究的一个热点问题。用户从最初的只关心服务的功能，到越来越多地考虑非功能因素，如用户体验，价格等。除此之外，随着Twitter等社交类应用的流行，用户更多地表达自己的观点，有效地综合利用这些反馈信息，能设计出高效有针对性的服务选取方法。另一方面，Web2.0技术让人们之间的联系更加紧密，用户更多地以集体地形式活动，如聚餐，旅游等。传统的服务选取方法基本是针对单个用户的，在此情景下并不适用。

传统的方法综合各种QoS因素提出了针对单个用户的服务选取模型。但随着社交网络的出现和大量基于社交的服务的流行，人们更多以群体的形式进行各式各样的活动。为了使最终选取的服务能够尽可能符合每个用户的兴趣爱好，需要获得单个用户对可选服务的评价信息，但通常这样的信息并不完整。实践证明，推荐系统能有效地解决这类信息稀疏问题，通过分析用户的兴趣特点和历史购买行为对用户进行建模。现代电子商务网站如Amazon和Netflix借助推荐系统提供了个性化的决策支持和信息服务。

目前的推荐系统方法按使用的内容来分主要分为三类，一是计算用户兴趣与物品内容数据的相似度，称为内容过滤的方法。二是利用用户的历史数据，计算用户(物品)两两之间的相似度，根据领域来推荐的协同过滤方法。三是根据用户在社会化关系网络中的信任关系来推荐的社会化过滤方法。但是这些方法都不适用于针对团体用户，无法综合考虑每个用户的兴趣。而且现有的组推荐方法或者没有考虑多QoS因素的情况，或者在扩展性和效率方面存在缺陷。

发明内容

本发明所要解决的技术问题是提供一种基于组推荐的服务选取系统及其选取方法，该系统针对用户团体，综合考虑每个用户的兴趣，极大化提高了团体的满意度。

本发明所述的一种基于组推荐的服务选取系统，其工作在用户及可满足用户基本功能的若干服务之间，该系统包括数据获取模块、数据处理模块和请求处理模块，其中：

数据获取模块接收各服务传递的数据，并转发给数据处理模块，

请求处理模块接收用户发送的查询请求，并将查询请求转发给数据处理模块，

数据处理模块将处理后的结果经请求处理模块转发给客户。

所述数据处理模块还连接本地数据存储模块用于存储部分中间结果。

此外，本发明还提供了基于组推荐的服务选取系统的选取方法，其包括以下步骤：

1）数据获取模块从服务中取得每个用户的评分数据，

2）数据处理模块对用户的评分进行分析，获得用户的偏好特征，

3）请求处理模块接收用户发送的查询请求，并将查询请求转发给数据处理模块，当一个组推荐请求到来时，处理模块综合组内每个用户的特征，为组整体建立模型，

4）采用协同过滤法获取领域，生成整个组的推荐列表，并将推荐列表返回。

上述步骤1）获取的数据是<UserId, ItemId, Ratings>三元组的形式，其中Ratings是一个多维向量，维度是指标的个数。

上述步骤2）的评分格式为：

Figure 2012103689021100002DEST_PATH_IMAGE002

(1)

其中Item表示酒店等服务，c是指标的个数，R_i是用户对服务第i个指标的评分，R₀是对服务的综合评分；

Figure 2012103689021100002DEST_PATH_IMAGE004

（2）

其中W_i为第i个指标在综合结果中占的权重，值越大表示用户越关注该指标，W_i整体记作权重向量

Figure 2012103689021100002DEST_PATH_IMAGE006

,为非线性部分的误差。

上述步骤3）的具体过程为：在获得组内每个用户的评分比重后，对整个组建模，其用如下的公式描述：

Figure 2012103689021100002DEST_PATH_IMAGE010

(3)

Figure 2012103689021100002DEST_PATH_IMAGE012

(4)

Figure 2012103689021100002DEST_PATH_IMAGE014

(5)

其中n是组内用户的个数，dis_i表示用户i与组内其他用户的兴趣差异，con_i表示用户i对虚拟用户特征的贡献。

上述步骤4）中采用协同过滤法获取领域，生成整个组的推荐列表的具体过程为：

协同过滤通过分析历史数据为整个组的虚拟用户推荐服务列表，其用如下的公式描述：

Figure 2012103689021100002DEST_PATH_IMAGE016

(10)

Figure 2012103689021100002DEST_PATH_IMAGE018

(11)

其中

Figure 2012103689021100002DEST_PATH_IMAGE020

是用户u和v在指标j上的兴趣相似度，

Figure 2012103689021100002DEST_PATH_IMAGE022

是用户u对物品i指标j的评分，

Figure 2012103689021100002DEST_PATH_IMAGE024

是用户u对指标j的平均评分，S的取值在-1到+1之间，其绝对值越大表示相关性越强，S>0为正相关，S<0为负相关；

接着计算用户u对物品i的评分：

(7)

其中U表示与用户u兴趣相似的用户集合，

Figure 2012103689021100002DEST_PATH_IMAGE028

表示u,v的相似度，计算公式为(11)，R为评分，这样即可获得用户u对其未评分物品i的预测评分，在组推荐的的环境中，u指的是组虚拟用户，按R(u,i)评分值对物品i排序，就得到了对整个组的推荐列表。

本发明在综合考虑这些因素的基础上，提出了高准确度的方法，并以独立的方式运行，意味着不需要与具体的服务绑定。该发明最终会以插件的方式提供，只需输入用户的历史数据，便可以为一组用户做服务选取的推荐。

附图说明

图1为算法步骤流程图，

图2为本发明组推荐原型系统的结构示意图，

图3为爬虫的执行流程图。

具体实施方式

一、本发明的思路如下：

1、涉及的算法主要包括三个步骤（图1）：

1) 单个用户偏好的特征的获取

用户对不同QoS指标的偏好程度不一样，例如一个用户在选择服务时完全以价格以导向而不考虑服务的执行周期，另一个用户可能只要求服务的即时性而忽略服务的费用。本发明认为用户对服务的最终评分是各项指标的加权求和，权重向量代表了用户的特征，进一步用该权重向量计算用户的邻域。

2) 整个组的兴趣建模

在对整个组进行建模的时候，每个用户的利益都要被考虑，我们为整个组生成一个虚拟用户，用以代表这个组的兴趣偏好。在计算每个用户对虚拟用户特征的贡献的时候，同时考虑当前用户与组内其他用户的相似程度和相异程度。

3) 领域的获取和推荐

把虚拟用户看成普通的用户，用协同过滤的方法计算该用户的邻域，进而计算该用户的推荐列表，作为整个组的最终有序推荐列表。

评价算法优劣的指标有精确度，覆盖度，多样性，新颖度等，而往往用户关心的只是最终的从优到劣的排序。本发明使用信息检索领域的nDCG(normalized Discounted Cumulative Gain)作为算法正确性的衡量标准，即在信息检索中，越高度相关的文档在序列中的位置越靠前，文档的价值越大。用推荐给整个组的列表与组内单个用户的喜好列表做对比，优秀的算法结果的相对顺序应该保持一致。

2、原型系统的构建分为四步：

1) 原始数据的抓取

采用爬虫模块从现有著名的包含多维度用户评论信息的网站上爬取了真实的实验数据，爬取过程中遇到速度和被重置等瓶颈，通过使用多进程和进程睡眠等方法解决。最终将获得的数据以表的形式存储，供分析模块使用。图3是爬虫逻辑部分框架。

2）周期迭代式的数据处理

从爬虫模块获得数据，采用上述方法获得用户的评分特征模式。目标是维护用户的好友关系，智能地计算出用户在不同圈子里的重要程度(对结果的贡献值)。

3）服务接口的提供

提供Web Service的接口，处理客户端发送的查询群组推荐列表的请求，并以Json的数据格式返回给客户端。

4）客户端用户界面

移动设备使生活更加快捷方便，人们无需坐在电脑面前预定和查询服务。客户端是搭载Android系统的智能手机，当用户需要和家人或朋友外出旅游或聚餐活动时，只需要圈选活动涉及到的人，向服务器端发送查询，结果会以列表的形式返回。

二、本发明中算法具体内容为：

1.单个用户偏好的特征的获取

在服务多样化和评价多元化的今天，用户不仅对服务最本质的功能有要求，对服务所关联的其他特征也有所关注。例如预定酒店时，用户会考虑酒店的地理位置和交通，价格，舒适度，卫生环境，服务质量等，并给予评价，具体评论的格式为

(1)

其中Item表示酒店等服务，c是指标的个数，Ri是用户对服务第i个指标的评分，R0是对服务的综合评分。用户对Item(餐馆等)的评分是多维的，如环境，口味，价格等，则分别对应R1, R2, R3…。

显然，综合评分和各项指标的评分是密切相关的，本发明合理地假设综合评分是各项评分的线性加权和，即

(2)

其中Wi为第i个指标在综合结果中占的权重，值越大表示用户越关注该指标，Wi整体记作权重向量,

为非线性部分的误差。这样我们可以从用户的评论数据中获得他对不同指标的重视程度，而不用像层次分析法(The Analytic Hierarchy Process)那样需要用户显式地提供自己的偏好。

求解刚线性回归方程，噪声数据会使得结果出现误差。本发明使用RANSAC(Random Sample Consensus)算法来估计参数。传统的参数拟合如最小二乘法都是基于平滑假设，即忽略给定数据集的大小，总有足够多的准确数据来消除异常数据的影响。但原始数据中可能包含正确数据无法补偿的严重错误，特别当数据集很小的时候，用户的一个失误操作会带来很大的影响。降低噪声影响的过程分为以下三步：

从数据集中S随机抽取m条记录，记作SA，训练出的模型记作M，m为指标个数+1。

余集S-SA中，与模型M的误差小于设定的阈值t的记录与原来的S构成一致集S*。

若S*的元素个数大于设定的N，算法结束，否则重新生成集合S。

4) 若算法失败K次，则结束，实验结果看出平均误差和方差都比较小。

2. 整个组的兴趣建模

在获得组内每个用户的评分比重后，考虑对整个组建模，本发明为整个组生成一个虚拟用户来表示该组的特性，该虚拟用户对每方面的权重W通过下面3个公式得出，主要思想是将相同的兴趣被强化。一方面，组内每个用户的利益都应该被照顾到，于是每个用户要对结果有贡献，另一方面，相同的兴趣特点应该被增强，简单的算术平均做不到这点。本发明使用以下公式：

(3)

(4)

(5)

其中n是组内用户的个数，dis_i表示用户i与组内其他用户的兴趣差异，con_i表示用户i对虚拟用户特征的贡献。容易看出，如果整个组用户兴趣相近，每个人的贡献值是基本相同的，否则，相同的兴趣会被增强。

3. 领域的获取和推荐

协同过滤通过分析历史数据寻找与用户兴趣相投的其他用户，公式(6)和(7)是协同过滤的基本方法，是以前针对个人，单维度的推荐系统的经典算法。其中要为用户u做推荐，对于另一个用户v，令N(u),N(v)表示他们各自喜欢的物品集合，则两用户的相似度S_uv用如下的公式描述：

Figure 2012103689021100002DEST_PATH_IMAGE030

(6)

S_uv越接近1，表示两个人的兴趣越相同。

计算对用户u对物品i的评分：

(7)

其中U表示与用户u喜欢的物品有交集的用户集合。这样即可获得用户u对未体验物品i的预测评分。在组推荐的的环境中，按评分值排序，就得到了对整个组的推荐列表。

在多指标的情况下，计算用户相似度的公式需要稍作修改，目前主要的方法有两种，一种是用欧几里德距离，描述如下：

Figure 2012103689021100002DEST_PATH_IMAGE032

(8)

Figure 2012103689021100002DEST_PATH_IMAGE034

(9)

其中D_i(u,v)表示用户u和v对物品i的喜好偏差，I表示用户u和v都点评过的物品的集合。但如果用户的评价相对于平均水平偏离很大的时候欧几里德不能很好地揭示真实的相似度，本发明使用另一种方法，皮尔森相关系数(Pearson Correlation Coefficient)，能实现“夸大值纠错”，描述如下：

(10)

(11)

其中

是用户u和v在指标j上的相似度，

是用户u对指标j的平均值。S的取值在-1到+1之间，S>0表示正相关，S<0表示负相关。

4. 算法的评测标准

推荐给整个组的有序列表应该与组内每个用户的尽量一致，搜索引擎用nDCG值来反映两个列表的相对顺序是否一致，因为排在前面的结果被用户看到的结果明显比排在后面的被看到的概率大，因此对DCG的贡献也越大，假设t1, t2,… tn是向用户u推荐的从优到劣的列表，其中每个ti表示一个物品，令Rti表示用户对ti的真实评分，则

Figure 2012103689021100002DEST_PATH_IMAGE036

(12)

Figure 2012103689021100002DEST_PATH_IMAGE038

(13)

IDCG为最大的NCG值，由测试数据容易得到。计算每个用户的nDCG值，再对整个组算平均，越大表示结果越好。

三、原型系统

1. 整体架构

系统原型如图2所示，原始场景仅有用户与服务交互，加入组推荐系统后，推荐系统的数据获取模块向服务订阅数据，即服务主动将数据推送给推荐系统，但出于商业利益等因素，现有的应用服务很少会主动提供数据，因此在本原型的具体实现中，数据获取模块由一个爬虫模块代替，定期爬取服务的更新数据。数据处理模块用来执行上述的算法，其中部分中间结果存储在本地存储模块，以提高计算效率，缩短反馈时间。请求处理模块用以接收用户的查询请求，实现请求和结果的传输以及负载均衡等功能。随着云计算的发展，程序开发只要实现其核心逻辑部分，请求处理这样的模块完全可以交付给Google App Engine和Amazon Web Service等云平台维护，以减少真实系统开发和维护的代价。

2. 数据获取模块

获取的数据是<UserId, ItemId, Ratings>三元组的形式，其中Ratings是一个多维向量，维度是指标的个数。

原型系统以大众点评网作为研究对象，网站并未开放其数据接口的API，因此实现了抓取其数据的爬虫，每一条用户的评论由以下部分组成：

l 点评用户的ID

l 被点评餐厅的ID

l 综合评分——分值只能是0、10、20、30、40、50，

l 环境——分值只能是0、1、2、3、4、5，

l 服务——分值只能是0、1、2、3、4、5，

l 口味——分值只能是0、1、2、3、4、5。

l 价格

l 文字描述

3. 请求处理模块

客户端请求格式，如表1

消息语义	消息格式	HTTP方法
			获取给定组的推荐列表	getRecommendation(userId1, userId2, …, userIdn)	Get

服务器端返回的数据格式，如表2

返回餐厅推荐列表

{“restaurants”:[{“id”:”333”,”score”:”12.3”},{“id”:”23445”,”score”:”56.23”}]}

返回数据的格式是JSON(Javascript Object Notation)，是一种轻量级的数据交换格式，可以有效起到降低带宽和响应时间的作用。

4、客户端

客户端在Android移动平台上实现，Android是采用被称为软件叠层(Software Stack)进行构建的开源操作系统，拥有大量的用户。