CN101206751A

CN101206751A - 基于数据挖掘的顾客推荐系统及其方法

Info

Publication number: CN101206751A
Application number: CNA2007103017080A
Authority: CN
Inventors: 曹杨; 王洪涛; 张研
Original assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Current assignee: BEIJING KEWEN SHUYE INFORMATION TECHNOLOGY Co Ltd
Priority date: 2007-12-25
Filing date: 2007-12-25
Publication date: 2008-06-25

Abstract

本发明公开了一种基于数据挖掘的顾客推荐系统及其方法，该系统由数据准备和实时推荐两部分组成，其中数据准备部分包括：源数据提取模块，订单数据提取模块，计算模型模块，相似顾客计算模块，其中实时推荐部分包括：推荐结果生成展示模块；其方法是准备数据源并提取有关数据项，建立“顾客－商品”计算模型，计算出每个顾客的相似顾客集合，把这些相似顾客购买了对商品推荐给该顾客。从而抓住顾客的喜好，提供一种智能的在线购物向导功能，提高了用户网上购物的感受，达到商务网站的利益最大化。

Description

基于数据挖掘的顾客推荐系统及其方法

技术领域

本发明涉及数据库信息检索领域，特别涉及对数据信息进行挖掘向顾客推荐的信息检索领域。

背景技术

当今时代是信息技术的时代，互联网在人们的生活中占据了相当大的比重，网上购物就是其中之一。为此，电子商务网站都以获得最大利益为目标，用技术和非技术的方法，增加注册顾客、增加订单量、提供优质的服务。在这些状况下，电子商务网站个性化推荐技术就应运而生。

目前，国内的一些推荐技术大多采用比较原始的方法：

最原始的方法是“数据库查询”，通过sql语句找到数据库中同作者、同分类主题等等的商品，推荐给顾客；

“问卷反馈”方式，通过提问，让顾客回答回答一些问题，直接了解顾客的喜好，推荐合适的商品；

此外还有“关联规则”等形式的推荐方法。

以上这些方法，在推荐的准确性、实时性等方面不够理想，推荐的自动化程度和持久性程度低，缺乏个性化。

相比而言，国外的推荐技术较为领先：

“基于内容过滤的推荐”是信息过滤的派生和继续，通过相关特征来定义所要推荐的商品，也可以称之为“商品与商品的相关性推荐”，但是这种技术最大的缺点是必须分析资源的内容信息，因此对音乐、图像、视频等信息无能为力，无法分析信息的质量，无法提供新颖的推荐；

“基于协同过滤的推荐”是基于其他用户对某一信息的评价来向某一用户进行推荐。但是要获得满意的效果，必须得到准确的用户信息，这需要建立在拥有大量的用户信息数据的基础上，所以，对于一些数据存储规模有限的使用方有相当程度的应用局限性，这也使得协同过滤技术的应用领域较为狭窄；

此外，还有“基于用户统计信息的推荐”、“基于效用的推荐”、“基于知识的推荐”等等都有其优缺点。

针对目前现有的相对领先的推荐技术，无论从用户还是服务提供者的角度出发，即有其各自的优点，但是都存在着或多或少的缺点，见下表：

推荐技术	优点	缺点
推荐技术	优点	缺点	基于协同过滤的推荐	新异兴趣发现、不需要领域知识；随着时间推移性能提高；推荐个性化、自动化程度高；处理复杂的非结构化对象。	冷开始问题、稀疏问题、新用户问题；质量取决历史数据集；系统开始时推荐质量差。
基于内容的推荐	推荐结果直观，容易解释；不需要领域知识。	稀疏问题、新用户问题；复杂属性不好处理；要有足够数据构造分类器。	基于协同过滤的推荐	新异兴趣发现、不需要领域知识；随着时间推移性能提高；推荐个性化、自动化程度高；处理复杂的非结构化对象。	冷开始问题、稀疏问题、新用户问题；质量取决历史数据集；系统开始时推荐质量差。
基于内容的推荐	推荐结果直观，容易解释；不需要领域知识。	稀疏问题、新用户问题；复杂属性不好处理；要有足够数据构造分类器。	基于用户统计信息的推荐	新异兴趣发现；没有新用户问题；不要领域知识。	用户的人口信息统计资料难得到。
基于效用的推荐	无冷开始问题和稀疏问题；对用户偏好变化敏感；考虑非商品特性。	用户必须输入效用函数；推荐是静态的，灵活性差；属性重叠问题。	基于用户统计信息的推荐	新异兴趣发现；没有新用户问题；不要领域知识。	用户的人口信息统计资料难得到。
基于效用的推荐	无冷开始问题和稀疏问题；对用户偏好变化敏感；考虑非商品特性。	用户必须输入效用函数；推荐是静态的，灵活性差；属性重叠问题。	基于知识的推荐	把用户需求映射到商品上；考虑非商品属性。	知识难获得；推荐是静态的。
基于关联规则的推荐	新异兴趣发现；不要领域知识。	关联规则抽取难、耗时；商品名同义性问题；个性化程度低。	基于知识的推荐	把用户需求映射到商品上；考虑非商品属性。	知识难获得；推荐是静态的。

发明内容

本发明的目的是为了克服目前技术中的上述缺点。本发明系统由数据准备和实时推荐两部分组成，如图1所示。

数据准备部分包括如下模块：

源数据提取模块：从数据库中提取一定时间跨度的订单数据、浏览日志、搜索日志等等，能反映“顾客-商品”关系的数据集；

订单数据提取模块：提取每条订单中的有用信息，如：购买日期、购买人、购买商品等数据；

计算模型模块：通过分析这些信息，建立“顾客-商品”计算模型；

相似顾客计算模块：按照顾客——该顾客购买的商品——该商品被其他顾客购买的关系，针对模型中的每个顾客，从该顾客本身出发，找到他所对应的商品，再从商品出发，找到和他存在关系的顾客，然后运用核心公式计算他们之间的相似度，得到相似顾客的倒排文件和索引以及顾客购买记录。

实时推荐部分包括如下模块：

推荐结果生成模块：找到该顾客的相似顾客集合和相应的购买记录；通过排序算法，从纵向给顾客排序，从横向给每个相似顾客的购买商品排序，尽可能体现原顾客的兴趣；将展示推荐的结果。

这里每个部分及模块都是本发明得以实现并成功应用的基础，构成了一个技术系统。

具体包括以下步骤：

A.准备原始数据源：可以是订单数据，或是浏览日志，搜索日志等等；

B.提取数据项：取得数据源中有用的计算信息，如时间、人、商品等；

C.建立计算模型：通过分析提取的数据，建立表示哪些顾客购买了哪些商品、哪些商品被哪些顾客购买过等关系“顾客-商品”计算模型；

D.计算相似顾客：按照以物聚人的思路，用核心计算公式计算每个顾客的相似顾客集合；

E.顾客推荐：为顾客显示他的相似顾客及他们所购买过的商品，相似顾客之间的顺序和每个顾客购买商品之间的顺序由核心排序算法决定。

其中D步骤的核心计算公式有很多种选择，比如：

(1)L1-Norm算法：

L 1 (B, R) = \frac{| B \cap R |}{| B | \cdot | R |}

(2)L2-Norm算法：

L 2 (B, R) = \frac{| B \cap R |}{\sqrt{| B | \cdot | R |}}

(3)MI1算法：

MI 1 (B, R) = - | B \cap R | \cdot \lg \frac{| B \cap R |}{| B | \cdot | R |}

(4)COS算法：

\cos (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \frac{\overset{&RightArrow;}{A} \cdot \overset{&RightArrow;}{B}}{| | \overset{&RightArrow;}{A} | | \cdot | | \overset{&RightArrow;}{B} | |}

以上例举了4个比较常用的公式，计算的侧重点和效果各不相同，其他还有一些公式，选用哪种，由具体需求决定，即可单独使用，也可以组合使用。

本发明符合顾客客观的实际的购物趋势和兴趣习惯，提高了推荐的效果和质量，并能给予实时的反馈，适应当前电子商务个性化推荐的发展，最大程度地实现电子商务的个性化，提供一种智能的在线购物向导功能，抓住顾客的喜好，提高用户网上购物的感受，从而留住老的顾客，获得更多的新顾客，达到利益最大化。

附图说明

图1是本发明的系统流程图。

图2是本发明的数据处理模块流程图。

图3是本发明的计算模型倒排及索引结构图。

图4是本发明的计算相似顾客流程图。

图5是本发明的推荐结果生成展示过程图

具体实施方式

数据准备部分

步骤1：原始数据提取

提取3个月的订单数据OrderInfo.txt，格式为(时间顾客ID商品ID商品名)

例如：OrderInfo.txt的前20行的数据显示

时间	顾客ID	商品ID	商品名
时间	顾客ID	商品ID	商品名	200707152007071720070721200707222007072520070803200708052007081220070825200708272007082720070828200708282007082820070829200708292007082920070830	C1C1C3C5C1C4C1C3C2C5C5C4C3C3C1C5C4C1	P1P2P1P2P4P7P3P2P2P5P3P9P4P8P5P8P4P8	Name1Name2Name1Name2Name4Name7Name3Name2Name2Name5Name3Name9Name4Name8Name5Name8Name4Name8

200708302007090320070903200709032007090320070903……

C2C2C4C2C3C3……

P5P4P8P9P9P6……

Name5Name4Name8Name9Name9Name6……

步骤2：相关字段信息提取

如图2所示。提取相关数据项(有用信息)，对数据项排序。在该例中，提取相关数据项时，提取订单数据中的OrderDate(购买时间)、CustID(顾客ID)、ProID(商品ID)，存贮在包含这三个整型字段的结构中，写入二进制文件中，并按照各个单元结构中的CustID和ProID分别排序，生成下表的两个中间结果文件：

按顾客ID排序：
按顾客ID排序：			200707152007071720070721200707222007072520070803200708052007081220070825200708272007082720070828200708282007082820070829200708292007082920070830200708302007090320070903200709032007090320070903……	C1C1C3C5C1C4C1C3C2C5C5C4C3C3C1C5C4C1C2C2C4C2C3C3……	P1P2P1P2P4P7P3P2P2P5P3P9P4P8P5P8P4P8P5P4P8P9P9P6……

按商品ID排序：
按商品ID排序：			200707152007071720070721200707222007072520070803200708052007081220070825200708272007082720070828200708282007082820070829200708292007082920070830200708302007090320070903200709032007090320070903……	C1C1C3C5C1C4C1C3C2C5C5C4C3C3C1C5C4C1C2C2C4C2C3C3……	P1P2P1P2P4P7P3P2P2P5P3P9P4P8P5P8P4P8P5P4P8P9P9P6……

步骤3：生成“顾客-商品”计算模型

由上一步生成的两个结果文件，生成“顾客-商品”计算模型。

在该实例中，计算模型主要表示哪些顾客购买了哪些商品、哪些商品被哪些顾客购买过等关系，可以概括为顾客购物模型和商品被购买模型。

顾客购物模型表示每个顾客买过哪些商品，是一个倒排表结构(C-P倒排表)。商品被购买模型表示每个商品被哪些顾客够买过，也是一个倒排表结构(P-C倒排表)。

通过读取步骤2产生的两个中间结果文件，生成上述两个倒排表，见下表所示，以及两个查询索引(C-P倒排索引和P-C倒排索引)，如图3所示。

C-P倒排表C1： P1 P2 P3 P4 P5 P8C2： P2 P4 P5 P9C3： P1 P2 P4 P6 P8 P9C4： P4 P7 P8 P9C5： P2 P3 P5 P8 ……

P-C倒排表P1： C1 C3P2： C1 C2 C3 C5P3： C1 C5P4： C1 C2 C3 C4P5： C1 C2 C5P6： C3P8： C1 C3 C4 C5P9： C2 C3 C4 ……

步骤4：相似顾客计算

①、核心计算公式：

“顾客推荐系统”的核心算法，即相似顾客计算。

这里以“COS算法”为例，它是采用一种基于条目之间的协同过滤的推荐算法，即余弦公式。它对具有相同或相似购买行为的顾客进行配对，并统计他们的相似程度，对顾客的购买行为进行向量化，然后对向量进行公式计算，最后形成一个相似的条目矩阵。

similarity (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \cos (\overset{&RightArrow;}{A}, \overset{&RightArrow;}{B}) = \frac{\overset{&RightArrow;}{A} \cdot \overset{&RightArrow;}{B}}{| | \overset{&RightArrow;}{A} | | \cdot | | \overset{&RightArrow;}{B} | |}

其中，在具体实例中：

向量A：表示顾客A购买过的商品。

向量B：表示顾客B购买过的商品。

分子含义：在顾客A和顾客B购买过的相同的商品数量。

分母含义：表示顾客A购买过的商品数量的开方和表示顾客B购买过的商品数量的开方的乘积，作用是去除噪音。

②、计算相似顾客流程，如图4所示

a)进行内存映射读取对磁盘上的两个倒排表；

b)对于C-P倒排表中的顾客Ci，查询他的购买记录，得到商品集合ProList；

c)遍历ProList中的每个商品，查询倒排表P-C，获取购买过该商品的顾客集合CustList；

d)遍历CustList，查找C-P倒排表获取该顾客购买过的商品集合，与原顾客Ci购买的商品两两配对，生成规则(Custi-Custj-Count)；

e)通过计算公式以及规则，计算顾客Ci和CustList中的每个顾客的相似度，排序后记录结果；

f)返回b，直到遍历完所有的Ci

例如，计算C1的相似顾客时

——得到C1购买的商品P1、P2、P3、P4、P5、P8

——查找P-C倒排表，分别找到也购买过这些商品的顾客P1(C3)、P2(C2、C3、C5)、P3(C5)、P4(C2、C3、C4)、P5(C2、C5)、P8(C3、C4、C5)统计这些顾客(C2、C3、C4、C5)和C1的规则：C1-C2-3、C1-C3-4、C1-C4-2、C1-C5-4

——计算C1和(C2、C3、C4、C5)之间的相似度

C1-C2：

C1-C3：

C1-C4：

C1-C5：

因此，接着上例，得到相似顾客结果：

C1：C5(0.8165)C3(0.6667)C2(0.6124)C4(0.4082)

C2：C1(0.6124)C3(0.6124)C5(0.5)

…… …… ……

实时推荐部分

接着上例，当用户查看他的推荐时：

——根据该用户的ID找到他的相似顾客(之前的步骤中已经计算得到)

——得到这些相似顾客的购买记录(商品ID和购买时间)

——为相似顾客以及每个相似顾客购买的商品分别排序

——按照排序后的顺序展示推荐结果

该例中，对相似顾客排序时，可以参考四个因素，分别是该顾客的购买数量、和原顾客购买相同商品的数量、和原顾客购买相关商品的数量、和原顾客购买不相关商品的数量。综合这四个因素，计算出一个权重值，为相似顾客排序。

这里的相关商品是指商品和商品之间的相似关系，该例中定义为A商品和B商品被相同的若干个顾客同时购买过，那么A商品和B商品之间就是相关商品，他们之间的相关指数也可以由之前提到的公式来量化。上面提到的购买相关商品的数量，是指原顾客购买的商品的相关商品集合和相似顾客购买的商品的重复个数，同理，和原顾客购买不相关商品的数量就是指上述两个集合中不相同的商品个数。

为每个相似顾客的商品排序时，考虑推荐商品(相似顾客购买的商品)和原顾客购买商品间的关系，即推荐的商品是否符合原顾客的兴趣，把符合兴趣的排前面。度量的原则是把推进商品分为三类，如下图：附图5推荐结果生成展示过程

考虑原顾客A的相似顾客B时，B的推荐价值由B与A都购买过的相同商品集S1、相关商品集S2，以及无关商品集S3比例决定。其中，共同购买的部分S1是最符合原顾客A兴趣的，但是这部分的商品A已经买了，不做推荐考虑。相关商品S2表示B购买的商品属于A购买的商品的相关商品集合的商品，顾客更关心S2的商品。无关商品S3可以认为是开拓、发觉原顾客A潜在兴趣的商品，也许会喜欢，但是不能确定，所以排在后面。

根据上例，顾客C1的推荐结果：

——找到C1的相似顾客C5、C3、C2、C4

——去除购物量小的顾客，排序

——获取相似顾客购买的商品，排序，并去除C1已经购买的商品

——得到结果

推荐顾客：C3

推荐理由：共同兴趣(P1/P2/P4/P8)

推荐商品：P6 P9

推荐顾客：C4

推荐理由：共同兴趣(P4/P8)

推荐商品：P7 P9

推荐顾客：C2

推荐理由：共同兴趣(P2/P4/P5)

推荐商品： P9

Claims

1.一种基于数据挖掘的顾客推荐系统，由数据准备和实时推荐两部分组成，数据准备部分包括如下模块：

源数据提取模块：从数据库中提取一定时间跨度的能反映“顾客一商品”关系的数据集；

订单数据提取模块：提取每条订单中的有用信息数据；

相似顾客计算模块：按照顾客——该顾客购买的商品——该商品被其他顾客购买的关系，运用核心公式计算他们之间的相似度，得到相似顾客的倒排文件和索引以及顾客购买记录；

实时推荐部分包括如下模块：

2.一种基于数据挖掘的顾客推荐方法，具体包括以下步骤：

A.准备原始数据源：订单数据、浏览日志、搜索日志等；

C.建立计算模型：通过分析提取的数据，建立“顾客-商品”计算模型；

D.计算相似顾客：用核心计算公式计算每个顾客的相似顾客集合；

E.顾客推荐：为顾客显示他的相似顾客及他们所购买过的商品。

3.如权利要求2所述的一种基于数据挖掘的顾客推荐方法，其特征在于其中D步骤的核心计算公式可选择：L1-Norm算法、L2-Norm算法、MI1算法、COS算法等，可单独使用，也可以组合使用。