CN102663019A

CN102663019A - 一种即时推荐系统

Info

Publication number: CN102663019A
Application number: CN201210076901XA
Authority: CN
Inventors: 文彦峰; 黄根太; 鲁超; 冯志强; 齐科军; 李俊; 张禹
Original assignee: BEIJING INFORMATION SMART Co Ltd
Current assignee: Chongqing Liantuo Jinfu Technology Co., Ltd.
Priority date: 2012-03-21
Filing date: 2012-03-21
Publication date: 2012-09-12
Anticipated expiration: 2032-03-21
Also published as: CN102663019B

Abstract

本发明涉及一种即时推荐系统，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块；所述数据收集模块用于收集历史数据信息并发送至搜索关键字模块；所述搜索关键字模块接收数据收集模块传输的数据并根据推荐规则库模块内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块；所述后台管理模块用于控制推荐规则库模块和商品推荐库模块；所述商品推荐库模块接收后台管理模块和搜索关键字模块发送的数据并发送到应用网站。本发明可以帮助顾客更快的找到想要的商品；对于新顾客，通过不断的引导观察，协助其找到想要的商品；对于老顾客，记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。

Description

一种即时推荐系统

技术领域

本发明涉及一种推荐系统，尤其涉及一种即时推荐系统，属于电子信息技术领域。

背景技术

电商企业在运营中一味追求网站流量，但却招揽很少的顾客进行消费；如何提高转化率、客单价和顾客黏度，怎样充分利用站内、站外资源而获取更多的利润和市场份额；如何提高顾客重复购买的欲望；在日益激烈的竞争环境中，怎么利用自身的精细化运营为企业创造更多价值；如何转变传统的营销模式，减少运营成本；更有效的为顾客个性化服务，提高用户体验和顾客黏度。

现有推荐系统一般都是根据顾客的访问历史，结合导购的经验，确定顾客的喜好，帮助他们更快的找到想要的商品：

对于新顾客，通过不断的引导，观察，协助其找到想要的商品；

对于老顾客，我们要记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。

基于内容的推荐它不需要依据用户对项目的评价意见，而是依据用户已经选择的产品内容信息计算用户之间的相似性，进而进行相应的推荐。

网站日志通过日志收集工具通步到mysq1中，同时网站的会员消费历史数据、会员个人爱好偏好信息、商品库存信息也通过数据收集工具同步到mysq1中。在mysq1集群中对这些数据进行实时在线分析用户购买的商品信息特点和特征，把分析后的结果实时发送到推荐引荐，在网站前端的web端通过异步调用接口把推荐引擎的推荐结果展现在web页面上。用户在登陆网站后就可以看到推荐后的商品列表。

然而，现有的推荐系统都要求内容能容易抽取成有意义的特征，要求特征内容有良好的结构性，并且用户的口味必须能够用内容特征形式来表达，不能显著地得到其它用户的判断情况。

发明内容

本发明针对现有的推荐系统需要所推荐的商品具有良好的结构性的不足，提供一种所要推荐的商品不需要有良好的结构性的即时推荐系统。

本发明解决上述技术问题的技术方案如下：一种即时推荐系统，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块；

所述数据收集模块用于收集历史数据信息并发送至搜索关键字模块；

所述搜索关键字模块接收数据收集模块传输的数据并根据推荐规则库模块内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块；

所述后台管理模块用于配置规则并发送指令至推荐规则库模块和商品推荐库模块控制推荐规则库模块和商品推荐库模块；

所述推荐规则库模块用于存储后台管理模块发送的数据并将根据搜索关键字模块发送的指令发送数据至搜索关键字模块；

所述商品推荐库模块接收后台管理模块和搜索关键字模块发送的数据并发送到应用网站。

本发明的有益效果是：本发明可以根据顾客的访问历史，结合导购的经验，确定顾客的喜好，帮助他们更快的找到想要的商品；对于新顾客，通过不断的引导，观察，协助其找到想要的商品；对于老顾客，我们要记住他们的喜好，再次光顾的时候，直接推荐他们感兴趣的。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述即时推荐系统还包括查询接口，所述商品推荐库模块通过查询接口将所述数据发送至应用网站。

进一步，所述搜索关键字模块包括计算模块和mahout算法库，所述计算模块接收推荐规则库模块发送的指令，并按照所述指令对从数据收集模块接收到的数据进行相应操作，所述计算模块具有强大的容错能力和计算能力，具有单次10TB几遍的计算能力；所述mahout算法库对从计算模块接收到的数据进行总结并得出规律，并保存所述规律，并保存所述规律，Mahout是一个分布式计算的机器学习方法，基于hadoop之上是一个系统自我改进学习的过程，通过现有的知识，进行总结，从而得出规律，或者获取新的知识的过程，通过mahout构建社会化推荐引擎，帮助Web应用开发者更高效的实现个性化推荐功能，从而提高最终用户满意度。

进一步，所述后台管理模块包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块和商品推荐库模块；

所述权重设置模块用于对数据收集模块收集到的各种数据进行加权设置。

进一步，所述mahout算法库中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法；

协同过滤(CF)：一般是在海量的用户中发掘出一小部分和你品位比较类似的，在协同过滤中，这些用户成为邻居，然后根据他们喜欢的其他东西组细成一个排序的目录作为推荐给你；

基于item的CF：即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏好，推荐相似的物品给他；

商品DNA：如果商品设定下架时间，则到达此时间点，推荐系统会进行屏蔽，如果设定商品上架时间，则未到达此时间点，推荐系统会进行屏蔽，对特定品牌的商品增加权重，对含有某一关键词的商品增加权重

基于内容的推荐：(俩商品之间的标题文字匹配程度超过设定阀值，增加相应的权重)商品属性(比如说颜色，品牌)相同，根据配置会增加dna权重；同一价格区间的商品-可以配置相似度权重；

基于关联规则：它将推荐给用户一些采用关联规则发现算法计算出的内容；数据清理：对用户和商品分别计数，过滤掉一些超不活跃的用户和超冷门的商品计算两种商品之间的支持度、置信度、提升度，根据最低支持度、最低置信度、最低提升度剪枝，把低于最小值的规则扔掉；对商品A进行推荐：找出商品A的所有规则，按照置信度降序排序，Top-N即为和商品A最相关的前N种商品；

混合推荐引擎：结合以上各种推荐算法，得到一个更加全面的推荐效果。

进一步，所述查询接口包括商品DNA采集接口和商品删除接口。

本发明依赖以下数据：

浏览日志：用户/sessionID；商品ID和品牌ID或当前访问的ur1；访问时间；商品的类别信息(如果有的话)；

购买信息(goods表)：用户ID；商品和品牌ID；购买时间；商品类别信息；

购物车信息：同购买信息

商品信息表：商品标题或描述；品牌；尺寸；价格；上架时间，下架时间；颜色，规格；库存量；商品类别(衣服，鞋，化妆品这些类别)；使用人群(男，女，儿童，或奢侈品)。

附图说明

图1为本发明实施例1所述的即时推荐系统的结构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例1所述的一种即时推荐系统，包括数据收集模块1、搜索关键字模块2、推荐规则库模块3、商品推荐库模块5和后台管理模块4；所述数据收集模块1用于收集历史数据信息并发送至搜索关键字模块2；所述搜索关键字模块2接收数据收集模块1传输的数据并根据推荐规则库模块3内传输的数据进行搜索和计算，并将处理后的数据传输至商品推荐库模块5；所述后台管理模块4用于配置规则并发送指令至推荐规则库模块3和商品推荐库模块5控制推荐规则库模块3和商品推荐库模块5；所述推荐规则库模块2用于存储后台管理模块4发送的数据并将根据搜索关键字模块2发送的指令发送数据至搜索关键字模块2；所述商品推荐库模块5接收后台管理模块4和搜索关键字模块2发送的数据并发送到应用网站。

所述即时推荐系统还包括查询接口6，所述商品推荐库模块5通过查询接口6将所述数据发送至应用网站。

所述搜索关键字模块2包括计算模块21和mahout算法库22，所述计算模块21接收推荐规则库模块3发送的指令，并按照所述指令对从数据收集模块1接收到的数据进行相应操作；所述mahout算法库22对从计算模块21接收到的数据进行总结并得出规律，并保存所述规律。

所述后台管理模块4包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块3和商品推荐库模块5；

所述权重设置模块用于对数据收集模块2收集到的各种数据进行加权设置。

所述mahout算法库22中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法。

所述查询接口6包括商品DNA采集接口和商品删除接口。

####必要软件列表#############################################

并行计算平台

HADOOP

推荐核心

MAHOUT

元数据库

MYSQL

日志采集和商品DNA接收

LIBEVENT

VQHTTP

运行脚本

SHELL

提供推荐

TOMCAT

安装步骤：

###用户和组创建##############################################

groupadd hadoop

useradd -m-g hadoop hadoop

id hadoop

####打开文件数设置(hbase需要)##################################

echo″hadoop-nofile 65536″＞＞/etc/security/limits.conf

service sshd restart

####Jdk安装###################################################

./jdk-6u24-linux-x64-rpm.bin(默认安装路径在/usr/java下)

####创建相关目录###############################################

mkdir p/home/hadoop/software

(把所需软件包都放到该目录下)

mkdir-p/home/hadoop/data/log/pids

chown-R hadoop：hadoop/home/hadoop/data

#每个硬盘挂载一个数据目录，并所属给hadoop。

####配置SSH无密码登##########################################

su hadoop

ssh-keygen-t rsa

cd-

chmod 700.ssh

chmod 700-

cat/.ssh/id_rsa.pub＞＞/.ssh/authorized_keys

vi/etc/ssh/sshd_config

；保证如下属性：

RSAAuthentication yes

PubkeyAuthentication yes

vim/etc/ssh/sshd_config

添加或修改下面这行

PasswordAuthentication no

重启SSH服务

service sshd restart

4.为了安全你需要取消SSH的密码认证方式.(可选，安全性高)

vim/etc/ssh/sshd_config

添加下面这行

PasswordAuthentication no

重启SSH服务

service sshd restart

-----------------------------------------------------------------

----------------------------------------------------------------

注意：

问题1：如果登陆时，出现server refused our key的提示，请按照下面的方法解决：

修改vi/etc/ssh/sshd_config文件(按下面设置即可)

RSAAuthentication yes #启用RSA认证(默认是注释掉的，将注释去掉，如果不是yes，改为yes)

PubkeyAuthentication yes #启用公钥认证(默认是注释掉的，将注释去掉，如果不是yes，改为yes)

PasswordAuthentication no #禁止密码认证(改为no，默认为yes是用密码认证)

StrictModes no #修改为no，默认为yes.如果不修改用key登陆，可能会出现server refused our key 的提示。(如果StrictModes为yes必需保证存放公钥的文件夹的拥有者与登陆用户名是相同的).“StrictModes”设置ssh在接收登录请求之前是否检查用户家目录和rhosts文件的权限和所有权。这通常是必要的，因为新手经常会把自己的目录和文件设成任何人都有写权限。)

另外，设置authorized_keys的权限为644即：chmod 644/.ssh/authorized_keys

问题2：Address*.*.*.*maps to localhost，but this does not mapback to the address POSSIBLE BREAK-IN ATTEMPT！

解决办法：

vi/etc/ssh/sshd_config

GSSAPIAuthentication yes

修改成：

GSSAPIAuthentication no

-----------------------------------------------------------------

----------------------------------------------------------------

Scp/home/hadoop/.ssh/id_rsa.pub 192.168.0.72：/home/hadoop/.ssh

用hadoop用户登录192.168.0.72服务器

cd

cat.ssh/id_rsa.pub＞authorized_keys

(把namenode的公钥分发到每个datanode上)

####安装hadoop#############################################

pwd

显示/data1/software

tar-xzvf hadoop-0.20.2-cdh3u1.tar.gz

mv r hadoop-0.20.2-cdh3u1../

cd ../

pwd

显示/data1

####配置hostname###########################################

如果是namenode请配置hostname namenode

如果是datanode1请配置hostname datanode1

如果是datanode2请配置hostname datanode2

以此类推。

Source/etc/sysconfig/network

####配置hosts###############################################

127.0.0.1 namenode

192.168.0.70 namenode

192.168.0.70 datanode1

192.168.0.70 datanode2

192.168.0.70 datanode3

####环境变量################################################

export JAVA_HOME＝/usr/java/jdk1.6.0_24

export HADOOP_HOME＝/home/hadoop/hadoop-0.20.2-cdh3u1

export

PATH＝$PATH：/home/hadoop/hadoop-0.20.2-cdh3u1/bin：/home/hadoop/mahout/bin：/usr/java/jdk1.6.0_24/bin：/home/hadoop/apache-maven-3.0.3/bin

export TMOUT＝1000000

source/etc/profile

####格式化###################################################

su hadoop

hadoop namenode format

####启动#####################################################

./start-all.sh

hadoop web地址

http://183.129.134.82：50030

http://183.129.134.82：50070

####日志查看#################################################

ls-li/data1/hadoop/log

####libevent安装##############################################

tar xzvf libevent-2.0.9-rc.tar.gz

cd libevent-2.0.9-rc

./configure

make

make install

ldconfig

####httpserver安装############################################

配置文件修改vqconfig.h

#define HOME_DIR″/home/hadoop/vqhttpd″

修改为实际的采集路径

Make

mkdir-p/home/hadoop/vqhttpd/data/dna

mkdir-p/home/hadoop/vqhttpd/data/cf

mkdir p/home/hadoop/vqhttpd/logs

./start_server.sh

####安装shell#################################################

修改config.sh配置相关目录

赋予执行权限

chmod 744*.sh

定时任务设置

导入

10*/1***/xxx/shell/crontabRunImport.sh 0 1 all＞/dev/null2＞&1

离线计算

20*/1***/xxx/shell/crontabRunStat.sh 0 1 all＞/dev/null 2＞&1####推荐查询部署##############################################

部署tomcat

发布jsp

发布getRecommend.js

http://192.168.0.15/js/demo_dna_collect.html dna采集demo

http://192.168.0.15/js/demo_cf_collect.html cf访问信息demo

####mahout安装###############################################

cd/home/hadoop/mahout

rm/home/hadoop/mahout /*-rf

svn up./

mvn clean

mvn compile

mvn-DskipTests install

chmod 777./bin/mahout

####启动操作#####################################################

Root用户

启动apache模拟应用

/home/hadoop/apache/bin/apachectl start

启动tomcat提供推荐查询

/opt/apache-tomcat-6.0.32/bin/startup.sh

启动vqhttp收集打点和商品DNA

/home/hadoop/htttpserver/start_server.sh

Hadoop用户

启动hadoop

start-all.sh

生成测试数据(可选测试用)

#生成访问/购买测试数据

mahout make_rec_cleanupdata /data/makedata/data/makedata_result 5

#生成商品DNA测试数据

mahout make_rec_iteminfo/data/makeDNA/data/makeDNA_result 5

导入数据(可选)

/home/hadoop/shell/crontabRunImport.sh 0 1 all

日志地址

/home/hadoop/shell/log/vqhttp

Mahout相似度计算(可选)

/home/hadoop/shell/crontabRunStat.sh 0 1 all

日志地址

/home/hadoop/shell/log/vipshop

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种即时推荐系统，其特征在于，包括数据收集模块、搜索关键字模块、推荐规则库模块、商品推荐库模块和后台管理模块；

2.根据权利要求1所述的即时推荐系统，其特征在于，所述即时推荐系统还包括查询接口，所述商品推荐库模块通过查询接口将所述数据发送至应用网站。

3.根据权利要求1所述的即时推荐系统，其特征在于，所述搜索关键字模块包括计算模块和mahout算法库，所述计算模块接收推荐规则库模块发送的指令，并按照所述指令对从数据收集模块接收到的数据进行相应操作；所述mahout算法库对从计算模块接收到的数据进行总结并得出规律，并保存所述规律。

4.根据权利要求1所述的即时推荐系统，其特征在于，所述后台管理模块包括项目管理模块和权重设置模块，所述项目管理模块用于管理推荐规则库模块和商品推荐库模块；

5.根据权利要求3所述的即时推荐系统，其特征在于，所述mahout算法库中包括协同过滤算法、基于item的CF、商品DNA推荐算法、基于内容的推荐算法、基于关联规则推荐算法和混合推荐算法。

6.根据权利要求2至5任一项所述的即时推荐系统，其特征在于，所述查询接口包括商品DNA采集接口和商品删除接口。