CN109670116A - 一种基于大数据的智能推荐系统 - Google Patents

Abstract

本发明公开了一种基于大数据的智能推荐系统，属于数据处理技术领域，收集用户的日志信息和实时操作属性，并写入到服务器，以及对服务器反馈的推荐结果信息进行展示的客户端、对收集的用户日志信息和实时操作属性，采用深度学习技术进行数据分析，建立用户兴趣模型的服务器和根据用户兴趣模型，利用推荐算法实时筛选出要推荐的产品，再通过服务器返回到客户端进行展示的云端大数据库，所述客户端与服务器连接，所述服务器与云端大数据库连接；本发明解决了传统推荐系统存在推荐信息不精确、不具有实时性，受环境限制较大的问题。

Description

一种基于大数据的智能推荐系统

技术领域

本发明属于数据处理技术领域，涉及一种基于大数据的智能推荐系统。

背景技术

随着移动信息的发展，信息数据量不断增长，电子商务和大数据概念受到了各界的普遍关注。作为一场新的技术革命，如何充分运用大数据，如何在大数据环境下快速有效地提取有价值的信息是当前比较热门的话题，而解决这个问题的最好工具便是推荐系统。

因此，市场上也存在一些推荐系统，比如运用在网上购物平台的产品推荐系统，这种系统一般分为两个阶段，数据预处理阶段和推荐生成阶段；在数据预处理阶段，可以根据用户历史搜索记录和浏览记录中获取用户偏好；在推荐生成阶段，根据用户偏好推荐用户当前较为关注的产品信息。但这种传统推荐系统存在一个问题，当用户删除历史记录时，系统便无法推荐合适的产品，推荐信息不精确，而且，都是根据用户历史信息来推荐，不具有实时性。

因此，本发明提出了一种基于大数据的智能推荐系统。

发明内容

本发明的目的在于：提供了一种基于大数据的智能推荐系统，解决了传统推荐系统存在推荐信息不精确、不具有实时性，受环境限制较大的问题。

本发明采用的技术方案如下：

一种基于大数据的智能推荐系统，包括客户端、服务器和云端大数据库，所述客户端与服务器连接，所述服务器与云端大数据库连接；

所述客户端收集用户的日志信息和实时操作属性，并写入到服务器，以及对服务器反馈的推荐结果信息进行展示；

所述服务器对收集的用户日志信息和实时操作属性，采用深度学习技术进行数据分析，建立用户兴趣模型；

所述云端大数据库根据用户兴趣模型，利用推荐算法实时筛选出要推荐的产品，再通过服务器返回到客户端进行展示。

进一步地，所述客户端可以是Web端或移动端，包括日志系统和界面展示，所述日志系统实时收集用户日志信息后写入服务器中，并向服务器中传入用户当前运行时的实时操作属性。

更进一步地，所述用户日志信息包括历史浏览信息、历史下载、历史点击时间、历史点击次数、历史点击顺序、历史停留时间、历史搜索内容、历史评论内容、历史评分、历史问答、已收藏和已购买的信息。

更进一步地，所述实时操作属性包括当前浏览信息、当前页面停留时间和当前流行趋势。

进一步地，所述服务器包括静态数据分析模块、动态数据分析模块和用户建模模块；

所述静态数据分析模块采用深度学习技术对客户端收集到的用户日志信息进行分析，并将分析结果传送至用户建模模块；

所述动态数据分析模块采用在线实时处理方式对客户端收集到的实时操作属性进行分析，并将分析结果传送至用户建模模块；

所述用户建模模块对静态数据分析模块和动态数据分析模块的分析结果进行合并分析，建立用户兴趣模型，获得用户的喜好。

更进一步地，所述用户兴趣模型分为短期兴趣模型和长期兴趣模型，所述短期兴趣模型从历史记录中深度学习，与热点话题关联；所述长期兴趣模型从用户对该产品进行收藏或购买的真实行为中提取。

更进一步地，所述用户兴趣模型为向量空间模型、语义网络模型或基于分类器的模型。

进一步地，所述云端大数据库包括数据建模模块、推荐引擎模块和数据存储模块；

所述数据建模模块对拟推荐的产品数据进行准备，将其表示成有利于分析的数据形式，以及确定要推荐给用户的候选产品，并对物品进行分类、聚类等预处理；

所述推荐引擎模块根据用户兴趣模型，利用推荐算法实时从候选产品中筛选出用户感兴趣的物品，进行排序后通过服务器返回到客户端，最终将数据快速展示给用户；

所述数据存储模块保存所有固定属性数据和推荐引擎模块的推荐结果。

更进一步地，所述服务器还包括数据传输模块，与数据存储模块和用户界面连接，将推荐结果从数据存储模块中调出并显示到用户界面。

更进一步地，所述推荐引擎模块采用在线推荐和离线推荐两种方式；

当数据量不大时，选用在线方式并根据数据特点，选用Mahout的单机内存推荐引擎算法读取数据建模模块的候选产品数据，并将计算后的结果保存到数据存储模块中；

当数据量超过了单机内存运行能力时，选择离线运行方式，将数据存储模块中的数据定时地增量导入到Hadoop的HDFS中，然后用Mahout的分布式推荐引擎算法访问HDFS并将推荐结果保存到数据存储模块。

更进一步地，所述单机内存推荐引擎算法包括全局排序算法和协同过滤算法；

所述全局排序算法计算出用户没有选择过的最热门产品；

所述协同过滤算法为基于产品的协同过滤算法，利用产品之间的相似度来为用户进行产品的推荐。

更进一步地，所述数据存储模块采用MySQL数据库集群，存储用户、产品的固定属性数据和推荐引擎模块产生的推荐结果数据。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.一种基于大数据的智能推荐系统，通过客户端收集用户的日志信息和实时操作属性，得到的用户信息更具有实时性，再通过服务器进行静态分析和动态分析，并将两种分析结果进行结合，可以轻松地绕过海量数据的高并发在线分析的问题，得到更为精确的用户兴趣模型，再通过云端大数据库的推荐算法实时筛选，从而使得系统的推荐更精准，且云端大数据库保存了所有固定属性数据和推荐引擎模块的推荐结果，对于之后用户通过其他客户端连接云端大数据库时，不再受环境限制，系统仍然可以再次进行精确推荐。

2.本发明的系统可不断收集用户日志信息，更新用户兴趣模型，从而不断改善推荐结果，属于闭环反馈系统，且该系统推荐产品的精度较高，解决了数据稀疏性问题。

3.本发明中所述推荐引擎模块采用在线推荐和离线推荐两种方式结合，适用于不同数据量处理的智能推荐系统，解决了传统推荐系统中随着数据量的增大而导致系统的可扩展性低和计算效率低下的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：

图1是一种基于大数据的智能推荐系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

一种基于大数据的智能推荐系统，解决了传统推荐系统存在推荐信息不精确、不具有实时性，受环境限制较大的问题。

一种基于大数据的智能推荐系统，包括客户端、服务器和云端大数据库，所述客户端与服务器连接，所述服务器与云端大数据库连接；

所述客户端收集用户的日志信息和实时操作属性，并写入到服务器，以及对服务器反馈的推荐结果信息进行展示；

所述服务器对收集的用户日志信息和实时操作属性，采用深度学习技术进行数据分析，建立用户兴趣模型；

所述云端大数据库根据用户兴趣模型，利用推荐算法实时筛选出要推荐的产品，再通过服务器返回到客户端进行展示。

本发明通过客户端收集用户的日志信息和实时操作属性，得到的用户信息更具有实时性，再通过服务器进行静态分析和动态分析，并将两种分析结果进行结合，可以轻松地绕过海量数据的高并发在线分析的问题，得到更为精确的用户兴趣模型，再通过云端大数据库的推荐算法实时筛选，从而使得系统的推荐更精准，且云端大数据库保存了所有固定属性数据和推荐引擎模块的推荐结果，对于之后用户通过其他客户端连接云端大数据库时，不再受环境限制，系统仍然可以再次进行精确推荐。

下面结合实施例对本发明的特征和性能作进一步的详细描述。

实施例一

本发明较佳实施例提供的一种基于大数据的智能推荐系统，包括客户端、服务器和云端大数据库，所述客户端与服务器连接，所述服务器与云端大数据库连接；

所述客户端收集用户的日志信息和实时操作属性，并写入到服务器，以及对服务器反馈的推荐结果信息进行展示；

所述服务器对收集的用户日志信息和实时操作属性，采用深度学习技术进行数据分析，建立用户兴趣模型；

所述云端大数据库根据用户兴趣模型，利用推荐算法实时筛选出要推荐的产品，再通过服务器返回到客户端进行展示。

进一步地，所述客户端可以是Web端或移动端，包括日志系统和界面展示，所述日志系统实时收集用户日志信息后写入服务器中，并向服务器中传入用户当前运行时的实时操作属性。

更进一步地，所述用户日志信息包括历史浏览信息、历史下载、历史点击时间、历史点击次数、历史点击顺序、历史停留时间、历史搜索内容、历史评论内容、历史评分、历史问答、已收藏和已购买的信息。

更进一步地，所述实时操作属性包括当前浏览信息、当前页面停留时间和当前流行趋势。

进一步地，所述服务器包括静态数据分析模块、动态数据分析模块和用户建模模块；

所述静态数据分析模块采用深度学习技术对客户端收集到的用户日志信息进行分析，并将分析结果传送至用户建模模块；

所述动态数据分析模块采用在线实时处理方式对客户端收集到的实时操作属性进行分析，并将分析结果传送至用户建模模块；

所述用户建模模块对静态数据分析模块和动态数据分析模块的分析结果进行合并分析，建立用户兴趣模型，获得用户的喜好，合并分析的方式，可以轻松地绕过海量数据的高并发在线分析的问题。

更进一步地，所述静态数据分析模块和动态数据分析模块均采用离线分析，既不会有高并发问题，又不存在响应时间的压力。

更进一步地，所述用户兴趣模型分为短期兴趣模型和长期兴趣模型，所述短期兴趣模型从历史记录中深度学习，与热点话题关联；所述长期兴趣模型从用户对该产品进行收藏或购买的真实行为中提取。

更进一步地，所述用户兴趣模型为向量空间模型、语义网络模型或基于分类器的模型。

进一步地，所述云端大数据库包括数据建模模块、推荐引擎模块和数据存储模块；

所述数据建模模块对拟推荐的产品数据进行准备，将其表示成有利于分析的数据形式，以及确定要推荐给用户的候选产品，并对物品进行分类、聚类等预处理；

所述推荐引擎模块根据用户兴趣模型，利用推荐算法实时从候选产品中筛选出用户感兴趣的物品，进行排序后通过服务器返回到客户端，最终将数据快速展示给用户；

所述数据存储模块保存所有固定属性数据和推荐引擎模块的推荐结果。

更进一步地，所述服务器还包括数据传输模块，与数据存储模块和用户界面连接，将推荐结果从数据存储模块中调出并显示到用户界面。

更进一步地，所述推荐引擎模块采用在线推荐和离线推荐两种方式；

当数据量不大时，选用在线方式并根据数据特点，选用Mahout的单机内存推荐引擎算法读取数据建模模块的候选产品数据，并将计算后的结果保存到数据存储模块中；

当数据量超过了单机内存运行能力时，选择离线运行方式，将数据存储模块中的数据定时地增量导入到Hadoop的HDFS中，然后用Mahout的分布式推荐引擎算法访问HDFS并将推荐结果保存到数据存储模块。两种方式结合的推荐引擎模块，适用于不同数据量处理的智能推荐系统，解决了传统推荐系统中随着数据量的增大而导致系统的可扩展性低和计算效率低下的问题。

更进一步地，所述单机内存推荐引擎算法包括全局排序算法和协同过滤算法；

所述全局排序算法计算出用户没有选择过的最热门产品；

所述协同过滤算法为基于产品的协同过滤算法，利用产品之间的相似度来为用户进行产品的推荐。所述协同过滤算法具体包括两个步骤：首先，根据用户实时操作的行为数据找到和目标用户兴趣相似的用户集合，再找到这个集合中用户喜欢的且目标用户没有购买过的产品，推荐给目标用户，多种算法结合，可针对不同特点的数据集，弥补算法之间的不足。

更进一步地，所述相似度通过不同用户对该产品的偏好值来求出，所述偏好值可以使用欧几里德距离、余弦距离或对数似然距离这三种向量距离计算公式来求出，就得到了产品相似度矩阵。

更进一步地，所述数据存储模块采用MySQL数据库集群，存储用户、产品的固定属性数据和推荐引擎模块产生的推荐结果数据，所述数据存储模块的数据文件并非存储在本地单一节点上，而是通过网络存储在多台节点上，并且文件的位置索引管理一般都由一台或几台中心节点负责，数据建模模块从集群中读写数据时，首先通过中心节点获取文件的位置，然后与集群中的节点通信，数据建模模块通过网络从节点读取数据到本地或把数据从本地写入节点，在这个过程中由HDFS来管理数据冗余存储、大文件的切分、中间网络通信、数据出错恢复等，数据建模模块根据HDFS提供的接口进行调用即可，非常方便。

本发明通过客户端收集用户的日志信息和实时操作属性，得到的用户信息更具有实时性，再通过服务器进行静态分析和动态分析，并将两种分析结果进行结合，可以轻松地绕过海量数据的高并发在线分析的问题，得到更为精确的用户兴趣模型，再通过云端大数据库的推荐算法实时筛选，从而使得系统的推荐更精准，且云端大数据库保存了所有固定属性数据和推荐引擎模块的推荐结果，对于之后用户通过其他客户端连接云端大数据库时，不再受环境限制，系统仍然可以再次进行精确推荐。

本发明的系统可不断收集用户日志信息，更新用户兴趣模型，从而不断改善推荐结果，属于闭环反馈系统，且该系统推荐产品的精度较高，解决了数据稀疏性问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明的保护范围，任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的智能推荐系统，其特征在于：包括客户端、服务器和云端大数据库，所述客户端与服务器连接，所述服务器与云端大数据库连接；

所述客户端收集用户的日志信息和实时操作属性，并写入到服务器，以及对服务器反馈的推荐结果信息进行展示；

所述服务器对收集的用户日志信息和实时操作属性，采用深度学习技术进行数据分析，建立用户兴趣模型；

所述云端大数据库根据用户兴趣模型，利用推荐算法实时筛选出要推荐的产品，再通过服务器返回到客户端进行展示。

2.根据权利要求1所述的一种基于大数据的智能推荐系统，其特征在于：所述客户端可以是Web端或移动端，包括日志系统和界面展示，所述日志系统实时收集用户日志信息后写入服务器中，并向服务器中传入用户当前运行时的实时操作属性。

3.根据权利要求1所述的一种基于大数据的智能推荐系统，其特征在于：所述服务器包括静态数据分析模块、动态数据分析模块和用户建模模块；

所述静态数据分析模块采用深度学习技术对客户端收集到的用户日志信息进行分析，并将分析结果传送至用户建模模块；

所述动态数据分析模块采用在线实时处理方式对客户端收集到的实时操作属性进行分析，并将分析结果传送至用户建模模块；

所述用户建模模块对静态数据分析模块和动态数据分析模块的分析结果进行合并分析，建立用户兴趣模型，获得用户的喜好。

4.根据权利要求3所述的一种基于大数据的智能推荐系统，其特征在于：所述用户兴趣模型分为短期兴趣模型和长期兴趣模型，所述短期兴趣模型从历史记录中深度学习，与热点话题关联；所述长期兴趣模型从用户对该产品进行收藏或购买的真实行为中提取。

5.根据权利要求3所述的一种基于大数据的智能推荐系统，其特征在于：所述用户兴趣模型为向量空间模型、语义网络模型或基于分类器的模型。

6.根据权利要求1所述的一种基于大数据的智能推荐系统，其特征在于：所述云端大数据库包括数据建模模块、推荐引擎模块和数据存储模块；

所述数据建模模块对拟推荐的产品数据进行准备，将其表示成有利于分析的数据形式，以及确定要推荐给用户的候选产品，并对物品进行分类、聚类等预处理；

所述推荐引擎模块根据用户兴趣模型，利用推荐算法实时从候选产品中筛选出用户感兴趣的物品，进行排序后通过服务器返回到客户端，最终将数据快速展示给用户；

所述数据存储模块保存所有固定属性数据和推荐引擎模块的推荐结果。

7.根据权利要求2、3或6所述的一种基于大数据的智能推荐系统，其特征在于：所述服务器还包括数据传输模块，与数据存储模块和用户界面连接，将推荐结果从数据存储模块中调出并显示到用户界面。

8.根据权利要求6所述的一种基于大数据的智能推荐系统，其特征在于：所述推荐引擎模块采用在线推荐和离线推荐两种方式；

当数据量不大时，选用在线方式并根据数据特点，选用Mahout的单机内存推荐引擎算法读取数据建模模块的候选产品数据，并将计算后的结果保存到数据存储模块中；

当数据量超过了单机内存运行能力时，选择离线运行方式，将数据存储模块中的数据定时地增量导入到Hadoop的HDFS中，然后用Mahout的分布式推荐引擎算法访问HDFS并将推荐结果保存到数据存储模块。

9.根据权利要求8所述的一种基于大数据的智能推荐系统，其特征在于：所述单机内存推荐引擎算法包括全局排序算法和协同过滤算法；

所述全局排序算法计算出用户没有选择过的最热门产品；

所述协同过滤算法为基于产品的协同过滤算法，利用产品之间的相似度来为用户进行产品的推荐。

10.根据权利要求6所述的一种基于大数据的智能推荐系统，其特征在于：所述数据存储模块采用MySQL数据库集群，存储用户、产品的固定属性数据和推荐引擎模块产生的推荐结果数据。