CN107526754A - 一种基于大数据的用户画像平台建立方法 - Google Patents

Abstract

本发明公开一种基于大数据的用户画像平台建立方法，结合企业用户日常数据，网络抓取数据，开发商数据，第三方数据等，通过数据分析去了解用户，根据他们的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予名字、照片、一些人口统计学要素、场景等描述，就形成了一个画像原型。

Description

一种基于大数据的用户画像平台建立方法

技术领域

本发明涉及一种基于大数据的用户画像平台建立方法，通过搭建一个用户画像平台，将本身拥有大量用户数据的数据平台和可视化数据工具平台连接起来，根据不同的用户交互场景，应用挖掘数据平台的价值，让研发生产，用户研究，市场营销等人员能够根据需要，随时自主地分析不同产品用户特征，快速洞察用户需求。该平台需要回答的核心问题是：用户是谁， 用户需求是什么，用户在哪里。

背景技术

从1991年Tim Berners-Lee发明了万维网（World Wide Web）开始，到20年后2011年，互联网真正走向了一个新的里程碑，进入了“大数据代”。经历了12、13两年热炒之后，人们逐渐冷静下来，更加聚焦于如何利用大数据挖掘潜在的商业价值，如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新，个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分析，大数据第一次使得企业能够通过互联网便利地获取用户更为广泛的反馈信息，为进一步精准、快速地分析用户行为习惯、消费习惯等重要商业信息，提供了足够的数据基础。伴随着对人的了解逐步深入，一个概念悄然而生：用户画像（UserProfile），完美地抽象出一个用户的信息全貌，可以看作企业应用大数据的根基。

用户画像就是在解决把数据转化为商业价值的问题，就是从海量数据中来挖金炼银。这些以TB计的高质量多维数据记录着用户长期大量的网络行为，用户画像据此来还原用户的属性特征、社会背景、兴趣喜好，甚至还能揭示内心需求、性格特点、社交人群等潜在属性。了解了用户各种消费行为和需求，精准刻画人群特征，并针对特定业务场景进行用户特征不同维度的聚合，就可以把原本冷冰冰的数据复原成栩栩如生的用户形象，从而指导和驱动业务场景和运营，发现和把握蕴藏在细分海量用户中的巨大商机。

用户画像，即用户信息标签化，就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后，完美地抽象出一个用户的商业全貌，可以看作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础，能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。

用户画像的焦点工作就是为用户打“标签”，而一个标签通常是人为规定的高度精炼的特征标识，如年龄、性别、地域、用户偏好等，最后将用户的所有标签综合来看，就可以勾勒出该用户的立体“画像”了。

发明内容

本发明提供一种基于大数据的用户画像平台建立方法，通过结合广州速鸿科技科技有限公司的数据库数据、企业用户日常数据、互联网数据、第三方数据及其他数据，结合实际需求，找出相关的数据实体，以数据实体为中心规约数据维度类型和关联关系，形成符合客户实际情况的用户画像体系。

为了实现上述目的，本发明采用的技术方案如下。

基于大数据的用户画像平台建立方法，包括以下步骤。

（1）数据源系统，解决数据从哪里来。数据源包括开发商数据、企业用户日常数据、互联网数据、第三方数据及其他数据，然后通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据。

（2）数据存储系统，用来存储数据。数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQL SERVER数据库。

（3）算法平台。算法平台的算法引擎包括R算法引擎、Python算法引擎、JAVA算法引擎。

（4）可视化展示。可以通过PC端和移动端展示，并应用于个性化、精准营销、事件预警、决策支持等方面。

与现有技术相比，本发明具有以下有益效果。

（1）改变以往闭门造车的生产模式，通过事先调研用户需求，设计制造更适合用户的产品，提升用户体验。

(2) 根据产品特点，找到目标用户，在用户偏好的渠道上与其交互，促成购买，实现精准运营和营销。

附图说明

图1为本发明的流程图。

图2为本发明的爬虫引擎示意图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

基于大数据的用户画像平台建立方法，如图1所示，所构建系统的体系结构从下往上包括如下几个层级：数据源系统、数据存储系统、算法平台、可视化展示。

1、一种基于大数据的用户画像平台建立方法，其中所述数据源系统包括如下几种数据：开发商数据、企业用户日常数据、互联网数据、第三方数据、其他数据，开发商数据来自广东速鸿科技科技有限公司已有数据库，企业用户日常数据是企业自身产生的数据，如OA系统、CRM系统、客户交易数据等，互联网数据来自用户线上数据，通过广东速鸿科技科技有限公司的爬虫引擎来进行爬取，如图2所示，第三方数据是竞争对手、数据提供商等的数据；通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据，广州速鸿科技科技有限公司的ETL清洗工具包括kettle、datastage、informatica三种工具。

2、一种基于大数据的用户画像平台建立方法，其中所述数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQL SERVER数据库，其中ORACLE数据库、MYSQL数据库及SQL SERVER数据库用来存储结构化的数据，SPARK和Hadoop可以用来存储结构化及非结构化的数据，Hadoop中的HDFS是Hadoop分布式文件系统(DistributedFile System)，大文件被分成默认64M一块的数据块分布存储在集群机器中，HBase:类似Google BigTable的分布式NoSQL列数据库，是一个适合于非结构化数据存储的数据库，Hive是数据仓库工具，是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

3、一种基于大数据的用户画像平台建立方法，其中所述算法平台包括R算法引擎、Python算法引擎、JAVA算法引擎，算法平台中用到的算法包括重定向(Retargeting)、关联规则(Association Rule)、协作推荐CF、矩阵分解MF、图挖掘(Graph Mining)、热度推荐、规则推荐、内容推荐(Content based)、预测模型(Predict model)、混合模型(Hybridmodel)、时序分析(Time series analysis)、仿真(Simulation)、空间分析(Spatialanalysis)、信号处理(Signal processing)、回归分析(Regression)、预测模型(Predictive modeling )、模式识别(Pattern recognize)、最优化(optimization)、分类法(classification)、群集分析(cluster analysis)、众包(crowdsourcing)、数据融合&数据集成(Data fusion and data integration)、集成学习(ensemble learning)、遗传算法(genetic algorithm)、自然语言处理(natural language processing，NLP)、神经网络(neural network)、网络分析(network analysis)、最优化(Optimization)、C4.5算法、CART算法、KNN(K最近邻)算法、Naive Bayes(朴素贝叶斯)算法、.SVM(支持向量机)算法、EM(期望最大化)算法、Apriori算法、FP-Tree(频繁模式树)算法、PageRank(网页重要性/排名)算法、HITS算法、K-Means(K均值)算法、BIRCH算法、AdaBoost算法、GSP算法、PreFixSpan算法、CBA(基于关联规则分类)算法、RoughSets(粗糙集)算法、gSpan算法。

4、一种基于大数据的用户画像平台建立方法，其中所述可视化展示，可以通过PC端和移动端展示，并应用于个性化、精准营销、事件预警、决策支持等方面，比如在研发新产品前，先基于产品期望定位，在用户画像平台中分析该用户群体的偏好，有针对性的设计产品，从而改变原先新产品高失败率的窘境，增强销售表现，或针对已有产品，寻找所偏好的精准人群分类，以及这些人群在信息渠道和购买渠道上的分布比例，来决定广告投放和活动开展的位置、内容等，实现精准营销。

按照上述实施例，便可很好地实现本发明。

Claims (5)

1.一种基于大数据的用户画像平台建立方法，其特征在于：包括以下步骤：

步骤一、数据源系统，解决数据从哪里来

数据源包括开发商数据、企业用户日常数据、互联网数据、第三方数据及其他数据，然后通过广东速鸿科技科技有限公司的自主研发爬虫数据抓取平台抓取数据，经过ETL工具进行清洗数据；

步骤二、数据存储系统，用来存储数据

数据存储系统包括SPARK数据库、ORACLE数据库、Hadoop数据库、MYSQL数据库及SQLSERVER数据库；

步骤三、算法平台

算法平台的算法引擎包括R算法引擎、Python算法引擎、JAVA算法引擎；

步骤四、可视化展示

可以通过PC端和移动端展示，并应用于个性化、精准营销、事件预警、决策支持等方面。

2.如权利要求1所述，用户画像平台可以为企业提供足够的信息基础，能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。

3.如权利要求1所述，用户画像平台改变以往闭门造车的生产模式，通过事先调研用户需求，设计制造更适合用户的产品，提升用户体验。

4.如权利要求1所述，用户画像平台根据产品特点，找到目标用户，在用户偏好的渠道上与其交互，促成购买，实现精准运营和营销。

5.如权利要求1所述，用户画像平台将用户信息标签化，通过收集与分析企业消费者社会属性、生活习惯、消费行为等主要信息的数据之后，能够完美地抽象出一个用户的商业全貌。