CN107229708A - 一种个性化出行服务大数据应用系统及方法 - Google Patents

Abstract

本发明公开了一种个性化出行服务大数据应用系统，包括数据采集单元、数据融合单元、标签建设单元、画像分析单元、图谱单元、推荐单元、机器学习引擎及API开放平台，标签建设单元用于针对用户打标签，画像分析单元用于对已经打好标签的用户进行群体或者个体的分析，获得画像分析结果，图谱单元采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络，推荐单元用于制定并执行相应的推荐算法模型，机器学习引擎用于提供工作过程中所需的算法模型，API开放平台用于为开发者提供数据接口。本发明基于画像分析和行为图谱，为个性化出行服务的业务场景提供了有力的数据基础，同时确保了线上推荐的便捷性和精准性。

Description

一种个性化出行服务大数据应用系统及方法

技术领域

本发明涉及大数据处理技术领域，特别涉及一种个性化出行服务大数据应用系统及方法。

背景技术

线上预订、线上推荐、线上支付作为交通出行的新的表现形式，在近几年移动互联网技术的高速发展下呈现爆发式的增长。线上预订通过线上平台提供购物、餐饮、休息室、约车等服务，线上推荐通过旅客的基本信息和行为进行不同场景下的推荐，线上支付通过微信、支付宝、网上银行等方式提供便捷的支付渠道。

近年来，随着用户在线上的电商服务和支付的金融服务上可选择性的不断增多，分析数据量和数据类型的不断增多，对用户行为的分析上复杂性越来越高，所以我们迫切需要提出有效的技术和应用方式来解决不断复杂的用户个性化需求。

发明内容

为解决上述问题，本发明提供了一种个性化出行服务大数据应用系统及方法。

本发明采用以下技术方案：

一种个性化出行服务大数据应用系统，包括数据采集单元、数据融合单元、标签建设单元、画像分析单元、图谱单元、推荐单元、机器学习引擎及API开放平台，其中：

所述数据采集单元用于采集用户的原始出行数据；

所述数据融合单元用于对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据；

所述标签建设单元用于针对用户打标签，其包括标签管理模块、资源管理模块、作业调度模块及作业跟踪模块，所述标签管理模块采用树形结构的方式对用户相关的标签进行管理和配置信息的维护，所述资源管理模块用于管理自动化打标签的脚本文件，所述作业调度模块用于将要打的标签的树形结构和自动化打标签的脚本文件关联起来，实现根据周期对用户进行打标签的操作，所述作业跟踪模块是对打标签的作业进度进行跟踪；

所述画像分析单元基于所述目标出行数据，对已经打好标签的用户进行群体或者个体的分析，获得画像分析结果，所述画像分析结果包括用户画像结果和产品画像结果；

所述图谱单元采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络；

所述推荐单元用于在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型；

所述机器学习引擎用于提供所述数据融合单元、标签建设单元、画像分析单元、图谱单元及推荐单元在工作过程中所需的算法模型，所述机器学习引擎基于spark分布式计算框架实现，其包括数据探索模块、数据预处理模块、模型训练模块、模型评估模块、模型可视化模块及模型预测模块，所述数据探索模块用于对数据进行分布统计、相关性分析、假设检验及核密度估计，所述数据预处理模块用于对数据进行清洗、转换、加载、特征提取及特征选择，所述模型评估模块用于对已训练好的模型进行评估，所述模型可视化模块用于实现模型的可视化显示，所述模型预测模块用于将模型固化到生产环境、实时推送预警信息以及生成分析建议报告；

所述API开放平台用于为开发者提供数据接口。

优选地，所述图谱单元包括HDFS文件系统、图数据库引擎及应用层，所述HDFS文件系统上存储有HBASE数据库和Solrcloud索引，所述图数据库引擎包括数据及索引存储层、数据库层及Client API层，所述数据及索引存储层与所述HBASE数据库和Solrcloud索引相连，所述Client API层与所述应用层相连，所述应用层用于提供海量关系运算、海量检索、关系关联、手工绘制、GIS整合、实时关系运算、关系扩展、特征查询、属性收集及图分析。

优选地，所述推荐算法模型包括协同过滤算法、关联分析算法、深度学习算法、分类算法、规则算法、聚类算法中的一种或多种。

优选地，所述协同过滤算法包括基于用户与用户之间的关系算法、基于产品与产品之间的关系算法、用户兴趣图谱推荐算法、矩阵分解算法、受限波尔玆曼机算法、支持向量机算法；所述关联分析算法包括相似度聚类算法、社区发现算法、PageRank算法、影响度传播算法；所述深度学习算法包括卷积神经网络算法、受限波尔玆曼机算法、自然语言处理算法、情感数据分析算法。

优选地，所述推荐单元具有模型可视化配置模块和场景可视化配置模块，所述模型可视化配置模块用于执行算法模型制定的可视化操作，所述场景可视化配置模块用于执行推荐场景参数配置的可视化操作。

优选地，API开放平台具有访问统计模块和接口管理模块，所述访问统计模块用于分析统计开发者的访问信息，所述接口管理模块用于对数据接口进行管理。

一种个性化出行服务大数据应用方法，其基于上述的个性化出行服务大数据应用系统实现，该方法包括以下步骤：

S1、利用数据采集单元采集用户的原始出行数据；

S2、利用数据融合单元对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据；

S3、利用标签建设单元对用户进行打标签；

S4、对已经打好标签的用户进行画像分析，获得画像分析结果，所述画像分析结果包括用户画像结果和产品画像结果；

S5、采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络；

S6、在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型，实现线上推荐；

S7、通过API开放平台向开发者提供数据服务。

优选地，在步骤S3中所述打标签采用直接取值、机器学习、统计分析、手工定义中的一种或多种方式。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明采用画像分析和图谱分析获得相应的用户相关的画像分析结果和行为轨迹关系网络，为个性化出行服务的业务场景提供了有力的数据基础；本发明的推荐单元能够实现算法模型以及推荐场景的可视化配置，并且能够结合用户画像结果、产品画像结果、行为轨迹关系网络、推荐场景制定出相应的推荐模型，确保了线上推荐的便捷性和精准性。

附图说明

图1为本发明实施例一的结构示意图；

图2为本发明实施例一图谱单元的结构示意图；

图3为本发明实施例二的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

参考图1所示，本发明公开了一种个性化出行服务大数据应用系统，包括数据采集单元1、数据融合单元2、标签建设单元3、画像分析单元4、图谱单元5、推荐单元6、机器学习引擎7及API开放平台8，其中：

数据采集单元1用于采集用户的原始出行数据，原始出行数据包含系统本身的数据以及第三方平台的数据。

数据融合单元2用于对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据。

标签建设单元3用于针对用户打标签，打标签的方式包括直接取值、机器学习、统计分析、手工定义等，同时支持第三方标签集成，最终形成用户标签的整个可视化的过程。标签建设单元3包括标签管理模块、资源管理模块、作业调度模块及作业跟踪模块，标签管理模块采用树形结构的方式对用户相关的标签进行管理和配置信息的维护，资源管理模块用于管理自动化打标签的脚本文件，作业调度模块用于将要打的标签的树形结构和自动化打标签的脚本文件关联起来，实现根据周期对用户进行打标签的操作，作业跟踪模块是对打标签的作业进度进行跟踪。

画像分析单元4基于目标出行数据，对已经打好标签的用户进行群体或者个体的分析，获得画像分析结果，画像分析结果包括用户画像结果和产品画像结果。画像分析单元4也可以对个别用户进行深层次的分析，结合不同种标签(单值数字型、单值字符型、多值数组型、多值键值对型等)进行组合查询和BI报表分析的方式进行用户群体分析，更好的进行用户分群，为系统服务提供用户分群API服务。

图谱单元5采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络。行为轨迹关系网络包含用户的出行、购物、住宿、餐饮、支付等全方位的行为信息，通过对数据的深度线索挖掘的功能以及各种数据之间的相关逻辑关系，实现线索的追踪展现，实现从物到人、从人到物的各种数据线索的网状或树状的展现过程，为分析人员提供各种数据的自动展现和线索关联。

图谱单元5包括HDFS文件系统、图数据库引擎及应用层，HDFS文件系统上存储有HBASE数据库和Solrcloud索引，图数据库引擎包括数据及索引存储层、数据库层及ClientAPI层，数据及索引存储层与HBASE数据库和Solrcloud索引相连，Client API层与应用层相连，应用层用于提供海量关系运算、海量检索、关系关联、手工绘制、GIS整合、实时关系运算、关系扩展、特征查询、属性收集及图分析。

推荐单元6用于在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型。推荐单元6具有模型可视化配置模块和场景可视化配置模块，模型可视化配置模块用于执行算法模型制定的可视化操作，场景可视化配置模块用于执行推荐场景参数配置的可视化操作。

推荐算法模型包括协同过滤算法、关联分析算法、深度学习算法、分类算法、规则算法、聚类算法中的一种或多种。协同过滤算法包括基于用户与用户之间的关系算法、基于产品与产品之间的关系算法、用户兴趣图谱推荐算法、矩阵分解算法、受限波尔玆曼机算法、支持向量机算法；关联分析算法包括相似度聚类算法、社区发现算法、PageRank算法、影响度传播算法；深度学习算法包括卷积神经网络算法、受限波尔玆曼机算法、自然语言处理算法、情感数据分析算法。

机器学习引擎7用于提供数据融合单元2、标签建设单元3、画像分析单元4、图谱单元5及推荐单元6在工作过程中所需的算法模型，机器学习引擎7基于spark分布式计算框架实现，其包括数据探索模块、数据预处理模块、模型训练模块、模型评估模块、模型可视化模块及模型预测模块，数据探索模块用于对数据进行分布统计、相关性分析、假设检验及核密度估计，数据预处理模块用于对数据进行清洗、转换、加载、特征提取及特征选择，模型评估模块用于对已训练好的模型进行评估，模型可视化模块用于实现模型的可视化显示，模型预测模块用于将模型固化到生产环境、实时推送预警信息以及生成分析建议报告。

API开放平台8用于为开发者提供数据接口。API开放平台8具有访问统计模块和接口管理模块，访问统计模块用于分析统计开发者的访问信息，接口管理模块用于对数据接口进行管理。

本发明在云计算平台和大数据平台的基础上，实现了数据的采集、融合、智能分析、接口服务、可视化。其中，云计算平台提供了基础的软硬件资源(包括机房、服务器、网络、计算、存储等)，大数据平台提供了大数据分析需要的基础环境(包括操作系统、数据库、大数据相关的软件包、中间件等)。本发明基于用户群体划分、用户行为网络、用户实时日志分析、个性化推荐模型、数据接口服务五个方面，构建交通出行个性化服务应用平台，旨在提供线上服务的有效性、线上推荐的精准性和线上支付的快捷性，实现交通出行领域电商服务与金融服务的发展

利用大数据技术研究交通出行领域如何为旅客提供个性化服务的关键技术和应用模式。包括利用云平台的存储、计算、管理、资源分配等关键技术；解决跨数据中心、服务横向扩展、资源灵活调配、应用分布式部署等问题；利用大数据的集成、汇总、治理、存储、运算、调度、分析与挖掘技术，解决数据的管理、理解、分析与性能、存储运算水平扩展的问题；同时在申报单位交通出行应用服务的基础上，通过用户群体划分、用户行为网络、用户实时日志分析、个性化推荐模型、数据应用服务五个主题的研究，构建交通出行行业的大数据个性化服务应用平台，为个性化出行服务的业务场景提供了有力、直观的数据基础，确保了个性化出行线上推荐的便捷性和精准性。

实施例二

配合图1和图3所示，一种个性化出行服务大数据应用方法，其基于实施例一的个性化出行服务大数据应用系统实现，该方法包括以下步骤：

S1、利用数据采集单元1采集用户的原始出行数据。

S2、利用数据融合单元2对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据。

S3、利用标签建设单元3对用户进行打标签。打标签采用直接取值、机器学习、统计分析、手工定义中的一种或多种方式。

S4、对已经打好标签的用户进行画像分析，获得画像分析结果，画像分析结果包括用户画像结果和产品画像结果。

S5、采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络。

S6、在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型，实现线上推荐。

S7、通过API开放平台8向开发者提供数据服务。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种个性化出行服务大数据应用系统，其特征在于，包括数据采集单元、数据融合单元、标签建设单元、画像分析单元、图谱单元、推荐单元、机器学习引擎及API开放平台，其中：

所述数据采集单元用于采集用户的原始出行数据；

所述数据融合单元用于对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据；

所述标签建设单元用于针对用户打标签，其包括标签管理模块、资源管理模块、作业调度模块及作业跟踪模块，所述标签管理模块采用树形结构的方式对用户相关的标签进行管理和配置信息的维护，所述资源管理模块用于管理自动化打标签的脚本文件，所述作业调度模块用于将要打的标签的树形结构和自动化打标签的脚本文件关联起来，实现根据周期对用户进行打标签的操作，所述作业跟踪模块是对打标签的作业进度进行跟踪；

所述画像分析单元基于所述目标出行数据，对已经打好标签的用户进行群体或者个体的分析，获得画像分析结果，所述画像分析结果包括用户画像结果和产品画像结果；

所述图谱单元采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络；

所述推荐单元用于在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型；

所述机器学习引擎用于提供所述数据融合单元、标签建设单元、画像分析单元、图谱单元及推荐单元在工作过程中所需的算法模型，所述机器学习引擎基于spark分布式计算框架实现，其包括数据探索模块、数据预处理模块、模型训练模块、模型评估模块、模型可视化模块及模型预测模块，所述数据探索模块用于对数据进行分布统计、相关性分析、假设检验及核密度估计，所述数据预处理模块用于对数据进行清洗、转换、加载、特征提取及特征选择，所述模型评估模块用于对已训练好的模型进行评估，所述模型可视化模块用于实现模型的可视化显示，所述模型预测模块用于将模型固化到生产环境、实时推送预警信息以及生成分析建议报告；

所述API开放平台用于为开发者提供数据接口。

2.如权利要求1所述的一种个性化出行服务大数据应用系统，其特征在于：所述图谱单元包括HDFS文件系统、图数据库引擎及应用层，所述HDFS文件系统上存储有HBASE数据库和Solrcloud索引，所述图数据库引擎包括数据及索引存储层、数据库层及Client API层，所述数据及索引存储层与所述HBASE数据库和Solrcloud索引相连，所述Client API层与所述应用层相连，所述应用层用于提供海量关系运算、海量检索、关系关联、手工绘制、GIS整合、实时关系运算、关系扩展、特征查询、属性收集及图分析。

3.如权利要求1或2所述的一种个性化出行服务大数据应用系统，其特征在于：所述推荐算法模型包括协同过滤算法、关联分析算法、深度学习算法、分类算法、规则算法、聚类算法中的一种或多种。

4.如权利要求3所述的一种个性化出行服务大数据应用系统，其特征在于：所述协同过滤算法包括基于用户与用户之间的关系算法、基于产品与产品之间的关系算法、用户兴趣图谱推荐算法、矩阵分解算法、受限波尔玆曼机算法、支持向量机算法；所述关联分析算法包括相似度聚类算法、社区发现算法、PageRank算法、影响度传播算法；所述深度学习算法包括卷积神经网络算法、受限波尔玆曼机算法、自然语言处理算法、情感数据分析算法。

5.如权利要求3所述的一种个性化出行服务大数据应用系统，其特征在于：所述推荐单元具有模型可视化配置模块和场景可视化配置模块，所述模型可视化配置模块用于执行算法模型制定的可视化操作，所述场景可视化配置模块用于执行推荐场景参数配置的可视化操作。

6.如权利要求3所述的一种个性化出行服务大数据应用系统，其特征在于：API开放平台具有访问统计模块和接口管理模块，所述访问统计模块用于分析统计开发者的访问信息，所述接口管理模块用于对数据接口进行管理。

7.一种个性化出行服务大数据应用方法，其基于权利要求1-5任一项所述的个性化出行服务大数据应用系统实现，该方法包括以下步骤：

S1、利用数据采集单元采集用户的原始出行数据；

S2、利用数据融合单元对采集到的原始出行数据进行清洗、转换及加载，得到目标出行数据；

S3、利用标签建设单元对用户进行打标签；

S4、对已经打好标签的用户进行画像分析，获得画像分析结果，所述画像分析结果包括用户画像结果和产品画像结果；

S5、采用图数据库和力导图的可视化技术，还原出用户的行为轨迹关系网络；

S6、在用户画像结果、产品画像结果、行为轨迹关系网络的基础上结合推荐场景，制定并执行相应的推荐算法模型，实现线上推荐；

S7、通过API开放平台向开发者提供数据服务。

8.如权利要求7所述的一种个性化出行服务大数据应用方法，其特征在于：在步骤S3中所述打标签采用直接取值、机器学习、统计分析、手工定义中的一种或多种方式。