CN105894336A - 一种基于移动互联网的大数据挖掘方法及系统 - Google Patents

Abstract

本发明的基于移动互联网的大数据挖掘方法，包括：获取与客户基本数据相关的、更新的客户社会行为数据；将客户社会行为数据规范化；利用规范化的数据建立或更新行为类别数据模型；采用预测算法建立或更新客户行为阶段的预测模型；用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型。可以从业务需求的各阶段业务特点出发，形成数据提取、数据建模、预测建模和预测分析输出反馈的数据处理过程，接受上一次处理结果作为下一次迭代的输入，形成预测模型和数据模型自学习功能，结合增量更新的数据内容和数据类型，可以实现针对不同行业业务预测的灵活可信的数据处理过程。还包括基于移动互联网的大数据挖掘系统。

Description

一种基于移动互联网的大数据挖掘方法及系统

技术领域

本发明涉及一种数据处理方法和数据处理系统，特别是涉及一种离散的异构数据的处理方法和数据处理系统。

背景技术

在现有数据分析工程中，数据之间的隐性相关性不显著，这往往是由于数据生成具有时间离散性，数据生成时间不准确，在一定周期或时期内随机漂移。数据还具有异构性，不同来源的数据量纲不同，数据经过归一化处理可以减小这种差异但也会造成信息丢失。当采集的数据基于数据源的行为方式时，数据的提取、转移、加载过程与计算机技术中的通信、计算和存储架构不能有机结合，造成现实环境中海量的客观行为数据无法进行有效数据分析，形成可靠的数据处理结果。

例如在汽车销售领域，通过人为方式需要销售人员长时间的积累才能挖掘出潜在的客户行为数据。由于这类商品价格较高，往往也伴随着更多的附加值，客户在购买时普遍都持比较谨慎的行为，从意向购买行为到实际购买行为往往有3到6个月的时间间隔。销售人员在与客户短暂的接触中难以获取有价值的行为数据。往往挖掘潜在客户获得完整行为数据的效率极低，成本也很高。而且客户的行为数据分散与销售人员零散存储，一旦人员变动会造成带走大量客户的行为数据缺失，造成客户流失的情况。并且从留存资料、试乘试驾、询价还价到购买的不同阶段中，是什么具体的客观行为导致消费者流失，又是什么原因客观因素影响消费者行为进入下一个阶段是非常不明确的。为了做细致的归因分析，以为未来的销售拟定合理的计划，需相应的数据分析处理方法。

发明内容

有鉴于此，本发明实施例提供了一种基于移动互联网的大数据挖掘方法，解决现有数据处理无法将异构类型的时间离散化的行为数据有效处理形成客观行为分析和预测的技术问题。

本发明实施例还提供了一种基于移动互联网的大数据挖掘系统，解决现有数据处理无法将异构类型的时间离散化的行为数据有效处理形成客观行为分析和预测的技术问题。

本发明的基于移动互联网的大数据挖掘方法，包括以下步骤：

200，获取与客户基本数据相关的、更新的客户社会行为数据；

300，将客户社会行为数据规范化；

400，利用规范化的数据建立或更新行为类别数据模型；

500，采用预测算法建立或更新客户行为阶段的预测模型；

600，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型。

所述步骤200中还包括以下步骤：

210，从公共服务平台检索与客户基本数据关联的行为数据；

220，从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据。

平台包括社交平台、购物平台、消费平台、门户平台中的部分或全部；

行为数据包括消费行为数据、选择行为数据、关注行为数据的部分或全部；

时间数据包括出现行为数据积累的时间节点、位置节点、积累激活节点、积累终止节点的部分或全部。

所述步骤300中还包括以下步骤：

310，通过分布式计算资源分配规范化过程处理数据；

320，通过建立数据集加速规范化过程。

所述规范化具体为：

利用Hadoop方法进行数据清洗；

利用Spark方法进行数据清洗；

检验数据补全缺失值；

进行数据的归一化处理。

所述数据模型包括用户兴趣行为模型、消费能力模型、职业阶段模型、家庭构成模型、触媒习惯模型、生活习惯模型的部分或全部。

所述步骤600的步骤包括：

获取客户行为是否进入后续阶段作为验证数据，是则执行步骤900，同时，将预测数据作为正例反馈步骤400，反馈步骤500，进行模型训练；

否则执行步骤700，同时，将预测数据作为负例反馈反馈步骤400，反馈步骤500，进行模型训练。

还包括步骤100，根据业务需求，获取客户基本数据。

本发明的基于移动互联网的大数据挖掘系统，包括业务数据提取装置、业务数据数据规范装置、业务数据建模装置、业务预测建模装置和业务预测判断装置，其中：

业务数据提取装置，用于获取与客户基本数据相关的、更新的客户社会行为数据；

业务数据数据规范装置，用于将客户社会行为数据规范化；

业务数据建模装置，用于利用规范化的数据建立或更新行为类别数据模型；

业务预测建模装置，用于采用预测算法建立或更新客户行为阶段的预测模型；

业务预测判断装置，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型。

所述业务数据提取装置包括关联数据提取装置和数据相关性提取装置，业务数据数据规范装置包括数据分布处理装置和数据融合处理装置，其中：

关联数据提取装置，用于从公共服务平台检索与客户基本数据关联的行为数据；

数据相关性提取装置，用于从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据；

数据分布处理装置，用于通过分布式计算资源分配规范化过程处理数据；

数据融合处理装置，用于通过建立数据集加速规范化过程。

本发明的基于移动互联网的大数据挖掘方法，可以从业务需求的各阶段业务特点出发，形成数据提取、数据建模、预测建模和预测分析输出反馈的数据处理过程。能够接受每一次处理的结果作为下一次迭代的输入，形成预测模型和数据模型自学习功能，结合增量更新的数据内容和数据类型，可以实现针对不同行业业务预测的灵活可信的数据处理过程。

本发明的基于移动互联网的大数据挖掘系统，将大数据挖掘的过程形成具体的功能装置，可以根据具体业务需要进行灵活配置，根据业务阶段进行注意过程的装置配置，形成复杂的系统结构对应复杂的业务数据挖掘分析。

附图说明

图1为本发明的基于移动互联网的大数据挖掘方法一实施例的主要流程图；

图2为本发明的基于移动互联网的大数据挖掘方法一实施例的分步流程图；

图3为本发明的基于移动互联网的大数据挖掘方法在汽车销售中的应用流程图；

图4为本发明的基于移动互联网的大数据挖掘系统的结构示意图一；

图5为本发明的基于移动互联网的大数据挖掘系统的结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。

如图1所示，本发明的基于移动互联网的大数据挖掘方法一实施例包括以下步骤：

100，根据业务需求，获取客户基本数据；

200，获取与客户基本数据相关的(和/或更新的)客户社会行为数据；

300，将客户社会行为数据规范化；

400，利用(数据规范化结果的)规范化的数据建立或更新行为类别数据模型；

500，采用预测算法建立(和/或更新)客户行为阶段的预测模型；

600，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出(包括数据模型、预测模型)；

700，根据预测模型对进入后续阶段进行预测；预测模型会输出定量的判断依据；

800，将预测会进入下一阶段的反馈数据相应的客户数据输出，结束本次业务阶段；

900，存储更新的数据模型、预测模型。

本实施例的基于移动互联网的大数据挖掘方法，可以从业务需求的各阶段业务特点出发，形成数据提取、数据建模、预测建模和预测分析输出反馈的数据处理过程。能够接受每一次处理的结果作为下一次迭代的输入，形成预测模型和数据模型自学习功能，结合增量更新的数据内容和数据类型，可以实现针对不同行业业务预测的灵活可信的数据处理过程。

如图2所示，在步骤100中还包括以下步骤：

110，获取客户的客户端数据；

120，获取客户的社会关系数据。

上述的获取途径通过从累积的客户关系数据库中的累计留存资料中获取。

如图2所示，在步骤200中还包括以下步骤：

210，从公共服务平台检索与客户基本数据关联的行为数据；

220，从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据。

上述平台包括社交平台、购物平台、消费平台、门户平台等。

行为数据包括消费行为数据、选择行为数据、关注行为数据等。

时间数据包括出现行为数据积累的时间节点、位置节点、积累激活节点、积累终止节点等。

如图2所示，在步骤300中还包括以下步骤：

310，通过分布式计算资源分配规范化过程处理数据；

320，通过建立数据集加速规范化过程。

上述规范化具体为：

利用Hadoop方法进行数据清洗；

利用Spark方法进行数据清洗；

检验数据补全缺失值；

进行数据的归一化处理。

在步骤400中的数据模型包括用户兴趣行为模型、消费能力模型、职业阶段模型、家庭构成模型、触媒习惯模型、生活习惯模型。

上述模型的数据包括但不限于：美食/烹饪、阅读/写作、健身/健康/体育、旅行/自驾游、音乐/唱歌/乐器/舞蹈、园艺、与宠物玩耍、油画/素描/艺术/设计、购物/时尚、休闲/娱乐、上网/游戏、改装车/车相关、投资/理财、及其他；

消费能力包括：

一般消费、中档消费、高档消费、其他；

职业阶段包括：初级阶段(压力大)、过渡阶段(压力较大)、快速上升阶段、平稳阶段(没有太大变化)；

家庭构成包括：已婚、未婚，3口之家，4口之家，5口及以上；

触媒习惯包括：新闻类APP，汽车类APP，地图类APP，社交类APP等；

生活习惯包括：休闲方式、品牌偏好、理财习惯、旅行习惯等。

在步骤500中的预测算法包括朴素贝叶斯、回归、神经网络算法中的一种或一种以上的结合。

步骤600的具体步骤包括：

获取客户行为是否进入后续阶段作为验证数据，是则执行步骤900，同时，将预测数据作为正例反馈步骤400，反馈步骤500，进行模型训练；否则执行步骤700，同时，将预测数据作为负例反馈反馈步骤400，反馈步骤500，进行模型训练。

本实施例中，提取的数据具有多维度的相关性，可以包括业户用户在各方面潜在的数据属性和内涵，保证了在不同维度下数据的完整性。数据模型形成客户行为的合理关联结构，进一步形成客户行为的具体体现，数据模型的多样性可以形成行为数据变化过程中的多态特征，使得数据属性和内涵的表征更加复杂。预测模型据此可以形成精细化的数据分析方向和更复杂的数据统计过程。

如图3所示，本发明的基于移动互联网的大数据挖掘方法的一个汽车销售实施例包括客户接洽、试乘试驾、询价还价和销售几个阶段，每个阶段都可以建立相应的数据采集规范化、数据模型、预测模型的数字处理过程。

每个阶段的数据为本阶段或上一阶段的增量数据或增量结果数据。

针对某一阶段的优惠或促销业务，形成相应的模型数据，比照预测形成对业务效果的独立的测试。

每一阶段的预测反馈形成迭代过程，前次迭代的结果形成必要的输入，最终销售的结果和预测的结果用来修正和评估模型的效果，然后进入下一轮迭代。

应用本发明的基于移动互联网的大数据挖掘方法，汽车销售业务可以保证数据的稳定性和可靠性，获得潜在用户的准确信息，准确判断客户的行为习惯指导业务人员进行合理的资源和成本分配。形成的细致的归因分析，可以为销售拟定合理的计划数据和方向。

如图4所示，本发明的基于移动互联网的大数据挖掘系统的一实施例，包括业务需求形成装置101、业务数据提取装置201、业务数据数据规范装置301、业务数据建模装置401、业务预测建模装置501、业务预测判断装置601和业务模型存储装置901，其中：

业务需求形成装置101，用于根据业务需求，获取客户基本数据；

业务数据提取装置201，用于获取与客户基本数据相关的、更新的客户社会行为数据；

业务数据数据规范装置301，用于将客户社会行为数据规范化；

业务数据建模装置401，用于利用规范化的数据建立或更新行为类别数据模型；

业务预测建模装置501，用于采用预测算法建立或更新客户行为阶段的预测模型；

业务预测判断装置601，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型；

业务模型存储装置901，用于存储更新的数据模型、预测模型。

本实施例的基于移动互联网的大数据挖掘系统，将大数据挖掘的过程形成具体的功能装置，可以根据具体业务需要进行灵活配置，根据业务阶段进行注意过程的装置配置，形成复杂的系统结构对应复杂的业务数据挖掘分析。

如图5所示，业务需求形成装置101包括客户端数据提取装置111和社会关系数据提取装置121，业务数据提取装置201包括关联数据提取装置211和数据相关性提取装置221，业务数据数据规范装置301包括数据分布处理装置311和数据融合处理装置321，其中：

客户端数据提取装置111，用于获取客户的客户端数据；

社会关系数据提取装置121，用于获取客户的社会关系数据；

关联数据提取装置211，用于从公共服务平台检索与客户基本数据关联的行为数据；

数据相关性提取装置221，用于从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据；

数据分布处理装置311，用于通过分布式计算资源分配规范化过程处理数据；

数据融合处理装置321，用于通过建立数据集加速规范化过程。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于移动互联网的大数据挖掘方法，包括以下步骤：

200，获取与客户基本数据相关的、更新的客户社会行为数据；

300，将客户社会行为数据规范化；

400，利用规范化的数据建立或更新行为类别数据模型；

500，采用预测算法建立或更新客户行为阶段的预测模型；

600，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型。

2.如权利要求1所述的基于移动互联网的大数据挖掘方法，所述步骤200中还包括以下步骤：

210，从公共服务平台检索与客户基本数据关联的行为数据；

220，从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据。

3.如权利要求2所述的基于移动互联网的大数据挖掘方法，所述平台包括社交平台、购物平台、消费平台、门户平台中的部分或全部；

行为数据包括消费行为数据、选择行为数据、关注行为数据的部分或全部；

时间数据包括出现行为数据积累的时间节点、位置节点、积累激活节点、积累终止节点的部分或全部。

4.如权利要求1所述的基于移动互联网的大数据挖掘方法，所述步骤300中还包括以下步骤：

310，通过分布式计算资源分配规范化过程处理数据；

320，通过建立数据集加速规范化过程。

5.如权利要求4所述的基于移动互联网的大数据挖掘方法，所述规范化具体为：

利用Hadoop方法进行数据清洗；

利用Spark方法进行数据清洗；

检验数据补全缺失值；

进行数据的归一化处理。

6.如权利要求1所述的基于移动互联网的大数据挖掘方法，所述数据模型包括用户兴趣行为模型、消费能力模型、职业阶段模型、家庭构成模型、触媒习惯模型、生活习惯模型的部分或全部。

7.如权利要求1所述的基于移动互联网的大数据挖掘方法，所述步骤600的步骤包括：

获取客户行为是否进入后续阶段作为验证数据，是则执行步骤900，同时，将预测数据作为正例反馈步骤400，反馈步骤500，进行模型训练；

否则执行步骤700，同时，将预测数据作为负例反馈反馈步骤400，反馈步骤500，进行模型训练。

8.如权利要求1所述的基于移动互联网的大数据挖掘方法，还包括步骤100，根据业务需求，获取客户基本数据。

9.一种基于移动互联网的大数据挖掘系统，包括业务数据提取装置(201)、业务数据数据规范装置(301)、业务数据建模装置(401)、业务预测建模装置(501)和业务预测判断装置(601)，其中：

业务数据提取装置(201)，用于获取与客户基本数据相关的、更新的客户社会行为数据；

业务数据数据规范装置(301)，用于将客户社会行为数据规范化；

业务数据建模装置(401)，用于利用规范化的数据建立或更新行为类别数据模型；

业务预测建模装置(501)，用于采用预测算法建立或更新客户行为阶段的预测模型；

业务预测判断装置(601)，用于获取客户行为是否进入后续阶段作为验证数据反馈，输出数据模型、预测模型。

10.如权利要求9所述的基于移动互联网的大数据挖掘系统，其特征在于：所述业务数据提取装置(201)包括关联数据提取装置(211)和数据相关性提取装置(221)，业务数据数据规范装置(301)包括数据分布处理装置(311)和数据融合处理装置(321)，其中：

关联数据提取装置(211)，用于从公共服务平台检索与客户基本数据关联的行为数据；

数据相关性提取装置(221)，用于从公共服务平台检索与客户基本数据关联的时间数据、位置数据、事件数据；

数据分布处理装置(311)，用于通过分布式计算资源分配规范化过程处理数据；

数据融合处理装置(321)，用于通过建立数据集加速规范化过程。