CN109767255A - 一种通过大数据建模实现智能运营及精准营销的方法 - Google Patents

Abstract

一种通过大数据建模实现智能运营及精准营销方法，其包括以下步骤：1、通过对用户访问APP过程中产品的各类数据的采集；2、通过建立基于Hadoop的大数据生态平台，整合采集到的各类实时数据与离线数据；3、采用人工智能、机器学习算法及概率统计模型，通过自定义模型指标实现快速构建营销模型；4、通过在引擎系统中完成决策流及测试引擎的配置，当用户在使用app的过程中触发某一策略响应规则时，后台即自动推送相应的运营策略，在app端针对不同用户个性化推送不同的信息。本发明从业务需求及用户需求出发，不断挖掘数据价值，形成业务经验及数据模型，为运营策略优化及产品创新提供数据支撑，提高用户体验的同时节约运营成本。

Description

一种通过大数据建模实现智能运营及精准营销的方法

技术领域

本发明涉及大数据处理技术领域，尤其是一种通过大数据建模实现智能运营及精准营销方法。

背景技术

大数据营销是基于多种社交平台的大量数据，依托大数据技术的基础上，应用于互联网广告行业的营销方式；大数据营销衍生于互联网行业，又作用于互联网行业。依托多个平台的大数据采集，以及大数据技术的分析与预测能力，能够使广告更加精准有效地投放，给品牌或者企业带来更高的投资回报率。利用用户的行为数据监测，从而将广告资源合理分配。而公关由社会组织、公众、传播三个要素构成；是社会组织为了生存发展、通过传播沟通、塑造形象、平衡利益、协调关系、优化社会心理环境、影响公众的科学与艺术。

但大数据在互联网运营的应用中表现出诸多不足及痛点：1，数据不完整，不能更多地了解用户的相关社会关系和感性信息；2，业务人员如市场、运营、呼叫缺乏数据驱动意识；3，重数据，轻分析，过于重视对市场数据的收集，而忽视技术和业务部门对数据的需求；4，不同业务部门之间的数据资源相互独立，无法形成的数据化闭环运营路线；5，产品创新方向无法通过数据获得，产品缺乏创意性等。

因此，现有技术有待于提高和改善。

发明内容

针对现有技术中存在的不足之处，本发明的目的是提供一种通过打通并整合底层业务数据，提取用户特征，建立用户画像档案。应用大数据建模技术构建精准营销模型，通过引擎系统自动化配置、测试并迭代营销策略的通过大数据建模实现智能运营及精准营销方法。

本发明是通过以下技术手段来实现上述目的的：

一种通过大数据建模实现智能运营及精准营销方法，其包括以下步骤：

一、通过对用户访问APP过程中产品的各类数据的采集，对接第三方大数据产品以及用户调研，获取用户的人口统计信息，交易信息，行为特征信息，设备信息，地理信息、兴趣偏好信息，理财态度信息与价值观信息；

二、通过建立基于Hadoop的大数据生态平台，整合采集到的各类实时数据与离线数据，应用数据分析和特征算法技术提取最多500 个用户画像标签及至少7000个建模维度；针对庞大且不同种类的用户集群，通过基于Azkaban的二次开发研发网状调度系统，建设完善的数据仓库模型并建立用户画像信息体系；

三、采用人工智能、机器学习算法及概率统计模型，通过自定义模型指标实现快速构建营销模型；其中营销模型包括以下两类：

3.1，用户预测模型：根据用户的app操作记录、画像属性、生命周期特征，对用户的未来行为进行预测，包括投资概率，邀新潜能，流失概率，复投概率，理财产品选择偏好，礼品选择偏好；

3.2，策略模型：根据用户的生命周期特征、用户历史在app各运营位、任务、礼品、产品、活动，消息的操作记录和历史以及在营销推广、用户运营、客户关系维护各环节对用户的营销交互记录，自动生成并选择在用户激活期、成长期、平稳期、衰退期、流失期以及用户邀新环节最优的运营策略；

四、通过在引擎系统中完成决策流及测试引擎的配置，当用户在使用app的过程中触发某一策略响应规则时，后台即自动推送相应的运营策略，在app端针对不同用户个性化推送不同的产品、活动、礼品、广告、任务、文案、消息、短信；具体实现方法如下：

4.1，在不同的营销场景下，根据指定的用户预测模型结果，对用户进行评估、分群；

4.2、针对不同的客群，结合专家规则及模型生成的推荐策略，在决策流中配置好相应的运营策略方案。

本发明具有以下技术成果：

一、针对庞大且不同种类的用户集群，通过基于Hadoop大数据生态平台以及基于Azkaban的二次开发自主研发网状调度系统，建设完善的数据仓库模型，实现对PB级离线分析、挖掘以及TB级在线分析的支持；

二、系统作为数据中枢，建立用户画像信息档案，实现跨部门的用户画像及营销记录信息同步，节约信息传递成本，提高内部工作效率；

三、基于人工智能、机器学习算法及概率统计模型，通过自定义指标可快速构建并迭代如产品偏好预测、投资概率预测、激活概率预测、邀请预测、流失预测等20多类营销模型，对用户进行精准分群；自动生成并选择面向不同生命周期用户的营销策略，同时通过冠军挑战者测试(ABtest)实现自动测试及优化，实现精准化营销。

具体实施方式

下面对本发明作进一步的详细说明：

本发明一种通过大数据建模实现智能运营及精准营销方法，其包括以下步骤：

一、在获得用户授权的前提下，对用户访问APP过程中的各类行为数据进行采集，并通过对接三方数据公司(指可提供用户画像标签等信息的外部数据供应商，如极光、亿美、admaster等，我方通过用户授权后发送特定请求参数以获取相关画像标签数据)及用户调研方式，获取用户的人口统计信息，交易信息，行为特征信息，设备信息，地理信息、兴趣偏好信息，理财态度信息与价值观信息。

二、通过建立基于Hadoop的大数据生态平台，整合采集到的各类实时数据与离线数据，应用数据分析和特征算法技术提取最多500 个用户画像标签及至少7000个建模维度；针对庞大且不同种类的用户集群，通过基于Azkaban的二次开发研发网状调度系统，建设完善的数据仓库模型并建立用户画像信息体系，打通不同系统之间的数据隔阂，实现跨部门信息同步；

其中，hadoop大数据平台是以hadoop分布式文件系统HDFS为存储基础，结合hadoop生态圈各开源组件的应用专长，面向各类数据管理应用需求，进行组合构建：

2.1，数据采集

1)以Shell、Python自主研发及Sqoop、Azkaban等工具进行离线批量(全量/增量)采集；

2)以Flume、Kafka等工具进行实时、准实时增量采集。

2.2，数据存储

1)以Kudu为主要载体对获取的源数据快速更新落地；

2)以Hbase、Hdfs为基础对时效性较低的数据进行历史全量存储；

3)以Greenplum、Mysql为基础进行数据加工结果周期性存储。

2.3，数据计算

1)以Storm、Spark streaming流数据计算工具为基础进行流数据实时、准实时性计算加工；

2)以Spark、Redis为基础进行接近实时的内存计算加处理；

3)以Hive、Impala及Python脚本为基础进行离线跑批加工。

2.4，数据查询分析

1)利用Hive元数据来建立数据仓库视图，通过Hive、Impala、Spark SQL等工具提供查询分析服务支持。

2.5，数据挖掘

1)采用Spark MLIB,Mathout等进行数据挖掘建模分析。

其中，HCNDC高并发网状调度中心主要功能如下：

2.6，实时数据采集

1)根据源数据库类型采用CDC/BinLog方式，将数据实时同步到 kafka；再由Storm处理最高时效的数据流，分钟级数据流交由SPARK 完成。为了支持数据更实时，协同源系统写入库时直接同时写到 kafka。

2)对于中等要求的数据服务，通过时间戳轮循方式采用Sqoop，入库完毕直接交由上层系统实时处理，并将处理后的数据集通过调度中心实时反馈到生产及各种数据应用平台。

2.7，离线数据采集

1)以Shell自主研发调度核心模块为主，高并发进行离线数据批量采集及调度系统构建；以Sqoop、Azkaban等工具为辅进行数据共享多平台分发。

2)数据采集、数据共享、数据分发通过数据总线，全流程采用异步高并发实现数据流转，充分利用软硬件资源。

3)根据目标平台硬件资源情况，设定最高可用并发数，通过获取令牌方式，用作业形成工作流，并实现高并发的网状调度系统，达到充分利用系统资源满负荷高速运转。

4)调度系统满足大部分主流数据库，可对多种异构数据源进行数据采集；同时支持各种频率数据采集，最高频率可支持到秒级数据服务。

用户画像是对现实用户制作的一个数学模型，在整个数学模型中，核心是怎么描述业务知识体系，而业务知识体系其中一个特别朴素的实现，就是标签；标签是某一种用户特征的符号表示，是一种内容组织方式，是一种关联性很强的关键字，能方便的帮助找到合适的内容及内容分类(注：简单说，就是把用户分到多少个类别里面去，这些类是什么，彼此之间有什么关系，就构成了标签体系)；标签解决的是描述(或命名)问题，但在实际应用中，还需要解决数据之间的关联，所以通常将标签作为一个体系来设计，以解决数据之间的关联问题。

一般来说，将能关联到具体用户数据的标签，称为叶子标签；对叶子标签进行分类汇总的标签，称为父标签。父标签和叶子标签共同构成标签体系。

1)标签分类：用户画像标签可以分为基础属性标签和行为属性标签；

2)标签级别(标签的体系结构)分级有两个层面的含义，其一是：指标到最低层级的涵盖的层级；其二是：指标的运算层级。标签从运算层级角度可以分为三层：事实标签、模型标签、预测标签。事实标签：是通过对于原始数据库的数据进行统计分析而来的。模型标签：模型标签是以事实标签为基础，通过构建事实标签与业务问题之间的模型，进行模型分析得到。预测标签：则是在模型的基础上做预测，比如针对投诉倾向类型结构的变化，预测平台舆情风险指数；

3)标签命名和赋值：在构建用户标签的过程中，有意识的区别标签命名和赋值；

4)标签属性：标签属性可以理解为针对标签进行的再标注，这一环节的工作主要目的是帮助内部理解标签赋值的来源，进而理解指标的含义；A、固有属性：是指这些指标的赋值体现的是用户生而有之或者事实存在的，不以外界条件或者自身认知的改变而改变的属性。比如：性别、年龄、是否生育等；B、推导属性：由其他属性推导而来的属性，比如星座，可以通过用户的生日推导处；C、行为属性：产品内外实际发生的行为被记录后形成的赋值，比如用户的登陆时间，页面停留时长等；D、态度属性：用户自我表达的态度和意愿。比如通过一份问卷向用户询问一些问题，并形成标签，如询问用户：是否愿意结婚，是否喜欢某个品牌等；E、测试属性：测试属性是指来自用户的态度表达，但并不是用户直接表达的内容，而是通过分析用户的表达，结构化处理后，得出的测试结论。比如用户填答了一系列的态度问卷，从而推导出用户的价值观类型等；

三、采用人工智能、机器学习算法及概率统计模型，如GBDT、 XGBoost、lightGBM、FFM、协同过滤、自主设计营销智能建模框架 (Intelligent Modelling Frame)。其中，营销智能建模框架包括2 个主要组成部分：(1)特征配置和生成工具：基于R语言S4对象系统自主开发的gpSQL类库，通过配置来源表字段、聚合函数、条件分支语句等参数直接生成可执行的postgre数据库SQL查询语句，通过R语言RPostgreSQL执行查询语句生成模型所需特征字段；(2)自动建模工具：是基于(1)中生成特征字段，在R语言中基于业务意义进行变量缺失值补充，并基于Filter和Embedded方法进行特征选择 (如Person相关系数、信息价值指标、L1正则化等)，再将候选特征用机器学习方法进行建模(如XGBoost、lightGBM等)，最终通过对比不同建模方法的效果选择最优算法；通过自定义模型指标实现快速构建营销模型；其中营销模型包括以下两类：

3.1，用户预测模型：根据用户的app操作记录、画像属性、生命周期特征，对用户的未来行为进行预测，包括投资概率，邀新潜能，流失概率，复投概率，理财产品选择偏好，礼品选择偏好；

3.2，策略模型：根据用户的生命周期特征、用户历史在app各运营位、任务、礼品、产品、活动，消息的操作记录和历史以及在营销推广、用户运营、客户关系维护各环节对用户的营销交互记录，自动生成并选择在用户激活期、成长期、平稳期、衰退期、流失期以及用户邀新环节最优的运营策略；

四、通过在引擎系统中完成决策流及测试引擎的配置，当用户在使用app的过程中触发某一策略响应规则时，后台即自动推送相应的运营策略，在app端针对不同用户个性化推送不同的产品、活动、礼品、广告、任务、文案、消息、短信；具体实现方法如下：

4.1，在不同的营销场景下，根据指定的用户预测模型结果，对用户进行评估、分群；

4.2，针对不同的客群，结合专家规则及模型生成的推荐策略，在决策流中配置好相应的运营策略方案。

由于针对同一个营销场景，同一批客群可能产生多套运营策略方案，故通过测试引擎完成实验设计与操作。通过ABtest的方法测试、评估并比较不同策略的效果，实现最优分流方案，从而进一步提高运营策略的效果。

贝叶斯系统通过对平台用户结构与非结构化数据信息进行整合，形成近500个用户画像标签及高达7000多条的建模维度，深挖现有用户的潜力与价值；系统通过自我测试、自我学习及优化后对各个用户实现不同场景，智能推荐产品、运营位展示、资讯推送等，实现提升运营效率和精准化运营的目的。系统通过广告、礼品、活动及资讯等组合配置不同的运营策略，利用技术手段对APP、H5、PC端页面及按钮进行数据埋点，采集用户行为数据，结合用户签到、邀请、投资等业务数据，针对各类业务场景，系统研发团队构建20多类营销模型，实现最佳的运营策略推送。

具体案例：用户A，首先会基于历史注册数据进行分析，推送注册率较高的注册页面给用户，当用户注册成功后，根据用户的行为数据包括但不限于具体广告页面、投资标的的浏览情况进行用户画像，分析用户的相对偏好，然后根据贝叶斯后台的分群用户的策略进行匹配，给用户推送相应的由系统生成的策略，激励用户进行投资；当用户生命周期处于贝叶斯系统判定的衰退期阶段的时候，依据衰退用户模型，进行包括但不限于现金红包、投资红包等形式的组合策略推送，刺激用户的投资力度；当用户生命周期处于贝叶斯系统判定的流失期阶段的时候，贝叶斯系统将自动依据流失用户模型以及相关策略，依照用户其他生命周期的数据进行分析，推送相关策略，挽留用户，防止用户流失。用户A的全生命周期的数据将会反作用于贝叶斯系统，帮助贝叶斯系统完善相关的策略以及模型，从而实现提升运营效率和精准化运营的目的。

以具体业务场景为例，本方法带来的实际业务转化率提升效果如下：

新用户：H渠道(华为推广渠道)使用策略后在注册7天内的转化率提高1％以上；用户邀请：使用模型后，不同群体的邀请提高了 0.9％～2.1％；衰退用户：不同人群的流失率下降了0.8％～3.0％。

本发明针对不同用户个性化推送不同的产品、活动、礼品、广告等信息内容，从而达到“千人千面”的精准营销；提升品牌宣传、营销推广、用户运营、客户关系维护等工作环节的效率和效果，实现串联起品牌、市场、运营、客服等不同业务部门的智能化闭环运营。

本发明从行业痛点出发，通过对接三方数据及用户研究，深入了解用户社会关系及感性信息，完善用户画像维度。从业务需求及用户需求出发，不断挖掘数据价值，形成业务经验及数据模型，为运营策略优化及产品创新提供数据支撑，提高用户体验的同时节约运营成本。此外，通过建立用户画像信息档案，实现跨部门的信息同步，实现数据化闭环运营路线，提高内部工作效率。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (1)

1.一种通过大数据建模实现智能运营及精准营销方法，其特征在于：其包括以下步骤：

一、通过对用户访问APP过程中产品的各类数据的采集，对接第三方大数据产品以及用户调研，获取用户的人口统计信息，交易信息，行为特征信息，设备信息，地理信息、兴趣偏好信息，理财态度信息与价值观信息；

二、通过建立基于Hadoop的大数据生态平台，整合采集到的各类实时数据与离线数据，应用数据分析和特征算法技术提取最多500个用户画像标签及至少7000个建模维度；针对庞大且不同种类的用户集群，通过基于Azkaban的二次开发研发网状调度系统，建设完善的数据仓库模型并建立用户画像信息体系；

三、采用人工智能、机器学习算法及概率统计模型，通过自定义模型指标实现快速构建营销模型；其中营销模型包括以下两类：

3.1，用户预测模型：根据用户的app操作记录、画像属性、生命周期特征，对用户的未来行为进行预测，包括投资概率，邀新潜能，流失概率，复投概率，理财产品选择偏好，礼品选择偏好；

3.2，策略模型：根据用户的生命周期特征、用户历史在app各运营位、任务、礼品、产品、活动，消息的操作记录和历史以及在营销推广、用户运营、客户关系维护各环节对用户的营销交互记录，自动生成并选择在用户激活期、成长期、平稳期、衰退期、流失期以及用户邀新环节最优的运营策略；

四、通过在引擎系统中完成决策流及测试引擎的配置，当用户在使用app的过程中触发某一策略响应规则时，后台即自动推送相应的运营策略，在app端针对不同用户个性化推送不同的产品、活动、礼品、广告、任务、文案、消息、短信；具体实现方法如下：

4.1，在不同的营销场景下，根据指定的用户预测模型结果，对用户进行评估、分群；

4.2、针对不同的客群，结合专家规则及模型生成的推荐策略，在决策流中配置好相应的运营策略方案。