CN105959372A - 一种基于移动应用的互联网用户数据分析方法 - Google Patents

Abstract

本发明公开了一种基于移动应用的互联网用户数据分析方法，包括步骤：1)用户行为数据采集；2)崩溃分析；3)关键路径转化率分析；4)频繁序列挖掘；5)聚类分析。本发明根据移动互联网特点，研究移动用户的群体使用行为，协助开发者设计更加完美的软件应用并提高程序调试效率，从而提升移动应用开发质量。可对大型社交、电商、电子政务等移动互联网行业平台应用的数据内容搜集与获取提供良好而广泛的共性技术支撑。

Description

一种基于移动应用的互联网用户数据分析方法

技术领域

本发明涉及移动互联网的技术领域，尤其是指一种基于移动应用的互联网用户数据分析方法。

背景技术

近年来，随着智能手机、平板电脑等移动终端设备逐渐普及，依托3G、4G网络和强大云端服务支持的移动互联网行业成长迅速。据2015年《第35次互联网发展状况统计报告》统计，中国网民规模达6.49亿，手机网民规模达5.57亿，手机上网已经逐渐成为上网的首选方式，达到上网总人数的85.8％。作为移动互联网的核心内容，移动应用正在人们的日常工作和生活中扮演着越来越重要的角色，移动应用在为用户带来丰富的体验的同时，更带来了网络时代新型的营销方式。移动终端多样性、接入灵活性、智能与传感的特性也对软件应用及其服务质量提出了更高要求，一个应用在某类手机平台上稳定而正常工作，换款手机，升级操作系统往往会带来闪退，黑屏等诸多问题，研究移动应用可靠性保障技术比传统基于PC应用需求更为迫切；此外智能手机与个人信息的深度绑定，通过对各种类型移动应用的用户使用行为数据进行挖掘和分析，不仅能挖掘出更为个性化的信息，使得业务开展更具针对性，更能挖掘行业痛点，在极短时间有可能实现业务的爆发式拓展。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于移动应用的互联网用户数据分析方法，根据移动互联网特点，研究移动用户的群体使用行为，协助开发者设计更加完美的软件应用并提高程序调试效率，从而提升移动应用的开发质量。

为实现上述目的，本发明所提供的技术方案为：一种基于移动应用的互联网用户数据分析方法，包括以下步骤：

1)用户行为数据采集

在保证移动应用源代码的逻辑完整性的基础上，在程序中插入可定制的数据收集代码，这部分工作在编译期完成，不污染源代码，通过触发插桩代码的执行来获取程序运行的相关数据，并通过自定义事件和自定义指标的跟踪和分析，获得程序的控制流和数据流信息，从而实现数据收集的目的；其中，主要收集应用的新增用户、活跃用户、启动次数、版本分布、用户地域分布这些行业指标数据，以及每个用户在使用移动应用时页面的浏览顺序，每个页面的平均加载时间、逗留时间这些用户行为数据；

2)崩溃分析

研究各主流操作系统不可检测异常的调用过程和工作原理，通过重写操作系统底层的异常捕获机制来实现个性化的崩溃信息收集和分析，从而达到在移动应用发生异常时能实时收集开发者定制的异常信息，包括：1)移动设备的硬件信息：操作系统类型、操作系统版本、移动设备厂商、SDK版本信息，从而能够判断崩溃现象的发生是否由于硬件不兼容而导致；2)移动设备的运行时信息：移动设备的总CPU使用率、内存占用率、温度以及该应用的CPU占用率、内存占用率，从而能够断崩溃现象的发生是否由于移动设备性能原因或者应用消耗设备资源过大而导致；3)异常堆栈的具体信息，帮助开发者判断崩溃现象是否由于代码出现Bug而导致，并提供线索定位解决异常；最后通过收集并归类崩溃类型，提供错误管理及数据分析工具，从而提高解决崩溃问题的效率；

3)关键路径转化率分析

关键路径转化率分析使用漏斗模型进行建模，帮助开发商确定某个流程的设计是否合理，各步骤间的组织是否存在优化的空间；假设漏斗定义的关键路径是A-B-C-D-E，则如下：

①用户完成了A-B-C-D-E，那么认为这个用户成功完成了A-B-C-D-E；

②用户完成了A-B-C-F-D-E，那么认为这个用户成功完成了A-B-C-D-E，只不过是按松散的顺序完成的；

③用户完成了A-B-C-E，那么认为这个用户成功完成了A-B-C和一次E；

④用户完成了A-B-C-A-B-C-D-D-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D；

⑤用户完成了A-A-B-B-C-C-D-D-E-E，那么认为这个用户成功完成了两次A-B-C-D-E；

⑥用户完成了A-A-B-B-C-D-D-E-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B和一次D-E；

⑦用户完成了A-B-C-B-A-A-B-C-D-D-E，那么会认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D，和一次A，一次B；

采用上述模型能够分析得到移动应用各页面之间的转化率，通过自定义关键路径，就能够得到该关键路径各页面之间的转化率；

4)频繁序列挖掘

采用MFSGrowth方法进行用户数据的频繁序列挖掘，该方法以FPTree和TriedTree算法为基础；其中，将MFSGrowth方法用于频繁序列挖掘有以下两个步骤：

4.1)生成MFSTree；

4.2)生成以某个频繁项为根节点的InvTree；

5)聚类分析

用户聚类根据用户的使用行为，生成相应特征并聚类，通过用户聚类能够帮助开发商了解各用户群体的整体使用情况，并根据各用户群体的使用规律提供个性化服务；

采用双层聚类算法实现对用户使用行为的聚类分析：

第一层聚类即基于序列相似度的聚类DBScan：该层主要使用DBScan聚类算法，基于用户的访问序列以及访问时间的相似度，对用户会话进行聚类，得到的结果为多个序列类集；

第二层聚类即基于用户行为相似度的聚类k-means：该层主要使用k-means聚类算法，在第一层聚类的结果上根据用户在每个序列类集中的使用比例对用户进行聚类。

DBScan是一种基于密度的聚类算法，它有一个核心点的概念：如果一个点，在距它Eps的范围内有不少于MinPts个点，则该点就是核心点，核心和它Eps范围内的邻居形成一个簇，在一个簇内如果出现多个点都是核心点，则以这些核心点为中心的簇要合并。

所述的Kmeans算法，包括以下步骤：

第一步：随机取K个中心点；

第二步：所有点分别求到这K个中心点的距离，并将其划分到最近的中心点的簇中；

第三步：根据每个簇中的样本点更新K个中心点；

第四步：反复执行第二、第三步，直到K个中心点都不发生移动。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明从用户行为分析方面对移动应用的质量保证提出了有效的解决方案，为提高软件质量，改善用户体验提供了有效保障。

2、在用户行为分析方面提供用户行为挖掘功能帮助移动应用开发商了解App的整体运营情况及隐藏在大量用户行为数据背后的规则、模式、规律，从而定制相应的改进策略。

3、本发明采用的基于FPTree算法和TriedTree算法实现的极大频繁序列挖掘方法能够根据用户行为数据生成用户频繁访问的序列，为运营人员推广移动应用和开发人员提高用户体验提供了有价值的参考数据。

附图说明

图1为基于程序插桩的用户行为数据收集框架图。

图2为电商购物流程漏斗模型。

图3为关键路径转化率模型。

图4为构建的MFSTree。

图5为E的前序逆路径。

图6为D的前序逆路径。

图7为基于用户序列相似度聚类(DBScan)。

图8为基于用户行为相似度聚类(Kmeans)。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本实施例所述的基于移动应用的互联网用户数据分析方法，具体情况如下：

(一)用户行为数据采集

不同与Web日志的收集，移动应用需要根据不同类型的操作系统设计不同的数据收集方法，如IOS系统上使用Object-C进行应用开发，Object-C是解释型语言，可在应用运行时做代码的修改和热替换，为原有的类与方法添加收据收集功能，Android系统可使用AOP思想来实现用户数据的收集。Android的上层开发采用的是Java语言，Android应用开发需要先将Java语言源文件先编译成字码文件。本发明将利用Java字节码特性，采用静态插桩技术，设计一套统一的数据收集方案。如图1所示，在保证移动应用源代码的逻辑完整性的基础上，在程序中插入一些可定制的数据收集代码，这部分工作在编译期完成，不污染源代码，通过触发插桩代码的执行来获取程序运行的相关数据，并通过自定义事件和自定义指标的跟踪和分析，获得程序的控制流和数据流信息，从而实现数据收集的目的。本平台主要收集应用的新增用户，活跃用户，启动次数，版本分布，用户地域分布等行业指标数据，以及每个用户在使用移动应用时页面的浏览顺序，每个页面的平均加载时间，逗留时间等用户行为数据。

(二)崩溃分析

移动应用在发生崩溃或者闪退现象时会抛出异常，异常类型主要有两种：可检测异常和不可检测异常，开发者意识到前者可能会发生异常从而使用异常捕获机制来显示的捕获，而后者是开发者未意识到的异常，它通常在程序发布后才会出现从而导致程序崩溃、停止。本发明深入研究各主流操作系统不可检测异常的调用过程和工作原理，通过重写操作系统底层的异常捕获机制来实现个性化的崩溃信息收集和分析，从而达到在移动应用发生异常时能实时收集开发者定制的异常信息，包括1)移动设备的硬件信息：操作系统类型、操作系统版本、移动设备厂商、SDK版本等信息，从而可以判断崩溃现象的发生是否由于硬件不兼容而导致；2)移动设备的运行时信息：移动设备的总CPU使用率、内存占用率、温度以及该应用的CPU占用率、内存占用率等，从而可以判断崩溃现象的发生是否由于移动设备性能原因或者应用消耗设备资源过大而导致；3)异常堆栈的具体信息，帮助开发者判断崩溃现象是否由于代码出现Bug而导致，并提供更多线索定位解决异常。最后通过收集并归类崩溃类型，提供错误管理及数据分析工具，从而提高解决崩溃问题的效率。

(三)关键路径转化率

关键路径转化率分析使用漏斗模型进行建模，帮助开发商确定某个流程的设计是否合理，各步骤间的组织是否存在优化的空间。

漏斗模型如图2所示(以电商购物流程示例)：

1.加入购物车—>2.提交购物车—>3.创建订单—>4.支付订单—>5.完成订单。

假设漏斗定义的关键路径是A-B-C-D-E：

(1)用户完成了A-B-C-D-E，那么认为这个用户成功完成了A-B-C-D-E。

(2)用户完成了A-B-C-F-D-E，那么认为这个用户成功完成了A-B-C-D-E，只不过是按松散的顺序完成的。

(3)用户完成了A-B-C-E，那么认为这个用户成功完成了A-B-C和一次E。

(4)用户完成了A-B-C-A-B-C-D-D-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D。

(5)用户完成了A-A-B-B-C-C-D-D-E-E，那么认为这个用户成功完成了两次A-B-C-D-E。

(6)用户完成了A-A-B-B-C-D-D-E-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B和一次D-E。

(7)用户完成了A-B-C-B-A-A-B-C-D-D-E，那么会认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D，和一次A，一次B。

采用该模型可以分析得到移动应用各页面之间的转化率，通过自定义关键路径，可以得到该关键路径各页面之间的转化率。如定义一个APPStart→Main→NewsDetail→null的关键路径，得到如图3所示的转化率模型。

(四)频繁序列挖掘

频繁序列挖掘借鉴FPGrowth和TriedTree的思想，其中，FPGrowth算法是用于挖掘频繁项集的算法，它利用了一种特殊的数据结构，加快了整个挖掘过程；TriedTree是哈希树的变种，它利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高；通过结合FPGrowth和TriedTree提出一种高效的频繁序列挖掘算法，其挖掘结果可以反映用户的一般使用流程和浏览兴趣，帮助开发者改善App页面的组织结构。

本发明采用MFSGrowth方法进行用户数据的频繁序列挖掘。该方法以FPTree和TriedTree算法为基础。

将MFSGrowth方法用于频繁序列挖掘有以下两个步骤：

1)生成MFSTree，如图4所示；

数据集如下(3条访问记录),假设支持度阈值为2：

Sequence1：A,B,D,E

Sequence2：A,B,D,F

Sequence3：C,D,E

2)生成以某个频繁项为根节点的InvTree。以节点D和E为例，如图5和图6所示。

(五)聚类分析

用户聚类根据用户的使用行为，生成相应特征并聚类，通过用户聚类可以帮助开发商更好地了解各用户群体的整体使用情况，并根据各用户群体的使用规律提供个性化服务。

本发明采用双层聚类算法实现对用户使用行为的聚类分析。

第一层聚类(基于序列相似度的聚类)：该层主要使用DBScan聚类算法，基于用户的访问序列以及访问时间的相似度，对用户会话进行聚类，得到的结果为多个序列类集。

DBScan是一种基于密度的聚类算法，它有一个核心点的概念：如图7所示，如果一个点，在距它Eps的范围内有不少于MinPts个点，则该点就是核心点。核心和它Eps范围内的邻居形成一个簇。在一个簇内如果出现多个点都是核心点，则以这些核心点为中心的簇要合并。

第二层聚类(基于用户行为相似度的聚类)：该层主要使用k-means聚类算法，在第一层聚类的结果上根据用户在每个序列类集中的使用比例对用户进行聚类。

如图8所示，Kmeans算法步骤如下：

第一步：随机取K个中心点。

第二步：所有点分别求到这K个中心点的距离，并将其划分到最近的中心点的簇中。第三步：根据每个簇中的样本点更新K个中心点。

第四步：反复执行第二、第三步，直到K个中心点都不发生移动。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (3)

1.一种基于移动应用的互联网用户数据分析方法，其特征在于，包括以下步骤：

1)用户行为数据采集

在保证移动应用源代码的逻辑完整性的基础上，在程序中插入可定制的数据收集代码，这部分工作在编译期完成，不污染源代码，通过触发插桩代码的执行来获取程序运行的相关数据，并通过自定义事件和自定义指标的跟踪和分析，获得程序的控制流和数据流信息，从而实现数据收集的目的；其中，主要收集应用的新增用户、活跃用户、启动次数、版本分布、用户地域分布这些行业指标数据，以及每个用户在使用移动应用时页面的浏览顺序，每个页面的平均加载时间、逗留时间这些用户行为数据；

2)崩溃分析

研究各主流操作系统不可检测异常的调用过程和工作原理，通过重写操作系统底层的异常捕获机制来实现个性化的崩溃信息收集和分析，从而达到在移动应用发生异常时能实时收集开发者定制的异常信息，包括：1)移动设备的硬件信息：操作系统类型、操作系统版本、移动设备厂商、SDK版本信息，从而能够判断崩溃现象的发生是否由于硬件不兼容而导致；2)移动设备的运行时信息：移动设备的总CPU使用率、内存占用率、温度以及该应用的CPU占用率、内存占用率，从而能够断崩溃现象的发生是否由于移动设备性能原因或者应用消耗设备资源过大而导致；3)异常堆栈的具体信息，帮助开发者判断崩溃现象是否由于代码出现Bug而导致，并提供线索定位解决异常；最后通过收集并归类崩溃类型，提供错误管理及数据分析工具，从而提高解决崩溃问题的效率；

3)关键路径转化率分析

关键路径转化率分析使用漏斗模型进行建模，帮助开发商确定某个流程的设计是否合理，各步骤间的组织是否存在优化的空间；假设漏斗定义的关键路径是A-B-C-D-E，则如下：

①用户完成了A-B-C-D-E，那么认为这个用户成功完成了A-B-C-D-E；

②用户完成了A-B-C-F-D-E，那么认为这个用户成功完成了A-B-C-D-E，只不过是按松散的顺序完成的；

③用户完成了A-B-C-E，那么认为这个用户成功完成了A-B-C和一次E；

④用户完成了A-B-C-A-B-C-D-D-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D；

⑤用户完成了A-A-B-B-C-C-D-D-E-E，那么认为这个用户成功完成了两次A-B-C-D-E；

⑥用户完成了A-A-B-B-C-D-D-E-E，那么认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B和一次D-E；

⑦用户完成了A-B-C-B-A-A-B-C-D-D-E，那么会认为这个用户成功完成了一次A-B-C-D-E，完成了一次A-B-C-D，和一次A，一次B；

采用上述模型能够分析得到移动应用各页面之间的转化率，通过自定义关键路径，就能够得到该关键路径各页面之间的转化率；

4)频繁序列挖掘

采用MFSGrowth方法进行用户数据的频繁序列挖掘，该方法以FPTree和TriedTree算法为基础；其中，将MFSGrowth方法用于频繁序列挖掘有以下两个步骤：

4.1)生成MFSTree；

4.2)生成以某个频繁项为根节点的InvTree；

5)聚类分析

用户聚类根据用户的使用行为，生成相应特征并聚类，通过用户聚类能够帮助开发商了解各用户群体的整体使用情况，并根据各用户群体的使用规律提供个性化服务；

采用双层聚类算法实现对用户使用行为的聚类分析：

第一层聚类即基于序列相似度的聚类DBScan：该层主要使用DBScan聚类算法，基于用户的访问序列以及访问时间的相似度，对用户会话进行聚类，得到的结果为多个序列类集；

第二层聚类即基于用户行为相似度的聚类k-means：该层主要使用k-means聚类算法，在第一层聚类的结果上根据用户在每个序列类集中的使用比例对用户进行聚类。

2.根据权利要求1所述的一种基于移动应用的互联网用户数据分析方法，其特征在于：DBScan是一种基于密度的聚类算法，它有一个核心点的概念：如果一个点，在距它Eps的范围内有不少于MinPts个点，则该点就是核心点，核心和它Eps范围内的邻居形成一个簇，在一个簇内如果出现多个点都是核心点，则以这些核心点为中心的簇要合并。

3.根据权利要求1所述的一种基于移动应用的互联网用户数据分析方法，其特征在于，所述的Kmeans算法，包括以下步骤：

第一步：随机取K个中心点；

第二步：所有点分别求到这K个中心点的距离，并将其划分到最近的中心点的簇中；

第三步：根据每个簇中的样本点更新K个中心点；

第四步：反复执行第二、第三步，直到K个中心点都不发生移动。