CN105577431A - 一种基于互联网应用的用户信息识别分类方法和系统 - Google Patents

Abstract

为弥补传统数据收集和识别方式的局限性，本发明提供了一种基于互联网应用的用户信息识别分类方法和系统。该基于互联网应用的用户信息识别分类方法包括：S1获取应用用户的使用信息；S2实时数据分析；S3离线储存；S4离线数据分析；S5分析结果汇总。该方法具有极强的兼容性，可以实现实时的数据收集，具有较好的稳定性；储存压力小，数据分析速率快；采用离线方式储存数据，保证数据完整无误，保证历史数据不丢失。该基于互联网应用的用户信息识别分类系统包括数据收集模块、日志分析模块、储存模块、离线分析模块和模型数据库。该系统具有极强的精度、灵活性和稳定性，采用实时分析和离线分析两级分析模式，降低了系统运算压力。

Description

一种基于互联网应用的用户信息识别分类方法和系统

技术领域

本发明属于通讯领域，特别是涉及一种基于互联网应用的用户信息识别分类方法和系统。

背景技术

在互联网快速发展的今天，网络上的信息日益膨胀，面对这众多的信息资源，广大网民发现越来越难以获得自己想要的信息。个性化的服务技术就是在这种需求背景下诞生的，个性化服务是根据用户的设定来实现的，是一种有针对性的服务方式，通过各种渠道对资源进行收集、整理和分类，向用户提供和推荐相关信息，以满足用户的需求。个性化服务打破了传统被动式的服务模式，能够充分利用各种资源优势，主动开展以满足用户个性化需求为目的的服务。而提供个性化的关键，就在于能够对于用户的行为有着合理的对应关系，只有拥有了这样的对应关系，才有可能进行个性化推荐和筛选。现有的互联网应用的用户信息识别技术研究，主要集中在WEB信息的抽取与分析，所采取的方法有关于WEB信息自动数据记录分析、基于Cookie技术和启发式规则的用户识别，或基于WEB日志挖掘的用户信息需求识别等，但随着APP模式的出现，大量的互联网应用软件涌现，单纯通过WEB信息抽取与分析具有极大的局限性，难以达到有效解决互联网信息识别技术问题，以及如何通过海量信息还原一个用户的真实行为，传统数据收集和识别方式有其局限性，主要有以下原因：

1.浏览器Http协议无状态。Http协议是无状态协议，将同一个人的数据聚合起来，难度本来就比较高，必须通过Cookie，URL参数等不稳定的方式追踪一个人的行为。

2.40％的Cookie清除率。从实际的数据上来看，大约40％的用户会清除自己的Cookie，这对于数据收集，Join非常不利。用户清除Cookie的原因很多，包括：由于360，搜狗等现代浏览器的出现，用户清除Cookie的代价非常小，甚至很多浏览器会主动提示；360，腾讯，百度等厂商提供的“安全卫士”等产品会对浏览器数据进行清除，这些工作可能是在用户没有意识的情况下进行的；网吧的还原精灵等自动还原工具的存在。

3.大量非登录用户。当前互联网很多服务为了降低用户使用门槛，很多服务都不要求用户登录。这样进一步提高了用户识别的难度。

4.在线时间短，数据稀疏。在线时间是另外一个传统收集用户数据的软肋。

这些问题严重制约着个性化服务的展开和发展。

发明内容

为解决上述问题，本发明提供了一种基于互联网应用的用户信息识别分类方法包括以下步骤:

1.获取应用用户的使用信息。

2.实时数据分析。

3.离线储存。

4.离线数据分析。

5.分析结果汇总。

步骤1获取的信息为用户使用应用时产生的日志数据。

进一步的，步骤1收集的日志数据包括：用户设备ID；用户账号信息收集；用户社会关系收集；用户地缘信息收集。

步骤2所述实时数据分析包括：

首先对收集到的日志数据进行格式化汇总：将该日志数据进行Json格式化为一个JSON字符串：每条log包含有一个logId、一个partnerId和一个cookieId。其中，log代表日志；logId代表日志唯一id，每条日志随机生成；partnerId代表用户分组id；cookieId代表客户端标识，同一个客户端cookieId相同。

然后进行实时的初步分类汇总，分为：关键信息和非关键信息，关键信息和非关键信息均包含一个或多个key-value对；关键信息的key为事件名称，value为事件发生的次数，会进入实时汇总计算；非关键信息的key和value任意，并且不进入实时汇总计算。

最后对关键信息进行多层级分类汇总形成多个统计表，每个表格的名称为partnerId，表格内容为关键信息和发生次数，将每条log格式化后的数据partnerId，关键信息，发生次数，更新到表格中。

进一步的，这些表格的信息，每隔一段时间生成统计数据点，之后清零。这样就能得到最新的数据和每个数据点间隔时间之间的数据。

优选的，间隔时间可以选择为1分钟、3分钟、5分钟或10分钟。

进一步的，所述log内容还可以分为：

a.定时log：定时将一段时间内的客户端信息汇总上报，可以含有多个关键信息key-value对，和若干个非关键信息key-value对。

b.突发log：突发log用于拟补定时log不能立即发送的不足，将少量更重要的信息立即上报；突发log含有一个关键信key-value对，和若干个非关键信息key-value对。

进一步的，步骤2所述多层级分类汇总包括：首先，Json串进行Loadbalance步骤的初步汇总后将数据的量级降低为常数；之后Json串进行多层级的汇总，形成多个统计表，每个表格的名称为partnerId，表格内容为关键信息和发生次数；最后，将每条log格式化后的partnerId，关键信息，发生次数，更新到表格中。

步骤3所述离线储存为：将多层级分类汇总后的日志数据进行分布式保存并且每1小时进行一次高效压缩。

步骤4所述离线数据分析为:根据预设数据模型调取相应数据进行离线建模分析，包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等。

步骤5所述分析结果汇总为：结合离线数据分析各数据模型，形成个人用户及应用用户的个性化汇总，可以包括用户兴趣图谱分析和应用用户群体图谱分析。

本发明还提供了一种基于互联网应用的用户信息识别分类系统，该系统包括：数据收集模块、日志分析模块、储存模块和离线分析模块。

所述数据收集模块可以加装于客户端，统计应用程序的使用行为信息，并按照固定格式和固定间隔时间上传到服务器；也可以加装于服务器端，收集用户应用程序的使用行为信息后进行格式化转化。

所述日志分析模块为：日志分析模块接收数据收集模块和其他业务系统发送的日志数据进行实时的初步分类，分为关键信息和非关键信息，然后对关键信息进行实时的多层级汇总分析。

进一步的，日志分析模块还包括：网络优化；负载均衡；客户端故障容错和客户端网络容错，其中：

网络优化：通过DNS进行网络划分，电信网络、联通网络、移动网络分别部署服务器。

负载均衡：通过将客户端id进行一致性哈希，将客户端上报的压力平均分给多台服务器，一致性哈希保证当新增或者移除某一台服务器的时候，受到影响的用户数量最小。

客户端故障容错：当客户端发现上报统计服务器没有响应的时候，会重试，如果连续重试失败次数达到3次，则自动切换到其他服务器并将连续重试次数清零。

客户端网络容错：当客户端某一次log上报服务器没有正确相应时，会记录该次上报的log并负载于下一次上报的log里。服务器会记录一段时间内log的logId，如出现客户端多次上报时则对重复的logId进行去重。这样保证既没有冗余，同时减少log丢失，并且不会增加log上报次数。

所述储存模块为离线数据库，离线储存日志分析模块分类汇总后的数据。

所述离线分析模块通过调取储存模块数据，根据预设分析模型进行建模分析，必要时可调取日志分析模块数据进行补充，所述数据模型包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等。

所述模型数据库储存离线分析模块分析得到的数据模型。

本发明提供的一种基于互联网应用的用户信息识别分类方法和系统具有如下优点：

1.本方法突破了传统数据收集方式的局限性，具有极强的兼容性，并且可以实现实时的数据收集；采用了服务器负载均衡技术，具有较好的稳定性。

2.实时数据汇总对实时日志进行了多层级分类汇总，降低了实时数据的储存压力，提高了数据分析速率。

3.采用离线方式储存数据，保证数据完整无误，保证历史数据不丢失。

4.本系统具有极强的精度、灵活性和稳定性，采用实时分析和离线分析两级分析模式，降低了系统运算压力。关键数据实时分析，时效性强，全部数据离线存储，完整性高。

附图说明

图1是基于互联网应用的用户信息识别分类方法的流程图；

图2是基于互联网应用的用户信息识别分类系统的结构图。

具体实施例

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

根据本发明一个实施例，提供一种基于激光雷达的输电线路智能预警评估方法，如图1所示，该方法包括：

S1获取应用用户的使用信息；

收集的数据为用户使用应用时产生的日志数据，主要来自于高置信度数据来源，基于移动互联网产品可以准确收集大量用户如下数据：

1)用户设备ID；

2)用户账号信息收集；

3)用户社会关系收集；

4)用户地缘信息收集。

基于移动互联网产品收集用户数据的特点有：准确，Device识别，天然的准确性。不需要登录；数据丰富，社会关系，地缘信息等。

另一方面，新的用户数据收集方式来自于高粘滞性数据来源。视频和游戏是互联网中两大强需求、高在线的应用；从内容角度讲，可以获取用户行为数据，活动时间分布等数据，还可以获取用户兴趣，根据视频，游戏的主题，分类等。其特点是，在线时间长，数据丰富。

S2实时数据分析；

首先对收集到的日志数据进行格式化汇总：将该日志数据进行Json格式化为一个JSON字符串：每条log包含有一个logId、一个partnerId和一个cookieId；然后进行实时的初步分类汇总，分为：关键信息和非关键信息，关键信息和非关键信息均包含一个或多个key-value对：关键信息的key为事件名称，value为事件发生的次数，会进入实时汇总计算；非关键信息的key和value任意，并且不进入实时汇总计算；最后对关键信息进行多层级分类汇总形成多个统计表，每个表格的名称为partnerId，表格内容为关键信息和发生次数，将每条log格式化后的数据partnerId，关键信息，发生次数，更新到表格中。这些表格的信息，每5分钟生成统计数据点，之后清零。这样就能得到最新的数据和每个数据点间隔之间的数据。

例如：客户端用户在每次播放视频的时候，可以上报一个“eventlog(play)”，并且播放视频的过程中，每隔30秒上报“regularlog(online：30秒，download：过去30秒网络下载的字节数)”。这样，服务器可以统计到每5分钟视频播放的总次数，即play的总和)、平均在线人数，即online的总和/5分钟、当前服务器的平均出带宽，即download的总和/5分钟。

S3离线储存；

将多层级分类汇总后的日志数据进行分布式保存并且每1小时进行一次高效压缩。

S4离线数据分析；

调取相应数据进行离线建模分析，包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等。

例如：

某应用某天的活跃用户数：该模型首先调取该应用当天所有的cookieId，然后将cookieId重复的日志去除，最后统计得出当天该应用的用户数量。

事件关联统计：该模型可以统计多种关联事件，例如如想知道某天有多少用户既观看了视频又发送了消息，则首先设播放视频事件为play，发送消息事件为sendMessage，然后通过调取分析该视频当天所有cookieId的play和sendMessage，最后统计得出play次数大于0并且sendMessage次数大于0的用户数。

新增用户统计：该模型首先调取该应用至今的全部cookieId，将cookieId重复的日志去除，然后对当天每一条日志的cookeId进行计算，如果这个cookieId在历史上没有出现过，则标记为新增，最后统计当天新增的cookieId数量。

用户保留率统计：为某天活跃的用户里面，第二天还活跃的比例。该模型需要统计当前出现的cookieId数量，再统计当天出现后第二天仍然出现的cookieId的数量，后者除以前者则为保留率。

离线分析与实时分析相互独立，可以合理分配系统资源，提高建模分析的效率。

S5分析结果汇总；

结合离线数据分析各数据模型，形成个人用户及应用用户的个性化汇总。

根据本发明一个实施例，所述log内容可以分为：

a.定时log：定时将一段时间内的客户端信息汇总上报，可以含有多个关键信息key-value对，和若干个非关键信息key-value对。

b.突发log：突发log用于拟补定时log不能立即发送的不足，将少量更重要的信息立即上报；突发log含有一个关键信息key-value对，和若干个非关键信息key-value对。

根据本发明一个实施例，步骤S2所述多层级分类汇总可以为：首先，Json串进行Loadbalance步骤的初步汇总后将数据的量级降低为常数；之后Json串进行多层级的汇总，形成多个统计表，每个表格的名称为partnerId，表格内容为关键信息和发生次数；最后，将每条log格式化后的partnerId，关键信息，发生次数，更新到表格中。

根据本发明一个实施例，步骤S5所述分析结果汇总可以为：调取数据模型库中的相应数据模型进行汇总分析，得到用户兴趣图谱和应用用户群体图谱。

根据本发明一个实施例，提供一种基于互联网应用的用户信息识别分类系统，如图2所示，该系统包括：数据收集模块、日志分析模块、储存模块、离线分析模块和数据模型库。

数据收集模块可以加装于客户端，统计应用程序的使用行为信息，并按照固定格式和固定间隔时间上传到服务器；也可以加装于服务器端，收集用户应用程序的使用行为信息后进行格式化转化。

日志分析模块接收数据收集模块和其他业务系统发送的日志数据进行实时的初步分类，分为关键信息和非关键信息，然后对关键信息进行实时的多层级汇总分析。

储存模块为离线数据库，离线储存日志分析模块分类汇总后的数据。

离线分析模块通过调取储存模块数据，根据预设分析模型进行建模分析，必要时可调取日志分析模块数据进行补充，所述数据模型包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等。

模型数据库储存离线分析模块分析得到的数据模型。

根据本发明一个实施例，日志分析模块还包括：网络优化；负载均衡；客户端故障容错和客户端网络容错，其中：

网络优化：通过DNS进行网络划分，电信网络、联通网络、移动网络分别部署服务器。

负载均衡：通过将客户端id进行一致性哈希，将客户端上报的压力平均分给多台服务器，一致性哈希保证当新增或者移除某一台服务器的时候，受到影响的用户数量最小。

客户端故障容错：当客户端发现上报统计服务器没有响应的时候，会重试，如果连续重试失败次数达到3次，则自动切换到其他服务器并将连续重试次数清零。

客户端网络容错：当客户端某一次log上报服务器没有正确相应时，会记录该次上报的log并负载于下一次上报的log里。服务器会记录一段时间内log的logId，如出现客户端多次上报时则对重复的logId进行去重。这样保证既没有冗余，同时减少log丢失，并且不会增加log上报次数。

本发明提供的一种基于互联网应用的用户信息识别分类方法和系统具有如下优点：

1.本方法突破了传统数据收集方式的局限性，具有极强的兼容性，并且可以实现实时的数据收集；采用了服务器负载均衡技术，具有较好的稳定性。

2.实时数据汇总对实时日志进行了多层级分类汇总，降低了实时数据的储存压力，提高了数据分析速率。

3.采用离线方式储存数据，保证数据完整无误，保证历史数据不丢失。

4.本系统具有极强的精度、灵活性和稳定性，采用实时分析和离线分析两级分析模式，降低了系统运算压力。

应该注意到并理解，在不脱离本发明权利要求所要求的精神和范围的情况下，能够对上述详细描述的本发明做出各种修改和改进。因此，要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。

Claims (10)

1.一种基于互联网应用的用户信息识别分类方法，其特征在于，包括以下步骤：

S1获取应用用户的使用信息；

S2实时数据分析；

S3离线储存；

S4离线数据分析；

S5分析结果汇总；

步骤S1获取的信息为用户使用应用时产生的日志数据；

步骤S2包括：将该日志数据进行Json格式化为一个JSON字符串：每条log包含有一个logId、一个partnerId和一个cookieId。

2.根据权利要求1所述基于互联网应用的用户信息识别分类方法，其特征在于，所述日志数据包括：用户设备ID、用户账号信息收集、用户社会关系收集、用户地缘信息收集。

3.根据权利要求2所述基于互联网应用的用户信息识别分类方法，其特征在于，步骤S2还包括实时的初步分类和多层级分类汇总：

初步分类汇总将收集得到的log分为：关键信息和非关键信息，关键信息和非关键信息均包含一个或多个key-value对：关键信息的key为事件名称，value为事件发生的次数，会进入实时汇总计算；非关键信息的key和value任意，并且不进入实时汇总计算；

多层级分类汇总包括：Json串进行Loadbalance步骤的初步汇总后将数据的量级降低为常数；之后Json串进行多层级的汇总形成多个统计表，每个表格的名称为partnerId，表格内容为关键信息和发生次数，将每条log格式化后的数据partnerId，关键信息，发生次数，更新到表格中。这些表格的信息，每隔一段时间生成统计数据点，之后清零。

4.根据权利要求3所述基于互联网应用的用户信息识别分类方法，其特征在于，所述log内容可以为：

a.定时log：定时将一段时间内的客户端信息汇总上报，可以含有多个关键信息key-value对，和若干个非关键信息key-value对；

b.突发log：突发log用于拟补定时log不能立即发送的不足，将少量更重要的信息立即上报；突发log含有一个关键信息key-value对，和若干个非关键信息key-value对。

5.根据权利要求1所述基于互联网应用的用户信息识别分类方法，其特征在于，步骤S3包括：将多层级分类汇总后的日志数据进行分布式保存并且每1小时进行一次高效压缩。

6.根据权利要求1所述基于互联网应用的用户信息识别分类方法，其特征在于，步骤S4所述离线数据分析为:根据预设数据模型调取实时日志储存部分信息和汇总日志储存部分信息，分析形成数据模型，包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等。

7.根据权利要求1所述基于互联网应用的用户信息识别分类方法，其特征在于，步骤S5所述分析结果汇总为：结合离线数据分析各数据模型，形成个人用户及应用用户的个性化汇总。

8.根据权利要求7所述基于互联网应用的用户信息识别分类方法，其特征在于，个性化汇总可以是：用户兴趣图谱或应用用户群体图谱。

9.一种基于互联网应用的用户信息识别分类系统，其特征在于，该系统包括：数据收集模块、日志分析模块、储存模块、离线分析模块和模型数据库：

所述数据收集模块可以加装于客户端，统计应用程序的使用行为信息，并按照固定格式和固定间隔时间上传到服务器；也可以加装于服务器端，收集用户应用程序的使用行为信息后进行格式化转化；

所述日志分析模块接收数据收集模块和其他业务系统发送的日志数据进行实时的初步分类，分为关键信息和非关键信息，然后对关键信息进行实时的多层级汇总分析；

所述储存模块为离线数据库，离线储存日志分析模块分类汇总后的数据；

所述离线分析模块通过调取储存模块数据，根据预设分析模型进行建模分析，必要时可调取日志分析模块数据进行补充，所述数据模型包括：活跃用户数统计、事件关联统计、新增用户统计、用户保留率统计等；

所述模型数据库储存离线分析模块分析得到的数据模型。

10.根据权利要求9所述基于互联网应用的用户信息识别分类系统，其特征在于，日志分析模块还包括：网络优化；负载均衡；客户端故障容错和客户端网络容错，其中：

网络优化：通过DNS进行网络划分，电信网络、联通网络、移动网络分别部署服务器；

负载均衡：通过将客户端id进行一致性哈希，将客户端上报的压力平均分给多台服务器，一致性哈希保证当新增或者移除某一台服务器的时候，受到影响的用户数量最小；

客户端故障容错：当客户端发现上报统计服务器没有响应的时候，会重试，如果连续重试失败次数达到3次，则自动切换到其他服务器并将连续重试次数清零；

客户端网络容错：当客户端某一次log上报服务器没有正确相应时，会记录该次上报的log并负载于下一次上报的log里；服务器会记录一段时间内log的logId，如出现客户端多次上报时则对重复的logId进行去重。