CN104506394A - 一种移动互联网流量统计方法和系统 - Google Patents

Abstract

本发明提供了一种移动互联网流量统计方法和系统，其中，所述方法包括：获取包含应用端信息的用户流量访问详单；根据获取的用户流量访问详单进行流量统计。上述技术方案可以针对应用进行流量统计。

Description

一种移动互联网流量统计方法和系统

技术领域

本发明涉及移动互联网的流量统计，尤其涉及一种移动互联网的流量统计方法和系统。

背景技术

通过对移动互联网的流量进行统计，能够获取移动互联网中的流量走向、流量走势、流量热点、应用热点，以便对用户上网行为进行掌握。

所述流量走向指的是：流量来自或到达哪个IP地址；或者流量来自何种类型的终端，如iphone终端、android终端；或流量来自或到达哪个省、地市、国家、运营商、服务提供商(SP)等。

所述流量走势指的是：下一个时间单位的流量相对上一个时间单位流量的变化情况，如，流量走势走高、流量走势走低；所述时间单位可以是小时、天、月、年等。

所述流量热点指的是：产生最大流量的IP地址。

所述应用热点指的是：产生最大流量的应用。

现有的对移动互联网的流量统计基于网络中的流量计费话单(G-CDR)，在省份级别根据统计条件进行统计：对G-CDR进行简单处理(如格式校验、剔重)后存储在Oracle数据库中，输入以SQL语句描述的统计条件，获取统计结果。

现有的统计方法存在以下问题：

第一，流量计费话单G-CDR记录的信息项不包含用户访问的应用端信息，如统一资源定位器(URL)、应用类型等，只包含用户手机号码、用户IP、上网开始时间、上网结束时间和访问流量，因此一般根据G-CDR仅能针对时段统计流量，不能针对应用统计流量。

第二，现有的流量计费话单G-CDR存储在Oracle数据库，流量计费话单数目庞大并且存储无序，受到Oracle数据库技术本身的限制，当数据库容量超过100G后，执行SQL语句进行统计分析速度极其缓慢，比如为统计一个省的移动用户一个月的访问总流量，通常需要执行几个小时以上。

发明内容

本发明提供了一种移动互联网的流量统计方法和系统，以解决针对应用统计流量的技术问题。

为解决上述技术问题，本发明提供了一种移动互联网的流量统计方法，所述方法包括：

获取包含应用端信息的用户流量访问详单；

根据获取的用户流量访问详单进行流量统计。

可选地，所述获取包含应用端信息的用户流量访问详单，包括：

对服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；

建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；

将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。

可选地，根据获取的用户流量访问详单进行流量统计，包括：

对获取的用户流量访问详单进行两级流量统计：

第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；

第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；

所述第二时间间隔包含多个第一时间间隔。

可选地，所述方法还包括：

将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端。

可选地，所述方法还包括：

按照上述在不同条件下使用多级分布式对统计结果进行存储后，建立分布式存储的目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。

为解决上述技术问题，本发明还提供了一种移动互联网的流量统计系统，所述系统包括：

数据获取模块，用于获取包含应用端信息的用户流量访问详单；

流量统计模块，用于根据获取的用户流量访问详单进行流量统计。

可选地，所述数据获取模块，用于获取包含应用端信息的用户流量访问详单，包括：

对服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。

可选地，流量统计模块，用于根据获取的用户流量访问详单进行流量统计，包括：

对获取的用户流量访问详单进行两级流量统计：第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；所述第二时间间隔包含多个第一时间间隔。

可选地，

所述流量统计模块，还用于将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端。

可选地，

所述流量统计模块，还用于按照上述在不同条件下使用多级分布式对统计结果进行存储后，为每一级建立分布式存储目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。

上述技术方案获取用户流量访问数据时，获取用户的应用端信息，使得针对应用统计流量成为可能。

附图说明

图1为本实施例的移动互联网的流量统计方法流程图；

图2为本实施例的移动互联网的流量统计系统组成图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本实施例的移动互联网的流量统计方法流程图。

S101获取包含应用端信息的用户流量访问详单；

为获取所述用户流量访问详单，可在移动网络的服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的Gn口建设分光器、分流器，通过分光器和分流器对在SGSN和GGSN之间传输的数据包进行复制，并将复制后的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；其中，所述业务类型和网址信息可直接由DPI解析数据包得到，应用类型可将由DPI解析数据包得出的数据包源IP地址以及URL信息匹配搭建的应用IP地址和URL库得到；

建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；每条用户上网记录信息包括的内容如表1所示；

将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。

一个用户流量访问详单的数据量非常庞大，如一个月的用户流量访问详单可包含逾万亿条用户上网记录。

表1

S102根据获取的用户流量访问详单进行流量统计。

可选地，对获取的用户流量访问详单进行两级统计：第一级统计，针对每个号码，将第一时间间隔(如1小时)内相同应用类型、相同业务类型的用户上网记录进行汇总，由于第一时间间隔内用户可能更换终端或者切换服务基站，因此IMEI、CELLID信息可能是很多个，汇总记录时可将每IMEI、CELLID都记录下来；第二级统计，将第二时间间隔(如1天)内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总，所述第二时间间隔包含多个第一时间间隔。

如，第一级统计结果为

2014-10-01这一天第二级统计结果，：

手机号码1

应用类型2

业务类型1+

流量N3+N4

。。。

业务类型2

上述技术方案获取用户流量访问数据时，获取了用户的应用端信息，可针对应用统计流量。此外经过上述统计后，还可大大减小用户流量访问详单中用户上网记录的数量，如包含万亿条用户上网记录的用户流量访问详单经过上述统计后，可将包含的用户上网记录缩至亿条。

可选地，可将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端，举例说明如下：

在地域上使用多级分布式存储：如，一级目录-省分，如“sd”代表山东，二级目录-地市，如“01”表示济南，将上述针对用户流量访问详单进行的流量统计结果按照所属地域分别进行存储；其中，用户所属的地市可从用户号码中获取；

在应用上使用多级分布式存储：如，一级目录-SP，如“tencent”代表腾讯，二级目录-应用，如“qq”代表QQ应用，将上述针对用户流量访问详单进行的流量统计结果按照所属应用分别进行存储；

在终端上使用多级分布式存储目录的方式进行存储：如，一级目录-生产厂家，如“sumsung”代表三星，二级目录-“TAC”代表IMEI号前8位的TAC码，将上述针对用户流量访问详单进行的流量统计结果按照所属应用分别进行存储；

可选地，上述不同条件下的多级分布式存储还可以混合，如先在地域上使用多级分布式存储后，再在地市上采用应用上的多级分布式存储；

由于每个统计结果为具体时间段上的统计结果，在每个条件下使用多级分布式进行存储，可按手机号码+时间的顺序对存储的统计结果进行排序；

按上述方式对用户流量访问详单的流量统计结果进行存储后，可根据实际需要快速查找指定号码的用户在指定的第二单位间隔内的流量消耗情况。

可选地，按照上述在不同条件下使用多级分布式对统计结果进行存储后，还可建立一个分布式存储的目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址(如存储在哪个主机的哪个位置)，此外还可包括该级统计结果的条数，建立了分布式存储目录后，进一步加快确定所需统计结果的存储地址，进而找到相应的存储结果。

图2为本实施例的移动互联网的流量统计系统组成图。

所述系统包括：

数据获取模块，用于获取包含应用端信息的用户流量访问详单；

可选地，所述数据获取模块可对服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单；每条用户上网记录信息包括的内容如表1所示；

一个用户流量访问详单的数据量非常庞大，如一个月的用户流量访问详单可包含逾万亿条用户上网记录；

流量统计模块，用于根据获取的用户流量访问详单进行流量统计；

可选地，流量统计模块对获取的用户流量访问详单进行两级流量统计：第一级统计，针对每个号码，将第一时间间隔(如1小时)内相同应用类型、相同业务类型的用户上网记录进行汇总，由于第一时间间隔内用户可能更换终端或者切换服务基站，因此IMEI、CELLID信息可能是很多个，汇总记录时可将每IMEI、CELLID都记录下来；第二级统计，将第二时间间隔(如1天)内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总，所述第二时间间隔包含多个第一时间间隔。

上述技术方案获取用户流量访问数据时，获取了用户的应用端信息，可针对应用统计流量。此外经过上述统计后，还可大大减小用户流量访问详单中用户上网记录的数量，如包含万亿条用户上网记录的用户流量访问详单经过上述统计后，可将包含的用户上网记录缩至亿条。。

可选地，所述流量统计模块，还用于将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端，举例说明如下：

在地域上使用多级分布式存储：如，一级目录-省分，如“sd”代表山东，二级目录-地市，如“01”表示济南，将上述针对用户流量访问详单进行的流量统计结果按照所属地域分别进行存储；其中，用户所属的地市可从用户号码中获取；

在应用上使用多级分布式存储：如，一级目录-SP，如“tencent”代表腾讯，二级目录-应用，如“qq”代表QQ应用，将上述针对用户流量访问详单进行的流量统计结果按照所属应用分别进行存储；

在终端上使用多级分布式存储目录的方式进行存储：如，一级目录-生产厂家，如“sumsung”代表三星，二级目录-“TAC”代表IMEI号前8位的TAC码，将上述针对用户流量访问详单进行的流量统计结果按照所属应用分别进行存储；

可选地，上述流量统计模块还可以将不同条件下的多级分布式存储进行混合，如先在地域上使用多级分布式存储后，再在地市上采用应用上的多级分布式存储。

由于每个统计结果为具体时间段上的统计结果，可选地，上述流量统计模块在每个条件下使用多级分布式进行存储时，可按手机号码+时间的顺序对存储的统计结果进行排序。

可选地，所述流量统计模块，还用于按照上述在不同条件下使用多级分布式对统计结果进行存储后，为每一级建立分布式存储目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址(如存储在哪个主机的哪个位置)，此外还可包括该级统计结果的条数。建立了分布式存储目录后，进一步加快确定所需统计结果的存储地址，进而找到相应的存储结果。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种移动互联网的流量统计方法，其特征在于，所述方法包括：

获取包含应用端信息的用户流量访问详单；

根据获取的用户流量访问详单进行流量统计。

2.如权利要求1所述的方法，其特征在于，所述获取包含应用端信息的用户流量访问详单，包括：

对服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；

建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；

将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。

3.如权利要求2所述的方法，其特征在于，根据获取的用户流量访问详单进行流量统计，包括：

对获取的用户流量访问详单进行两级流量统计：

第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；

第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；

所述第二时间间隔包含多个第一时间间隔。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

按照上述在不同条件下使用多级分布式对统计结果进行存储后，建立分布式存储的目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。

6.一种移动互联网的流量统计系统，其特征在于，所述系统包括：

数据获取模块，用于获取包含应用端信息的用户流量访问详单；

流量统计模块，用于根据获取的用户流量访问详单进行流量统计。

7.如权利要求6所述的系统，其特征在于，所述数据获取模块，用于获取包含应用端信息的用户流量访问详单，包括：

对服务GPRS支持节点(SGSN)和网关GPRS支持节点(GGSN)之间的数据包进行深度报文检测(DPI)，根据检测得到的数据获取应用端信息，所述应用端信息包括：应用类型、业务类型、网址信息；建立用户上网记录信息，所述用户上网记录信息包括对数据包进行DPI检测后的数据、应用端信息；将在预设时间段内建立的多条用户上网记录信息组成一条用户流量访问详单。

8.如权利要求7所述的系统，其特征在于，流量统计模块，用于根据获取的用户流量访问详单进行流量统计，包括：

对获取的用户流量访问详单进行两级流量统计：第一级统计，针对每个号码，将第一时间间隔内相同应用类型、相同业务类型的用户上网记录进行汇总；第二级统计，将第二时间间隔内每个号码的第一级统计结果针对应用类型和业务类型分别进行汇总；所述第二时间间隔包含多个第一时间间隔。

9.如权利要求8所述的系统，其特征在于，

所述流量统计模块，还用于将上述经过两级统计后的结果在不同条件下使用多级分布式进行存储，所述不同条件包括：地域、应用和终端。

10.如权利要求9所述的系统，其特征在于，

所述流量统计模块，还用于按照上述在不同条件下使用多级分布式对统计结果进行存储后，为每一级建立分布式存储目录，每一级目录存储的信息包括该级首条统计结果的物理存储地址。