CN103763149B - 网络用户数的实时统计方法 - Google Patents

Abstract

本发明涉及计算机网络技术领域，公开了一种网络用户数的实时统计的方法，在拥有某一地域各种终端用户的全部网络流量的前提下，深入解析流量中的各种协议下的网络报文，提取关键信息，根据统计需要，选用合适的结构，添加相应用户属性，进行组装存储，采用本地缓存技术，提高查询实时性；并且采用用户时间老化技术对动态用户下线报文丢失和静态用户没有下线报文进行了相应的处理；为了保证用户统计的准确度，系统给用户提供了接口：用来设置本区域内的用户范围（IP段），来保证过境流量对统计进行的干扰；对静态IP的首次访问，采用异步处理方式，增强系统实时响应速度。

Description

网络用户数的实时统计方法

技术领域

本发明涉及计算机网络技术领域，尤其是网络用户数的实时统计方法与系统。

背景技术

网络用户数统计是网络分析的重要方面，目前针对网络用户信息统计的方法主要有以下几种：

1、根据统计要求生成移动通信用户信息统计请求，解析移动通信用户信息统计请求中携带的统计区域信息、统计时间信息和移动终端动态信息；根据统计区域信息确定统计基站；从采集并存储的移动通信用户信息中获取统计基站对应的移动通信用户信息，并根据时间信息和移动终端动态信息对获取到的移动通信用户信息进行匹配，得到统计结果。

2、在用户访问过程中，由用户终端定期向服务器发送携带用户身份标识的通知消息，服务器根据通知消息时，将数据库内保存的用户在线记录中该用户的最近访问时间更新为当前的系统时间；服务器定期根据各用户的用户在线记录分别确定其相应的最近访问时间，将最近访问时间归属至设定时间范围的用户确定为在线用户，并统计所述在线用户的数量。

但是上述两种方式中，存在以下缺陷：

1、统计网络终端用户类型有局限性，均是针对固定类型的用户，如移动终端的用户或访问特定服务器的用户，统计所针对的用户类型不够全面。

2、用户需要定期进行特定消息的发送。这就增加了网络通信次数，加重了网络的负担，而且当统计在涉及没有定期发送特定消息的用户时，统计的结果不够准确。

发明内容

(一)本发明解决的技术问题：

目前在网络用户数实时统计方面，基本没有很全面的技术方案，现有的技术方案都有一定的局限性，有的是终端用户类型不够全面，有的是针对特殊用户的统计，有的为了统计需要，增加了网络通信次数。

针对现有技术的缺陷，本发明提出了一种网络用户数的实时统计的方法，适用于各种终端类型，从用户访问网络的根本事实出发，能够对网络流量的各种协议包进行解析；使用合适结构存储解析后的用户属性能够全面、准确、实时地统计网络用户数；本发明还具备可扩展性，能够根据使用者的需求，灵活的统计网络用户数以及网络用户的相关属性。

(二)技术方案

为实现上述目的，本发明提出了一种网络用户数的实时统计的方法，在拥有某一地域各种终端用户的全部网络流量的前提下，深入解析流量中的各种协议下的网络报文，提取关键信息，根据统计需要，选用合适的结构，添加相应用户属性，进行组装存储，采用本地缓存技术，提高查询实时性；并且采用用户时间老化技术对动态用户下线报文丢失和静态用户没有下线报文进行了相应的处理；为了保证用户统计的准确度，系统给用户提供了接口：用来设置本区域内的用户范围(IP段)，来保证过境流量对统计进行的干扰；对静态IP的首次访问，采用异步处理方式，增强系统实时响应速度。

本发明也有充足的可扩展性，可以根据统计需求，添加相应的用户属性，来达到统计需求，扩展后可以统计现网中动态用户数、静态用户数、当前在线用户数、历史在线用户总数、小时上线用户数、天上线用户数、月上线用户数等。

具体地，一方面，本发明提供一种网络用户数的实时统计方法，其特征在于，所述方法包括步骤：

(1)流量分析阶段，流量采集解析模块采集到用户访问流量，获取各种网络协议下的报文，对获取的各种报文进行解析，提取关键信息，添加用户属性信息，进行组装存储；

(2)查询阶段，首先由查询处理模块接收使用者的查询请求，根据查询请求在本地缓存或用户属性数据库中进行查询通过用户界面等向使用者呈现统计结果。

优选地，步骤(1)中将关键信息和用户属性信息组装后存储在本地缓存和用户属性信息数据库中。

优选地，步骤(1)解析出的报文归结为两种类型的报文，一种是动态用户的信令报文，一种是动态用户和静态用户的http访问报文。

优选地，对于动态用户的信令报文，根据报文的不同，分为以下几种处理方式：

获取的是用户的上线报文，在上线报文中包含用户的IP与用户唯一标识USER_ID，取得IP和USER_ID后，到用户属性本地缓存中进行反查，如果未反查到，用户流量处理模块会对用户USER_ID和统计需要的用户相关属性进行组合，分别存储在本地缓存中和用户属性数据库中，标记该上线动作的发生，如果反查到，比较两个USER_ID，如果相同，什么都不做，如果不相同，则把用户属性数据库中的原有USER_ID状态置为下线，并保存新IP、USER_ID及其他属性数据的组合，标记该上线动作的发生；

获取的是用户的下线报文，对本地缓存、与用户属性数据库中的用户信息进行相应操作，标记该下线动作的发生；

获取的是用户的更新报文，与上线报文处理方式相同。

优选地，动态用户和静态用户的http访问报文，采用如下处理方式：首先，获取http访问报文，在http报文中包含用户的IP，取得IP后，在本地缓存中进行反查，反查到则更新用户属性信息；没有反查到，那么则判断该用户IP是否是过境流量，对过境流量用户，做丢弃处理，如不是过境流量，则到用户属性信息数据库中查询，若在用户信息数据库中查询到，则更新本地缓存；没有查询到，则说明此用户是静态用户，使用该用户的IP和属性信息生成该用户的用户唯一标识USER_ID，接下来再根据USER_ID和相应的统计需要的用户相关属性进行组合，在本地数据库和用户属性数据库中进行相应操作。

优选地，所述统计需要的用户相关属性包括：末次上线时间、末次访问时间、区域编号、是否在线信息。

优选地，所述到用户属性信息数据库中查询采用异步方式进行查询处理。

优选地，对于静态用户在本地数据库和用户属性数据库中进行相应操作包括采用时间老化机制管理数据。

(三)技术效果

本发明提出的用户数统计方法基于用户访问网络这一基本事实，能够适用于各种终端类型，全面、准确、实时地统计网络用户数。

本发明的流量分析持续进行，得到的统计数据具有实时性。

本发明还具备可扩展性，能够根据使用者的需求，灵活的统计网络用户数以及网络用户的相关属性。；

本发明针对静态IP采用老化机制，能针对动态用户下线报文丢失和静态用户没有下线报文进行了相应的处理。

本发明采用异步查询的处理方式，增强系统实时响应速度。

附图说明

图1是本发明中网络用户数的实时统计的方法流程示意图；

图2是本发明中网络用户数的实时统计的方法具体实施例的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明在拥有某一地域各种终端用户的全部网络流量的前提下，深入解析流量中的各种网络报文，提取关键信息，根据统计需要，添加相应用户属性，进行组装存储，采用本地缓存技术，提高查询实时性；并且采用用户老化技术对动态用户下线报文丢失和静态用户没有下线报文进行了相应的处理；为了保证用户统计的准确度，系统给用户提供了接口：用来设置本区域内的用户范围(IP段)，来保证过境流量对统计进行的干扰；对静态IP的首次访问，采用异步处理方式，增强系统实时响应速度。

本发明也有充足的可扩展性，可以根据统计需求，添加相应的用户属性，来达到统计需求，扩展后可以统计现网中动态用户数、静态用户数、当前在线用户数、历史在线用户总数、小时上线用户数、天上线用户数、月上线用户数等。

图1是本发明中网络用户数的实时统计的方法流程示意图。在本发明公开的方法分为两个阶段：流量分析阶段和查询阶段。流量分析阶段是查询阶段的基础，但两者并不具有一定的先后顺序，可以同步进行，可以先后进行，也可以交叉顺序进行。

在流量分析阶段，首先使用流量采集解析模块采集到用户访问流量，获取各种报文，如http、radius、gtp-c、gtp-u、dhcp等，对获取的各种报文进行解析，能够解析出两种类型的报文，一种是动态用户的信令报文，一种是动态用户和静态用户的http访问报文。

对于动态用户的信令报文，根据报文的不同，分为以下几种处理方式：

1、获取的是用户的上线报文。在上线报文中包含用户的IP与用户唯一标识USER_ID，取得IP和USER_ID后，使用IP到用户属性本地缓存中进行反查，如果没有得到该IP的记录，用户流量处理模块会对用户USER_ID和一些统计需要的用户相关属性：末次上线时间、末次访问时间、区域编号、是否在线等信息进行组合，分别存储在本地缓存中和用户属性数据库中，标记该上线动作的发生。如果反查得到该IP的记录，接下来比较两个USER_ID，如相同，什么都不做，如不相同，则把用户属性数据库中的原有USER_ID状态置为下线，并保存新IP、USER_ID及其他属性数据的组合，标记该上线动作的发生。

2、获取的是用户的下线报文。那么会对本地缓存、与用户属性数据库中的用户信息进行相应操作，标记该下线动作的发生。

3、获取的是用户的更新报文。与上线报文处理方式相同。

4、获取的是用户的http报文。则与静态用户访问做相同的处理。

对于http访问报文：

首先，获取http访问报文，在http报文中包含用户的IP，取得IP后，使用IP到用户属性本地缓存中进行反查，反查到则更新用户属性信息；没有反查到，那么则判断该用户IP是否是过境流量，对过境流量用户，做丢弃处理，如不是过境流量，则到用户信息数据库中查询，为了提高系统实时响应速度，可采用异步方式进行查询处理。若在用户信息数据库中查询到，则更新本地缓存；没有查询到，则说明此用户可能是静态用户，那么就该用户的IP和相关属性，采用一定算法，生成该用户的用户唯一标识USER_ID，接下来再根据USER_ID和相应的统计需要属性进行组合，在本地数据库和用户属性数据库中进行相应操作。

在查询阶段，首先由查询处理模块接收使用者的查询请求，根据查询请求在本地缓存或用户属性数据库中进行查询通过用户界面等向使用者呈现统计结果。

图2是本发明中网络用户数的实时统计的方法具体实施例的流程示意图。下面详述采用本发明的技术方案实现某一地区运营商网络在线用户数的实时统计方法的具体实施例。

首先用户需要配置自身所在区域的IP段，防止过境IP造成的统计不准确。

网络流量进入用户流量采集解析模块，该模块处理后得到信令报文和http报文。

对于上线信令报文，用户流量处理模块解析出用户的IP和USER_ID，用IP在本地缓存中反查，如果没有得到该IP的记录，那么将IP、USER_ID、状态(在线或不在线)组合，分别存储在本地缓存中和用户属性数据库中；如果反查到，接下来比较两个USER_ID，如相同，什么都不做，如不相同，则把用户属性数据库中的原有USER_ID状态置为下线，并保存新IP、USER_ID、状态组合。

对于下线信令报文，分别把本地缓存和用户属性数据库中相应记录的状态置为下线。

对于更新信令报文，按照上线信令报文处理。

对于http报文，先在本地缓存中根据IP进行反查，如查到，流程结束，如没查到，在判断该IP是否属于过境IP，属于则流程结束，不属于，则到用户属性数据库反查，反查到，便更新该IP对应用户的状态，存储到本地缓存中，并更新用户属性数据库，如没查到，模块将对IP进行MD5加密，并结合其他用户属性，构造USER_ID，再把IP、USER_ID、状态组合，存储到本地缓存和用户属性信息数据库中。

当使用者需要查询网络在线用户数的时候，查询处理模块取得本地缓存中状态为在线的用户数目，呈现给使用者。

Claims (6)

1.一种网络用户数的实时统计方法，其特征在于，所述方法包括步骤：

(1)流量分析阶段，流量采集解析模块采集到用户访问流量，获取各种网络协议下的报文，对获取的各种报文进行解析，提取关键信息，添加用户属性信息，进行组装存储；

(2)查询阶段，首先由查询处理模块接收使用者的查询请求，根据查询请求在本地缓存或用户属性数据库中进行查询通过用户界面等向使用者呈现统计结果；

步骤(1)解析出的报文归结为两种类型的报文，一种是动态用户的信令报文，一种是动态用户和静态用户的http访问报文；

对于动态用户的信令报文，根据报文的不同，分为以下几种处理方式：

获取的是用户的上线报文，在上线报文中包含用户的IP与用户唯一标识USER_ID，取得IP和USER_ID后，到用户属性本地缓存中进行反查，如果未反查到，用户流量处理模块会对用户USER_ID和统计需要的用户相关属性进行组合，分别存储在本地缓存中和用户属性数据库中，标记该上线动作的发生，如果反查到，比较两个USER_ID，如果相同，什么都不做，如果不相同，则把用户属性数据库中的原有USER_ID状态置为下线，并保存新IP、USER_ID及其他属性数据的组合，标记该上线动作的发生；

获取的是用户的下线报文，对本地缓存、与用户属性数据库中的用户信息进行相应操作，标记该下线动作的发生；

获取的是用户的更新报文，与上线报文处理方式相同。

2.如权利要求1所述的方法，其特征在于：步骤(1)中将关键信息和用户属性信息组装后存储在本地缓存和用户属性信息数据库中。

3.如权利要求1所述的方法，其特征在于：动态用户和静态用户的http访问报文，采用如下处理方式：首先，获取http访问报文，在http报文中包含用户的IP，取得IP后，在本地缓存中进行反查，反查到则更新用户属性信息；没有反查到，那么则判断该用户IP是否是过境流量，对过境流量用户，做丢弃处理，如不是过境流量，则到用户属性信息数据库中查询，若在用户信息数据库中查询到，则更新本地缓存；没有查询到，则说明此用户是静态用户，使用该用户的IP和属性信息生成该用户的用户唯一标识USER_ID，接下来再根据USER_ID和相应的统计需要的用户相关属性进行组合，在本地数据库和用户属性数据库中进行相应操作。

4.如权利要求1或3所述的方法，其特征在于：所述统计需要的用户相关属性包括：末次上线时间、末次访问时间、区域编号、是否在线信息。

5.如权利要求3所述的方法，其特征在于：所述到用户属性信息数据库中查询采用异步方式进行查询处理。

6.如权利要求3所述的方法，其特征在于：对于静态用户在本地数据库和用户属性数据库中进行相应操作包括采用时间老化机制管理数据。