CN102664833A - 家庭网关及分析用户上网行为和监控网络质量的方法 - Google Patents

家庭网关及分析用户上网行为和监控网络质量的方法 Download PDF

Info

Publication number
CN102664833A
CN102664833A CN2012101345880A CN201210134588A CN102664833A CN 102664833 A CN102664833 A CN 102664833A CN 2012101345880 A CN2012101345880 A CN 2012101345880A CN 201210134588 A CN201210134588 A CN 201210134588A CN 102664833 A CN102664833 A CN 102664833A
Authority
CN
China
Prior art keywords
network quality
home gateway
monitor
internet behavior
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101345880A
Other languages
English (en)
Other versions
CN102664833B (zh
Inventor
杨柳
柳安意
夏敏
林信泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Fiberhome Technical Services Co Ltd
Original Assignee
Fiberhome Telecommunication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fiberhome Telecommunication Technologies Co Ltd filed Critical Fiberhome Telecommunication Technologies Co Ltd
Priority to CN201210134588.0A priority Critical patent/CN102664833B/zh
Priority to SG2014015259A priority patent/SG2014015259A/en
Priority to PCT/CN2012/079768 priority patent/WO2013163852A1/zh
Priority to RU2013155980A priority patent/RU2608961C2/ru
Priority to MYPI2013702309A priority patent/MY184415A/en
Publication of CN102664833A publication Critical patent/CN102664833A/zh
Application granted granted Critical
Publication of CN102664833B publication Critical patent/CN102664833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/64Hybrid switching systems
    • H04L12/6418Hybrid transport
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • H04L43/55Testing of service level quality, e.g. simulating service usage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种在家庭网关上分析用户上网行为及监控网络质量的方法,包括以下步骤:A10、采集用户上网数据,对到达家庭网关的数据包进行解析,并生成相应的上网行为CSV文件上传到FTP服务器;A20、监控网络质量,家庭网关周期性地模拟PPPOE拨号,主动发起TCP、DNS、HTTP及FTP服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器;A30、分析所述上网行为CSV文件和所述网络质量CSV文件,获得用户上网行为和网络质量结果。本发明,在家庭网关上分析用户上网行为,能有效地获取相应的商业信息,并根据网络质量监控结果对网络作出相应的调整,提供差异化服务,给用户最优的服务质量。

Description

家庭网关及分析用户上网行为和监控网络质量的方法
技术领域
本发明涉及家庭网关,具体涉及家庭网关及分析用户上网行为和监控网络质量的方法。
背景技术
随着光纤入户的普及,各种基于互联网的数据业务越来越丰富,这些业务都离不开家庭网关。家庭网关是一种智能的家庭网络接口单元,实现外部接入网与家庭内部多台上网设备的互通,使用户可以获得各种服务(包括现有的服务和未来可能出现的服务)。
随着网络的高速发展和各种网络应用的兴起,越来越多的商业信息和商业活动在网络上发布和进行,因此,通过上网用户的点击访问频率能够在一定程度上反映网络蕴藏的潜在商业价值,用户对某些信息的点击率越高,表明其受欢迎程度越高,蕴藏的商机也越大。为此,分析用户上网行为能有效获取这些商业信息,并且利用这些商业信息总结出市场趋势、挖掘商业热点,从而有利于市场经济的快速稳定发展。另外网络的高速发展,使得人们对网络质量的要求越来越高,这也给网络运营商带来各种各样的压力。为了解决网络质量问题,运营商要求能实时监控网络质量,根据监控结果对网络作出相应的调整,使用户享受最优服务。
上述这些商业信息以及网络质量的反映都以家庭网关为载体,家庭网关的作用越来越突显,目前,基于PON上行的家庭网关已经逐渐开始取代基于LAN上行的家庭网关,因此,如何利用家庭网关实现用户上网行为分析对于运营商来说非常重要,也是一个急需解决的问题。
发明内容
本发明所要解决的技术问题是解决如何利用家庭网关实现用户上网行为分析的问题。
为了解决上述技术问题,本发明所采用的技术方案是提供一种在家庭网关上分析用户上网行为和监控网络质量的方法,包括以下步骤:
A10、采集用户上网数据,具体做法是:对到达家庭网关的数据包依据监控对象的特征进行解析,并将解析完成后的数据生成相应的上网行为CSV文件上传到FTP服务器;
A20、监控网络质量,具体做法是:家庭网关周期性地模拟 PPPOE 拨号,主动发起 TCP、DNS、HTTP及FTP 服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器;
A30、分析所述上网行为CSV文件和所述网络质量CSV文件,获得用户上网行为和网络质量结果。
在上述方案中,在步骤A10和步骤A20中,所述上网行为CSV文件和所述网络质量CSV文件根据终端综合管理系统下发的上传周期上传到指定的FTP服务器。
在上述方案中,在步骤A30中,所述统计分析通过WEB客户端进行。
在上述方案中,在步骤A10中,在家庭网关的linux内核的Netfilter框架的NF_PREROUTING_HOOK处挂载钩子点,依据各监控对象的特征在钩子函数中对数据包进行解析,最后通过Netlink通信方式将所述有效信息上传到应用层,在应用层对所述有效信息进一步整理,得到所述用户上网行为结果。
在上述方案中,所述数据包在家庭网关上的解析过程如下:
A101、数据包经过linux内核时,在Netfilter框架的钩子点NF_PREROUTING_HOOK处通过钩子函数解析数据包的IP地址、端口port以及协议protocol;
A102、判断数据包的protocol是否为IPPROTO_TCP,如果是则跳转到A103,否则跳转到A104;
A103、执行QQ解析,进而判断目的端口是否为80,是则跳转到A105,否则跳转到A106;
A104、判断数据包的是否为IPPROTO_ICMP,是则将icmp包的个数加1,否则跳转到A116;
A105、执行HTTP协议解析;
A106、判断目的端口是否为25,是则跳转到A107,否跳转到A108;
A107、对发送邮件进行解析;
A108、判断源端口是否为110,是则跳转到A109,否则跳转到A110;
A109、对接收邮件进行解析;
A110、判断源端口是否为1863,是则跳转到A111,否则跳转到A112;
A111、对MSN登录进行解析;
A112、判断目的端口是否为1863,是则跳转到A113,否则跳转到A114;
A113、对MSN退出进行解析;
A114、判断目的端口是否为16000,是则跳转到A115,否则返回A102解析下一个数据包;
A115、对阿里旺旺进行解析;
A116、判断数据包的protocol是否为IPPROTO_UDP,是则跳转到A117,否则返回A102解析下一个数据包;
A117、进行QQ解析。
在上述方案中,QQ协议解析时,针对所有UDP数据包的数据域开始字节为0x02的数据包进行解析,根据QQ登录和退出的数据包特征解析出登录和退出的状态及账户信息;
MSN协议解析时,针对所有源端口和目的端口为1863的数据包进行解析,根据MSN登录和退出的数据包特征解析出登录和退出的状态及账户信息;
阿里旺旺协议解析时,针对所有源端口和目的端口为16000的数据包进行解析,根据阿里旺旺登录和退出的数据包特征解析出登录和退出的状态及账户信息。
在上述方案中,所述网络质量包括时延、抖动、丢包率和HTTP/FTP服务可用性。
在上述方案中,网络质量监控步骤如下:
A201、通过读取配置文件config,获取网关设备的SN号、ping服务器地址、DNS目的地址、FTP服务器地址以及用户名和密码等信息;
A202、创建net_monitor子线程;
A203、如果net_monitor子线程创建成功,执行步骤A204,否则执行步骤A205;
A204、执行net_monitor子线程,在net_monitor子线程中设置定时器循环顺序执行以下测试,获取用户基本信息、目标地址ping测试、FTP服务器可用性测试、HTTP服务器可用性测试、DNS时延及抖动测试;
A205、监控net_monitor子线程;
A206、判断net_monitor子线程是否正常退出,如果是正常退出,则转步骤A202,否则结束网络质量监控。
在上述方案中,在步骤A10和步骤A20中,根据配置文件中不同间隔的上传周期,将生成的所述上网行为CSV文件和所述网络质量CSV文件批量上传至指定的FTP服务器上,然后将网关里面的相应所述上网行为CSV文件和所述网络质量CSV文件删除。
在上述方案中,在步骤A30中,终端综合管理系统和家庭网关之间的通信包括家庭网关启动时和家庭网关运行中两个部分,
家庭网关启动时,终端综合管理系统先读取配置文件beh.conf中的有关用户上网行为的开关值,若此开关值为0,则不作任何处理;否则,先判断用户上网数据采集进程collect_data和网络质量监控进程net_monitor是否同时存在,如果是则先kill掉这两个进程然后重启,进入家庭网关在运行中流程;否则,如果collect_data和net_monitor均不存在,则启动这两个进程;如果collect_data和net_monitor中有一个存在,则kill掉存在的进程,再启动另一个进程;然后接收agent进程发过来的信号,执行信号处理函数。
家庭网关运行中,终端综合管理系统统一配置并下发之后,家庭网关负责将这些配置写到用户上网行为的一个配置文件中,写完之后设置一个开关值表示这些配置生效,同时给进程itms_control发送一个信号,itms_control进程收到此信号之后读这个配置文件中是否开启用户上网行为分析功能的开关,开关为开时,则先判断用户上网数据采集进程和网络质量监控进程是否存在,如果存在,则kill掉存在的进程然后重启,如果不存在则启动这两个进程。
本发明还提供了一种家庭网关,包括用户上网数据采集模块和网络质量监控模块,用户上网数据采集模块对到达家庭网关的数据包依据监控对象的特征进行解析,并将解析完成后的数据生成相应的上网行为CSV文件上传到FTP服务器;网络质量监控模块周期性地模拟 PPPOE 拨号,主动发起 TCP、DNS、HTTP及FTP 服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器。
本发明,在家庭网关上分析用户上网行为,能有效地获取相应的商业信息,并且利用这些商业信息总结出市场趋势、挖掘商业热点,从而有利于市场经济的快速稳定发展,另外通过还可以监控网络质量,根据网络质量监控结果对网络作出相应的调整,提供差异化服务,给用户最优的服务质量。
附图说明
图1是本发明中用户上网数据采集模块结构示意图;
图2是本发明中用户上网数据采集的流程图;
图3是本发明中HTTP协议解析流程图;
图4是本发明中网络质量监控功能实现流程图;
图5是本发明中用户基础信息采集实现框图; 
图6是本发明中HTTP服务可用性的实现框图;
图7是本发明中DNS时延达标率的实现流程图;
图8是本发明中网关启动时家庭网关与家庭网关管理系统交互图;
图9是本发明中网关运行时家庭网关与家庭网关管理系统交互图。
具体实施方式
本发明提供了一种家庭网关及分析用户上网行为和监控网络质量的方法,在家庭网关上设置用户上网数据采集和网络质量监控两个模块,并通过家庭网关上的进程itms_control控制这两个模块的执行,用户上网数据采集模块和网络质量监控模块执行后将用户关心的数据生成相应的上网行为CSV文件和网络质量CSV文件,并根据ITMS(Integrated Terminal Management System,终端综合管理系统)下发的上传周期上传到指定的FTP服务器,然后在WEB客户端对FTP服务器上的相应上网行为CSV文件和所述网络质量CSV文件进行统计分析并输出分析结果,使运营商清楚直观地了解用户上网行为以及网络质量。
本发明提供的在家庭网关分析用户上网行为和监控网络质量的方法包括以下步骤:
A10、采集用户上网数据,具体做法是:对到达家庭网关的数据包依据监控对象(包括各种即时通讯软件和游戏软件等)的特征进行解析,并将解析完成后的数据按照一定的格式生成相应的上网行为CSV文件上传到FTP服务器;
A20、监控网络质量,具体做法是:家庭网关周期性地模拟 PPPOE 拨号,主动发起 TCP、DNS、HTTP及FTP 服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器;
A30、分析所述上网行为CSV文件和所述网络质量CSV文件,获得用户上网行为和网络质量结果。
下面结合附图对本发明作出进一步的详细说明。
(一)采集用户上网数据。
图1示出了本发明中用户上网数据采集模块的结构图,图2示出了本发明中用户上网数据采集的流程图。
用户上网数据采集通过在linux内核的Netfilter框架处挂载钩子点实现,数据包到达钩子点处即进入钩子函数,在钩子函数中分别针对要监控的不同类型的数据包进行解析并获得有效监控信息,最后通过Netlink通信方式将有效监控信息传到应用层,应用层再将这些数据进行过滤,得到用户关心的数据,生成相应的上网行为CSV文件上传到FTP服务器。用户上网数据采集主要包括如下内容: 
(1)记录用户访问的所有URL和时间,并进行HTTP协议解析(一级域名和全域名),提取HTTP信息,包括:搜索引擎(google、baidu、youdao等)以及这些搜索引擎下的搜索关键词、消费网站域名(ALI、taobao等);
(2)对邮件客户端收发邮件进行解析,并提取收件人、发件人以及邮件主题等邮件信息;
(3)对QQ、MSN、阿里旺旺和飞信等应用程序进行解析,提取应用程序名称、访问时间等应用程序信息。 
以下举例说明数据包在家庭网关上的解析过程。
A101、数据包经过linux内核时,在Netfilter框架的钩子点NF_PREROUTING_HOOK处通过钩子函数解析数据包的IP地址、端口port以及协议protocol等信息;
A102、判断数据包packet的protocol是否为IPPROTO_TCP,如果是则跳转到A103,否则跳转到A104;
A103、执行QQ解析,进而判断目的端口distport是否为80,是则跳转到A105,否则跳转到A106;
A104、判断数据包packet的protocol是否为IPPROTO_ICMP,是则执行icmppkg++(将icmp包的个数加1),否则跳转到A116;
A105、执行HTTP协议解析,解析流程如图3所示;
A106、判断目的端口distport是否为25,是则跳转到A107,否跳转到A108;
A107、对发送邮件进行解析;
A108、判断源端口srcport是否为110,是则跳转到A109,否则跳转到A110;
A109、对接收邮件进行解析;
A110、判断源端口srcport是否为1863,是则跳转到A111,否则跳转到A112;
A111、对MSN登录进行解析;
A112、判断目的端口distport是否为1863,是则跳转到A113,否则跳转到A114;
A113、对MSN退出进行解析;
A114、判断目的端口distport是否为16000,是则跳转到A115,否则返回A102解析下一个数据包;
A115、对阿里旺旺进行解析;
A116、判断数据包packet的protocol是否为IPPROTO_UDP,是则跳转到A117,否则返回A102解析下一个数据包;
A117、进行QQ解析。
其中,QQ协议解析时,对所有UDP数据包的数据域首字节开始为0x02的数据包进行解析,根据QQ登录和退出的数据包特征解析出登录和退出的状态及账户信息。
MSN协议解析时,针对所有源端口和目的端口为1863的数据包进行解析,根据MSN登录和退出的数据包特征解析出登录和退出的状态及账户信息。
阿里旺旺(ALI)协议解析时,针对所有源端口和目的端口为16000的数据包进行解析,根据ALI登录和退出的数据包特征解析出登录和退出的状态及账户信息。
如图3所示,HTTP协议解析流程如下:
A1051、判断数据包报文中是否含有GET,如果有则转A1052,否则转A1055;
A1052、获取的链接是否为普通URL,如果是则转A1053,否则转A1055;
A1053、判断数据包报文中是否含有HOST,如果有则转A1054,否则转A1055;
A1054、说明该协议不是http协议,返回0;
A1055、说明该协议是http协议,返回1。
(二)网络质量监控。
网络质量监控模块主要对网络运行环境的质量状况进行监控,这些网络质量指标包括TCP连接、DNS时延、HTTP服务可用性、FTP服务可用性等网络监控数据。图4示出了网络质量监控的流程图,主要步骤如下:
A201、通过读取配置文件config,获取网关设备的SN号、ping服务器地址、DNS目的地址、FTP服务器地址以及用户名和密码等信息;
A202、创建net_monitor子线程;
A203、如果net_monitor子线程创建成功,执行步骤A204,否则执行步骤A205;
A204、执行net_monitor子线程,在net_monitor子线程中设置定时器循环顺序执行以下测试,获取用户基本信息、目标地址ping测试、FTP服务器可用性测试、HTTP服务器可用性测试、DNS时延及抖动测试;
A205、监控net_monitor子线程;
A206、判断net_monitor子线程是否正常退出,如果是正常退出,则转步骤A202,否则结束网络质量监控。
家庭网关上的网络质量监控模块在获取家庭网关唯一的SN之后,执行网络质量监控模块的子线程net_monitor,该子线程net_monitor主要功能是定时循环执行网络质量监控各个实现子模块(获取用户基本信息模块、目标地址ping测试模块、FTP服务器可用性测试模块、HTTP服务器可用性测试模块、DNS时延测试模块),在子线程net_monitor中执行这些子模块提高了程序的执行效率。
获取用户基本信息的实现函数为get_user_basic_info(),流程如图5所示,首先从终端的XML文件中读取相关参数,然后通过系统命令获取相应的参数,并通过时间转换函数获取在线时长,最后写成CSV文件并上传到FTP服务器。
获取相应的参数及在线时长的步骤如下:
A20411、从终端的XML文件中读取相关参数,并判断是否有读取上电时间命令,如果有则转A20416,否则转A20412;
A20412、判断是否有显示MAC地址命令,如果有则转A20416,否则转A20413;
A20413、判断是否有读取上线时间命令,如果有则转A20416,否则转A20414;
A20414、判断是否有读取下线时间命令,如果有则转A20416,否则转A20415;
A20415、判断是否有显示当前命令,如果有则转A20416,否则退出;
A20416、将相关参数按照指定模式转换。
HTTP服务器可用性的主要实现函数为http_service_test_entry(),流程如图6所示,首先在配置文件config中读取请求次数,然后对请求次数、成功次数、不可达次数和超门限次数进行初始化,之后解析url并进行HTTP客户端向服务器连接请求获得用户基本信息,最后将上述用户基本信息写成CSV文件上传到FTP服务器。
其中,解析url并进行HTTP客户端向服务器连接请求获得用户基本信息的步骤为:
A20421、初始化并解析成功URL后,进行HTTP请求连接服务器;
A20422、判断是否小于设定的请求次数,如果是则执行A20423,否则执行A20427;
A20423、判断是否获取到主机信息,如果是则转A20424,否则退出;
A20424、判断是否连接成功,如果是则转A20425,否则退出;
A20425、判断HTTP state是否为302,如果是则转A20427,否则转A20426;
A20426、判断HTTP state是否为200,如果是则转A20422,否则转A20417;
A20427、判断尝试次数是否大于5,如果是则退出,否则转A20423。
TCP连接数据获取主要实现函数为ping_test_entry()。
DNS时延及抖动的主要实现函数为dns_test_entry(),流程如图7所示,首先在配置文件config中初始化参数(包括DNS测试次数,以及DNS测试的目的域名或者目的IP),然后通过管道命令popen获取traceroute的结果,对traceroute的结果进行分析和统计,写成CSV文件,最后将CSV文件上传到FTP服务器。
FTP服务器可用性(FTP上传下载速率)的主要实现函数为FTP_service_test(),通过获取到FTP上传的时间和文件大小,打印每次上传的文件大小,求出上传时间和上传速率。
上网行为CSV文件和网络质量CSV文件批量上传至FTP服务器的实现设计如下:
由于在上传上网行为CSV文件和网络质量CSV文件的时候,需要添加默认路由,然后上传文件,因此生成FTP上传脚本的接口需要包含两个功能:添加默认路由和批量上传文件。为此,本发明中设计了两个接口:
1)初始化接口。提供给家庭网关重启断电后重新开机,进行初始化;或者由ITMS下发FTP相关的IP、用户/密码后,进行初始化。初始化成功,则设置初始化成功标志为1,删掉获取tr069的脚本,只留下上传脚本shell;如果不成功,则把初始化标志设置为0,这样在上传时,可以通过此标志判断初始化是否成功。
2)上传接口:先判断初始化标志是否为成功,如果成功,直接执行上传脚本;如果不成功,则再一次进行初始化,如果此次初始化成功,设置标志位为1,删掉获取tr069信息的脚本,只留下上传脚本,如果失败设置初始标志为零,删掉生成文件。
经过实验统计,从第一次运行到获得tr60 wan链接的IP和节点,需要大约30s。如果初始化时,初始化或生成脚本失败,可以在执行FTP上传时,再进行一次初始化和生成脚本。
采集用户上网数据和监控网络质量两个模块产生的用户关心的数据全部以CSV文件形式存放在家庭网关的某个路径下,为了减小对家庭网关的负荷,本发明中采用了读取配置文件config中的不同间隔周期,并根据配置文件中不同间隔的上传周期,将生成的所述上网行为CSV文件和所述网络质量CSV文件批量上传至指定的FTP服务器上,然后将网关里面的相应所述上网行为CSV文件和所述网络质量CSV文件删除,从而使家庭网关的存储空间的消耗和性能影响降至最低。
(三)在WEB客户端对上网行为CSV文件和网络质量CSV文件进行统计分析。
ITMS和家庭网关之间通信的实现方案如下。
本发明中依据统一配置、即时下发、即时生效的要求,在家庭网关中单独创建一个进程itms_control专门负责开启和关闭用户上网行为分析功能,避免用户上网行为分析功能长时占用内存影响网关的性能。信号量为进程间通信方式的一种,其传递信息量少、即时通信的优点适合用在itms_control和家庭网关之间通信。
家庭网关在刚刚启动的时候,ITMS和家庭网关之间通信的流程如图8所示:
先读取配置文件behavior_analysis.conf中的有关用户上网行为的开关值,若此开关值为未开启,则不作任何处理;否则,先判断用户上网数据采集进程collect_data和网络质量监控进程net_monitor是否同时存在,如果是则先kill掉这两个进程然后重启,进入家庭网关在运行中流程;否则,如果collect_data和net_monitor均不存在,则启动这两个进程;如果collect_data和net_monitor中有一个存在,则kill掉存在的进程,再启动另一个进程,然后接收agent进程(agent进程是负责终端管理系统和家庭网关通信的)发过来的信号,执行信号处理函数。
家庭网关在运行中,ITMS和家庭网关的交互过程如图9所示,ITMS统一配置并下发之后,家庭网关负责将这些配置写到用户上网行为的一个配置文件中,写完之后设置一个开关值表示这些配置生效,同时给进程itms_control发送一个信号,itms_control进程收到此信号之后知道ITMS下发了配置,同时去读这个配置文件中是否开启用户上网行为分析功能的一个开关,读到开关为开,则先判断用户上网数据采集进程和网络质量监控进程是否存在,如果存在,则kill掉存在的进程然后重启,如果不存在则启动这两个进程。
本发明不局限于上述最佳实施方式,任何人应该得知在本发明的启示下作出的结构变化,凡是与本发明具有相同或相近的技术方案,均落入本发明的保护范围之内。

Claims (11)

1.在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,包括以下步骤:
A10、采集用户上网数据,具体做法是:对到达家庭网关的数据包依据监控对象的特征进行解析,并将解析完成后的数据生成相应的上网行为CSV文件上传到FTP服务器;
A20、监控网络质量,具体做法是:家庭网关周期性地模拟 PPPOE 拨号,主动发起 TCP、DNS、HTTP及FTP 服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器;
A30、分析所述上网行为CSV文件和所述网络质量CSV文件,获得用户上网行为和网络质量结果。
2.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,在步骤A10和步骤A20中,所述上网行为CSV文件和所述网络质量CSV文件根据终端综合管理系统下发的上传周期上传到指定的FTP服务器。
3.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,在步骤A30中,所述统计分析通过WEB客户端进行。
4.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,在步骤A10中,在家庭网关的linux内核的Netfilter框架的NF_PREROUTING_HOOK处挂载钩子点,依据各种监控对象的特征在钩子函数中对数据包进行解析,最后通过Netlink通信方式将所述有效信息上传到应用层,在应用层对所述有效信息进一步整理,得到所述用户上网行为结果。
5.如权利要求4所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,所述数据包在家庭网关上的解析过程如下:
A101、数据包经过linux内核时,在Netfilter框架的钩子点NF_PREROUTING_HOOK处通过钩子函数解析数据包的IP地址、端口port以及协议protocol;
A102、判断数据包的protocol是否为IPPROTO_TCP,如果是则跳转到A103,否则跳转到A104;
A103、执行QQ解析,进而判断目的端口是否为80,是则跳转到A105,否则跳转到A106;
A104、判断数据包的是否为IPPROTO_ICMP,是则将icmp包的个数加1,否则跳转到A116;
A105、执行HTTP协议解析;
A106、判断目的端口是否为25,是则跳转到A107,否跳转到A108;
A107、对发送邮件进行解析;
A108、判断源端口是否为110,是则跳转到A109,否则跳转到A110;
A109、对接收邮件进行解析;
A110、判断源端口是否为1863,是则跳转到A111,否则跳转到A112;
A111、对MSN登录进行解析;
A112、判断目的端口是否为1863,是则跳转到A113,否则跳转到A114;
A113、对MSN退出进行解析;
A114、判断目的端口是否为16000,是则跳转到A115,否则返回A102解析下一个数据包;
A115、对阿里旺旺进行解析;
A116、判断数据包的protocol是否为IPPROTO_UDP,是则跳转到A117,否则返回A102解析下一个数据包;
A117、进行QQ解析。
6.如权利要求5所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,
QQ协议解析时,针对所有UDP数据包的数据域开始字节为0x02的数据包进行解析,根据QQ登录和退出的数据包特征解析出登录和退出的状态及账户信息;
MSN协议解析时,针对所有源端口和目的端口为1863的数据包进行解析,根据MSN登录和退出的数据包特征解析出登录和退出的状态及账户信息;
阿里旺旺协议解析时,针对所有源端口和目的端口为16000的数据包进行解析,根据阿里旺旺登录和退出的数据包特征解析出登录和退出的状态及账户信息。
7.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,所述网络质量包括时延、抖动、丢包率和HTTP/FTP服务可用性。
8.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,网络质量监控步骤如下:
A201、通过读取配置文件config,获取网关设备的SN号、ping服务器地址、DNS目的地址、FTP服务器地址以及用户名和密码等信息;
A202、创建net_monitor子线程;
A203、如果net_monitor子线程创建成功,执行步骤A204,否则执行步骤A205;
A204、执行net_monitor子线程,在net_monitor子线程中设置定时器循环顺序执行以下测试,获取用户基本信息、目标地址ping测试、FTP服务器可用性测试、HTTP服务器可用性测试、DNS时延及抖动测试;
A205、监控net_monitor子线程;
A206、判断net_monitor子线程是否正常退出,如果是正常退出,则转步骤A202,否则结束网络质量监控。
9.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,在步骤A10和步骤A20中,根据配置文件中不同间隔的上传周期,将生成的所述上网行为CSV文件和所述网络质量CSV文件批量上传至指定的FTP服务器上,然后将网关里面的相应所述上网行为CSV文件和所述网络质量CSV文件删除。
10.如权利要求1所述的在家庭网关上分析用户上网行为和监控网络质量的方法,其特征在于,在步骤A30中,终端综合管理系统和家庭网关之间的通信包括家庭网关启动时和家庭网关运行中两个部分,
家庭网关启动时,终端综合管理系统先读取配置文件beh.conf中的有关用户上网行为的开关值,若此开关值为0,则不作任何处理;否则,先判断用户上网数据采集进程collect_data和网络质量监控进程net_monitor是否同时存在,如果是则先kill掉这两个进程然后重启,进入家庭网关在运行中流程;否则,如果collect_data和net_monitor均不存在,则启动这两个进程;如果collect_data和net_monitor中有一个存在,则kill掉存在的进程,再启动另一个进程;然后接收agent进程发过来的信号,执行信号处理函数;
家庭网关运行中,终端综合管理系统统一配置并下发之后,家庭网关负责将这些配置写到用户上网行为的一个配置文件中,写完之后设置一个开关值表示这些配置生效,同时给进程itms_control发送一个信号,itms_control进程收到此信号之后读这个配置文件中是否开启用户上网行为分析功能的开关,开关为开时,则先判断用户上网数据采集进程和网络质量监控进程是否存在,如果存在,则kill掉存在的进程然后重启,如果不存在则启动这两个进程。
11.家庭网关,其特征在于,包括:
用户上网数据采集模块,对到达家庭网关的数据包依据监控对象的特征进行解析,并将解析完成后的数据生成相应的上网行为CSV文件上传到FTP服务器;
网络质量监控模块,周期性地模拟 PPPOE 拨号,主动发起 TCP、DNS、HTTP及FTP 服务可用性探测,并将探测结果生成相应的网络质量CSV文件上传到FTP服务器。
CN201210134588.0A 2012-05-03 2012-05-03 家庭网关及分析用户上网行为和监控网络质量的方法 Active CN102664833B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201210134588.0A CN102664833B (zh) 2012-05-03 2012-05-03 家庭网关及分析用户上网行为和监控网络质量的方法
SG2014015259A SG2014015259A (en) 2012-05-03 2012-08-07 Home gateway and method for analyzing network accessing behavior of user and monitoring network quality
PCT/CN2012/079768 WO2013163852A1 (zh) 2012-05-03 2012-08-07 家庭网关及分析用户上网行为和监控网络质量的方法
RU2013155980A RU2608961C2 (ru) 2012-05-03 2012-08-07 Домашний шлюз и способ анализа онлайн-поведения пользователя и мониторинга качества сетевых услуг
MYPI2013702309A MY184415A (en) 2012-05-03 2012-08-07 Home gateway and method for analyzing user online behavior and monitoring network quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210134588.0A CN102664833B (zh) 2012-05-03 2012-05-03 家庭网关及分析用户上网行为和监控网络质量的方法

Publications (2)

Publication Number Publication Date
CN102664833A true CN102664833A (zh) 2012-09-12
CN102664833B CN102664833B (zh) 2015-01-14

Family

ID=46774251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210134588.0A Active CN102664833B (zh) 2012-05-03 2012-05-03 家庭网关及分析用户上网行为和监控网络质量的方法

Country Status (5)

Country Link
CN (1) CN102664833B (zh)
MY (1) MY184415A (zh)
RU (1) RU2608961C2 (zh)
SG (1) SG2014015259A (zh)
WO (1) WO2013163852A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916901A (zh) * 2012-10-12 2013-02-06 烽火通信科技股份有限公司 基于Linux软件实现上行QoS调度的方法及装置
CN103124226A (zh) * 2012-12-03 2013-05-29 深圳市共进电子股份有限公司 一种家庭宽带上网监控系统及方法
CN103139315A (zh) * 2013-03-26 2013-06-05 烽火通信科技股份有限公司 一种适用于家庭网关的应用层协议解析方法
CN103354519A (zh) * 2013-06-27 2013-10-16 上海斐讯数据通信技术有限公司 一种跟踪详细路由信息的方法
CN103888305A (zh) * 2012-12-19 2014-06-25 中国电信股份有限公司 一种基于家庭网关的监测方法和系统
CN104283892A (zh) * 2014-10-28 2015-01-14 上海斐讯数据通信技术有限公司 一种无源光纤网络协议栈的传值方法
CN104301754A (zh) * 2013-07-15 2015-01-21 深圳市同洲电子股份有限公司 一种用户行为调查方法和用户终端及系统
CN104426717A (zh) * 2013-09-09 2015-03-18 中国电信股份有限公司 用于检测互联网应用质量的方法、家庭网关和系统
CN105245412A (zh) * 2015-11-20 2016-01-13 上海斐讯数据通信技术有限公司 一种端口流量监控方法及系统、网络设备
CN105407481A (zh) * 2015-10-23 2016-03-16 上海斐讯数据通信技术有限公司 上网数据的获取方法
CN106254505A (zh) * 2016-08-25 2016-12-21 厦门雅迅网络股份有限公司 一种监控ftp服务器端文件上传进度的系统及方法
CN107517135A (zh) * 2017-09-29 2017-12-26 上海斐讯数据通信技术有限公司 一种网关QoS测试系统及方法
CN107943660A (zh) * 2017-12-05 2018-04-20 福建星瑞格软件有限公司 一种监测linux的进程信息的方法及计算机设备
WO2018176510A1 (zh) * 2017-03-30 2018-10-04 网宿科技股份有限公司 PPPoE报文传输方法和PPPoE服务器
CN108632113A (zh) * 2018-05-07 2018-10-09 上海市共进通信技术有限公司 基于Linux内核的数据流监控方法及系统
CN109525572A (zh) * 2018-11-08 2019-03-26 郑州云海信息技术有限公司 一种互联网网站安全监测防护系统及方法
CN109847342A (zh) * 2019-03-19 2019-06-07 Oppo广东移动通信有限公司 网络检测方法及相关装置
CN109873734A (zh) * 2018-01-11 2019-06-11 贵州白山云科技股份有限公司 一种底层数据监控方法、介质、设备及装置
CN110365668A (zh) * 2019-07-04 2019-10-22 杭州吉讯汇通科技有限公司 网络信息处理方法、装置、设备、介质及系统
CN110784464A (zh) * 2019-10-24 2020-02-11 新华三信息安全技术有限公司 泛洪攻击的客户端验证方法、装置、系统及电子设备
CN111526176A (zh) * 2020-03-26 2020-08-11 青岛奥利普自动化控制系统有限公司 一种克劳斯玛菲注塑机数据采集方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243196B (zh) * 2018-01-22 2020-09-25 北京启明星辰信息安全技术有限公司 Netfilter架构下引入TCP协议栈的方法及系统、中间设备、介质
CN112350877B (zh) * 2019-08-07 2023-07-25 中国移动通信有限公司研究院 测试方法、测试平台、智能网关和测试系统
CN116260670B (zh) * 2023-05-09 2023-07-28 中国电子技术标准化研究院 智慧家庭全屋互联系统测试方法及其相关设备
CN117176513B (zh) * 2023-10-31 2024-01-12 湖南承希科技有限公司 基于5g-r技术实现的一种物联网数据采集网关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052730A (en) * 1997-01-10 2000-04-18 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring and/or modifying web browsing sessions
CN101557329A (zh) * 2009-05-27 2009-10-14 杭州迪普科技有限公司 一种基于应用层的数据分割方法及装置
CN101594257A (zh) * 2009-06-23 2009-12-02 中兴通讯股份有限公司 一种收集用户信息的系统及方法
CN101753341A (zh) * 2008-12-16 2010-06-23 上海冰峰计算机网络技术有限公司 电脑网络的监控方法
CN102143414A (zh) * 2011-05-20 2011-08-03 太仓市同维电子有限公司 Epon中局端设备与终端设备间实现网络连接测试的方法
CN102158406A (zh) * 2011-04-01 2011-08-17 中国人民解放军国防科学技术大学 面向计算机网络链路的智能选路方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA009013B1 (ru) * 2002-07-30 2007-10-26 Фотроникс, Инк. Комплексный интерфейсный способ и система для автоматического создания и обработки заказов на фотомаски
US20070208864A1 (en) * 2002-10-21 2007-09-06 Flynn Lori A Mobility access gateway
US7944468B2 (en) * 2005-07-05 2011-05-17 Northrop Grumman Systems Corporation Automated asymmetric threat detection using backward tracking and behavioral analysis
US9197436B2 (en) * 2009-04-21 2015-11-24 Samsung Electronics Co., Ltd Method and apparatus for using contents of wireless terminal in home network system
GB0913756D0 (en) * 2009-08-06 2009-09-16 Tel Tales Ltd Response assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052730A (en) * 1997-01-10 2000-04-18 The Board Of Trustees Of The Leland Stanford Junior University Method for monitoring and/or modifying web browsing sessions
CN101753341A (zh) * 2008-12-16 2010-06-23 上海冰峰计算机网络技术有限公司 电脑网络的监控方法
CN101557329A (zh) * 2009-05-27 2009-10-14 杭州迪普科技有限公司 一种基于应用层的数据分割方法及装置
CN101594257A (zh) * 2009-06-23 2009-12-02 中兴通讯股份有限公司 一种收集用户信息的系统及方法
CN102158406A (zh) * 2011-04-01 2011-08-17 中国人民解放军国防科学技术大学 面向计算机网络链路的智能选路方法
CN102143414A (zh) * 2011-05-20 2011-08-03 太仓市同维电子有限公司 Epon中局端设备与终端设备间实现网络连接测试的方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916901B (zh) * 2012-10-12 2015-03-18 烽火通信科技股份有限公司 基于Linux软件实现上行QoS调度的方法及装置
CN102916901A (zh) * 2012-10-12 2013-02-06 烽火通信科技股份有限公司 基于Linux软件实现上行QoS调度的方法及装置
CN103124226A (zh) * 2012-12-03 2013-05-29 深圳市共进电子股份有限公司 一种家庭宽带上网监控系统及方法
CN103888305A (zh) * 2012-12-19 2014-06-25 中国电信股份有限公司 一种基于家庭网关的监测方法和系统
CN103139315A (zh) * 2013-03-26 2013-06-05 烽火通信科技股份有限公司 一种适用于家庭网关的应用层协议解析方法
CN103354519A (zh) * 2013-06-27 2013-10-16 上海斐讯数据通信技术有限公司 一种跟踪详细路由信息的方法
CN104301754A (zh) * 2013-07-15 2015-01-21 深圳市同洲电子股份有限公司 一种用户行为调查方法和用户终端及系统
CN104426717A (zh) * 2013-09-09 2015-03-18 中国电信股份有限公司 用于检测互联网应用质量的方法、家庭网关和系统
CN104283892A (zh) * 2014-10-28 2015-01-14 上海斐讯数据通信技术有限公司 一种无源光纤网络协议栈的传值方法
CN105407481A (zh) * 2015-10-23 2016-03-16 上海斐讯数据通信技术有限公司 上网数据的获取方法
CN105245412B (zh) * 2015-11-20 2019-06-14 上海斐讯数据通信技术有限公司 一种端口流量监控方法及系统、网络设备
CN105245412A (zh) * 2015-11-20 2016-01-13 上海斐讯数据通信技术有限公司 一种端口流量监控方法及系统、网络设备
CN106254505A (zh) * 2016-08-25 2016-12-21 厦门雅迅网络股份有限公司 一种监控ftp服务器端文件上传进度的系统及方法
CN106254505B (zh) * 2016-08-25 2021-05-25 厦门雅迅网络股份有限公司 一种监控ftp服务器端文件上传进度的系统及方法
WO2018176510A1 (zh) * 2017-03-30 2018-10-04 网宿科技股份有限公司 PPPoE报文传输方法和PPPoE服务器
CN107517135A (zh) * 2017-09-29 2017-12-26 上海斐讯数据通信技术有限公司 一种网关QoS测试系统及方法
CN107943660A (zh) * 2017-12-05 2018-04-20 福建星瑞格软件有限公司 一种监测linux的进程信息的方法及计算机设备
CN109873734A (zh) * 2018-01-11 2019-06-11 贵州白山云科技股份有限公司 一种底层数据监控方法、介质、设备及装置
CN109873734B (zh) * 2018-01-11 2021-07-13 贵州白山云科技股份有限公司 一种底层数据监控方法、介质、设备及装置
CN108632113A (zh) * 2018-05-07 2018-10-09 上海市共进通信技术有限公司 基于Linux内核的数据流监控方法及系统
CN109525572A (zh) * 2018-11-08 2019-03-26 郑州云海信息技术有限公司 一种互联网网站安全监测防护系统及方法
CN109847342A (zh) * 2019-03-19 2019-06-07 Oppo广东移动通信有限公司 网络检测方法及相关装置
CN110365668A (zh) * 2019-07-04 2019-10-22 杭州吉讯汇通科技有限公司 网络信息处理方法、装置、设备、介质及系统
CN110784464A (zh) * 2019-10-24 2020-02-11 新华三信息安全技术有限公司 泛洪攻击的客户端验证方法、装置、系统及电子设备
CN111526176A (zh) * 2020-03-26 2020-08-11 青岛奥利普自动化控制系统有限公司 一种克劳斯玛菲注塑机数据采集方法及系统

Also Published As

Publication number Publication date
RU2013155980A (ru) 2015-06-27
RU2608961C2 (ru) 2017-01-27
WO2013163852A1 (zh) 2013-11-07
SG2014015259A (en) 2014-03-28
CN102664833B (zh) 2015-01-14
MY184415A (en) 2021-04-01

Similar Documents

Publication Publication Date Title
CN102664833B (zh) 家庭网关及分析用户上网行为和监控网络质量的方法
Wang et al. A smart home gateway platform for data collection and awareness
US20180212989A1 (en) System and method for monitoring, capturing and reporting network activity
Wang et al. ThingPot: an interactive Internet-of-Things honeypot
US20190075049A1 (en) Determining Direction of Network Sessions
EP2056559B1 (en) Method and system for network simulation
RU2634209C1 (ru) Система и способ автогенерации решающих правил для систем обнаружения вторжений с обратной связью
Bahl Emergence of micro datacenter (cloudlets/edges) for mobile computing
US11128700B2 (en) Load balancing configuration based on traffic flow telemetry
Tushir et al. The impact of dos attacks onresource-constrained iot devices: A study on the mirai attack
WO2020028602A2 (en) Method and system for a network presence platform with intelligent routing
CN102857388A (zh) 云探安全管理审计系统
CN106211217A (zh) 一种wifi网络安全审计方法、平台
CN102088377A (zh) 一种用于资产管理的人机对应方法及装置
CN104219100A (zh) 一种信息采集方法和装置
Feng et al. Active profiling of physical devices at internet scale
CN105187390A (zh) 主动式移动终端恶意软件网络流量数据集获取方法及系统
CN115189897A (zh) 零信任网络的访问处理方法、装置、电子设备及存储介质
Solomon et al. Network traffic monitoring in an industrial environment
JP2012175389A (ja) ログ収集自動化装置、ログ収集自動化試験システム、及びログ収集制御方法
CN201789524U (zh) 一种通过分析网络行为检测木马程序的装置
White et al. Coalmine: an experience in building a system for social media analytics
US20220070222A1 (en) Securing network resources from known threats
Liu et al. Generic network forensic data acquisition from household and small business wireless routers
CN104935483B (zh) 基于共享监测节点互助采集网络链路性能数据的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161207

Address after: 430000 Hubei Province, Wuhan East Lake Development Zone No. 4 road of Guanshan two

Patentee after: WUHAN FIBERHOME TECHNICAL SERVICES CO., LTD.

Address before: China Science and Technology Park Dongxin road East Lake Development Zone 430074 Hubei Province, Wuhan City, No. 5

Patentee before: Fenghuo Communication Science &. Technology Co., Ltd.