CN106937322B - 流量消耗监测方法及装置 - Google Patents
流量消耗监测方法及装置 Download PDFInfo
- Publication number
- CN106937322B CN106937322B CN201511026712.1A CN201511026712A CN106937322B CN 106937322 B CN106937322 B CN 106937322B CN 201511026712 A CN201511026712 A CN 201511026712A CN 106937322 B CN106937322 B CN 106937322B
- Authority
- CN
- China
- Prior art keywords
- data
- mobile terminal
- target browser
- group
- data streams
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/08—Testing, supervising or monitoring using real traffic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提出一种流量消耗监测方法及装置,以解决现有技术中流量消耗监测不够准确的问题。所述方法包括:获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据;对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;将所述有效数据流汇总,得到所述目标浏览器的流量消耗。
Description
技术领域
本发明涉及计算机移动通信技术领域,具体而言,涉及一种流量消耗监测方法及装置。
背景技术
随着移动互联网技术的不断发展,通过移动终端上网已经十分普遍了,用户可以通过浏览器应用进行网页浏览,通过电子地图查询出行线路,或者通过即时通讯应用与好友聊天。
在通过移动终端上网时,移动终端与网络侧进行数据交互的过程会产生诸多网络参数,包括网页加载时长、流量消耗等,而这些参数已经成为评价一个应用产品好坏的重要指标,在相同类型的产品中,用户往往更倾向于选择网络流量消耗更小的产品,因此,有必要对应用产品的流量消耗进行监测。
目前的监测的数据来源主要包括两种:一种是直接采用运营商的数据,另一种是采用系统记录的数据。但是,这些数据都只有一个大概的数据,而且数据会有延迟。
发明内容
本发明的目的在于提供一种流量消耗监测方法及装置以解决现有技术中流量消耗监测不够准确的问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种流量消耗监测方法,包括:获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据;对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;将所述有效数据流汇总,得到所述目标浏览器的流量消耗。
进一步的,获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据时仅抓取移动终端通过tcp传输并且携带有移动终端的真实IP的数据流。
进一步的,所述获取移动终端真实IP的方法,包括:获取与所述移动终端对应的所有IP地址及名称;根据每个所述IP地址及名称,分别判断与每个IP对应的网络连接类型;如果所述移动终端的网络连接类型为wifi连接、usb共享网络以及移动数据网络连接中的一种,则判定对应的IP为所述移动终端的真实IP,否则判定为虚拟IP。
进一步的,所述获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据与对所述抓包数据进行分析之间,还包括:在停止抓包时,保存屏幕截图,使用图片对比的方法或者饱和度算法判断当前的访问是否成功,如果访问成功,则判定抓包成功,如果访问不成功,则返回所述获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据的步骤。
进一步的,所述对所述抓包数据进行分析,获得所述目标浏览器的有效数据流,包括:对抓包数据进行分析,去掉非目标浏览器的tcp数据包,计算剩余tcp数据包的大小的总和,所获得的剩余tcp数据包的大小的总和即为所述目标浏览器的有效数据流。
进一步的,所述对所述抓包数据进行分析,获得所述目标浏览器的有效数据流,包括:将所获得的抓包数据中的tcp数据包分为多组数据流;依次判断每组数据流是否能够解析为http请求,将不能被解析为http请求的数据流判定为有效数据流,如果该组数据流能够被解析为http请求,则判断该组数据流是否为具有明显特征的加密数据;如果具有明显特征,则判断所述明显特征是否与所述目标浏览器的特征一致,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流;如果不具有明显特征,判断该组数据流是否有用户代理(UA)标识;如果有用户代理标识,判断所述用户代理标识是否与所述目标浏览器的页面的用户代理标识一致,如果不一致,该组数据流为无效数据流,如果一致,则判断判断该组数据流中的referer或host是否与所访问的站点相对应,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。
第二方面,本发明实施例还提供了一种流量消耗监测装置,所述装置包括:数据获取模块,用于获取由移动终端发送的目标浏览器的抓包数据;数据分析模块,用于对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;数据汇总模块,用于将所述有效数据流汇总,得到所述目标浏览器的流量消耗。
本发明实施例提供的流量消耗监测方法和装置,通过获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据,对抓包数据进行分析获得目标浏览器的有效数据流,将有效数据流汇总,得到目标浏览器的有效数据流。由于移动终端不管采用什么方式进行连网,都需要通过网卡进行数据传输,因此,本方案可以较精准的自动监测目标浏览器的流量消耗。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的流量消耗监测方法及装置的应用环境示意图;
图2示出了一种可应用于本发明实施例的移动终端的结构框图;
图3示出了一种可应用于本发明实施例的服务器的结构框图;
图4示出了本发明第一实施例提供的一种流量消耗监测装置的结构框图;
图5示出了本发明第二实施例提供的一种流量消耗监测系统的结构框图;
图6示出了本发明第三实施例提供的一种流量消耗监测方法的流程示意图;
图7示出了第三实施例中获取移动终端真实IP的具体流程示意图;
图8示出了本发明第四实施例提供的一种流量消耗监测方法的流程示意图;
图9示出了图8中部分步骤的具体流程示意图;
图10示出了本发明第五实施例提供的一种流量消耗监测装置的结构框图。
具体实施方式
本发明实施例所提供的流量消耗监测方法及装置可应用于如图1所示的应用环境中。如图1所示,移动终端100、服务器200位于无线网络或有线网络300中,通过该无线网络或有线网络300,移动终端100与服务器200进行数据交互。
于本发明实施例中,移动终端100例如可以包括智能手机、平板电脑、电子书阅读器、膝上型便携计算机、车载电脑、穿戴式移动终端等等。
图2示出了一种可应用于本发明实施例中的移动终端的结构框图。如图2所示,移动终端100包括存储器102、存储控制器104,一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块110、音频模块112、网卡114等。这些组件通过一条或多条通讯总线/信号线116相互通讯。
存储器102可用于存储软件程序以及模块,如本发明实施例中的流量消耗监测方法及装置对应的程序指令/模块,处理器106通过运行存储在存储器102内的软件程序以及模块,从而执行各种功能应用以及数据处理,如本发明实施例提供的流量消耗监测方法。
存储器102可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。
外设接口108将各种输入/输入装置耦合至处理器106以及存储器102。在一些实施例中,外设接口108,处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
射频模块110用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。
音频模块112向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
网卡114接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。
可以理解,图2所示的结构仅为示意,移动终端100还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
图3示出了一种可应用于本发明实施例中的服务器的结构框图。如图3所示,服务器200包括:存储器201、处理器202以及网络模块203。
存储器201可用于存储软件程序以及模块,如本发明实施例中的流量消耗监测方法及装置对应的程序指令/模块,处理器202通过运行存储在存储器201内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本发明实施例中的流量消耗监测方法。存储器201可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。进一步地,上述存储器201内的软件程序以及模块还可包括:操作系统221以及服务模块222。其中操作系统221,例如可为LINUX、UNIX、WINDOWS,其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动,并可与各种硬件或软件组件相互通讯,从而提供其他软件组件的运行环境。服务模块222运行在操作系统221的基础上,并通过操作系统221的网络服务监听来自网络的请求,根据请求完成相应的数据处理,并返回处理结果给客户端。也就是说,服务模块222用于向客户端提供网络服务。
网络模块203用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。
可以理解,图3所示的结构仅为示意,服务器200还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。另外,本发明实施例中的服务器还可以包括多个具体不同功能的服务器。
于本发明实施例中,移动终端100中安装有客户端,该客户端可以是浏览器也可以是第三方应用软件,与服务器(Server)端相对应,为用户提供服务。
本发明实施例提出的流量消耗监测方法和装置,通过记录移动终端访问网站时网卡的数据流,去除无效的数据流,计算出当前目标浏览器的流量消耗,由于移动终端不管采用什么方式进行连网,都需要通过网卡进行数据传输,因此,本方案可以较精准的自动监测应用产品的流量消耗。
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例
图4示出了本发明第一实施例提供的流量消耗监测装置的结构框图,请参照图4,本实施例中的装置可运行于移动终端100,本实施例中的装置40包括:。
数据获取模块41,用于获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据;
数据发送模块42,用于将所述获取的抓包数据发送给服务器进行分析。
优选的,本实施例中的抓包数据指的是采用预定的抓包过滤规则对目标浏览器进行抓包获得的抓包数据,具体的,预定的抓包过滤规则为仅抓取通过tcp和移动终端真实IP发送和接收的数据流。
优选的,所述数据获取模块41获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据时仅抓取移动终端通过tcp传输并且携带有移动终端的真实IP的数据流。移动终端通过tcp协议,也即是通过Transmission Control Protocol(传输控制协议)传输的数据流。
进一步的,所述数据获取模块41还用于获取与所述移动终端对应的所有IP地址及名称;根据每个所述IP地址及名称,分别判断与每个IP对应的网络连接类型;如果所述移动终端的网络连接类型为wifi连接、usb共享网络以及移动数据网络连接中的一种,则判定对应的IP为所述移动终端的真实IP,否则判定为虚拟IP。
本实施例中的各单元可以是由软件代码实现,此时,上述的各单元可存储于移动终端100的存储器102内。以上各单元同样可以由硬件例如集成电路芯片实现。
第二实施例
图5示出了本发明第二实施例提供的流量消耗监测装置的结构框图,请参照图5,本实施例中的装置可运行于服务器200,本实施例中的装置50包括:数据获取模块51、数据分析模块52、数据汇总模块53。
数据获取模块51,用于获取由移动终端发送的目标浏览器的抓包数据;
数据分析模块52,用于对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;
数据汇总模块53,用于将所述有效数据流汇总,得到所述目标浏览器的流量消耗。
进一步的,所述数据分析模块52还用于在停止抓包时,保存屏幕截图,使用图片对比的方法或者饱和度算法判断当前的访问是否成功,如果访问成功,则判定抓包成功,如果访问不成功,则判定抓包失败。
进一步的,所述数据分析模块52具体用于对抓包数据进行分析,去掉非目标浏览器的tcp数据包,计算剩余tcp数据包的大小的总和,所获得的剩余tcp数据包的大小的总和即为所述目标浏览器的有效数据流。
进一步的,所述数据分析模块52具体用于:
将所获得的抓包数据中的tcp数据包分为多组数据流;
依次判断每组数据流是否能够解析为http请求,将不能被解析为http请求的数据流判定为有效数据流,如果该组数据流能够被解析为http请求,则判断该组数据流是否为具有明显特征的加密数据;
如果具有明显特征,则判断所述明显特征是否与所述目标浏览器的特征一致,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流;
如果不具有明显特征,判断该组数据流是否有用户代理标识;
如果有用户代理标识,判断所述用户代理标识是否与所述目标浏览器的页面的用户代理标识一致,如果不一致,该组数据流为无效数据流,如果一致,则判断判断该组数据流中的referer或host是否与所访问的站点相对应,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。其中,referer是数据包头的一部分,当浏览器向web服务器发送请求的时候,一般会带上referer,告诉服务器请求是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。
本实施例中的各单元可以是由软件代码实现,此时,上述的各单元可存储于服务器200的存储器202内。以上各单元同样可以由硬件例如集成电路芯片实现。
可以理解的是,在其他实施例中,移动终端也可以直接对抓包数据进行分析,也就是说,第四实施例中的数据分析模块52和数据汇总模块53可以存储于移动终端100的存储器102中。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考方法实施例中的对应过程,在此不再赘述。
第三实施例
图6示出了本发明第一实施例提供的一种流量消耗监测方法的流程图,请参阅图6,本实施例描述的是移动终端的处理流程,所述方法包括:
步骤S110,获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据;
在移动终端目标浏览器进行网页访问的过程中,移动终端获取该目标浏览器的抓包数据,例如在浏览器访问站点的过程中,获取该浏览器的抓包数据,也就是获取本次网络访问所产生的数据包。抓包就是将网络传输过程中发送与接收的数据包进行截获、重发、编辑、转存等操作。
本实施例中的抓包数据涉及上行数据和下行数据,包括数据信息和控制信息在内的所有数据交互所产生的数据包,本发明实施例不对数据包的内容进行限制。具体的,可以由单独的线程捕获目标浏览器在访问站点时产生的抓包数据。该线程可以独立于目标浏览器,不影响目标浏览器的正常运行,不同的目标应用可以采用不同的线程进行监测,彼此互不影响。
优选的,本实施例中的抓包数据指的是采用预定的抓包过滤规则对目标浏览器进行抓包获得的抓包数据,具体的,预定的抓包过滤规则为仅抓取移动终端通过tcp传输并且携带有移动终端的真实IP的数据流。
请参见图7,获取移动终端真实IP的方法例如可以包括:
步骤S111,获取与移动终端对应的所有IP地址及名称;
步骤S112,根据每个所述IP地址及名称,分别判断与每个IP对应的网络连接类型;
IP名称中包含有对应有不同网络连接类型的识别标记,根据识别标记可以判断出每个IP对应的网络连接类型。例如,如果IP名称中包括“wlan”,则可认为该IP对应的网络状态是wifi网络;如果IP名称中包括“usbnet”,则可认为该IP对应的网络状态是usb共享网络;如果IP名称中包括“net”,则可认为该IP对应的网络状态是移动数据网络。
步骤S113,如果所述移动终端的网络连接类型为wifi连接、usb共享网络以及移动数据网络连接中的一种,则判定对应的IP为真实IP,否则判定为虚拟IP。
于步骤S110中,优选的,当移动终端获取到移动终端中目标浏览器的抓包数据时,还进一步的判断抓包是否成功,如果抓包成功,则执行下一步,否则,继续获取抓包数据。具体的,可以在停止抓包时,保存屏幕截图,使用图片对比的方法或者饱和度算法判断当前的访问是否成功,如果访问成功,则判定抓包成功,如果不成功,则判定访问抓包不成功,重新进行抓包。
具体的,可以由数据获取模块41获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据。
步骤S120,将所述获取的抓包数据发送给服务器进行分析。
可以由数据发送模块42将所述获取的抓包数据发送给服务器进行分析。
第四实施例
图8示出了本发明第二实施例提供的一种流量消耗监测方法的流程图,请参阅图8,本实施例描述的是服务器所进行的步骤,所述方法包括:
步骤S210,接收移动终端获取的目标浏览器的抓包数据;
步骤S220,对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;
对抓包数据进行分析,去掉非目标浏览器的tcp数据包,计算剩余tcp数据包的大小的总和,所获得的剩余tcp数据包的大小的总和即为所述目标浏览器的有效数据流。
具体的,可以由数据获取模块51接收由移动终端发送的目标浏览器的抓包数据;由数据分析模块52对所述抓包数据进行分析,获得所述目标浏览器的有效数据流。
请参照图9,步骤S220可以包括:
步骤S221,将所获得的抓包数据中的tcp数据包分为多组数据流;
计算每个tcp数据包的大小,然后将所有的tcp数据包组装成一组一组的tcp数据流。每组的数据流大小可能为1-2M,也可能是几十兆,由访问站点本身有关。优选的,在进行分组前,将3次握手没有回应的tcp数据包去除。
步骤S222,依次判断每组数据流是否能够解析为http请求,将不能被解析为http请求的数据流判定为有效数据流(例如加密数据),如果该组数据流能够被解析为http请求,则执行步骤S223。
步骤S223,判断该组数据流是否为具有明显特征的加密数据,如果是,则执行步骤S224,否则,执行步骤S225。
不同的浏览器的数据流中都具有自己的特征字段,如果该组数据流中的特征字段与目标浏览器的特征字段相匹配,则判定该组数据流是具有明显特征的加密数据,如果不匹配,则不是。
步骤S224,判断所述明显特征是否与所述目标浏览器的特征一致,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。
步骤S225,判断该组数据流是否有用户代理(UA)标识,如果有,则执行步骤S226,否则,执行步骤S227。
步骤S226,判断所述用户代理标识是否与所述目标浏览器的页面的用户代理标识一致,如果是,则执行步骤S227,否则,该组数据流为无效数据流。
步骤S227,判断判断该组数据流中的referer或host是否与所访问的站点相对应,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。
步骤S220可以由数据分析模块52来完成。
步骤S230,将所述有效数据流汇总,得到所述目标浏览器的流量消耗。
根据有效数据流的大小,得到汇总后的目标浏览器的流量消耗。
步骤S230可以由数据汇总模块53来完成。
可以理解的是,在其他实施例中,移动终端也可以直接对抓包数据进行分析,也就是说,第二实施例中的步骤S220和步骤S230可以由移动终端来完成。
第五实施例
图10示出了本发明第三实施例提供的一种基于上述流量消耗监控方法的流量消耗测试方法的流程图,请参阅图10,所述方法包括:
步骤S301,对移动终端的环境进行初始化;
对移动终端的环境进行初始化主要指的是在移动终端上加载待测试的浏览器以及测试过程需要的参数,这些参数包括待测试的浏览器、测试站点、每个站点测试的次数、每个浏览器启动后的等待时长、访问站点的等待时长等。
步骤S302,清除缓存,启动待测浏览器;
等待第一预定时长(例如15秒)后,执行步骤S303。
步骤S303,按照预定的抓包过滤规则获取抓包数据;
等待第二预定时长(例如10秒)后,执行步骤S304。
步骤S304,停止抓包;
步骤S305,判断抓包是否成功;
如果是,则执行步骤S306,否则,返回步骤S302。
采用预定的规则开启抓包,然后访问测试站点,等待一定时长后(例如10秒)停止抓包,并保存当前的屏幕截图,使用图片对比或饱和度算法判断当前访问是否成功打开页面,如果成功打开则判定抓包成功,如果没有成功打开,则判定抓包不成功。
步骤S306,将数据上传到服务器;
步骤S307,对抓包数据进行分析;
当收到数据包后开始计算每个tcp数据的大小,然后将所有的tcp数据组装成一组一组的tcp数据流。每组的数据流大小优选的为1-2M,去掉当前测试浏览器的tcp数据,然后计算其余tcp数据的大小,此大小为当前浏览器访问测试站点消耗的流量,将数据存储到DB服务器中。
步骤S308,生成报表;
所有抓包数据分析完后,从DB服务器取出每次的数据,然后计算每个站点的流量,例如使用切尾均值算法。与其他浏览器产品做比较,将结果保存在DB服务器中,并生成结果浏览页面,页面保存在web服务器上。
步骤S309,发送结果。
将结果报表以及结果浏览页面的地址发送给任务下达人。
综上所述,本发明实施例提供的流量消耗监测方法和装置,通过获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据,对抓包数据进行分析获得目标浏览器的有效数据流,将有效数据流汇总,得到目标浏览器的有效数据流。由于移动终端不管采用什么方式进行连网,都需要通过网卡进行数据传输,因此,本方案可以较精准的自动监测目标浏览器的流量消耗。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本发明实施例所提供的流量消耗监测装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
另外,附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
Claims (10)
1.一种流量消耗监测方法,其特征在于,所述方法包括:
获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据;
对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;
将所述有效数据流汇总,得到所述目标浏览器的流量消耗;
所述对所述抓包数据进行分析,获得所述目标浏览器的有效数据流,包括:
将所获得的抓包数据中的tcp数据包分为多组数据流;
依次判断每组数据流是否能够解析为http请求,将不能被解析为http请求的数据流判定为有效数据流,如果该组数据流能够被解析为http请求,则判断该组数据流是否为具有明显特征的加密数据;
如果具有明显特征,则判断所述明显特征是否与所述目标浏览器的特征一致,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流;
如果不具有明显特征,判断该组数据流是否有用户代理标识;
如果有用户代理标识,判断所述用户代理标识是否与所述目标浏览器的页面的用户代理标识一致,如果不一致,该组数据流为无效数据流,如果一致,则判断判断该组数据流中的referer或host是否与所访问的站点相对应,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。
2.如权利要求1所述的方法,其特征在于,获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据时仅抓取移动终端通过tcp传输并且携带有移动终端的真实IP的数据流。
3.如权利要求2所述的方法,其特征在于,所述获取移动终端真实IP的方法,包括:
获取与所述移动终端对应的所有IP地址及名称;
根据每个所述IP地址及名称,分别判断与每个IP对应的网络连接类型;
如果所述移动终端的网络连接类型为wifi连接、usb共享网络以及移动数据网络连接中的一种,则判定对应的IP为所述移动终端的真实IP,否则判定为虚拟IP。
4.如权利要求1所述的方法,其特征在于,所述获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据与对所述抓包数据进行分析之间,还包括:
在停止抓包时,保存屏幕截图,使用图片对比的方法或者饱和度算法判断当前的访问是否成功,如果访问成功,则判定抓包成功,如果访问不成功,则返回所述获取移动终端中目标浏览器通过移动终端网卡传输的抓包数据的步骤。
5.如权利要求1所述的方法,其特征在于,所述对所述抓包数据进行分析,获得所述目标浏览器的有效数据流,包括:
对抓包数据进行分析,去掉非目标浏览器的tcp数据包,计算剩余tcp数据包的大小的总和,所获得的剩余tcp数据包的大小的总和即为所述目标浏览器的有效数据流。
6.一种流量消耗监测装置,其特征在于,所述装置包括:
数据获取模块,用于获取由移动终端发送的目标浏览器的抓包数据;
数据分析模块,用于对所述抓包数据进行分析,获得所述目标浏览器的有效数据流;
数据汇总模块,用于将所述有效数据流汇总,得到所述目标浏览器的流量消耗;
所述数据分析模块具体用于:
将所获得的抓包数据中的tcp数据包分为多组数据流;
依次判断每组数据流是否能够解析为http请求,将不能被解析为http请求的数据流判定为有效数据流,如果该组数据流能够被解析为http请求,则判断该组数据流是否为具有明显特征的加密数据;
如果具有明显特征,则判断所述明显特征是否与所述目标浏览器的特征一致,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流;
如果不具有明显特征,判断该组数据流是否有用户代理标识;
如果有用户代理标识,判断所述用户代理标识是否与所述目标浏览器的页面的用户代理标识一致,如果不一致,该组数据流为无效数据流,如果一致,则判断判断该组数据流中的referer或host是否与所访问的站点相对应,如果是,则该组数据流为所述目标浏览器的有效数据流,否则,该组数据流为无效数据流。
7.如权利要求6所述的装置,其特征在于,所述移动终端获取目标浏览器的抓包数据时仅抓取移动终端通过tcp传输并且携带有移动终端的真实IP的数据流。
8.如权利要求7所述的装置,其特征在于,所述数据获取模块还用于获取与所述移动终端对应的所有IP地址及名称;根据每个所述IP地址及名称,分别判断与每个IP对应的网络连接类型;如果所述移动终端的网络连接类型为wifi连接、usb共享网络以及移动数据网络连接中的一种,则判定对应的IP为所述移动终端的真实IP,否则判定为虚拟IP。
9.如权利要求6所述的装置,其特征在于,所述数据分析模块还用于在停止抓包时,保存屏幕截图,使用图片对比的方法或者饱和度算法判断当前的访问是否成功,如果访问成功,则判定抓包成功,如果访问不成功,则判定抓包失败。
10.如权利要求6所述的装置,其特征在于,所述数据分析模块具体用于对抓包数据进行分析,去掉非目标浏览器的tcp数据包,计算剩余tcp数据包的大小的总和,所获得的剩余tcp数据包的大小的总和即为所述目标浏览器的有效数据流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511026712.1A CN106937322B (zh) | 2015-12-29 | 2015-12-29 | 流量消耗监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511026712.1A CN106937322B (zh) | 2015-12-29 | 2015-12-29 | 流量消耗监测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106937322A CN106937322A (zh) | 2017-07-07 |
CN106937322B true CN106937322B (zh) | 2020-11-06 |
Family
ID=59441896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511026712.1A Active CN106937322B (zh) | 2015-12-29 | 2015-12-29 | 流量消耗监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106937322B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111245975A (zh) * | 2020-03-15 | 2020-06-05 | 上海商米科技集团股份有限公司 | 确定流量信息归属的方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100337432C (zh) * | 2004-06-29 | 2007-09-12 | 杭州华三通信技术有限公司 | 数据流量统计方法及装置 |
CN101465763A (zh) * | 2008-12-30 | 2009-06-24 | 上海地面通信息网络有限公司 | 用户端网络设备流量监控及分析的方法 |
CN101778410A (zh) * | 2010-01-05 | 2010-07-14 | 上海市共进通信技术有限公司 | 无线数据卡中的网络流量统计指示装置及其方法 |
CN102404151A (zh) * | 2011-11-28 | 2012-04-04 | 曙光信息产业(北京)有限公司 | 支持复杂流量统计的网卡设备和相关复杂流量统计方法 |
CN103036746B (zh) * | 2012-12-21 | 2015-07-08 | 中国科学院计算技术研究所 | 基于网络中间点的网页响应时间被动测量方法及系统 |
CN103944771A (zh) * | 2013-01-19 | 2014-07-23 | 鸿富锦精密工业(深圳)有限公司 | 网络数据流量测试方法及系统 |
CN103281719A (zh) * | 2013-06-18 | 2013-09-04 | 北京云测信息技术有限公司 | 批量监测分析本地接口的网络通信质量的方法和移动终端 |
-
2015
- 2015-12-29 CN CN201511026712.1A patent/CN106937322B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106937322A (zh) | 2017-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104253741B (zh) | 一种信息发送方法、相关装置及系统 | |
US8204928B2 (en) | System and method for analyzing internet usage | |
US20150149554A1 (en) | Automatic capture of detailed analysis information based on remote server analysis | |
CN104219230B (zh) | 识别恶意网站的方法及装置 | |
CN108134816B (zh) | 对远程设备上的数据的访问 | |
CN106162362B (zh) | 一种视频播放方法及播放器 | |
CN111131320A (zh) | 资产识别方法、装置、系统、介质、和程序产品 | |
GB2516972A (en) | Validating DDoS attacks based on social media content | |
CN104253714A (zh) | 监控方法、系统、浏览器及服务器 | |
WO2013013556A1 (zh) | 数据上报的方法及设备 | |
CN111079138A (zh) | 异常访问检测方法、装置、电子设备及可读存储介质 | |
CN111885007A (zh) | 信息溯源方法、装置、系统及存储介质 | |
CN109688099B (zh) | 服务器端撞库识别方法、装置、设备及可读存储介质 | |
CN106937322B (zh) | 流量消耗监测方法及装置 | |
Albasir et al. | Smart mobile web browsing | |
CN105119764A (zh) | 用于流量监控的方法和装置 | |
CN110929129A (zh) | 一种信息检测方法、设备及机器可读存储介质 | |
CN104753961A (zh) | 一种多媒体数据的处理方法、客户端及服务器 | |
CN105306338B (zh) | 消息提醒方法及装置 | |
CN110119334B (zh) | 一种页面脚本监控方法及装置 | |
CN106803830B (zh) | 识别上网终端的方法、装置和系统、及uim卡 | |
CN107547502B (zh) | 信息监听系统、方法、装置、电子设备及存储介质 | |
US11785431B1 (en) | Industrial monitoring system device connection | |
CN113472741A (zh) | 一种验证码登录方法、装置、设备及存储介质 | |
CN109688432B (zh) | 信息传输方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20200527 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Applicant after: Alibaba (China) Co.,Ltd. Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping B radio 14 floor tower square Applicant before: GUANGZHOU UCWEB COMPUTER TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |