CN103986788B - Ott应用的数据抓取方法和装置 - Google Patents
Ott应用的数据抓取方法和装置 Download PDFInfo
- Publication number
- CN103986788B CN103986788B CN201410245728.0A CN201410245728A CN103986788B CN 103986788 B CN103986788 B CN 103986788B CN 201410245728 A CN201410245728 A CN 201410245728A CN 103986788 B CN103986788 B CN 103986788B
- Authority
- CN
- China
- Prior art keywords
- signaling
- data
- layer data
- application
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011664 signaling Effects 0.000 claims abstract description 252
- 230000002123 temporal effect Effects 0.000 claims description 79
- 102000006479 Heterogeneous-Nuclear Ribonucleoproteins Human genes 0.000 claims description 39
- 108010019372 Heterogeneous-Nuclear Ribonucleoproteins Proteins 0.000 claims description 39
- 230000003542 behavioural effect Effects 0.000 claims description 30
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 12
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000032370 Secondary transmission Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种OTT应用的数据抓取方法和装置,方法包括:在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将上述时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。本发明实施例有效解决了采用现有技术无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化的技术问题。
Description
技术领域
本发明涉及信息技术,尤其涉及一种OTT应用的数据抓取方法和装置。
背景技术
随着移动智能终端的发展,越来越多的移动互联用户开始使用微博、微信、腾讯QQ等一系列的(Over The Top,简称OTT)应用,随着OTT应用数量的增多,网络设备中的各项资源正面临着很大的挑战。OTT应用产生的信令消耗,正逐步加大网络的信令负荷。因此,对各OTT应用的信令层数据和应用层数据进行同步抓取,分析各OTT应用的行为对网络侧的影响成为亟待解决的问题。
实际应用中,OTT应用的信令从终端侧传输到网络侧以使网络侧产生应用层数据的过程中,可能会因为传输环境、网络的切换或者网络质量较差等复杂场景的出现而导致终端的上网行为存在不稳定差异,无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化。
发明内容
本发明提供一种OTT应用的数据抓取方法和装置,用于解决现有技术中无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化的技术问题。
一方面,本发明实施例提供一种OTT应用的数据抓取方法,包括:
在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
另一方面,本发明实施例提供一种OTT应用的数据抓取装置,包括:
获取模块,用于在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
抓取模块,用于在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块,用于将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
本发明提供的OTT应用的数据抓取方法和装置,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
附图说明
图1为本发明提供的OTT应用的数据抓取方法一个实施例的流程图;
图2为本发明提供的OTT应用的数据抓取方法另一个实施例的流程图;
图3为本发明提供的OTT应用的数据抓取装置一个实施例的结构示意图。
具体实施方式
图1为本发明提供的OTT应用的数据抓取方法一个实施例的流程图,该方法的执行主体可以为集成有网络数据抓取功能的终端。如图1所示,该OTT应用的数据抓取方法具体包括:
S101,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;
将待测终端接入模拟网络设备产生的模拟网络中,并启动待测终端上的OTT应用;其中,该模拟网络设备产生的模拟网络与实际互联网络互联以使待测终端上的OTT应用进行业务。具体地,该模拟网络设备内集成有可产生宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)/全球移动通信系统(Global System for MobileCommunications,GSM)/长期演进(Long Term Evolution,LTE)等一系列模拟网络的网络模拟仿真器,以及可使待测终端通过上述产生的模拟网络与实际网络进行数据交互的外接网卡,从而实现模拟网络与实际网络的互联互通,以保证上述待测终端内的OTT业务在模拟网络环境下的正常运行。
将待测终端接入上述模拟网络中,并启动待测终端上的OTT应用。这里所指的OTT应用具体可以为腾讯QQ、微博、微信、优酷、搜狐视频等。在启动待测终端上的OTT应用时,可根据实际操作需求开启上述OTT应用中的一种或同时开启多种。被开启的OTT应用可通过待测终端向模拟网络设备(网络侧)发送信令,模拟网络设备在应用层根据该信令生成应用层数据,并通过内设的外接网卡将生成的应用层数据发送到实际网络中以实现OTT业务的正常进行。在本实施例中,在设置于待测终端内的OTT应用通过上述模拟网络进行业务期间,可指示该待测终端通过终端中内置的信令抓取装置抓取上述开启的OTT应用发送信令时产生的信令层数据,该信令数据具体包括每次发送信令的信令信息(信令的具体内容)和每次发送信令时对应的时间信息。具体地,信令抓取装置可通过抓取待测终端发送信令时产生的log文件来获取上述信令层数据,然后通过如通用串行总线(Universal Serial Bus,USB)等数据传输方式将上述抓取到的信令层数据传输至相应功能模块进行数据处理。
S102,在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
本实施例中,被开启的OTT应用可通过待测终端向模拟网络设备(网络侧)发送信令,模拟网络设备在应用层根据该信令生成应用层数据。由于所有应用层的数据均需要通过上述模拟网络设备产生的模拟网络发送出去,因此可在模拟网络设备进行模拟网络的仿真过程中对OTT应用发送信令时对应在上述模拟网络中产生的应用数据包进行抓取以形成上述所述OTT应用发送信令时产生的应用层数据。该应用层数据具体包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息,其中,该应用数据包信息具体可以包括数据包的大小,该数据包所发送至的域名系统(Domain Name System,DNS)等信息。
S103,将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据;
由于上述模拟网络中只针对上述一个待测终端内的OTT应用进行互联网接入,因此从模拟网络中抓取的应用层数据相比较从实际互联网络中抓取的数据更单一、稳定,且针对应用层数据中的每条数据包信息与对应的信令层数据中的信令信息在时间上基本同步。即使这两个信息在时间上存在延迟也可以通过预先向模拟网络设备发送单一信令并接收模拟网络设备输出的数据包时对应的时间差获得该延时时长。因此,本实施例中采用模拟网络将待测终端内的OTT应用接入实际互联网络的方式,使得在对待测终端内的OTT应用进行业务时产生的信令信息以及应用数据包信息在相互匹配上更加容易,通过各自对应的时间信息就可以完成匹配。
具体地,将上述信令层数据中包含的所有时间信息与上述应用层数据中包含的所有时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,关联后形成的数据包括:时间信息+信令信息+数据包信息,最后将所有关联后产生的数据整合,形成终端内当前开启的OTT应用对应的行为数据。
本发明提供的OTT应用的数据抓取方法,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
图2为本发明提供的OTT应用的数据抓取方法另一个实施例的流程图,是如图1所示实施例的一种具体实现方式。如图2所示,该OTT应用的数据抓取方法具体包括:
S201,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;该步骤具体执行过程可参见步骤101的相应内容。
S202,提取信令层数据中时间信息包含在各完整信令流程内的时间信息对应的信令信息,并将信令层数据中时间信息包含在各完整信令流程内的时间信息以及该时间信息对应的信令信息确定为完整信令层数据;
在具体应用场景中,由于网络不稳定、异常等原因可能会使OTT应用执行不完整的信令流程,如OTT应用通过待测终端向网络侧发送业务连接请求的信令时由于网络异常导致网络侧并没有接收到该信令,使得终端内的OTT应用一段时间过后再次发送上述业务连接请求的信令,且连续发送的两个业务连接请求的信令中间未发送上述业务连接请求对应的业务结束请求的信令。上述情况下,待测终端对于发送上述两个业务连接请求的信令的中间时段的网络侧的行为是未知的,而在该时间段内网络侧很有可能并未接收到OTT应用通过待测终端发送的任何信令,进而也就没有生成相应的应用层的数据信息。在本实施中,将上述情况下OTT应用发送的信令的流程称为不完整的信令流程。换言之,一次完整的信令流程为上述待测终端在开启的OTT应用进行业务的过程中向上述模拟网络发送连接请求的信令开始至取消该次连接请求而发送的结束信令结束的期间发送所有信令的流程。可以理解的,在终端进行的每次完整的信令流程中,终端内的所有OTT应用都可能在这期间向网络侧发送自己对应的信令。
对于上述WCDMA/GSM/LTE制式的模拟网络,上述业务连接请求与业务结束请求均可以具体为无线资源控制(Radio Resource Control,RRC)的连接请求与断开请求。
可以理解的,对于上述没有产生相应的应用层的数据信息的信令对实际网络是没有贡献的,在本实施例中不作为OTT应用产生的行为数据。具体地,在待测终端通过内置的信令抓取装置抓取上述OTT应用发送的信令的同时,可对抓取的信令的具体内容进行识别,并通过上述方法识别出各完整的信令流程,并确定各完整的信令流程对应的时间区间;将该时间区间内对应的所有信令信息确定为完整信令流程内的信令信息;最后,将完整信令流程内的信令信息以及该信令信息对应的发送时间信息确定为相应完整信令流程内的信令层数据。
S203,在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;该步骤具体执行过程可参见步骤102的相应内容。具体地,上述应用数据包信息具体包括:该应用数据包的大小信息和该应用数据包所发送至的域名系统DNS信息。
S204,将完整信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据;该步骤具体执行过程可参见步骤103的相应内容。与步骤103不同的是:本步骤中用于与应用层数据中的应用数据包信息进行匹配和关联的是上述完整信令层数据中的信令信息;对于完整信令层数据的定义和确定方法可参见步骤202的相应内容。
S205,提取行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息;
S206,对各完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小;
本实施例中,对于步骤204生成的OTT应用对应的行为数据还可进一步进行数据整理,以更准确的掌握各具体OTT应用的网络行为。
具体地,在上述所有被开启的OTT应用产生的行为数据中,应用层数据中的应用数据包信息中包含的DNS信息表明了该应用数据包所发送值得OTT应用类型(每个OTT应用对应唯一一个DNS)。提取上述行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息,根据该DNS信息可获知各完整信令流程内产生的部分行为数据所对应的OTT应用的具体个数;对各完整信令流程内针对相同DNS信息(即同一OTT应用)对应的应用层数据包信息的个数和对应的数据包大小进行统计,从而计算出各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小。通过上述步骤对上述行为数据进行整理后可形成类似如表1所示的行为数据统计结果。
表1行为数据统计结果
如表1所示,在不同的完整信令流程内,不同的OTT应用发送了不同数量、大小的数据包。运营商可根据实际抓取的数据的情况对各OTT应用提出相应的优化措施。
本发明提供的OTT应用的数据抓取方法,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明提供的OTT应用的数据抓取装置一个实施例的结构示意图,可执行如图1所示的方法步骤。如图3所示,该OTT应用的数据抓取装置具体包括:获取模块31、抓取模块32和处理模块33,其中:
获取模块31,用于在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;
抓取模块32,用于在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块33,用于将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。
进一步的,上述处理模块33还用于提取信令层数据中时间信息包含在各完整信令流程内的时间信息对应的信令信息,并将信令层数据中时间信息包含在各完整信令流程内的时间信息以及该时间信息对应的信令信息确定为完整信令层数据;
上述处理模块33还用于将完整信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。
进一步的,上述应用数据包信息具体包括:应用数据包的大小信息和应用数据包所发送至的域名DNS信息;
所述处理模块33具体用于:
提取行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息;
对各完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小。
进一步的,上述完整信令流程为待测终端向模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
上述图2所示实施例的方法步骤可通过本实施例所示的OTT应用的数据抓取装置实现,在此对其方法原理不做赘述。
本发明提供的OTT应用的数据抓取装置,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种OTT应用的数据抓取方法,其特征在于,包括:
在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据;
其中,所述在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据之后,包括:提取所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息对应的所述信令信息,并将所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息以及该时间信息对应的所述信令信息确定为完整信令层数据;所述将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据,包括:将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据;
其中,所述应用数据包信息具体包括:所述应用数据包的大小信息和所述应用数据包所发送至的域名系统DNS信息;
所述将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据之后,包括:
提取所述行为数据中所述时间信息包含在各所述完整信令流程内的所述行为数据对应的所述DNS信息;对各所述完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各所述完整信令流程内针对同一所述OTT应用被所述待测终端访问的次数以及对应产生的所述应用数据包的总大小。
2.根据权利要求1所述的方法,其特征在于,所述完整信令流程为所述待测终端向所述模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
3.根据权利要求2所述的方法,其特征在于,所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
4.一种OTT应用的数据抓取装置,其特征在于,包括:
获取模块,用于在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
抓取模块,用于在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块,用于将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据;
所述处理模块还用于:
提取所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息对应的所述信令信息,并将所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息以及该时间信息对应的所述信令信息确定为完整信令层数据;
所述处理模块还用于将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据;
其中,所述应用数据包信息具体包括:所述应用数据包的大小信息和所述应用数据包所发送至的域名DNS信息;所述处理模块具体用于:
提取所述行为数据中所述时间信息包含在各所述完整信令流程内的所述行为数据对应的所述DNS信息;
对各所述完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各所述完整信令流程内针对同一所述OTT应用被所述待测终端访问的次数以及对应产生的所述应用数据包的总大小。
5.根据权利要求4所述的装置,其特征在于,所述完整信令流程为所述待测终端向所述模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
6.根据权利要求5所述的装置,其特征在于,所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410245728.0A CN103986788B (zh) | 2014-06-04 | 2014-06-04 | Ott应用的数据抓取方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410245728.0A CN103986788B (zh) | 2014-06-04 | 2014-06-04 | Ott应用的数据抓取方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103986788A CN103986788A (zh) | 2014-08-13 |
CN103986788B true CN103986788B (zh) | 2017-05-17 |
Family
ID=51278611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410245728.0A Active CN103986788B (zh) | 2014-06-04 | 2014-06-04 | Ott应用的数据抓取方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103986788B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10201406596XA (en) * | 2014-10-14 | 2016-05-30 | Rohde & Schwarz Asia Pte Ltd | Technique for testing wireless network load produced by mobile app-carrying devices |
US10433195B2 (en) * | 2014-10-14 | 2019-10-01 | Rohde & Schwarz Gmbh & Co. Kg | Technique for testing wireless network load produced by mobile app-carrying devices |
CN106650345B (zh) * | 2015-10-28 | 2020-02-21 | 中国电信股份有限公司 | 用于向ott开放用户信息的方法和系统 |
CN105703953B (zh) * | 2016-03-08 | 2019-02-15 | 中国联合网络通信集团有限公司 | 一种ott业务资源消耗确定方法和系统 |
CN107220258A (zh) * | 2016-03-22 | 2017-09-29 | 阿里巴巴集团控股有限公司 | 用于抓取应用页面的数据的方法、装置及终端 |
US20180288629A1 (en) * | 2017-03-30 | 2018-10-04 | Rohde & Schwarz Gmbh & Co. Kg | System and method for determining an ideal configuration of a network |
CN110784364B (zh) * | 2019-11-07 | 2022-08-05 | 北京博睿宏远数据科技股份有限公司 | 一种数据监测方法、装置、存储介质及终端 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008023007A1 (de) * | 2006-08-23 | 2008-02-28 | Nokia Siemens Networks Gmbh & Co. Kg | Verfahren zur steuerung einer lastanpassung in einem funk-kommunikationssystem |
CN103546558A (zh) * | 2013-10-22 | 2014-01-29 | 中国联合网络通信集团有限公司 | Ott应用的数据抓取方法及装置 |
CN103650429A (zh) * | 2013-06-28 | 2014-03-19 | 华为技术有限公司 | 一种网间设备通信方法、相关设备及系统 |
-
2014
- 2014-06-04 CN CN201410245728.0A patent/CN103986788B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008023007A1 (de) * | 2006-08-23 | 2008-02-28 | Nokia Siemens Networks Gmbh & Co. Kg | Verfahren zur steuerung einer lastanpassung in einem funk-kommunikationssystem |
CN103650429A (zh) * | 2013-06-28 | 2014-03-19 | 华为技术有限公司 | 一种网间设备通信方法、相关设备及系统 |
CN103546558A (zh) * | 2013-10-22 | 2014-01-29 | 中国联合网络通信集团有限公司 | Ott应用的数据抓取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103986788A (zh) | 2014-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103986788B (zh) | Ott应用的数据抓取方法和装置 | |
CN105069075B (zh) | 照片共享方法和装置 | |
CN106022826A (zh) | 一种网络直播平台中的作弊用户识别方法与系统 | |
WO2018000205A1 (zh) | 一种基于多意图的多技能包问答方法、系统和机器人 | |
CN109639719B (zh) | 一种基于临时标识符的身份验证方法和装置 | |
CN109582655B (zh) | 系统日志的定位方法及装置、计算机可读存储介质 | |
CN109544417A (zh) | 一种学习效果确定方法、装置、存储介质及终端设备 | |
CN113473472B (zh) | 一种电力网络靶场终端接入仿真和攻击重放方法及系统 | |
CN109670055A (zh) | 一种多媒体数据审核方法、装置、设备及存储介质 | |
CN109783624A (zh) | 基于知识库的答案生成方法、装置和智能会话系统 | |
CN107862071A (zh) | 生成会议记录的方法和装置 | |
CN104092653B (zh) | 一种数据处理的方法和系统 | |
US20160316000A1 (en) | Synchronizing Method, Terminal, and Server | |
CN106210032A (zh) | 基于终端数据批量上报的方法及装置 | |
CN106470200A (zh) | 一种身份验证方法及相关装置 | |
CN112307331A (zh) | 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备 | |
CN113342838A (zh) | 基于区块链的数据处理方法、装置、设备及可读存储介质 | |
US10230789B2 (en) | Method for presenting schedule reminder information, terminal device, and cloud server | |
CN113852639A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN111162918A (zh) | 业务开通管理方法和装置 | |
CN108647315A (zh) | 数据采集方法及系统 | |
CN103336757A (zh) | 硬件协议栈 | |
CN109040050A (zh) | 数据交互方法及相关产品 | |
CN105743879B (zh) | 智能电视身份识别方法及系统 | |
CN102999581B (zh) | 用于业务中大用户量数据访问及实时排序系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |