CN103986788A - Ott应用的数据抓取方法和装置 - Google Patents

Ott应用的数据抓取方法和装置 Download PDF

Info

Publication number
CN103986788A
CN103986788A CN201410245728.0A CN201410245728A CN103986788A CN 103986788 A CN103986788 A CN 103986788A CN 201410245728 A CN201410245728 A CN 201410245728A CN 103986788 A CN103986788 A CN 103986788A
Authority
CN
China
Prior art keywords
signaling
application
data
layer data
ott
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410245728.0A
Other languages
English (en)
Other versions
CN103986788B (zh
Inventor
安岗
叶阳
严斌峰
廖军
陈茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201410245728.0A priority Critical patent/CN103986788B/zh
Publication of CN103986788A publication Critical patent/CN103986788A/zh
Application granted granted Critical
Publication of CN103986788B publication Critical patent/CN103986788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种OTT应用的数据抓取方法和装置,方法包括:在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将上述时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。本发明实施例有效解决了采用现有技术无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化的技术问题。

Description

OTT应用的数据抓取方法和装置
技术领域
本发明涉及信息技术,尤其涉及一种OTT应用的数据抓取方法和装置。
背景技术
随着移动智能终端的发展,越来越多的移动互联用户开始使用微博、微信、腾讯QQ等一系列的(Over The Top,简称OTT)应用,随着OTT应用数量的增多,网络设备中的各项资源正面临着很大的挑战。OTT应用产生的信令消耗,正逐步加大网络的信令负荷。因此,对各OTT应用的信令层数据和应用层数据进行同步抓取,分析各OTT应用的行为对网络侧的影响成为亟待解决的问题。
实际应用中,OTT应用的信令从终端侧传输到网络侧以使网络侧产生应用层数据的过程中,可能会因为传输环境、网络的切换或者网络质量较差等复杂场景的出现而导致终端的上网行为存在不稳定差异,无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化。
发明内容
本发明提供一种OTT应用的数据抓取方法和装置,用于解决现有技术中无法实现对信令层数据和网络层数据的同步抓取,进而无法引导运营商对OTT应用的网络行为进行优化的技术问题。
一方面,本发明实施例提供一种OTT应用的数据抓取方法,包括:
在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
另一方面,本发明实施例提供一种OTT应用的数据抓取装置,包括:
获取模块,用于在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
抓取模块,用于在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块,用于将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
本发明提供的OTT应用的数据抓取方法和装置,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
附图说明
图1为本发明提供的OTT应用的数据抓取方法一个实施例的流程图;
图2为本发明提供的OTT应用的数据抓取方法另一个实施例的流程图;
图3为本发明提供的OTT应用的数据抓取装置一个实施例的结构示意图。
具体实施方式
图1为本发明提供的OTT应用的数据抓取方法一个实施例的流程图,该方法的执行主体可以为集成有网络数据抓取功能的终端。如图1所示,该OTT应用的数据抓取方法具体包括:
S101,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;
将待测终端接入模拟网络设备产生的模拟网络中,并启动待测终端上的OTT应用;其中,该模拟网络设备产生的模拟网络与实际互联网络互联以使待测终端上的OTT应用进行业务。具体地,该模拟网络设备内集成有可产生宽带码分多址(Wideband Code Division Multiple Access,WCDMA)/全球移动通信系统(Global System for Mobile Communications,GSM)/长期演进(Long Term Evolution,LTE)等一系列模拟网络的网络模拟仿真器,以及可使待测终端通过上述产生的模拟网络与实际网络进行数据交互的外接网卡,从而实现模拟网络与实际网络的互联互通,以保证上述待测终端内的OTT业务在模拟网络环境下的正常运行。
将待测终端接入上述模拟网络中,并启动待测终端上的OTT应用。这里所指的OTT应用具体可以为腾讯QQ、微博、微信、优酷、搜狐视频等。在启动待测终端上的OTT应用时,可根据实际操作需求开启上述OTT应用中的一种或同时开启多种。被开启的OTT应用可通过待测终端向模拟网络设备(网络侧)发送信令,模拟网络设备在应用层根据该信令生成应用层数据,并通过内设的外接网卡将生成的应用层数据发送到实际网络中以实现OTT业务的正常进行。在本实施例中,在设置于待测终端内的OTT应用通过上述模拟网络进行业务期间,可指示该待测终端通过终端中内置的信令抓取装置抓取上述开启的OTT应用发送信令时产生的信令层数据,该信令数据具体包括每次发送信令的信令信息(信令的具体内容)和每次发送信令时对应的时间信息。具体地,信令抓取装置可通过抓取待测终端发送信令时产生的log文件来获取上述信令层数据,然后通过如通用串行总线(Universal Serial Bus,USB)等数据传输方式将上述抓取到的信令层数据传输至相应功能模块进行数据处理。
S102,在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
本实施例中,被开启的OTT应用可通过待测终端向模拟网络设备(网络侧)发送信令,模拟网络设备在应用层根据该信令生成应用层数据。由于所有应用层的数据均需要通过上述模拟网络设备产生的模拟网络发送出去,因此可在模拟网络设备进行模拟网络的仿真过程中对OTT应用发送信令时对应在上述模拟网络中产生的应用数据包进行抓取以形成上述所述OTT应用发送信令时产生的应用层数据。该应用层数据具体包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息,其中,该应用数据包信息具体可以包括数据包的大小,该数据包所发送至的域名系统(Domain NameSystem,DNS)等信息。
S103,将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据;
由于上述模拟网络中只针对上述一个待测终端内的OTT应用进行互联网接入,因此从模拟网络中抓取的应用层数据相比较从实际互联网络中抓取的数据更单一、稳定,且针对应用层数据中的每条数据包信息与对应的信令层数据中的信令信息在时间上基本同步。即使这两个信息在时间上存在延迟也可以通过预先向模拟网络设备发送单一信令并接收模拟网络设备输出的数据包时对应的时间差获得该延时时长。因此,本实施例中采用模拟网络将待测终端内的OTT应用接入实际互联网络的方式,使得在对待测终端内的OTT应用进行业务时产生的信令信息以及应用数据包信息在相互匹配上更加容易,通过各自对应的时间信息就可以完成匹配。
具体地,将上述信令层数据中包含的所有时间信息与上述应用层数据中包含的所有时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,关联后形成的数据包括:时间信息+信令信息+数据包信息,最后将所有关联后产生的数据整合,形成终端内当前开启的OTT应用对应的行为数据。
本发明提供的OTT应用的数据抓取方法,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
图2为本发明提供的OTT应用的数据抓取方法另一个实施例的流程图,是如图1所示实施例的一种具体实现方式。如图2所示,该OTT应用的数据抓取方法具体包括:
S201,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;该步骤具体执行过程可参见步骤101的相应内容。
S202,提取信令层数据中时间信息包含在各完整信令流程内的时间信息对应的信令信息,并将信令层数据中时间信息包含在各完整信令流程内的时间信息以及该时间信息对应的信令信息确定为完整信令层数据;
在具体应用场景中,由于网络不稳定、异常等原因可能会使OTT应用执行不完整的信令流程,如OTT应用通过待测终端向网络侧发送业务连接请求的信令时由于网络异常导致网络侧并没有接收到该信令,使得终端内的OTT应用一段时间过后再次发送上述业务连接请求的信令,且连续发送的两个业务连接请求的信令中间未发送上述业务连接请求对应的业务结束请求的信令。上述情况下,待测终端对于发送上述两个业务连接请求的信令的中间时段的网络侧的行为是未知的,而在该时间段内网络侧很有可能并未接收到OTT应用通过待测终端发送的任何信令,进而也就没有生成相应的应用层的数据信息。在本实施中,将上述情况下OTT应用发送的信令的流程称为不完整的信令流程。换言之,一次完整的信令流程为上述待测终端在开启的OTT应用进行业务的过程中向上述模拟网络发送连接请求的信令开始至取消该次连接请求而发送的结束信令结束的期间发送所有信令的流程。可以理解的,在终端进行的每次完整的信令流程中,终端内的所有OTT应用都可能在这期间向网络侧发送自己对应的信令。
对于上述WCDMA/GSM/LTE制式的模拟网络,上述业务连接请求与业务结束请求均可以具体为无线资源控制(Radio Resource Control,RRC)的连接请求与断开请求。
可以理解的,对于上述没有产生相应的应用层的数据信息的信令对实际网络是没有贡献的,在本实施例中不作为OTT应用产生的行为数据。具体地,在待测终端通过内置的信令抓取装置抓取上述OTT应用发送的信令的同时,可对抓取的信令的具体内容进行识别,并通过上述方法识别出各完整的信令流程,并确定各完整的信令流程对应的时间区间;将该时间区间内对应的所有信令信息确定为完整信令流程内的信令信息;最后,将完整信令流程内的信令信息以及该信令信息对应的发送时间信息确定为相应完整信令流程内的信令层数据。
S203,在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;该步骤具体执行过程可参见步骤102的相应内容。具体地,上述应用数据包信息具体包括:该应用数据包的大小信息和该应用数据包所发送至的域名系统DNS信息。
S204,将完整信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据;该步骤具体执行过程可参见步骤103的相应内容。与步骤103不同的是:本步骤中用于与应用层数据中的应用数据包信息进行匹配和关联的是上述完整信令层数据中的信令信息;对于完整信令层数据的定义和确定方法可参见步骤202的相应内容。
S205,提取行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息;
S206,对各完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小;
本实施例中,对于步骤204生成的OTT应用对应的行为数据还可进一步进行数据整理,以更准确的掌握各具体OTT应用的网络行为。
具体地,在上述所有被开启的OTT应用产生的行为数据中,应用层数据中的应用数据包信息中包含的DNS信息表明了该应用数据包所发送值得OTT应用类型(每个OTT应用对应唯一一个DNS)。提取上述行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息,根据该DNS信息可获知各完整信令流程内产生的部分行为数据所对应的OTT应用的具体个数;对各完整信令流程内针对相同DNS信息(即同一OTT应用)对应的应用层数据包信息的个数和对应的数据包大小进行统计,从而计算出各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小。通过上述步骤对上述行为数据进行整理后可形成类似如表1所示的行为数据统计结果。
表1行为数据统计结果
如表1所示,在不同的完整信令流程内,不同的OTT应用发送了不同数量、大小的数据包。运营商可根据实际抓取的数据的情况对各OTT应用提出相应的优化措施。
本发明提供的OTT应用的数据抓取方法,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明提供的OTT应用的数据抓取装置一个实施例的结构示意图,可执行如图1所示的方法步骤。如图3所示,该OTT应用的数据抓取装置具体包括:获取模块31、抓取模块32和处理模块33,其中:
获取模块31,用于在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;
抓取模块32,用于在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块33,用于将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。
进一步的,上述处理模块33还用于提取信令层数据中时间信息包含在各完整信令流程内的时间信息对应的信令信息,并将信令层数据中时间信息包含在各完整信令流程内的时间信息以及该时间信息对应的信令信息确定为完整信令层数据;
上述处理模块33还用于将完整信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。
进一步的,上述应用数据包信息具体包括:应用数据包的大小信息和应用数据包所发送至的域名DNS信息;
所述处理模块33具体用于:
提取行为数据中时间信息包含在各完整信令流程内的行为数据对应的DNS信息;
对各完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各完整信令流程内针对同一OTT应用被待测终端访问的次数以及对应产生的应用数据包的总大小。
进一步的,上述完整信令流程为待测终端向模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
上述图2所示实施例的方法步骤可通过本实施例所示的OTT应用的数据抓取装置实现,在此对其方法原理不做赘述。
本发明提供的OTT应用的数据抓取装置,在设置于待测终端内的OTT应用进行业务期间,指示待测终端抓取OTT应用发送信令时产生的信令层数据,该信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;该待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现OTT应用进行业务;在待测终端抓取OTT应用发送信令时产生的信令层数据的同时,从模拟网络设备的数据输出端抓取OTT应用产生的应用层数据,该应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;将信令层数据和应用层数据中包含的时间信息进行比较,并将时间信息匹配的所述信令层数据中的信令信息和应用层数据中的应用数据包信息关联,形成OTT应用对应的行为数据。该方案可实现对信令层数据和网络层数据的同步抓取,进而引导运营商对OTT应用的网络行为进行优化。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种OTT应用的数据抓取方法,其特征在于,包括:
在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
2.根据权利要求1所述的方法,其特征在于,所述在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据之后,包括:
提取所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息对应的所述信令信息,并将所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息以及该时间信息对应的所述信令信息确定为完整信令层数据;
所述将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据,包括:
将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
3.根据权利要求2所述的方法,其特征在于,所述应用数据包信息具体包括:所述应用数据包的大小信息和所述应用数据包所发送至的域名系统DNS信息;
所述将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据之后,包括:
提取所述行为数据中所述时间信息包含在各所述完整信令流程内的所述行为数据对应的所述DNS信息;
对各所述完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各所述完整信令流程内针对同一所述OTT应用被所述待测终端访问的次数以及对应产生的所述应用数据包的总大小。
4.根据权利要求2或3所述的方法,其特征在于,所述完整信令流程为所述待测终端向所述模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
5.根据权利要求4所述的方法,其特征在于,所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
6.一种OTT应用的数据抓取装置,其特征在于,包括:
获取模块,用于在设置于待测终端内的OTT应用进行业务期间,指示所述待测终端抓取所述OTT应用发送信令时产生的信令层数据,所述信令层数据包括每次发送信令的信令信息和每次发送信令时对应的时间信息;所述待测终端通过模拟网络设备产生的模拟网络与实际互联网络互联来实现所述OTT应用进行业务;
抓取模块,用于在所述待测终端抓取所述OTT应用发送信令时产生的信令层数据的同时,从所述模拟网络设备的数据输出端抓取所述OTT应用产生的应用层数据,所述应用层数据包括每次发送的应用数据包信息和每次发送应用数据包时对应的时间信息;
处理模块,用于将所述信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
7.根据权利要求6所述的装置,其特征在于,所述处理模块还用于:
提取所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息对应的所述信令信息,并将所述信令层数据中所述时间信息包含在各完整信令流程内的所述时间信息以及该时间信息对应的所述信令信息确定为完整信令层数据;
所述处理模块还用于将所述完整信令层数据和所述应用层数据中包含的所述时间信息进行比较,并将所述时间信息匹配的所述信令层数据中的所述信令信息和所述应用层数据中的所述应用数据包信息关联,形成所述OTT应用对应的行为数据。
8.根据权利要求7所述的装置,其特征在于,所述应用数据包信息具体包括:所述应用数据包的大小信息和所述应用数据包所发送至的域名DNS信息;所述处理模块具体用于:
提取所述行为数据中所述时间信息包含在各所述完整信令流程内的所述行为数据对应的所述DNS信息;
对各所述完整信令流程内针对相同DNS信息对应的应用层数据包信息的个数和对应的数据包大小进行统计,以确定各所述完整信令流程内针对同一所述OTT应用被所述待测终端访问的次数以及对应产生的所述应用数据包的总大小。
9.根据权利要求7或8所述的装置,其特征在于,所述完整信令流程为所述待测终端向所述模拟网络发送连接请求至取消该次连接请求期间发送信令的流程。
10.根据权利要求9所述的装置,其特征在于,所述模拟网络具体为WCDMA、GSM和LTE中的一种制式网络。
CN201410245728.0A 2014-06-04 2014-06-04 Ott应用的数据抓取方法和装置 Active CN103986788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410245728.0A CN103986788B (zh) 2014-06-04 2014-06-04 Ott应用的数据抓取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410245728.0A CN103986788B (zh) 2014-06-04 2014-06-04 Ott应用的数据抓取方法和装置

Publications (2)

Publication Number Publication Date
CN103986788A true CN103986788A (zh) 2014-08-13
CN103986788B CN103986788B (zh) 2017-05-17

Family

ID=51278611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410245728.0A Active CN103986788B (zh) 2014-06-04 2014-06-04 Ott应用的数据抓取方法和装置

Country Status (1)

Country Link
CN (1) CN103986788B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160105810A1 (en) * 2014-10-14 2016-04-14 Rohde & Schwarz Asia Pte. Ltd. Technique for testing wireless network load produced by mobile app-carrying devices
US20160105811A1 (en) * 2014-10-14 2016-04-14 Rohde & Schwarz Asia Pte. Ltd. Technique for testing wireless network load produced by mobile app-carrying devices
CN105703953A (zh) * 2016-03-08 2016-06-22 中国联合网络通信集团有限公司 一种ott业务资源消耗确定方法和系统
CN106650345A (zh) * 2015-10-28 2017-05-10 中国电信股份有限公司 用于向ott开放用户信息的方法和系统
CN107220258A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 用于抓取应用页面的数据的方法、装置及终端
US20180288629A1 (en) * 2017-03-30 2018-10-04 Rohde & Schwarz Gmbh & Co. Kg System and method for determining an ideal configuration of a network
CN110784364A (zh) * 2019-11-07 2020-02-11 北京博睿宏远数据科技股份有限公司 一种数据监测方法、装置、存储介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023007A1 (de) * 2006-08-23 2008-02-28 Nokia Siemens Networks Gmbh & Co. Kg Verfahren zur steuerung einer lastanpassung in einem funk-kommunikationssystem
CN103546558A (zh) * 2013-10-22 2014-01-29 中国联合网络通信集团有限公司 Ott应用的数据抓取方法及装置
CN103650429A (zh) * 2013-06-28 2014-03-19 华为技术有限公司 一种网间设备通信方法、相关设备及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023007A1 (de) * 2006-08-23 2008-02-28 Nokia Siemens Networks Gmbh & Co. Kg Verfahren zur steuerung einer lastanpassung in einem funk-kommunikationssystem
CN103650429A (zh) * 2013-06-28 2014-03-19 华为技术有限公司 一种网间设备通信方法、相关设备及系统
CN103546558A (zh) * 2013-10-22 2014-01-29 中国联合网络通信集团有限公司 Ott应用的数据抓取方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160105810A1 (en) * 2014-10-14 2016-04-14 Rohde & Schwarz Asia Pte. Ltd. Technique for testing wireless network load produced by mobile app-carrying devices
US20160105811A1 (en) * 2014-10-14 2016-04-14 Rohde & Schwarz Asia Pte. Ltd. Technique for testing wireless network load produced by mobile app-carrying devices
US9699674B2 (en) * 2014-10-14 2017-07-04 Rohde & Schwarz Gmbh & Co. Kg Technique for testing wireless network load produced by mobile app-carrying devices
US10433195B2 (en) 2014-10-14 2019-10-01 Rohde & Schwarz Gmbh & Co. Kg Technique for testing wireless network load produced by mobile app-carrying devices
CN106650345A (zh) * 2015-10-28 2017-05-10 中国电信股份有限公司 用于向ott开放用户信息的方法和系统
CN106650345B (zh) * 2015-10-28 2020-02-21 中国电信股份有限公司 用于向ott开放用户信息的方法和系统
CN105703953A (zh) * 2016-03-08 2016-06-22 中国联合网络通信集团有限公司 一种ott业务资源消耗确定方法和系统
CN105703953B (zh) * 2016-03-08 2019-02-15 中国联合网络通信集团有限公司 一种ott业务资源消耗确定方法和系统
CN107220258A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 用于抓取应用页面的数据的方法、装置及终端
US20180288629A1 (en) * 2017-03-30 2018-10-04 Rohde & Schwarz Gmbh & Co. Kg System and method for determining an ideal configuration of a network
CN110784364A (zh) * 2019-11-07 2020-02-11 北京博睿宏远数据科技股份有限公司 一种数据监测方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN103986788B (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN103986788A (zh) Ott应用的数据抓取方法和装置
CN103795762A (zh) 一种反向代理的测试方法及系统
CN109582655B (zh) 系统日志的定位方法及装置、计算机可读存储介质
CN108132868A (zh) 一种数据监控方法、装置、计算设备及存储介质
US20230042747A1 (en) Message Processing Method and Device, Storage Medium, and Electronic Device
CN103716826A (zh) 基于无线数据业务仿真场景的用户体验质量测试方法
CN101540896A (zh) 一种视频业务质量测试方法、装置及系统
US20160316000A1 (en) Synchronizing Method, Terminal, and Server
EP3404895A1 (en) Multimedia data transmission method and device
CN105141502A (zh) 一种即时通信过程的管理方法及装置
CN108712320A (zh) 消息推送方法及装置
CN104683124A (zh) 终端类型识别方法和装置
US20170171339A1 (en) Advertisement data transmission method, electrnoic device and system
CN108696713B (zh) 码流的安全测试方法、装置及测试设备
CN105812432A (zh) 云文档处理方法及装置
CN105246132A (zh) 一种网络接入点参数匹配方法及装置
CN111935316B (zh) 一种前端设备目录获取方法及装置
JP2015528260A (ja) モバイルデバイス内で複数の候補アプリケーションのための通信接続を提供するための方法及びデバイス
JP2015528260A5 (zh)
CN113110997A (zh) 一种测试方法、装置及设备
CN105245540A (zh) 基于ios终端的离线wifi热点认证方法和认证系统
CN109308893A (zh) 信息发送方法及装置、存储介质、电子装置
CN104468514B (zh) 信息处理方法、电子设备及服务器
CN103546558A (zh) Ott应用的数据抓取方法及装置
CN110262856A (zh) 一种应用程序数据采集方法、装置、终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant