CN104038471A - 一种在互联网中管理idc资源的方法和运营商网络 - Google Patents

一种在互联网中管理idc资源的方法和运营商网络 Download PDF

Info

Publication number
CN104038471A
CN104038471A CN201310074225.7A CN201310074225A CN104038471A CN 104038471 A CN104038471 A CN 104038471A CN 201310074225 A CN201310074225 A CN 201310074225A CN 104038471 A CN104038471 A CN 104038471A
Authority
CN
China
Prior art keywords
resource
idc
video
beacon information
analysis report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310074225.7A
Other languages
English (en)
Other versions
CN104038471B (zh
Inventor
程路
赵炜
于杭
袁明亮
胡轶
纪翀
李鲲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Group Zhejiang Co Ltd
Priority to CN201310074225.7A priority Critical patent/CN104038471B/zh
Publication of CN104038471A publication Critical patent/CN104038471A/zh
Application granted granted Critical
Publication of CN104038471B publication Critical patent/CN104038471B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种在互联网中管理IDC资源的方法和运营商网络,生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,执行所述爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息,将所述IDC资源和标示信息发送给互联网数据中心,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。获取IDC资源及其标示信息,根据标示信息识别IDC资源的真实存放位置,掌握IDC资源的准确分布,并为后续引入IDC资源提供了依据。

Description

一种在互联网中管理IDC资源的方法和运营商网络
技术领域
本发明涉及互联网技术,特别是指一种在互联网中管理IDC资源的方法和运营商网络。
背景技术
互联网中,资源引入一般有IDC(Internet Data Center,互联网数据中心)引入和缓存两种手段。通过引入IDC资源保证用户尽可能访问运营商网络内资源,减少去往其他运营商的互联互通流量。
包括域名(泛域名、子域名)和视频资源等在内的IDC资源都需要由网络内容服务商(ICP,Internet Content Provider)提供,但无法保证ICP提供的IDC资源的正确性,也无法核实缓存系统中的资源是否与IDC中的IDC资源相同。
现有技术存在如下问题:ICP提供的IDC资源不具备可控性和科学性,且IDC中网站的具体内容变化频繁,因此也不具备实时性。运营商需要时常联系ICP以核实IDC资源,降低了工作效率;其次,因为无法精确获得已引入运营商网络内的IDC资源,运营商的导航网站无法引导用户行为,其推荐的具体内容往往并不在运营商网络内,影响了用户感知和运营商的引导效果;ICP提供IDC资源的正确性较差,导致缓存系统重复缓存了相同的资源,降低了缓存的工作效能,也增加了流量结算的成本;无法快速获取分片段放置的影片中每片的信息;运营商无法及时发现和纠错ICP调度错误。
发明内容
本发明要解决的技术问题是提供一种在互联网中管理IDC资源的方法和运营商网络,解决现有技术中,由于无法精确获得已引入运营商网络内的资源,导致运营商间的互联互通频繁及缓存结算成本高昂的缺陷。
为解决上述技术问题,本发明的实施例提供一种在互联网中管理IDC资源的方法,方法包括:生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,执行所述爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息,将所述IDC资源和标示信息发送给互联网数据中心,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
所述的方法中,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息具体包括:当IDC资源是视频资源时,在一个视频资源网站上遍历并获取所有网页的URL,将视频资源所在的网页的URL作为所述标示信息的一部分;以及,将视频资源的名称和分集数目作为所述标示信息的一部分。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置具体包括:当IDC资源是视频资源时,由内容识别服务器模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置。
所述的方法中,提取所述IDC资源的标示信息还包括:当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置包括:向内容识别服务器获取每一片的真实URL,以及计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告之后还包括:结合深度包检测(DPI,Deep Packet Inspection)中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度。
所述的方法中,在至少一个网站上遍历网页识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息具体包括:当IDC资源是域名时,根据入口域名进行爬取,发现有新域名时解析该新域名并记录在标示信息中。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告之后还包括:对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告之后还包括:进行调度纠错,其中,获得IDC资源的真实URL,当其中的ip地址为网外地址ipx时,使用运营商网络内IDC资源所在网站所属的ip地址逐个替换网外地址ipx,替换之后,若能够通过Http head请求获得所述IDC资源,表明存在关于该IDC资源的调度错误,与ICP协调纠正该调度错误。
所述的方法中,分析所述IDC资源和标示信息后生成分析报告之后还包括:进行引入评估,其中,当IDC资源是域名时,利用网站引入深度进行评价;引入深度定义为:已引入运营商网络内该网站子域名/网站所有子域名数;当IDC资源是视频资源时,采用文件大小运营商网络内占比和文件数量运营商网络内占比进行评价;其中,文件大小运营商网络内占比定义为:已引入运营商网络内视频资源文件大小/网站所有视频资源大小;文件数量运营商网络内占比定义为:已引入运营商网络内视频资源数量/网站所有视频资源数量。
一种运营商网络,包括:爬虫控制装置、爬虫装置、互联网数据中心和行为内容分析网元;爬虫控制装置,用于生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,爬虫装置,用于执行爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息,互联网数据中心,用于接收所述IDC资源和标示信息,传输给行为内容分析网元;行为内容分析网元,用于分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
所述的运营商网络中,行为内容分析网元包括:视频资源分析单元,用于结合DPI中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度,IDC资源是视频资源;域名分析单元,用于对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分,IDC资源是域名。
所述的运营商网络中,还包括:内容识别服务器,用于当IDC资源是视频资源时,模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置;当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片;所述互联网数据中心,还用于计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
本发明的上述技术方案的有益效果如下:获取IDC资源及其标示信息,根据标示信息识别IDC资源的真实存放位置,掌握IDC资源的准确分布,并为后续引入IDC资源提供了依据。
附图说明
图1表示一种在互联网中管理IDC资源的方法流程示意图;
图2表示互联网的组织结构示意图;
图3表示获取及分析IDC资源的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明中涉及的互联网,如图2所示,包括:DNS服务器(Domain NameSystem),互联网数据中心IDC和缓存系统。IDC资源引入到IDC后,DNS服务器解析用户的访问,ICP通过DNS服务器反馈相应运营商IDC机房内IDC资源的地址,引导用户去往IDC访问;缓存系统则是缓存没有引入IDC的热点资源,以及通过分光截取、DNS重定向等方式引导用户访问缓存系统。
本发明实施例提供一种在互联网中管理IDC资源的方法,如图1所示,包括:
步骤101,生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,
步骤102,执行所述爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息,
步骤103,将所述IDC资源和标示信息发送给互联网数据中心,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
应用所提供的技术,获取IDC资源及其标示信息,根据标示信息识别IDC资源的真实存放位置(真实URL,Uniform Resource Locator),掌握IDC资源的准确分布,并为后续引入IDC资源提供了依据。
在一个优选实施例中,由行为内容分析网元分析所述IDC资源和标示信息以得到分析报告,具体包括:
由行为内容分析网元结合DPI中的日志分析所述IDC资源的分布情况,以及受到的关注程度作为所述分析报告的一部分。
IDC资源可以是视频资源或者是域名。当IDC资源是视频资源时,
在一个优选实施例中,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息具体包括:
当IDC资源是视频资源时,在一个视频资源网站上遍历并获取所有网页的URL,将视频资源所在的网页的URL作为所述标示信息的一部分;
以及,将视频资源的名称和分集数目作为所述标示信息的一部分。
IDC资源是视频资源,将视频资源和标示信息返回互联网数据中心之后,由内容识别服务器与视频调度服务器通过交互得到视频资源的真实URL。
因此在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告具体包括:
当IDC资源是视频资源时,由内容识别服务器模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL并分析得到其所放置的服务器IP地址作为所述真实存放位置。
插件是运行在客户端浏览器上的一个程序,通常是一个FLASH程序,视频网站的播放插件一般是FLASH播放器。页面插件动态运行技术,就是模拟运行这些插件,并可以对插件的行为进行监控和判断。
在一个优选实施例中,提取所述IDC资源的标示信息还包括:
当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,
采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并分析得到其所放置的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片。
模拟FLASH播放器的播放,监控客户端浏览器-具体是播放插件与视频调度服务器之间的交互,得到分片的播放清单。
在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告包括:
向内容识别服务器获取每一片的真实URL,以及计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
对于分片式视频资源,采用分片识别技术,得到插件播放视频时需要的播放清单,利用Http head请求获取并分析视频资源的第一片后,模拟运行网页中的插件快进到下一片,通过Http head请求识别每一片视频资源的真实URL;IDC向内容识别网元查询每一片视频资源的真实URL地址,以及计算每一片视频资源在IDC中的分布情况。
在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告之后还包括:
结合DPI中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度。
在一个应用场景中,如图3所示,获取及分析视频资源包括:
步骤1,爬虫控制装置向爬虫下发爬取任务,爬取任务记载了在确定的互联网资源范围内遍历网页,识别出视频资源,以及提取视频资源的标示信息,
确定的互联网资源范围通常是指至少一个视频网站。
步骤2,爬虫爬取至少一个视频网站,遍历视频网站中所有的网页,获取视频资源的URL地址,URL地址标识了视频资源的播放页,提取各个视频资源的标示信息,比如片名,集数等。
步骤3,爬虫将播放页和标示信息返回给IDC,由IDC进行存储和管理。
步骤4,内容识别服务器采用页面插件动态运行技术,模拟运行网页中的插件以与视频调度服务器进行交互,得到视频资源的真实URL。
对于分片式视频资源,采用分片识别技术,得到插件播放视频时需要的播放清单;利用Http head请求获取并分析视频资源的第一片后,模拟运行网页中的插件快进到下一片,通过Http head请求识别每一片视频资源的真实URL;
IDC向内容识别网元查询每一片视频资源的真实URL地址,以及计算每一片视频资源在IDC中的分布情况。
步骤5,IDC向行为内容分析网元上报视频资源的分布及标示信息,行为内容分析网元结合DPI的日志综合分析视频资源的分布及标示信息。
在内容展示平台上显示视频资源的分布情况以及受到的关注程度。
步骤6,行为内容分析网元可以将非IDC的热点信息输出给缓存系统,及时进行缓存。
获取互联网数据中心内容的目录,识别IDC资源的真实存放位置,对IDC资源视图化,获取IDC资源的真实来源,监测IDC资源的建设质量,并为后续引入IDC资源提供依据。
在一个优选实施例中,在至少一个网站上遍历网页识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息具体包括:
当IDC资源是域名时,根据一些入口域名进行爬取,发现有新的域名时解析该域名并记录在标示信息中。
爬虫需要一个起始的入口URL,然后通过入口URL的网页中的其它链接再次爬取更深层次的URL,这是一个广度遍历的过程,入口一般会选择链接比较丰富的URL。
在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告之后还包括:
对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分。
在一个应用场景中,如图3所示,获取及分析域名包括:
步骤1,爬虫控制装置下发获取域名的爬取任务给各个爬虫装置。
步骤2,爬虫装置根据一些入口域名进行爬取,如果发现有新的域名,则进行地址解析,并记录入库。
步骤3,行为内容分析网元对子域名进行归并分析。
步骤4,内容展示平台上显示子域名及主域名的IP地址,及统计IP地址是否在IDC中。
在如图2所示的网络中,将IDC资源和标示信息返回互联网数据中心,由行为内容分析网元分析IDC资源和标示信息以得到分析报告,以及管理IDC资源并进行应用,包括:
行为引导,与运营商的导航网站或者主动推送页面链接,从分析报告中摘取部分或者全部的所述IDC资源对应的目录清单发送给所述导航网站或者主动推送页面。
在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告之后还包括:
进行调度纠错,其中,获得IDC资源的真实URL具体为url://ip/*.flv,当其中的ip地址为网外地址ipx时,使用运营商网络内IDC资源所在网站所属的ip地址逐个替换网外地址ipx,
替换之后,若能够通过Http head请求获得所述IDC资源,表明存在关于该IDC资源的调度错误,与ICP协调纠正该调度错误。
运营商的IP地址段为网内,其他IP地址段则为网外。如果网内有IDC资源,应该将用户请求调度到网内,用户的体验会更好。通过爬虫对视频资源或域名资源进行探测,若发现网内有相应资源,而ICP又把用户请求调度至网外的CDN节点中,则将该IDC资源的URL中的HOST部分替换成网内CDN节点的IP地址,如果仍访问成功说明网内存在此IDC资源,则认为该调度存在调度错误问题,通知ICP修改调度策略。
采用常规手段发现各种调度错误,或者采用地址置换技术发现ICP调度错误,在确保访问质量的情况下进行纠错,对于存放在IDC内的IDC资源不再进行缓存。
通过内容管理平台获取的资源全景图,实施对资源引入完成情况的评估和考核。
在一个优选实施例中,分析所述IDC资源和标示信息后生成分析报告之后还包括:
进行引入评估,其中,
当IDC资源是域名时,利用网站引入深度进行评价;
当IDC资源是视频资源时,采用文件大小运营商网络内占比和文件数量运营商网络内占比进行评价;
引入深度定义为:已引入运营商网络内该网站子域名/网站所有子域名数;
文件大小运营商网络内占比定义为:已引入运营商网络内视频资源文件大小/网站所有视频资源大小;
文件数量运营商网络内占比定义为:已引入运营商网络内视频资源数量/网站所有视频资源数量。
本发明实施例提供一种运营商网络,如图3所示,包括:爬虫控制装置、爬虫装置、互联网数据中心和行为内容分析网元;
爬虫控制装置,用于生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,
爬虫装置,用于执行爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息,
互联网数据中心,用于接收所述IDC资源和标示信息,传输给行为内容分析网元;
行为内容分析网元,用于分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
在一个优选实施例中,行为内容分析网元包括:
视频资源分析单元,用于结合DPI中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度,IDC资源是视频资源;
域名分析单元,用于对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分,IDC资源是域名。
在一个优选实施例中,还包括:
内容识别服务器,用于
当IDC资源是视频资源时,模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL作为所述真实存放位置;
当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并分析得到其所放置的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片;
所述互联网数据中心,还用于计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
采用本方案之后的优势是:采用运营商内容管理平台,利用网页插件动态运行、分片识别等技术主动获取运营商网络内的IDC资源,无需与ICP进行协作配合而获取IDC资源的全景图;利用地址置换技术和引入评估实现了用户行为引导、调度纠错和引入评估等应用,保证了用户正确的访问运营商网络内已引入的IDC资源,减少了运营商间的互联互通及缓存结算成本。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种在互联网中管理IDC资源的方法,其特征在于,方法包括:
生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,
执行所述爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息,
将所述IDC资源和标示信息发送给互联网数据中心,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
2.根据权利要求1所述的方法,其特征在于,在至少一个网站中遍历以识别出相应类别的IDC资源,提取所述IDC资源的标示信息具体包括:
当IDC资源是视频资源时,在一个视频资源网站上遍历并获取所有网页的URL,将视频资源所在的网页的URL作为所述标示信息的一部分;
以及,将视频资源的名称和分集数目作为所述标示信息的一部分。
3.根据权利要求1所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置具体包括:
当IDC资源是视频资源时,由内容识别服务器模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置。
4.根据权利要求3所述的方法,其特征在于,提取所述IDC资源的标示信息还包括:
当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,
采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片。
5.根据权利要求4所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置包括:
向内容识别服务器获取每一片的真实URL,以及计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
6.根据权利要求1所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告之后还包括:
结合DPI中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度。
7.根据权利要求1所述的方法,其特征在于,在至少一个网站上遍历网页识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息具体包括:
当IDC资源是域名时,根据入口域名进行爬取,发现有新域名时解析该新域名并记录在标示信息中。
8.根据权利要求7所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告之后还包括:
对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分。
9.根据权利要求1所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告之后还包括:
进行调度纠错,其中,获得IDC资源的真实URL,当其中的ip地址为网外地址ipx时,使用运营商网络内IDC资源所在网站所属的ip地址逐个替换网外地址ipx,
替换之后,若能够通过Http head请求获得所述IDC资源,表明存在关于该IDC资源的调度错误,与ICP协调纠正该调度错误。
10.根据权利要求1所述的方法,其特征在于,分析所述IDC资源和标示信息后生成分析报告之后还包括:
进行引入评估,其中,
当IDC资源是域名时,利用网站引入深度进行评价;引入深度定义为:已引入运营商网络内该网站子域名/网站所有子域名数;
当IDC资源是视频资源时,采用文件大小运营商网络内占比和文件数量运营商网络内占比进行评价;其中,
文件大小运营商网络内占比定义为:已引入运营商网络内视频资源文件大小/网站所有视频资源大小;
文件数量运营商网络内占比定义为:已引入运营商网络内视频资源数量/网站所有视频资源数量。
11.一种运营商网络,其特征在于,包括:爬虫控制装置、爬虫装置、互联网数据中心和行为内容分析网元;
爬虫控制装置,用于生成爬取任务,所述爬取任务记载了在当前的运营商网络内需要获取的IDC资源,
爬虫装置,用于执行爬取任务,在至少一个网站中遍历以识别出相应类别的IDC资源,以及提取所述IDC资源的标示信息,
互联网数据中心,用于接收所述IDC资源和标示信息,传输给行为内容分析网元;
行为内容分析网元,用于分析所述IDC资源和标示信息后生成分析报告,分析报告中记载IDC资源的真实存放位置。
12.根据权利要求11所述的运营商网络,其特征在于,行为内容分析网元包括:
视频资源分析单元,用于结合DPI中的日志以及所述IDC资源的分布情况,获取不同分布的IDC资源受到的关注程度,IDC资源是视频资源;
域名分析单元,用于对子域名进行归并分析得到泛域名,根据泛域名得到IDC资源的目录清单作为所述分析报告的一部分,IDC资源是域名。
13.根据权利要求11所述的运营商网络,其特征在于,还包括:
内容识别服务器,用于
当IDC资源是视频资源时,模拟运行视频资源所在的网页中的播放插件,得到所述视频资源的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置;
当视频资源是分片式视频资源时,监控网页中的播放插件与视频调度服务器之间的交互过程,得到播放每一片的播放清单,采用Http head请求根据播放清单向由内容识别服务器获取当前一片的真实URL并根据该真实URL得到放置所述视频资源的服务器IP地址作为所述真实存放位置之后,模拟运行网页中的快进插件到下一片;
所述互联网数据中心,还用于计算每一片在互联网数据中心的分布情况,根据所述真实URL和分布情况生成所述分析报告。
CN201310074225.7A 2013-03-08 2013-03-08 一种在互联网中管理idc资源的方法和运营商网络 Active CN104038471B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310074225.7A CN104038471B (zh) 2013-03-08 2013-03-08 一种在互联网中管理idc资源的方法和运营商网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310074225.7A CN104038471B (zh) 2013-03-08 2013-03-08 一种在互联网中管理idc资源的方法和运营商网络

Publications (2)

Publication Number Publication Date
CN104038471A true CN104038471A (zh) 2014-09-10
CN104038471B CN104038471B (zh) 2017-08-11

Family

ID=51469061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310074225.7A Active CN104038471B (zh) 2013-03-08 2013-03-08 一种在互联网中管理idc资源的方法和运营商网络

Country Status (1)

Country Link
CN (1) CN104038471B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936043A (zh) * 2015-07-08 2015-09-23 蓝汛网络科技(北京)有限公司 视频资源识别方法和装置
CN109361575A (zh) * 2018-12-20 2019-02-19 哈尔滨工业大学(威海) 一种获取分析dns流量数据的方法及其系统
CN111934958A (zh) * 2020-07-29 2020-11-13 深圳市高德信通信股份有限公司 一种idc资源调度服务管理平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546309A (zh) * 2008-03-26 2009-09-30 国际商业机器公司 对计算机网络中的资源内容构建索引的方法和设备
CN101635718A (zh) * 2009-08-26 2010-01-27 中兴通讯股份有限公司 网络爬虫系统及其获取资源的方法和网络资源抓取装置
CN101715004A (zh) * 2009-11-12 2010-05-26 中国科学院计算技术研究所 面向网络视频的分布式采集方法和系统
US20100195974A1 (en) * 2009-02-04 2010-08-05 Google Inc. Server-side support for seamless rewind and playback of video streaming
CN101977200A (zh) * 2010-11-03 2011-02-16 中国电信股份有限公司 实现多通道上网的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546309A (zh) * 2008-03-26 2009-09-30 国际商业机器公司 对计算机网络中的资源内容构建索引的方法和设备
US20100195974A1 (en) * 2009-02-04 2010-08-05 Google Inc. Server-side support for seamless rewind and playback of video streaming
CN101635718A (zh) * 2009-08-26 2010-01-27 中兴通讯股份有限公司 网络爬虫系统及其获取资源的方法和网络资源抓取装置
CN101715004A (zh) * 2009-11-12 2010-05-26 中国科学院计算技术研究所 面向网络视频的分布式采集方法和系统
CN101977200A (zh) * 2010-11-03 2011-02-16 中国电信股份有限公司 实现多通道上网的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936043A (zh) * 2015-07-08 2015-09-23 蓝汛网络科技(北京)有限公司 视频资源识别方法和装置
CN109361575A (zh) * 2018-12-20 2019-02-19 哈尔滨工业大学(威海) 一种获取分析dns流量数据的方法及其系统
CN111934958A (zh) * 2020-07-29 2020-11-13 深圳市高德信通信股份有限公司 一种idc资源调度服务管理平台

Also Published As

Publication number Publication date
CN104038471B (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107493183B (zh) 一种故障定位方法及装置
US9075914B2 (en) Analytics driven development
CN104320679B (zh) 一种基于hls协议的用户信息获取方法和服务器
CN108206972B (zh) 直播间人气处理方法、装置、服务器及存储介质
CN102314455A (zh) 计算网页点击流量的方法及系统
CN107579874B (zh) 一种检测流量采集设备数据采集漏报的方法及装置
CN103970843B (zh) 一种Web日志预处理中基于UUID的会话合并方法
CN103414608B (zh) 快速的web流量采集统计系统和方法
CN106921713B (zh) 一种资源缓存方法及装置
CN110245273B (zh) 一种获取app业务特征库的方法及相应的装置
CN109361575A (zh) 一种获取分析dns流量数据的方法及其系统
US11157948B2 (en) Method and system for independent validation of asset serving
CN104038471A (zh) 一种在互联网中管理idc资源的方法和运营商网络
KR20220124271A (ko) 라이브 트래픽의 고장 검측 방법, 장치, 전자 기기 및 판독 가능 저장 매체
CN106535240A (zh) 基于云平台的移动app集中性能分析方法
US8898300B2 (en) Systems and methods for collecting and storing network traffic data
CN103428249A (zh) 一种http请求包的收集及处理方法、系统和服务器
CN102035905B (zh) 获取访客本地域名解析服务器的方法
Jyothi et al. A study on raise of web analytics and its benefits
CN102395042B (zh) 对数字电视系统进行调试的方法及系统
CN107948015B (zh) 一种服务质量分析方法、装置及网络系统
CN103036746A (zh) 基于网络中间点的网页响应时间被动测量方法及系统
CN106789277B (zh) 基于状态机模型的用户行为确定方法及装置
CN104539452B (zh) 一种统计Web应用访问地域特性的方法
KR101725404B1 (ko) 웹사이트 점검 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant