CN104038363A - 一种对ccdn提供商信息进行采集及统计的方法 - Google Patents

一种对ccdn提供商信息进行采集及统计的方法 Download PDF

Info

Publication number
CN104038363A
CN104038363A CN201310504605.XA CN201310504605A CN104038363A CN 104038363 A CN104038363 A CN 104038363A CN 201310504605 A CN201310504605 A CN 201310504605A CN 104038363 A CN104038363 A CN 104038363A
Authority
CN
China
Prior art keywords
cdn
ccdn
statistics
domain name
icp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310504605.XA
Other languages
English (en)
Inventor
尹浩
乔波
冯森
英浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hui Jidite Network Technology Co Ltd
Original Assignee
Nanjing Hui Jidite Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hui Jidite Network Technology Co Ltd filed Critical Nanjing Hui Jidite Network Technology Co Ltd
Priority to CN201310504605.XA priority Critical patent/CN104038363A/zh
Publication of CN104038363A publication Critical patent/CN104038363A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种对CCDN提供商信息进行采集及统计的方法，该方法通过部署在各地的主动测量节点，运用所设计的爬虫工具，对大量的网站网页进行爬取，收集网页链接及链接对应的内容信息，并运用域名解析工具对链接中提取出的域名进行分布式的DNS解析，以获取域名所对应的CNAME；然后，运用CDN解析工具对域名对应的CNAME进行CDN解析，以获取CCDN所服务的域名数量、使用的IP数量等信息。在这些信息的基础上，对CCDN的市场现状、基础设施部署状况和QoS进行深入地统计分析，从而对CCDN进行全面的评估，更好地理解CDN市场的现状和发展趋势。

Description

一种对CCDN提供商信息进行采集及统计的方法
技术领域
本发明涉及通信领域，特别涉及一种对CCDN提供商信息进行采集及统计的方法。
背景技术
CDN(Content Delivery Network,内容分发网络)，是构建在现有物理网络上的一种覆盖网络。CDN将内容分发存储到网络边缘，通过网络的动态内容分配和全局负载均衡，将用户请求自动指向到健康可用并且距离用户最近的缓存服务器上，有效提高用户访问的响应速度和服务的可用性，从技术上全面解决由于网络带宽小、用户访问量大、网点分布不均等原因而造成的应用服务质量差的问题。CDN的业务通常有：门户网站的图文分发；音视频媒体网站、视频直播或点播网站的流媒体分发，在线软件更新等。由于CDN近年来的快速发展，所以，从市场的份额、基础设施部署、实现技术、服务器性能、发展趋势等方面彻底了解CDN行业，能够很好地指导ICP（Internet Content Provider网络内容服务商）选择合适的CDN，并能够促进CDN的产业的优化发展。
CCDN（Commercial Content Delivery Network,商业的内容分发网络）提供商在市场份额大小、基础设施部署、技术实现、资源管理等方面都有着显著的不同。ICP为了提高自身网站的用户体验，也加大了使用CCDN的力度。根据我们统计发现，2013年ICP使用CCDN的家数比2011年增长了近20%。越来越多的大型互联网内容提供商除了利用CCDN，已经开始部署自己的PCDN（Private Content Delivery Network，私人的内容分发网络），用于提高网站的用户体验。这意味着互联网内容提供商的CDN的选择既不是静态的，也不是唯一的。虽然互联网内容提供商往往让CCDN提供诸如文本和图像这样的静态内容，但由于不同的ICP的业务类型的侧重不同，对于CCDN的选择也会有所不同，因此ICP也倾向于使用不同的CDN提供不同类型的服务。在欧美已经对CDN进行了大量的测量和评估，但是在中国，CDN行业对外界来说仍然是很神秘的。因此，深入地研究中国CDN的现状和发展趋势，是一项很有意义的工作。
发明内容
本发明所要解决的技术问题是提供一种对CCDN提供商信息进行采集及统计的方法，实现市场份额、基础设施部署和QoS 三个维度信息的统计，使得对CCDN的评估更加全面。
本发明实施例中提供的具体技术方案如下：
一种对CCDN提供商信息进行采集及统计的方法，其包括以下步骤：
1）在骨干网选取若干测量节点，利用网络爬虫对目标网站的链接和链接对应的信息进行爬取；
2）从收集到的网页链接提取域名，消除冗余的域名，生成DNS解析所需要的域名列表；
3）根据链接对应信息中的类型属性对域名列表中的链接对象类型进行分类，并统计每个类型字节数的大小；
4）根据ICP的关键域名字段，将爬取到的链接和对应信息按照ICP进行分类；
5）将DNS解析工具分发到各个测量节点上，通过向其附近的公共LDNS服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息；
6）根据DNS解析工具返回的解析信息，通过把每个域名的CNAME和CDN域名列表进行对比，来发现为域名提供服务的CDN提供商，以此发现CDN所使用的IP数量和服务的域名数量，并将原始网页链接与服务内容的CDN提供商关联起来，为综合统计分析提供数据支持；
7）根据以上步骤获得的信息，对CCDN的市场情况、CCDN的基础设施部署和CCDN的QoS进行统计。
上述步骤7）中，CCDN的市场情况包括：CDN服务的ICP数量和域名数统计、CDN服务ICP内容类型数量和字节数统计、ICP使用CDN统计、CDN市场份额统计。
CCDN的基础设施部署包括： CDN使用IP数量统计、CDN使用IP归属统计、CDN使用IP分类统计。
CDN的的QoS分析统计传输的带宽、传送的时延、数据的丢包率。
综上，本发明所述的一种对CCDN提供商全面评估的方法采用以上技术方案，利用部署在全国40多个城市的测量节点，采用主动测量的方法，收集大量的ICP链接信息，通过对从链接中抽取的域名进行DNS解析和CDN解析后，运用得到的信息对CCDN提供商的市场份额、基础设施部署、CDN的QoS进行了统计分析。与现有技术相比，具有以下技术效果：
1) 对大量的ICP网站进行了链接信息的爬取，运用大数据的统计分析方法，对CCDN进行了统计分析，使得结论更加客观真实；
2) 从市场份额、基础设施部署和QoS 三个维度对CCDN进行了评估，使得对CCDN的评估更加全面；
3）对CCDN进行了横向和纵向的比较，能够更清晰地反映各家CCDN的优劣势，为ICP提供更全面地选择CCDN的服务，并能够使CCDN了解自己的行业地位，促进优化升级。
附图说明
图1为本发明中测量分析统计的流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
为了对CCDN（商业的内容分发网络）提供商进行全面的评估，更好地理解CCDN的现状、发展趋势和行为，本发明实施例中，设计了一个用来从大量网站中爬取网页链接和相关链接信息的爬虫工具，通过从收集到的网页链接中提取出域名，得到一个用于DNS查询的域名列表，然后运用DNS解析工具，对域名进行分布式DNS查询，获取相关的信息，并对获取的信息进行CDN解析，最后对CCDN的市场份额、基础设施部署状况和QoS情况进行统计分析。
这里的测量节点部署在中国大陆的整个骨干网，超过60个测量节点部署在32个省份的40个城市。
本发明实施例中，实现对CCDN提供商的评估方法的具体流程如下（参阅图1所示）：
步骤1.爬取链接信息。
网络爬虫技术，是一种系统地按照一定规则自动抓取Web网页信息的计算机应用程序。网络爬虫是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
为此设计一个爬虫工具，分发部署在测量节点上，对目标网站的链接和链接对应的信息进行爬取，该工具的特点是：（1）爬取网页链接及链接对应的相关信息；（2）具有自动过滤功能，能够自动识别目标网站以外的链接并将其丢弃；（3）能够根据需要控制爬取网站的层数。
在这里，爬虫工具分发部署在所有的主动测量节点，对目标网站的链接和链接对应的信息进行爬取。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。具体的方法是根据种子样本的获取方式可以分为：（1）预先给定的初始抓取种子样本；（2）预先给定的网页分类目录与分类目录对应的种子样本、分类结构等；（3）通过用户行为确定的抓取目标样例。
u 使用工具：爬虫工具
u 输入数据：top100的网站网址，其格式使用txt，见表1每条记录为一行，其包括的数据项为：
表1
ICP
http://www.qq.com
http://www.taobao.com
http://www.sina.com.cn
http://www.163.com
http://www.weibo.com
http://www.tmall.com
u 输出数据：链接信息，见表2，数据格式使用txt，每条记录为一行，记录中的数据项以“/t”隔开，其包括的数据项为：
表2
Links Link type Size
http://www.letv.com/favicon.ico image/x-icon 1150
步骤2.域名提取
域名，是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位。
域名提取，是从收集到的网页链接提取域名，消除冗余的域名，生成DNS解析所需要的域名列表。
考虑到采用网络爬虫工具获得的链接结果会包含大量重复域名，因此，必须对域名进行去重处理，这样，最终获得的域名列表就是完整的目标域名列表，如表3所示:
表3
Domain
66469.soufun.com
1.pic.58control.cn
a.tbcdn.cn
步骤3.链接分类
链接也称超级链接，超链接是指从一个网页指向一个目标的连接关系,而在一个网页中用来超链接的对象,可以是一段文本或者是一个图片.当浏览者单击已经链接的文字或图片后,链接目标将显示在浏览器上,并且根据目标的类型来打开或运行。
链接类型统计是基于链接对应信息中的类型属性对链接对象类型（文件，图片，视频等）进行分类，并统计每个类型字节数的大小。
按照使用对象的不同，网页中的链接可以分为：文本链接、图像链接、E-mail链接和多媒体链接等，如表4。
表4
Link Type Size ICP Time
66469.soufun.com/… text 96 http://www.soufun.com
1.pic.58control.cn/…. image 13583 http://www.58.com
a.tbcdn.cn/…. video 107813 http://www.etao.com
步骤4.ICP类型统计
ICP类型统计主要是对每个ICP各种内容类型的链接数和字节数进行统计。通过对链接统计表进行统计，可以得到ICP各种内容类型的链接数和字节数。如表5.
表5
ICP Num of Text Num of Image Num of Video Byte of Text Byte of Image Byte of Video Time
步骤5. DNS解析
将DNS解析工具分发到各个测量节点上，通过向其附近的公共LDNS(Local DNS)服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息。
为此设计了一个DNS解析工具，能够分发到各个测量节点上，通过向其附近的公共LDNS(Local DNS)服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息。其主要特点为：（1）多线程，运用多线程技术能够大大提高DNS解析的效率；（2）多LDNS解析，DNS解析不需要拘泥于默认的LDNS，可以根据配置文件中给出的LDNS列表进行多点DNS解析，提高了获取信息的完整性。
域名与IP地址之间是一一对应的，它们之间的转换工作称为域名解析，域名解析需要由专门的域名解析服务器来完成，整个过程是自动进行的。资源记录是用于答复DNS客户端请求的DNS数据库记录，每一个DNS服务器包含了它所管理的DNS命名空间的所有资源记录。资源记录包含和特定主机有关的信息，如IP地址、提供服务的类型等等。常见的资源记录类型有：起始授权结构（SOA）、主机（A）别名（CNAME）、邮件交换器（MX）和名称服务器（NS）。
u 使用工具：DNS解析工具
u 输入数据：域名列表，其格式使用txt，每条记录为一行，其包括的数据项见表6：
表6
Domain
66469.soufun.com
1.pic.58control.cn
a.tbcdn.cn
u 输出数据：DNS解析信息，文件格式为：每条记录为一行，记录中的数据项以“/t”隔开，如果每项中含有多个元素，则使用[]将这些元素括起来，每个元素使用“，”隔开，包括数据项见表7：
表7
Domain Cname Ip NS
2012.ifeng.com [2012.ifeng.cncssr.chinacache.net,cc00066.h.cncssr.chinacache.net] [123.235.32.57,60.217.232.246,60.217.232.216] [ns12.telssr.chinacache.net，58.215.37.129|…….]
步骤6. CDN解析
CDN解析算法主要是根据DNS解析工具返回的解析信息，通过把每个域名的CNAME和CDN域名列表进行对比，来发现为域名提供服务的CDN提供商，以此发现CDN所使用的IP数量和服务的域名数量，并将原始网页链接与服务内容的CDN提供商关联起来，为综合统计分析提供数据支持，见表8.
表8
IP Domain Cname CDN Provider Fist Time Update Time
101.2.3.5 2004.163.com cc00088.h.cnc.ccgslb.net ChinaCache
212.4.6.23 3.pic.58control.cn yd.xdwscache.glb0.lxdns.com wangsu
步骤7. CCDN的市场统计分析
对CCDN的市场份额情况进行分析，从CCDN服务ICP数量，域名数量和字节数量来反映CCDN的市场占有率，研究中国CDN市场的现状及其发展趋势。市场统计分析算法主要完成的功能为（1）对CDN服务的ICP数量和域名数统计；（2）对CDN服务ICP内容类型数量和字节数统计；（3）ICP使用CDN统计；（4）对CDN市场份额统计。
为此设计了CCDN的市场统计算法，该算法主要用于对CCDN的市场份额情况进行统计分析，从CCDN服务ICP数量，域名数量和字节数量来反映CCDN的市场占有率。
算法思想为：运用CDN解析得到的映射结果，比如Chinacache→4399img.net，与ICP网站使用的域名进行匹配可以分析出 CDN为哪些ICP提供了服务以及服务的域名数量，如上例，4399img.net是4399网站使用的域名则认为Chinacache为4399提供了服务；将CDN解析得到的映射结果和网页链接分类结果结合使用，可以分析出CDN为ICP提供服务的字节数量；将CDN解析得到的映射结果和链接类型分类结果结合使用，可以分析出细分子行业CDN的服务字节数量。
（1）CDN服务的ICP数量和域名数统计
CDN服务的ICP数量和域名数统计主要是对CDN提供服务的ICP数量和域名数量进行统计，通过对CDN统计表的统计得到CDN提供服务的ICP的数量和域名数量，并打上时间标签，便于对比分析使用。
表9：CCDN服务的ICP数量和域名数统计表
CDN Provider Num of ICPs using the CDN provider Num of domains using the CDN provider Time
ChinaCache 45 735
Wangsu 41 411
（2）CDN服务ICP内容类型数量和字节数统计
CDN服务ICP内容类型数量和字节数统计主要是对CDN为各个ICP提供服务的类型数量和字节数进行统计。通过对CDN统计表和链接统计表的综合统计，得到CDN服务ICP的内容类型数量和字节数。
表10CCDN服务ICP内容类型数量和字节数统计表
ICP CDN Provider Type Num of Links Total size of links Time
http://www.hudong.com ChinaCache image 23158 287081106
http://www.hudong.com kuaiwang text 16 1017
（3）ICP使用CDN统计
ICP使用CDN统计主要是对ICP总共的链接数和字节数、CDN提供服务的链接数和字节数进行统计。通过对ICP服务类型和流量统计表和CDN服务ICP内容类型数量和字节数统计表的综合统计，得到ICP总共的链接数和字节数、CDN提供服务的链接数和字节数，并打上时间标签。
表11 ICP使用CDN统计
ICP Total of link Total of byte Num of Links by CDN Num of byte by CDN time
http://www.hudong.com
http://www.163.com
（4）CDN市场份额统计
CDN市场份额统计主要对CDN提供服务的总IP数、总字节数、各个类型使用的IP数和字节数进行统计。通过对CDN服务ICP内容类型数量和字节数统计表和CDN统计表的综合统计，得到CDN提供服务的总IP数、总字节数、各个类型使用的IP数和字节数，并打上时间标签。
表12CCDN市场份额统计
CDN Total of IP Total of byte Text（byte） Text（IP ） Image（byte） Image（IP） Video（byte） Video（IP） time
ChinaCache
WangSu
步骤8.CCDN的基础设施部署统计分析
主要是对CCDN的基础设施部署情况进行全面的分析，从而发现CCDN所使用的各类服务器的数量（DNS解析服务器和边缘内容加速服务器），部署的物理位置和ISP的情况，并对其服务器在不同区域的增减情况进行分析统计，以发现其商业策略的变化情况。
为此设计了CCDN基础设施部署分析算法，该算法主要是对CCDN的基础设施部署情况进行全面的分析，从而发现CCDN所使用的各类服务器的数量（DNS解析服务器和边缘内容加速服务器），部署的物理位置和ISP的情况，并对其服务器在不同区域的增减情况进行分析统计，以发现其商业策略的变化状况。
算法思想为：将CDN解析得到的映射结果，比如Chinacache→123.4.5.1按照CDN服务商进行分类得到每个CDN服务商所使用的IP列表，然后运用我们编写的IP解析算法，对每个IP的物理位置和所属ISP进行解析，然后按照地域和ISP对每个CDN提供商使用的IP进行分类，以发现CDN提供商基础设施的部署情况
CDN基础设施部署分析包括：（1）CDN使用IP数量统计；（2）CDN使用IP归属统计；（3）CDN使用IP分类统计。
（1）CDN使用IP数量统计
CDN使用IP数量统计主要是对CDN使用的IP和数量进行统计。通过对CDN统计表的统计，可以得到CDN使用的IP和数量，并打上时间标签。
表13CCDN使用IP数量统计表
CDN Provider List of IP Num of IP time
ChinaCache 192.168.1.1 192.168.2.3…….. 2242
Wangsu
（2）CDN使用IP归属统计
CDN使用IP归属统计主要是对CDN使用的IP所属的区域和ISP进行统计。通过把CDN使用IP数量统计表的List of IP数据项作为输入项，可以发现CDN使用的IP的所属区域和ISP。
表14CCDN使用IP归属统计表
IP CDN Location ISP
111.11.27.139 蓝汛 河北省保定市 电信
111.161.26.146 蓝汛 天津市 联通
（3）CDN使用IP分类统计
CDN使用IP分类统计主要是对CDN在每个区域和ISP使用的IP数量进行统计。通过对CDN使用IP归属统计表进行统计，可以计算出CDN在每个区域和ISP使用的IP数量，并打上时间标签。
表15 CCDN使用IP分类统计表
Locationg and ISP CDN Provider Num Time
北京电信 ChinaCache 65 （update time）
北京联通
上海电信
上海联通
步骤9.CDN的QoS分析统计
QoS（Quality of Service，服务质量）是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。当网络过载或拥塞时，QoS能确保重要业务量不受延迟或丢弃，同时保证网络的高效运行。对于网络业务，QoS包括传输的带宽、传送的时延、数据的丢包率等。
为此设计了CCDN的QoS测量算法：根据从DNS解析得到的IP地址信息，使用性能测量工具（服务器性能测量工具、DNS解析时延测量工具）对CCDN提供商的延时、丢包率、HTTP响应时间、服务器响应时间和DNS解析时延等性能进行测量分析，以全面反映CCDN的QoS（Quality of Service,服务质量）情况。
算法思想为：模拟CDN就近服务的方式对CDN提供商的边缘服务节点进行QoS的测量。首先将每个CDN提供商使用的IP地址按照我们的测量节点所在的地域和ISP进行分类，然后把分类好的文件分发到对应的测量节点调用相关的测量工具进行测量，延时、丢包率、HTTP响应时间、服务器响应时间运用我们编写的服务性能测量工具进行测量；DNS解析时延使用我们编写的DNS解析时延测量工具进行测量，最后将测量的结果进行分析，对比CDN的QoS情况。
（1）服务器响应时间测试
u 使用工具：服务器响应时间测量工具
u 输入数据：CDN的IP列表，数据格式使用txt，每条记录为一行，记录中的数据项以“/t”隔开，其包括的数据项为：
表16
CDN IP Location ISP
ChinaCache
ChinaCache
u 输出数据：CDN时延丢包率数据，数据格式使用txt,每条记录为一行，记录中的数据项以“/t”隔开，其包括的数据项为：
表17
CDN IP Location ISP Online status HTTP server Delay Loss HTTP Server
ChinaCache
ChinaCache
（2）DNS解析时延测量
u 使用工具：DNS解析时延测量工具
u 输入数据：CDN的CNAME列表，其格式使用txt，每条记录为一行，记录中的数据项以“/t”隔开，其包括的数据项为：
表18
CDN ISP（代码） Cname
ChinaCache 11 accounts.kr.jq.ctrip.tel.ccgslb.com.cn
ChinaCache 10 activities1.english.ctrip.cnc.ccgslb.net
ChinaCache 00 activities1.english.ctrip.ccgslb.net
u 输出数据：域名DNS解析时延，数据格式使用txt,每条记录为一行，记录中的数据项以“/t”隔开，其包括的数据项为：
表19
CDN ISP（代码） Cname Delay
ChinaCache 11 accounts.kr.jq.ctrip.tel.ccgslb.com.cn
ChinaCache 10 activities1.english.ctrip.cnc.ccgslb.net
ChinaCache 00 activities1.english.ctrip.ccgslb.net
这里，根据从DNS解析得到的IP地址信息，使用性能测量工具（服务器性能测量工具、DNS解析时延测量工具）对CCDN提供商的延时、丢包率、HTTP响应时间、服务器响应时间和DNS解析时延等性能进行测量分析，以全面反映CCDN的QoS情况。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (4)

1.一种对CCDN提供商信息进行采集及统计的方法，其特征在于包括以下步骤：
1）在骨干网选取若干测量节点，利用网络爬虫对目标网站的链接和链接对应的信息进行爬取；
2）从收集到的网页链接提取域名，消除冗余的域名，生成DNS解析所需要的域名列表；
3）根据链接对应信息中的类型属性对域名列表中的链接对象类型进行分类，并统计每个类型字节数的大小；
4）根据ICP的关键域名字段，将爬取到的链接和对应信息按照ICP进行分类；
5）将DNS解析工具分发到各个测量节点上，通过向其附近的公共LDNS服务器进行域名的查询，来获取域名所对应的CNAME,IP地址和NS信息；
6）根据DNS解析工具返回的解析信息，通过把每个域名的CNAME和CDN域名列表进行对比，来发现为域名提供服务的CDN提供商，以此发现CDN所使用的IP数量和服务的域名数量，并将原始网页链接与服务内容的CDN提供商关联起来，为综合统计分析提供数据支持；
7）根据以上步骤获得的信息，对CCDN的市场情况、CCDN的基础设施部署和CCDN的QoS进行统计。
2.根据权利要求1所述的对CCDN提供商信息进行采集及统计的方法，其特征在于步骤7）中，CCDN的市场情况包括：CDN服务的ICP数量和域名数统计、CDN服务ICP内容类型数量和字节数统计、ICP使用CDN统计、CDN市场份额统计。
3.根据权利要求1或2所述的对CCDN提供商信息进行采集及统计的方法，其特征在于步骤7）中，CCDN的基础设施部署包括： CDN使用IP数量统计、CDN使用IP归属统计、CDN使用IP分类统计。
4.根据权利要求1或2所述的对CCDN提供商信息进行采集及统计的方法，其特征在于步骤7）中，CCDN的的QoS分析统计传输的带宽、传送的时延、数据的丢包率。
CN201310504605.XA 2013-10-24 2013-10-24 一种对ccdn提供商信息进行采集及统计的方法 Pending CN104038363A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310504605.XA CN104038363A (zh) 2013-10-24 2013-10-24 一种对ccdn提供商信息进行采集及统计的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310504605.XA CN104038363A (zh) 2013-10-24 2013-10-24 一种对ccdn提供商信息进行采集及统计的方法

Publications (1)

Publication Number Publication Date
CN104038363A true CN104038363A (zh) 2014-09-10

Family

ID=51468960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310504605.XA Pending CN104038363A (zh) 2013-10-24 2013-10-24 一种对ccdn提供商信息进行采集及统计的方法

Country Status (1)

Country Link
CN (1) CN104038363A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202418A (zh) * 2014-09-17 2014-12-10 北京瑞汛世纪科技有限公司 为内容提供商推荐商业的内容分发网络的方法和系统
CN105050133A (zh) * 2015-07-31 2015-11-11 腾讯科技（深圳）有限公司 检测Wi-Fi热点下的网速的方法及装置
CN106302810A (zh) * 2016-09-21 2017-01-04 福建省百互联网科技有限公司 一种远程学习系统
CN108090188A (zh) * 2017-12-18 2018-05-29 国家计算机网络与信息安全管理中心 基于海量数据分析挖掘cdn域名的方法
CN108964967A (zh) * 2018-02-23 2018-12-07 云智慧（北京）科技有限公司 一种对cdn加速服务进行智能监控与分析的方法和系统
CN109165334A (zh) * 2018-09-20 2019-01-08 恒安嘉新（北京）科技股份公司 一种建立cdn厂家基础知识库的方法
CN109241292A (zh) * 2018-08-13 2019-01-18 恒安嘉新（北京）科技股份公司 一种基于主被动数据建立域名服务器体系知识图谱的方法
CN109274702A (zh) * 2017-07-12 2019-01-25 武汉安天信息技术有限责任公司 一种网站内容采集方法及装置
CN109361575A (zh) * 2018-12-20 2019-02-19 哈尔滨工业大学（威海） 一种获取分析dns流量数据的方法及其系统
WO2019084747A1 (zh) * 2017-10-31 2019-05-09 麦格创科技（深圳）有限公司 网页采集任务分配方法及系统
CN110334056A (zh) * 2019-06-24 2019-10-15 广州探迹科技有限公司 一种基于对象存储的爬虫结果存储方法及装置
CN110874434A (zh) * 2018-08-31 2020-03-10 珠海格力电器股份有限公司 网页数据采集方法、装置、存储介质及电子设备
CN110912769A (zh) * 2019-11-12 2020-03-24 中移（杭州）信息技术有限公司 Cdn缓存命中率统计方法、系统、网络设备及存储介质
CN111541793A (zh) * 2020-04-03 2020-08-14 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN112257032A (zh) * 2019-10-21 2021-01-22 国家计算机网络与信息安全管理中心 一种确定app责任主体的方法及系统
CN112350892A (zh) * 2020-10-29 2021-02-09 中星科源(北京)信息技术有限公司 IPv4/IPv6网络检测方法及存储设备和处理设备
CN112491639A (zh) * 2020-09-29 2021-03-12 南京大学 一种基于域名解析的任播区域划分测量方法
CN112883072A (zh) * 2021-03-10 2021-06-01 哈尔滨工业大学（威海） 基于网络服务商国别标注的域名国家可控性评估方法
CN113411377A (zh) * 2021-05-14 2021-09-17 郑州埃文计算机科技有限公司 一种基于大型内容网站dns解析的cdn场景判定方法
CN115033769A (zh) * 2022-05-16 2022-09-09 深圳微言科技有限责任公司 一种页面数据抓取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090119397A1 (en) * 2001-01-16 2009-05-07 Akamai Technologies, Inc. Using virtual domain name service (DNS) zones for enterprise content delivery
CN101989986A (zh) * 2010-10-28 2011-03-23 北京瑞汛世纪科技有限公司 一种查询服务节点的方法、服务器和系统
CN201919010U (zh) * 2010-12-22 2011-08-03 中国工商银行股份有限公司 一种网站访问性能监测系统
CN102457588A (zh) * 2011-12-20 2012-05-16 北京瑞汛世纪科技有限公司 一种实现反向域名解析的方法及装置
CN102611756A (zh) * 2012-03-28 2012-07-25 北京蓝汛通信技术有限责任公司 一种发送访问请求的方法及系统
EP2495940A1 (en) * 2011-03-04 2012-09-05 Deutsche Telekom AG Collaboration between an internet service provider (ISP) and a content distribution system as well as among plural ISP

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090119397A1 (en) * 2001-01-16 2009-05-07 Akamai Technologies, Inc. Using virtual domain name service (DNS) zones for enterprise content delivery
CN101989986A (zh) * 2010-10-28 2011-03-23 北京瑞汛世纪科技有限公司 一种查询服务节点的方法、服务器和系统
CN201919010U (zh) * 2010-12-22 2011-08-03 中国工商银行股份有限公司 一种网站访问性能监测系统
EP2495940A1 (en) * 2011-03-04 2012-09-05 Deutsche Telekom AG Collaboration between an internet service provider (ISP) and a content distribution system as well as among plural ISP
CN102457588A (zh) * 2011-12-20 2012-05-16 北京瑞汛世纪科技有限公司 一种实现反向域名解析的方法及装置
CN102611756A (zh) * 2012-03-28 2012-07-25 北京蓝汛通信技术有限责任公司 一种发送访问请求的方法及系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202418B (zh) * 2014-09-17 2017-12-12 湖南网数科技有限公司 为内容提供商推荐商业的内容分发网络的方法和系统
CN104202418A (zh) * 2014-09-17 2014-12-10 北京瑞汛世纪科技有限公司 为内容提供商推荐商业的内容分发网络的方法和系统
CN105050133A (zh) * 2015-07-31 2015-11-11 腾讯科技（深圳）有限公司 检测Wi-Fi热点下的网速的方法及装置
CN105050133B (zh) * 2015-07-31 2019-01-29 腾讯科技（深圳）有限公司 检测Wi-Fi热点下的网速的方法及装置
CN106302810A (zh) * 2016-09-21 2017-01-04 福建省百互联网科技有限公司 一种远程学习系统
CN109274702A (zh) * 2017-07-12 2019-01-25 武汉安天信息技术有限责任公司 一种网站内容采集方法及装置
WO2019084747A1 (zh) * 2017-10-31 2019-05-09 麦格创科技（深圳）有限公司 网页采集任务分配方法及系统
CN108090188A (zh) * 2017-12-18 2018-05-29 国家计算机网络与信息安全管理中心 基于海量数据分析挖掘cdn域名的方法
CN108090188B (zh) * 2017-12-18 2021-05-07 国家计算机网络与信息安全管理中心 基于海量数据分析挖掘cdn域名的方法
CN108964967A (zh) * 2018-02-23 2018-12-07 云智慧（北京）科技有限公司 一种对cdn加速服务进行智能监控与分析的方法和系统
CN109241292A (zh) * 2018-08-13 2019-01-18 恒安嘉新（北京）科技股份公司 一种基于主被动数据建立域名服务器体系知识图谱的方法
CN110874434A (zh) * 2018-08-31 2020-03-10 珠海格力电器股份有限公司 网页数据采集方法、装置、存储介质及电子设备
CN109165334A (zh) * 2018-09-20 2019-01-08 恒安嘉新（北京）科技股份公司 一种建立cdn厂家基础知识库的方法
CN109165334B (zh) * 2018-09-20 2022-05-27 恒安嘉新（北京）科技股份公司 一种建立cdn厂家基础知识库的方法
CN109361575A (zh) * 2018-12-20 2019-02-19 哈尔滨工业大学（威海） 一种获取分析dns流量数据的方法及其系统
CN110334056A (zh) * 2019-06-24 2019-10-15 广州探迹科技有限公司 一种基于对象存储的爬虫结果存储方法及装置
CN112257032B (zh) * 2019-10-21 2023-07-14 国家计算机网络与信息安全管理中心 一种确定app责任主体的方法及系统
CN112257032A (zh) * 2019-10-21 2021-01-22 国家计算机网络与信息安全管理中心 一种确定app责任主体的方法及系统
CN110912769A (zh) * 2019-11-12 2020-03-24 中移（杭州）信息技术有限公司 Cdn缓存命中率统计方法、系统、网络设备及存储介质
CN110912769B (zh) * 2019-11-12 2021-08-10 中移（杭州）信息技术有限公司 Cdn缓存命中率统计方法、系统、网络设备及存储介质
WO2021196446A1 (zh) * 2020-04-03 2021-10-07 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN111541793B (zh) * 2020-04-03 2021-10-22 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN111541793A (zh) * 2020-04-03 2020-08-14 北京市天元网络技术股份有限公司 内容分发网络调度过程分析方法、装置与电子设备
CN112491639A (zh) * 2020-09-29 2021-03-12 南京大学 一种基于域名解析的任播区域划分测量方法
CN112350892A (zh) * 2020-10-29 2021-02-09 中星科源(北京)信息技术有限公司 IPv4/IPv6网络检测方法及存储设备和处理设备
CN112883072A (zh) * 2021-03-10 2021-06-01 哈尔滨工业大学（威海） 基于网络服务商国别标注的域名国家可控性评估方法
CN113411377A (zh) * 2021-05-14 2021-09-17 郑州埃文计算机科技有限公司 一种基于大型内容网站dns解析的cdn场景判定方法
CN113411377B (zh) * 2021-05-14 2023-08-18 郑州埃文计算机科技有限公司 一种基于大型内容网站dns解析的cdn场景判定方法
CN115033769A (zh) * 2022-05-16 2022-09-09 深圳微言科技有限责任公司 一种页面数据抓取方法及装置

Similar Documents

Publication Publication Date Title
CN104038363A (zh) 一种对ccdn提供商信息进行采集及统计的方法
US10361931B2 (en) Methods and apparatus to identify an internet domain to which an encrypted network communication is targeted
CN101079768B (zh) 一种统计网页链接点击数据的方法
Adhikari et al. Vivisecting youtube: An active measurement study
JP5160556B2 (ja) 分散型コンピュータネットワークに基づくログファイル分析方法およびシステム
US20150365305A1 (en) Domain name system traffic analysis
CN109905288B (zh) 一种应用服务分类方法及装置
CN101729288B (zh) 一种统计互联网用户网络访问行为的方法和装置
CN102868773B (zh) 检测dns黑洞劫持的方法、装置及系统
CN102831114B (zh) 实现互联网用户访问情况统计分析的方法及装置
RU2702048C1 (ru) Способ анализа источника и адресата интернет-трафика
CN106790593B (zh) 一种页面处理方法和装置
CN104202418B (zh) 为内容提供商推荐商业的内容分发网络的方法和系统
JP2011215713A (ja) アクセス履歴情報収集システム、広告情報配信システム、アクセス履歴情報収集方法、広告情報配信方法、アクセス履歴情報収集装置および広告情報配信制御装置
Goel et al. Measuring what is not ours: a tale of party performance
CN103684856A (zh) 一种对视频网站基础设施测量分析的方法
Nguyen et al. Analyzing and visualizing web server access log file
CN109818821A (zh) 一种网站cdn架构的检测方法及装置
CN101808002A (zh) 基于报文分析的广告发布方法及其系统
RU2709647C9 (ru) Способ ассоциирования доменного имени с характеристикой посещения веб-сайта
Yin et al. Demystifying commercial content delivery networks in China
JP6170001B2 (ja) 通信サービス分類装置、方法及びプログラム
Shu-yue et al. The study on the preprocessing in web log mining
US10027774B2 (en) Information on navigation behavior of web page users
CN104363309A (zh) 泛域名识别、处理装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140910

WD01 Invention patent application deemed withdrawn after publication