CN110912769B - Cdn缓存命中率统计方法、系统、网络设备及存储介质 - Google Patents

Cdn缓存命中率统计方法、系统、网络设备及存储介质 Download PDF

Info

Publication number
CN110912769B
CN110912769B CN201911098700.8A CN201911098700A CN110912769B CN 110912769 B CN110912769 B CN 110912769B CN 201911098700 A CN201911098700 A CN 201911098700A CN 110912769 B CN110912769 B CN 110912769B
Authority
CN
China
Prior art keywords
cache hit
url address
cdn cache
cdn
response message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911098700.8A
Other languages
English (en)
Other versions
CN110912769A (zh
Inventor
苏翔
刘增增
周言
刘项
黄斐颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201911098700.8A priority Critical patent/CN110912769B/zh
Publication of CN110912769A publication Critical patent/CN110912769A/zh
Application granted granted Critical
Publication of CN110912769B publication Critical patent/CN110912769B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施方式涉及网络通信领域，公开了一种CDN缓存命中率统计方法，该方法包括：采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头；根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率。本发明实施方式还提供了一种CDN缓存命中率统计系统、网络设备及存储介质。本发明实施方式提供的CDN缓存命中率统计方法、系统、网络设备及存储介质，可以提高CDN缓存命中率统计的准确性。

Description

CDN缓存命中率统计方法、系统、网络设备及存储介质
技术领域
本发明涉及网络通信领域，特别涉及一种CDN缓存命中率统计方法、系统、网络设备及存储介质。
背景技术
内容分发网络(Content Delivery Network，简称CDN)的缓存命中率，是指用户访问网络资源节点时，命中CDN缓存的概率，是检测CDN网络质量的一个重要指标。
目前统计CDN缓存命中率时，一般采用日志分析的方法对CDN缓存命中率进行统计。然而，由于CDN节点众多，采用日志分析的方法是通过分析统计访问CDN节点过程来实现的，当业务复杂性较高或数据的量级较大时，采用日志分析的方法容易受到网络环境的影响，导致CDN缓存命中率统计结果的准确性较低。
发明内容
本发明实施方式的目的在于提供一种CDN缓存命中率统计方法、系统、网络设备及存储介质，可以提高CDN缓存命中率统计的准确性。
为解决上述技术问题，本发明的实施方式提供了一种CDN缓存命中率统计方法，包含以下步骤：采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头；根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率。
本发明的实施方式还提供了一种CDN缓存命中率统计系统，包含：网络平台，所述网络平台包括网络爬虫，所述网络平台用于：采用所述网络爬虫获取目标网站内所包含链接的HTTP响应消息头；根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率。
本发明的实施方式还提供了一种网络设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的CDN缓存命中率统计方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的CDN缓存命中率统计方法。
本发明实施方式相对于现有技术而言，采用网络爬虫获取目标网站链接的HTTP响应消息头，根据HTTP响应消息头来判断是否命中CDN缓存，由于是根据链接对应的响应结果来判断是否命中CDN缓存，因此不会受到网络环境的影响，避免了采用日志分析方法会受到网络环境的影响而统计不准确的缺陷，可以提高CDN缓存命中率统计的准确性；同时，采用网络爬虫来获取HTTP响应消息头，可以模拟用户访问的效果，有助于CDN缓存命中率的统计。
另外，所述根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果，包括：获取CDN服务商的缓存命中标记；判断所述HTTP响应消息头是否包含所述缓存命中标记；若所述HTTP响应消息头包含所述缓存命中标记，则根据所述缓存命中标记确定CDN缓存命中结果。
另外，所述采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头，包括：采用网络爬虫获取所述目标网站的静态资源的URL地址；采用所述网络爬虫对所述静态资源的URL地址进行访问，获取与所述URL地址对应的HTTP响应消息头。通过使网络爬虫对目标网站的静态资源的URL地址进行爬取，获取静态资源的URL地址对应的HTTP响应消息头来统计CDN缓存命中率，由于是只对静态资源统计CDN缓存命中率，因此可以减少服务端资源的消耗，提高CDN缓存命中率的统计效率。
另外，所述采用网络爬虫获取所述目标网站的静态资源的URL地址，包括：采用所述网络爬虫获取所述目标网站的URL地址；判断所述URL地址是否为源站的URL地址，若是，则判断所述URL地址是否为静态资源URL地址；若所述URL地址为静态资源的URL地址，则再执行所述采用所述网络爬虫对所述静态资源的URL地址进行访问的步骤。通过对目标网站的URL地址进行判断，只对源站的URL地址执行后续的统计步骤，排除了非源站的URL地址对CDN缓存命中率统计的影响，可以使目标网站的CDN缓存命中率统计更加准确。
另外，所述网络平台还用于：获取CDN服务商的缓存命中标记；判断所述HTTP响应消息头是否包含所述缓存命中标记；若所述HTTP响应消息头包含所述缓存命中标记，则根据所述缓存命中标记确定CDN缓存命中结果。
另外，所述网络平台还用于：采用所述网络爬虫获取所述目标网站的静态资源的URL地址；采用所述网络爬虫对所述静态资源的URL地址进行访问，获取与所述URL地址对应的HTTP响应消息头。
另外，所述网络平台还用于：采用所述网络爬虫获取所述目标网站的URL地址；判断所述URL地址是否为源站的URL地址，若是，则判断所述URL地址是否为静态资源URL地址；若所述URL地址为静态资源URL地址，则执行所述采用所述网络爬虫对所述静态资源的URL地址进行访问的步骤。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。
图1是本发明第一实施方式提供的CDN缓存命中率统计方法的流程示意图；
图2是本发明第一实施方式提供的CDN缓存命中率统计方法中S101细化步骤的流程示意图；
图3是本发明第一实施方式提供的CDN缓存命中率统计方法中S1011细化步骤的流程示意图；
图4是本发明第一实施方式提供的CDN缓存命中率统计方法中S102细化步骤的流程示意图；
图5是本发明第二实施方式提供的CDN缓存命中率系统的结构示意图；
图6是CDN缓存命中率统计系统框架的示意图；
图7是本发明第三实施方式提供的网络设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种CDN缓存命中率统计方法，通过采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头，根据HTTP响应消息头判断链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；再根据CDN缓存命中结果统计目标网站的CDN缓存命中率。由于是通过HTTP响应消息头来判断是否命中CDN缓存，是根据响应的结果来判断，因此不会受到网络环境的影响，从而提高CDN缓存命中率统计的准确性；同时，采用网络爬虫来获取HTTP响应消息头，可以模拟用户访问的效果，有助于CDN缓存命中率的统计，提高统计的效率。
应当说明的是，本发明实施方式的实施主体可以为服务端，其中，服务端可以通过独立的服务器或者多个服务器组成的服务器集群来实现，以下以服务端为例进行说明。
本发明实施方式提供的CDN缓存命中率统计方法的具体流程如图1所示，包括以下步骤：
S101：采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头。
其中，目标网站是指待分析CDN缓存命中率的网站，可以理解的是，目标网站可以为多个。目标网站可以在网络爬虫中进行设置，即设置对哪些网站进行爬取。HTTP是超文本传输协议(Hyper Text Transfer Protocol)的缩写，用于从万维网服务器传输超文本到本地浏览器的传送协议。HTTP响应消息由三个部分组成，分别是：HTTP状态行、HTTP响应消息头、HTTP响应正文。
具体地，服务端启用设置好爬取目标的网络爬虫，使网络爬虫获取目标网站的所包含的链接，将目标网站的所包含的链接作为网络爬虫的爬行疆域，使网络爬虫一一访问爬行疆域中的链接，并获取根据链接返回的HTTP响应消息头。
在一个具体的例子中，如图2所示，S101具体可以包括以下步骤：
S1011：采用网络爬虫获取目标网站的静态资源的URL地址。
S1012：采用网络爬虫对静态资源的URL地址进行访问，获取与URL地址对应的HTTP响应消息头。
由于CDN节点只缓存静态资源，因此，在设置网络爬虫时，可以设置网络爬虫只对目标网站的静态资源的URL地址进行爬取。其中，URL是统一资源定位符(Uniform ResourceLocator)的缩写。
具体地，服务端采用网络爬虫获取目标网站的静态资源的URL地址，将静态资源的URL地址作为网络爬虫的爬行疆域，再采用网络爬虫对这些静态资源的URL地址进行访问，获取与静态资源的URL地址对应的HTTP响应消息头。
通过使网络爬虫对目标网站的静态资源的URL地址进行爬取，获取静态资源的URL地址对应的HTTP响应消息头来统计CDN缓存命中率，由于是只对静态资源统计CDN缓存命中率，因此可以减少服务端资源的消耗，提高CDN缓存命中率的统计效率。
在一个具体的例子中，在S1011中，采用网络爬虫获取目标网站的静态资源的URL地址，如图3所示，具体可以包括：
S10111：采用网络爬虫获取目标网站的URL地址。
S10112：判断URL地址是否为源站的URL地址，若是，则判断URL地址为静态资源的URL地址。
S10113：若URL地址为静态资源URL地址，则执行采用网络爬虫对静态资源进行访问的步骤。
S10112中，源站是指目标网站自身，源站的URL地址是指目标网站自身的URL地址。可以理解的是，在目标网站所包含的链接中，有源站的URL地址也有非源站的URL地址，因此，对目标网站所包含的链接进行非源站URL地址的排除，可以使目标网站的CDN缓存命中率统计更加准确。可选地，在进行源站的URL地址的判断时，可以是将目标网站所包含的链接的域名与目标网站的域名进行匹配，若匹配成功，则判定为源站的URL地址；若匹配不成功，则判定为非源站的URL地址。
具体地，服务端采用网络爬虫获取目标网站的URL地址，对获取的URL地址进行判断，若判定为源站的URL地址，则再判断URL地址是否为静态资源的URL地址；若判定为非源站的URL地址，则结束该次流程，判断下一个待访问的URL地址是否为源站的URL地址；在判断URL地址是否为静态资源的URL地址时，若判定为静态资源的URL地址，则再执行S102；若判定为动态资源的URL地址，则结束该次流程，判断下一个待访问的URL地址是否为静态资源的URL地址。
通过对目标网站的URL地址进行判断，只对源站的URL地址执行后续的统计步骤，排除了非源站的URL地址对CDN缓存命中率统计的影响，可以使目标网站的CDN缓存命中率统计更加准确。
S102：根据HTTP响应消息头判断链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果。
具体地，服务端对HTTP响应消息头进行CDN解析，判断HTTP响应消息头对应的资源是否经过CDN缓存(即命中CDN缓存后返回)，得到CDN缓存命中结果。
由于CDN服务商一般都会在HTTP响应消息头中标记HTTP响应消息头对应的资源是否为CDN缓存的资源，即是否命中CDN缓存，因此，可以预先获取CDN服务商对HTTP响应消息相应的CDN缓存命中标记，再根据CDN缓存命中标记来判断是否命中CDN缓存。以下为一些CDN服务商在HTTP响应消息头对CDN缓存命中标记：
1)采用阿里云CDN服务的网站：
若：X-Cache:HIT TCP_MEM_HIT，则表示命中缓存；
若：X-Cache:MISS TCP_MISS，则表示未命中缓存；
2)采用腾讯云CDN服务的网站：
若：X-Cache-Lookup:Hit From MemCache，则表示命中CDN节点的内存；
若：X-Cache-Lookup:Hit From Disktank，则表示命中CDN节点的磁盘；
若：X-Cache-Lookup:Hit From Upstream，则表示没有命中CDN；
3)采用七牛云CDN服务的网站：
若：X-Via:1.1dxxz44:2(Cdn Cache Server V2.0),1.1ngdianxin42:6(CdnCacheServer V2.0)，则表示命中缓存。
在一个具体的例子中，如图4所示，S102具体可以包括以下步骤：
S1021：获取CDN服务商的缓存命中标记。
S1022：判断HTTP响应消息头是否包含缓存命中标记。
S1023：若HTTP响应消息头包含缓存命中标记，则根据缓存命中标记确定CDN缓存命中结果。
S1021中，如前所述，各个CDN服务端的缓存命中标记均会不同，服务端获取各个CDN服务商的缓存命中标记，并存储于服务端的数据库中。
具体地，服务端对获取的HTTP响应消息头的内容进行判断，判断HTTP响应消息头是否包含缓存命中标记。可选地，可以用正则表达式来判断HTTP响应消息头是否包含某一CDN服务商的缓存命中标记，若包含，再根据该标记来获取相应的CDN缓存命中结果；例如，若根据正则表达式的方法判断的结果为HTTP响应消息头中包含了“X-Cache:MISS TCP_MISS”，则可以获取根据“X-Cache:MISS TCP_MISS”，获取到相应的CDN缓存命中结果为“未命中缓存”；若HTTP响应消息头中不包含任一CDN服务商的缓存命中标记，则可以判定未命中缓存的CDN缓存命中结果。在判断HTTP响应消息头是否包含某一CDN服务商的缓存命中标记时，也可以采用其它匹配的方法来进行判断，这里不做具体限制。可选地，可以将缓存命中标记中对应的结果进行设置，将命中CDN缓存的结果设置为1，将未命中CDN缓存的结果设置为0，以方便CDN缓存命中结果的统计。
S103：根据CDN缓存命中结果统计目标网站的CDN缓存命中率。
具体地，服务端根据目标网站中所包含的链接的CDN缓存命中结果，统计出目标网站的CDN缓存命中率，CDN缓存命中率的计算方法可以根据实际需要进行设置，这里不做具体限定。例如，可以将命中CDN缓存的个数除以目标网站包含的链接个数得到。
与现有技术相比，本发明实施方式提供的CDN缓存命中率统计方法，采用网络爬虫获取目标网站链接的HTTP响应消息头，根据HTTP响应消息头来判断是否命中CDN缓存；由于根据链接对应的响应结果来判断是否命中CDN缓存，因此不会受到网络环境的影响，避免了采用日志分析方法会受到网络环境的影响而统计不准确的缺陷，可以提高CDN缓存命中率统计的准确性；同时，采用网络爬虫来获取HTTP响应消息头，可以模拟用户访问的效果，有助于CDN缓存命中率的统计。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种CDN缓存命中率统计系统，如图5所示，包括网络平台301，其中，网络平台301包括网络爬虫3011。应当说明的是，网络爬虫3011为网络爬虫引擎，网络平台301用于：
采用所述网络爬虫获取目标网站内所包含链接的HTTP响应消息头；
根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；
根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率。
可选地，网络平台301还可以包括CDN解析工具，还可以是通过服务器集群来实现CDN缓存命中率统计的并发处理能力。可选地，网络平台301可以采用B/S架构，使用WEB网页进行开发。其中，B/S架构是指浏览器(Browser)和服务器(Server)的架构。
请参考图6，其为CDN缓存命中率统计系统框架的示意图。具体地，用户通过控制台控制网络平台301的网络爬虫3011和CDN解析工具对数据库的数据进行分析，从而得到目标网站的CDN缓存命中率统计数据。
进一步地，网络平台301还用于：
获取CDN服务商的缓存命中标记；
判断所述HTTP响应消息头是否包含所述缓存命中标记；
若所述HTTP响应消息头包含所述缓存命中标记，则根据所述缓存命中标记确定CDN缓存命中结果。
进一步地，网络平台301还用于：
采用所述网络爬虫获取所述目标网站的静态资源的URL地址；
采用所述网络爬虫对所述静态资源的URL地址进行访问，获取与所述URL地址对应的HTTP响应消息头。
进一步地，网络平台301还用于：采用所述网络爬虫获取所述目标网站的URL地址；
判断所述URL地址是否为源站的URL地址，若是，则判断所述URL地址是否为静态资源URL地址；若所述URL地址为静态资源URL地址，则执行所述采用所述网络爬虫对所述静态资源的URL地址进行访问的步骤。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第三实施方式涉及一种网络设备，如图7所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的CDN缓存命中率统计方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种CDN缓存命中率统计方法，其特征在于，包括：
采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头；
根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；
根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率；
所述采用网络爬虫获取目标网站内所包含链接的HTTP响应消息头，包括：
采用网络爬虫获取所述目标网站的静态资源的URL地址；
采用所述网络爬虫对所述静态资源的URL地址进行访问，获取与所述URL地址对应的HTTP响应消息头。
2.根据权利要求1所述的CDN缓存命中率统计方法，其特征在于，所述根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果，包括：
获取CDN服务商的缓存命中标记；
判断所述HTTP响应消息头是否包含所述缓存命中标记；
若所述HTTP响应消息头包含所述缓存命中标记，则根据所述缓存命中标记确定CDN缓存命中结果。
3.根据权利要求1所述的CDN缓存命中率统计方法，其特征在于，所述采用网络爬虫获取所述目标网站的静态资源的URL地址，包括：
采用所述网络爬虫获取所述目标网站的URL地址；
判断所述URL地址是否为源站的URL地址，若是，则判断所述URL地址是否为静态资源URL地址；若所述URL地址为静态资源的URL地址，则再执行所述采用所述网络爬虫对所述静态资源的URL地址进行访问的步骤。
4.一种CDN缓存命中率统计系统，其特征在于，包括网络平台，所述网络平台包括网络爬虫，所述网络平台用于：
采用所述网络爬虫获取目标网站内所包含链接的HTTP响应消息头；
根据所述HTTP响应消息头判断所述链接对应的资源是否命中CDN缓存，得到CDN缓存命中结果；
根据所述CDN缓存命中结果统计所述目标网站的CDN缓存命中率；
所述网络平台还用于：
采用所述网络爬虫获取所述目标网站的静态资源的URL地址；
采用所述网络爬虫对所述静态资源的URL地址进行访问，获取与所述URL地址对应的HTTP响应消息头。
5.根据权利要求4所述的CDN缓存命中率统计系统，其特征在于，所述网络平台还用于：
获取CDN服务商的缓存命中标记；
判断所述HTTP响应消息头是否包含所述缓存命中标记；
若所述HTTP响应消息头包含所述缓存命中标记，则根据所述缓存命中标记确定CDN缓存命中结果。
6.根据权利要求4所述的CDN缓存命中率统计系统，其特征在于，所述网络平台还用于：
采用所述网络爬虫获取所述目标网站的URL地址；
判断所述URL地址是否为源站的URL地址，若是，则判断所述URL地址是否为静态资源URL地址；若所述URL地址为静态资源URL地址，则执行所述采用所述网络爬虫对所述静态资源的URL地址进行访问的步骤。
7.一种网络设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至3中任一项所述的CDN缓存命中率统计方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的CDN缓存命中率统计方法。
CN201911098700.8A 2019-11-12 2019-11-12 Cdn缓存命中率统计方法、系统、网络设备及存储介质 Active CN110912769B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911098700.8A CN110912769B (zh) 2019-11-12 2019-11-12 Cdn缓存命中率统计方法、系统、网络设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911098700.8A CN110912769B (zh) 2019-11-12 2019-11-12 Cdn缓存命中率统计方法、系统、网络设备及存储介质

Publications (2)

Publication Number Publication Date
CN110912769A CN110912769A (zh) 2020-03-24
CN110912769B true CN110912769B (zh) 2021-08-10

Family

ID=69817239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098700.8A Active CN110912769B (zh) 2019-11-12 2019-11-12 Cdn缓存命中率统计方法、系统、网络设备及存储介质

Country Status (1)

Country Link
CN (1) CN110912769B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112968980B (zh) * 2021-02-01 2023-04-18 恒安嘉新（北京）科技股份公司 一种概率确定方法、装置、存储介质及服务器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510195A (zh) * 2008-02-15 2009-08-19 刘峰 基于爬虫技术的网站安全防护与测试诊断系统构造方法
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN106331108A (zh) * 2016-08-25 2017-01-11 北京量科邦信息技术有限公司 一种突破ip限制的爬虫实现方法及系统
CN107465707A (zh) * 2016-06-03 2017-12-12 阿里巴巴集团控股有限公司 一种内容分发网络的内容刷新方法及装置
CN108073693A (zh) * 2017-12-07 2018-05-25 国家计算机网络与信息安全管理中心 一种基于Hadoop的分布式网络爬虫系统
CN108259198A (zh) * 2016-12-28 2018-07-06 中国移动通信集团辽宁有限公司 一种域名缓存命中率的预判方法、装置及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848137B (zh) * 2009-03-26 2012-11-21 北京快网科技有限公司 一种应用于三层网络的负载均衡方法和系统
CN102262635A (zh) * 2010-05-25 2011-11-30 北京启明星辰信息技术股份有限公司 一种网页爬虫系统及方法
CN103064932A (zh) * 2012-12-24 2013-04-24 乐视网信息技术（北京）股份有限公司 一种静态化页面的处理系统和方法
CN104714965B (zh) * 2013-12-16 2019-10-18 阿里巴巴集团控股有限公司 静态资源去重方法、静态资源管理方法及装置
US9648126B2 (en) * 2014-04-25 2017-05-09 Nec Corporation Efficient caching in content delivery networks based on popularity predictions
CN104168317B (zh) * 2014-08-12 2018-01-19 华为技术有限公司 缓存内容命中方法和通信系统
US11709833B2 (en) * 2016-06-24 2023-07-25 Dremio Corporation Self-service data platform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510195A (zh) * 2008-02-15 2009-08-19 刘峰 基于爬虫技术的网站安全防护与测试诊断系统构造方法
CN104038363A (zh) * 2013-10-24 2014-09-10 南京汇吉递特网络科技有限公司 一种对ccdn提供商信息进行采集及统计的方法
CN107465707A (zh) * 2016-06-03 2017-12-12 阿里巴巴集团控股有限公司 一种内容分发网络的内容刷新方法及装置
CN106331108A (zh) * 2016-08-25 2017-01-11 北京量科邦信息技术有限公司 一种突破ip限制的爬虫实现方法及系统
CN108259198A (zh) * 2016-12-28 2018-07-06 中国移动通信集团辽宁有限公司 一种域名缓存命中率的预判方法、装置及设备
CN108073693A (zh) * 2017-12-07 2018-05-25 国家计算机网络与信息安全管理中心 一种基于Hadoop的分布式网络爬虫系统

Also Published As

Publication number Publication date
CN110912769A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN101287013B (zh) 一种更新Web页面的方法和Web代理设备
CN103067214B (zh) 用于测试网站性能的方法、客户端、服务器和系统
CN104881603B (zh) 网页重定向漏洞检测方法及装置
CN103780714B (zh) 一种dns服务器的探测方法及装置
US20080114773A1 (en) Apparatus and method for prefetching web page
CN106656666B (zh) 一种获取网页首屏时间的方法及装置
JP5897118B2 (ja) データ報告方法およびデータ報告デバイス
CN102752288A (zh) 网络访问行为识别方法和装置
US10469560B1 (en) Reduced latency for subresource transfer
US20170103140A1 (en) Device and method for optimizing web page
CN112954089B (zh) 一种解析数据的方法、装置、设备以及存储介质
CN107835132B (zh) 一种流量来源跟踪的方法及装置
WO2020037753A1 (zh) 日志打印方法及系统、服务器
US11064052B2 (en) Page insertion method and device
CN109586942A (zh) 网站性能评定方法及装置
CN110912769B (zh) Cdn缓存命中率统计方法、系统、网络设备及存储介质
WO2017020597A1 (zh) 一种资源缓存方法及装置
CN105930385A (zh) 一种数据爬取方法及系统
CA3150383A1 (en) WEB ACCELERATION BY LEARNING
CN112398796B (zh) 一种信息处理方法、装置、设备及计算机可读存储介质
CN102918527B (zh) Web应用托管的调查方法和系统
US20160344838A1 (en) Caching of tracking elements in network content
CN109344349A (zh) 一种数据缓存方法及装置、电子设备
CN106533819B (zh) 线上服务的错误监控方法、装置和系统
CN114465919A (zh) 一种网络服务测试方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant