CN106027408A - 一种cdn网络模型节点服务器访问压力检测方法及系统 - Google Patents

一种cdn网络模型节点服务器访问压力检测方法及系统 Download PDF

Info

Publication number
CN106027408A
CN106027408A CN201610266869.XA CN201610266869A CN106027408A CN 106027408 A CN106027408 A CN 106027408A CN 201610266869 A CN201610266869 A CN 201610266869A CN 106027408 A CN106027408 A CN 106027408A
Authority
CN
China
Prior art keywords
node server
cdn
user
virtual data
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610266869.XA
Other languages
English (en)
Inventor
李奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610266869.XA priority Critical patent/CN106027408A/zh
Publication of CN106027408A publication Critical patent/CN106027408A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/122—Avoiding congestion; Recovering from congestion by diverting traffic away from congested entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1025—Dynamic adaptation of the criteria on which the server selection is based

Abstract

本公开属于互联网技术领域，提供了一种CDN网络模型节点服务器访问压力检测方法及系统。该方法包括：建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。本方案通过对虚拟数据进行分析，改变其存储格式，然后将符合格式的虚拟数据映射到CDN网络模型中，实现对CDN网络节点服务器的访问压力进行分析，便于实现实时调度；从而避免网络堵塞，提高网络访问速度。

Description

一种CDN网络模型节点服务器访问压力检测方法及系统
技术领域
本公开属于互联网技术领域，尤其涉及一种CDN网络模型节点服务器访问压力检测方法及系统。
背景技术
CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
现有技术是通过表格形式展现CDN节点之间的关系，表格展现形式如下：
从上述表格可以看出，表格体现出该节点服务器在何时访问过周围其他节点的信息。表格形式的缺点在于：无法获知某个时间点上某个CDN网络节点服务器的的访问压力，容易造成节点服务器无法提供服务，造成网络拥挤。
发明内容
本公开的目的是提供一种CDN网络模型节点服务器访问压力检测方法及系统，用于对CDN网络节点服务器的访问压力进行分析，便于实现实时调度。
根据本公开的一个方面，提供了一种CDN网络模型节点服务器访问压力检测方法，包括：
建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
基于所述CDN网络模型，分析某个节点服务器上在某个时间点的访问压力。
进一步的，所述构建所述CDN网络模型的方法为：
从多个节点服务器中获取多份CDN日志文件；
从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
进一步的，多个用户IP属于同一用户组信息。
进一步的，所述用户组信息为客户ID及域名。
进一步的，方法还包括：
判断所述节点服务器访问压力是否大于预设值，若是，则执行下一步骤；
该节点服务器无法继续提供服务。
根据本公开的另一个方面，还提供了一种CDN网络模型节点服务器访问压力检测系统，包括：
数据建立单元，用于建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
解读单元，用于将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
映射单元，用于将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
分析单元，用于基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。
进一步的，所述构建所述CDN网络模型的系统为：
日志文件获取单元，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元，用于对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
计算单元，基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
进一步的，多个用户IP属于同一用户组信息。
进一步的，所述用户组信息为客户ID及域名。
进一步的，系统还包括：比较单元和结果获取单元；
比较单元用于判断所述节点服务器访问压力是否大于预设值；结果获取单元响应于当节点服务器访问压力大于预设值时，确定该节点服务器无法继续提供服务。
本方案通过对虚拟数据进行分析，改变其存储格式，然后将符合格式的虚拟数据映射到CDN网络模型中，实现对CDN网络节点服务器的访问压力进行分析，便于实现实时调度；从而避免网络堵塞，提高网络访问速度。
附图说明
图1是根据本公开第一实施方式提供的一种CDN网络模型节点服务器访问压力检测方法流程图；
图2是根据本公开提供的构建所述CDN网络模型的方法流程图；
图3是根据本公开第二实施方式提供的一种CDN网络模型节点服务器访问压力检测方法流程图；
图4是根据本公开第三实施方式提供的一种CDN网络模型节点服务器访问压力检测系统示意图；
图5是根据本公开提供的构建所述CDN网络模型的系统示意图；
图6是根据本公开第四实施方式提供的一种CDN网络模型节点服务器访问压力检测系统示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本公开进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
本公开的方案是基于CDN网络提出的。CDN网络的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
CDN网络模型包括三层：边缘节点、中际节点和源节点；边缘节点、中际节点和源节点都是服务器。
本方案为了分析CDN网络各节点服务器某个时间点的访问压力，便于网络调度，从而提高网络数据传输的速度及稳定性。
如图1所示，为本公开实施例一提供的一种CDN网络模型节点服务器访问压力检测方法，包括：
S1、建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
S2、将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
S3、将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
S4、基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。
上述方法中，如图2所示，所述构建所述CDN网络模型的方法为：
S21、从多个节点服务器中获取多份CDN日志文件；
S22、从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
S23、对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
S24、基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
上述方法中，多个用户IP属于同一用户组信息。
上述方法中，所述用户组信息为客户ID及域名。
作为本公开方法实施例二，如图3所示，上述方法还包括：
S5、判断所述节点服务器访问压力是否大于预设值，若是，则执行下一步骤；
S6、该节点服务器无法继续提供服务。
其它步骤同实施例1方法相同，不再累述。
上述方法中，基于用户IP、节点服务器IP地址，可以创建二者之间的连接访问关系；所述CDN网络模型用于根据二者之间的连接访问关系，得到任一网络节点服务器在某个时间的的客户访问量。
网络节点服务器在某个时间的的客户访问量基于每个节点服务器的访问次数及每次访问文件大小来确定。基于访问次数和访问时间，能够推演CDN节点服务器的访问变化。
本公开通过仿真出来的多组虚拟数据，模拟数据流转，这样能够在数据规模比较大的情况下，判断哪些节点服务器在什么规模下承受不住压力。
本方案通过对虚拟数据进行分析，改变其存储格式，然后将符合格式的虚拟数据映射到CDN网络模型中，实现对CDN网络节点服务器的访问压力进行分析，便于实现实时调度；从而避免网络堵塞，提高网络访问速度。
作为本公开实施例三，如图4所示，还提供了一种CDN网络模型节点服务器访问压力检测系统，包括：
数据建立单1，用于建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
解读单元2，用于将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
映射单元3，用于将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
分析单元4，用于基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。
上述系统中，如图5所示，所述构建CDN网络模型的系统为：
日志文件获取单元21，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元22，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元23，用于对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
计算单元24，基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
上述系统中，多个用户IP属于同一用户组信息。
上述系统中，所述用户组信息为客户ID及域名。
作为本公开实施例四，如图6所示，还提供了一种CDN网络模型节点服务器访问压力检测系统还包括：比较单元5和结果获取单元6；
比较单元用于判断所述节点服务器访问压力是否大于预设值；结果获取单元响应于当节点服务器访问压力大于预设值时，确定该节点服务器无法继续提供服务。
其它部分结构同实施例三系统相同，不再累述。
本方案通过对虚拟数据进行分析，改变其存储格式，然后将符合格式的虚拟数据映射到CDN网络模型中，实现对CDN网络节点服务器的访问压力进行分析，便于实现实时调度；从而避免网络堵塞，提高网络访问速度。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种CDN网络模型节点服务器访问压力检测方法，其中，包括：
建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。
2.根据权利要求1所述的方法，其中，所述构建所述CDN网络模型的方法为：
从多个节点服务器中获取多份CDN日志文件；
从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
3.根据权利要求2所述的方法，其中，多个用户IP属于同一用户组信息。
4.根据权利要求1所述的方法，其中，所述用户组信息为客户ID及域名。
5.根据权利要求1所述的方法，其中，还包括：
判断所述节点服务器访问压力是否大于预设值，若是，则执行下一步骤；
该节点服务器无法继续提供服务。
6.一种CDN网络模型节点服务器访问压力检测系统，其中，包括：
数据建立单元，用于建立多组虚拟数据，所述每组虚拟数据包括用户IP、节点服务器IP、用户组信息、请求次数和访问时间；
解读单元，用于将所述多组虚拟数据进行解读分析，得到符合存储格式的多组虚拟数据；
映射单元，用于将所述符合存储格式的多组虚拟数据，映射到CDN网络模型中；
分析单元，用于基于所述CDN网络模型，分析某个节点服务器在某个时间点的访问压力。
7.根据权利要求6所述的系统，其中，所述构建所述CDN网络模型的系统为：
日志文件获取单元，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、节点服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元，用于对所述每组字段中的用户IP和节点服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与节点服务器之间的请求连接关系；
计算单元，基于多组用户与节点服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
8.根据权利要求7所述的系统，其中，多个用户IP属于同一用户组信息。
9.根据权利要求6所述的系统，其中，所述用户组信息为客户ID及域名。
10.根据权利要求6所述的系统，其中，还包括：比较单元和结果获取单元；
比较单元用于判断所述节点服务器访问压力是否大于预设值；结果获取单元响应于当节点服务器访问压力大于预设值时，确定该节点服务器无法继续提供服务。
CN201610266869.XA 2016-04-26 2016-04-26 一种cdn网络模型节点服务器访问压力检测方法及系统 Pending CN106027408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610266869.XA CN106027408A (zh) 2016-04-26 2016-04-26 一种cdn网络模型节点服务器访问压力检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610266869.XA CN106027408A (zh) 2016-04-26 2016-04-26 一种cdn网络模型节点服务器访问压力检测方法及系统

Publications (1)

Publication Number Publication Date
CN106027408A true CN106027408A (zh) 2016-10-12

Family

ID=57082015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610266869.XA Pending CN106027408A (zh) 2016-04-26 2016-04-26 一种cdn网络模型节点服务器访问压力检测方法及系统

Country Status (1)

Country Link
CN (1) CN106027408A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450974A (zh) * 2017-08-15 2017-12-08 北京云端智度科技有限公司 一种cdn系统内任务执行管理的方法
CN107707414A (zh) * 2017-11-22 2018-02-16 北京搜狐新媒体信息技术有限公司 Cdn网络的监控系统及方法
CN110098978A (zh) * 2019-04-12 2019-08-06 网宿科技股份有限公司 一种dns调度的测试方法、装置及网络设备
CN111200649A (zh) * 2019-12-30 2020-05-26 北京知道创宇信息技术股份有限公司 一种调度方法及装置、调度模型生成方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072122A (zh) * 2007-03-30 2007-11-14 腾讯科技（深圳）有限公司 获取访问量统计数据的方法、系统和用户端设备
CN101635686A (zh) * 2009-08-19 2010-01-27 中兴通讯股份有限公司 资源管理方法
US8117276B1 (en) * 2011-08-16 2012-02-14 Edgecast Networks, Inc. Systems and methods for invoking commands across a federation
CN102801792A (zh) * 2012-07-26 2012-11-28 华南理工大学 基于统计预测的云cdn资源自动部署方法
CN103873497A (zh) * 2012-12-11 2014-06-18 中国电信股份有限公司 用于调度信息的方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072122A (zh) * 2007-03-30 2007-11-14 腾讯科技（深圳）有限公司 获取访问量统计数据的方法、系统和用户端设备
CN101635686A (zh) * 2009-08-19 2010-01-27 中兴通讯股份有限公司 资源管理方法
US8117276B1 (en) * 2011-08-16 2012-02-14 Edgecast Networks, Inc. Systems and methods for invoking commands across a federation
CN102801792A (zh) * 2012-07-26 2012-11-28 华南理工大学 基于统计预测的云cdn资源自动部署方法
CN103873497A (zh) * 2012-12-11 2014-06-18 中国电信股份有限公司 用于调度信息的方法、装置和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450974A (zh) * 2017-08-15 2017-12-08 北京云端智度科技有限公司 一种cdn系统内任务执行管理的方法
CN107707414A (zh) * 2017-11-22 2018-02-16 北京搜狐新媒体信息技术有限公司 Cdn网络的监控系统及方法
CN110098978A (zh) * 2019-04-12 2019-08-06 网宿科技股份有限公司 一种dns调度的测试方法、装置及网络设备
CN110098978B (zh) * 2019-04-12 2021-02-26 网宿科技股份有限公司 一种dns调度的测试方法、装置、网络设备及存储介质
CN111200649A (zh) * 2019-12-30 2020-05-26 北京知道创宇信息技术股份有限公司 一种调度方法及装置、调度模型生成方法及装置

Similar Documents

Publication Publication Date Title
CN103428267B (zh) 一种智慧缓存系统及其区分用户喜好相关性的方法
CN102932451B (zh) 一种针对内容分发网络的解决系统
CN106713332A (zh) 网络数据的处理方法、装置和系统
CN103685583B (zh) 一种域名解析的方法和系统
CN106027408A (zh) 一种cdn网络模型节点服务器访问压力检测方法及系统
CN107818150A (zh) 一种日志审计方法及装置
CN106027272A (zh) 一种cdn节点服务器流量时间推演方法及系统
CN107453900B (zh) 一种云解析参数设定管理系统及实现参数设定的方法
CN104410691A (zh) 一种基于内容分发网络的网站加速方法及系统
CN106537384A (zh) 使用指示用户位置的数据的逆向ip数据库
CN106776693A (zh) 一种网站数据采集方法及装置
CN105794175B (zh) 输送web内容的系统的性能度量
CN109905288A (zh) 一种应用服务分类方法及装置
CN105516981A (zh) 智慧WiFi认证系统
CN103414608A (zh) 快速的web流量采集统计系统和方法
CN108900581A (zh) 一种大型网站的关键特征知识库的建立方法
CN106779481A (zh) 一种基于互联网的企业商务管理信息综合服务系统
CN104320488A (zh) 代理服务器系统及代理服务方法
CN104202418B (zh) 为内容提供商推荐商业的内容分发网络的方法和系统
Jovanović et al. VirtualMeshLab: Virtual laboratory for teaching wireless mesh network
CN107920121A (zh) 一种基于互联网的体育测试方法
EP3096492A1 (en) Page push method, device, server and system
CN105827454A (zh) 一种构造拓扑状cdn网络模型的方法及系统
CN107948015B (zh) 一种服务质量分析方法、装置及网络系统
Kapranov Conceptual metaphors associated with climate change in corporate reports in the fossil fuels market: Two perspectives from the United States and Australia

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012

WD01 Invention patent application deemed withdrawn after publication