CN105827454A - 一种构造拓扑状cdn网络模型的方法及系统 - Google Patents

一种构造拓扑状cdn网络模型的方法及系统 Download PDF

Info

Publication number
CN105827454A
CN105827454A CN201610267036.5A CN201610267036A CN105827454A CN 105827454 A CN105827454 A CN 105827454A CN 201610267036 A CN201610267036 A CN 201610267036A CN 105827454 A CN105827454 A CN 105827454A
Authority
CN
China
Prior art keywords
user
server
cdn
request
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610267036.5A
Other languages
English (en)
Inventor
李奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610267036.5A priority Critical patent/CN105827454A/zh
Publication of CN105827454A publication Critical patent/CN105827454A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开属于互联网技术领域，提供了一种构造拓扑状CDN网络模型的方法及系统。该方法包括：从多个节点服务器中获取多份CDN日志文件；从每份所述CDN日志文件中提取至少一组字段；对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的客户访问流量。本公开通过对多个服务器中获取的多份CDN日志文件中的字段进行提取，根据字段中用户IP和服务器IP进行连接关系分析，构建用户与服务器之间的请求连接关系，从而得到网络节点服务器在某个时间点的客户访问量。

Description

一种构造拓扑状CDN网络模型的方法及系统
技术领域
本公开属于互联网技术领域，尤其涉及一种构造拓扑状CDN网络模型的方法及系统。
背景技术
CDN的全称是ContentDeliveryNetwork，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
现有技术是通过表格形式展现CDN节点服务器之间的关系，表格展现形式如下：
从上述表格可以看出，表格体现出该节点服务器在何时访问过周围其他节点服务器的信息。表格形式的缺点在于：a、无法获知某个时间点上某个CDN网络节点服务器的客户访问量，无法实现调度；b、CDN网络在分发内容时，无法避开压力比较大的CDN网络节点服务器；c、无法直观体现CDN网络节点服务器之间的连接关系；d、无法知道CDN网络节点服务器之间的访问关系。
发明内容
本公开的目的是提供一种构造拓扑状CDN网络模型的方法及系统，通过对多份CDN日志文件中用户IP和服务器IP进行连接关系分析，构建用户与服务器之间的请求连接关系，从而得到网络节点服务器在某个时间点的客户访问流量，便于实现实时调度。
根据本公开的一个方面，提供了一种构造拓扑状CDN网络模型的方法，包括：
从多个节点服务器中获取多份CDN日志文件；
从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
进一步的，所述用户组信息为客户ID及域名。
进一步的，多个用户IP属于同一用户组信息。
进一步的，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
根据本公开的另一方面，提供了一种构造拓扑状CDN网络模型的系统，其中，包括：
日志文件获取单元，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元，用于对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
计算单元，基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
进一步的，所述用户组信息为客户ID及域名。
进一步的，多个用户IP属于同一用户组信息。
进一步的，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
本公开通过对多个服务器中获取的多份CDN日志文件中的字段进行提取，根据字段中用户IP和服务器IP进行连接关系分析，构建用户与服务器之间的请求连接关系，从而得到网络节点服务器在某个时间点的客户访问量，便于实现实时调度。
附图说明
图1是根据本公开第一实施方式提供的一种构造拓扑状CDN网络模型的方法流程图；
图2是根据本公开实施例提供的拓扑连接关系示意图；
图3是根据本公开第二实施方式提供的一种构造拓扑状CDN网络模型的系统示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本公开进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
本公开的方案是基于CDN网络提出的。CDN网络的基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度。
CDN网络模型包括三层：边缘节点、中际节点和源节点；边缘节点、中际节点和源节点都是服务器。
本方案为了统计CDN网络各节点服务器某个时间点的的客户访问量，便于网络调度，从而提高网络数据传输的速度及稳定性。
如图1所示，为本公开提供的一种构造拓扑状CDN网络模型的方法，包括：
S1、从多个节点服务器中获取多份CDN日志文件；
S2、从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
S3、对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
S4、基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
其中，所述用户组信息为客户ID及域名。
其中，多个用户IP属于同一用户组信息。
其中，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
CDN网络模型包括三层：边缘节点、中际节点和源节点；边缘节点、中际节点和源节点都是服务器。
例如，用户A访问CDN边缘节点A、CDN中际节点A、CDN源节点A；用户B访问CDN边缘节点B、CDN中际节点B、CDN源节点B；
通过拓扑图，即可建立如图2所示连接关系。
基于用户IP、服务器IP地址，可以创建二者之间的连接访问关系；基于每个节点的访问次数(链接)，可知该节点的访问量。
基于访问次数和文件大小，可知该节点的访问压力。例如，当节点C的访问请求次数为2，文件大小分别为1M，则节点C的访问压力为2M；当节点D的访问请求次数为1，所请求的文件大小为3M时，则节点D的访问压力为3M，此时并不能表明节点C的访问压力大于节点D的访问压力。故，在分析某节点的访问压力时，要进行综合考量。
文件是否命中能够知道是否回源，侧面反映该分发的文件未分发到响应的边缘节点；通过命中次数，可知内容的分发是否合理；文件未命中即表明源节点未将该分发的文件分发到响应的源节点上。
通过文件大小，可知某个客户的用户所请求文件占用的带宽；基于文件名称调取用户所请求的目标文件；通过响应时间、文件大小和访问请求数量侧面反映CDN网络质量。
本公开能够获知某个时间点上某个CDN网络节点服务器的客户访问量，当超过预定的访问量时，表明该节点不能再接收新的访问请求了，若接收新的访问请求则很可能会发生丢失。
本公开的方法能够获知某个CDN网络节点服务器上在某个时间点的客户访问量，方便进行调度；其次，能够直观体现CDN网络节点服务器之间的连接关系；再次能够获知CDN网络节点服务器之间的访问关系。
另外，本公开还提供了一种构造拓扑状CDN网络模型的系统，如图3所示，包括：
日志文件获取单元1，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元2，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元3，用于对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
计算单元4，基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
其中，所述用户组信息为客户ID及域名。
其中，多个用户IP属于同一用户组信息。
其中，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
本公开通过对多个服务器中获取的多份CDN日志文件中的字段进行提取，根据字段中用户IP和服务器IP进行连接关系分析，构建用户与服务器之间的请求连接关系，从而得到网络节点服务器在某个时间点的客户访问量，便于实现实时调度。
应当理解的是，本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理，而不构成对本公开的限制。因此，在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。此外，本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种构造拓扑状CDN网络模型的方法，其中，包括：
从多个节点服务器中获取多份CDN日志文件；
从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
2.根据权利要求1所述的方法，其中，所述用户组信息为客户ID及域名。
3.根据权利要求1所述的方法，其中，多个用户IP属于同一用户组信息。
4.根据权利要求1至3任一项所述的方法，其中，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
5.一种构造拓扑状CDN网络模型的系统，其中，包括：
日志文件获取单元，用于从多个节点服务器中获取多份CDN日志文件；
字段提取单元，从每份所述CDN日志文件中提取至少一组字段，所述每组字段包括用户IP、服务器IP、用户组信息、文件名称、用户请求文件的路径、请求文件大小、响应时间和请求命中次数；
连接关系分析单元，用于对所述每组字段中的用户IP和服务器IP进行连接关系分析，再基于用户IP、用户组信息以构建一组用户与服务器之间的请求连接关系；
计算单元，基于多组用户与服务器之间的请求连接关系，得到任一网络节点服务器在某个时间的的客户访问流量。
6.根据权利要求5所述的系统，其中，所述用户组信息为客户ID及域名。
7.根据权利要求5所述的方法，其中，多个用户IP属于同一用户组信息。
8.根据权利要求5至8任一项所述的系统，其中，所述访问流量通过多组用户请求命中次数及对应请求文件大小计算获得。
CN201610267036.5A 2016-04-26 2016-04-26 一种构造拓扑状cdn网络模型的方法及系统 Pending CN105827454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610267036.5A CN105827454A (zh) 2016-04-26 2016-04-26 一种构造拓扑状cdn网络模型的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610267036.5A CN105827454A (zh) 2016-04-26 2016-04-26 一种构造拓扑状cdn网络模型的方法及系统

Publications (1)

Publication Number Publication Date
CN105827454A true CN105827454A (zh) 2016-08-03

Family

ID=56527493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610267036.5A Pending CN105827454A (zh) 2016-04-26 2016-04-26 一种构造拓扑状cdn网络模型的方法及系统

Country Status (1)

Country Link
CN (1) CN105827454A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107165768A (zh) * 2017-07-19 2017-09-15 安徽云融信息技术有限公司 一种能源回收利用系统
CN107707414A (zh) * 2017-11-22 2018-02-16 北京搜狐新媒体信息技术有限公司 Cdn网络的监控系统及方法
CN108234210A (zh) * 2017-12-29 2018-06-29 北京奇虎科技有限公司 一种内容分发网络的日志处理方法和装置
CN113904921A (zh) * 2021-10-21 2022-01-07 上海观安信息技术股份有限公司 基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060143293A1 (en) * 2001-06-06 2006-06-29 Akamai Technologies, Inc. Content delivery network map generation using passive measurement data
CN103188104A (zh) * 2011-12-31 2013-07-03 中国移动通信集团浙江有限公司 一种用户行为分析的方法及装置
CN103747042A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种信息获取方法和装置
CN103746830A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn服务器信息获取方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060143293A1 (en) * 2001-06-06 2006-06-29 Akamai Technologies, Inc. Content delivery network map generation using passive measurement data
CN103188104A (zh) * 2011-12-31 2013-07-03 中国移动通信集团浙江有限公司 一种用户行为分析的方法及装置
CN103747042A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种信息获取方法和装置
CN103746830A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn服务器信息获取方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107165768A (zh) * 2017-07-19 2017-09-15 安徽云融信息技术有限公司 一种能源回收利用系统
CN107707414A (zh) * 2017-11-22 2018-02-16 北京搜狐新媒体信息技术有限公司 Cdn网络的监控系统及方法
CN108234210A (zh) * 2017-12-29 2018-06-29 北京奇虎科技有限公司 一种内容分发网络的日志处理方法和装置
CN113904921A (zh) * 2021-10-21 2022-01-07 上海观安信息技术股份有限公司 基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质
CN113904921B (zh) * 2021-10-21 2024-04-30 上海观安信息技术股份有限公司 基于日志和图的动态网络拓扑图生成方法、系统、处理设备、存储介质

Similar Documents

Publication Publication Date Title
US10505814B2 (en) Centralized resource usage visualization service for large-scale network topologies
CN106899680B (zh) 多区块链的分片处理方法和装置
US20190123970A1 (en) Traffic pattern detection and presentation in container-based cloud computing architecture
CN106031130B (zh) 具有边缘代理的内容传送网络架构
US9647904B2 (en) Customer-directed networking limits in distributed systems
CN103825975B (zh) Cdn节点分配服务器及系统
Hoßfeld et al. Characterization of BitTorrent swarms and their distribution in the Internet
JP2018088293A (ja) 単一テナント及び複数テナント環境を提供するデータベースシステム
CN106027272A (zh) 一种cdn节点服务器流量时间推演方法及系统
Wang et al. Migration towards cloud-assisted live media streaming
CN105827454A (zh) 一种构造拓扑状cdn网络模型的方法及系统
CN105450780A (zh) 一种cdn系统及其回源方法
CN110430274A (zh) 一种基于云存储的文件下载方法及系统
JP2016541183A (ja) 分散システムにおける顧客志向ネットワークの限界
Ahmed et al. Peering vs. transit: Performance comparison of peering and transit interconnections
CN103414608B (zh) 快速的web流量采集统计系统和方法
CN107819891A (zh) 数据处理方法、装置、计算机设备和存储介质
CN103338252A (zh) 一种分布式数据库并发存储虚拟请求机制
CN104579777A (zh) 日志管理系统和实现方法
CN114090244A (zh) 一种服务编排方法、装置、系统及存储介质
CN107211035A (zh) 用于在内容递送网络中监测服务的方法和网络节点
CN105791370B (zh) 一种数据处理方法及相关服务器
CN104202418B (zh) 为内容提供商推荐商业的内容分发网络的方法和系统
CN106027408A (zh) 一种cdn网络模型节点服务器访问压力检测方法及系统
CN104852964A (zh) 一种多功能服务器调度方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication