CN109067898A - 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法 - Google Patents

一种通过文件散列分布降低内容分发网络边缘节点回源率的方法 Download PDF

Info

Publication number
CN109067898A
CN109067898A CN201810972968.9A CN201810972968A CN109067898A CN 109067898 A CN109067898 A CN 109067898A CN 201810972968 A CN201810972968 A CN 201810972968A CN 109067898 A CN109067898 A CN 109067898A
Authority
CN
China
Prior art keywords
file
server
cache
fringe node
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810972968.9A
Other languages
English (en)
Inventor
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Business System Co Ltd
Original Assignee
Shandong Inspur Business System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Business System Co Ltd filed Critical Shandong Inspur Business System Co Ltd
Priority to CN201810972968.9A priority Critical patent/CN109067898A/zh
Publication of CN109067898A publication Critical patent/CN109067898A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种通过文件散列分布降低内容分发网络边缘节点回源率的方法，属于计算机技术领域。本发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法，边缘节点缓存服务器联入多台服务器组成集群，建立调度服务器，调度服务器根据用于定位文件的参数获取散列值，调度服务器将散列值对缓存服务器的总数量取模，得余数为客户端请求文件所在的缓存服务器编号，判断该缓存服务器是否在线，若在线，将客户端的请求重定向到该缓存服务器，若不在线，重新对请求文件的散列值取模定位。该发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法不需要使用索引字典，并能提高缓存文件的有效存储，具有很好的推广应用价值。

Description

一种通过文件散列分布降低内容分发网络边缘节点回源率的 方法
技术领域
本发明涉及计算机技术领域，具体提供一种通过文件散列分布降低内容分发网络边缘节点回源率的方法。
背景技术
对常见内容分发网络(CDN即Content Delivery Network)来说，通常会有以下几个特点：边缘节点用户量大、访问宽带高；中心源站到边缘节点的骨干宽带有限；中心源站会保存全量的资源，而边缘节点因硬件有限无法保存所有资源。由于边缘节点的存储空间有限，所以只会保存一些热门的资源。边缘节点的缓存服务器缓存越多的内容，就越容易命中客户端的文件下载请求，从而降低了从中心源站会源的可能性。在不扩容边缘节点缓存服务器存储的前提下，使缓存服务器尽可能多的缓存热门文件，最佳的办法就是让缓存服务器集群中的每个服务器都缓存不同的文件，避免缓存重复的文件。避免重复的办法通常是建立庞大的索引字典，使调度服务器确定文件在哪个缓存服务器中。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能不需要使用索引字典，并能提高缓存文件的有效存储的通过文件散列分布降低内容分发网络边缘节点回源率的方法。
为实现上述目的，本发明提供了如下技术方案：
一种通过文件散列分布降低内容分发网络边缘节点回源率的方法，边缘节点缓存服务器联入多台服务器组成集群，建立调度服务器，客户端的请求都经过调度服务器，调度服务器根据用于定位文件的参数获取散列值，调度服务器将散列值对缓存服务器的总数量取模，得余数为客户端请求文件所在的缓存服务器编号，判断该缓存服务器是否在线，若在线，将客户端的请求重定向到该缓存服务器，若不在线，重新对请求文件的散列值取模定位，取模所得余数为所要用的缓存服务器，调度服务器将客户端的请求重定向到该缓存服务器，缓存服务器为客户端提供下载服务。
所述通过文件散列分布降低内容分发网络边缘节点回源率的方法，可以将多台缓存服务器组成集群，并且各自缓存互不相同的文件，提高整个集群缓存的有效容量，增加集群的缓存命中率，降低回源率。还可以根据文件路径散列分布在不同服务器中的缓存，一定程度上可以均衡缓存服务器的访问负载。此外，该方法无需建立额外的散列索引表与缓存服务器的对应关系，在部分缓存服务器离线后，剩余在线服务器已缓存的文件也不会失效。
作为优选，所述下载服务包括检查缓存文件是否存在、必要时回源及回源缓存。
作为优选，所述回源缓存由Nginx反向代理完成。
作为优选，所述用于定位文件的参数包括文件路径、文件名称和访问参数。
作为优选，调度服务根据用于定位文件的文件路径、文件名称和访问参数进行哈希计算获取散列值。
作为优选，若缓存服务器不在线，则重新对所有在线可用缓存服务器的数量取模。
作为优选，所述调度服务器使用Keepalived或NLB软件。
调度服务器使用Keepalived或NLB软件来实现高可用。
与现有技术相比，本发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法具有以下突出的有益效果：该通过文件散列分布降低内容分发网络边缘节点回源率的方法，可以将多台缓存服务器组成集群，并且各自缓存互不相同的文件，提高整个集群缓存的有效容量，增加集群的缓存命中率，降低回源率。还可以根据文件路径散列分布在不同服务器中的缓存，一定程度上可以均衡缓存服务器的访问负载。此外，该方法无需建立额外的散列索引表与缓存服务器的对应关系，在部分缓存服务器离线后，剩余在线服务器已缓存的文件也不会失效，具有良好的推广应用价值。
附图说明
图1是本发明所述通过文件散列分布降低内容分发网络边缘节点回源率的方法的流程图。
具体实施方式
下面将结合附图和实施例，对本发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法作进一步详细说明。
实施例
如图1所示，本发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法，边缘节点缓存服务器联入多台服务器组成集群，建立调度服务器，客户端所有的请求都先经过调度服务器。调度服务器根据用于定位文件的文件路径、文件名称和访问参数，进行哈希计算获取散列值。然后调度服务器将散列值对缓存服务器的总数量取模，所得的余数即是客户端所请求文件所在的缓存服务器编号。
判断该缓存服务器是否在线，或者缓存服务器是否能够正常提供服务，如果能够正常使用，则将客户端的请求重定向到该缓存服务器中。如果该缓存服务器无法正常使用，则重新对要请求的文件的散列值取模定位，此次取模是对所有在线可用缓存服务器的数量取模，取模所得余数即是真正所要用的缓存服务器，调度服务器并将客户端的请求重定向到该缓存服务器。缓存服务器检查缓存文件是否存在，若存在则响应客户端的文件请求，若不存在则从中心源站回源并缓存至本地，继续响应客户端的文件请求。
如表1所示为缓存服务器中的文件初始分布情况，假设有四台缓存服务器编号为0-3，并假设有二十个缓存文件，它们的散列值分别为0-19。缓存文件的分布规则是其散列值对服务器数量取模值存放到对应编号的缓存服务器中，其存放结果如表1所示。
表1
当其中一台服务器2离线时，在没有索引字典时，通常会对现有在线的缓存服务器重新取模定位。如表2所示为缓存服务器2离线后，文件重新分布情况，结果就是排除缓存服务器2重新取模定位的结果。结果显示，大部分文件在重新定位后，都与原有的缓存服务器位置不一样了，这意味着原有的缓存文件暂时失效(直到缓存服务器2恢复后才会重新生效)，在这个过程中，剩余在线的缓存服务器浪费了大量的空间保存缓存服务器2离线后的临时缓存文件，同时还占用了大量的回源流量和宽带来完成回源动作。另一方面，由于这种方式占用了更多的磁盘空间，在磁盘空间较满的时候，此过程会顶掉一些过期的、冷门的缓存文件，如果这些被顶掉的文件在以后被重新访问时，还会再次回源，会进一步浪费回源流量和宽带。
表2
如表3所示，通过本发明的通过文件散列分布降低内容分发网络边缘节点回源率的方法，当服务器2离线后，调度服务器仍然按原有的四台缓存服务器取模定位，只是在定位后，增加一步判断所选用的缓存服务器是否在线。如果所选用的缓存服务器在线，则正常使用它，如果所选用的缓存服务器离线，则在现有的缓存服务器中再次取模定位。这样只是将离线缓存服务器2中的文件重新定位了，原有在线缓存服务器中的缓存文件继续沿用，节省了磁盘空间和回源流量宽带。
表3
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (7)

1.一种通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：边缘节点缓存服务器联入多台服务器组成集群，建立调度服务器，客户端的请求都经过调度服务器，调度服务器根据用于定位文件的参数获取散列值，调度服务器将散列值对缓存服务器的总数量取模，得余数为客户端请求文件所在的缓存服务器编号，判断该缓存服务器是否在线，若在线，将客户端的请求重定向到该缓存服务器，若不在线，重新对请求文件的散列值取模定位，取模所得余数为所要用的缓存服务器，调度服务器将客户端的请求重定向到该缓存服务器，缓存服务器为客户端提供下载服务。
2.根据权利要求1所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：所述下载服务包括检查缓存文件是否存在、必要时回源及回源缓存。
3.根据权利要求2所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：所述回源缓存由Nginx反向代理完成。
4.根据权利要求3所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：所述用于定位文件的参数包括文件路径、文件名称和访问参数。
5.根据权利要求4所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：调度服务根据用于定位文件的文件路径、文件名称和访问参数进行哈希计算获取散列值。
6.根据权利要求5所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：若缓存服务器不在线，则重新对所有在线可用缓存服务器的数量取模。
7.根据权利要求6所述的通过文件散列分布降低内容分发网络边缘节点回源率的方法，其特征在于：所述调度服务器使用Keepalived或NLB软件。
CN201810972968.9A 2018-08-24 2018-08-24 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法 Pending CN109067898A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810972968.9A CN109067898A (zh) 2018-08-24 2018-08-24 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810972968.9A CN109067898A (zh) 2018-08-24 2018-08-24 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法

Publications (1)

Publication Number Publication Date
CN109067898A true CN109067898A (zh) 2018-12-21

Family

ID=64756951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810972968.9A Pending CN109067898A (zh) 2018-08-24 2018-08-24 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法

Country Status (1)

Country Link
CN (1) CN109067898A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093675A1 (zh) * 2019-11-12 2021-05-20 北京金山云网络技术有限公司 Cdn回源的校验方法和校验服务器、cdn集群
CN114598897A (zh) * 2022-02-28 2022-06-07 阿里巴巴（中国）有限公司 直播调度方法、设备和可读介质
CN116467037A (zh) * 2023-06-09 2023-07-21 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932434A (zh) * 2012-10-17 2013-02-13 北京奇虎科技有限公司 一种用于对服务器进行负载均衡的方法及装置
CN104202362A (zh) * 2014-08-14 2014-12-10 上海帝联信息科技股份有限公司 负载均衡系统及其内容分发方法和装置、负载均衡器
CN107801086A (zh) * 2017-10-20 2018-03-13 广东省南方数字电视无线传播有限公司 多缓存服务器的调度方法和系统
CN108111623A (zh) * 2017-12-29 2018-06-01 北京奇虎科技有限公司 一种基于内容分发网络cdn的通信方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102932434A (zh) * 2012-10-17 2013-02-13 北京奇虎科技有限公司 一种用于对服务器进行负载均衡的方法及装置
CN104202362A (zh) * 2014-08-14 2014-12-10 上海帝联信息科技股份有限公司 负载均衡系统及其内容分发方法和装置、负载均衡器
CN107801086A (zh) * 2017-10-20 2018-03-13 广东省南方数字电视无线传播有限公司 多缓存服务器的调度方法和系统
CN108111623A (zh) * 2017-12-29 2018-06-01 北京奇虎科技有限公司 一种基于内容分发网络cdn的通信方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
五月的仓颉: ""Memcache详细解读（一致性哈希）"", 《WWW.CNBLOGS.COM》 *
甘士成: ""内容分发网络负载均衡技术研究"", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093675A1 (zh) * 2019-11-12 2021-05-20 北京金山云网络技术有限公司 Cdn回源的校验方法和校验服务器、cdn集群
CN114598897A (zh) * 2022-02-28 2022-06-07 阿里巴巴（中国）有限公司 直播调度方法、设备和可读介质
CN116467037A (zh) * 2023-06-09 2023-07-21 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法
CN116467037B (zh) * 2023-06-09 2023-09-22 成都融见软件科技有限公司 一种图形用户界面工作状态的恢复方法

Similar Documents

Publication Publication Date Title
US20210144423A1 (en) Dynamic binding for use in content distribution
CN105763628B (zh) 数据访问请求处理方法及装置、边缘节点服务器和集群
US9893957B2 (en) Forward-based resource delivery network management techniques
CN106031130B (zh) 具有边缘代理的内容传送网络架构
US6463508B1 (en) Method and apparatus for caching a media stream
Huang et al. Characterizing load imbalance in real-world networked caches
CN109542613A (zh) 一种cdn节点内服务调度的分配方法、装置及存储介质
Baker et al. Distributed cooperative Web servers
Gavrielatos et al. Scale-out ccNUMA: Exploiting skew with strongly consistent caching
Nair et al. A rank based replacement policy for multimedia server cache using zipf-like law
CN105898352A (zh) 基于m3u8的流媒体文件直播方法及系统
US20150332191A1 (en) Reducing costs related to use of networks based on pricing heterogeneity
CN109067898A (zh) 一种通过文件散列分布降低内容分发网络边缘节点回源率的方法
Chen et al. Designs of high quality streaming proxy systems
CN102868542B (zh) 一种服务分发网络中服务质量的控制方法及系统
CN105068755A (zh) 一种面向云计算内容分发网络的数据副本存储方法
CN102104494B (zh) 元数据服务器、带外网络文件系统及其处理方法
CN106789956B (zh) 一种基于hls的p2p点播方法及系统
US6973536B1 (en) Self-adaptive hybrid cache
CN109361778A (zh) 一种管理会话的方法及终端
JP2009122981A (ja) キャッシュ配置方法
Zhang et al. A content-based dynamic load-balancing algorithm for heterogeneous web server cluster
Chuchuk et al. Caching for dataset-based workloads with heterogeneous file sizes
KR20100053009A (ko) 캐시 조각 획득시간 기반의 노드 전환을 이용하는 컨텐츠 분산 저장형 멀티미디어 스트리밍 시스템 및 방법
Haribowo et al. Performance analysis of content-based mobile application on content delivery networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181221