CN105450780B - 一种cdn系统及其回源方法 - Google Patents

一种cdn系统及其回源方法 Download PDF

Info

Publication number
CN105450780B
CN105450780B CN201511026414.2A CN201511026414A CN105450780B CN 105450780 B CN105450780 B CN 105450780B CN 201511026414 A CN201511026414 A CN 201511026414A CN 105450780 B CN105450780 B CN 105450780B
Authority
CN
China
Prior art keywords
cdn
server
cluster
source
file destination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511026414.2A
Other languages
English (en)
Other versions
CN105450780A (zh
Inventor
张小兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201511026414.2A priority Critical patent/CN105450780B/zh
Publication of CN105450780A publication Critical patent/CN105450780A/zh
Application granted granted Critical
Publication of CN105450780B publication Critical patent/CN105450780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种CDN系统，包括CDN节点服务器、集群存储服务器、源服务器，所述集群存储服务器和源服务器分别与若干个CDN节点服务器连接，CDN节点服务器和集群存储服务器位于同一专用网络。本发明的集群存储服务器和源服务器均可用于存储目标数据，并接收来自CDN节点服务器的请求，但是由于集群存储服务器与CDN节点服务器位于同一专用网络，因此通过集群存储服务器回源的速度快于直接到源服务器回源，也在一定程度上减小了源服务器的压力。本发明还公开了一种CDN系统的回源方法。

Description

一种CDN系统及其回源方法
技术领域
本发明涉及互联网技术领域，特别涉及一种CDN系统及适用于该系统的回源方法。
背景技术
CDN(Content Distribution Network)即是内容分发网络，是构筑在现有互联网上的一种先进的流量分配网络。该网络将网站源服务器中的内容存储到分布于各地的CDN网络节点上，通过智能网络流量分配控制系统，将终端用户的访问请求自动指向健康可用且距离本地最近的CDN专用服务器上，以提高用户访问的响应速度和服务的可用性，改善互联网上的服务质量。
当最近的CDN专用服务器在响应用户输入的指令时，如果CDN专用服务器中没有用户输入的指令所指示的文件，则会去别的CDN专用服务器进行查找，如果仍然找不到，则需要去网站源服务器进行回源查找。在现有技术中，CDN专用服务器进行回源的方法通常是根据CDN专用服务器内部配置好的固定的回源地址去网站源服务器进行回源。由于多个CDN专用服务器一般组成一个专用网，而网站源服务器属于外网，因此回源的速度比较慢。另外，当多个用户就同样的需求同时去固定的回源地址上回源时，会导致提供回源的服务器的访问压力不均衡，产生系统过载的情况。
发明内容
本发明所解决的技术问题在于提供一种能减小源服务器的压力且回源速度快的CDN系统及一种适用于该系统的回源方法。
为解决上述技术问题，本发明采用如下所述的技术方案。
一种CDN系统，包括CDN节点服务器、集群存储服务器、源服务器，CDN节点服务器和集群存储服务器位于同一专用网络；
所述CDN节点服务器包括CDN缓存模块及CDN配置信息管理模块，所述CDN缓存模块用于缓存数据，并接收用户针对目标文件的访问请求，然后根据预设的方法将该访问请求发送给集群存储服务器或源服务器；所述CDN配置信息管理模块用于存储源服务器的地址、各CDN节点服务器的连接关系；
所述集群存储服务器与若干个CDN节点服务器连接，用于存储目标数据，并接收来自CDN节点服务器的请求；
所述源服务器与若干个CDN节点服务器连接，用于存储目标数据，并接收来自CDN节点服务器的请求。
进一步地，所述集群存储服务器为可扩展的分布式文件系统。
进一步地，所述CDN配置信息管理模块还用于进行安全信息的管理。
本发明还提供了一种CDN系统的回源方法，采用如下所述的技术方案。
用户发送获取文件请求给CDN缓存模块；
该CDN缓存模块将用户发送的获取文件请求转发送给集群存储服务器；
所述集群存储服务器判断其是否包含该获取文件请求所指向的目标文件；
若该集群存储服务器包含有该获取文件请求所指向的目标文件，则所述集群存储服务器将目标文件经CDN节点服务器发送给用户；
若集群存储服务器中不包含该指令指向的目标文件，则通知CDN缓存模块；CDN缓存模块向CDN配置信息管理模块发送获取源服务器地址的请求信息；CDN配置信息管理模块将源服务器的地址发送给CDN缓存模块；CDN缓存模块根据此地址将获取文件请求发送给源服务器；源服务器将目标文件分别发送给CDN缓存模块和用户；待源服务器将目标文件全部发送完毕后，CDN缓存模块将目标文件发送给集群存储服务器。
进一步地，待源服务器将目标文件全部发送完毕后，CDN缓存模块在预设的时间后删除该目标文件。
进一步地，CDN配置信息管理模块中存储的源服务器的地址为域名或IP地址。
进一步地，当一个CDN节点服务器连接的多个用户同时请求一个目标文件时，所述CDN节点服务器对多个请求进行合并转换为一条获取文件请求发送给集群存储服务器。
进一步地，当用户请求一个不存在的目标文件URL时，系统经过回源找不到该目标文件，便会把该目标文件的URL信息存储于CDN缓存模块，当任意用户再一次请求该目标文件时，所述CDN缓存模块将直接返回一个目标文件不存在的信息给用户。
本发明的有益技术效果在于：本发明的CDN节点服务器用于缓存数据，并接收用户针对目标文件的访问请求，然后根据预设的方法将该访问请求发送给集群存储服务器或源服务器，因此本发明的CDN节点服务器将存储目标数据的功能交给了集群存储服务器，减轻了CDN节点服务器的工作压力；而集群存储服务器和源服务器均可用于存储目标数据，并接收来自CDN节点服务器的请求，但是由于集群存储服务器与CDN节点服务器位于同一专用网络，因此通过集群存储服务器回源的速度快于直接到源服务器回源，也在一定程度上减小了源服务器的压力。
附图说明
图1是本发明一种CDN系统的结构框图。
图2是图1中CDN节点服务器的结构框图。
图3是应用于CDN系统的回源方法的流程图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。
参考图1、图2所示，在本发明的一些实施例中，该CDN系统包括若干个CDN节点服务器11、分别与若干个CDN节点服务器11网络连接的集群存储服务器12，以及分别与若干个CDN节点服务器11网络连接的源服务器13，其中，CDN节点服务器11和集群存储服务器12位于同一专用网络。所述CDN节点服务器11包括CDN缓存模块111及CDN配置信息管理模块112，所述CDN缓存模块111用于缓存数据，并接收用户14针对目标文件的访问请求，然后根据预设的方法将该访问请求发送给集群存储服务器12或源服务器13；所述CDN配置信息管理模块112用于存储源服务器13的地址、各CDN节点服务器11的连接关系，并且该CDN配置信息管理模块112还用于进行安全信息的管理，例如支持基于签名的防盗链功能等。所述源服务器13，用于存储目标数据，并接收来自CDN节点服务器11的请求。所述集群存储服务器12，用于存储目标数据，并接收来自CDN节点服务器11的请求。该集群存储服务器12为可扩展的分布式文件系统，以满足大量数据的访问应用。
本发明的CDN节点服务器11将存储目标数据的功能交给了集群存储服务器12，减轻了CDN节点服务器11的工作压力；而集群存储服务器12和源服务器13均可用于存储目标数据，并接收来自CDN节点服务器11的请求，但是由于集群存储服务器12与CDN节点服务器11位于同一专用网络，因此通过集群存储服务器12回源的速度快于直接到源服务器13回源，也在一定程度上减小了源服务器13的压力。
结合图3所示，本发明还提供了一种适用于上述CDN系统的回源方法，该方法包括以下步骤：
S20，用户14发送获取文件请求给CDN缓存模块111。
具体的，用户14向CDN节点服务器11发送获取文件请求(HTTP格式的请求)。
S21，该CDN缓存模块111将用户14发送的获取文件请求转发送给集群存储服务器12。
S22，所述集群存储服务器12判断其是否包含该获取文件请求所指向的目标文件。
具体的，该集群存储服务器12可以查询其自身是否包含有获取文件请求所指向的目标文件的URL。
S23，若该集群存储服务器12包含有该获取文件请求所指向的目标文件，则所述集群存储服务器12将目标文件经CDN节点服务器11发送给用户14。
S24，若集群存储服务器12中不包含该指令指向的目标文件，则可以按照下述步骤进行回源操作：
S240，集群存储服务器12发送一个通知给CDN缓存模块111，以告知CDN缓存模块111目标文件不在集群存储服务器12上。
S241，CDN缓存模块111向CDN配置信息管理模块112发送获取源服务器13地址的请求信息，源服务器13地址为域名或IP地址。
S242，CDN配置信息管理模块112将源服务器13的地址发送给CDN缓存模块111。
S243，CDN缓存模块111根据此地址将获取文件请求发送给源服务器13。
S244，源服务器13将目标文件发送给CDN缓存模块111。
S245，源服务器13将目标文件发送给用户14。
S246，待源服务器13将目标文件全部发送完毕后，CDN缓存模块111将目标文件发送给集群存储服务器12。
可以理解的，对于步骤S242、S243，源服务器13向CDN缓存模块111和用户14发送文件的顺序并无特别要求，也可以同时发送。本发明的集群存储服务器12和源服务器13均可用于存储目标数据，并接收来自CDN节点服务器11的请求，但是由于集群存储服务器12与CDN节点服务器11位于同一专用网络，因此通过集群存储服务器12回源的速度快于直接到源服务器13回源，也在一定程度上减小了源服务器13的压力。
为了防止避免给CDN缓存模块111增加负荷，待文件全部下载完毕后，CDN缓存模块111在预设的时间后会删除该目标文件。由于本发明的CDN节点服务器11已不再需要长时间保存文件，用户14直接到分布式的集群存储服务器12中取文件，而一个集群存储服务器12中存储的文件数目远多于若干个CDN节点服务器11中存储的文件数量，因此用户14在集群存储服务器12中取文件命中率更高。
为了提高应用的灵活性，该CDN系统支持整个文件下载，同时也支持分块下载，目标文件被分块下载后存入CDN缓存模块111。
在应用中，若一个CDN节点服务器11连接的多个用户14同时请求一个目标文件，为了减轻系统内各设备的负荷，只需回源一次，即所述CDN节点服务器11会对多个请求进行合并转换为一条文件请求发送给集群存储服务器12。其它并发的请求等待一个用户14请求完成后再从集群存储服务器12中读取数据即可。
当用户14请求一个不存在的目标文件URL时，系统经过回源找不到该目标文件，便会把该目标文件的URL信息存储于CDN缓存模块111，当任意用户14再一次请求该目标文件时，所述CDN缓存模块111将直接返回一个目标文件不存在的信息给用户14，不再尝试回源操作。
以上仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (8)

1.一种CDN系统，其特征在于，所述CDN系统包括CDN节点服务器、集群存储服务器、源服务器，CDN节点服务器和集群存储服务器位于同一专用网络；
所述CDN节点服务器包括CDN缓存模块及CDN配置信息管理模块，所述CDN缓存模块用于缓存数据，并接收用户针对目标文件的访问请求，然后根据预设的方法将该访问请求发送给集群存储服务器或源服务器；所述CDN配置信息管理模块用于存储源服务器的地址、各CDN节点服务器的连接关系；
所述集群存储服务器与若干个CDN节点服务器连接，用于存储目标数据，并接收来自CDN节点服务器的请求，并判断其是否包含该获取文件请求所指向的目标文件，若该集群存储服务器包含有该获取文件请求所指向的目标文件，则集群存储服务器将目标文件经CDN节点服务器发送给用户；而若集群存储服务器中不包含该指令指向的目标文件，则通知CDN缓存模块，CDN缓存模块向CDN配置信息管理模块发送获取源服务器地址的请求信息；CDN配置信息管理模块将源服务器的地址发送给CDN缓存模块；CDN缓存模块根据此地址将获取文件请求发送给源服务器；源服务器将目标文件分别发送给CDN缓存模块和用户；待源服务器将目标文件全部发送完毕后，CDN缓存模块将目标文件发送给集群存储服务器；
所述源服务器与若干个CDN节点服务器连接，用于存储目标数据，并接收来自CDN节点服务器的请求。
2.如权利要求1所述的CDN系统，其特征在于，所述集群存储服务器为可扩展的分布式文件系统。
3.如权利要求1所述的CDN系统，其特征在于，所述CDN配置信息管理模块还用于进行安全信息的管理。
4.一种CDN系统的回源方法，其特征在于，所述回源方法包括以下步骤：
用户发送获取文件请求给CDN缓存模块；
该CDN缓存模块将用户发送的获取文件请求转发送给集群存储服务器；
所述集群存储服务器判断其是否包含该获取文件请求所指向的目标文件；
若该集群存储服务器包含有该获取文件请求所指向的目标文件，则所述集群存储服务器将目标文件经位于同一专用网络的CDN节点服务器发送给用户；
若集群存储服务器中不包含该指令指向的目标文件，则通知CDN缓存模块；CDN缓存模块向CDN配置信息管理模块发送获取源服务器地址的请求信息；CDN配置信息管理模块将源服务器的地址发送给CDN缓存模块；CDN缓存模块根据此地址将获取文件请求发送给源服务器；源服务器将目标文件分别发送给CDN缓存模块和用户；待源服务器将目标文件全部发送完毕后，CDN缓存模块将目标文件发送给集群存储服务器。
5.如权利要求4所述的CDN系统的回源方法，其特征在于，待源服务器将目标文件全部发送完毕后，CDN缓存模块在预设的时间后删除该目标文件。
6.如权利要求4所述的CDN系统的回源方法，其特征在于，CDN配置信息管理模块中存储的源服务器的地址为域名或IP地址。
7.如权利要求4所述的CDN系统的回源方法，其特征在于，当一个CDN节点服务器连接的多个用户同时请求一个目标文件时，所述CDN节点服务器对多个请求进行合并转换为一条获取文件请求发送给集群存储服务器。
8.如权利要求4所述的CDN系统的回源方法，其特征在于，当用户请求一个不存在的目标文件URL时，系统经过回源找不到该目标文件，便会把该目标文件的URL信息存储于CDN缓存模块，当任意用户再一次请求该目标文件时，所述CDN缓存模块将直接返回一个目标文件不存在的信息给用户。
CN201511026414.2A 2015-12-31 2015-12-31 一种cdn系统及其回源方法 Active CN105450780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511026414.2A CN105450780B (zh) 2015-12-31 2015-12-31 一种cdn系统及其回源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511026414.2A CN105450780B (zh) 2015-12-31 2015-12-31 一种cdn系统及其回源方法

Publications (2)

Publication Number Publication Date
CN105450780A CN105450780A (zh) 2016-03-30
CN105450780B true CN105450780B (zh) 2019-01-18

Family

ID=55560546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511026414.2A Active CN105450780B (zh) 2015-12-31 2015-12-31 一种cdn系统及其回源方法

Country Status (1)

Country Link
CN (1) CN105450780B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513162A (zh) * 2017-02-23 2018-09-07 中兴通讯股份有限公司 直播回看的缓存、播放方法及系统
CN108574666B (zh) * 2017-03-09 2020-08-07 贵州白山云科技股份有限公司 一种数据流调度方法、装置和系统
CN107222560A (zh) * 2017-06-29 2017-09-29 珠海市魅族科技有限公司 一种多节点回源的方法、装置及存储介质
CN107347100B (zh) * 2017-07-28 2020-04-21 成都知道创宇信息技术有限公司 一种内容分发网络的透明代理转发方法
CN109660578B (zh) * 2017-10-11 2022-01-21 阿里巴巴集团控股有限公司 Cdn的回源处理方法及装置、系统
CN109831467B (zh) * 2017-11-23 2021-11-23 杭州海康威视系统技术有限公司 数据传输方法、设备及系统
CN108234638A (zh) * 2017-12-29 2018-06-29 北京奇虎科技有限公司 一种基于内容分发网络cdn的数据处理方法和装置
CN110086721B (zh) * 2018-01-26 2021-03-12 北京金山云网络技术有限公司 一种回源关系管理系统、方法、装置、服务器及存储介质
CN109873855B (zh) * 2018-04-13 2022-01-25 贵州白山云科技股份有限公司 一种基于区块链网络的资源获取方法和系统
CN108737405B (zh) * 2018-05-10 2020-02-18 网宿科技股份有限公司 一种对直播视频流进行导流的方法、ccl服务器和系统
CN110138756B (zh) 2019-04-30 2021-05-25 网宿科技股份有限公司 一种限流方法及系统
CN110392094B (zh) * 2019-06-03 2021-03-19 网宿科技股份有限公司 一种获取业务数据的方法及融合cdn系统
CN110324406B (zh) * 2019-06-03 2022-07-26 网宿科技股份有限公司 一种获取业务数据的方法和云服务系统
CN111104376B (zh) * 2019-12-19 2023-04-07 湖南快乐阳光互动娱乐传媒有限公司 资源文件查询方法及装置
CN111339057B (zh) * 2020-02-29 2024-07-09 平安科技（深圳）有限公司 减少回源请求的方法、装置及计算机可读存储介质
CN114615237B (zh) * 2022-03-22 2024-03-29 阿里巴巴（中国）有限公司 流媒体通信方法、系统、设备及存储介质
CN115022177B (zh) * 2022-06-08 2023-10-24 阿里巴巴（中国）有限公司 Cdn系统、回源方法、cdn节点及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254638A1 (en) * 2008-04-08 2009-10-08 At&T Intellectual Property I, L.P. Topology Aware Content Delivery Network
CN103747112A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn回源的方法、第一服务器及系统
CN104320681A (zh) * 2014-11-07 2015-01-28 百视通网络电视技术发展有限责任公司 一种cdn回源服务的方法及系统
CN104506647A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种数据存储系统及存储和访问方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090254638A1 (en) * 2008-04-08 2009-10-08 At&T Intellectual Property I, L.P. Topology Aware Content Delivery Network
CN103747112A (zh) * 2013-12-24 2014-04-23 乐视网信息技术（北京）股份有限公司 一种cdn回源的方法、第一服务器及系统
CN104320681A (zh) * 2014-11-07 2015-01-28 百视通网络电视技术发展有限责任公司 一种cdn回源服务的方法及系统
CN104506647A (zh) * 2014-12-31 2015-04-08 北京奇艺世纪科技有限公司 一种数据存储系统及存储和访问方法

Also Published As

Publication number Publication date
CN105450780A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105450780B (zh) 一种cdn系统及其回源方法
CN103023768B (zh) 边缘路由节点以及其从多源预取内容的方法
CN106031130B (zh) 具有边缘代理的内容传送网络架构
EP2266043B1 (en) Cache optimzation
CN103581245B (zh) 一种内容分发网络内容分发的方法及系统
CN103731451B (zh) 一种文件上传的方法及系统
US9673998B2 (en) Differential cache for representational state transfer (REST) API
CN104320410A (zh) 基于http的全业务cdn系统及其工作方法
CN103516606B (zh) 一种cdn路由实现方法和系统
CN101425969B (zh) 调度方法、调度装置和调度系统
CN101656765A (zh) 身份位置分离网络的名址映射系统及数据传输方法
CN101924785A (zh) 数据的上传方法、下载方法和系统
CN104253838A (zh) 一种cdn节点与cdn服务系统
CN103428302A (zh) 一种域名解析方法、域名解析服务器及域名解析系统
CN104394182A (zh) 一种实现内容分发网络加速的方法及源服务器
CN102438020A (zh) 内容分发网络中内容分发的方法、设备和网络系统
CN103227826A (zh) 一种文件传输方法及装置
CN109873855A (zh) 一种基于区块链网络的资源获取方法和系统
CN106789956B (zh) 一种基于hls的p2p点播方法及系统
CN105978936A (zh) Cdn服务器及其缓存数据的方法
Trossen et al. Towards an information centric network architecture for universal internet access
CN104320488A (zh) 代理服务器系统及代理服务方法
Feng et al. A popularity-based cache consistency mechanism for information-centric networking
CN102624691A (zh) 可共用广告拦截配置信息的多代理上网方法
WO2017097092A1 (zh) 缓存集群服务的处理方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant