CN108418881A - 一种cdn网络内容分发系统及方法 - Google Patents

一种cdn网络内容分发系统及方法 Download PDF

Info

Publication number
CN108418881A
CN108418881A CN201810180725.1A CN201810180725A CN108418881A CN 108418881 A CN108418881 A CN 108418881A CN 201810180725 A CN201810180725 A CN 201810180725A CN 108418881 A CN108418881 A CN 108418881A
Authority
CN
China
Prior art keywords
file
node
user
content distribution
network content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810180725.1A
Other languages
English (en)
Inventor
刘晓光
汪志武
赵子毅
张晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wisdom Cloud Technology Co Ltd
Original Assignee
Beijing Wisdom Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wisdom Cloud Technology Co Ltd filed Critical Beijing Wisdom Cloud Technology Co Ltd
Priority to CN201810180725.1A priority Critical patent/CN108418881A/zh
Publication of CN108418881A publication Critical patent/CN108418881A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/45—Network directories; Name-to-address mapping
    • H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种CDN网络内容分发系统及方法，在相邻的节点内，整个相邻节点组作为一个存储单元，一份文件只需要存在于一个节点中，只有拥有该文件的节点才回源获取数据；每个节点包括接入层和存储层；接入层负责与用户进行通讯，包括接收从用户处发送过来的数据请求；向用户返回数据结果；每个接入层都存储有本存储单元内全部相邻节点的文件信息；存储层用于存储数据文件。本系统还可以包括调度中心；调度中心存储有全部节点的文件信息。这种CDN网络内容分发方法包含以下步骤：用户请求，请求访问文件；文件定位，确定文件所在节点；对返回做出处理。这种系统及方法节约存储资源，效率较高。

Description

一种CDN网络内容分发系统及方法
技术领域
本发明属于信息技术领域，特别是涉及一种CDN网络内容分发系统及方法。
背景技术
在CDN等分布式系统中，存在相邻节点的概念，如在一个省份中的多个节点。在使用以及流调度中，经常会将多个相邻节点同时为业务提供服务。如：在河北联通有沧州、廊坊、石家庄三个节点，在调度中对河北联通的用户会使用这三个节点上，同时提供服务。在系统实现中，每个节点作为个独立的小集群，拥有自己的存储，和独立的回源系统。这样就存在一个问题，对于同一个业务的内容，如何从源站分发到该省份内部的三个节点上的问题，用户在访问该集群时如何才能获取到数据。在传统方案中，每个节点做为独立的系统，用户可以从任意一个节点获取数据，节点完全受用户请求驱动，各自独立的去父层或者源站拉取文件内容。一个文件需要在多个节点存储多次，需要从父层获取多次该文件。传统方案的劣势：多次重复去浮层和源站拉取数据，增加父层和源站的压力以及带宽支出。每个节点都需要独立存储同一个文件，节点内的存储资源存在一定的浪费情况。
发明内容
本发明提供了一种CDN网络内容分发系统及方法，目的在于解决传统方案延迟大，带宽占用大的问题。
这种CDN网络内容分发系统，本系统在相邻的节点内，整个相邻节点组作为一个存储单元，一份文件只需要存在于一个节点中，只有拥有该文件的节点才回源获取数据；每个节点包括接入层和存储层；接入层负责与用户进行通讯，包括接收从用户处发送过来的数据请求；向用户返回数据结果；每个接入层都存储有本存储单元内全部相邻节点的文件信息；存储层用于存储数据文件。
这种CDN网络内容分发系统，实现的一种CDN网络内容分发方法，包含以下步骤：
步骤11、用户请求，请求访问文件；
步骤12、文件定位，确定文件所在节点；
步骤13、根据文件所在位置及文件信息、系统情况，对返回做出处理。
步骤12通过一致性hash方式定位该文件存储于本节点，还是其它相邻节点。
步骤13为如果文件在本节点，则返回文件；根据节点负载情况做出判断，如果负载较轻、延迟较小则直接与文件所在节点通信，获得文件内容，返回给用户；如果负载较大，则返回文件所在节点信息，使重定向到文件所在节点。
这种CDN网络内容分发系统，还可以包括调度中心；调度中心存储有全部节点的文件信息；带调度中心的内容分发系统实现的一种CDN网络内容分发方法，包含以下步骤：
步骤21：用户向调度中心发出请求，请求访问文件；
步骤22：调度中心定位文件所在节点；
步骤23：返回文件所在节点信息；
步骤24：用户向文件所在节点请求文件。
步骤21为用户通过http dns的机制，通过http接口请求资源文件的位置，用户传入：用户的源IP、请求的资源文件域名、请求的资源位置信息，URI。
这种CDN网络内容分发方法，步骤22为通过一致性hash方式定位该文件存储节点。
本发明的优点：
一个省份内的多个节点，或者多个相邻的节点。这些节点间相互访问的延迟小，可进行相互交叉访问。该省份的用户访问相邻节点的效果趋于一致。
附图说明
图1是本发明的系统流程框图-返回重定向情况处理流程；
图2是本发明的系统流程框图-返回其它节点内的文件的处理流程；
图3是本发明的系统流程框图-有调度中心的处理流程。
具体实施方式
下面对本发明优选实施例作详细说明。
这种CDN网络内容分发系统，本系统在相邻的节点内，整个相邻节点组作为一个存储单元，一份文件只需要存在于一个节点中，只有拥有该文件的节点才回源获取数据；每个节点包括接入层和存储层；接入层负责与用户进行通讯，包括接收从用户处发送过来的数据请求；向用户返回数据结果；每个接入层都存储有本存储单元内全部相邻节点的文件信息；存储层用于存储数据文件。
这种CDN网络内容分发系统，实现的一种CDN网络内容分发方法，包含以下步骤：
步骤11、用户请求，请求访问文件；
步骤12、文件定位，确定文件所在节点；
步骤13、根据文件所在位置及文件信息，对返回做出处理。
步骤12通过一致性hash方式定位该文件存储于本节点，还是其它相邻节点。
步骤13为如果文件在本节点，则返回文件；根据节点负载情况做出判断，如果负载较轻、延迟较小则本节点直接与文件所在节点通信，获得文件内容(如图2所示，通过内部代理的方式，内部代理通过一致性hash机制，对节点组进行全局的资源定位，将用户请求代理到存储该文件的节点，本节点不需要存储数据；该方案适用于节点A和节点B延迟非常小的情况，节点间延迟大影响用户访问性能)，将文件返回给用户；如果负载较大，则返回文件所在节点信息，使用户重定向到文件所在节点(如图1所示，通过302等http重定向调度方式，将用户请求定位到拥有该文件的节点B内，后续用户直接与拥有该文件的节点直接访问；该方案适用于大文件，302等重定向调度方式对性能无影响的情况)。
如图3所示。这种CDN网络内容分发系统，还可以包括调度中心；调度中心存储有全部节点的文件信息；带调度中心的内容分发系统实现的一种CDN网络内容分发方法，包含以下步骤：
步骤21：用户向调度中心发出请求，请求访问文件；
步骤22：调度中心定位文件所在节点；
步骤23：返回文件所在节点信息；
步骤24：用户向文件所在节点请求文件。
步骤21为用户通过http dns的机制，通过http接口请求资源文件的位置，用户传入：用户的源IP、请求的资源文件域名、请求的资源位置信息，URI。
这种CDN网络内容分发方法，步骤22为通过一致性hash方式定位该文件存储节点。该方法中调度中心只是逻辑概念，可以是与节点A、节点B混布，甚至是同一系统。该方案适用于访问大文件，多一次调度中心访问不影响性能的情况。
当然，本技术领域的普通技术人员应当认识到，以上实施例仅是用来说明本发明的，而并非对本发明的限定，只要在本发明的范围内对以上实施例的变化、变型都在本发明的保护范围之内。

Claims (9)

1.一种CDN网络内容分发系统，其特征在于：在相邻的节点内，整个相邻节点组作为一个存储单元，一份文件只需要存在于一个节点中，只有拥有该文件的节点才回源获取数据。
2.根据权利要求1所述的CDN网络内容分发系统，其特征在于，还包括调度中心；调度中心存储有全部节点的文件信息。
3.根据权利要求1所述的CDN网络内容分发系统，一种CDN网络内容分发方法，其特征在于包含以下步骤：
步骤11、用户请求，请求访问文件；
步骤12、文件定位，确定文件所在节点；
步骤13、根据文件所在位置及文件信息、系统情况，对返回做出处理。
4.根据权利要求3所述的CDN网络内容分发方法，其步骤12特征为：通过一致性hash方式定位该文件存储于本节点，还是其它相邻节点。
5.根据权利要求3所述的CDN网络内容分发方法，其步骤13特征在于：如果文件在本节点，则返回文件；根据节点负载情况做出判断，如果负载较轻、延迟较小则直接与文件所在节点通信，获得文件内容，返回给用户；如果负载较大，则返回文件所在节点信息，使重定向到文件所在节点。
6.根据权利要求2所述的CDN网络内容分发系统，一种CDN网络内容分发方法，其特征在于包含以下步骤：
步骤21：用户向调度中心发出请求，请求访问文件；
步骤22：调度中心定位文件所在节点；
步骤23：返回文件所在节点信息；
步骤24：用户向文件所在节点请求文件。
7.根据权利要求6所述的CDN网络内容分发方法，其步骤21特征在于：用户通过httpdns的机制，通过http接口请求资源文件的位置，用户传入：用户的源IP、请求的资源文件域名、请求的资源位置信息，URI。
8.根据权利要求6所述的CDN网络内容分发方法，其步骤22特征在于：通过一致性hash方式定位该文件存储节点。
9.根据权利要求1所述的CDN网络内容分发系统，其特征在于：每个节点包括接入层和存储层；接入层负责与用户进行通讯，包括接收从用户处发送过来的数据请求；向用户返回数据结果；每个接入层都存储有本存储单元内全部相邻节点的文件信息；存储层用于存储数据文件。
CN201810180725.1A 2018-03-05 2018-03-05 一种cdn网络内容分发系统及方法 Pending CN108418881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810180725.1A CN108418881A (zh) 2018-03-05 2018-03-05 一种cdn网络内容分发系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810180725.1A CN108418881A (zh) 2018-03-05 2018-03-05 一种cdn网络内容分发系统及方法

Publications (1)

Publication Number Publication Date
CN108418881A true CN108418881A (zh) 2018-08-17

Family

ID=63130200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810180725.1A Pending CN108418881A (zh) 2018-03-05 2018-03-05 一种cdn网络内容分发系统及方法

Country Status (1)

Country Link
CN (1) CN108418881A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247367A (zh) * 2008-04-08 2008-08-20 中国电信股份有限公司 基于内容分发网络和对等网络的内容提供方法和系统
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统
CN103581245A (zh) * 2012-07-30 2014-02-12 腾讯科技（深圳）有限公司 一种内容分发网络内容分发的方法及系统
US20140214962A1 (en) * 2006-08-24 2014-07-31 Interwise Ltd. Virtual private meeting room
CN104168340A (zh) * 2014-07-24 2014-11-26 深圳市腾讯计算机系统有限公司 域名解析的方法、服务器、终端及系统
CN106161669A (zh) * 2015-04-28 2016-11-23 阿里巴巴集团控股有限公司 一种快速域名解析方法和系统、及其终端和服务器
CN106797410A (zh) * 2016-12-23 2017-05-31 深圳前海达闼云端智能科技有限公司 域名解析方法和装置
CN108418882A (zh) * 2018-03-05 2018-08-17 北京云端智度科技有限公司 一种cdn网络内容分发系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214962A1 (en) * 2006-08-24 2014-07-31 Interwise Ltd. Virtual private meeting room
CN101247367A (zh) * 2008-04-08 2008-08-20 中国电信股份有限公司 基于内容分发网络和对等网络的内容提供方法和系统
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统
CN103581245A (zh) * 2012-07-30 2014-02-12 腾讯科技（深圳）有限公司 一种内容分发网络内容分发的方法及系统
CN104168340A (zh) * 2014-07-24 2014-11-26 深圳市腾讯计算机系统有限公司 域名解析的方法、服务器、终端及系统
CN106161669A (zh) * 2015-04-28 2016-11-23 阿里巴巴集团控股有限公司 一种快速域名解析方法和系统、及其终端和服务器
CN106797410A (zh) * 2016-12-23 2017-05-31 深圳前海达闼云端智能科技有限公司 域名解析方法和装置
CN108418882A (zh) * 2018-03-05 2018-08-17 北京云端智度科技有限公司 一种cdn网络内容分发系统及方法

Similar Documents

Publication Publication Date Title
Kelly et al. Stochastic networks
US7885928B2 (en) Decentralized adaptive management of distributed resource replicas in a peer-to-peer network based on QoS
WO2007115477A1 (fr) Procédé et système de synchronisation de données
KR101670343B1 (ko) 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템
US7917495B1 (en) System and method for processing query requests in a database system
CN103841206B (zh) 一种订阅和发布主题消息的方法
CN106303704A (zh) 一种基于代理服务器的dash流媒体直播系统及方法
US20100223391A1 (en) Method and device for asymmetrically duplicating and distributing data streams across network segments
CN109962760A (zh) 一种适于无线tdma自组网的业务调度方法
CN116743585B (zh) 一种基于云原生的多租户api网关服务暴露系统及方法
CN109634988A (zh) 一种监控轮询方法和装置
US7797333B1 (en) System and method for returning results of a query from one or more slave nodes to one or more master nodes of a database system
CN106940715B (zh) 一种基于索引表的查询的方法及设备
US20080162410A1 (en) Method and apparatus for augmenting the dynamic hash table with home subscriber server functionality for peer-to-peer communications
CN103457976A (zh) 数据下载方法和系统
CN108418881A (zh) 一种cdn网络内容分发系统及方法
US7406461B1 (en) System and method for processing a request to perform an activity associated with a precompiled query
CN108418882A (zh) 一种cdn网络内容分发系统及方法
Choudhury et al. Mobility aware distributed service composition framework in SOA based MANET application
CN104735167A (zh) 一种实现网络调度功能开放的方法和装置
Alaya et al. QoS enhancement In VoD systems: load management and replication policy optimization perspectives
CN111787372A (zh) 基于多种条件调度的流媒体分发方法
Zhanikeev Fog cloud caching at network edge via local hardware awareness spaces
Wu et al. A novel interoperable model of distributed UDDI
Muhammad et al. Efficient mutual exclusion in peer-to-peer systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180817