CN109542613A - 一种cdn节点内服务调度的分配方法、装置及存储介质 - Google Patents
一种cdn节点内服务调度的分配方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109542613A CN109542613A CN201710867903.3A CN201710867903A CN109542613A CN 109542613 A CN109542613 A CN 109542613A CN 201710867903 A CN201710867903 A CN 201710867903A CN 109542613 A CN109542613 A CN 109542613A
- Authority
- CN
- China
- Prior art keywords
- content
- cache server
- content resource
- cdn node
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种CDN节点内服务调度的分配方法，应用于缓存服务器，包括以下步骤：当接收到获取内容资源的请求消息时，在请求消息中提取内容资源的统一资源定位符；根据统一资源定位符，确定内容资源的ID；根据内容资源的ID，按照预设的选取算法，在CDN节点内所有的缓存服务器中进行选取，得到用于获取内容资源的根缓存服务器。本发明还提供了一种CDN节点内服务调度的分配装置及存储介质，本发明的技术方案相对于现有技术，极大减轻了SLB调度负载，规避了因内容索引不一致、同步不及时、SLB异常所产生的问题，同时能提升CDN节点内各缓存服务器负载均衡度。
Description
技术领域
本发明涉及无线移动通讯领域，特别涉及一种CDN(Content Delivery Network)节点内服务调度的分配方法、装置及存储介质。
背景技术
随着互联网的快速发展，CDN系统需要承载越来越多和越来越大的内容，包括安卓市场、苹果市场的应用下载(有的应用超过的500M)，海量视频的在线播放，4K、VR等高清晰视频的逐渐增多等。
以上的业务发展对CDN节点内的调度设计、存储效率提出了以下几点更高的要求，包括：
1、CDN节点内多台缓存服务器的调度需要具备高效性能：传统的基于文件分布集中记录更新的算法已不能满足这样的诉求，原因是SLB(Server Load Balancing)的内容分布索引需要同多个缓存服务器的内容存储保持一致，需要设计高度的数据一致性算法，针对海量内容的索引进行高效处理(SLB调度的延迟需要很低，1ms以内)。
2、CDN节点内多缓存服务器内容数量级数增大：传统意义上大文件一般为单个文件，文件内容完整存在一台或者多台缓存服务器。但是自苹果公司大规模采用HLS协议，很多视频内容均采用分片文件的方式进行存储，以往一部电影只需对内容存放地址记录一条索引，现在基于分片则约是原来的300倍，如果基于集中内容索引记录模式，则极大加重了SLB的负载和在SLB和缓存服务器中的内容一致性难度。
发明内容
为了解决现有技术中存在的CDN节点内负载均衡负载高、负载均衡和缓存服务器之间在海量内容场景下维护数据一致性困难的问题，本发明提供了一种CDN节点内服务调度的分配方法、装置及存储介质。
本发明提供的CDN节点内服务调度的分配方法，应用于缓存服务器，包括以下步骤：
当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符；
根据所述统一资源定位符，确定所述内容资源的ID；
根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
可选的，在本发明所述的CDN节点内服务调度的分配方法中，在得到用于获取所述内容资源的根缓存服务器之后，还包括：
判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查找所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
可选的，在本发明所述的CDN节点内服务调度的分配方法中，所述通过查找所述缓存服务器，获取所述内容资源，包括：
当所述缓存服务器中没有所述内容资源时，将所述请求消息发送到上级节点或源站，以得到所述内容资源，并缓存所述内容资源。
可选的，在本发明所述的CDN节点内服务调度的分配方法中，还包括：
统计所述内容资源被访问的次数，并根据所述内容资源被访问的次数计算所述内容资源是否为热点内容；
当所述内容资源为热点内容、且当接收到所述根缓存服务器反馈的热点内容时，缓存所述热点内容。
可选的，在本发明所述的CDN节点内服务调度的分配方法中，所述根据所述统一资源定位符，确定所述内容资源的ID，包括：
在所述统一资源定位符中提取出域名信息；
根据所述统一资源定位符，利用预设的内容匹配规则计算出内容资源信息；
根据所述域名信息和所述内容资源信息得到内容资源的ID。
可选的，在本发明所述的CDN节点内服务调度的分配方法中，根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，包括：
根据所述内容资源的ID、及所述CDN节点内所有的缓存服务器的集合，利用预设的一致性哈希算法进行计算，得到根缓存服务器器。
本发明还提供了一种CDN节点内服务调度的分配装置，包括接收模块、第一计算模块、及第二计算模块：
所述接收模块，用于当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符；
所述第一计算模块，用于根据所述统一资源定位符，确定所述内容资源的ID；
所述第二计算模块，用于根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，还包括内容代理回源模块：
所述内容代理回源模块，用于判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查找所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
本发明还提供了一种CDN节点内服务调度的分配装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的CDN节点内服务调度的分配方法的步骤。
本发明进一步提供了一种存储介质，所述存储介质上存储有CDN节点内服务调度的分配程序，所述CDN节点内服务调度的分配程序被处理器执行时实现如上所述的CDN节点内服务调度的分配方法的步骤。
具体的，所述存储介质为计算机可读存储介质。
本发明的有益效果如下：
本发明实施例提供的CDN节点内服务调度的分配方法、装置及存储介质，在进行CDN节点内部内容调度时，能充分利用算法方式而不用记录和同步内容实际在各缓存服务器索引，极大减轻了SLB调度负载，规避了因内容索引不一致、同步不及时、SLB异常所产生的问题，同时能提升CDN节点内各缓存服务器负载均衡度，降低因突发热点导致某台缓存服务器过热，规避传统采用精确内容索引记录的方案在海量内容场景下所产生的内容一致性难度。
附图说明
图1为本发明方法实施例中CDN节点内服务调度分配方法的流程示意图；
图2为本发明装置实施例中CDN节点内服务调度分配装置的结构示意图；
图3为CDN节点内组成及同外部网元关系结构示意图；
图4为实例1中CDN节点内服务调度分配方法的流程示意图；
图5为实例2中CDN节点内服务调度分配方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的CDN节点内负载均衡负载高、负载均衡和缓存服务器之间在海量内容场景下维护数据一致性困难的问题，本发明提供了一种CDN节点内服务调度的分配方法、装置及存储介质，以下结合附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
根据本发明的方法实施例，提供了一种CDN节点内服务调度的分配方法，应用于缓存服务器，图1为本发明方法实施例中CDN节点内服务调度分配方法的流程示意图，如图1所示，本发明方法实施例的CDN节点内服务调度的分配方法，包括以下步骤：
S101：当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符。
作为本发明方法实施例的一种具体实施方式，缓存服务器在接收到获取内容资源的请求消息之前，还包括：SLB接收用户发送的TCP建链请求，根据TCP连接情况(包括不限于连接数，请求频率，活跃连接数等)，将用户请求负载均衡到某一台缓存服务器(假定为A)。
S102：根据所述统一资源定位符，确定所述内容资源的ID。
具体的，所述根据所述统一资源定位符，确定所述内容资源的ID，包括：在所述统一资源定位符中提取出域名信息；根据所述统一资源定位符，利用预设的内容匹配规则计算出内容资源信息；根据所述域名信息和所述内容资源信息得到内容资源的ID。即对用户URL请求，根据预先设定的内容匹配规则(例如正则表达式)抽取内容ID，可以采用以下公式：内容资源ID＝正则匹配(URL，该域名内容资源的正则表达式)。
S103：根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
具体的，根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，包括：根据所述内容资源的ID、及所述CDN节点内所有的缓存服务器的集合，利用预设的一致性哈希算法进行计算，得到根缓存服务器器。即根据一致性HASH算法，将内容ID唯一映射为后端缓存服务器的某一台，称之为根缓存服务器(假定为B)，可以采用以下公式：内容资源ID的根缓存服务器＝一致性哈希算法(内容资源ID，缓存服务器集合)。
作为本发明方法实施例的一种具体实施方式，在得到用于获取所述内容资源的根缓存服务器之后，还包括：
判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查找所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
可选的，所述通过查找所述缓存服务器，获取所述内容资源，包括：当所述缓存服务器中没有所述内容资源时，将所述请求消息发送到上级节点或源站，以得到所述内容资源，并缓存所述内容资源；即当所述缓存服务器与所述根缓存服务器为同一台服务器、且当所述缓存服务器中没有所述内容资源时，回源到上级节点或源站，以得到所述内容资源，并缓存所述内容资源。在本发明方法实施例的CDN节点内服务调度的分配方法中，还包括：当所述缓存服务器与所述根缓存服务器为同一台服务器、且当所述缓存服务器中有所述内容资源时，将所述内容资源直接发送给用户。
在本发明方法实施例中，当所述缓存服务器与所述根缓存服务器不为同一台服务器时，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应；即当所述缓存服务器与所述根缓存服务器不为同一台服务器时，回源到根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。在本发明方法实施例的CDN节点内服务调度的分配方法中，进一步包括：当回源到根缓存服务器仍然得不到所述内容资源时，继续回源到上级节点或源站，以得到所述内容资源，并将所述内容资源缓存到根缓存服务器。在本发明方法实施例的CDN节点内服务调度的分配方法中，还包括：当所述缓存服务器与所述根缓存服务器不为同一台服务器时，但所述缓存服务器中有所述内容资源时，将所述内容资源直接发送给用户。
在本发明方法实施例的CDN节点内服务调度的分配方法中，还包括：统计所述内容资源被访问的次数，并根据所述内容资源被访问的次数判断所述内容资源是否为热点内容；当所述内容资源为热点内容、且当接收到所述根缓存服务器反馈的热点内容时，缓存所述热点内容。
示例的，统计所述内容资源被访问的次数，并根据所述内容资源被访问的次数计算所述内容资源是否为热点内容，可以采取以下方式：
方式一：按照时间维度、内容ID维度统计单位时间内内容访问次数，计算出内容是否为热点。
方式二：按照时间维度、内容ID维度统计单位时间内内容访问流量，计算出内容是否热点。
对于小文件(文件大小小于2M)，按照方式一实现，对于大文件(文件大小大于等于2M)，则按照方式二实现。
具体计算是否为热点内容可以采用以下公式：是否为热点内容＝热点内容计算算法(域名，内容ID，服务次数，服务流量，时间)。
在本发明方法实施例中，步骤S103可以也表示为以下步骤：
(1)当缓存服务器A有内容资源时，直接将内容资源返回给用户；
(2)当缓存服务器A没有内容资源时，如果A和B为同一台缓存服务器，进入步骤(3)；
如果A和B为不同缓存服务器，分为两种情况：第一种情况为为：当内容资源为非热点内容：A代理回源到B，当内容经过此A时不缓存此内容；第二种情况为：当内容资源为热点内容：当内容经过A时缓存此内容。
(3)回源到上级节点/源站，并缓存此内容到B。
本发明方法实施例提供的CDN节点内服务调度的分配方法，在进行CDN节点内部内容调度时，能充分利用算法方式而不用记录和同步内容实际在各缓存服务器索引，极大减轻了SLB调度负载，规避了因内容索引不一致、同步不及时、SLB异常所产生的问题，同时能提升CDN节点内各缓存服务器负载均衡度，降低因突发热点导致某台缓存服务器过热，规避传统采用精确内容索引记录的方案在海量内容场景下所产生的内容一致性难度。
与本发明的方法实施例相对应，本发明的装置实施例提供了一种CDN节点内服务调度的分配装置，应用于缓存服务器，图2为本发明装置实施例中CDN节点内服务调度分配装置的结构示意图，如图2所示，本发明装置实施例的CDN节点内服务调度的分配装置，包括接收模块20、第一计算模块22、及第二计算模块24：
所述接收模块20，用于当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符；
所述第一计算模块22，用于根据所述统一资源定位符，确定所述内容资源的ID；
所述第二计算模块24，用于根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，还包括内容代理回源模块26：
所述内容代理回源模块26，用于判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查找所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，所述内容代理回源模块26，具体用于：
当所述缓存服务器中没有所述内容资源时，将所述请求消息发送到上级节点或源站，以得到所述内容资源，并缓存所述内容资源。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，还包括内容热点统计模块28、和内容缓存模块30：
所述内容热点统计模块28，用于统计所述内容资源被访问的次数，并根据所述内容资源被访问的次数计算所述内容资源是否为热点内容；
所述内容缓存模块30，用于当所述内容资源为热点内容、且当接收到所述根缓存服务器反馈的所述热点内容时，缓存所述热点内容。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，所述第一计算模块22，具体用于：
在所述统一资源定位符中提取出域名信息；
根据所述统一资源定位符，利用预设的内容匹配规则计算出内容资源信息；
根据所述域名信息和所述内容资源信息得到内容资源的ID。
可选的，在本发明所述的CDN节点内服务调度的分配装置中，所述第二计算模块24，具体用于：
根据所述内容资源的ID、及所述CDN节点内所有的缓存服务器的集合，利用预设的一致性哈希算法进行计算，得到根缓存服务器器。
图3为CDN节点内组成及同外部网元关系结构示意图。如图3所示，在CDN节点内包括SLB(Server Load Balancing)和缓存服务器，其中在所述缓存服务器中包括内容去重模块(包括上文中的第一计算模块22和第二计算模块24)、内容热点统计模块28、内容代理回源模块26、内容缓存模块30及内容复制模块。
本发明装置实施例提供的CDN节点内服务调度的分配装置，在进行CDN节点内部内容调度时，能充分利用算法方式而不用记录和同步内容实际在各缓存服务器索引，极大减轻了SLB调度负载，规避了因内容索引不一致、同步不及时、SLB异常所产生的问题，同时能提升CDN节点内各缓存服务器负载均衡度，降低因突发热点导致某台缓存服务器过热，规避传统采用精确内容索引记录的方案在海量内容场景下所产生的内容一致性难度。
为了更加详细的说明本发明方法实施例的CDN节点内服务调度的分配方法，给出实例1和实例2，图4为实例1中CDN节点内服务调度分配方法的流程示意图，如图4所示，包括以下步骤：
步骤一：
用户(211)向CDN节点的SLB发起TCP建链请求，SLB接收用户发送TCP建链请求，根据TCP连接情况(连接数，请求频率，活跃连接数)，将用户请求负载均衡到缓存服务器(231)
步骤二：
缓存服务器(231)收到用户(211)向CDN节点发起获取内容资源请求,包括请求URI，请求域名Domain等HTTP信息。例如：
https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/bd_logo1_31bdc765.png
步骤三：
缓存服务器(231)根据URI请求、域名信息和预先配置好的该域名的对应内容资源的正则表达式，计算出请求所对应的内容唯一ID。例如用ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/bd_logo1_31bdc765.png做KEY经过MD5计算出内容唯一ID为fb6667636553c773d7d3fd13bc6d4d4e。
缓存服务器(231)通过统计该内容单位时间内访问次数及预先定义的热点计算算法确定内容是否为热点内容。假定这里计算出来fb6667636553c773d7d3fd13bc6d4d4e内容为非热点内容。
缓存服务器(231)采用一致性哈希算法，通过fb6667636553c773d7d3fd13bc6d4d4e，cacheid1,cacheid2,cacheid3计算后此内容的根缓存服务器ID为cacheid3，即缓存服务器(231)。
步骤四：
当缓存服务器(231)没有缓存内容fb6667636553c773d7d3fd13bc6d4d4e时，则向上级CDN节点或源站(241)实时获取内容资源，并将内容资源提取返回给用户(211)。同时，缓存服务器(231)也将内容缓存本地存储。
图5为实例2中CDN节点内服务调度分配方法的流程示意图，如图5所示，包括以下步骤：
步骤一：
用户(211)向CDN节点的SLB发起TCP建链请求，SLB接收用户发送TCP建链请求，根据TCP连接情况(连接数，请求频率，活跃连接数)，将用户请求负载均衡到缓存服务器(232)。
步骤二：
缓存服务器(232)收到用户(211)向CDN节点发起获取内容资源请求,包括请求URI，请求域名Domain等HTTP信息。例如：
https://ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/bd_logo1_31bdc765.png
步骤三：
缓存服务器(232)根据URI请求、域名信息和预先配置好的该域名的对应内容资源的正则表达式，计算出请求所对应的内容唯一ID。例如用ss0.bdstatic.com/5aV1bjqh_Q23odCf/static/superman/img/logo/bd_logo1_31bdc765.png做KEY经过MD5计算出内容唯一ID为fb6667636553c773d7d3fd13bc6d4d4e。
缓存服务器(232)通过热点内容统计计算出来fb6667636553c773d7d3fd13bc6d4d4e内容为热点内容。
缓存服务器(232)采用一致性哈希算法及fb6667636553c773d7d3fd13bc6d4d4e，缓存服务器ID列表等信息计算后此内容的根缓存服务器为缓存服务器(231)。
步骤四：
缓存服务器(232)向缓存服务器(231)发起代理回源请求。
步骤五：
当缓存服务器(231)没有缓存内容fb6667636553c773d7d3fd13bc6d4d4e时，则向上级CDN节点或源站(241)实时获取内容资源，并将内容资源提取返回给缓存服务器(231)。同时，缓存服务器(231)也将内容缓存本地存储。
步骤六：
缓存服务器(232)向用户返回内容数据，并将内容fb6667636553c773d7d3fd13bc6d4d4e缓存在本地存储。
本发明还提供了一种CDN节点内服务调度的分配装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明方法实施例所述的CDN节点内服务调度的分配方法的步骤。
本发明进一步提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有CDN节点内服务调度的分配程序，所述CDN节点内服务调度的分配程序被处理器执行时实现如上所述的CDN节点内服务调度的分配方法的步骤。
本发明实施例提供的CDN节点内服务调度的分配方法、装置和计算机可读存储介质，在进行CDN节点内部内容调度时，能充分利用算法方式而不用记录和同步内容实际在各缓存服务器索引，极大减轻了SLB调度负载，规避了因内容索引不一致、同步不及时、SLB异常所产生的问题，同时能提升CDN节点内各缓存服务器负载均衡度，降低因突发热点导致某台缓存服务器过热，规避传统采用精确内容索引记录的方案在海量内容场景下所产生的内容一致性难度。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种CDN节点内服务调度的分配方法，应用于缓存服务器，其特征在于，包括：
当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符；
根据所述统一资源定位符，确定所述内容资源的ID；
根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
2.如权利要求1所述的CDN节点内服务调度的分配方法，其特征在于，在得到用于获取所述内容资源的根缓存服务器之后，还包括：
判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查找所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
3.如权利要求2所述的CDN节点内服务调度的分配方法，其特征在于，所述通过查找所述缓存服务器，获取所述内容资源，包括：
当所述缓存服务器中没有所述内容资源时，将所述请求消息发送到上级节点或源站，以得到所述内容资源，并缓存所述内容资源。
4.如权利要求2所述的CDN节点内服务调度的分配方法，其特征在于，还包括：
统计所述内容资源被访问的次数，并根据所述内容资源被访问的次数计算所述内容资源是否为热点内容；
当所述内容资源为热点内容、且当接收到所述根缓存服务器反馈的热点内容时，缓存所述热点内容。
5.如权利要求1所述的CDN节点内服务调度的分配方法，其特征在于，所述根据所述统一资源定位符，确定所述内容资源的ID，包括：
在所述统一资源定位符中提取出域名信息；
根据所述统一资源定位符，利用预设的内容匹配规则计算出内容资源信息；
根据所述域名信息和所述内容资源信息得到内容资源的ID。
6.如权利要求1所述的CDN节点内服务调度的分配方法，其特征在于，根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，包括：
根据所述内容资源的ID、及所述CDN节点内所有的缓存服务器的集合，利用预设的一致性哈希算法进行计算，得到根缓存服务器。
7.一种CDN节点内服务调度的分配装置，其特征在于，包括接收模块、第一计算模块、及第二计算模块：
所述接收单元，用于当接收到获取内容资源的请求消息时，在所述请求消息中提取所述内容资源的统一资源定位符；
所述第一计算模块，用于根据所述统一资源定位符，确定所述内容资源的ID；
所述第二计算模块，用于根据所述内容资源的ID，按照预设的选取算法，在所述CDN节点内所有的缓存服务器中进行选取，得到用于获取所述内容资源的根缓存服务器。
8.如权利要求7所述的CDN节点内服务调度的分配装置，其特征在于，还包括内容代理回源模块：
所述内容代理回源模块，用于判断所述缓存服务器与所述根缓存服务器是否为同一台服务器；
若是，通过查所述缓存服务器，获取所述内容资源，并进行请求响应；
若不是，则将所述请求消息发送到所述根缓存服务器，并根据所述根缓存服务器反馈的所述内容资源，进行请求响应。
9.一种CDN节点内服务调度的分配装置，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～6任一项所述的CDN节点内服务调度的分配方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有CDN节点内服务调度的分配程序，所述CDN节点内服务调度的分配程序被处理器执行时实现如权利要求1～6任一项所述的CDN节点内服务调度的分配方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710867903.3A CN109542613A (zh) | 2017-09-22 | 2017-09-22 | 一种cdn节点内服务调度的分配方法、装置及存储介质 |
| PCT/CN2018/107387 WO2019057212A1 (zh) | 2017-09-22 | 2018-09-25 | Cdn节点内服务调度方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710867903.3A CN109542613A (zh) | 2017-09-22 | 2017-09-22 | 一种cdn节点内服务调度的分配方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109542613A true CN109542613A (zh) | 2019-03-29 |
Family
ID=65811023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710867903.3A Withdrawn CN109542613A (zh) | 2017-09-22 | 2017-09-22 | 一种cdn节点内服务调度的分配方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109542613A (zh) |
| WO (1) | WO2019057212A1 (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110098978A (zh) * | 2019-04-12 | 2019-08-06 | 网宿科技股份有限公司 | 一种dns调度的测试方法、装置及网络设备 |
| CN110134896A (zh) * | 2019-05-17 | 2019-08-16 | 山东渤聚通云计算有限公司 | 一种代理服务器的监控过程及智能缓存方法 |
| CN110601802A (zh) * | 2019-08-16 | 2019-12-20 | 网宿科技股份有限公司 | 一种降低集群回父带宽的方法及装置 |
| CN110708369A (zh) * | 2019-09-25 | 2020-01-17 | 深圳市网心科技有限公司 | 设备节点的文件部署方法、装置、调度服务器及存储介质 |
| CN111767991A (zh) * | 2020-06-29 | 2020-10-13 | 重庆大学 | 一种基于深度q学习的测控资源调度方法 |
| CN111787040A (zh) * | 2019-04-04 | 2020-10-16 | 阿里巴巴集团控股有限公司 | 回源、资源请求处理方法和装置、电子设备及计算机可读存储介质 |
| CN112243027A (zh) * | 2020-09-30 | 2021-01-19 | 武汉兴图新科电子股份有限公司 | 一种基于集群技术解决海量媒体流分发问题的系统及方法 |
| CN112513830A (zh) * | 2019-07-15 | 2021-03-16 | 华为技术有限公司 | 内容分发网络中的回源方法及相关装置 |
| CN112953984A (zh) * | 2019-12-10 | 2021-06-11 | 贵州白山云科技股份有限公司 | 数据处理方法、装置、介质及系统 |
| CN113472852A (zh) * | 2021-06-02 | 2021-10-01 | 乐视云计算有限公司 | 一种cdn节点的回源方法、装置及设备 |
| CN114244903A (zh) * | 2021-11-01 | 2022-03-25 | 网宿科技股份有限公司 | 资源调度方法、系统、服务器及存储介质 |
| CN114301848A (zh) * | 2021-12-10 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 基于cdn的通信方法、系统、设备及存储介质 |
| CN114900562A (zh) * | 2022-05-09 | 2022-08-12 | 北京百度网讯科技有限公司 | 一种资源获取方法、装置、电子设备和存储介质 |
| CN115002132A (zh) * | 2022-05-23 | 2022-09-02 | 苏州思萃工业互联网技术研究所有限公司 | 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备 |
| WO2023115592A1 (zh) * | 2021-12-21 | 2023-06-29 | 江苏云工场信息技术有限公司 | 一种cdn节点服务器的回源方法及装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113238836A (zh) * | 2021-04-15 | 2021-08-10 | 网宿科技股份有限公司 | 一种分布式内容调度方法、调度系统及中心服务器 |
| CN113992760B (zh) * | 2021-10-22 | 2024-03-01 | 北京百度网讯科技有限公司 | 回源流量的调度方法、装置、设备以及存储介质 |
| CN114793234B (zh) * | 2022-03-31 | 2023-04-25 | 北京百度网讯科技有限公司 | 消息处理方法、装置、设备和存储介质 |
| CN115473857B (zh) * | 2022-09-14 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 一种资源分发方法、装置、系统、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102668518B (zh) * | 2011-12-02 | 2013-10-02 | 华为技术有限公司 | 一种内容分发网络路由方法、系统和用户终端 |
| EP2850808B1 (en) * | 2012-05-15 | 2016-09-28 | Telefonaktiebolaget LM Ericsson (publ) | Method and apparatus for display of operator ads |
| CN104951480B (zh) * | 2014-03-31 | 2018-05-08 | 杭州迪普科技股份有限公司 | 一种cdn系统中资源存储的索引装置及方法 |
| CN104159132B (zh) * | 2014-08-22 | 2018-11-20 | 华为软件技术有限公司 | 视频定制化服务的实现方法及装置 |
| CN106657196B (zh) * | 2015-11-02 | 2020-07-24 | 华为技术有限公司 | 一种缓存内容淘汰方法及缓存装置 |
-
2017
- 2017-09-22 CN CN201710867903.3A patent/CN109542613A/zh not_active Withdrawn
-
2018
- 2018-09-25 WO PCT/CN2018/107387 patent/WO2019057212A1/zh active Application Filing
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787040A (zh) * | 2019-04-04 | 2020-10-16 | 阿里巴巴集团控股有限公司 | 回源、资源请求处理方法和装置、电子设备及计算机可读存储介质 |
| CN110098978A (zh) * | 2019-04-12 | 2019-08-06 | 网宿科技股份有限公司 | 一种dns调度的测试方法、装置及网络设备 |
| CN110134896A (zh) * | 2019-05-17 | 2019-08-16 | 山东渤聚通云计算有限公司 | 一种代理服务器的监控过程及智能缓存方法 |
| CN110134896B (zh) * | 2019-05-17 | 2023-05-09 | 山东渤聚通云计算有限公司 | 一种代理服务器的监控过程及智能缓存方法 |
| CN112513830A (zh) * | 2019-07-15 | 2021-03-16 | 华为技术有限公司 | 内容分发网络中的回源方法及相关装置 |
| CN110601802B (zh) * | 2019-08-16 | 2022-05-20 | 网宿科技股份有限公司 | 一种降低集群回父带宽的方法及装置 |
| CN110601802A (zh) * | 2019-08-16 | 2019-12-20 | 网宿科技股份有限公司 | 一种降低集群回父带宽的方法及装置 |
| CN110708369A (zh) * | 2019-09-25 | 2020-01-17 | 深圳市网心科技有限公司 | 设备节点的文件部署方法、装置、调度服务器及存储介质 |
| CN112953984A (zh) * | 2019-12-10 | 2021-06-11 | 贵州白山云科技股份有限公司 | 数据处理方法、装置、介质及系统 |
| CN112953984B (zh) * | 2019-12-10 | 2023-07-28 | 贵州白山云科技股份有限公司 | 数据处理方法、装置、介质及系统 |
| CN111767991A (zh) * | 2020-06-29 | 2020-10-13 | 重庆大学 | 一种基于深度q学习的测控资源调度方法 |
| CN111767991B (zh) * | 2020-06-29 | 2023-08-15 | 重庆大学 | 一种基于深度q学习的测控资源调度方法 |
| CN112243027A (zh) * | 2020-09-30 | 2021-01-19 | 武汉兴图新科电子股份有限公司 | 一种基于集群技术解决海量媒体流分发问题的系统及方法 |
| CN112243027B (zh) * | 2020-09-30 | 2023-04-07 | 武汉兴图新科电子股份有限公司 | 一种基于集群技术解决海量媒体流分发问题的系统及方法 |
| CN113472852B (zh) * | 2021-06-02 | 2023-07-25 | 乐视云网络技术(北京)有限公司 | 一种cdn节点的回源方法、装置、设备以及存储介质 |
| CN113472852A (zh) * | 2021-06-02 | 2021-10-01 | 乐视云计算有限公司 | 一种cdn节点的回源方法、装置及设备 |
| CN114244903A (zh) * | 2021-11-01 | 2022-03-25 | 网宿科技股份有限公司 | 资源调度方法、系统、服务器及存储介质 |
| CN114244903B (zh) * | 2021-11-01 | 2024-05-28 | 网宿科技股份有限公司 | 资源调度方法、系统、服务器及存储介质 |
| CN114301848A (zh) * | 2021-12-10 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 基于cdn的通信方法、系统、设备及存储介质 |
| CN114301848B (zh) * | 2021-12-10 | 2023-08-29 | 阿里巴巴（中国）有限公司 | 基于cdn的通信方法、系统、设备及存储介质 |
| WO2023115592A1 (zh) * | 2021-12-21 | 2023-06-29 | 江苏云工场信息技术有限公司 | 一种cdn节点服务器的回源方法及装置 |
| CN114900562A (zh) * | 2022-05-09 | 2022-08-12 | 北京百度网讯科技有限公司 | 一种资源获取方法、装置、电子设备和存储介质 |
| CN115002132A (zh) * | 2022-05-23 | 2022-09-02 | 苏州思萃工业互联网技术研究所有限公司 | 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备 |
| CN115002132B (zh) * | 2022-05-23 | 2024-05-28 | 苏州思萃工业互联网技术研究所有限公司 | 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019057212A1 (zh) | 2019-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109542613A (zh) | 一种cdn节点内服务调度的分配方法、装置及存储介质 | |
| US9237114B2 (en) | Managing resources in resource cache components | |
| US9148332B2 (en) | Content delivery network | |
| CN102006330B (zh) | 分布式缓存系统、数据的缓存方法及缓存数据的查询方法 | |
| CN104714965B (zh) | 静态资源去重方法、静态资源管理方法及装置 | |
| CN103108008B (zh) | 一种下载文件的方法及文件下载系统 | |
| EP2599295A1 (en) | Systems and methods for video cache indexing | |
| CN106357539B (zh) | 一种数据获取方法和设备 | |
| CN104506493A (zh) | 一种实现hls内容回源和缓存的方法 | |
| CN103139301A (zh) | 应用于内容分发网络系统中的互联网访问加速方法及装置 | |
| CN106789956B (zh) | 一种基于hls的p2p点播方法及系统 | |
| US20230040213A1 (en) | Cache management in content delivery systems | |
| US11372937B1 (en) | Throttling client requests for web scraping | |
| CN105978936A (zh) | Cdn服务器及其缓存数据的方法 | |
| JP2018506772A (ja) | ネットワークアドレスの解決 | |
| CN107682399A (zh) | 一种基于大数据的文件夹断点续传方法 | |
| WO2022057525A1 (zh) | 一种数据找回方法、装置、电子设备及存储介质 | |
| US11206302B2 (en) | Method and device for feeding back a resource file | |
| EP2901658B1 (en) | Request-agnostic caching for a data resource collection | |
| CN113300875A (zh) | 回源数据校验方法、服务器、系统及存储介质 | |
| CN110109871B (zh) | 一种跨站点的高能物理数据访问方法及系统 | |
| CN107249017B (zh) | 一种通过cdn网络获取hls内容的方法及服务器 | |
| CN113010373B (zh) | 数据监测方法、装置、电子设备及存储介质 | |
| CN110555040A (zh) | 一种数据缓存方法、装置及服务器 | |
| CN112861031B (zh) | Cdn中url刷新方法、装置、设备以及cdn节点 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190329 |
|
| WW01 | Invention patent application withdrawn after publication |