CN109683816A - 一种回源树节点的磁盘配置方法及系统 - Google Patents

一种回源树节点的磁盘配置方法及系统 Download PDF

Info

Publication number
CN109683816A
CN109683816A CN201811532602.6A CN201811532602A CN109683816A CN 109683816 A CN109683816 A CN 109683816A CN 201811532602 A CN201811532602 A CN 201811532602A CN 109683816 A CN109683816 A CN 109683816A
Authority
CN
China
Prior art keywords
node
storage space
disk storage
source
hit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811532602.6A
Other languages
English (en)
Other versions
CN109683816B (zh
Inventor
胡文
吴岩
丁浩
张健威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201811532602.6A priority Critical patent/CN109683816B/zh
Publication of CN109683816A publication Critical patent/CN109683816A/zh
Application granted granted Critical
Publication of CN109683816B publication Critical patent/CN109683816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种回源树节点的磁盘配置方法及系统，基于数据统计拟合算法，根据期望回源命中率目标回源命中率以及收集CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，并从叶子节点开始，逐级调整各个每个IDC节点对应的磁盘存储空间大小。本发明同时基于每个IDC节点与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，以及每个IDC节点的子节点数量，来逐级调整各个每个IDC节点对应的磁盘存储空间大小。本发明考虑了每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化的情况，因此，减小了磁盘存储空间的配置误差和回源带宽，并提高了回源命中率和回源效率。

Description

一种回源树节点的磁盘配置方法及系统
技术领域
本发明涉及CDN技术领域，更具体的说，涉及一种回源树节点的磁盘配置方法及系统。
背景技术
CDN(Content Delivery Network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的、在现有的互联网基础之上的一层智能虚拟网络。CDN采用分层式架构，能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息，将最边缘的IDC(Internet Data Center，互联网数据中心)节点部署到更靠近用户的区域，就近服务用户请求，从而减少用户访问源站带来的服务延迟。
当用户被调度的边缘IDC节点没有存储用户请求的内容时，边缘IDC节点就需要向上级IDC节点发起回源请求，如果上级IDC节点没有存储用户请求的内容时，则需要继续向更高级IDC节点发起回源请求，依次迭代直到获取到用户请求的内容。边缘IDC节点向源站发起回源请求的路径组成了一条以边缘IDC节点为起点，源站为终点的回源路径。所有的回源路径则组成了以源站为根节点，边缘IDC节点为叶子节点的CDN回源树。
在CDN回源树架构中，每个IDC节点都有对应的磁盘，用户请求的内容就存储在磁盘中。现有技术中，一般仅根据每个IDC节点的带宽大小进行磁盘配置，也即根据每个IDC节点的带宽大小进行存储空间的配置。而本申请的发明人经过研究后发现，每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化，因此，现有的磁盘配置方法存在一定的误差，从而造成回源命中率不理想，回源效率低，回源带宽增大，进而影响用户体验。
发明内容
有鉴于此，本发明公开一种回源树节点的磁盘配置方法及系统，以实现同时基于每个IDC节点与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，即每个IDC节点的带宽大小，以及每个IDC节点的子节点数量，来逐级调整每个IDC节点对应的磁盘存储空间大小，从而减小磁盘存储空间的配置误差和回源带宽，提高回源命中率和回源效率，从而提高了用户体验。
一种回源树节点的磁盘配置方法，包括：
收集内容分发网络CDN回源树中每个互联网数据中心IDC节点的三元组数据，所述三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，所述磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小；
基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
根据所述对应关系，从所述CDN回源树叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
可选的，所述逐级调整每个IDC节点对应的磁盘存储空间大小的过程包括：
在当前IDC节点对应的磁盘存储空间调整完成后，收集所述当前IDC节点对应的回源请求日志；
根据所述回源请求日志，计算所述当前IDC节点的回源命中率，并记为第一回源命中率；
将所述第一回源命中率与收集的所述当前IDC节点的实际回源命中率进行对比；
若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整。
可选的，还包括：
若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值不在所述阈值范围内，则判定所述当前IDC节点的磁盘存储空间保持不变。
可选的，所述基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系的过程，具体包括：
从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
将选取的所述IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围；
对于所述IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小；
将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到所述目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
可选的，所述采用外插算法，拟合得到磁盘存储空间比例大小和子节点数量的对应关系的过程，具体包括：
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b，公式(1)如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量；
公式(2)如下：
式中，L为yi的偏差平方和，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，yi′为第i个样本点拟合的磁盘存储空间比例大小；
将拟合系数a和拟合系数b带入公式(3)，得到磁盘存储空间比例大小和子节点数量的对应关系，公式(3)如下：
y′＝10b+xa (3)。
一种回源树节点的磁盘配置系统，包括：
收集单元，用于收集内容分发网络CDN回源树中每个互联网数据中心IDC节点的三元组数据，所述三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，所述磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小；
拟合单元，用于基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
调整单元，用于根据所述对应关系，从叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
可选的，所述调整单元包括：
收集子单元，用于在当前IDC节点对应的磁盘存储空间调整完成后，收集所述当前IDC节点对应的回源请求日志；
计算子单元，用于根据所述回源请求日志，计算所述当前IDC节点的回源命中率，并记为第一回源命中率；
对比子单元，用于将所述第一回源命中率与收集的所述当前IDC节点的实际回源命中率进行对比；
调整子单元，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整。
可选的，还包括：
判定子单元，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值不在所述阈值范围内，则判定所述当前IDC节点的磁盘存储空间保持不变。
可选的，所述拟合单元包括：
选取子单元，用于从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
划分子单元，用于将选取的所述IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围；
合并子单元，用于对于所述IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小；
拟合子单元，用于将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到所述目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
可选的，所述拟合子单元具体用于：
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b，公式(1)如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量；
公式(2)如下：
式中，L为yi的偏差平方和，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，yi′为第i个样本点拟合的磁盘存储空间比例大小；
将拟合系数a和拟合系数b带入公式(3)，得到磁盘存储空间比例大小和子节点数量的对应关系，公式(3)如下：
y′＝10b+xa (3)。
从上述的技术方案可知，本发明公开的回源树节点的磁盘配置方法及系统，基于数据统计拟合算法，根据目标回源命中率以及收集CDN回源树中每个IDC节点的三元组数据，三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，从而基于该对应关系，从叶子节点开始，逐级调整每个IDC节点对应的磁盘存储空间大小。相对应传统方案仅根据每个IDC节点的带宽大小进行磁盘配置而言，本发明同时基于每个IDC节点与该IDC节点的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，即每个IDC节点的带宽大小，以及每个IDC节点的子节点数量，来逐级调整每个IDC节点对应的磁盘存储空间大小，由于本发明考虑了每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化的情况，因此，减小了磁盘存储空间的配置误差和回源带宽，并提高了回源命中率和回源效率，从而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本发明一实施例公开的一种回源树结构示意图；
图2为本发明实施例公开的一种回源树节点的磁盘配置方法流程图；
图3为本发明实施例公开的一个具体实施例的磁盘存储空间比例大小和子节点数量的对应关系曲线图；
图4为本发明一实施例公开的一种采用灰度调整回源树的结构示意图；
图5为本发明公开的一种对每个IDC节点对应的磁盘存储空间大小调整的方法流程图；
图6为本发明公开的一种回源树节点的磁盘配置系统的结构示意图；
图7为本发明公开的一种拟合单元的结构示意图；
图8为本发明公开的一种调整单元的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为方便理解，下面对本发明涉及到的一些概念解释如下：
回源树：边缘节点向源站的所有回源路径构成的树结构，如图1所示的回源树结构示意图。
根节点：没有上级父节点的节点，如图1中的节点A，根节点在CDN回源树结构中表示源站。
叶子节点：没有下级子节点的节点，如图1中的节点K、节点L、节点F、节点G、节点M、节点I和节点J，叶子节点在CDN回源树结构中边缘IDC节点。
中间节点：除了根节点和叶子节点，剩余的节点为中间节点，如图1中的节点E、节点B、节点C、节点H和节点D。
回源命中率：CDN回源树中，每个IDC节点之间的请求除了回源请求外，还有同步请求，因此，需要从每个IDC节点的回源请求日志中过滤出回源请求总个数以及回源请求被命中总个数，二者之商即为回源命中率。
回源效率：一方面，包含回源命中率，即回源请求是否命中；另一方面，包含最终回源命中所需网络跳数与延迟，即回源请求最终沿着回源树向上级节点发起回源的次数以及对应的时间延迟。
回源带宽：由于边缘IDC节点没有存储用户请求的内容，引起边缘IDC节点向上级IDC节点发起回源请求所消耗的带宽。
在现有的CDN回源树中，根据每个IDC节点的带宽大小进行磁盘配置的过程如下：
首先，根据实际业务流量确定需要购买的带宽；然后，用每个IDC节点跑满带宽的流量除以磁盘读写速度，得到每个IDC节点对应所需的磁盘块数。例如，购买某个IDC机房出口带宽为80Gb/s，磁盘读写速度为100MB/s,在带宽利用率为100％的情况下(实际业务场景中低于100％)，需要配置的磁盘块数为：80*1000/8/100＝100块。在每块磁盘的存储空间大小相同的情况下，磁盘块数决定了相对应的IDC节点的存储空间大小。
受限于不同网络运营商之间高昂的跨网带宽费用，上下级节点的连接方式主要取决于同一区域内，购买的相同运营商的带宽大小关系。现有技术中，仅仅从每个IDC节点的带宽角度设置上级节点的分支个数以及磁盘的存储空间大小，并没有考虑该IDC节点的子节点个数。而本申请的发明人经过研究后发现，每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化，举例说明，在相同回源命中率的前提下，一个父节点与相对应的多个子节点的磁盘存储空间比例大小(也即磁盘存储空间大小)，应该小于一个父节点与相对应的一个子节点的磁盘存储空间比例大小，原因在于多个子节点的回源请求存在相同的概率。因此，现有的磁盘配置方法存在一定的误差，从而造成回源命中率不理想，回源效率低，回源带宽增大，进而影响用户体验。
基于此，本发明实施例公开了一种回源树节点的磁盘配置方法，基于数据统计拟合算法，根据目标回源命中率以及收集CDN回源树中每个IDC节点的三元组数据三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，从而基于该对应关系，从叶子节点开始，逐级调整每个IDC节点对应的磁盘存储空间大小。相对应传统方案仅根据每个IDC节点的带宽大小进行磁盘配置而言，本发明同时基于每个IDC节点与该IDC节点的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，即每个IDC节点的带宽大小，以及每个IDC节点的子节点数量，来逐级调整每个IDC节点对应的磁盘存储空间大小，由于本发明考虑了每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化的情况，因此，使得磁盘存储空间配置的误差小，并提高了回源命中率和回源效率，减少了回源带宽，从而提高了用户体验。
参见图2，本发明一实施例公开了一种回源树节点的磁盘配置方法流程图，该方法包括步骤：
步骤S101、收集CDN回源树中每个IDC节点的三元组数据，所述三元组数据包括：子节点数量、自身磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小以及实际回源命中率；
具体的，(1)收集每个IDC节点的子节点数量的过程包括：可通过CDN服务提供商提供的查询接口收集回源拓扑信息，或是通过追溯回源用户请求内容流程构建回源拓扑信息，回源拓扑信息即每个IDC节点之间的父子关系，以图1所示的回源树为例，回源拓扑信息可以表述为：
节点A的子节点为节点B、节点C和节点D；
节点B的子节点为节点E和节点F；
节点C的子节点为节点G；
节点D的子节点为节点H、节点I和节点J；
节点E的子节点为节点K和节点L；
节点H的子节点为节点M。
其中，回源用户请求内容包括：表征请求内容唯一的标志符，发起回源请求的IDC节点，以及回源请求命中状态(是/否)等信息。
通过追溯回源用户请求内容流程构建回源拓扑信息的过程可参见现有方案，此处不再赘述。
(2)收集每个IDC节点的磁盘存储空间比例大小，磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小，具体过程包括：
首先，收集每个IDC节点的磁盘存储空间，具体为：通过CDN服务商的资产管理平台，对每个IDC节点包含的节点服务器台数M、每个节点服务器的硬盘块数N以及单盘硬盘的存储空间Q进行统计，M*N*Q即可得到每个IDC节点的磁盘存储空间。
其次，对同一个IDC节点的所有子节点的磁盘存储空间进行求和，得到所有字节点的磁盘存储空间总和；
最后，将IDC节点的磁盘存储空间与该IDC节点的所有字节点的磁盘存储空间总和求商，得到磁盘存储空间比例大小。
(3)收集每个IDC节点的实际回源命中率的过程包括：CDN回源树中，每个IDC节点之间的请求除了回源请求外，还有同步请求，因此，需要从每个IDC节点的回源请求日志中过滤出回源请求总个数以及回源请求被命中总个数，回源请求被命中总个数除以回源请求总个数，得到该IDC节点的实际回源命中率。
需要特别说明的是，由于CDN回源树中的叶子节点无子节点，因此步骤S101中收集的是中间节点和根节点的节点信息，每个节点信息为一个三元组，该三元组包括：IDC节点的子节点数量、IDC节点的磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小、以及IDC节点的回源命中率。
步骤S102、基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
需要说明的是，本步骤的目标为：在已知某个IDC节点的目标回源命中率的情况下，得到该IDC节点的磁盘存储空间比例大小和子节点数量的对应关系。
理论上，一个IDC节点的子节点数量(即分支数)越多，子节点回源到该节点的回源请求相同的可能性越大，因此该IDC节点所需的存储空间越小。进而，在该IDC存储空间与所有子节点存储空间之和的比例越小。
拟合出磁盘存储空间比例大小和子节点数量的对应关系的过程，实际上是一个建模的过程，建模目标为：在已知目标回源命中率(该期望回源命令中可以看成是一个基准值)，不同分支连接方式下，达到目标回源命中率(该目标回源命中率为基于上述基准值得到的一个实际值)，上下级IDC节点最优的磁盘存储空间比例大小。从而可以在保证回源命中率的情况下，在分支连接方式以及对应磁盘比例之间直接做权衡。
具体的，(1)从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
(2)将选取的IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围，比如，划分为(0，10％)、(10％，20％)、(20％，30％)、(30％，40％)、(40％，50％)、(50％，60％)、(60％，70％)、(70％，80％)、(80％，90％)和(90％，100％)10个回源命中率范围。
其中，IDC节点样本数据包括：多个IDC节点以及每个IDC节点的三元组数据，该三元组数据包括：每个IDC节点的子节点数量、每个IDC节点的磁盘存储空间比例大小，以及每个IDC节点的实际回源命中率，磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小。
(3)对于IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小。
本申请的发明人，根据目标IDC节点样本数据中，每个IDC节点的子节点数量与该IDC节点的磁盘存储空间比例大小的比例关系发现，磁盘存储空间比例大小随着子节点数量的增多而快速变小；同时，在指数坐标空间，磁盘存储空间比例大小和子节点数量表现出强线性相关性。因此，本申请采用外插算法，基于回源命中率寻找最优子节点数量。
需要特别说明的是，现有方案中，每个IDC节点的最大子节点数量通常小于6，而本申请中寻找的最优子节点数量可能大于6。
(4)将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
本申请所采用的外插算法具体可以为指数线性拟合算法，具体可以表示为公式(1)，公式(1)具体如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量。
公式(1)拟合的目标是得到拟合系数a和b，从而使yi的偏差平方和L最小，偏差平方和L的表达式如公式(2)，具体如下：
式中，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，yi′为第i个样本点拟合的磁盘存储空间比例大小。
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b。
因此，y′和x的关系可用公式(3)表示，公式(3)如下：
y′＝10b+xa (3)；
需要特别说明的是，步骤S102拟合出的磁盘存储空间比例大小和子节点数量的对应关系，在实际应用中，可以用曲线表示。
举例说明，假设目标回源命中率范围属于(80％，90％)的样本拟合结果如图3所示，其中，图3中的横轴为子节点数量，纵轴为磁盘存储空间比例大小，从图3中可以看出，随着子节点数量的增多，父节点所需的磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小逐渐减小，同时，减小的速度放缓。
步骤S103、根据拟合出的磁盘存储空间比例大小和子节点数量的对应关系，从叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
其中，叶子节点不需要调整磁盘存储空间大小，本步骤是从叶子节点开始统计磁盘存储空间大小，为调整该叶子节点的父节点做准备。
在实际应用中，可以根据区域或者运营商进行灰度调整，灰度调整指的是一开始对局部进行调整，而不是一开始就全网范围调整。以图4为例，当需要改造图4所示所有节点，即节点A～节点M时，可以先调整节点D、节点H、节点I、节点J和节点M。
以图4所示回源树右侧举例说明，假设节点D为电信机房节点，带宽为120Gbps，节点H、节点I、节点J和节点M的电信节点出口带宽均为40Gbps，根据磁盘块数由带宽决定可以得到，节点H、节点I和节点J的磁盘存储空间大小相等，假设为a，那么，节点H、节点I和节点J的磁盘存储空间大小均为节点D的磁盘存储空间的1/3。但是，根据拟合出的磁盘存储空间比例大小和子节点数量的对应关系可知，当节点H只有单个子节点M时，节点M的存储空间也为a，节点H的存储空间应该为节点M磁盘存储空间的2.5倍，因此，节点H的存储空间应该扩大为2.5a，同时，对于节点D，具有的子节点个数为3，节点D的磁盘存储空间应该为子节点存储空间和的1倍，因此，节点D的磁盘存储空间最终应该扩大为2.5a+a+a＝4.5a。
需要说明的是，因为磁盘块速由带宽决定，因此，图4所示实施例中，节点H、节点I、节点J和节点M的磁盘存储空间大小相等，且均为a。
综上可知，本发明公开的回源树节点的磁盘配置方法，基于数据统计拟合算法，根据目标回源命中率以及收集CDN回源树中每个IDC节点的三元组数据，每个三元组数据包括：IDC节点的子节点数量，磁盘存储空间比例大小以及实际回源命中率，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，从而基于该对应关系，从叶子节点开始，逐级调整每个IDC节点对应的磁盘存储空间大小。相对应传统方案仅根据每个IDC节点的带宽大小进行磁盘配置而言，本发明同时基于每个IDC节点与该IDC节点的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，即每个IDC节点的带宽大小，以及每个IDC节点的子节点数量，来逐级调整每个IDC节点对应的磁盘存储空间大小，由于本发明考虑了每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化的情况，因此，使得磁盘存储空间配置的误差小，并提高了回源命中率和回源效率，减少了回源带宽，从而提高了用户体验。
具体的，参见图5，本发明一实施例公开的一种对每个IDC节点对应的磁盘存储空间大小调整的方法流程图，包括步骤：
步骤S201、在当前IDC节点对应的磁盘存储空间调整完成后，收集当前IDC节点对应的回源请求日志；
需要特别说明的是，在实际应用中，不对叶子节点进行磁盘存储空间调整，而是从叶子节点的父节点开始调整，因此，本步骤中所述的当前IDC节点不包括叶子节点。
在实际应用中，可以根据叶子节点的父节点所属区域或是运营商进行调整。
步骤S202、根据回源请求日志，计算当前IDC节点的回源命中率，并记为第一回源命中率；
具体的，在CDN回源树中，每个IDC节点之间的请求除了回源请求外，还有同步请求，因此，需要从每个IDC节点的回源请求日志中过滤出回源请求总个数以及回源请求被命中总个数，二者之商即为回源命中率。
步骤S203、将第一回源命中率与收集的当前IDC节点的实际回源命中率进行对比；
步骤S204、若当前IDC节点的第一回源命中率与实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整；
步骤S205、若第一回源命中率与实际的回源命中率的差值不在阈值范围内，则判定当前IDC节点的磁盘存储空间保持不变，即仍为收集该前IDC节点的三元组数据时的自身磁盘存储空间。
当第一回源命中率与实际的回源命中率的差值不在阈值范围内，则说明根据拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，对当前IDC节点的磁盘存储空间调整效果不佳，在这种情况下，将不需要对当前IDC节点的磁盘存储空间进行修改。
综上可知，本发明在对每个DC节点对应的磁盘存储空间大小进行调整时，通过在当前IDC节点对应的磁盘存储空间调整完成后，计算当前IDC节点的第一回源命中率，并将计算的第一回源命中率与该当前IDC节点的实际回源命中率进行比较，来确定当前IDC节点调整后的磁盘存储空间是否合理，并在当前IDC节点的第一回源命中率与实际回源命中率的差值在阈值范围内时，才确定对当前IDC节点的磁盘存储空间的调整合理，并继续对下一个节点的磁盘存储空间进行调整，反之，在当前IDC节点的第一回源命中率与实际回源命中率的差值不在阈值范围内时，则判定对当前IDC节点的磁盘存储空间调整的范围过大，不符合实际需求，在这种情况下，判定当前IDC节点的磁盘存储空间为自身磁盘存储空间。本发明通过将当前IDC节点磁盘存储空间调整后的第一回源命中率与收集时的实际回源命中率进行比较，来确定调整后的磁盘存储空间是否合理，从而大大提高了对每个IDC节点磁盘存储空间调整的准确性。
与上述方法实施例相对应，本发明还公开了一种回源树节点的磁盘配置系统。
参见图6，本发明一实施例公开的一种回源树节点的磁盘配置系统的结构示意图，该系统包括：
收集单元301，用于收集内容分发网络CDN回源树中每个互联网数据中心IDC节点的三元组数据，所述三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，所述磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小；
具体的，(1)收集每个IDC节点的子节点数量的过程包括：可通过CDN服务提供商提供的查询接口收集回源拓扑信息，或是通过追溯回源用户请求内容流程构建回源拓扑信息，回源拓扑信息即每个IDC节点之间的父子关系，参见方法实施例对图1所示的回源树的说明。
其中，回源用户请求内容包括：表征请求内容唯一的标志符，发起回源请求的IDC节点，以及回源请求命中状态(是/否)等信息。
通过追溯回源用户请求内容流程构建回源拓扑信息的过程可参见现有方案，此处不再赘述。
(2)收集每个IDC节点的磁盘存储空间比例大小，磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小，具体过程包括：
首先，收集每个IDC节点的磁盘存储空间，具体为：通过CDN服务商的资产管理平台，对每个IDC节点包含的节点服务器台数M、每个节点服务器的硬盘块数N以及单盘硬盘的存储空间Q进行统计，M*N*Q即可得到每个IDC节点的磁盘存储空间。
其次，对同一个IDC节点的所有子节点的磁盘存储空间进行求和，得到所有字节点的磁盘存储空间总和；
最后，将IDC节点的磁盘存储空间与该IDC节点的所有字节点的磁盘存储空间总和求商，得到磁盘存储空间比例大小。
(3)收集每个IDC节点的实际回源命中率的过程包括：CDN回源树中，每个IDC节点之间的请求除了回源请求外，还有同步请求，因此，需要从每个IDC节点的回源请求日志中过滤出回源请求总个数以及回源请求被命中总个数，回源请求被命中总个数除以回源请求总个数，得到该IDC节点的实际回源命中率。
需要特别说明的是，由于CDN回源树中的叶子节点无子节点，因此收集单元301收集的是中间节点和根节点的节点信息，每个节点信息为一个三元组，该三元组包括：IDC节点的子节点数量、IDC节点的磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小、以及IDC节点的回源命中率。
拟合单元302，用于基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
需要说明的是，拟合单元302的目标为：在已知某个IDC节点的目标回源命中率的情况下，得到该IDC节点的磁盘存储空间比例大小和子节点数量的对应关系。
理论上，一个IDC节点的子节点数量(即分支数)越多，子节点回源到该节点的回源请求相同的可能性越大，因此该IDC节点所需的存储空间越小。进而，在该IDC存储空间与所有子节点存储空间之和的比例越小。
拟合出磁盘存储空间比例大小和子节点数量的对应关系的过程，实际上是一个建模的过程，建模目标为：在已知目标回源命中率(该期望回源命令中可以看成是一个基准值)，不同分支连接方式下，达到目标回源命中率(该目标回源命中率为基于上述基准值得到的一个实际值)，上下级IDC节点最优的磁盘存储空间比例大小。从而可以在保证回源命中率的情况下，在分支连接方式以及对应磁盘比例之间直接做权衡。
参见图7，本发明一实施例公开的一种拟合单元的结构示意图，在实际应用中，拟合单元302具体包括：
选取子单元401，用于从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
划分子单元402，用于将选取的所述IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围；
比如，划分为(0，10％)、(10％，20％)、(20％，30％)、(30％，40％)、(40％，50％)、(50％，60％)、(60％，70％)、(70％，80％)、(80％，90％)和(90％，100％)10个回源命中率范围。
其中，IDC节点样本数据包括：多个IDC节点以及每个IDC节点的三元组数据，该三元组数据包括：每个IDC节点的子节点数量、每个IDC节点的磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小、以及每个IDC节点的回源命中率
合并子单元403，用于对于所述IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小；
本申请的发明人，根据目标IDC节点样本数据中，每个IDC节点的子节点数量与该IDC节点的磁盘存储空间比例大小的比例关系发现，磁盘存储空间比例大小随着子节点数量的增多而快速变小；同时，在指数坐标空间，磁盘存储空间比例大小和子节点数量表现出强线性相关性。因此，本申请采用外插算法，基于回源命中率寻找最优子节点数量。
需要特别说明的是，现有方案中，每个IDC节点的最大子节点数量通常小于6，而本申请中寻找的最优子节点数量可能大于6。
拟合子单元404，用于将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
其中，拟合子单元404具体用于：
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b，公式(1)如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量；
公式(2)如下：
式中，L为yi的偏差平方和，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，yi′为第i个样本点拟合的磁盘存储空间比例大小；
将拟合系数a和拟合系数b带入公式(3)，得到磁盘存储空间比例大小和子节点数量的对应关系，公式(3)如下：
y′＝10b+xa (3)。
举例说明，假设目标回源命中率范围属于(80％，90％)的样本拟合结果如图3所示，其中，图3中的横轴为子节点数量，纵轴为磁盘存储空间比例大小，从图3中可以看出，随着子节点数量的增多，父节点所需的磁盘存储空间与相对应的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小逐渐减小，同时，减小的速度放缓。
调整单元303，用于根据所述对应关系，从叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
其中，叶子节点不需要调整磁盘存储空间大小，调整单元303是从叶子节点开始统计磁盘存储空间大小，为调整该叶子节点的父节点做准备。
在实际应用中，可以根据区域或者运营商进行灰度调整，灰度调整指的是一开始对局部进行调整，而不是一开始就全网范围调整，具体可见方法实施例对图4所示实施例的叙述。
综上可知，本发明公开的回源树节点的磁盘配置系统，基于数据统计拟合算法，根据目标回源命中率以及收集CDN回源树中每个IDC节点的三元组数据，每个三元组数据包括：IDC节点的子节点数量，磁盘存储空间比例大小以及实际回源命中率，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，从而基于该对应关系，从叶子节点开始，逐级调整每个IDC节点对应的磁盘存储空间大小。相对应传统方案仅根据每个IDC节点的带宽大小进行磁盘配置而言，本发明同时基于每个IDC节点与该IDC节点的所有子节点的磁盘存储空间之和的磁盘存储空间比例大小，即每个IDC节点的带宽大小，以及每个IDC节点的子节点数量，来逐级调整每个IDC节点对应的磁盘存储空间大小，由于本发明考虑了每个IDC节点的存储空间大小随该IDC节点的子节点数量的变化而变化的情况，因此，使得磁盘存储空间配置的误差小，并提高了回源命中率和回源效率，减少了回源带宽，从而提高了用户体验。
具体的，参见图8，本发明一实施例公开的一种调整单元的结构示意图，包括：
收集子单元501，用于在当前IDC节点对应的磁盘存储空间调整完成后，收集所述当前IDC节点对应的回源请求日志；
需要特别说明的是，在实际应用中，不对叶子节点进行磁盘存储空间调整，而是从叶子节点的父节点开始调整，因此，本步骤中所述的当前IDC节点不包括叶子节点。
在实际应用中，可以根据叶子节点的父节点所属区域或是运营商进行调整。
计算子单元502，用于根据所述回源请求日志，计算所述当前IDC节点的回源命中率，并记为第一回源命中率；
具体的，在CDN回源树中，每个IDC节点之间的请求除了回源请求外，还有同步请求，因此，需要从每个IDC节点的回源请求日志中过滤出回源请求总个数以及回源请求被命中总个数，二者之商即为回源命中率。
对比子单元503，用于将所述第一回源命中率与收集的所述当前IDC节点的实际回源命中率进行对比；
调整子单元504，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整。
判定子单元505，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值不在所述阈值范围内，则判定所述当前IDC节点的磁盘存储空间保持不变。
当第一回源命中率与实际的回源命中率的差值不在阈值范围内，则说明根据拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系，对当前IDC节点的磁盘存储空间调整效果不佳，在这种情况下，将不需要对当前IDC节点的磁盘存储空间进行修改，当前IDC节点的磁盘存储空间保持不变，即仍为收集该前IDC节点的三元组数据时的自身磁盘存储空间。
综上可知，本发明在对每个DC节点对应的磁盘存储空间大小进行调整时，通过在当前IDC节点对应的磁盘存储空间调整完成后，计算当前IDC节点的第一回源命中率，并将计算的第一回源命中率与该当前IDC节点的实际回源命中率进行比较，来确定当前IDC节点调整后的磁盘存储空间是否合理，并在当前IDC节点的第一回源命中率与实际回源命中率的差值在阈值范围内时，才确定对当前IDC节点的磁盘存储空间的调整合理，并继续对下一个节点的磁盘存储空间进行调整，反之，在当前IDC节点的第一回源命中率与实际回源命中率的差值不在阈值范围内时，则判定对当前IDC节点的磁盘存储空间调整的范围过大，不符合实际需求，在这种情况下，判定当前IDC节点的磁盘存储空间为自身磁盘存储空间。本发明通过将当前IDC节点磁盘存储空间调整后的第一回源命中率与收集时的实际回源命中率进行比较，来确定调整后的磁盘存储空间是否合理，从而大大提高了对每个IDC节点磁盘存储空间调整的准确性。
需要特别说明的是，系统实施例中各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中每个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，每个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种回源树节点的磁盘配置方法，其特征在于，包括：
收集内容分发网络CDN回源树中每个互联网数据中心IDC节点的三元组数据，所述三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，所述磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小；
基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
根据所述对应关系，从所述CDN回源树叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
2.根据权利要求1所述的磁盘配置方法，其特征在于，所述逐级调整每个IDC节点对应的磁盘存储空间大小的过程包括：
在当前IDC节点对应的磁盘存储空间调整完成后，收集所述当前IDC节点对应的回源请求日志；
根据所述回源请求日志，计算所述当前IDC节点的回源命中率，并记为第一回源命中率；
将所述第一回源命中率与收集的所述当前IDC节点的实际回源命中率进行对比；
若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整。
3.根据权利要求2所述的磁盘配置方法，其特征在于，还包括：
若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值不在所述阈值范围内，则判定所述当前IDC节点的磁盘存储空间保持不变。
4.根据权利要求1所述的磁盘配置方法，其特征在于，所述基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系的过程，具体包括：
从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
将选取的所述IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围；
对于所述IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小；
将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到所述目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
5.根据权利要求4所述的磁盘配置方法，其特征在于，所述采用外插算法，拟合得到磁盘存储空间比例大小和子节点数量的对应关系的过程，具体包括：
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b，公式(1)如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量；
公式(2)如下：
式中，L为yi的偏差平方和，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，y′i为第i个样本点拟合的磁盘存储空间比例大小；
将拟合系数a和拟合系数b带入公式(3)，得到磁盘存储空间比例大小和子节点数量的对应关系，公式(3)如下：
y′＝10b+xa (3)。
6.一种回源树节点的磁盘配置系统，其特征在于，包括：
收集单元，用于收集内容分发网络CDN回源树中每个互联网数据中心IDC节点的三元组数据，所述三元组数据包括：子节点数量、磁盘存储空间比例大小和实际回源命中率，所述磁盘存储空间比例大小为：每个IDC节点的自身磁盘存储空间，与该IDC节点的所有子节点的磁盘存储空间之和的比例大小；
拟合单元，用于基于目标回源命中率以及所述CDN回源树中每个IDC节点的三元组数据，拟合出CDN回源树中磁盘存储空间比例大小和子节点数量的对应关系；
调整单元，用于根据所述对应关系，从叶子节点开始，基于每个IDC节点的实际回源命中率，逐级调整每个IDC节点对应的磁盘存储空间大小。
7.根据权利要求6所述的磁盘配置系统，其特征在于，所述调整单元包括：
收集子单元，用于在当前IDC节点对应的磁盘存储空间调整完成后，收集所述当前IDC节点对应的回源请求日志；
计算子单元，用于根据所述回源请求日志，计算所述当前IDC节点的回源命中率，并记为第一回源命中率；
对比子单元，用于将所述第一回源命中率与收集的所述当前IDC节点的实际回源命中率进行对比；
调整子单元，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值在阈值范围内，则继续对所述当前IDC节点的下一个节点的磁盘存储空间进行调整，直至CDN回源树的所有IDC节点的磁盘存储空间均完成调整。
8.根据权利要求7所述的磁盘配置系统，其特征在于，还包括：
判定子单元，用于若所述当前IDC节点的所述第一回源命中率与所述实际回源命中率的差值不在所述阈值范围内，则判定所述当前IDC节点的磁盘存储空间保持不变。
9.根据权利要求6所述的磁盘配置系统，其特征在于，所述拟合单元包括：
选取子单元，用于从收集的每个IDC节点的三元组数据中，选取IDC节点样本数据；
划分子单元，用于将选取的所述IDC节点样本数据中的回源命中率，按照预设划分标准，划分成多个不同的回源命中率范围；
合并子单元，用于对于所述IDC节点样本数据中，回源命中率属于同一回源命中率范围，且包含的子节点数量相同的IDC节点，进行磁盘存储空间比例大小合并，并以合并后的磁盘存储空间比例大小的均值作为目标IDC节点样本数据的磁盘存储空间比例大小；
拟合子单元，用于将目标回源命中率所属的回源命中率范围作为目标回源命中率范围，采用外插算法，拟合得到所述目标IDC节点样本数据的磁盘存储空间比例大小和子节点数量的对应关系。
10.根据权利要求9所述的磁盘配置系统，其特征在于，所述拟合子单元具体用于：
对于公式(1)和公式(2)采用最小二乘法求解，得到拟合系数a和拟合系数b，公式(1)如下：
式中，y′为磁盘存储空间比例大小，x为子节点数量；
公式(2)如下：
式中，L为yi的偏差平方和，n为样本数量，yi为第i个样本点的实际磁盘存储空间比例大小，y′i为第i个样本点拟合的磁盘存储空间比例大小；
将拟合系数a和拟合系数b带入公式(3)，得到磁盘存储空间比例大小和子节点数量的对应关系，公式(3)如下：
y′＝10b+xa (3)。
CN201811532602.6A 2018-12-14 2018-12-14 一种回源树节点的磁盘配置方法及系统 Active CN109683816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811532602.6A CN109683816B (zh) 2018-12-14 2018-12-14 一种回源树节点的磁盘配置方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811532602.6A CN109683816B (zh) 2018-12-14 2018-12-14 一种回源树节点的磁盘配置方法及系统

Publications (2)

Publication Number Publication Date
CN109683816A true CN109683816A (zh) 2019-04-26
CN109683816B CN109683816B (zh) 2021-08-27

Family

ID=66186851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811532602.6A Active CN109683816B (zh) 2018-12-14 2018-12-14 一种回源树节点的磁盘配置方法及系统

Country Status (1)

Country Link
CN (1) CN109683816B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679793A (zh) * 2020-06-16 2020-09-18 成都信息工程大学 一种基于star码的单盘故障快速恢复方法
CN112491601A (zh) * 2020-11-16 2021-03-12 北京字节跳动网络技术有限公司 流量拓扑生成方法、装置、存储介质及电子设备
CN114781328A (zh) * 2022-06-21 2022-07-22 成都中科合迅科技有限公司 基于明文文件可视化编排业务流程的方法
CN116679889A (zh) * 2023-07-31 2023-09-01 苏州浪潮智能科技有限公司 Raid设备配置信息的确定方法及装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941736A (zh) * 2005-09-30 2007-04-04 西门子通信技术（北京）有限公司 一种内容分发系统及其用户请求重定向方法
CN106027642A (zh) * 2016-05-19 2016-10-12 乐视控股（北京）有限公司 用于确定cdn节点磁盘数量的方法及系统
CN106020732A (zh) * 2016-05-27 2016-10-12 乐视控股（北京）有限公司 节点的磁盘空间确定方法及系统
CN106301905A (zh) * 2016-08-10 2017-01-04 中国联合网络通信集团有限公司 一种评估cdn部署合理性的方法及装置
CN107463342A (zh) * 2017-08-28 2017-12-12 北京奇艺世纪科技有限公司 一种cdn边缘节点文件的存储方法及装置
US9871850B1 (en) * 2014-06-20 2018-01-16 Amazon Technologies, Inc. Enhanced browsing using CDN routing capabilities

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1941736A (zh) * 2005-09-30 2007-04-04 西门子通信技术（北京）有限公司 一种内容分发系统及其用户请求重定向方法
US9871850B1 (en) * 2014-06-20 2018-01-16 Amazon Technologies, Inc. Enhanced browsing using CDN routing capabilities
CN106027642A (zh) * 2016-05-19 2016-10-12 乐视控股（北京）有限公司 用于确定cdn节点磁盘数量的方法及系统
CN106020732A (zh) * 2016-05-27 2016-10-12 乐视控股（北京）有限公司 节点的磁盘空间确定方法及系统
CN106301905A (zh) * 2016-08-10 2017-01-04 中国联合网络通信集团有限公司 一种评估cdn部署合理性的方法及装置
CN107463342A (zh) * 2017-08-28 2017-12-12 北京奇艺世纪科技有限公司 一种cdn边缘节点文件的存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
幽雨雨幽: "CDN技术详解", 《CSDN》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111679793A (zh) * 2020-06-16 2020-09-18 成都信息工程大学 一种基于star码的单盘故障快速恢复方法
CN111679793B (zh) * 2020-06-16 2023-03-14 成都信息工程大学 一种基于star码的单盘故障快速恢复方法
CN112491601A (zh) * 2020-11-16 2021-03-12 北京字节跳动网络技术有限公司 流量拓扑生成方法、装置、存储介质及电子设备
CN112491601B (zh) * 2020-11-16 2022-08-30 北京字节跳动网络技术有限公司 流量拓扑生成方法、装置、存储介质及电子设备
CN114781328A (zh) * 2022-06-21 2022-07-22 成都中科合迅科技有限公司 基于明文文件可视化编排业务流程的方法
CN116679889A (zh) * 2023-07-31 2023-09-01 苏州浪潮智能科技有限公司 Raid设备配置信息的确定方法及装置、存储介质
CN116679889B (zh) * 2023-07-31 2023-11-03 苏州浪潮智能科技有限公司 Raid设备配置信息的确定方法及装置、存储介质

Also Published As

Publication number Publication date
CN109683816B (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN109683816A (zh) 一种回源树节点的磁盘配置方法及系统
CN106849065B (zh) 一种计及充电站的配电网多目标协同规划方法
CN104217073B (zh) 一种网络社团引力导引的可视化布局方法
US20110035248A1 (en) Distributed Service Platform Computing with a Guaranteed Quality of Service
CN109379230B (zh) 一种基于广度优先搜索的服务功能链部署方法
CN110519090B (zh) 一种fpga云平台的加速卡分配方法、系统及相关组件
KR20100118500A (ko) 온라인 게임에서 대역폭 비용의 최소화
CN111756654B (zh) 一种基于可靠性的大规模虚拟网资源分配方法
WO2001071545A2 (en) Systems and methods for analyzing network traffic
Vieira et al. Topology design for service overlay networks with bandwidth guarantees
CN104102699B (zh) 一种聚簇图集合中的子图检索方法
CN102325093B (zh) 一种结构化p2p网络中的路由系统构建方法
CN101430693B (zh) 三角网格曲面模型的空间查询方法
CN108833993B (zh) 一种成本敏感的网络视频分发方法
CN107483355B (zh) 面向数据中心的在线场景低带宽开销流量调度方案
CN113992259A (zh) 一种时隙资源拓展图的构建方法
CN113316038B (zh) 一种面向稀疏用户分布的光接入网odn智能聚类规划方法
CN115065601A (zh) 一种节点链路同时映射的虚拟网络映射方法
Nguyen et al. Rethinking virtual link mapping in network virtualization
CN105138536B (zh) 基于有向超图的移动社交网络数据分片方法
CN107257356A (zh) 一种基于超图分割的社交用户数据优化放置方法
CN108243066A (zh) 低延迟的网络服务请求部署方法
CN107689922A (zh) 基于微粒群算法的Steiner最优树计算方法及装置
CN107231261A (zh) 一种针对相连网络的耦合方式优化方法
Korcak et al. Competition and regulation in a wireless operator market: An evolutionary game perspective

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant