CN106020732A - 节点的磁盘空间确定方法及系统 - Google Patents

节点的磁盘空间确定方法及系统 Download PDF

Info

Publication number
CN106020732A
CN106020732A CN201610365900.5A CN201610365900A CN106020732A CN 106020732 A CN106020732 A CN 106020732A CN 201610365900 A CN201610365900 A CN 201610365900A CN 106020732 A CN106020732 A CN 106020732A
Authority
CN
China
Prior art keywords
node
duration
source
disk
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610365900.5A
Other languages
English (en)
Inventor
李洪福
马宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610365900.5A priority Critical patent/CN106020732A/zh
Publication of CN106020732A publication Critical patent/CN106020732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供一种节点的磁盘空间确定方法，包括：获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；根据确定的多组磁盘响应时长与相应的期望响应时长的比值确定多个访问执行效率；确定多个访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。本公开还提供一种节点缓存优化系统。能让网络服务运营商直观地平衡用户体验和节点的磁盘空间之间的关系，并在保障节点的用户体验的前提下还不浪费节点的磁盘空间。

Description

节点的磁盘空间确定方法及系统
技术领域
本公开实施例涉及内容分发网络技术领域，尤其涉及一种节点缓存优化方法及系统。
背景技术
CDN(Content Delivery Network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。CDN能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，其目的是能够选择离用户相对较近的节点向用户发送用户所需的内容，缓解网络拥挤的状况，提高网站的响应速度。
目前在服务于流媒体业务的CDN网络中，当用户访问某一个流媒体文件时，经过CDN调度过程后，会将用户访问调度至离该用户最近的且负载最小的节点。如果该节点中没有此视频内容的备份，则该节点会向上一层节点或源节点回源获取此流媒体文件，并同时也向该用户提供流媒体服务。
不难得知，当节点的磁盘存储空间较小时，在节点中所能存储的流媒体文件也会较少，由此回源以响应用户请求的几率就会相应地较大，在理想状态下，希望节点的磁盘存储空间足够大以能存储所有的流媒体文件以将回源的几率降至为零，但是大型的网络服务运营商运营着上千万的流媒体文件，要在所有的CDN节点上均缓存所有的流媒体文件需要耗费巨大的成本，几乎不可能实现；并且，当CDN节点不缓存有用户访问请求所对应的数据文件时，则CDN节点回源需要向源服务器下载相应的数据文件以响应用户访问请求，会造成大量下载时间的消耗，由此严重增加了用户的等待时间，影响了用户体验；
发明内容
本公开实施例提供一种节点缓存优化方法及系统，用以解决上述现有技术中所阐述的至少一个技术问题。
一方面，本公开实施例提供一种节点的磁盘空间确定方法，包括：
获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
根据确定的多组磁盘响应时长与相应的所述期望响应时长的比值确定多个访问执行效率；
确定多个所述访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
另一方面，本公开实施例还提供一种节点的磁盘空间确定系统，包括：
参数获取单元，用于获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
期望响应时长确定单元，用于基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
访问执行效率确定单元，用于根据确定的多组磁盘响应时长与相应的所述期望响应时长的比值确定多个访问执行效率；
目标磁盘空间确定单元，用于确定多个所述访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
在本公开实施例所提供的节点的磁盘空间确定方法及系统中，创造性地引入了节点的访问执行效率这一直观反映节点用户体验的重要参数，使得网络服务运营商能很好地平衡用户体验和节点的磁盘空间之间的关系，并在保障节点的用户体验的前提下还不浪费节点的磁盘空间；建立了节点的磁盘空间和节点的用户体验之间的参考模型，从理论上消除了因个人主观因素而导致的节点的磁盘空间部署的差异化。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出的是本公开一实施例的节点的磁盘空间确定方法的流程图；
图2示出的是图1所示方法中的步骤101在一种优选实施例下的详细执行图；
图3.1和图3.2示出的是本公开节点的磁盘空间确定方法的一种优选具体实施例的实现效果图；
图4示出的是本公开一实施例的节点的磁盘空间确定系统的结构示意图；
图5示出的是图4所示系统中的参数获取单元在一种优选实施例下的详细结构示意图；
图6为可以应用于实现本公开实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施例
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
参见图1示出的是本公开一实施例的节点的磁盘空间确定方法的流程图，包括：
步骤101：获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
步骤102：基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
步骤103：根据确定的多组磁盘响应时长与相应的期望响应时长的比值确定多个访问执行效率；
步骤104：确定多个访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
应当说明的是，预定的目标访问执行效率一般是由网络服务运营商所确定的，通常预定的目标访问执行效率应当够大以保障节点的用户访问体验；以及，预定的目标访问执行效率范围是可以是一个具体的数值，也可以是包含有多个数值的一个数值区间，在此应不加以限定。
在本公开实施例所提供的节点的磁盘空间确定方法中，创造性地引入了节点的访问执行效率这一直观反映节点用户体验的重要参数，使得网络服务运营商能很好地平衡用户体验和节点的磁盘空间之间的关系，并在保障节点的用户体验的前提下还不浪费节点的磁盘空间；并且，建立了节点的磁盘空间和节点的用户体验之间的参考模型，从理论上消除了因个人主观因素而导致的节点的磁盘空间部署的差异化。
作为本公开实施例方法的一种优选实施例，访问执行效率由以下公式确定：
e＝T1/[H×T1+(1-H)×T2]
其中，[H×T1+(1-H)×T2]为期望响应时长，e为节点的访问执行效率，H为缓存命中率，T1为磁盘响应时长，T2为回源时长。
应当说明的是，1-H为回源机率，则期望响应时长[H×T1+(1-H)×T2]为节点服务所接收的访问请求所消耗的时间的数学期望T；则作为本公式的变形，e＝T1/T，当e越大，期望响应时长T就越小，用户体验就越好，故e指代的是节点服务所接收的访问请求的效率；相对于缓存命中率H而言，当H＝1时，节点所接收的访问请求全部命中节点，此时节点的访问执行效率最高，为e＝T1/T1＝1；当H＝0时，节点所接收的访问请求全部不命中节点并回源服务，此时的访问执行效率最低，则e＝T1/T2，并且在节点的磁盘空间确定的情况下，节点的缓存命中率H也是固定的，故e的大小与T1和T2的大小相关，即此时的e与回源数据传输速度和节点中磁盘的读写速度相关联。
在本公开优选实施例方法中，利用关于访问执行效率的公式模型，较精确地反映了访问执行效率与缓存命中率、节点磁盘的读写速度和节点的回源数据传输速度之间的数学关系，提高了访问执行效率确定的精确性，能够更加精准地平衡用户体验和访问执行效率之间的关系；并且，由于将除缓存命中率之外的节点磁盘的读写速度和节点的回源数据传输速度也作为了确定访问执行效率的一个参考因素，使得所确定的访问执行效率的值的大小能兼顾到节点的回源网络传输情况，大大提高了访问执行效率确定的精确性，能够更加精准地平衡在节点的实际应用场景下节点的用户体验和访问执行效率之间的对应关系。
参见图2示出的是图1所示方法中的步骤101在一种优选实施例下的详细执行图，具体包括：
步骤1011：为节点依次配置多个磁盘空间，并依次执行以下步骤以确定相应于多个磁盘空间的多组缓存命中率、磁盘响应时长和回源时长；
步骤1012：基于预定时间段内节点所接收到的访问请求总数和节点本地所服务的访问请求总数确定缓存命中率；
步骤1013：确定预定时间段内节点本地服务访问请求的平均时长为磁盘响应时长；
步骤1014：将节点回源服务访问请求所消耗的时长确定为回源时长。
应当说明的是，上述为节点依次配置多个磁盘空间，可以是根据网络服务运营商的经验所设定的，也可以是基于网络服务运营商对访问执行效率的估算所设定的。
通过本公开优选实施例方法，能较精准地确定节点的缓存命中率、磁盘响应时长和回源时长。
作为本公开实施例方法的进一步优化，图2中的步骤1012具体包括：查询节点的访问日志信息，将预定时间段内节点本地所响应的访问请求总数和所接收到的访问请求总数的比值确定为节点的缓存命中率。
应当说明的是，预定时间段是由网络服务运营商所确定的，优选地所选定的预定时间段应该较长，以保证所确定的节点的缓存命中率的高精确度。
在本公开优选实施例方法中，查询节点预定时间段内的访问日志信息，简单方便地实现了节点的缓存命中率的确定，并保障了所确定的节点的缓存命中率的高精确性。
作为本公开实施例方法的进一步优化，图2中的步骤1014具体包括：
向节点发送多个回源测试请求，并统计服务多个回源测试请求所消耗的总回源测试时长；
根据统计的总回源测试时长和所发送的回源测试请求的个数，以确定服务单个回源测试请求所消耗的平均回源测试时长为回源时长。
应当说明的是，回源测试请求是根据节点本地没有缓存而在源服务器上缓存的数据文件所预先生成的，故当节点接收到回源测试请求时，无法在节点本地服务回源测试请求，只有通过回源源服务器以服务回源测试请求。
在本公开优选实施例方法中，通过综合评价多个回源测试请求的回源服务耗时以确定节点的回源时长，保障了所确定的节点的回源时长的高精确度。
本公开实施例还提供一种节点的磁盘空间确定方法的具体实施例，具体地包括：
根据网络运营商对节点磁盘空间布设的经验，预估符合预定的目标访问执行效率范围所需要的磁盘空间，并为节点布设所预估的磁盘空间，
查询节点的访问日志信息，将一周内节点本地所响应的访问请求总数和所接收到的访问请求总数的比值确定为节点的缓存命中率。可以理解的是，一周只是为了保障缓存命中率的高精确性所选定的一个参考时间值，应也不限定于一周；
查询节点的访问日志信息，确定一周内节点本地服务访问请求的平均时长为磁盘响应时长；可选地，节点的磁盘响应时长也可以是参考节点的标签信息所显示的磁盘读写速度所确定的；
根据节点本地没有缓存而在源服务器上缓存的数据文件预先生成回源测试请求；然后，向节点发送100个回源测试请求，并统计服务100个回源测试请求所消耗的总回源测试时长；最后，利用总回源测试时长除以100，并将相除所得到的商确定为节点的回源时长；
基于确定的缓存命中率、磁盘响应时长和回源时长确定期望响应时长；根据确定的磁盘响应时长与相应的期望响应时长的比值确定访问执行效率；
当上述所确定访问执行效率落在预定的目标访问执行效率范围内时，则利用当前预估的磁盘空间布设节点。
当上述所确定访问执行效率没有落在预定的目标访问执行效率范围内时，则重新预估符合预定的目标访问执行效率范围所需要的磁盘空间，并为节点重新布设所预估的磁盘空间，继续重复上述步骤，直到所确定访问执行效率落在预定的目标访问执行效率范围内时，则利用当前预估的磁盘空间布设节点。
应当解释的是，上述节点的访问执行效率的确定可以参照上述优选实施例方法的公式，故在此不加以赘述。
通过本公开具体实施例，实现了网络服务运营商为节点布设满足用户体验的磁盘空间。
参见图3.1和图3.2示出的是本公开节点的磁盘空间确定方法的一种优选具体实施例的实现效果图；
本优选具体实施例是基于上述具体实施例的优化，具体包括：为节点装配具有较大的磁盘空间的磁盘阵列，并预先为节点配用磁盘阵列中不同大小的磁盘空间，例如：为节点部署具有10T的磁盘阵列，并为节点预先选择配置磁盘阵列中1T、2T、3T、4T等不同的磁盘空间；基于已配用的磁盘空间确定相应的节点的访问执行效率，并将上述访问执行效率和磁盘空间的对应关系绘制成规律曲线。基于上述规律曲线，选定目标访问执行效率e目标便可以确定相应的磁盘空间，并为节点布设相应的磁盘空间。由此实现了在保障用户体验的前提下，所确定的磁盘空间具有高精确性。
在本公开各实施例方法的应用的一方面，本公开各实施例方法可以应用在内容分发网络的各节点上，也可以应用在节点管理服务器上，由此实现了在保障用户体验的前提下，还不会浪费为节点所布设的磁盘空间以节约成本。
参见图4示出的是本公开一实施例节点的磁盘空间确定系统的结构示意图，包括：
参数获取单元401，用于获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
期望响应时长确定单元402，用于基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
访问执行效率确定单元403，用于根据确定的多组磁盘响应时长与相应的期望响应时长的比值确定多个访问执行效率；
目标磁盘空间确定单元404，用于确定多个访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
本实施例中的节点的磁盘空间确定系统为一个服务器或者服务器集群，其中每个单元可以是单独的服务器或者服务器集群，此时，上述单元之间的交互表现为各单元所对应的服务器或者服务器集群之间的交互，所述多个服务器或服务器集群共同构成本公开的节点的磁盘空间确定系统。
具体地，上述多个服务器或服务器集群共同构成本公开的节点的磁盘空间确定系统包括：
参数获取服务器或服务器集群，用于获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
期望响应时长确定服务器或服务器集群，用于基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
访问执行效率确定服务器或服务器集群，用于根据确定的多组磁盘响应时长与相应的期望响应时长的比值确定多个访问执行效率；
目标磁盘空间确定服务器或服务器集群，用于确定多个访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
在一种替代实施例中，可以是上述多个单元中的几个单元共同组成一个服务器或者服务器集群。例如：参数获取单元401构成第一服务器或者第一服务器集群，期望响应时长确定单元402和访问执行效率确定单元403共同组成第二服务器或者第二服务器集群，目标磁盘空间确定单元404构成第三服务器或者第三服务器集群。
此时，上述单元之间的交互表现为第一服务器至第三服务器之间的交互或者第一服务器集群至第三服务器集群之间的交互，所述第一服务器至第三服务器或第一服务器集群至第三服务器集群共同构成本公开的节点的磁盘空间确定系统。
在本公开实施例所提供的节点的磁盘空间确定系统中，创造性地引入了节点的访问执行效率这一直观反映节点用户体验的重要参数，使得网络服务运营商能很好地平衡用户体验和节点的磁盘空间之间的关系，并在保障节点的用户体验的前提下还不浪费节点的磁盘空间；并且，建立了节点的磁盘空间和节点的用户体验之间的参考模型，从理论上消除了因个人主观因素而导致的节点的磁盘空间部署的差异化。
作为本公开实施例系统的一种优选实施例，访问执行效率由以下公式确定：
e＝T1/[H×T1+(1-H)×T2]
其中，[H×T1+(1-H)×T2]为期望响应时长，e为节点的访问执行效率，H为缓存命中率，T1为磁盘响应时长，T2为回源时长。
在本公开优选实施例系统中，利用关于访问执行效率的公式模型，较精确地反映了访问执行效率与缓存命中率、节点磁盘的读写速度和节点的回源数据传输速度之间的数学关系，提高了访问执行效率确定的精确性，能够更加精准地平衡用户体验和访问执行效率之间的关系；并且，由于将除缓存命中率之外的节点磁盘的读写速度和节点的回源数据传输速度也作为了确定访问执行效率的一个参考因素，使得所确定的访问执行效率的值的大小能兼顾到节点的回源网络传输情况，大大提高了访问执行效率确定的精确性，能够更加精准地平衡在节点的实际应用场景下节点的用户体验和访问执行效率之间的对应关系。
参见图5示出的是图4所示系统中的参数获取单元在一种优选实施例下的详细结构示意图，具体包括：
磁盘空间配置模块4011，用于为节点依次配置多个磁盘空间，并依次执行调用以下模块以确定相应于多个磁盘空间的多组缓存命中率、磁盘响应时长和回源时长：
缓存命中率确定模块4012，用于基于预定时间段内节点所接收到的访问请求总数和节点本地所服务的访问请求总数确定缓存命中率；
磁盘响应时长确定模块4013，用于确定预定时间段内节点本地服务访问请求的平均时长为磁盘响应时长；
回源时长确定模块4014，用于将节点回源服务访问请求所消耗的时长确定为回源时长。
本实施例中的参数获取单元401可以为一个服务器或者服务器集群，其中每个模块可以是单独的服务器或者服务器集群，此时，上述参数获取单元401中的各模块之间的交互表现为各模块所对应的服务器或者服务器集群之间的交互，上述多个服务器或者服务器集群共同构成上述参数获取单元401以用于构成本公开的节点的磁盘空间确定系统。
在一种替代实施例中，可以是上述多个模块中的几个模块共同组成一个服务器或者服务器集群。
通过本公开优选实施例方法，能较精准地确定节点的缓存命中率、磁盘响应时长和回源时长。
作为本公开实施例系统的一种优选实施例，缓存命中率确定模块4012用于查询节点的访问日志信息，将预定时间段内节点本地所响应的访问请求总数和所接收到的访问请求总数的比值确定为节点的缓存命中率。
本实施例中的缓存命中率确定模块4012可以为一个服务器或者服务器集群，并且缓存命中率确定模块4012可以是单独的服务器或者服务器集群，此时，上述单独的服务器或者服务器集群所构成的缓存命中率确定模块4012用于构成参数获取单元401以用于构成本公开的节点的磁盘空间确定系统。
在本公开优选实施例系统中，查询节点预定时间段内的访问日志信息，简单方便地实现了节点的缓存命中率的确定，并保障了所确定的节点的缓存命中率的高精确性。
作为本公开实施例系统的一种优选实施例，回源时长确定模块4014用于向节点发送多个回源测试请求，并统计服务多个回源测试请求所消耗的总回源测试时长；根据统计的总回源测试时长和所发送的回源测试请求的个数，以确定服务单个回源测试请求所消耗的平均回源测试时长为回源时长。
本实施例中的回源时长确定模块4014可以为一个服务器或者服务器集群，并且回源时长确定模块4014可以是单独的服务器或者服务器集群，此时，上述单独的服务器或者服务器集群所构成的回源时长确定模块4014用于构成参数获取单元401以用于构成本公开的节点的磁盘空间确定系统。
在本公开优选实施例系统中，通过综合评价了多个回源测试请求的回源服务耗时以确定节点的回源时长，保障了所确定的节点的回源时长的高精确度。
在本公开实施例系统应用的一方面，本公开实施例所提供的节点的磁盘空间确定系统可以搭建在内容分发网络的各CDN节点上，也可以应用在用于管理各CDN节点的节点管理服务器中，由此实现了在保障用户体验的前提下，还能够保证不会浪费为节点所布设的磁盘空间以节约成本。
参见图6示出了适于用来实现本公开实施例的终端设备或服务器的计算机系统的结构示意图，其中计算机系统包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有系统操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
需要说明的是，在不冲突的情况下，本公开中的各实施例及优选实施例中所涉及到的技术特征彼此之间可以相互组合；术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本公开实施例中可以通过硬件处理器来实现相关功能模块和单元。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (10)

1.一种节点的磁盘空间确定方法，包括：
获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
根据确定的多组磁盘响应时长与相应的所述期望响应时长的比值确定多个访问执行效率；
确定多个所述访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
2.根据权利要求1所述的方法，其中，所述访问执行效率由以下公式确定：
e＝T1/[H×T1+(1-H)×T2]
其中，[H×T1+(1-H)×T2]为期望响应时长，e为节点的访问执行效率，H为缓存命中率，T1为磁盘响应时长，T2为回源时长。
3.根据权利要求1或2所述的方法，其中，所述获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长包括：
为所述节点依次配置所述多个磁盘空间，并依次执行以下步骤以确定相应于所述多个磁盘空间的多组缓存命中率、磁盘响应时长和回源时长：
-基于预定时间段内所述节点所接收到的访问请求总数和所述节点本地所服务的访问请求总数确定所述缓存命中率；
-确定预定时间段内所述节点本地服务访问请求的平均时长为磁盘响应时长；
-将所述节点回源服务访问请求所消耗的时长确定为回源时长。
4.根据权利要求3所述的方法，其中，所述基于预定时间段内所述节点所接收到的访问请求总数和所述节点本地所服务的访问请求总数确定所述缓存命中率包括：
查询所述节点的访问日志信息，将所述预定时间段内所述节点本地所响应的访问请求总数和所接收到的访问请求总数的比值确定为节点的缓存命中率。
5.根据权利要求3所述的方法，其中，所述将所述节点回源服务访问请求所消耗的时长确定为回源时长包括：
向所述节点发送多个回源测试请求，并统计服务所述多个回源测试请求所消耗的总回源测试时长；
根据统计的总回源测试时长和所发送的回源测试请求的个数，以确定服务单个回源测试请求所消耗的平均回源测试时长为所述回源时长。
6.一种节点的磁盘空间确定系统，包括：
参数获取单元，用于获取多个磁盘空间下的多组缓存命中率、磁盘响应时长和回源时长；
期望响应时长确定单元，用于基于确定的多组缓存命中率、磁盘响应时长和回源时长确定多个期望响应时长；
访问执行效率确定单元，用于根据确定的多组磁盘响应时长与相应的所述期望响应时长的比值确定多个访问执行效率；
目标磁盘空间确定单元，用于确定多个所述访问执行效率中落在预定的目标访问执行效率范围内的访问执行效率所对应的磁盘空间为节点的磁盘空间。
7.根据权利要求6所述的系统，其中，所述访问执行效率由以下公式确定：
e＝T1/[H×T1+(1-H)×T2]
其中，[H×T1+(1-H)×T2]为期望响应时长，e为节点的访问执行效率，H为缓存命中率，T1为磁盘响应时长，T2为回源时长。
8.根据权利要求6或7所述的系统，其中，所述参数获取单元包括：
磁盘空间配置模块，用于为所述节点依次配置所述多个磁盘空间，并依次执行调用以下模块以确定相应于所述多个磁盘空间的多组缓存命中率、磁盘响应时长和回源时长：
缓存命中率确定模块，用于基于预定时间段内所述节点所接收到的访问请求总数和所述节点本地所服务的访问请求总数确定所述缓存命中率；
磁盘响应时长确定模块，用于确定预定时间段内所述节点本地服务访问请求的平均时长为磁盘响应时长；
回源时长确定模块，用于将所述节点回源服务访问请求所消耗的时长确定为回源时长。
9.根据权利要求8所述的系统，其中，所述缓存命中率确定模块用于查询所述节点的访问日志信息，将所述预定时间段内所述节点本地所响应的访问请求总数和所接收到的访问请求总数的比值确定为节点的缓存命中率。
10.根据权利要求8所述的系统，其中，所述回源时长确定模块用于向所述节点发送多个回源测试请求，并统计服务所述多个回源测试请求所消耗的总回源测试时长；根据统计的总回源测试时长和所发送的回源测试请求的个数，以确定服务单个回源测试请求所消耗的平均回源测试时长为所述回源时长。
CN201610365900.5A 2016-05-27 2016-05-27 节点的磁盘空间确定方法及系统 Pending CN106020732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610365900.5A CN106020732A (zh) 2016-05-27 2016-05-27 节点的磁盘空间确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610365900.5A CN106020732A (zh) 2016-05-27 2016-05-27 节点的磁盘空间确定方法及系统

Publications (1)

Publication Number Publication Date
CN106020732A true CN106020732A (zh) 2016-10-12

Family

ID=57091081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610365900.5A Pending CN106020732A (zh) 2016-05-27 2016-05-27 节点的磁盘空间确定方法及系统

Country Status (1)

Country Link
CN (1) CN106020732A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
CN109683816A (zh) * 2018-12-14 2019-04-26 北京奇艺世纪科技有限公司 一种回源树节点的磁盘配置方法及系统
CN110933140A (zh) * 2019-11-05 2020-03-27 北京字节跳动网络技术有限公司 Cdn存储分配方法、系统及电子设备
CN113132133A (zh) * 2019-12-31 2021-07-16 中国移动通信集团陕西有限公司 分发用户配置数据的方法、装置、计算设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612113A (zh) * 2003-10-14 2005-05-04 国际商业机器公司 节能高速缓存及其运行方法
CN103414747A (zh) * 2013-07-11 2013-11-27 广东工业大学 一种自适应流媒体缓存方法
US20150229733A1 (en) * 2012-08-02 2015-08-13 Telefonica, S.A. Web caching method and system for content distribution network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612113A (zh) * 2003-10-14 2005-05-04 国际商业机器公司 节能高速缓存及其运行方法
US20150229733A1 (en) * 2012-08-02 2015-08-13 Telefonica, S.A. Web caching method and system for content distribution network
CN103414747A (zh) * 2013-07-11 2013-11-27 广东工业大学 一种自适应流媒体缓存方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005056A (zh) * 2018-07-16 2018-12-14 网宿科技股份有限公司 基于cdn应用的存储容量评估方法和装置
US11005717B2 (en) 2018-07-16 2021-05-11 Wangsu Science & Technology Co., Ltd. Storage capacity evaluation method based on content delivery network application and device thereof
CN109683816A (zh) * 2018-12-14 2019-04-26 北京奇艺世纪科技有限公司 一种回源树节点的磁盘配置方法及系统
CN109683816B (zh) * 2018-12-14 2021-08-27 北京奇艺世纪科技有限公司 一种回源树节点的磁盘配置方法及系统
CN110933140A (zh) * 2019-11-05 2020-03-27 北京字节跳动网络技术有限公司 Cdn存储分配方法、系统及电子设备
CN110933140B (zh) * 2019-11-05 2021-12-24 北京字节跳动网络技术有限公司 Cdn存储分配方法、系统及电子设备
CN113132133A (zh) * 2019-12-31 2021-07-16 中国移动通信集团陕西有限公司 分发用户配置数据的方法、装置、计算设备及存储介质
CN113132133B (zh) * 2019-12-31 2023-08-15 中国移动通信集团陕西有限公司 分发用户配置数据的方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
US10841241B2 (en) Intelligent placement within a data center
US9317223B2 (en) Method and apparatus for automated migration of data among storage centers
CN109976917B (zh) 一种负载调度方法、装置、负载调度器、存储介质及系统
CN105103506B (zh) 用于为云计算网络中的非均匀带宽请求分配带宽的方法和系统
CN103607424B (zh) 一种服务器连接方法及服务器系统
US7984151B1 (en) Determining placement of user data to optimize resource utilization for distributed systems
CN108494868A (zh) 一种基于云业务系统下的负载均衡方法及系统
CN107395683A (zh) 一种回源路径的选择方法及服务器
CN109062658A (zh) 实现计算资源服务化的调度方法、装置、介质、设备及系统
Liu et al. Minimum-cost cloud storage service across multiple cloud providers
CN109857518A (zh) 一种网络资源的分配方法及设备
CN108304250A (zh) 用于确定运行机器学习任务的节点的方法和装置
CN107426332B (zh) 一种web服务器集群的负载均衡方法及系统
CN103763130B (zh) 大规模集群的管理方法、装置和系统
US20190140918A1 (en) Method and system for provisioning resources in cloud computing
CN108182140A (zh) 确定和监测计算机资源服务的性能能力
CN106020732A (zh) 节点的磁盘空间确定方法及系统
Liu et al. An economical and SLO-guaranteed cloud storage service across multiple cloud service providers
CN106936877A (zh) 一种内容分发方法、装置及系统
CN103713852B (zh) 一种信息处理方法、服务平台及电子设备
CN109039933A (zh) 一种集群网络优化方法、装置、设备及介质
CN107665143A (zh) 资源管理方法、装置及系统
CN109032511A (zh) 一种数据存储方法、服务器及存储介质
CN108173958A (zh) 一种多云环境下基于蚁群算法的数据优化存储方法
Akingbesote et al. Performance modeling of proposed guiset middleware for mobile healthcare services in e‐marketplaces

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161012