CN107888678B - 一种文件下载的控制方法及装置 - Google Patents

一种文件下载的控制方法及装置 Download PDF

Info

Publication number
CN107888678B
CN107888678B CN201711089859.4A CN201711089859A CN107888678B CN 107888678 B CN107888678 B CN 107888678B CN 201711089859 A CN201711089859 A CN 201711089859A CN 107888678 B CN107888678 B CN 107888678B
Authority
CN
China
Prior art keywords
server
file
downloaded
disk
downloading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711089859.4A
Other languages
English (en)
Other versions
CN107888678A (zh
Inventor
丁浩
吴岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201711089859.4A priority Critical patent/CN107888678B/zh
Publication of CN107888678A publication Critical patent/CN107888678A/zh
Application granted granted Critical
Publication of CN107888678B publication Critical patent/CN107888678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种文件下载的控制方法,应用于第一服务器,第一服务器为存储系统中的任意一个服务器,当接收到携带有待下载文件标识的下载请求且待下载文件所在的磁盘损坏时,判断第一服务器是否处于流量高峰期;若是,在下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述故障参数表征发生磁盘损坏的服务器;若否,对待下载文件标识进行一致性哈希计算,确定待下载文件在第一服务器中的目标磁盘,并将下载请求发送至目标磁盘。降低了服务器中由于某块磁盘损坏出现磁盘连锁损坏的可能性,并降低了磁盘损坏后服务器的回源率。

Description

一种文件下载的控制方法及装置
技术领域
本发明涉及数据存储技术领域,更具体的,涉及一种文件下载的控制方法及装置。
背景技术
在目前的视频CDN(英文全称:Content Delivery Network,中文全称:内容分发网络)服务器存储体系中,广泛采用的是一致性哈希算法。一致性哈希算法是一种文件定位方法,通过该算法,可以得知所需文件存储在哪个列表的哪个元素上。
由于一致性哈希算法采取的是一个环形的结构,因此,当某块磁盘损坏时,算法给出的将是下一块磁盘的路径。目前视频CDN服务器采取的做法是,无论磁盘损坏与否,信任一致性哈希算法给出的路径。这样的做法带来的问题是,当一块磁盘损坏时,这块磁盘所有的读写操作量会被引入下一块磁盘,导致下一块磁盘的访问量急剧增加,极易引起连锁反应从而导致多块磁盘损坏;而由于下一块磁盘一般并不存有请求的内容,也会引起回源量的增加,浪费服务器的网络资源。
发明内容
有鉴于此,本发明提供了一种文件下载的控制方法,解决由于服务器中某块磁盘损坏导致磁盘连锁损坏的问题。
为了实现上述发明目的,本发明提供的具体技术方案如下:
一种文件下载的控制方法,应用于第一服务器,所述第一服务器为存储系统中的任意一个服务器,所述方法包括:
当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器是否处于流量高峰期;
若是,在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
若否,对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
优选的,所述判断所述第一服务器是否处于流量高峰期,包括:
获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
计算所述预设时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
判断所述比值是否大于预设值;
若是,判定所述第一服务器处于流量高峰期;
若否,判定所述第一服务器未处于流量高峰期。
优选的,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,所述对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,包括:
按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m;
若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m);
若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
优选的,在所述将所述下载请求发送至所述目标磁盘之后,所述方法还包括:
判断所述待下载文件是否存储在所述目标磁盘中;
若是,对所述待下载文件进行下载;
若否,向所述调度器发送回源请求。
优选的,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述方法还包括:
根据所述待下载文件标识对所述待下载文件进行下载。
一种文件下载的控制装置,应用于第一服务器,所述第一服务器为存储系统中的任意一个服务器,所述装置包括:
第一判断单元,用于当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器当前是否处于流量高峰期,若是,触发配置单元,若否,触发计算单元;
所述配置单元,用于在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
所述计算单元,用于对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
优选的,所述第一判断单元包括:
获取子单元,用于获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
第一计算子单元,用于计算所述当前时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
第一判断子单元,用于判断所述比值是否大于预设值,若是,触发第一判定子单元,若否,触发第二判定子单元;
所述第一判定子单元,用于判定所述第一服务器处于流量高峰期;
所述第二判定子单元,用于判定所述第一服务器未处于流量高峰期。
优选的,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,所述计算单元包括:
第二计算子单元,用于按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
第三计算子单元,用于将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
第二判断子单元,用于根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m,若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m);若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
优选的,所述装置还包括:
第二判断单元,用于判断所述待下载文件是否存储在所述目标磁盘中,若是,对所述待下载文件进行下载;若否,向所述调度器发送回源请求。
优选的,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述装置还包括:
下载单元,用于根据所述待下载文件标识对所述待下载文件进行下载。
相对于现有技术,本发明的有益效果如下:
本发明提供的文件下载的控制方法,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,通过判断第一服务器是否处于流量高峰期对下载请求进行处理。当第一服务器处于流量高峰期时,将下载请求跳转至调度器,使调度器将该下载请求重新调度至任意一个第二服务器,减少高峰时间段服务器的回源率,节约带宽成本;当第一服务器处于非流量高峰期时,重新对待下载文件的uri进行一致性哈希计算,确定所述待下载文件的目标磁盘,并将所述下载请求发送至所述目标磁盘,从一定程度上保证目标磁盘的随机性,避免了现有技术中,当一块磁盘损坏时,这块盘的所有下载请求都被引入下一块盘,造成下一块盘的访问量急剧增加,引起连锁反应导致多块磁盘损坏的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种文件下载的控制方法流程图;
图2为本发明实施例公开的另一种文件下载的控制方法流程图;
图3为本发明实施例公开的另一种文件下载的控制方法流程图;
图4为本发明实施例公开的一种文件下载的控制装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本实施例公开了一种文件下载的控制方法,应用于第一服务器,所述第一服务器为存储系统中的任意一台服务器,第一服务器可以为视频CDN服务器,也可以为存储其他类型文件的服务器,所述方法具体包括以下步骤:
S101:当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器是否处于流量高峰期,若是,执行S102,若否,执行S103;
具体的,所述待下载文件标识为所述待下载文件统一资源标识符uri,可以理解的是,每个待下载文件都有一个统一资源标识符uri,所述uri表示待下载文件在存储系统中的存储位置。
当第一服务器接收到携带有待下载文件uri的下载请求时,根据所述待下载文件uri确定所述待下载文件所在磁盘,判断所述待下载文件所在的磁盘是否损坏,当所述待下载文件所在的磁盘损坏时,判断所述第一服务器当前是否处于流量高峰期。
当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述方法还包括:
根据所述待下载文件标识对所述待下载文件进行下载。
优选的,请参阅图2,判断第一所述服务器是否处于流量高峰期的执行方式如下:
S201:获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
所述预设时刻为第一服务器接收到下载请求且所述待下载文件所在的磁盘损坏的时刻。
优选的,所述预设时刻之前预设时间段为预设时刻之前的一周时间。
当然,所述预设时刻之前预设时间段也可以为其他时间段,如3天、5天、一个月等,本发明并不以此为限仅做示例性说明。
S202:计算所述预设时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
S203:判断所述比值是否大于预设值,若是,执行S204,若否,执行S205;
S204:判定所述第一服务器处于流量高峰期;
S205:判定所述第一服务器未处于流量高峰期。
所述预设值为根据服务器的历史流量值数据预先设定的值。
S102:在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器;
所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
可以理解的是,第二服务器为未发生磁盘损坏的服务器。
优选的,通过跳转指令将携带有所述故障参数的下载请求跳转至调度器,所述跳转指令为http协议中的302跳转指令等,本发明并不以此为限仅做示例性说明。
所述故障参数表征发生磁盘损坏的服务器,例如:故障参数为发生磁盘损坏的服务器的IP地址。
调度到其他服务器的调度方法可以为现有的常规调度方法。其他服务器中可能存储有所述待下载文件,也可能未存储有所述待下载文件,当其他服务器存储有所述待下载文件时对所述待下载文件进行下载,当其他服务器未存储有所述待下载文件时进行回源。
S103:对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
所述目标磁盘为所述第一服务器中除损坏磁盘外的磁盘,所述目标磁盘为通过对待下载文件标识进行一致性哈希计算后确定出的。
优选的,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,请参阅图3,S103的具体执行过程如下:
S301:按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
具体的,md5计算后的计算结果为整数。
S302:将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
模运算的实质是求余,即,对所述计算结果与所述第一服务器中未发生损坏的磁盘数进行除运算后得到的余数。可以理解的是,第一服务器中发生损坏的磁盘没有计算的必要,因此,这里将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算。
S303:根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m,若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m),若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
第一服务器中的每个磁盘都具有唯一的编号,第一服务器中的磁盘从1到m进行编号,当(n+1+a)大于m时,由于第一服务器中没有一个磁盘的编号大于m,此时需要(n+1+a-m)得到第一服务器中存在的磁盘。
以所述第一服务器有10块磁盘,磁盘编号为1的磁盘损坏为例,按二进制对所述待下载文件的uri进行md5计算,得到计算结果;将所述计算结果与所述第一服务器中未发生损坏的磁盘数9做模运算,得到模运算的余数n,则当n+2>10时,目标磁盘的编号为n-8,当n+2≤10时,目标磁盘的编号为n+2。
优选的,在S103之后,所述方法还包括:
判断所述待下载文件是否存储在所述目标磁盘中;
若是,对所述待下载文件进行下载;
若否,向所述调度器发送回源请求,以使所述调度器对下载请求重新进行调度。
本实施例提供的文件下载的控制方法,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,通过判断第一服务器是否处于流量高峰期对下载请求进行处理,当第一服务器处于流量高峰期时,将下载请求跳转至调度器,使调度器将该下载请求重新调度至任意一个第二服务器,减少高峰时间段服务器的回源率,节约带宽成本;当第一服务器处于非流量高峰期时,重新对待下载文件的uri进行一致性哈希计算,确定所述待下载文件的目标磁盘,并将所述下载请求发送至所述目标磁盘,从一定程度上保证目标磁盘的随机性,避免了现有技术中,当一块磁盘损坏时,这块盘的所有下载请求都被引入下一块盘,造成下一块盘的访问量急剧增加,引起连锁反应导致多块磁盘损坏的问题。
基于上述实施例公开的文件下载的控制方法,请参阅图4,本实施例对应公开了一种文件下载的控制装置,应用于第一服务器,所述第一服务器为存储系统中的任意一个服务器,包括:
第一判断单元101,用于当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器是否处于流量高峰期,若是,触发配置单元102,若否,触发计算单元103;
优选的,所述第一判断单元101包括:
获取子单元,用于获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
第一计算子单元,用于计算所述预设时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
第一判断子单元,用于判断所述比值是否大于预设值,若是,触发第一判定子单元,若否,触发第二判定子单元;
所述第一判定子单元,用于判定所述第一服务器处于流量高峰期;
所述第二判定子单元,用于判定所述第一服务器未处于流量高峰期。
所述配置单元102,用于在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
所述计算单元103,用于对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
优选的,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,所述计算单元103包括:
第二计算子单元,用于按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
第三计算子单元,用于将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
第二判断子单元,用于根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m,若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m);若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
优选的,所述装置还包括:
第二判断单元,用于判断所述待下载文件是否存储在所述目标磁盘中,若是,对所述待下载文件进行下载;若否,向所述调度器发送回源请求。
优选的,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述装置还包括:
下载单元,用于根据所述待下载文件标识对所述待下载文件进行下载。
本实施例提供的文件下载的控制装置,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,通过判断第一服务器是否处于流量高峰期对下载请求进行处理,当第一服务器处于流量高峰期时,将下载请求跳转至调度器,使调度器将该下载请求重新调度至任意一个第二服务器,减少高峰时间段服务器的回源率,节约带宽成本;当服务器当前处于非流量高峰期时,重新对待下载文件的uri进行一致性哈希计算,确定所述待下载文件的目标磁盘,并将所述下载请求发送至所述目标磁盘,从一定程度上保证目标磁盘的随机性,避免了现有技术中,当一块磁盘损坏时,这块盘的所有下载请求都被引入下一块盘,造成下一块盘的访问量急剧增加,引起连锁反应导致多块磁盘损坏的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种文件下载的控制方法,其特征在于,应用于第一服务器,所述第一服务器为存储系统中的任意一个服务器,所述方法包括:
当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器是否处于流量高峰期;
若是,在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
若否,对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
2.根据权利要求1所述的方法,其特征在于,所述判断所述第一服务器是否处于流量高峰期,包括:
获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
计算所述预设时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
判断所述比值是否大于预设值;
若是,判定所述第一服务器处于流量高峰期;
若否,判定所述第一服务器未处于流量高峰期。
3.根据权利要求1所述的方法,其特征在于,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,所述对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,包括:
按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m;
若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m);
若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
4.根据权利要求1所述的方法,其特征在于,在所述将所述下载请求发送至所述目标磁盘之后,所述方法还包括:
判断所述待下载文件是否存储在所述目标磁盘中;
若是,对所述待下载文件进行下载;
若否,向所述调度器发送回源请求。
5.根据权利要求1所述的方法,其特征在于,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述方法还包括:
根据所述待下载文件标识对所述待下载文件进行下载。
6.一种文件下载的控制装置,其特征在于,应用于第一服务器,所述第一服务器为存储系统中的任意一个服务器,所述装置包括:
第一判断单元,用于当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘损坏时,判断所述第一服务器是否处于流量高峰期,若是,触发配置单元,若否,触发计算单元;
所述配置单元,用于在所述下载请求中配置故障参数,并将携带有所述故障参数的下载请求跳转至调度器,使所述调度器识别所述故障参数后将下载请求重新调度至任意一个第二服务器,所述第二服务器为所述存储系统中除所述第一服务器外的服务器,所述故障参数表征发生磁盘损坏的服务器;
所述计算单元,用于对所述待下载文件标识进行一致性哈希计算,确定所述待下载文件在所述第一服务器中的目标磁盘,并将所述下载请求发送至所述目标磁盘。
7.根据权利要求6所述的装置,其特征在于,所述第一判断单元包括:
获取子单元,用于获取预设时刻所述第一服务器的流量值与预设时刻之前预设时间段内所述第一服务器的最大流量值;
第一计算子单元,用于计算所述预设时刻所述第一服务器的流量值与所述预设时刻之前预设时间段内所述第一服务器的最大流量值的比值;
第一判断子单元,用于判断所述比值是否大于预设值,若是,触发第一判定子单元,若否,触发第二判定子单元;
所述第一判定子单元,用于判定所述第一服务器处于流量高峰期;
所述第二判定子单元,用于判定所述第一服务器未处于流量高峰期。
8.根据权利要求6所述的装置,其特征在于,当所述待下载文件标识为所述待下载文件统一资源标识符uri时,所述计算单元包括:
第二计算子单元,用于按二进制对所述待下载文件的uri进行md5计算,得到计算结果;
第三计算子单元,用于将所述计算结果与所述第一服务器中未发生损坏的磁盘数做模运算,得到模运算的余数n;
第二判断子单元,用于根据所述第一服务器的磁盘总数m、所述模运算的余数n,以及发生损坏的磁盘编号a,判断(n+1+a)是否大于m,若是,确定所述待下载文件的目标磁盘的编号为(n+1+a-m);若否,确定所述待下载文件的目标磁盘的编号为(n+1+a)。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二判断单元,用于判断所述待下载文件是否存储在所述目标磁盘中,若是,对所述待下载文件进行下载;若否,向所述调度器发送回源请求。
10.根据权利要求6所述的装置,其特征在于,当接收到携带有待下载文件标识的下载请求且所述待下载文件所在的磁盘未损坏时,所述装置还包括:
下载单元,用于根据所述待下载文件标识对所述待下载文件进行下载。
CN201711089859.4A 2017-11-08 2017-11-08 一种文件下载的控制方法及装置 Active CN107888678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711089859.4A CN107888678B (zh) 2017-11-08 2017-11-08 一种文件下载的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711089859.4A CN107888678B (zh) 2017-11-08 2017-11-08 一种文件下载的控制方法及装置

Publications (2)

Publication Number Publication Date
CN107888678A CN107888678A (zh) 2018-04-06
CN107888678B true CN107888678B (zh) 2020-11-13

Family

ID=61779478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711089859.4A Active CN107888678B (zh) 2017-11-08 2017-11-08 一种文件下载的控制方法及装置

Country Status (1)

Country Link
CN (1) CN107888678B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859265A (zh) * 2010-06-02 2010-10-13 杭州华三通信技术有限公司 一种磁盘阵列重建方法和设备
WO2014114135A1 (en) * 2013-01-22 2014-07-31 Tencent Technology (Shenzhen) Company Limited Disk fault tolerance method, device and system
CN104410531A (zh) * 2014-12-11 2015-03-11 上海百事通信息技术股份有限公司 冗余的系统架构方法
CN104424118A (zh) * 2013-08-23 2015-03-18 深圳市腾讯计算机系统有限公司 热点文件自适应拷贝方法及系统
CN106776891A (zh) * 2016-11-30 2017-05-31 山东浪潮商用系统有限公司 一种文件存储的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859265A (zh) * 2010-06-02 2010-10-13 杭州华三通信技术有限公司 一种磁盘阵列重建方法和设备
WO2014114135A1 (en) * 2013-01-22 2014-07-31 Tencent Technology (Shenzhen) Company Limited Disk fault tolerance method, device and system
CN104424118A (zh) * 2013-08-23 2015-03-18 深圳市腾讯计算机系统有限公司 热点文件自适应拷贝方法及系统
CN104410531A (zh) * 2014-12-11 2015-03-11 上海百事通信息技术股份有限公司 冗余的系统架构方法
CN106776891A (zh) * 2016-11-30 2017-05-31 山东浪潮商用系统有限公司 一种文件存储的方法和装置

Also Published As

Publication number Publication date
CN107888678A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
JP6669682B2 (ja) クラウドサーバスケジューリング方法及び装置
CN108173774B (zh) 一种客户端的升级方法及系统
US9729488B2 (en) On-demand mailbox synchronization and migration system
US9635077B2 (en) Low latency live video streaming
US20080201383A1 (en) System for managing data collection processes
EP3879840B1 (en) Definition switching method and apparatus, computer device, and readable storage medium
JP2015179551A (ja) メタデータファイルを更新する方法、装置、およびシステム
JP2015125454A (ja) プログラム配信装置及びプログラム配信方法、プログラム配信システム、並びにコンピュータ・プログラム
CN103391312A (zh) 资源离线下载方法及装置
CN107968851B (zh) 一种基于k8s平台的浮动IP绑定方法及装置
CN106657182B (zh) 云端文件处理方法和装置
CN104038842B (zh) 一种在cdn网络中预取点播节目信息的方法与设备
CN101883079A (zh) 在互联网中用于加速点播多媒体内容的方法与装置
CN110674098B (zh) 一种分布式文件系统中的域名解析方法
CN113301072A (zh) 服务调度方法及系统、调度设备、客户端
CN107888678B (zh) 一种文件下载的控制方法及装置
CN107908730B (zh) 一种下载数据的方法和装置
CN109995824B (zh) 一种对等网络中的任务调度方法及装置
CN108124021B (zh) 网际协议ip地址获取、网站访问的方法、装置及系统
CN107770283B (zh) 一种文件下载的控制方法、装置及系统
EP3905706A1 (en) Definition switching algorithm selection method and system, and device and medium
CN114598701B (zh) Cdn调度方法、系统、计算设备及存储介质
CN113660117B (zh) 加快终端设备内容投放的方法及装置、内容投放系统
GB2504673A (en) Publish and subscribe messaging system wherein transmission from broker to subscribers is phased over time
JP6594271B2 (ja) 分散装置及び分散方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant