CN107846429A - 一种文件备份方法、装置和系统 - Google Patents

一种文件备份方法、装置和系统 Download PDF

Info

Publication number
CN107846429A
CN107846429A CN201610830044.6A CN201610830044A CN107846429A CN 107846429 A CN107846429 A CN 107846429A CN 201610830044 A CN201610830044 A CN 201610830044A CN 107846429 A CN107846429 A CN 107846429A
Authority
CN
China
Prior art keywords
node server
low
server
file
heat degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610830044.6A
Other languages
English (en)
Other versions
CN107846429B (zh
Inventor
魏巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610830044.6A priority Critical patent/CN107846429B/zh
Publication of CN107846429A publication Critical patent/CN107846429A/zh
Application granted granted Critical
Publication of CN107846429B publication Critical patent/CN107846429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/563Data redirection of data network streams

Abstract

本发明实施例公开了一种文件备份方法、装置和系统,该方法包括:接收源节点服务器发送的低热度文件的标识;确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数;确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器;向目标节点服务器发送获取低热度文件的指令;向源节点服务器发送删除低热度文件的指令。本发明实施例可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。

Description

一种文件备份方法、装置和系统
技术领域
本发明涉及通信技术领域,更具体的说,涉及文件备份方法、装置和系统。
背景技术
目前,网状拓扑结构的CDN(Content Delivery Network,内容分发网络)近年来逐渐发展起来。通常情况下,网状拓扑结构的CDN包括多个节点服务器和一个中心服务器。在网状拓扑结构的CDN中,每个节点服务器均会淘汰热度较低的资源,以清理节点服务器的存储空间,从而使每个节点服务器具有充足的存储空间用来存储热度较高的资源。
在客户端向CDN中的目标节点服务器请求目标资源时,如果目标节点服务器未存储有目标资源,那么目标节点服务器会向中心服务器发送返回目标资源对应的节点服务器列表的请求。在中心服务器接收到目标节点服务器发送的返回目标资源对应的节点服务器列表的请求时,如果中心服务器检测出目标资源对应的节点服务器列表为空,说明CDN的节点服务器已经淘汰了目标资源,那么中心服务器只能通知目标节点服务器从内容源站直接下载目标资源。最后,目标节点服务器会从内容源站直接下载目标资源,并将目标资源发送给客户端。
在研究和实践的过程中,发明人发现上述技术方案至少存在以下技术问题:
在客户端向CDN的节点服务器请求的资源已经被淘汰时,CDN的节点服务器需要先从内容源站重新下载被淘汰的资源,然后再将重新下载的资源发送给客户端,这样会延长CDN的节点服务器向客户端发送资源的时间,不如CDN的节点服务器直接将预先存储的资源发送给客户端的速度快;而且,在CDN的规模较大时,在单位时间内会存在大量的节点服务器同时访问内容源站,受到内容源站的出流能力的限制,一些节点服务器在短时间内可能无法获取到内容源站的资源,所以这些节点服务器也就无法在短时间内将内容源站的资源转发给客户端,从而使得客户端因无法获取到资源而出现卡顿的情况。
发明内容
本发明实施例提供一种文件备份方法及装置,以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中。
本发明第一方面提供一种文件备份方法,方法应用于内容分发网络CDN的中心服务器中,方法包括:
接收源节点服务器发送的低热度文件的标识;
确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数,资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的;
确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器;
向目标节点服务器发送获取低热度文件的指令,或者,向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令;
接收目标节点服务器发送的成功获取低热度文件的提示信息,向源节点服务器发送删除低热度文件的指令。
其中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
结合上述第一方面,在第一种可能的实现方式中,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器的步骤包括:
在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;
在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;
在第二节点服务器集合中按照预设策略选择一个目标节点服务器。
其中,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
结合上述第一方面,在第二种可能的实现方式中,在接收源节点服务器发送的低热度文件的标识的步骤之前,方法还包括:
接收CDN的每个节点服务器周期发送的资源负载指数。
其中,在中心服务器接收到CDN中的每个节点服务器周期发送的资源负载指数时,中心服务器会将每个节点服务器发送的资源负载指数都存储到本地,从而保证中心服务器可以存储有每个节点服务器的资源负载指数。
结合上述第一方面,在第三种可能的实现方式中,在确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数的步骤之后,方法还包括:
确定出副本数量大于或等于副本阈值,向源节点服务器发送删除低热度文件的指令。
其中,如果中心服务器确定出副本数量大于或等于副本阈值,那么说明低热度文件的副本数量足够多,源节点服务器可以删除低热度文件,所以中心服务器就会向源节点服务器发送删除低热度文件的指令,以使源节点服务器删除低热度文件,从而清理出更多的空间,用来存放热度较高的文件。
结合上述第一方面,在第四种可能的实现方式中,在确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数的步骤之后,方法还包括:
确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,向源节点服务器发送禁止删除低热度文件的指令。
其中,如果中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,那么说明低热度文件的副本数量较少,不适合被删除,源节点服务器的资源负载指数小于或等于目标负载阈值,说明源节点服务器的负载压力较小,适合存储低热度文件,所以中心服务器便会向源节点服务器发送禁止删除低热度文件的指令,以使源节点服务器可以保留低热度文件。
结合上述第一方面,在第五种可能的实现方式中,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器的步骤包括:
在CDN的节点服务器中确定资源负载指数小于源节点服务器的节点服务器以形成第一节点服务器集合;
在第一节点服务器集合的节点服务器中随机选择一个目标节点服务器,或者,在第一节点服务器集合的节点服务器中选择一个资源负载指数最小的目标节点服务器。
其中,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
结合上述第一方面,在第六种可能的实现方式中,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器的步骤包括:
在CDN的节点服务器中选择资源负载指数小于指定负载阈值的节点服务器以形成第一节点服务器集合;
在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;
在第二节点服务器集合中按照预设策略选择一个目标节点服务器。
其中,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
本发明第二方面提供了另一种文件备份方法,该方法应用于CDN的源节点服务器中,该方法包括:
获取低热度文件的标识;
将低热度文件的标识发送给中心服务器;
接收到中心服务器发送的删除低热度文件的指令,删除低热度文件。
其中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
结合上述第二方面,在第一种可能的实现方式中,获取低热度文件的标识的步骤之前,方法还包括:
定期或周期向中心服务器发送资源负载指数。
其中,在中心服务器接收到CDN中的每个节点服务器定期或周期发送的资源负载指数时,中心服务器会将每个节点服务器发送的资源负载指数都存储到本地,从而保证中心服务器可以存储有每个节点服务器的资源负载指数。
本发明第三方面提供了一种文件备份装置,该装置包括:
第一接收模块,用于接收源节点服务器发送的低热度文件的标识;
确定模块,用于确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数,资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的;
选择模块,用于确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器;
第一发送模块,用于向目标节点服务器发送获取低热度文件的指令,或者,向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令;
第二发送模块,用于接收目标节点服务器发送的成功获取低热度文件的提示信息,向源节点服务器发送删除低热度文件的指令。
其中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
结合上述第三方面,在第一种可能的实现方式中,选择模块包括:
第一选择子模块,用于在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;
确定子模块,用于在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;
第二选择子模块,用于在第二节点服务器集合中按照预设策略选择一个目标节点服务器。
其中,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
结合上述第三方面,在第二种可能的实现方式中,装置还包括:
第二接收模块,用于接收CDN的每个节点服务器周期发送的资源负载指数。
其中,在中心服务器接收到CDN中的每个节点服务器周期发送的资源负载指数时,中心服务器会将每个节点服务器发送的资源负载指数都存储到本地,从而保证中心服务器可以存储有每个节点服务器的资源负载指数。
结合上述第三方面,在第三种可能的实现方式中,装置还包括:
第三发送模块,用于确定出副本数量大于或等于副本阈值,向源节点服务器发送删除低热度文件的指令。
其中,如果中心服务器确定出副本数量大于或等于副本阈值,那么说明低热度文件的副本数量足够多,源节点服务器可以删除低热度文件,所以中心服务器就会向源节点服务器发送删除低热度文件的指令,以使源节点服务器删除低热度文件,从而清理出更多的空间,用来存放热度较高的文件。
结合上述第三方面,在第四种可能的实现方式中,装置还包括:
第四发送模块,用于确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,向源节点服务器发送禁止删除低热度文件的指令。
其中,如果中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,那么说明低热度文件的副本数量较少,不适合被删除,源节点服务器的资源负载指数小于或等于目标负载阈值,说明源节点服务器的负载压力较小,适合存储低热度文件,所以中心服务器便会向源节点服务器发送禁止删除低热度文件的指令,以使源节点服务器可以保留低热度文件。
本发明第三方面提供了一种CDN系统,CDN系统包括中心服务器、源节点服务器和目标节点服务器;其中,
源节点服务器,用于获取低热度文件的标识;将低热度文件的标识发送给中心服务器;接收到中心服务器发送的删除低热度文件的指令,删除低热度文件;
中心服务器,用于接收源节点服务器发送的低热度文件的标识;确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数,资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的;确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器;向目标节点服务器发送获取低热度文件的指令,或者,向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令;接收目标节点服务器发送的成功获取低热度文件的提示信息,向源节点服务器发送删除低热度文件的指令。
其中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
结合上述第四方面,在第一种可能的实现方式中,中心服务器,用于在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,具体包括:
中心服务器,用于在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;在第二节点服务器集合中按照预设策略选择一个目标节点服务器。
其中,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
结合上述第四方面,在第二种可能的实现方式中,中心服务器,还用于接收CDN的每个节点服务器周期发送的资源负载指数。
其中,在中心服务器接收到CDN中的每个节点服务器周期发送的资源负载指数时,中心服务器会将每个节点服务器发送的资源负载指数都存储到本地,从而保证中心服务器可以存储有每个节点服务器的资源负载指数。
结合上述第四方面,在第三种可能的实现方式中,中心服务器,还用于确定出副本数量大于或等于副本阈值,向源节点服务器发送删除低热度文件的指令。
其中,如果中心服务器确定出副本数量大于或等于副本阈值,那么说明低热度文件的副本数量足够多,源节点服务器可以删除低热度文件,所以中心服务器就会向源节点服务器发送删除低热度文件的指令,以使源节点服务器删除低热度文件,从而清理出更多的空间,用来存放热度较高的文件。
结合上述第四方面,在第四种可能的实现方式中,中心服务器,还用于确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,向源节点服务器发送禁止删除低热度文件的指令。
其中,如果中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,那么说明低热度文件的副本数量较少,不适合被删除,源节点服务器的资源负载指数小于或等于目标负载阈值,说明源节点服务器的负载压力较小,适合存储低热度文件,所以中心服务器便会向源节点服务器发送禁止删除低热度文件的指令,以使源节点服务器可以保留低热度文件。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的网络拓扑结构的CDN的结构示意图;
图2为本发明实施例提供的一种文件备份方法的流程图;
图3为本发明实施例提供的又一种文件备份方法的流程图;
图4为本发明实施例提供的一种文件备份装置的示意图;
图5为本发明实施例提供的又一种文件备份装置的示意图;
图6为本发明实施例提供的又一种文件备份装置的示意图;
图7为本发明实施例提供的又一种文件备份装置的示意图;
图8为本发明实施例提供的又一种文件备份装置的示意图;
图9为本发明实施例提供的一种CDN系统的示意图。
具体实施方式
为了更清楚的介绍本发明实施例,在此需要先介绍本发明实施例涉及的应用场景。
请参见图1所示,图1所示的为网络拓扑结构的CDN的结构示意图。在图1所示的实施例中,网络拓扑结构的CDN1(Content Delivery Network,内容分发网络)包括一个中心服务器11和多个相互连通的节点服务器12。
在图1所示的实施例中,还有与CDN1的节点服务器12相连接的客户端3和内容源站2,在客户端3向CDN1中的一个目的节点服务器12请求目标资源时,会出现以下几种情况:
第一种情况,在客户端3向CDN1中的一个目的节点服务器12请求目标资源时,如果该目的节点服务器12存储有目标资源,那么该目的节点服务器12会将目标资源直接发送给客户端3。
第二种情况,在客户端3向CDN1中的一个目的节点服务器12请求目标资源时,如果该目的节点服务器12未存储有目标资源,那么该目的节点服务器12会向中心服务器11发送目标资源的获取请求。在中心服务器11接收到该获取请求时,如果中心服务器11检测出CDN1的其他节点服务器12中存在目标资源,那么中心服务器11会向目的节点服务器12发送具有目标资源的副本节点服务器12的IP地址。最后,目的节点服务器12会利用IP地址在副本节点服务器12中下载目标资源,并将目标资源发送给客户端3。
第三种情况,在客户端3向CDN1中的一个目的节点服务器12请求目标资源时,如果该目的节点服务器12未存储有目标资源,那么该目的节点服务器12会向中心服务器11发送目标资源的获取请求。在中心服务器11接收到该获取请求时,如果中心服务器11检测出CDN1的所有节点服务器均未存储目标资源,说明CDN1的所有节点服务器12均已淘汰该目标资源,那么中心服务器11只能通知目的节点服务器12从内容源站2直接下载目标资源。最后,目的节点服务器12会从内容源站2直接下载目标资源,并将目标资源发送给客户端3。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
图2为本发明实施例提供的一种文件备份方法的流程图。图2所示的文件备份方法可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
在图2所示的文件备份方法的流程图中,CDN包括多个节点服务器和一个中心服务器。在本发明实施例中,源节点服务器和目标节点服务器仅是CDN的多个节点服务器中的两个节点服务器,源节点服务器指的是需要删除低热度文件的节点服务器,目标节点服务器指的是可以备份低热度文件的节点服务器,CDN的其他节点服务器未在图2中示出。该方法包括以下步骤。
步骤S11、CDN中的每个节点服务器周期性的计算资源负载指数。
其中,CDN中的每个节点服务器既可以周期性的计算资源负载指数。例如,CDN中的每个节点服务器每个30分钟计算一次资源负载指数。CDN中的每个节点服务器也可以定期计算资源负载指数。例如,CDN中的每个节点服务器在预先设定好的时间点计算资源负载指数。
资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的。节点服务器中资源的占用率既可以为一种资源的占用率,也可以为多种资源的占用率。由于计算资源负载指数的方式有很多,下面介绍一种实现方式。
资源负载指数L可按如下计算:
L=aA+rR+cC+dD+nN;
A为周期内一个节点服务器的用户数据访问量与周期内CDN的所有节点服务器的总用户访问量的比率,其中,周期内CDN的所有节点服务器的总用户访问量可由中心服务器向所有节点服务器广播;R为周期内一个节点服务器的内存的平均占用率;C为周期内一个节点服务器的CPU的平均占用率;D为周期内一个节点服务器的磁盘的平均占用率,N为周期内一个节点服务器的网络带宽的平均占用率。a,r,c,d,n分别为对应量的系数,属于经验参数,可根据节点服务器的硬件配置或自定义偏重调整。
例如:一个节点服务器的一个周期内,用户访问量与全网总访问量的比率为3%,内存的平均占用率为60%,CPU的平均占用率为50%,磁盘的平均占用率为85%,网络流量7Gbps,出口带宽10Gbps,网络带宽的平均占用率为70%。工作人员预先将a设置为20,r设置为1,c设置为1.2,d设置为2,n设置为1.5。
那么,该周期内节点服务器的资源负载指数为:
L=0.03*20+1*0.6+1.2*0.5+2*0.85+1.5*0.7=4.55。
当然,在计算资源负载指数时,并不一定非要选择上述提到的5个资源参数,还可以选择其他的资源参数,或者选择更少的资源参数,本发明实施例并不局限于上述5个资源参数。
步骤S12、CDN中的每个节点服务器将计算得到的资源负载指数发送给中心服务器。
其中,在中心服务器接收到CDN中的每个节点服务器周期性发送的资源负载指数时,中心服务器会将每个节点服务器发送的资源负载指数都存储到本地。
步骤S13、源节点服务器获取低热度文件的标识。
其中,低热度文件指的是预设时间段内被访问的次数低于阈值的文件。例如,最近一个小时内被访问的次数低于1000次的文件即为低热度文件。
源节点服务器会存储文件的标识与预设时间段内被访问的次数的对应关系,所以源节点服务器可以确定出哪些文件在预设时间段内被访问的次数低于阈值,从而可以确定出在预设时间段内被访问的次数低于阈值的文件属于低热度文件。
低热度文件的标识可以为文件的名称,低热度文件的标识也可以为根据文件的名称、修改时间、属性等参数利用预设加密算法进行计算得到的校验值,预设加密算法可以为MD5(Message Digest Algorithm 5,消息摘要算法第五版)等加密算法。
步骤S14、源节点服务器将低热度文件的标识发送给中心服务器。
步骤S15、中心服务器接收源节点服务器发送的低热度文件的标识。
步骤S16、中心服务器确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数。
其中,中心服务器会预先存储文件的标识与节点服务器的标识的对应关系,所以中心服务器可以根据低热度文件的标识对应的节点服务器的标识的数量,统计出低热度文件的标识对应的副本数量。
例如,请参见表1,中心服务器预先存储有文件A与节点服务器和IP地址的对应关系,中心服务器可以统计具有文件A的节点服务器的数量,以得到文件A对应的副本数量。中心服务器经过统计得知,具有文件A的节点服务器的数量有3个,所以文件A的副本数量为3个。
文件的标识 节点服务器 IP地址
文件A X1 192.168.0.1
文件A X2 192.168.0.2
文件A X3 192.168.0.3
表1
由于CDN中的每个节点服务器均会周期性的计算资源负载指数,并将资源负载指数发送给中心服务器,所以中心服务器会预存有源节点服务器的资源负载指数,中心服务器可以直接获取源节点服务器的资源负载指数。
步骤S17、中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器。
其中,副本阈值为预先设定的阈值。例如,预先将副本阈值设置为2个。又如,预先将副本阈值设置为3个。当然,本发明实施例并不限定副本阈值的实际数量,可以根据具体应用场景来进行设定。
目标负载阈值为预先设定的阈值。例如,预先将目标负载阈值设置为3。当然,本发明实施例并不限定目标负载阈值具体为多少,可以根据具体应用场景来进行设定。
如果中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,说明低热度文件的副本数量较少,不适合被删除,而且源节点服务器的负载压力较大,不适合存储低热度文件,所以中心服务器需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,以使资源负载指数较低的目标节点服务器来存储低热度文件。
中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器的方式有很多种,下面介绍几种方式。
第一种方式,中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器包括以下步骤:第一步,在CDN的节点服务器中确定资源负载指数小于源节点服务器的节点服务器以形成第一节点服务器集合;第二步,在第一节点服务器集合的节点服务器中随机选择一个目标节点服务器,或者,在第一节点服务器集合的节点服务器中选择一个资源负载指数最小的目标节点服务器。
通过第一种方式的执行过程可知,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
第二种方式,中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器包括以下步骤:第一步,在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;第二步,在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;第三步,在第二节点服务器集合中按照预设策略选择一个目标节点服务器。在第二种方式中,预设比例为预先设定好的比例,例如五分之一。目标阈值为预先设定好的值,例如4。预设策略为预先设定好的策略,例如,在第二节点服务器集合中随机选择一个目标节点服务器;又如,在第二节点服务器集合中选择一个资源负载指数最小的目标节点服务器。
下面通过举例来说明第二种方式的执行过程。
例如,假设CDN包括10个节点服务器和1个中心服务器,10个节点服务器分别为a1、a2、a3、a4、a5、a6、a7、a8、a9和a10,假设源节点服务器为a5,目标阈值为3,a1的资源负载指数为10,a2的资源负载指数为9,a3的资源负载指数为8,a4的资源负载指数为7,a5的资源负载指数为6,a6的资源负载指数为5,a7的资源负载指数为4,a8的资源负载指数为3,a9的资源负载指数为2,a10的资源负载指数为1。首先,中心服务器在CDN的10个节点服务器中选择资源负载指数最低的五分之一的节点服务器以形成第一节点服务器集合,由于资源负载指数最低的五分之一的节点服务器为a9和a10,所以第一节点服务器集合包括a9和a10;其次,在第一节点服务器集合的节点服务器a9和a10中确定资源负载指数与源节点服务器a5的资源负载指数6的差值大于目标阈值3的节点服务器以形成第二节点服务器集合,由于a5的资源负载指数6与a9的资源负载指数2的差值为4,大于目标阈值3,a5的资源负载指数6与a10的资源负载指数1的差值为5,大于目标阈值3,所以第二节点服务器集合包括a9和a10;最后,在第二节点服务器集合a9和a10中选择一个资源负载指数最小的目标节点服务器,其中,目标节点服务器为a10。
通过第二种方式的执行过程可知,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
第三种方式,中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器包括以下步骤:第一步,在CDN的节点服务器中选择资源负载指数小于指定负载阈值的节点服务器以形成第一节点服务器集合;第二步,在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;第三步,在第二节点服务器集合中按照预设策略选择一个目标节点服务器。在第三种方式中,指定负载阈值为预先设定好的值,例如3。目标阈值为预先设定好的值,例如1。预设策略为预先设定好的策略,例如,在第二节点服务器集合中随机选择一个目标节点服务器;又如,在第二节点服务器集合中选择一个资源负载指数最小的目标节点服务器。
下面通过举例来说明第三种方式的执行过程。
例如,假设CDN包括10个节点服务器和1个中心服务器,10个节点服务器分别为a1、a2、a3、a4、a5、a6、a7、a8、a9和a10,假设源节点服务器为a5,指定负载阈值为3,目标阈值为1,a1的资源负载指数为10,a2的资源负载指数为9,a3的资源负载指数为8,a4的资源负载指数为7,a5的资源负载指数为6,a6的资源负载指数为5,a7的资源负载指数为4,a8的资源负载指数为3,a9的资源负载指数为2,a10的资源负载指数为1。首先,中心服务器在CDN的10个节点服务器中选择资源负载指数小于指定负载阈值3的节点服务器以形成第一节点服务器集合,由于资源负载指数小于指定负载阈值3的节点服务器为a9和a10,所以第一节点服务器集合包括a9和a10;其次,在第一节点服务器集合的节点服务器a9和a10中确定资源负载指数与源节点服务器a5的资源负载指数6的差值大于目标阈值1的节点服务器以形成第二节点服务器集合,由于a5的资源负载指数6与a9的资源负载指数2的差值为4,大于目标阈值1,a5的资源负载指数6与a10的资源负载指数1的差值为5,大于目标阈值1,所以第二节点服务器集合包括a9和a10;最后,在第二节点服务器集合a9和a10中选择一个资源负载指数最小的目标节点服务器,其中,目标节点服务器为a10。
通过第三种方式的执行过程可知,中心服务器可以在CDN的节点服务器中选择出资源负载指数相对较小的目标节点服务器,以使目标节点服务器用于存储低热度文件,从而保证低热度文件的副本数量保持不变的情况下,删除资源负载指数相对较高的源节点服务器中的低热度文件。
在步骤S17中,如果中心服务器确定出副本数量大于或等于副本阈值,那么说明低热度文件的副本数量足够多,源节点服务器可以删除低热度文件,所以中心服务器就会向源节点服务器发送删除低热度文件的指令,以使源节点服务器删除低热度文件,从而清理出更多的空间,用来存放热度较高的文件。
在步骤S17中,如果中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,那么说明低热度文件的副本数量较少,不适合被删除,源节点服务器的资源负载指数小于或等于目标负载阈值,说明源节点服务器的负载压力较小,适合存储低热度文件,所以中心服务器便会向源节点服务器发送禁止删除低热度文件的指令,以使源节点服务器可以保留低热度文件。
步骤S18、中心服务器向目标节点服务器发送获取低热度文件的指令。
其中,在中心服务器确定出资源负载指数小于源节点服务器的目标节点服务器以后,中心服务器需要向目标节点服务器发送获取低热度文件的指令。目标节点服务器在接收到中心服务器发送的获取低热度文件的指令以后,目标节点服务器便会解析该指令,并从该指令中解析出低热度文件的标识和副本节点服务器的IP地址,目标节点服务器便可通过该IP地址和低热度文件的标识在副本节点服务器中获取低热度文件。
由于源节点服务器也是具有低热度文件的节点服务器,副本节点服务器包含源节点服务器,所以目标节点服务器也会通过IP地址和低热度文件的标识在源节点服务器中获取低热度文件。
步骤S19、目标节点服务器向中心服务器发送成功获取到低热度文件的提示信息。
其中,在目标节点服务器通过IP地址在副本节点服务器中获取低热度文件以后,目标节点服务器向中心服务器发送成功获取到低热度文件的提示信息。在中心服务器接收到目标节点服务器发送的成功获取到低热度文件的提示信息以后,中心服务器便会在低热度文件的列表中记录目标节点服务器存储有低热度文件,并建立低热度文件的标识与目标节点服务器的IP地址的对应关系,以便于其他的节点服务器可以通过目标节点服务器的IP地址在目标节点服务器中获取到低热度文件。
步骤S20、中心服务器向源节点服务器发送删除低热度文件的指令。
其中,在目标节点服务器向中心服务器发送成功获取到低热度文件的提示信息以后,中心服务器需要向源节点服务器发送删除低热度文件的指令,以使源节点服务器在接收到中心服务器发送的删除低热度文件的指令时,源节点服务器可以删除低热度文件,从而将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中。
步骤S21、源节点服务器删除低热度文件。
其中,在源节点服务器接收到中心服务器发送的删除低热度文件的指令时,源节点服务器便会删除低热度文件,以清理出空间,用来存放热度较高的文件。
在图2所示的实施例中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
请参见图3所示,图3为本发明实施例提供的又一种文件备份方法的流程图。图3所示的实施例为基于图2改进的实施例,所以与图2相同的内容可参见图2所示的实施例。图3所示方法包括以下步骤:
步骤S31、CDN中的每个节点服务器周期性的计算资源负载指数。
步骤S32、CDN中的每个节点服务器将计算得到的资源负载指数发送给中心服务器。
步骤S33、源节点服务器获取低热度文件的标识。
步骤S34、源节点服务器将低热度文件的标识发送给中心服务器。
步骤S35、中心服务器接收源节点服务器发送的低热度文件的标识。
步骤S36、中心服务器确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数。
步骤S37、中心服务器确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,中心服务器在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器。
步骤S38、中心服务器向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令。
其中,在中心服务器确定出资源负载指数小于源节点服务器的目标节点服务器以后,中心服务器需要向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令。
由于中心服务器预先存储有低热度文件与节点服务器的对应关系,所以中心服务器可以根据低热度文件的标识与节点服务器的标识的对应关系得知哪些节点服务器具有低热度文件。下面简称具有低热度文件的节点服务器为副本节点服务器。在中心服务器确定出副本节点服务器以后,中心服务器会获取预先存储的目标节点服务器的IP地址,并向副本节点服务器发送为目标节点服务器传输低热度文件的指令,其中,该指令中包含目标节点服务器的IP地址和低热度文件的标识。
由于源节点服务器也是具有低热度文件的节点服务器,副本节点服务器包含源节点服务器,所以中心服务器也会向源节点服务器发送为目标节点服务器传输低热度文件的指令。
步骤S39、CDN中具有低热度文件的节点服务器向目标节点服务器发送低热度文件。
其中,在副本节点服务器接收到服务器发送的指令以后,副本节点服务器会提取出该指令中包含的目标节点服务器的IP地址和低热度文件的标识,副本节点服务器通过低热度文件的标识获取到预先存储的低热度文件,并利用目标节点服务器的IP地址将低热度文件发送给目标节点服务器,从而成功的完成了低热度文件的迁移工作。
由于源节点服务器也是具有低热度文件的节点服务器,副本节点服务器包含源节点服务器,所以源节点服务器也会利用目标节点服务器的IP地址将低热度文件发送给目标节点服务器。
步骤S40、目标节点服务器向中心服务器发送成功获取到低热度文件的提示信息。
其中,在目标节点服务器成功获取到副本节点服务器发送的低热度文件以后,目标节点服务器向中心服务器发送成功获取到低热度文件的提示信息,其中,该提示信息中包含目标节点服务器的标识和低热度文件的标识。
步骤S41、中心服务器向源节点服务器发送删除低热度文件的指令。
其中,在中心服务器接收到目标节点服务器发送的成功获取到低热度文件的提示信息以后,中心服务器需要向源节点服务器发送删除低热度文件的指令,以使源节点服务器在接收到中心服务器发送的删除低热度文件的指令时,源节点服务器可以删除低热度文件,从而将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中。
步骤S42、源节点服务器删除低热度文件。
其中,在源节点服务器接收到中心服务器发送的删除低热度文件的指令时,源节点服务器便会删除低热度文件,以清理出空间,用来存放热度较高的文件。
在图3所示的实施例中,低热度文件的副本数量小于副本阈值,说明低热度文件的副本数量较少,不适合被删除;源节点服务器的资源负载指数大于目标负载阈值,说明源节点服务器的负载压力较大,不适合存储低热度文件,所以需要在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器,将低热度文件转移到负载压力较小的目标节点服务器中,并删除负载压力较大的源节点服务器中的低热度文件。因此,本发明实施例提供的方案可以将负载压力较高的源节点服务器中的低热度文件转移至负载压力较低的目标节点服务器中,使得低热度文件也可以存储在CDN的节点服务器中,从而可以避免大量CDN节点服务器经常访问内容源站而出现的各种问题。
图4为本发明实施例提供的一种文件备份装置的示意图。图4为图2对应的装置实施例,图4中与图2相同的内容请参见图2对应的实施例即可。参照图4,该装置包括以下模块:
第一接收模块11,用于接收源节点服务器发送的低热度文件的标识;
确定模块12,用于确定低热度文件的标识对应的副本数量和源节点服务器的资源负载指数,资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的;
选择模块13,用于确定出副本数量小于副本阈值且源节点服务器的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器的目标节点服务器;
第一发送模块14,用于向目标节点服务器发送获取低热度文件的指令,或者,向CDN中具有低热度文件的节点服务器发送为目标节点服务器传输低热度文件的指令;
第二发送模块15,用于接收目标节点服务器发送的成功获取低热度文件的提示信息,向源节点服务器发送删除低热度文件的指令。
可选的,选择模块13还可以包括以下子模块:第一选择子模块,用于在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;确定子模块,用于在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;第二选择子模块,用于在第二节点服务器集合中按照预设策略选择一个目标节点服务器。
图5为本发明实施例提供的又一种文件备份装置的示意图。图5为图4的改进实施例,图5中与图4相同的内容请参见图4对应的实施例即可。参照图5,该装置还可以包括以下模块:
第二接收模块16,用于接收CDN的每个节点服务器周期发送的资源负载指数。
图6为本发明实施例提供的又一种文件备份装置的示意图。图6为图4的改进实施例,图6中与图4相同的内容请参见图4对应的实施例即可。参照图6,该装置还可以包括以下模块:
第三发送模块17,用于确定出副本数量大于或等于副本阈值,向源节点服务器发送删除低热度文件的指令。
图7为本发明实施例提供的又一种文件备份装置的示意图。图7为图4的改进实施例,图7中与图4相同的内容请参见图4对应的实施例即可。参照图7,该装置还可以包括以下模块:
第四发送模块18,用于确定出副本数量小于副本阈值且源节点服务器的资源负载指数小于或等于目标负载阈值,向源节点服务器发送禁止删除低热度文件的指令。
图8为本发明实施例提供的又一种文件备份装置的示意图。该装置可以是上述中心服务器。参照图8,该装置包括:处理器21和存储器22,其中,存储器22内存储有处理器21能够执行的操作指令,处理器21读取存储器22内的操作指令用于实现上述各方法实施例中的方法。
图9为本发明实施例提供的一种CDN系统的示意图。图9为图2对应的装置实施例,图9中与图2相同的内容请参见图2对应的实施例即可。参照图9,该CDN系统包括中心服务器31、源节点服务器32和目标节点服务器33;其中,
源节点服务器32,用于获取低热度文件的标识;将低热度文件的标识发送给中心服务器31;接收到中心服务器31发送的删除低热度文件的指令,删除低热度文件;
中心服务器31,用于接收源节点服务器32发送的低热度文件的标识;确定低热度文件的标识对应的副本数量和源节点服务器32的资源负载指数,资源负载指数为利用预设算法对CDN的节点服务器中资源的占用率进行计算得到的;确定出副本数量小于副本阈值且源节点服务器32的资源负载指数大于目标负载阈值,在CDN的节点服务器中选择资源负载指数小于源节点服务器32的目标节点服务器33;向目标节点服务器33发送获取低热度文件的指令,或者,向CDN中具有低热度文件的节点服务器发送为目标节点服务器33传输低热度文件的指令;接收目标节点服务器33发送的成功获取低热度文件的提示信息,向源节点服务器32发送删除低热度文件的指令。
可选的,中心服务器31,用于在CDN的节点服务器中选择资源负载指数小于源节点服务器32的目标节点服务器33,具体包括:中心服务器31,用于在CDN的节点服务器中选择资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;在第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器32的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;在第二节点服务器集合中按照预设策略选择一个目标节点服务器33。
可选的,中心服务器31,还用于接收CDN的每个节点服务器周期发送的资源负载指数。
可选的,中心服务器31,还用于确定出副本数量大于或等于副本阈值,向源节点服务器32发送删除低热度文件的指令。
可选的,中心服务器31,还用于确定出副本数量小于副本阈值且源节点服务器32的资源负载指数小于或等于目标负载阈值,向源节点服务器32发送禁止删除低热度文件的指令。
需要说明的是,图1至图9所示的实施例只是本发明所介绍的优选实施例,本领域技术人员在此基础上,完全可以设计出更多的实施例,因此不在此处赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,中心服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种文件备份方法,其特征在于,所述方法应用于内容分发网络CDN的中心服务器中,所述方法包括:
接收源节点服务器发送的低热度文件的标识;
确定所述低热度文件的标识对应的副本数量和所述源节点服务器的资源负载指数,所述资源负载指数为利用预设算法对所述CDN的节点服务器中资源的占用率进行计算得到的;
确定出所述副本数量小于副本阈值且所述源节点服务器的资源负载指数大于目标负载阈值,在所述CDN的节点服务器中选择所述资源负载指数小于所述源节点服务器的目标节点服务器;
向所述目标节点服务器发送获取所述低热度文件的指令,或者,向所述CDN中具有所述低热度文件的节点服务器发送为所述目标节点服务器传输所述低热度文件的指令;
接收所述目标节点服务器发送的成功获取所述低热度文件的提示信息,向所述源节点服务器发送删除所述低热度文件的指令。
2.根据权利要求1所述的文件备份方法,其特征在于,在所述CDN的节点服务器中选择所述资源负载指数小于所述源节点服务器的目标节点服务器的步骤包括:
在所述CDN的节点服务器中选择所述资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;
在所述第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;
在所述第二节点服务器集合中按照预设策略选择一个目标节点服务器。
3.根据权利要求1所述的文件备份方法,其特征在于,在接收源节点服务器发送的低热度文件的标识的步骤之前,所述方法还包括:
接收所述CDN的每个节点服务器周期发送的资源负载指数。
4.根据权利要求1所述的文件备份方法,其特征在于,在确定所述低热度文件的标识对应的副本数量和所述源节点服务器的资源负载指数的步骤之后,所述方法还包括:
确定出所述副本数量大于或等于所述副本阈值,向所述源节点服务器发送删除所述低热度文件的指令。
5.根据权利要求1所述的文件备份方法,其特征在于,在确定所述低热度文件的标识对应的副本数量和所述源节点服务器的资源负载指数的步骤之后,所述方法还包括:
确定出所述副本数量小于所述副本阈值且所述源节点服务器的资源负载指数小于或等于目标负载阈值,向所述源节点服务器发送禁止删除所述低热度文件的指令。
6.一种文件备份装置,其特征在于,所述装置包括:
第一接收模块,用于接收源节点服务器发送的低热度文件的标识;
确定模块,用于确定所述低热度文件的标识对应的副本数量和所述源节点服务器的资源负载指数,所述资源负载指数为利用预设算法对所述CDN的节点服务器中资源的占用率进行计算得到的;
选择模块,用于确定出所述副本数量小于副本阈值且所述源节点服务器的资源负载指数大于目标负载阈值,在所述CDN的节点服务器中选择所述资源负载指数小于所述源节点服务器的目标节点服务器;
第一发送模块,用于向所述目标节点服务器发送获取所述低热度文件的指令,或者,向所述CDN中具有所述低热度文件的节点服务器发送为所述目标节点服务器传输所述低热度文件的指令;
第二发送模块,用于接收所述目标节点服务器发送的成功获取所述低热度文件的提示信息,向所述源节点服务器发送删除所述低热度文件的指令。
7.根据权利要求6所述的文件备份装置,其特征在于,所述选择模块包括:
第一选择子模块,用于在所述CDN的节点服务器中选择所述资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;
确定子模块,用于在所述第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;
第二选择子模块,用于在所述第二节点服务器集合中按照预设策略选择一个目标节点服务器。
8.根据权利要求6所述的文件备份装置,其特征在于,所述装置还包括:
第二接收模块,用于接收所述CDN的每个节点服务器周期发送的资源负载指数。
9.根据权利要求6所述的文件备份装置,其特征在于,所述装置还包括:
第三发送模块,用于确定出所述副本数量大于或等于所述副本阈值,向所述源节点服务器发送删除所述低热度文件的指令。
10.根据权利要求6所述的文件备份装置,其特征在于,所述装置还包括:
第四发送模块,用于确定出所述副本数量小于所述副本阈值且所述源节点服务器的资源负载指数小于或等于目标负载阈值,向所述源节点服务器发送禁止删除所述低热度文件的指令。
11.一种CDN系统,其特征在于,所述CDN系统包括中心服务器、源节点服务器和目标节点服务器;其中,
所述源节点服务器,用于获取低热度文件的标识;将所述低热度文件的标识发送给所述中心服务器;接收到所述中心服务器发送的删除所述低热度文件的指令,删除所述低热度文件;
所述中心服务器,用于接收源节点服务器发送的低热度文件的标识;确定所述低热度文件的标识对应的副本数量和所述源节点服务器的资源负载指数,所述资源负载指数为利用预设算法对所述CDN的节点服务器中资源的占用率进行计算得到的;确定出所述副本数量小于副本阈值且所述源节点服务器的资源负载指数大于目标负载阈值,在所述CDN的节点服务器中选择所述资源负载指数小于所述源节点服务器的目标节点服务器;向所述目标节点服务器发送获取所述低热度文件的指令,或者,向所述CDN中具有所述低热度文件的节点服务器发送为所述目标节点服务器传输所述低热度文件的指令;接收所述目标节点服务器发送的成功获取所述低热度文件的提示信息,向所述源节点服务器发送删除所述低热度文件的指令。
12.根据权利要求11所述的CDN系统,其特征在于,所述中心服务器,用于在所述CDN的节点服务器中选择所述资源负载指数小于所述源节点服务器的目标节点服务器,具体包括:
所述中心服务器,用于在所述CDN的节点服务器中选择所述资源负载指数最低的预设比例的节点服务器以形成第一节点服务器集合;在所述第一节点服务器集合的节点服务器中确定资源负载指数与源节点服务器的资源负载指数的差值大于目标阈值的节点服务器以形成第二节点服务器集合;在所述第二节点服务器集合中按照预设策略选择一个目标节点服务器。
13.根据权利要求11所述的CDN系统,其特征在于,所述中心服务器,还用于接收所述CDN的每个节点服务器周期发送的资源负载指数。
14.根据权利要求11所述的CDN系统,其特征在于,所述中心服务器,还用于确定出所述副本数量大于或等于所述副本阈值,向所述源节点服务器发送删除所述低热度文件的指令。
15.根据权利要求11所述的CDN系统,其特征在于,所述中心服务器,还用于确定出所述副本数量小于所述副本阈值且所述源节点服务器的资源负载指数小于或等于目标负载阈值,向所述源节点服务器发送禁止删除所述低热度文件的指令。
CN201610830044.6A 2016-09-18 2016-09-18 一种文件备份方法、装置和系统 Active CN107846429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610830044.6A CN107846429B (zh) 2016-09-18 2016-09-18 一种文件备份方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610830044.6A CN107846429B (zh) 2016-09-18 2016-09-18 一种文件备份方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107846429A true CN107846429A (zh) 2018-03-27
CN107846429B CN107846429B (zh) 2021-01-29

Family

ID=61657148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610830044.6A Active CN107846429B (zh) 2016-09-18 2016-09-18 一种文件备份方法、装置和系统

Country Status (1)

Country Link
CN (1) CN107846429B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995866A (zh) * 2019-12-20 2020-04-10 深圳市网心科技有限公司 节点调度方法、装置、调度服务器及存储介质
CN112689166A (zh) * 2020-12-18 2021-04-20 武汉市烽视威科技有限公司 一种用于cdn热点内容实时弹性增减的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2399390A1 (en) * 2009-02-17 2011-12-28 Telefonaktiebolaget L M Ericsson (publ) Method and apparatus for distributing data in a peer-to- peer network
CN102377826A (zh) * 2011-11-28 2012-03-14 中国科学院研究生院 一种对等网络中冷门资源索引的优化放置方法
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN104243425A (zh) * 2013-06-19 2014-12-24 深圳市腾讯计算机系统有限公司 一种在内容分发网络中进行内容管理的方法、装置及系统
CN105187848A (zh) * 2015-08-18 2015-12-23 浪潮软件集团有限公司 一种内容分发网络系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2399390A1 (en) * 2009-02-17 2011-12-28 Telefonaktiebolaget L M Ericsson (publ) Method and apparatus for distributing data in a peer-to- peer network
CN102377826A (zh) * 2011-11-28 2012-03-14 中国科学院研究生院 一种对等网络中冷门资源索引的优化放置方法
CN104243425A (zh) * 2013-06-19 2014-12-24 深圳市腾讯计算机系统有限公司 一种在内容分发网络中进行内容管理的方法、装置及系统
CN103997512A (zh) * 2014-04-14 2014-08-20 南京邮电大学 一种面向云存储系统的数据副本数量确定方法
CN105187848A (zh) * 2015-08-18 2015-12-23 浪潮软件集团有限公司 一种内容分发网络系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨戈 等.: "云环境下P2P流媒体传输关键技术.", 《计算机系统应用》 *
王颖慧.: "基于P2P的内容分发流媒体服务系统的研究与实现.", 《中国优秀硕士学位论文全文数据库信息科技辑2009年》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995866A (zh) * 2019-12-20 2020-04-10 深圳市网心科技有限公司 节点调度方法、装置、调度服务器及存储介质
CN112689166A (zh) * 2020-12-18 2021-04-20 武汉市烽视威科技有限公司 一种用于cdn热点内容实时弹性增减的方法及系统

Also Published As

Publication number Publication date
CN107846429B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN108510389A (zh) 基于区块链的智能合约调用方法、设备及可读存储介质
CN107395659A (zh) 一种业务受理及共识的方法及装置
CN108776929A (zh) 基于区块链数据库的账单处理方法、系统和可读存储介质
CN107105050B (zh) 一种业务对象的存储、下载方法及系统
CN105242983B (zh) 一种数据存储方法以及一种数据存储管理服务器
CN111163130B (zh) 一种网络服务系统及其数据传输方法
CN105915650B (zh) 负载均衡方法和装置
CN109491758A (zh) docker镜像分发方法、系统、数据网关及计算机可读存储介质
CN108322502A (zh) 用于均衡服务器负载的方法、网关系统和存储介质
US20060069778A1 (en) Content distribution system
CN108881354A (zh) 一种推送信息存储方法、装置、服务器和计算机存储介质
US8086629B2 (en) Content delivery apparatus, content delivery method, and content delivery program
CN106897442A (zh) 一种分布式文件系统用户配额预分配方法及分配系统
CN110113393A (zh) 一种消息推送方法、装置、电子设备及介质
CN109379448A (zh) 一种文件分布式部署方法、装置、电子设备及存储介质
CN109150936A (zh) 一种分布式集群中会话对象Session的共享方法及装置
CN106850720A (zh) 软件升级方法、装置及系统
CN106131113A (zh) 一种资源下载方法、装置、系统以及资源服务器
CN106341485A (zh) 一种云存储的方法及装置
CN101783742B (zh) 一种网络拓扑的发现方法和设备
CN107846429A (zh) 一种文件备份方法、装置和系统
CN105630419A (zh) 一种资源池的分区视图发送方法及管理节点
CN106850724A (zh) 数据推送方法及装置
US20190372825A1 (en) Communication apparatus, communication method, and recording medium
CN109194993A (zh) 媒体文件分发方法及文件分发平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant