CN110471897B - 文件管理方法及装置 - Google Patents

文件管理方法及装置 Download PDF

Info

Publication number
CN110471897B
CN110471897B CN201910777852.4A CN201910777852A CN110471897B CN 110471897 B CN110471897 B CN 110471897B CN 201910777852 A CN201910777852 A CN 201910777852A CN 110471897 B CN110471897 B CN 110471897B
Authority
CN
China
Prior art keywords
file
node
management
management system
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910777852.4A
Other languages
English (en)
Other versions
CN110471897A (zh
Inventor
邵灿
盛骥斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Original Assignee
Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan MgtvCom Interactive Entertainment Media Co Ltd filed Critical Hunan MgtvCom Interactive Entertainment Media Co Ltd
Priority to CN201910777852.4A priority Critical patent/CN110471897B/zh
Publication of CN110471897A publication Critical patent/CN110471897A/zh
Application granted granted Critical
Publication of CN110471897B publication Critical patent/CN110471897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183Provision of network file services by network file servers, e.g. by using NFS, CIFS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及互联网技术领域,特别是涉及一种文件管理方法及装置。该方法包括:当接收到第一文件管理指令时,确定文件管理条件;获取每个资源文件的节点文件信息,选择满足文件管理条件的目标节点文件信息发送至全局管理系统;接收全局管理系统发送的节点文件管理策略并确定各个节点机的状态信息;依据节点文件管理策略及状态信息,设置子文件管理策略;将子文件管理策略发送至子管理系统使其执行文件管理操作。应用该方法,根据由节点管理系统、子管理系统以及全局管理系统之间的分布式对应关系,对CDN系统中各个边缘节点的节点机中的所有资源文件进行管理,有效地对各个资源文件进行文件管理操作,提高CDN系统的性能和稳定性。

Description

文件管理方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种文件管理方法及装置。
背景技术
随着互联网技术的快速发展,CDN(Content Delivery Network,内容分发网络)系统作为互联网中的一种新型架构,能够在用户需要文件时,根据网络流量、各个边缘节点的连接,依据各个边缘节点到用户的距离等信息,选择离用户较近,传输速度较快的边缘节点,向用户发送用户所需的文件。
然而,CDN系统由于磁盘空间有限,当CDN系统存储的文件已经占用了CDN系统的大部分磁盘空间时,就需要针对已存储的文件进行清理、迁移和备份等。在现有技术中,通常将各个文件的文件名、每个文件所对应的边缘节点的节点ID保存在数据库中,用户可通过数据库查询目标文件当前存储的位置,并根据目标文件当前存储的位置对目标文件进行清理、迁移和备份等操作。但随着文件数量的增长,数据库需要记录大量的文件名和节点ID,使得数据库中的数据量异常的庞大,同时降低了数据库的安全性能和稳定性能。且对于大数量的批量文件管理操作,会对CDN系统的系统性能和稳定性产生影响,导致系统性能和稳定性降低。
发明内容
本发明所要解决的技术问题是提供一种文件管理方法,通过该方法,由节点管理系统管理与其对应的边缘节点中的资源文件,由子管理系统管理与其对应节点机中的资源文件,节点管理系统在对本边缘节点的各个资源文件的文件热度进行统计后发送至全局管理系统,由全局管理系统根据各个资源文件的热度下发文件管理策略,实现分布式对各个节点机中的资源文件的管理,提高CDN系统的性能和稳定性。
本发明还提供了一种文件管理装置,用以保证上述方法在实际中的实现及应用。
一种文件管理方法,所述方法应用于节点管理系统,所述节点管理系统用于管理与其对应的边缘节点中的所有资源文件,所述边缘节点中包含至少一个节点机,所述方法包括:
当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
上述的方法,可选的,所述获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,包括:
向各个所述子管理系统发送第二文件管理指令;
当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
上述的方法,可选的,所述从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息,包括:
确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
上述的方法,可选的,所述依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第一访问阈值,及与所述第一访问阈值对应的第一副本数量,所述第一访问阈值为所述全局管理系统设置的高热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数大于所述第一访问阈值;
若存在目标资源文件的总访问次数大于所述第一访问阈值,则将各个所述目标资源文件确定为高热度文件,并根据所述第一副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的高热度文件管理策略,所述高热度文件管理策略用于触发每个所述子管理系统依据与其对应的高热度文件管理策略,管理每个所述节点机中每个所述高热度文件的数量,以使所述边缘节点中每个所述高热度文件的数量不少于所述第一副本数量。
上述的方法,可选的,所述依据所述节点文件管理策略及每个所述节点机对应的状态信息,设置与每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第二访问阈值,及与所述第二访问阈值对应的第二副本数量,所述第二访问阈值为所述全局管理系统设置的低热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数小于所述第二访问阈值;
若存在目标资源文件的总访问次数小于所述第二访问阈值,则将各个所述目标资源文件确定为低热度文件,并根据所述第二副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的低热度文件管理策略,所述低热度文件管理策略用于触发每个所述子管理系统依据与其对应的低热度文件管理策略,管理每个所述节点机中每个所述低热度文件的数量,以使所述边缘节点中每个所述低热度文件的数量不多于所述第二副本数量。
上述的方法,可选的,还包括:
当接收所述全局管理系统发送的全局高热度文件管理策略时,确定与所述全局高热度文件管理策略对应的目标高热度文件;
依据所述全局高热度文件管理策略,向目标所述子管理系统发送与所述目标高热度文件对应的下载指令,以使所述目标子管理系统依据所述下载指令,触发与所述目标子管理系统对应的节点机下载所述目标高热度文件。
上述的方法,可选的,还包括:
当接收到用户通过所述全局管理系统发送的文件查询指令时,确定与所述文件查询指令对应的待查询资源文件;
向各个所述子管理系统发送与所述待查询资源文件对应的文件查询请求;
当接收到各个所述子管理系统反馈的与所述文件查询请求对应的目标文件信息时,将各个所述目标文件信息发送至所述全局管理系统中,以使所述全局管理系统向所述用户反馈所述目标文件信息。
一种文件管理装置,包括:
第一确定单元,用于当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
选择单元,用于获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
发送单元,用于将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
第二确定单元,用于当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
设置单元,用于依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
触发单元,用于将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
上述的装置,可选的,所述选择单元,包括:
发送子单元,用于向各个所述子管理系统发送第二文件管理指令;
统计子单元,用于当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
上述的装置,可选的,所述选择单元,包括:
确定子单元,用于确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取子单元,用于获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
计算子单元,用于对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
选择子单元,用于依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的文件管理方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行上述的文件管理方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种文件管理方法,包括:当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。应用本发明提供的方法,根据由节点管理系统、子管理系统以及全局管理系统之间的分布式对应关系,对CDN系统中各个边缘节点的各个节点机中的所有资源文件进行管理,有效地对各个节点机中的资源文件进行清除、增加及迁移等操作,提高CDN系统的性能和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种文件管理方法的方法流程图;
图2为本发明实施例提供的一种文件管理方法的方法示意图;
图3为本发明实施例提供的一种文件管理方法的又一方法流程图;
图4为本发明实施例提供的一种文件管理方法的又一方法流程图;
图5为本发明实施例提供的一种文件管理装置的装置结构图;
图6为本发明实施例提供的一种电子设备的设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种文件管理方法,该方法可以应用在节点管理系统,所述节点管理系统用于管理与其对应的边缘节点中的所有资源文件,所述边缘节点中包含至少一个节点机,所述方法的方法流程图如图1所示,具体包括:
S101:当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
在本发明实施例中,当全局管理系统需要对全局中各个边缘节点的各个资源文件进行管理时,可向各个边缘节点的节点管理系统发送第一文件管理指令。对于各个边缘节点,当边缘节点的节点管理系统接收到全局管理系统发送的第一文件管理指令时,确定与该文件管理指令对应的文件管理条件。其中,该文件管理指令可以是文件增加管理指令、文件删除管理指令或文件迁移管理指令等,则该文件管理条件可以为增加文件、删除文件或迁移文件等管理条件。
需要说明的是,该全局管理系统设置于CDN系统中,该CDN系统中包含多个边缘节点,每个边缘节点都包含至少一个节点机,且每个边缘节点都对应部署一个节点管理系统,该节点管理系统具体可以为节点文件管理系统(Node File Manager,NFM)该节点管理系统可以设置独立于边缘节点之外,也可以设置与该边缘节点的任意一个节点机之上。该全局管理系统具体可以为全局文件管理系统(Global File Manager,GFM)。
还需要说明的是,全局管理系统可以按照预先设置的不同时间段向各个边缘节点发送不同的第一文件管理指令。例如当前发送的是文件增加管理指令,两分钟后发送的是文件删除管理指令,再过两分钟发送文件迁移管理指令等,每隔两分钟发送一个指令。
S102:获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
在本发明实施例中,获取该边缘节点中存储的每个资源文件对应的节点文件信息。其中,边缘节点中的所有资源文件都存储于各个节点机中。当接收到第一文件管理指令后,确定与该第一文件管理对应的文件管理条件,并从各个节点文件信息中选择满足该文件管理条件的目标节点文件信息。
需要说明的是,该文件信息可以包括每个资源文件的各个访问时间、访问次数、文件数量、存储状态等信息。
S103:将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
在本发明实施例中,根据该全局管理系统发送的第一文件管理指令,向该全局管理系统发送满足文件管理条件的目标资源文件的目标节点信息。由全局管理系统设置与每个目标节点文件信息对应的节点文件管理策略。该节点文件管理策略可以使每个目标节点文件信息对应的资源文件增加副本、减少副本或将进行迁移等操作策略。
需要说明的是,该全局管理系统用于接收CDN系统中所有边缘节点反馈的各个资源文件的总文件热度。同时根据各个边缘节点对应的目标节点信息,设置与每个边缘节点对应的节点文件管理策略。
S104:当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
在本发明实施例中,边缘节点在接收到全局管理系统发送的各个节点文件管理策略时,确定与该边缘节点对应的各个节点机的状态信息。
需要说明的是,该状态信息为每个节点机当前状态的状态信息,该状态信息具体可以包括节点IO状态、CPU状态、内存状态、带宽状态等信息。通过确定节点机当前的状态,确定节点机是否发生故障或当前系统存储是否可以进行增加文件或删除文件。
S105:依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
在本发明实施例中,当节点管理系统接收到全局管理系统发送的节点文件管理策略时,根据该节点文件管理策略及每个节点机对应的状态信息,设置与每个节点机对应的子文件管理策略。其中,该状态信息用于确定目标节点机的当前状态是否可以执行与子文件管理策略相对应的文件管理。例如,当目标节点机发生故障时,节点管理系统可以向发生故障的目标节点机对应的子管理系统发送故障提示指令,即该故障提示指令则为该目标节点机的子文件管理策略;该目标节点机对应的子管理系统可根据该故障提示指令,向预先设置的信息接收端发送故障信号。当子文件管理策略为增加资源文件数量,且目标节点机未发生故障且当前内存状态良好,即有剩余的系统存储空间时,可以向该目标节点机对应的子管理系统发送增加资源文件的子文件管理策略,以使该目标节点机中增加与该文件管理策略对应的资源文件的文件副本。
需要说明的是,边缘节点的每一个节点机上均部署一个子管理系统,该子管理系统具体可以为节点机文件服务系统(Node File Server,NFS)。每个子管理系统所对应的子文件管理策略不一定相同。由于每个节点机中所存储的每个资源文件不同,且每个节点机的状态信息不同,因此,可设置与每个节点机对应的子文件管理策略。
S106:将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
在本发明实施例中,该节点管理系统在将每个节点机对应的子文件管理策略发送到各个子管理系统中后,由子管理系统依据子文件管理策略执行相对应的文件管理操作,实现对节点机中各个资源文件的文件管理。
需要说明的是,该子文件管理策略具体可以是对节点机中的各个资源文件进行增加、删除或迁移等操作。
本发明实施例提供的文件管理方法中,当节点机管理系统接收到全局管理系统发送的第一文件管理指令时,确定与该第一文件管理指令对应的文件管理条件。其中,该第一文件管理指令可以是文件增加管理指令、文件删除管理指令或文件迁移管理指令等。例如当第一文件管理指令为文件增加管理指令时,则文件管理条件可以是资源文件的文件热度大于预先设置的高热度阈值,或资源文件的访问次数大于预先设置的高频访问阈值。节点管理系统获取边缘节点中每个资源文件对应的节点文件信息。其中该边缘节点中存储多个资源文件,同一个资源文件可能在该边缘节点中有多个或一个。该节点文件信息中包含与其对应的资源文件的被访问的访问时间、访问次数等。节点管理系统将满足该文件管理条件的目标节点文件信息发送给全局管理系统,由全局管理系统根据每个目标节点文件信息设置与其对应的节点文件管理策略。节点管理系统在接收到各个节点文件管理策略后,根据各个节点文件管理策略及每个节点状态信息,为每个节点机设置子文件管理策略。节点管理系统将每个子文件管理策略发送至与其对应的子管理系统,由子管理系统根据子文件管理策略对节点机执行文件管理操作。其中,该文件管理操作可以包括增加资源文件、删除资源文件或对资源文件进行迁移等。
需要说明的是,在CDN系统中存在多个边缘节点,每个边缘节点中设置至少一个节点机。该CDN系统中设置全局管理系统GFM、节点管理系统NFM和NFS的之间的系统架构示意图如图2所示。全局管理系统用于为CDN系统中所有边缘节点设置节点文件管理策略,并将每个边缘节点的节点文件管理策略发送至与其对应的节点管理系统NFM中。每个节点管理系统NFM对应管理每个边缘节点中各个节点机所设置的子管理系统NFS,并在接收到节点文件管理策略后,为每个节点机设置子文件管理策略,并将子文件管理策略发送到子管理系统NFS中,以使子管理系统NFS执行相对应的文件管理操作。其中,每个NFS使用TCP长连接与NFM进行双向的通讯连接;每个NFM使用TCP长连接与GFM进行双向的通信连接。
具体地,节点管理系统可通过与其对应的各个子管理系统实时管理该边缘节点中的各个节点机,当该边缘节点中任意一个节点机的状态信息表征该节点机发生异常时,该节点管理系统可将发生异常的节点机从该边缘节点中剔除,即,该节点管理系统将不会通过子管理系统对发生异常的节点机进行实时管理。全局管理系统可直接管理所有节点管理系统,间接管理所有子管理系统,但全局管理系统本身不存储任何数据,仅作为对外提供服务的唯一出口,参与数据合并计算等相关操作。从本发明实施例提供的系统架构来说全局管理系统具备可快速部署、快速复制的特性,所以容灾设计较为容易,简单的主从设计即可达到非常高的稳定性。另外将文件存储位置、访问数据分布式存储在各个节点管理系统之中,通过全局管理系统下发指令的方式进行分布式计算,能够有效提升了系统的并发处理能力,以及系统的稳定性。
还需要说明的是,由于在每个节点机中设置了子管理系统,在子管理系统启动时,自动扫描与其对应节点机中已保存的各个资源文件,获得与每个资源文件对应的文件信息。同时,每个子管理系统主动查询并连接至与其对应的边缘节点中的节点管理系统,并将每个节点机中的文件信息同步至该节点管理系统中,该节点管理系统接收到个子管理系统同步的文件信息后,根据各个文件信息生成与每个资源文件对应的节点文件信息,并将各个节点文件信息进行保存。同理,当节点管理系统在启动时,主动查询并连接全局管理系统。
应用本发明实施例提供的方法,根据节点管理系统、子管理系统以及全局管理系统之间的分布式对应关系,对CDN系统中各个边缘节点的各个节点机中的所有资源文件进行管理,有效地对各个节点机中的资源文件进行删除、增加及迁移等操作,提高CDN系统的性能和稳定性,提高边缘节点命中率,合理规划节点机存储空间,使有限的存储空间存储更有价值的文件。
本发明实施例提供的方法中,基于上述步骤S101,所述获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,具体可以包括:
向各个所述子管理系统发送第二文件管理指令;
当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
本发明实施例提供的文件管理方法中,当节点管理系统在接收到全局管理系统发送的第一文件管理指令时,根据第一文件管理指令,向各个子管理系统发送第二文件管理指令,以获取各个子管理系统根据该第二文件管理指令反馈的与每个节点机中每个资源文件对应的文件信息。其中,同一个资源文件可能存储于一个或多个节点机中,但该资源文件在每个节点机中对应的文件信息不一定相同。当节点管理系统在接收到各个文件信息后,将属于同一资源文件的各个文件信息进行统计,获得该边缘节点中与每个资源文件对应的节点文件信息。例如,节点机A中存储文件1,节点机B中也存储由文件1,但节点机A中文件1对应的文件信息为A1,节点机B中文件1对应的文件信息为B1,当节点机A与节点机B对应的边缘节点的节点管理系统在接收到A1和B1后,对A1和B1进行统计,获得该文件1在该边缘节点中的节点文件信息A1+B1。
可选的,由于子管理系统可以实时向与其对应的节点管理系统同步与每个资源文件对应的文件信息,节点管理系统在接收到第一文件管理指令时,可直接获取已存储的各个节点文件信息或再向子管理系统发送与第一文件管理指令对应的第二文件管理指令。
应用本发明实施例提供的方法,同时获取各个节点机中与每个资源文件对应的文件信息,以获得该边缘节点中与每个资源文件对应的节点文件信息,可以使节点管理系统依据各个节点文件信息执行与每个资源文件对应的文件管理。
本发明实施例提供的方法中,基于上述步骤S102,所述从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息的过程如图3所示,具体包括:
S301:确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
在本发明实施例中,根据文件管理条件,确定与其对应的文件热度阈值,即该文件管理条件中包含该全局管理系统预先设置的文件热度阈值。其中,该文件热度阈值为文件高热度阈值或文件低热度阈值。
需要说明的是,当第一文件管理指令为该全局管理系统需要对各个边缘节点中的高热度文件进行管理时,会设置文件高热度阈值;当第一文件管理指令为该全局管理系统需要对各个边缘节点中的低热度文件进行管理时,会设置文件低热度阈值。
S302:获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
在本发明实施例中,根据预先获取的与边缘节点对应的每个资源文件对应的节点文件信息,获取每个节点文件信息中包含的每个资源文件在该边缘节点中被访问的各个访问时间,并根据预先设置的访问时间段,确定在该访问时间段内,每个资源文件在该边缘节点中被访问的次数。
S303:对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
在本发明实施例中,根据该访问次数,确定各个资源文件在该访问时间段内的文件热度。其中,该文件热度为资源文件在该访问时间段内被访问的概率。例如,访问时间段设置为一小时,若基于当前时间的一小时内资源文件A的访问次数为500次,则该资源文件A的文件热度为500次/小时。
S304:依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
在本发明实施例中,根据该边缘节点中与每个资源文件对应的文件热度,从各个节点文件信息中选择满足该文件热度的目标节点文件信息。例如,若该文件热度阈值为大于500次/小时,且存在任意一个资源文件的文件热度为800次/小时,则该文件热度为800次/小时的资源文件为高热度文件,与其对应的节点文件信息则为目标节点文件信息。若该文件热度阈值为小于50次/小时,且存在任意一个资源文件的文件热度为20次/小时,则该文件热度为20次/小时的资源文件为低热度文件,与其对应的节点文件信息则为目标节点文件信息。
本发明实施例提供的文件管理方法中,通过确定与该节点管理条件对应的文件热度阈值,以及该边缘节点中与每个资源文件对应的文件热度,选择满足该文件阈值的各个目标节点文件信息。因此,在将各个目标节点文件信息发送至全局管理系统后,由全局管理系统根据各个目标节点文件信息中的文件热度,设置节点文件管理策略,以保证对该边缘节点中各个节点机对应的各个资源文件的管理。
本发明实施例提供的方法中,基于上述步骤S105,当节点管理系统在接收到全局管理系统发送的节点文件管理策略后,根据该节点文件管理策略以及每个节点机对应的状态信息,设置与每个节点机对应的子文件管理策略,具体包括:
获取所述节点文件管理策略中包含的第一访问阈值,及与所述第一访问阈值对应的第一副本数量,所述第一访问阈值为所述全局管理系统设置的高热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数大于所述第一访问阈值;
若存在目标资源文件的总访问次数大于所述第一访问阈值,则将各个所述目标资源文件确定为高热度文件,并根据所述第一副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的高热度文件管理策略,所述高热度文件管理策略用于触发每个所述子管理系统依据与其对应的高热度文件管理策略,管理每个所述节点机中每个所述高热度文件的数量,以使所述边缘节点中每个所述高热度文件的数量不少于所述第一副本数量。
本发明实施例提供的文件管理方法中,当接收到全局管理系统发送的节点文件管理策略后,获取该节点文件管理策略中包含的第一访问阈值,及与第一访问阈值对应的第一副本数量。其中,该第一访问阈值为高热度访问阈值。根据边缘节点中每个资源文件对应的节点文件信息,确定与每个资源文件对应的总访问次数,其中,该资源文件可以是与目标节点问及信息对应的资源文件,也可以是该边缘节点中存储的各个资源文件。对于每个资源文件都判断与其对应的总访问次数是否大于该第一访问阈值。若大于,则证明该资源文件为高热度文件。此时节点管理系统则根据与第一访问阈值对应的第一副本数量以及每个节点机的状态信息,设置与每个节点机对应的高热度文件管理策略。该高热度文件管理策略用于使各个高热度文件在该边缘节点中的文件数量不少于第一副本数量,即,每个子管理系统根据与其对应的高热度文件管理策略,在节点机中增加高热度文件。
需要说明的是,该第一访问阈值与上述实施例步骤S301中的文件热度阈值不一定相同,该文件热度阈值为固定时间段内的文件的访问频率,例如500次/小时,即资源文件在一小时内被访问500次。而第一访问阈值则根据节点文件信息中所记录的各个访问时间对应的总访问次数;例如,若节点文件只记录一个小时以内的各个访问时间,则该第一访问阈值则为一个小时之内的访问次数,若节点文件只记录一个天以内的各个访问时间,则该第一访问阈值则为一个天之内的访问次数。同理,本发明实施例中的总访问次数与上述实施例步骤S302中的访问次数不一定相同,此处不复赘述。
还需要说明的是,该状态信息用于确定节点机中的当前状态是否发生故障,或节点机中的系统存储的内存空间是否富余。根据每个节点的状态信息,确定是否要在该节点机中增加高热度文件的副本,或需要增加多少个高热度文件。
可选的,根据每个节点机的状态信息,确定每个节点及当前的系统存储。若目标节点机的系统存储的内存空间富余,则在生成与该目标节点机对应的高热度文件管理策略时,可在该高热度文件管理策略中为该目标节点机设置与增加多个高热度文件对应的文件增加指令。若该目标节点机的系统存储的内存空间不足,则可以在该高热度文件管理策略中不设置任何与高热度文件的文件增加指令。
应用本发明实施例提供的方法,根据第一访问阈值确定各个高热度文件,并依据每个节点机对应的状态信息依据第一副本数量,生成与每个节点机对应高热度文件管理策略,以使各个高热度文件在该边缘节点中的数量不少于第一副本数量。有效地对各个节点机中的资源文件增加,提高边缘节点命中率,合理规划节点机存储空间,使有限的存储空间存储更有价值的文件。
本发明实施例提供的方法中,基于上述步骤S105,当节点管理系统在接收到全局管理系统发送的节点文件管理策略后,根据该节点文件管理策略以及每个节点机对应的状态信息,设置与每个节点机对应的子文件管理策略,具体包括:
获取所述节点文件管理策略中包含的第二访问阈值,及与所述第二访问阈值对应的第二副本数量,所述第二访问阈值为所述全局管理系统设置的低热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数小于所述第二访问阈值;
若存在目标资源文件的总访问次数小于所述第二访问阈值,则将各个所述目标资源文件确定为低热度文件,并根据所述第二副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的低热度文件管理策略,所述低热度文件管理策略用于触发每个所述子管理系统依据与其对应的低热度文件管理策略,管理每个所述节点机中每个所述低热度文件的数量,以使所述边缘节点中每个所述低热度文件的数量不多于所述第二副本数量。
本发明实施例提供的文件管理方法中,与上述高热度文件管理策略的方法相似。在获取到每个资源文件对应的总访问次数后,判断是否存在目标资源文件的访问的次数小于第二访问阈,若存在目标资源文件的访问次数小于第二访问阈值,则确定各个目标资源文件为低热度文件,根据该第二访问阈值对应的第二副本数量以及每个节点机的状态信息,设置与每个节点机对应低热度文件管理策略,以使边缘节点中的各个低热度文件的数量不多于第二副本数量,即子管理系统将根据该低热度文件管理策略,删除与其对应的节点机中的低热度文件。其中,该资源文件可以是与目标节点问及信息对应的资源文件,也可以是该边缘节点中存储的各个资源文件。
需要说明的是,当存在任意资源文件的总访问次数既不大于第一访问阈值,也不小于第二访问阈值,则不设置与该资源文件对应的高热度文件管理策略或低热度文件管理策略。
还需要说明的是,当任意目标资源文件为低热度文件,但该目标资源文件的文件数量已低于低热度文件对应的第二副本数量时,可以不生成与该目标资源文件对应的低热度文件管理策略。
可选的,根据每个节点机的状态信息,确定每个节点及当前的系统存储。若目标节点机的系统存储的内存空间富余,则在生成与该目标节点机对应的低热度文件管理策略时,可在该低热度文件管理策略中不设置任何与低热度文件的文件增加指令。若该目标节点机的系统存储的内存空间不足,则可以在该低热度文件管理指令中设置多个与高热度文件的文件增加指令。其中,每个节点机中存储的各个资源文件均为不同的资源文件。
进一步地,若节点机的状态信息表征该节点机发生故障,则可根据该节点机发生故障的状态信息,生成故障提示指令,触发子管理系统向信息接收端提示故障消息。
应用本发明实施例提供的方法,为每个节点机设置低热度文件管理策略,子管理系统在接收到文件管理策略后,将该策略中所指定的低热度文件在节点机中进行删除,合理利用各个节点机的系统存储的内存空间,提高CDN系统的性能和稳定性,并合理规划节点机存储空间,使有限的存储空间存储更有价值的文件。
本发明实施例提供的方法中,具体还包括:
当接收所述全局管理系统发送的全局高热度文件管理策略时,确定与所述全局高热度文件管理策略对应的目标高热度文件;
依据所述全局高热度文件管理策略,向各个所述子管理系统发送与所述目标高热度文件对应的下载指令,以使各个所述子管理系统依据所述下载指令,触发各个所述节点机下载所述目标高热度文件。
本发明实施例提供的文件管理方法中,全局管理系统管理全局的CDN系统中各个边缘节点的所有资源文件,为每个边缘节点对应的节点管理系统下发节点文件管理策略。其中该全局管理系统在接收到各个节点管理系统发送与每个边缘节点对应的各个资源文件的总文件热度时,若任意目标边缘节点的目标资源文件的总文件热度超出一定的阈值时,确定该目标资源文件为目标高热度文件。若当前的边缘节点中并未存储该目标高热度文件,则该全局管理系统将生成全局高热度文件管理策略发送至该边缘节点对应的节点管理系统中。当该节点管理系统接收到该全局高热度文件管理策略时,确定该全局高热度文件管理策略对应的目标高热度文件,并生成与该目标高热度文件对应的下载指令。依据该下载指令,选择容量且状态良好的节点机对应的目标子管理系统,将该下载指令发送到该子管理系统中,以使该子管理系统依据该下载指令,触发与其对应的节点机下载该目标高热度文件。
应用本发明实施例提供的方法,可以根据全局管理系统下发的全局高热度文件管理策略,使本边缘节点中的节点机下载目标高热度文件,以保证存在用户需要在该边缘节点访问该目标高热度文件,无需与其他边缘节点进行回源,减少边缘节点之间的回源请求。
本发明实施例提供的方法中,由全局管理系统根据各个边缘节点中资源文件的文件信息设置文件管理策略,再通过节点管理系统根据该文件管理策略分别向各个节点机发送子文件管理策略。其中,当用户需要查询全局中任意一个资源文件的文件信息时,还可通过全局管理系统中预先设置的对外接口进行查询,其查询过程如图4所述,具体还包括:
S401:当接收到用户通过所述全局管理系统发送的文件查询指令时,确定与所述文件查询指令对应的待查询资源文件;
在本发明实施例中,用户可通过全局管理系统中预先设置的对外接口进行查询资源文件的文件信息。全局管理系统在接收到用户通过该对外接口发送的文件查询指令后,将该文件查询指令发别发送至各个边缘节点的节点管理系统中。对于每个节点管理系统,在接收到文件查询指令时,确定该文件查询指令对应的待查询资源文件。其中,该文件查询指令中可以包括待查询资源文件的文件名称、文件类型、文件大小等。节点管理系统根据这些文件名称、文件类型和文件大小确定用户所需要查询的资源文件。
S402:向各个所述子管理系统发送与所述待查询资源文件对应的文件查询请求;
在本发明实施例中,节点管理系统再根据该文件查询指令,向子管理系统发送文件查询请求。
S403:当接收到各个所述子管理系统反馈的与所述文件查询请求对应的目标文件信息时,将各个所述目标文件信息发送至所述全局管理系统中,以使所述全局管理系统向所述用户反馈所述目标文件信息。
在本发明实施例中,每个子管理系统在接收到文件查询请求后,确定与其对应的节点机是否存在与该待查询文件对应的目标文件信息。若存在则将该目标文件信息发送至节点管理系统中。当节点管理系统接收到各个子管理系统中反馈的各个目标文件信息后,将各个目标文件信息发送至全局管理系统,并由全局管理系统将各个目标文件信息向用户进行反馈。用户在接收到全局管理系统发送的各个目标文件信息后,可以得知该待查询资源文件在CDN系统中的存储情况。
本发明实施例提供的方法中,由于全局管理系统中设置了对外接口,用户可以通过该对外接口查询各个资源文件的分布情况。由全局管理系统向各个节点管理系统发送文件查询指令,再由每个节点管理系统根据文件查询指令分别向与每个节点管理系统对应的各个子管理系统发送文件查询请求,最后节点管理系统再将与待查询文件对应的各个文件信息汇总至全局管理系统中。用户可通过全局管理系统查看该文件的分布情况以及访问情况等信息。
需要说明的是,每个资源文件的文件信息中均保存了存储该资源文件的边缘节点、节点机列表、最近访问次数、最近访问时间等信息。
可选的,用户可通过全局管理系统中的对外接口选择删除任意一个节点机中的资源文件或在任意一个边缘节点中增加资源文件。
应用本发明实施例提供的方法,通过全局管理系统的对外接口实现人机交互的过程,用户可通过全局管理系统获得各个资源文件在CDN系统中的分布情况,提高用户的使用体验。
本发明实施例提供的方法中,上述各个实施例提及的每个节点机中仅保存一份相同的资源文件。但同一个边缘节点中,可以保存多个相同的资源文件,并将每个相同的资源文件分别存储在不同的节点机中。上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
与图1所述的方法相对应,本发明实施例还提供了一种文件管理装置,用于对图1中方法的具体实现,本发明实施例提供的文件管理装置可以应用计算机终端或各种移动设备中,其结构示意图如图5所示,具体包括:
第一确定单元501,用于当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
选择单元502,用于获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
发送单元503,用于将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
第二确定单元504,用于当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
设置单元505,用于依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
触发单元506,用于将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
本发明实施例提供的装置中,所述选择单元502,包括:
发送子单元,用于向各个所述子管理系统发送第二文件管理指令;
统计子单元,用于当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
本发明实施例提供的装置中,所述选择单元502,包括:
确定子单元,用于确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取子单元,用于获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
计算子单元,用于对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
选择子单元,用于依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
本发明实施例提供的装置中,所述设置单元505,包括:
第一执行子单元,用于获取所述节点文件管理策略中包含的第一访问阈值,及与所述第一访问阈值对应的第一副本数量,所述第一访问阈值为所述全局管理系统设置的高热度访问阈值;
第一判断子单元,用于获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数大于所述第一访问阈值;
第一设置子单元,用于若存在目标资源文件的总访问次数大于所述第一访问阈值,则将各个所述目标资源文件确定为高热度文件,并根据所述第一副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的高热度文件管理策略,所述高热度文件管理策略用于触发每个所述子管理系统依据与其对应的高热度文件管理策略,管理每个所述节点机中每个所述高热度文件的数量,以使所述边缘节点中每个所述高热度文件的数量不少于所述第一副本数量。
本发明实施例提供的装置中,所述设置单元505,包括:
第二执行子单元,用于获取所述节点文件管理策略中包含的第二访问阈值,及与所述第二访问阈值对应的第二副本数量,所述第二访问阈值为所述全局管理系统设置的低热度访问阈值;
第二判断子单元,用于获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数小于所述第二访问阈值;
第二设置子单元,用于若存在目标资源文件的总访问次数小于所述第二访问阈值,则将各个所述目标资源文件确定为低热度文件,并根据所述第二副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的低热度文件管理策略,所述低热度文件管理策略用于触发每个所述子管理系统依据与其对应的低热度文件管理策略,管理每个所述节点机中每个所述低热度文件的数量,以使所述边缘节点中每个所述低热度文件的数量不多于所述第二副本数量。
本发明实施例提供的装置中,还包括:
下载管理单元,用于当接收所述全局管理系统发送的全局高热度文件管理策略时,确定与所述全局高热度文件管理策略对应的目标高热度文件;依据所述全局高热度文件管理策略,向目标所述子管理系统发送与所述目标高热度文件对应的下载指令,以使所述目标子管理系统依据所述下载指令,触发与所述目标子管理系统对应的节点机下载所述目标高热度文件。
本发明实施例提供的装置中,还包括:
查询管理单元,用于当接收到用户通过所述全局管理系统发送的文件查询指令时,确定与所述文件查询指令对应的待查询资源文件;向所述各个所述子管理系统发送与所述待查询资源文件对应的文件查询请求;当接收到各个所述子管理系统反馈的与所述文件查询请求对应的目标文件信息时,将各个所述目标文件信息发送至所述全局管理系统中,以使所述全局管理系统向所述用户反馈所述目标文件信息。
以上本发明实施例公开的文件管理装置中的第一确定单元501、选择单元502、发送单元503、第二确定单元504、设置单元505及触发单元506的具体工作过程,可参见本发明上述实施例公开的文件管理方法中的对应内容,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述文件管理方法。
本发明实施例还提供了一种电子设备,其结构示意图如图6所示,具体包括存储器601,以及一个或者一个以上的指令602,其中一个或者一个以上指令602存储于存储器601中,且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作:
当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,
为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种文件管理方法,其特征在于,所述方法应用于节点管理系统,所述节点管理系统用于管理与其对应的边缘节点中的所有资源文件,所述边缘节点中包含至少一个节点机,所述方法包括:
当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述边缘节点中存储的每个资源文件对应的节点文件信息,包括:
向各个所述子管理系统发送第二文件管理指令;
当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
3.根据权利要求1所述的方法,其特征在于,所述从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息,包括:
确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
4.根据权利要求1所述的方法,其特征在于,所述依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第一访问阈值,及与所述第一访问阈值对应的第一副本数量,所述第一访问阈值为所述全局管理系统设置的高热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数大于所述第一访问阈值;
若存在目标资源文件的总访问次数大于所述第一访问阈值,则将各个所述目标资源文件确定为高热度文件,并根据所述第一副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的高热度文件管理策略,所述高热度文件管理策略用于触发每个所述子管理系统依据与其对应的高热度文件管理策略,管理每个所述节点机中每个所述高热度文件的数量,以使所述边缘节点中每个所述高热度文件的数量不少于所述第一副本数量。
5.根据权利要求1所述的方法,其特征在于,所述依据所述节点文件管理策略及每个所述节点机对应的状态信息,设置与每个所述节点机对应的子文件管理策略,包括:
获取所述节点文件管理策略中包含的第二访问阈值,及与所述第二访问阈值对应的第二副本数量,所述第二访问阈值为所述全局管理系统设置的低热度访问阈值;
获取每个所述资源文件对应的节点文件信息中的总访问次数,并判断是否存在目标资源文件的总访问次数小于所述第二访问阈值;
若存在目标资源文件的总访问次数小于所述第二访问阈值,则将各个所述目标资源文件确定为低热度文件,并根据所述第二副本数量,及与每个所述节点机的状态信息,设置与每个所述节点机对应的低热度文件管理策略,所述低热度文件管理策略用于触发每个所述子管理系统依据与其对应的低热度文件管理策略,管理每个所述节点机中每个所述低热度文件的数量,以使所述边缘节点中每个所述低热度文件的数量不多于所述第二副本数量。
6.根据权利要求1所述的方法,其特征在于,还包括:
当接收所述全局管理系统发送的全局高热度文件管理策略时,确定与所述全局高热度文件管理策略对应的目标高热度文件;
依据所述全局高热度文件管理策略,向目标所述子管理系统发送与所述目标高热度文件对应的下载指令,以使所述目标子管理系统依据所述下载指令,触发与所述目标子管理系统对应的节点机下载所述目标高热度文件。
7.根据权利要求1所述的方法,其特征在于,还包括:
当接收到用户通过所述全局管理系统发送的文件查询指令时,确定与所述文件查询指令对应的待查询资源文件;
向各个所述子管理系统发送与所述待查询资源文件对应的文件查询请求;
当接收到各个所述子管理系统反馈的与所述文件查询请求对应的目标文件信息时,将各个所述目标文件信息发送至所述全局管理系统中,以使所述全局管理系统向所述用户反馈所述目标文件信息。
8.一种文件管理装置,其特征在于,包括:
第一确定单元,用于当接收到预先设置的全局管理系统发送的第一文件管理指令时,确定与所述第一文件管理指令对应的文件管理条件;
选择单元,用于获取与边缘节点中存储的每个资源文件对应的节点文件信息,并从各个所述节点文件信息中选择满足所述文件管理条件的目标节点文件信息;
发送单元,用于将各个所述目标节点文件信息发送至所述全局管理系统中,以使所述全局管理系统依据各个所述目标节点文件信息及所述文件管理条件,设置与每个所述目标节点文件信息对应的资源文件的节点文件管理策略;
第二确定单元,用于当接收到所述全局管理系统发送的各个所述节点文件管理策略时,确定所述边缘节点中各个所述节点机的状态信息;
设置单元,用于依据各个所述节点文件管理策略及每个所述节点机对应的状态信息,设置每个所述节点机对应的子文件管理策略;
触发单元,用于将每个所述节点机对应的子文件管理策略,发送至该节点机对应的预先设置的子管理系统中,触发所述子管理系统依据所述子文件管理策略对所述节点机执行文件管理操作,完成对各个所述节点机中各个资源文件的文件管理。
9.根据权利要求8所述的装置,其特征在于,所述选择单元,包括:
发送子单元,用于向各个所述子管理系统发送第二文件管理指令;
统计子单元,用于当接收到每个所述子管理系统依据所述第二文件管理指令,反馈的与每个所述节点机中每个资源文件对应的文件信息时,统计各个所述节点机中属于同一资源文件的文件信息,获得所述边缘节点中与每个所述资源文件对应的节点文件信息。
10.根据权利要求8所述的装置,其特征在于,所述选择单元,包括:
确定子单元,用于确定与所述文件管理条件对应的文件热度阈值,所述文件热度阈值为文件高热度阈值或文件低热度阈值;
获取子单元,用于获取每个所述节点文件信息包含的每个所述资源文件被访问的各个访问时间,并确定在预先设置的访问时间段内每个所述资源文件被访问的访问次数;
计算子单元,用于对每个所述资源文件对应的访问时间段及访问次数进行计算,获得与每个所述资源文件对应的文件热度;
选择子单元,用于依据每个所述资源文件对应的文件热度,从各个所述节点文件信息中选择满足所述文件热度阈值的目标节点文件信息。
CN201910777852.4A 2019-08-22 2019-08-22 文件管理方法及装置 Active CN110471897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910777852.4A CN110471897B (zh) 2019-08-22 2019-08-22 文件管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910777852.4A CN110471897B (zh) 2019-08-22 2019-08-22 文件管理方法及装置

Publications (2)

Publication Number Publication Date
CN110471897A CN110471897A (zh) 2019-11-19
CN110471897B true CN110471897B (zh) 2021-10-01

Family

ID=68513353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910777852.4A Active CN110471897B (zh) 2019-08-22 2019-08-22 文件管理方法及装置

Country Status (1)

Country Link
CN (1) CN110471897B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114222001B (zh) * 2021-12-06 2024-03-15 北京百度网讯科技有限公司 边缘设备及方法、系统、电子设备及存储介质
CN116600015B (zh) * 2023-07-18 2023-10-10 湖南快乐阳光互动娱乐传媒有限公司 一种资源节点调整方法、系统、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747047A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件存储方法、文件分发控制中心及系统
CN103747046A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件管理方法、分发控制中心及内容分发系统
CN104243425A (zh) * 2013-06-19 2014-12-24 深圳市腾讯计算机系统有限公司 一种在内容分发网络中进行内容管理的方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100484069C (zh) * 2007-05-21 2009-04-29 华为技术有限公司 一种文件数据分发方法及相关设备
US9438487B2 (en) * 2012-02-23 2016-09-06 Ericsson Ab Bandwith policy management in a self-corrected content delivery network
CN104834722B (zh) * 2015-05-12 2018-03-02 网宿科技股份有限公司 基于cdn的内容管理系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243425A (zh) * 2013-06-19 2014-12-24 深圳市腾讯计算机系统有限公司 一种在内容分发网络中进行内容管理的方法、装置及系统
CN103747047A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件存储方法、文件分发控制中心及系统
CN103747046A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件管理方法、分发控制中心及内容分发系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CDN下沉技术在移动接入网中的应用研究;张勍等;《邮电设计技术》;20190820;正文第50-54页 *

Also Published As

Publication number Publication date
CN110471897A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
US11928029B2 (en) Backup of partitioned database tables
US11036591B2 (en) Restoring partitioned database tables from backup
US10831614B2 (en) Visualizing restoration operation granularity for a database
US11327949B2 (en) Verification of database table partitions during backup
US11520669B2 (en) System and method for efficient backup system aware direct data migration between cloud storages
CN110019280B (zh) 用于分布式数据库系统的系统范围检查点避免
CN110209535B (zh) 用于分布式数据库系统的快速崩溃恢复
US10089187B1 (en) Scalable cloud backup
CN1894930B (zh) 用于进行基于网格的数据存储的设备、系统和方法
JP4621273B2 (ja) データ同期方法、データ同期プログラム、データベースサーバ装置、および、データベースシステム
EP3873066A1 (en) Method for managing resource state information, and resource downloading system
US20120150930A1 (en) Cloud storage and method for managing the same
CN105389230A (zh) 一种结合快照技术的持续数据保护系统及方法
CN110471897B (zh) 文件管理方法及装置
CN110795041A (zh) 分布式文件系统的配额方法、装置、服务器和存储介质
CN111190878B (zh) 一种共享访问nas快照的方法、装置、设备及存储介质
EP2962201A1 (en) Sending a request to a management service
JP4637382B2 (ja) データバックアップシステム
US11036439B2 (en) Automated management of bundled applications
JP2008519319A (ja) グリッド・ベース・データの記憶のための装置、システム、及び方法
US12056017B2 (en) Capacity-based redirection efficiency and resiliency
US10908848B2 (en) Automated management of bundled applications
CN110213393B (zh) 报文处理方法及计算机设备
CN117453454A (zh) 数据备份方法、装置、计算机设备、介质及产品
Ostrovsky et al. Monitoring and Best Practices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant