CN106899693A - 分布式文件管理方法及设备 - Google Patents
分布式文件管理方法及设备 Download PDFInfo
- Publication number
- CN106899693A CN106899693A CN201710165197.8A CN201710165197A CN106899693A CN 106899693 A CN106899693 A CN 106899693A CN 201710165197 A CN201710165197 A CN 201710165197A CN 106899693 A CN106899693 A CN 106899693A
- Authority
- CN
- China
- Prior art keywords
- storage server
- cities
- districts
- document
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分布式文件管理方法及设备,该方法包括:接收边缘文件存储服务器发送的文件获取请求,文件获取请求中包括目标文件的标识;根据目标文件的标识,在省文件存储服务器、地市文件管理服务器对应的地市文件存储服务器、和地市文件管理服务器对应的边缘文件存储服务器中,确定包括目标文件的待选文件存储服务器;根据各待选文件存储服务器的负载率、及各待选文件存储服务器与边缘文件存储服务器之间的距离,确定目标文件存储服务器;向边缘文件存储服务器发送目标文件在目标文件存储服务器中的第一位置信息,以使边缘文件存储服务器根据第一位置信息,在目标文件存储服务器中获取目标文件。用于提高广电系统的稳定性。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种分布式文件管理方法及设备。
背景技术
目前,在各省通常都设置有广电系统,并通过广电系统对该省中各个电视台需要播放的多媒体文件进行管理。
在现有技术中,广电系统通常包括省文件管理服务器、省文件存储服务器、多个地市文件存储服务器和多个边缘文件存储服务器。在省文件存储服务器中存储有省电视台、地市电视台及边缘电视台(例如县电视台等)需要播放的多媒体文件,省文件管理服务器对省文件存储服务器中的多媒体文件的存储位置进行管理。当省电视台、地市电视台、及边缘电视台需要获取多媒体文件时,均向省文件管理服务器获取需要播放的多媒体文件在省文件存储服务器中的存储位置,并根据多媒体文件在省文件存储服务器中的存储位置,在省文件存储服务器中获取需要播放的多媒体文件。
然而,当省电视台、地市电视台和边缘电视台的数量较多时,省文件管理服务器则需要对大量的文件进行管理,并处理来自省电视台、地市电视台和边缘电视台的多条消息,使得省文件管理服务器的压力过大,甚至使得广电系统出现故障,进而导致广电系统的稳定性较差。
发明内容
本发明实施例提供一种分布式文件管理方法及设备,用于提高广电系统的稳定性。
第一方面,本发明实施例提供一种分布式文件管理方法,应用于广电系统,所述广电系统中包括省文件管理服务器、省文件存储服务器、多个地市文件管理服务器、各所述地市文件管理服务器对应的地市文件存储服务器、及各所述地市管理服务器对应的多个边缘文件存储服务器,其中,所述方法包括:
地市文件管理服务器接收边缘文件存储服务器发送的文件获取请求,所述文件获取请求中包括目标文件的标识,所述地市文件管理服务器为所述多个地市文件管理服务器中的任意一个;
所述地市文件管理服务器根据所述目标文件的标识,在所述省文件存储服务器、所述地市文件管理服务器对应的地市文件存储服务器、和所述地市文件管理服务器对应的边缘文件存储服务器中,确定包括所述目标文件的至少一个待选文件存储服务器;
所述地市文件管理服务器根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器;
所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息,以使所述边缘文件存储服务器根据所述第一位置信息,在所述目标文件存储服务器中获取所述目标文件。
在一种可能的实施方式中,所述地市文件管理服务器根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器,包括:
所述地市文件管理服务器根据预设负载权重系数、预设距离权重系数、各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,分别确定各所述待选文件存储服务器的权重值;
所述地市文件管理服务器根据各所述待选文件存储服务器的权重值,在所述至少一个待选件存储服务器中确定所述目标文件存储服务器。
在另一种可能的实施方式中,若所述待选文件存储服务器为所述省文件存储服务器,在所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,还包括:
所述地市文件管理服务器向所述地市文件存储服务器发送所述第一位置信息,以使所述地市文件存储服务器根据所述第一位置信息,在所述省文件存储服务器中获取并存储所述目标文件;
所述地市文件管理服务器获取所述目标文件在所述地市文件存储服务器中的第二位置信息;
所述地市文件管理服务器存储所述地市文件存储服务器对应的、所述目标文件的标识和所述第二位置信息的关联关系。
在另一种可能的实施方式中,所述地市文件管理服务器获取所述目标文件在所述地市文件存储服务器中的第二位置信息之后,还包括:
所述地市文件管理服务器向所述省文件管理服务器发送所述目标文件在所述地市文件管理服务器中的第二位置信息。
在另一种可能的实施方式中,在所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,还包括:
所述地市文件管理服务器接收所述边缘文件存储服务器发送的、所述目标文件在所述边缘文件存储服务器中的第三位置信息;
所述地市文件管理服务器存储所述边缘文件存储服务器对应的、所述目标文件的标识和所述第三位置信息的关联关系。
第二方面,本发明实施例提供一种地市文件管理服务器,应用于广电系统,所述广电系统中包括省文件管理服务器、省文件存储服务器、多个地市文件管理服务器、各所述地市文件管理服务器对应的地市文件存储服务器、及各所述地市管理服务器对应的多个边缘文件存储服务器,所述地市文件管理服务器为所述多个地市文件管理服务器中的任意一个,所述地市文件管理服务器包括:
接收模块,用于接收边缘文件存储服务器发送的文件获取请求,所述文件获取请求中包括目标文件的标识,
第一确定模块,用于根据所述目标文件的标识,在所述省文件存储服务器、所述地市文件管理服务器对应的地市文件存储服务器、和所述地市文件管理服务器对应的边缘文件存储服务器中,确定包括所述目标文件的至少一个待选文件存储服务器;
第二确定模块,用于根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器;
发送模块,用于向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息,以使所述边缘文件存储服务器根据所述第一位置信息,在所述目标文件存储服务器中获取所述目标文件。
在一种可能的实施方式中,所述第二确定模块具体用于:
根据预设负载权重系数、预设距离权重系数、各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,分别确定各所述待选文件存储服务器的权重值;
根据各所述待选文件存储服务器的权重值,在所述至少一个待选件存储服务器中确定所述目标文件存储服务器。
在另一种可能的实施方式中,所述服务器还包括获取模块和存储模块,其中,
所述发送模块还用于,在所述发送模块向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,向所述地市文件存储服务器发送所述第一位置信息,以使所述地市文件存储服务器根据所述第一位置信息,在所述省文件存储服务器中获取并存储所述目标文件;
所述获取模块用于,获取所述目标文件在所述地市文件存储服务器中的第二位置信息;
所述存储模块用于,存储所述地市文件存储服务器对应的、所述目标文件的标识和所述第二位置信息的关联关系。
在另一种可能的实施方式中,在所述获取模块获取所述目标文件在所述地市文件存储服务器中的第二位置信息之后,所述发送模块还用于:
向所述省文件管理服务器发送所述目标文件在所述地市文件管理服务器中的第二位置信息。
在另一种可能的实施方式中,所述接收模块还用于,在所述发送模块向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,接收所述边缘文件存储服务器发送的、所述目标文件在所述边缘文件存储服务器中的第三位置信息;
所述存储模块还用于,存储所述边缘文件存储服务器对应的、所述目标文件的标识和所述第三位置信息的关联关系。
本发明实施例提供的分布式文件管理方法,在广电系统中设置有多个地市文件管理服务器,并由地市文件管理服务器向边缘文件存储服务器提供服务,具体的,在地市文件管理服务器接收边缘文件存储服务器发送用于请求获取目标文件的文件获取请求之后,地市文件管理服务器先确定包括目标文件的至少一个待选文件存储服务器,并在该至少一个待选文件存储服务器选择一个目标文件存储服务器,目标文件存储服务器为能以最快速度向边缘文件存储服务器发送目标文件的服务器,还确定目标文件在目标文件存储服务器中的第一位置信息,以使边缘文件存储服务器根据该第一位置信息,在目标文件存储服务器中获取目标文件。一方面,由地市文件管理服务器向边缘文件存储服务器提供服务无需省文件管理服务器向边缘文件存储服务器提供服务,减轻了省文件管理服务器的压力,进而避免了省文件管理服务器由于处理压力过大而导致广电系统故障的问题,进而提高了广电系统的稳定性。另一方面,地市文件存储服务器根据待选文件存储服务器的负载率、及各待选文件存储服务器与边缘文件存储服务器之间的距离,确定得到的目标文件存储服务器为能以最快速度向边缘文件存储服务器发送目标文件,使得边缘文件存储服务器可以快速获取得到目标文件,进而提高向边缘文件存储服务器提供服务的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分布式文件管理系统的结构示意图;
图2为本发明实施例提供的分布式文件管理方法的流程示意图一;
图3为本发明实施例提供的分布式文件管理方法的流程示意图二;
图4为本发明实施例提供的WFE分发多媒体文件的交互示意图;
图5为本发明实施例提供的地市MT向边缘DFS提供服务的交互示意图;
图6为本发明实施例提供的地市文件管理服务器的结构示意图一;
图7为本发明实施例提供的地市文件管理服务器的结构示意图二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的分布式文件管理系统的结构示意图。请参见图1,包括省任务分发服务器101、省文件管理服务器102、省文件存储服务器103、多个地市文件存储服务器(分别记为104-1至104-N)、多个地市文件管理服务器(分别记为105-1至105-N)、及各地市文件管理服务器对应的多个边缘文件存储器。可选的,在一个广电系统中通常设置一个省任务分发服务器101、一个省文件管理服务器102和一个省文件存储服务器103,在广电系统对应的每一个地市,通常设置一个地市文件存储服务器、一个地市文件管理服务器、及多个边缘文件存储服务器。
省任务分发服务器101用于接收用户上传的多媒体文件,并根据多媒体文件的类型,将多媒体文件通过省文件管理服务器102存储在省文件存储服务器103中,或者,将多媒体文件通过地市文件管理服务器存储在地市文件存储服务器中。可选的,若多媒体文件为多个地市的电视台需要播放的文件,则省任务分发服务器101可以将该多媒体文件存储在省文件存储服务器103中,若多媒体文件为某一个地市的电视台需要播放的文件,则省任务分发服务器101可以将该多媒体文件存储在该地市对应的地市存储服务器中。
省文件存储服务器103用于存储省电视台需要播放的多媒体文件、及多个地市电视台均需要播放的共享多媒体文件。相应的,省文件管理服务器102用于管理多媒体文件在省文件存储服务器103中的位置、以及共享多媒体文件在各地市文件存储服务器中的位置。
地市文件存储服务器用于存储地市电视台需要播放的多媒体文件、及该地市的边缘电视台需要播放的多媒体文件。相应的,地市文件管理服务器用于管理多媒体文件在地市文件存储服务器中的位置、及部分多媒体文件在边缘文件存储服务为中的位置。
边缘文件存储服务器用于存储边缘电视台需要播放的多媒体文件。
在本发明实施例中,当地市电视台需要的多媒体文件未存储在对应的地市文件存储服务器时,可以采用现有技术的方式在省文件存储服务器获取需要的多媒体文件。当边缘电视台需要的多媒体文件未存储在对应的边缘文件存储服务器时,边缘电视台可以通过边缘文件存储服务器向对应的地市文件管理服务器发送获取请求,由地市文件管理服务器向边缘文件存储服务器提供相应服务器,这样,无需省文件管理服务器向边缘文件存储服务器提供服务,减轻了省文件管理服务器的压力,进而避免了省文件管理服务器由于处理压力过大而导致广电系统故障的问题,进而提高了广电系统的稳定性。
在本发明实施例中,对向边缘文件存储服务器提供文件管理服务的方式进行了改进,其中,每一个地市文件管理服务器向边缘文件存储服务器提供文件管理服务的方式相同,下面,以任意一个地市文件管理服务器向边缘文件存储服务器提供服务器的过程为例,通过具体实施例,对本申请所示的技术方案进行详细说明。需要说明的是,下面几个具体实施例可以相互结合,对于相同或相似的内容,在不同的实施例中不再进行赘述。
图2为本发明实施例提供的分布式文件管理方法的流程示意图一。请参见图2,该方法可以包括:
S201、地市文件管理服务器接收边缘文件存储服务器发送的文件获取请求,文件获取请求中包括目标文件的标识。
本发明实施例所示的地市文件管理服务器为广电系统中的任意一个地市文件管理服务器。本发明实施例所示的边缘文件存储服务器为地市文件管理服务器对应的任意一个边缘文件存储服务器。
可选的,本发明实施例中所示的文件管理服务器可以为媒体文件跟踪引擎(MediaTracker,简称MT)。本发明实施例中所示的文件存储服务器可以为分布式文件存储集群(Distributed File System,简称DFS)管理所有文件的元数据和文件切片位置信息。
在实际应用过程中,当边缘电视台需要播放多媒体文件(电视剧、广告等)时,边缘电视台先判断其对应的边缘文件存储服务器中是否包括需要播放的多媒体文件,若是,则边缘电视台直接在边缘文件存储服务器中获取多媒体并进行播放,若否,则边缘电视台通过边缘文件存储服务器向地市文件管理服务器发送文件获取请求,并在文件获取请求中携带目标文件(需要播放的多媒体文件)的标识。
S202、地市文件管理服务器根据目标文件的标识,在省文件存储服务器、地市文件管理服务器对应的地市文件存储服务器、和地市文件管理服务器对应的边缘文件存储服务器中,确定包括目标文件的至少一个待选文件存储服务器。
边缘电视台请求的目标文件可能存储在省文件存储服务器、地市文件存储服务器、本地市中其它边缘文件存储服务器中的一个或多个上,地市文件管理服务器接收到文件获取请求之后,可以先确定包括目标文件的至少一个待选文件存储服务器。
可选的,地市文件管理服务器可以向省文件管理服务器发送目标文件的标识,以使省文件管理服务器根据目标文件的标识,判断省文件存储服务器中是否包括该目标文件。可选的,省文件服务器中存储的所有文件的元数据(例如文件的标识等)、及各文件的位置信息可以存储在省文件管理服务器对应的数据库中,相应的,省文件管理服务器可以通过数据库中包括的元数据判断地省文件存储服务器中是否包括目标文件。
可选的,地市文件管理服务器可以根据目标文件的标识,判断地市文件存储服务器及本地市中其它边缘存储服务器中是否包括该目标文件。可选的,地市文件存储服务器中存储的所有文件的元数据(例如文件的标识等)、本地市中各边缘文件存储服务器中存储的所有文件的元数据、及各文件的位置信息均可以存储在地市文件管理服务器对应的数据库中,相应的,地市文件管理服务器可以通过数据库中包括的元数据,判断地市文件存储服务器中、及本地市中其它边缘存储服务器中是否包括目标文件。
S203、地市文件管理服务器根据各待选文件存储服务器的负载率、及各待选文件存储服务器与边缘文件存储服务器之间的距离,在至少一个待选文件存储服务器中确定目标文件存储服务器。
可选的,各待选文件存储服务器的负载率可以通过待选文件存储服务器的资源占用率和/或CPU占用率等表示。
可选的,地市文件管理服务器可以通过如下可行的实现方式确定目标文件存储服务器:地市文件管理服务器根据预设负载权重系数、预设距离权重系数、各待选文件存储服务器的负载、及各待选文件存储服务器与边缘文件存储服务器之间的距离,分别确定各待选文件存储服务器的权重值;根据各待选文件存储服务器的权重值,在至少一个待选件存储服务器中确定目标文件存储服务器。可选的,可以将权重值最大的待选文件存储服务器确定为目标文件存储服务器。
可选的,可以通过如下公式一确定个待选文件存储服务器的权重值:
K=λ1×L+λ2×D 公式一;
其中,K为待选文件存储服务器的权重值,λ1为预设负载权重系数,L为待选文件存储服务器的负载,λ2为预设距离权重系数,D为待选文件存储服务器与边缘文件存储服务器之间的距离。
S204、地市文件管理服务器向边缘文件存储服务器发送目标文件在目标文件存储服务器中的第一位置信息,以使边缘文件存储服务器根据第一位置信息,在目标文件存储服务器中获取目标文件。
可选的,在本发明实施例中,目标文件可以划分为多个文件切片,并将目标文件以文件切片的形式存储在文件存储服务器中,相应的,目标文件在文件存储服务器中的位置信息可以为各文件切片在文件存储服务器中的位置信息。
在地市文件管理服务器确定得到目标文件存储服务器之后,地市文件管理服务器获取目标文件在目标文件存储服务器中的第一位置信息。可选的,若目标文件存储服务器为省文件存储服务器,则地市文件管理服务器可以向省文件管理服务器请求获取目标文件在省文件存储服务器中的第一位置信息。若目标文件存储服务器为地市文件存储服务器或本地市中其它边缘文件存储服务器,则地市文件管理服务器可以直接确定目标文件在地市文件存储服务器或本地市中其它边缘文件存储服务器中的第一位置信息。
地市文件管理服务器向边缘文件存储服务器发送第一位置信息,边缘文件存储服务器根据第一位置信息,在目标文件中获取目标文件。
本发明实施例提供的分布式文件管理方法,在广电系统中设置有多个地市文件管理服务器,并由地市文件管理服务器向边缘文件存储服务器提供服务,具体的,在地市文件管理服务器接收边缘文件存储服务器发送用于请求获取目标文件的文件获取请求之后,地市文件管理服务器先确定包括目标文件的至少一个待选文件存储服务器,并在该至少一个待选文件存储服务器选择一个目标文件存储服务器,目标文件存储服务器为能以最快速度向边缘文件存储服务器发送目标文件的服务器,还确定目标文件在目标文件存储服务器中的第一位置信息,以使边缘文件存储服务器根据该第一位置信息,在目标文件存储服务器中获取目标文件。一方面,由地市文件管理服务器向边缘文件存储服务器提供服务无需省文件管理服务器向边缘文件存储服务器提供服务,减轻了省文件管理服务器的压力,进而避免了省文件管理服务器由于处理压力过大而导致广电系统故障的问题,进而提高了广电系统的稳定性。另一方面,地市文件存储服务器根据待选文件存储服务器的负载率、及各待选文件存储服务器与边缘文件存储服务器之间的距离,确定得到的目标文件存储服务器为能以最快速度向边缘文件存储服务器发送目标文件,使得边缘文件存储服务器可以快速获取得到目标文件,进而提高向边缘文件存储服务器提供服务的效率。
在图2所示实施例的基础上,若待选文件存储服务器中仅包括省文件存储服务器,则目标文件存储服务器也为省文件存储服务器,说明地市文件存储服务器中不包括目标文件。在地市文件管理服务器向边缘文件存储服务器发送目标文件在目标文件存储服务器中的第一位置信息之后,为了使得本地市中其它边缘存储服务器在需要使用目标文件时,可以在本地市文件存储服务器中获取目标文件,则地市文件管理服务器还可以控制地市文件存储服务器获取并存储目标文件,具体的,请参见图3所示的实施例。
图3为本发明实施例提供的分布式文件管理方法的流程示意图二。在图2所示实施例的基础上,请参见图3,该方法可以包括:
S301、地市文件管理服务器向地市文件存储服务器发送第一位置信息,以使地市文件存储服务器根据第一位置信息,在省文件存储服务器中获取并存储目标文件。
在地市文件管理服务器向边缘文件存储服务器发送目标文件在目标文件存储服务器中的第一位置信息之后,地市文件管理服务器还向地市文件存储服务器发送第一位置信息。地市文件存储服务器根据第一位置信息,在省文件存储服务器中获取目标文件,并存储目标文件。
S302、地市文件管理服务器获取目标文件在地市文件存储服务器中的第二位置信息。
在地市文件存储服务器存储目标文件之后,地市文件管理服务器可以获取目标文件在地市文件存储服务器中的第二位置信息。
可选的,在地市文件管理服务器获取目标文件在地市文件存储服务器中的第二位置信息之后,地市文件管理服务器还可以向省文件管理服务器发送目标文件在地市文件管理服务器中的第二位置信息,以使省文件管理服务器存储目标文件与地市文件管理服务器中的第二位置信息的关联关系,这样,在与该地市文件存储服务距离较近其它地市文件存储服务器向省文件管理服务器请求获取目标文件时,省文件管理服务器可以通知其它地市文件存储服务器向本地市文件存储服务器获取目标文件,这样,不但可以减轻省文件存储服务器的压力,还可以提高向其它地市文件存储服务器提供服务的效率。
S303、地市文件管理服务器存储地市文件存储服务器对应的、目标文件的标识和第二位置信息的关联关系。
地市文件管理服务器确定目标文件和目标文件在地市文件存储服务器中的第二位置信息的关联关系,并存储该关联关系。
通过图3所示的实施例,在地市文件存储服务器中不包括目标文件时,若本地市中一个边缘文件存储服务器在省文件存储服务器中获取了目标文件,则地市文件管理服务器控制地市文件存储服务器在省文件存储服务器中获取目标文件,并存储目标文件和目标文件在地市文件存储服务器中的第二位置信息的关联关系。这样每当本地市中其它边缘文件存储服务器需要获取该目标文件时,只需在本地市文件存储服务器中获取即可,无需再通过省文件管理服务器向省文件存储服务器中获取,通常本地市文件存储服务器与边缘文件存储服务器的距离较近,这样,不但可以进一步减轻省文件管理服务器的压力,还可以提高向边缘文件存储服务器提供服务的效率。
在上述任意一个实施例的基础上,在边缘文件存储服务器获取得到目标文件,并存储目标文件之后,边缘文件存储服务器可以确定目标文件在边缘文件存储服务器中的第三位置信息,并向地市文件管理服务器发送该第三位置信息,以使地市文件管理服务器存储边缘文件存储服务器对应的、目标文件的标识和第三位置信息的关联关系。这样,在其它边缘文件存储服务器向地市文件管理服务器请求获取目标文件时,地市文件管理服务器可以通知其它边缘文件存储服务器在该边缘文件存储服务器中获取,进而可以减轻地市文件管理服务器的压力。
下面,通过具体示例,对上述方法实施例所示的技术方案进行详细说明。
示例性的,假设省任务分发服务器为工作流引擎(Work Flow Engine,简称WFE),省文件管理服务器为省MT,省文件存储服务器为省DFS,地市文件管理服务器为地市MT,地市文件存储服务器为地市DFS,边缘文件存储服务器为边缘DFS。下面,以WFE、省MT、省DFS、地市MT、地市DFS、边缘DFS的交互过程为例,通过图4所示的实施例,对WFE对多媒体文件进行分发的过程进行详细说明。通过图5所示的实施例,对地市MT向边缘DFS提供服务的过程进行详细说明。
图4为本发明实施例提供的WFE分发多媒体文件的交互示意图。请参见图4,该方法可以包括:
S401、WFE接收用户上传的多媒体文件。
S402、WFE判断多媒体文件是否为多地市共享的多媒体文件。
若是,则执行S403-S405。
若否,则执行S406-S409。
S403、WFE向省MT发送多媒体文件。
S404、省MT将多媒体文件存储在省DFS中。
S405、省MT记录多媒体文件在省DFS中的位置。
S406、WFE确定多媒体文件对应的地市MT。
S407、WFE向地市MT发送多媒体文件。
S408、地市MT将多媒体文件存储在地市DFS中。
S409、地市MT记录多媒体文件在地市DFS中的位置。
图5为本发明实施例提供的地市MT向边缘DFS提供服务的交互示意图。请参见图5,该方法可以包括:
S501、边缘DFS向地市MT发送包括目标文件的标识的文件获取请求。
S502、地市MT在省DFS、地市DFS和本地市中其它边缘DFS中确定待选DFS。
S503、地市MT根据各待选DFS的负载率和各待选DFS与边缘DFS之间的距离,获取各待选DFS的权重值。
S504、地市MT将权重值最高的DFS确定为目标DFS。
S505、地市MT获取目标文件在目标DFS中的第一位置信息。
S506、地市MT向边缘DFS发送第一位置信息和目标DFS的标识。
若目标DFS为省DFS,则执行S507-S509。
若目标DFS为地市DFS,则执行S510-S512。
若目标DFS为本地市中其它边缘DFS,则执行S513-S515。
S507、边缘DFS向省DFS发送包括第一位置信息文件获取请求。
S508、省DFS根据第一位置信息,获取目标文件。
S509、省DFS向边缘DFS发送目标文件。
在S509之后执行S516。
S510、边缘DFS向地市DFS发送包括第一位置信息文件获取请求。
S511、地市DFS根据第一位置信息,确定目标文件。
S512、地市DFS向边缘DFS发送目标文件。
在S512之后执行S516。
S513、边缘DFS向其它边缘DFS发送包括第一位置信息文件获取请求。
S514、其它边缘DFS根据第一位置信息,确定目标文件。
S515、其它边缘DFS向边缘DFS发送目标文件。
S516、边缘DFS确定目标文件在边缘DFS中的第三位置信息。
S517、边缘DFS向地市MT发送目标文件在边缘DFS中的第三位置信息。
S518、地市MT存储所述边缘DFS对应的、目标文件的标识和第三位置信息的关联关系。
图6为本发明实施例提供的地市文件管理服务器的结构示意图一。该服务器应用于广电系统,所述广电系统中包括省文件管理服务器、省文件存储服务器、多个地市文件管理服务器、各所述地市文件管理服务器对应的地市文件存储服务器、及各所述地市管理服务器对应的多个边缘文件存储服务器。其中,所述地市文件管理服务器为所述多个地市文件管理服务器中的任意一个,所述地市文件管理服务器包括:
接收模块11,用于接收边缘文件存储服务器发送的文件获取请求,所述文件获取请求中包括目标文件的标识,
第一确定模块12,用于根据所述目标文件的标识,在所述省文件存储服务器、所述地市文件管理服务器对应的地市文件存储服务器、和所述地市文件管理服务器对应的边缘文件存储服务器中,确定包括所述目标文件的至少一个待选文件存储服务器;
第二确定模块13,用于根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器;
发送模块14,用于向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息,以使所述边缘文件存储服务器根据所述第一位置信息,在所述目标文件存储服务器中获取所述目标文件。
本发明实施例所示的地市文件管理服务器可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
在一种可能的实施方式中,所述第二确定模块13具体用于:
根据预设负载权重系数、预设距离权重系数、各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,分别确定各所述待选文件存储服务器的权重值;
根据各所述待选文件存储服务器的权重值,在所述至少一个待选件存储服务器中确定所述目标文件存储服务器。
图7为本发明实施例提供的地市文件管理服务器的结构示意图二。在图6所示实施例的基础上,请参见图7,所述服务器还包括获取模15和存储模块16,其中,
在所述发送模块14向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,若所述待选文件存储服务器仅包括所述省文件存储服务器,所述发送模块14还用于,向所述地市文件存储服务器发送所述第一位置信息,以使所述地市文件存储服务器根据所述第一位置信息,在所述省文件存储服务器中获取并存储所述目标文件;
所述获取模块15块用于,获取所述目标文件在所述地市文件存储服务器中的第二位置信息;
所述存储模块16用于,存储所述地市文件存储服务器对应的、所述目标文件的标识和所述第二位置信息的关联关系。
在另一种可能的实施方式中,在所述获取模块15获取所述目标文件在所述地市文件存储服务器中的第二位置信息之后,所述发送模块14还用于:
向所述省文件管理服务器发送所述目标文件在所述地市文件管理服务器中的第二位置信息。
在另一种可能的实施方式中,所述接收模块11还用于,在所述发送模块14向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,接收所述边缘文件存储服务器发送的、所述目标文件在所述边缘文件存储服务器中的第三位置信息;
所述存储模块15还用于,存储所述边缘文件存储服务器对应的、所述目标文件的标识和所述第三位置信息的关联关系。
本发明实施例所示的地市文件管理服务器可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述各实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例方案的范围。
Claims (10)
1.一种分布式文件管理方法,其特征在于,应用于广电系统,所述广电系统中包括省文件管理服务器、省文件存储服务器、多个地市文件管理服务器、各所述地市文件管理服务器对应的地市文件存储服务器、及各所述地市管理服务器对应的多个边缘文件存储服务器,其中,所述方法包括:
地市文件管理服务器接收边缘文件存储服务器发送的文件获取请求,所述文件获取请求中包括目标文件的标识,所述地市文件管理服务器为所述多个地市文件管理服务器中的任意一个;
所述地市文件管理服务器根据所述目标文件的标识,在所述省文件存储服务器、所述地市文件管理服务器对应的地市文件存储服务器、和所述地市文件管理服务器对应的边缘文件存储服务器中,确定包括所述目标文件的至少一个待选文件存储服务器;
所述地市文件管理服务器根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器;
所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息,以使所述边缘文件存储服务器根据所述第一位置信息,在所述目标文件存储服务器中获取所述目标文件。
2.根据权利要求1所述的方法,其特征在于,所述地市文件管理服务器根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器,包括:
所述地市文件管理服务器根据预设负载权重系数、预设距离权重系数、各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,分别确定各所述待选文件存储服务器的权重值;
所述地市文件管理服务器根据各所述待选文件存储服务器的权重值,在所述至少一个待选件存储服务器中确定所述目标文件存储服务器。
3.根据权利要求1或2所述的方法,其特征在于,若所述待选文件存储服务器为所述省文件存储服务器,在所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,还包括:
所述地市文件管理服务器向所述地市文件存储服务器发送所述第一位置信息,以使所述地市文件存储服务器根据所述第一位置信息,在所述省文件存储服务器中获取并存储所述目标文件;
所述地市文件管理服务器获取所述目标文件在所述地市文件存储服务器中的第二位置信息;
所述地市文件管理服务器存储所述地市文件存储服务器对应的、所述目标文件的标识和所述第二位置信息的关联关系。
4.根据权利要求3所述的方法,其特征在于,所述地市文件管理服务器获取所述目标文件在所述地市文件存储服务器中的第二位置信息之后,还包括:
所述地市文件管理服务器向所述省文件管理服务器发送所述目标文件在所述地市文件管理服务器中的第二位置信息。
5.根据权利要求3所述的方法,其特征在于,在所述地市文件管理服务器向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,还包括:
所述地市文件管理服务器接收所述边缘文件存储服务器发送的、所述目标文件在所述边缘文件存储服务器中的第三位置信息;
所述地市文件管理服务器存储所述边缘文件存储服务器对应的、所述目标文件的标识和所述第三位置信息的关联关系。
6.一种地市文件管理服务器,其特征在于,应用于广电系统,所述广电系统中包括省文件管理服务器、省文件存储服务器、多个地市文件管理服务器、各所述地市文件管理服务器对应的地市文件存储服务器、及各所述地市管理服务器对应的多个边缘文件存储服务器,所述地市文件管理服务器为所述多个地市文件管理服务器中的任意一个,所述地市文件管理服务器包括:
接收模块,用于接收边缘文件存储服务器发送的文件获取请求,所述文件获取请求中包括目标文件的标识,
第一确定模块,用于根据所述目标文件的标识,在所述省文件存储服务器、所述地市文件管理服务器对应的地市文件存储服务器、和所述地市文件管理服务器对应的边缘文件存储服务器中,确定包括所述目标文件的至少一个待选文件存储服务器;
第二确定模块,用于根据各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,在所述至少一个待选文件存储服务器中确定目标文件存储服务器;
发送模块,用于向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息,以使所述边缘文件存储服务器根据所述第一位置信息,在所述目标文件存储服务器中获取所述目标文件。
7.根据权利要求6所述的服务器,其特征在于,所述第二确定模块具体用于:
根据预设负载权重系数、预设距离权重系数、各所述待选文件存储服务器的负载率、及各所述待选文件存储服务器与所述边缘文件存储服务器之间的距离,分别确定各所述待选文件存储服务器的权重值;
根据各所述待选文件存储服务器的权重值,在所述至少一个待选件存储服务器中确定所述目标文件存储服务器。
8.根据权利要求6或7所述的服务器,其特征在于,所述服务器还包括获取模块和存储模块,其中,
所述发送模块还用于,在所述发送模块向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,向所述地市文件存储服务器发送所述第一位置信息,以使所述地市文件存储服务器根据所述第一位置信息,在所述省文件存储服务器中获取并存储所述目标文件;
所述获取模块用于,获取所述目标文件在所述地市文件存储服务器中的第二位置信息;
所述存储模块用于,存储所述地市文件存储服务器对应的、所述目标文件的标识和所述第二位置信息的关联关系。
9.根据权利要求8所述的服务器,其特征在于,在所述获取模块获取所述目标文件在所述地市文件存储服务器中的第二位置信息之后,所述发送模块还用于:
向所述省文件管理服务器发送所述目标文件在所述地市文件管理服务器中的第二位置信息。
10.根据权利要求8所述的服务器,其特征在于,
所述接收模块还用于,在所述发送模块向所述边缘文件存储服务器发送所述目标文件在所述目标文件存储服务器中的第一位置信息之后,接收所述边缘文件存储服务器发送的、所述目标文件在所述边缘文件存储服务器中的第三位置信息;
所述存储模块还用于,存储所述边缘文件存储服务器对应的、所述目标文件的标识和所述第三位置信息的关联关系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710165197.8A CN106899693A (zh) | 2017-03-20 | 2017-03-20 | 分布式文件管理方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710165197.8A CN106899693A (zh) | 2017-03-20 | 2017-03-20 | 分布式文件管理方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106899693A true CN106899693A (zh) | 2017-06-27 |
Family
ID=59192964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710165197.8A Pending CN106899693A (zh) | 2017-03-20 | 2017-03-20 | 分布式文件管理方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106899693A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110430268A (zh) * | 2019-08-08 | 2019-11-08 | 中国工商银行股份有限公司 | 基于分布式服务的静态资源路由方法及装置 |
CN112181900A (zh) * | 2020-09-04 | 2021-01-05 | 中国银联股份有限公司 | 一种服务器集群中的数据处理方法与装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1280342A (zh) * | 1999-06-24 | 2001-01-17 | 佳能株式会社 | 网络状态服务器,信息分布系统,控制方法和存储介质 |
US20080222243A1 (en) * | 2000-05-18 | 2008-09-11 | Akamai Technologies, Inc. | Client-side method for identifying an optimal server |
CN101355476A (zh) * | 2008-05-23 | 2009-01-28 | 林云帆 | 一种基于服务器群集的数据文件存储、分发和应用的系统和方法 |
CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术(深圳)有限公司 | 分布式文件系统管理方法、装置以及对应的文件系统 |
CN102546623A (zh) * | 2011-12-30 | 2012-07-04 | 成都市华为赛门铁克科技有限公司 | 加速提供互联网应用资源的方法、资源管理服务器及系统 |
CN103595782A (zh) * | 2013-11-11 | 2014-02-19 | 中安消技术有限公司 | 一种分布式存储系统及其下载文件的方法 |
CN103747273A (zh) * | 2013-12-23 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种视频请求方法、设备及系统 |
-
2017
- 2017-03-20 CN CN201710165197.8A patent/CN106899693A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1280342A (zh) * | 1999-06-24 | 2001-01-17 | 佳能株式会社 | 网络状态服务器,信息分布系统,控制方法和存储介质 |
US20080222243A1 (en) * | 2000-05-18 | 2008-09-11 | Akamai Technologies, Inc. | Client-side method for identifying an optimal server |
CN101355476A (zh) * | 2008-05-23 | 2009-01-28 | 林云帆 | 一种基于服务器群集的数据文件存储、分发和应用的系统和方法 |
CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术(深圳)有限公司 | 分布式文件系统管理方法、装置以及对应的文件系统 |
CN102546623A (zh) * | 2011-12-30 | 2012-07-04 | 成都市华为赛门铁克科技有限公司 | 加速提供互联网应用资源的方法、资源管理服务器及系统 |
CN103595782A (zh) * | 2013-11-11 | 2014-02-19 | 中安消技术有限公司 | 一种分布式存储系统及其下载文件的方法 |
CN103747273A (zh) * | 2013-12-23 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种视频请求方法、设备及系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110430268A (zh) * | 2019-08-08 | 2019-11-08 | 中国工商银行股份有限公司 | 基于分布式服务的静态资源路由方法及装置 |
CN110430268B (zh) * | 2019-08-08 | 2022-03-11 | 中国工商银行股份有限公司 | 基于分布式服务的静态资源路由方法及装置 |
CN112181900A (zh) * | 2020-09-04 | 2021-01-05 | 中国银联股份有限公司 | 一种服务器集群中的数据处理方法与装置 |
CN112181900B (zh) * | 2020-09-04 | 2024-05-14 | 中国银联股份有限公司 | 一种服务器集群中的数据处理方法与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180005145A1 (en) | Mitigating surge pricing in ridesharing services | |
CN106851343B (zh) | 用于视频直播的方法和装置 | |
US7984156B2 (en) | Data center scheduler | |
CN110858332B (zh) | 订单生产方法和装置 | |
CN106713495B (zh) | Ip地理位置的上传方法及访问方法、装置及访问系统 | |
CN111385129A (zh) | 全球化内容审核方法、装置、计算机设备及存储介质 | |
CN104348798A (zh) | 一种分配网络的方法、装置、调度服务器和系统 | |
CN104980417A (zh) | 一种ugc文件分发方法和设备 | |
CN106899693A (zh) | 分布式文件管理方法及设备 | |
CN104506457A (zh) | 一种带宽调整方法、系统及智能管道平台 | |
CN101262489B (zh) | 一种内容分发网络系统及方法 | |
CN104092627A (zh) | 带宽调整方法及装置 | |
CN103312815A (zh) | 一种云存储系统及其数据存取方法 | |
CN103188629B (zh) | 一种不同制式网络间的流量引导方法和装置 | |
CN106203925A (zh) | 汽车物流站点方法及系统 | |
CN105659265A (zh) | 餐饮外送管理方法及系统 | |
CN106211353A (zh) | 数据获取方法、装置和系统 | |
US20130080180A1 (en) | Method and apparatus for sender paid data delivery | |
CN103795810A (zh) | 数据分发系统及方法以及该数据分发系统中的中心服务器 | |
Udías et al. | Cost‐efficient equitable water distribution in Algeria: a bicriteria fair division problem with network constraints | |
CN106231361A (zh) | 主图标在电视广播中的应用方法及系统 | |
CN118278552B (zh) | 一种用于酒店预定的客房管理方法、设备及介质 | |
CN106162317A (zh) | 一种智能终端获取电影片的方法及系统 | |
KR20150050276A (ko) | 비디오제공방법 및 비디오제공시스템 | |
CN110659849A (zh) | 业务覆盖区域的确定方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170627 |
|
RJ01 | Rejection of invention patent application after publication |