CN111258748A - 分布式文件系统及控制方法 - Google Patents

分布式文件系统及控制方法 Download PDF

Info

Publication number
CN111258748A
CN111258748A CN201811466884.4A CN201811466884A CN111258748A CN 111258748 A CN111258748 A CN 111258748A CN 201811466884 A CN201811466884 A CN 201811466884A CN 111258748 A CN111258748 A CN 111258748A
Authority
CN
China
Prior art keywords
task
file
executed
pool
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811466884.4A
Other languages
English (en)
Other versions
CN111258748B (zh
Inventor
顾卿
严庭翔
贾栋
裴力
邱晓波
胡可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Shanghai Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Shanghai Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811466884.4A priority Critical patent/CN111258748B/zh
Publication of CN111258748A publication Critical patent/CN111258748A/zh
Application granted granted Critical
Publication of CN111258748B publication Critical patent/CN111258748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例提供一种分布式文件系统及控制方法。所述系统包括：控制模块、任务池以及配置中心；其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；所述任务模块包括：分配单元以及处理单元；所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。本发明实施例解决了现有技术中，分布式文件系统中原有的文件抢占模式造成I/O资源冲突的问题。

Description

分布式文件系统及控制方法
技术领域
本发明实施例涉及移动通信技术领域，尤其涉及一种分布式文件系统及控制方法。
背景技术
随着弹性服务化框架技术的发展，分布式云系统对现有文件系统在响应及时率、高可用以及扩展性等方面提出了更高的要求。现有文件系统中，较为常见的是基于磁盘阵列的文件系统，其主要是以冗余备份来保障文件安全以及快速访问，构建原理是基于数组方式的磁盘组，配合数据分散排列的设计，以提升数据的安全性。磁盘阵列由很多价格低廉、容量较小、稳定性较高且速度较慢的磁盘，组合成一个大型的磁盘组，利用其中个别磁盘提供数据所产生的加成效果提来升整个磁盘系统效能。然而，复杂的构建原理必然导致较差的扩展性，比如，当需要增加存储或者更换磁盘时，无法做到服务的平滑过渡。
分布式文件系统将广泛分布各个不同物理存储空间(比如本机、局域网和广域网)中的数据以一定逻辑形式组成文件系统，分布式文件系统提供的服务更多的是索引(指向)作用，不必耗费很大的部署资源，顺应了云计算的发展方向。
具体地，分布式文件系统中的索引功能，对于文件系统的原子性操作，例如rename(rename是一个计算函数，功能是给一个文件重命名，用该函数可以实现文件移动功能，把一个文件的完整路径的盘符改一下就实现了这个文件的移动。)、mv等指令，由于增加了算法额外开销，性能会有一定的降低。作为示例，参见表1，在相同硬件资源(CPU、内存)环境下，表1中对ClusterFS、MooseFS以及本地磁盘耗时的基本命令性能测试进行对比，得出如下数据：
表1：
Figure BDA0001890037800000011
Figure BDA0001890037800000021
对于文件无状态化时的任务分配方式主要有如下两种(以文件全路径名称为任务分片)：任务处理单元直接从文件系统中竞争任务分片(如具有原子性的rename操作)；以及任务处理单元从统一的协调中心竞争或顺序获取任务分片。
而直接从文件系统竞争任务分片时，需要各任务处理单元独立遍历目录中全量数据后，抢占到各自的临时路径下。而当任务处理单元数量较多时，各自的遍历、rename操作产生的上下文切换与I/O操作将产生资源冲突，而在分布式文件系统的高延时下，这种资源冲突将造成极大的系统负担。
发明内容
本发明实施例提供一种分布式文件系统及控制方法，用以解决现有技术中，分布式文件系统中原有的文件抢占模式造成I/O资源冲突的问题。
一方面，本发明实施例提供一种分布式文件系统，所述系统包括：控制模块、任务池以及配置中心；
其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；
所述任务模块包括：分配单元以及处理单元；
所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；
所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。
一方面，本发明实施例提供一种分布式文件系统的控制方法，应用于上述分布式文件系统，所述方法包括：
获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心；
控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中；
以及从所述任务池中获取所述文件分片，并执行所述待执行任务。
另一方面，本发明实施例还提供了一种电子设备，包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述分布式文件系统的控制方法中的步骤。
再一方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述分布式文件系统的控制方法中的步骤。
本发明实施例提供的分布式文件系统及控制方法，通过为待执行任务配置单独的任务模块，将待执行任务的任务参数存储在所述配置中心；通过分配单元从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中，使得任务模块在控制模块竞争或顺序获取得到文件分片时，直接从任务池中得到已经分配好的文件信息，避免了各处理单元独立遍历目录，减轻文件系统的压力；在无需对分布式文件系统的结构进行变更的情况下，通过将原有的文件抢占模式，更改为任务片分发、文件分配模式，降低文件系统I/O压力；在分布式文件系统中高并发情况下，可降低文件原子操作造成的频繁上下文切换及I/O交换，有效避免CPU任务调度部分占用CPU过高，提高CPU的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的分布式文件系统的结构示意图；
图2为本发明实施例的示例的结构示意图；
图3为本发明实施例的示例的流程示意图之一；
图4为本发明实施例的示例的流程示意图之二；
图5为本发明实施例提供的分布式文件系统的控制方法的流程示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
图1示出了本发明实施例提供的一种分布式文件系统的控制方法的结构示意图。
如图1所示，本发明实施例提供的分布式文件系统，所述系统包括：控制模块、任务池以及配置中心；
其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；其中，可在分布式文件系统的前台通过人机交互接口与用户进行交互，获取待执行任务的任务参数。每个待执行任务为一独立的任务，比如参见图2，以离线话单处理流程为例，采集离线话单后的环节，解码、业务分析/批价、入库环节等各自为独立的任务，为每个独立的任务单独配置一独立的任务模块。
任务模块配置后，将任务参数存储在所述配置中心。
所述任务模块包括：分配单元以及处理单元。
具体地，所述分配单元为独立无状态服务，负责采集并分配任务，具体用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，扫描文件任务指定目录并获取到文件分片列表，并将所述文件分片发布至任务池中，这样，当各个任务模块从作为统一协调中心的控制模块处获得一文件分片的使用权时，直接从任务池中获取该文件分片即可，无需再独立遍历目录中全量数据后，抢占到各自的临时路径下，避免大量的遍历，占用I/O资源，造成系统负担；其中，文件分片即任务分片。
所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。其中，处理单元可以是TG/TP组合的集群或Solo TP集群，负责任务消费及资源处理，从任务池中获取文件分片，并对任务池中的任务分配进行消费确认，通过任务分配获取环节得到具体的任务数据及属性后，直接处理任务。
本发明实施例中，通过为待执行任务配置单独的任务模块，将待执行任务的任务参数存储在所述配置中心；通过分配单元从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中，使得任务模块在控制模块竞争或顺序获取得到文件分片时，直接从任务池中得到已经分配好的文件信息，避免了各处理单元独立遍历目录，减轻文件系统的压力；在无需对分布式文件系统的结构进行变更的情况下，通过将原有的文件抢占模式，更改为任务片分发、文件分配模式，降低文件系统I/O压力；在分布式文件系统中高并发情况下，可降低文件原子操作造成的频繁上下文切换及I/O交换，有效避免CPU任务调度部分占用CPU过高，提高CPU的利用率。本发明实施例解决了现有技术中，分布式文件系统中原有的文件抢占模式造成I/O资源冲突的问题。
可选地，本发明实施例中，所述任务模块还包括：定义单元，用于获取所述待执行任务并为所述待执行任务配置一任务标识号ID。
其中，定义单元从控制模块处获取待执行任务，为待执行任务配置一任务ID，用于标识该任务模块，以及后续作为标记文件分片的存储地址和/或转移记录。
可选地，本发明实施例中，所述系统还包括：
分配存储单元，用于存储所述任务池中的文件分片的转移记录，所述转移记录包括源目录以及目标目录；
其中，所述处理单元用于从所述任务池中获取所述文件分片时，向所述分配存储单元发送作为目标目录的任务ID。
其中，文件分片在待执行任务执行的过程中，需要在多个目录流转，为了对文件分片的存储位置进行定位，分配存储单元存储并维持所述任务池中的文件分片的转移记录，转移记录包括源目录以及目标目录，即转移记录为从所述源目录转移至目标目录。
具体地，所述分配单元根据所述任务参数从所述分配存储单元中获取所述文件分片的第一源目录，第一源目录即在任务模块调用该文件分片之前，文件分片所在的位置；并将所述任务池的地址作为所述文件分片的第一目标目录，根据所述第一源目录、第一目标目录，生成所述文件分片的第一转移记录，第一转移记录即文件分片的转移记录。
作为示例，参见图3，图3中以离线话单处理流程为例，文件分片在处理过程中需要在多个目录流转，各目录与具体动作关系如下步骤1-步骤6所示：
1.文件分片采集程序在采集时进行，采集时所在位置为第一源目录。
2.话单读写子系统中的任务模块获取文件分片，将文件分片存储在任务池中，任务池为第一目标目录，此时，第一源目录与第一目标目录生成所述文件分片的第一转移记录。
具体地，文件分片在作为任务模块的话单读写子系统内部，还包括如下转移过程：
3.任务模块读写工作目录中的读临时目录-备份目录；
4.任务模块中的文件读取节点在文件读取失败时，读写工作目录中的读临时目录-读失败目录；
5.任务模块中文件处理完成后读写临时文件，读写工作目录中的读临时目录-正常话单输出目录；
6.任务模块中文件处理完成读写临时文件后，读写工作目录中的读临时目录-错误话单输出目录；
该任务模块的分配单元，包括以下子单元：文件扫描子单元、文件转存子单元以及状态缓存子单元；各子单元的功能设计清单如以下表1所示：
表1：
Figure BDA0001890037800000071
Figure BDA0001890037800000081
上述过程中，若转移记录发生异常时，如果存在状态记录，则可能有以下三种情况：
(1)文件未转移，转移记录未提交；
(2)文件转移，转移记录未提交；
(3)文件已转移，转移记录已提交，目标文件已被后续流程处理(目标文件不存在)。
若转移记录发生异常时，在进程启动初始化过程之后，需要执行一次异常检查和重处理工作，根据状态记录可知源文件路和目标文件路径，异常检查和重处理过程如图4所示：
步骤401，判断作为源文件的文件分片是否存在；若存在，执行步骤402；否则，执行步骤403；
步骤402，源文件存在，重新执行该待执行任务；
其中，源文件存在，说明异常发生在记录状态和转移文件之间，文件未转移，任务必然尚未提交，则该任务全部重做。
步骤403，源文件不存在，不重新执行，并继续判断作为目标文件的文件分片是否存在。
其中，源文件不存在，说明文件已转移，且文件分片已被后续流程处理，则说明任务已经被提交过，无需再重做。此外，文件分片也可能被文件系统丢失，无法重新执行；
步骤404，源文件不存在，目标文件存在，将该任务标记为异常任务。
其中，源文件不存在，目标文件存在，说明文件已转移，但是否需要重新提交任务则无法确定。为保证数据不丢失，该任务仍需要向后发。由于可能是重复发送，需要将该任务标记为异常任务。
流程后续服务在获取到该任务时，需针对带异常标记的任务，进行特别处理。
可选地，本发明实施例中，所述处理单元包括：分片子单元以及处理子单元；
所述分片子单元用于从所述任务池中获取所述文件分片，并对任务池中的任务分配进行消费确认，并将所述文件分片发送给所述处理子单元；
所述处理子单元用于接收所述文件分片，并从所述分配单元获取所述任务参数，根据所述任务参数以及所述文件分片执行所述待执行任务。
其中，分片子单元直接从任务池中获取该文件分片即可，无需再独立遍历目录中全量数据后，抢占到各自的临时路径下，避免大量的遍历，占用I/O资源，造成系统负担。
本发明实施例中，通过为待执行任务配置单独的任务模块，将待执行任务的任务参数存储在所述配置中心；通过分配单元从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中，使得任务模块在控制模块竞争或顺序获取得到文件分片时，直接从任务池中得到已经分配好的文件信息，避免了各处理单元独立遍历目录，减轻文件系统的压力；在无需对分布式文件系统的结构进行变更的情况下，通过将原有的文件抢占模式，更改为任务片分发、文件分配模式，降低文件系统I/O压力；在分布式文件系统中高并发情况下，可降低文件原子操作造成的频繁上下文切换及I/O交换，有效避免CPU任务调度部分占用CPU过高，提高CPU的利用率。
以上介绍了本发明实施例提供的分布式文件系统，下面将结合附图介绍本发明实施例提供的分布式文件系统的控制方法。
参见图5，本发明实施例提供了一种分布式文件系统的控制方法，应用于上述分布式文件系统，所述方法包括：
步骤501，获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心。
其中，可在分布式文件系统的前台通过人机交互接口与用户进行交互，获取待执行任务的任务参数。每个待执行任务为一独立的任务。任务模块配置后，将任务参数存储在所述配置中心。
步骤502，控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中。
具体地，控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，扫描文件任务指定目录并获取到文件分片列表，并将所述文件分片发布至任务池中，这样，当各个任务模块从作为统一协调中心的控制模块处获得一文件分片的使用权时，直接从任务池中获取该文件分片即可，无需再独立遍历目录中全量数据后，抢占到各自的临时路径下，避免大量的遍历，占用I/O资源，造成系统负担；其中，文件分片即任务分片。
以及步骤503，从所述任务池中获取所述文件分片，并执行所述待执行任务。
其中，从任务池中获取文件分片，并对任务池中的任务分配进行消费确认，通过任务分配获取环节得到具体的任务数据及属性后，直接处理任务。
可选地，本发明实施例中，步骤503包括：
从所述任务池中获取所述文件分片，并从所述分配单元获取所述任务参数，根据所述任务参数以及所述文件分片执行所述待执行任务。
本发明实施例中，通过获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心；控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中；以及从所述任务池中获取所述文件分片，并执行所述待执行任务；使得任务模块竞争或顺序获取得到文件分片时，直接从任务池中得到已经分配好的文件信息，避免了各处理单元独立遍历目录，减轻文件系统的压力；在无需对分布式文件系统的结构进行变更的情况下，通过将原有的文件抢占模式，更改为任务片分发、文件分配模式，降低文件系统I/O压力；在分布式文件系统中高并发情况下，可降低文件原子操作造成的频繁上下文切换及I/O交换，有效避免CPU任务调度部分占用CPU过高，提高CPU的利用率。
图6示出了本发明又一实施例提供的一种电子设备的结构示意图。
如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：
获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心；
控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中；
以及从所述任务池中获取所述文件分片，并执行所述待执行任务。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
本发明又一实施例提供的一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，所述程序被处理器执行时实现如本发明上述实施例中提供的方法中的步骤，本实施不再赘述。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种分布式文件系统，其特征在于，所述系统包括：控制模块、任务池以及配置中心；
其中，所述控制模块用于获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述配置中心；
所述任务模块包括：分配单元以及处理单元；
所述分配单元用于从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至任务池中；
所述处理单元用于从所述任务池中获取所述文件分片，并执行所述待执行任务。
2.根据权利要求1所述的系统，其特征在于，所述任务模块还包括：定义单元，用于获取所述待执行任务并为所述待执行任务配置一任务标识号ID。
3.根据权利要求2所述的系统，其特征在于，还包括：
分配存储单元，用于存储所述任务池中的文件分片的转移记录，所述转移记录包括源目录以及目标目录；
其中，所述处理单元用于从所述任务池中获取所述文件分片时，向所述分配存储单元发送作为目标目录的任务ID。
4.根据权利要求3所述的系统，其特征在于，所述分配单元根据所述任务参数从所述分配存储单元中获取所述文件分片的第一源目录，将所述任务池的地址作为所述文件分片的第一目标目录，根据所述第一源目录、第一目标目录，生成所述文件分片的第一转移记录。
5.根据权利要求1所述的系统，其特征在于，所述处理单元包括：分片子单元以及处理子单元；其中，
所述分片子单元用于从所述任务池中获取所述文件分片，并将所述文件分片发送给所述处理子单元；
所述处理子单元用于接收所述文件分片，并从所述分配单元获取所述任务参数，根据所述任务参数以及所述文件分片执行所述待执行任务。
6.一种分布式文件系统的控制方法，应用于如权利要求1至5中任一项所述的分布式文件系统，其特征在于，所述方法包括：
获取待执行任务的任务参数，为所述待执行任务配置一任务模块，将所述任务参数存储在所述分布式文件系统的配置中心；
控制所述任务模块从所述配置中心加载所述任务参数，根据所述任务参数从所述分布式文件系统中获取所述待执行任务的文件分片，并将所述文件分片发布至所述分布式文件系统的任务池中；
以及从所述任务池中获取所述文件分片，并执行所述待执行任务。
7.根据权利要求6所述的方法，其特征在于，所述从所述任务池中获取所述文件分片，并执行所述待执行任务的步骤，包括：
从所述任务池中获取所述文件分片，并从所述分配单元获取所述任务参数，根据所述任务参数以及所述文件分片执行所述待执行任务。
8.一种电子设备，其特征在于，包括存储器、处理器、总线以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求6至7中任一项所述的分布式文件系统的控制方法中的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于：所述程序被处理器执行时实现如权利要求6至7中任一项所述的分布式文件系统的控制方法中的步骤。
CN201811466884.4A 2018-12-03 2018-12-03 分布式文件系统及控制方法 Active CN111258748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811466884.4A CN111258748B (zh) 2018-12-03 2018-12-03 分布式文件系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811466884.4A CN111258748B (zh) 2018-12-03 2018-12-03 分布式文件系统及控制方法

Publications (2)

Publication Number Publication Date
CN111258748A true CN111258748A (zh) 2020-06-09
CN111258748B CN111258748B (zh) 2023-09-05

Family

ID=70952090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811466884.4A Active CN111258748B (zh) 2018-12-03 2018-12-03 分布式文件系统及控制方法

Country Status (1)

Country Link
CN (1) CN111258748B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582064A (zh) * 2008-05-15 2009-11-18 阿里巴巴集团控股有限公司 一种大数据量数据处理方法及系统
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
CN104156482A (zh) * 2014-08-26 2014-11-19 天津市普迅电力信息技术有限公司 一种地图瓦片数据的发布方法
CN106981026A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种业务处理方法和装置
US20180144251A1 (en) * 2016-11-23 2018-05-24 Institute For Information Industry Server and cloud computing resource optimization method thereof for cloud big data computing architecture
CN108449383A (zh) * 2018-02-11 2018-08-24 西南电子技术研究所（中国电子科技集团公司第十研究所） 分布式实时移动微云计算系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582064A (zh) * 2008-05-15 2009-11-18 阿里巴巴集团控股有限公司 一种大数据量数据处理方法及系统
CN102841931A (zh) * 2012-08-03 2012-12-26 中兴通讯股份有限公司 分布式文件系统的存储方法及装置
CN102880658A (zh) * 2012-08-31 2013-01-16 电子科技大学 基于地震数据处理的分布式文件管理系统
CN104156482A (zh) * 2014-08-26 2014-11-19 天津市普迅电力信息技术有限公司 一种地图瓦片数据的发布方法
CN106981026A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种业务处理方法和装置
US20180144251A1 (en) * 2016-11-23 2018-05-24 Institute For Information Industry Server and cloud computing resource optimization method thereof for cloud big data computing architecture
CN108449383A (zh) * 2018-02-11 2018-08-24 西南电子技术研究所（中国电子科技集团公司第十研究所） 分布式实时移动微云计算系统

Also Published As

Publication number Publication date
CN111258748B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
US10277525B2 (en) Method and apparatus for disaggregated overlays via application services profiles
US11588755B2 (en) Distributed stream-based database triggers
CN107431696B (zh) 用于应用自动化部署的方法和云管理节点
KR20170110708A (ko) 자원 배치 최적화를 위한 기회적 자원 이주
US9836516B2 (en) Parallel scanners for log based replication
Jiang et al. Symbiosis: Network-aware task scheduling in data-parallel frameworks
CN103150225B (zh) 基于应用级代理的对象并行存储系统磁盘满异常容错方法
KR101765725B1 (ko) 대용량 방송용 빅데이터 분산 병렬처리를 위한 동적 디바이스 연결 시스템 및 방법
CN106227469A (zh) 用于分布式存储集群的数据删除方法及系统
US10579419B2 (en) Data analysis in storage system
US10789087B2 (en) Insight usage across computing nodes running containerized analytics
US8621260B1 (en) Site-level sub-cluster dependencies
CN103634374A (zh) 一种并发访问请求的处理方法及装置
CN112596669A (zh) 一种基于分布式存储的数据处理方法及装置
CN112099728B (zh) 一种执行写操作、读操作的方法及装置
CN116954816A (zh) 容器集群控制方法、装置、设备及计算机存储介质
RU2721235C2 (ru) Способ и система для маршрутизации и выполнения транзакций
CN111258748A (zh) 分布式文件系统及控制方法
US10824640B1 (en) Framework for scheduling concurrent replication cycles
CN114328434A (zh) 数据处理系统、方法、设备及存储介质
CN103634344A (zh) 一种单机运行多MySQL数据库实例的方法和设备
CN112685130A (zh) 分布式存储环境下的虚拟机备份方法、装置和存储介质
JP4595892B2 (ja) データベース管理システム構築方法、装置、プログラム及び記録媒体
US20240160487A1 (en) Flexible gpu resource scheduling method in large-scale container operation environment
CN110287004B (zh) 基于docker容器技术的基础环境镜像预热方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant