CN103577500B - 分布式文件系统进行数据处理的方法及该分布式文件系统 - Google Patents
分布式文件系统进行数据处理的方法及该分布式文件系统 Download PDFInfo
- Publication number
- CN103577500B CN103577500B CN201210284734.8A CN201210284734A CN103577500B CN 103577500 B CN103577500 B CN 103577500B CN 201210284734 A CN201210284734 A CN 201210284734A CN 103577500 B CN103577500 B CN 103577500B
- Authority
- CN
- China
- Prior art keywords
- file
- server
- node
- metamessage
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了分布式文件系统进行数据处理的方法及该分布式文件系统，其中，该系统包括节点服务器和多个元信息服务器；所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件，如果有则，将相应文件的文件ID、节点地址和数据块属性信息反馈给元信息服务器。本发明方案能够缩短宕机重启后的恢复时间。
Description
技术领域
本发明涉及数据处理技术，尤其涉及分布式文件系统进行数据处理的方法及该分布式文件系统。
背景技术
参见图1，为现有技术的分布式文件系统（DFS，Distributed File System）结构示意图，该系统包括客户端、多个数据节点以及单一的主节点。
主节点在本地硬盘上存储文件路径与文件标识（ID，IDentity）之间的第一映射关系，且对应文件ID存储文件属性信息；并在内存中存储文件ID与节点地址之间的第二映射关系，且在内存中对应节点地址存储数据块属性信息。文件路径是展示给用户的关于某个文件的逻辑路径；实际地，每个文件被划分为多个数据块，分别存储在多个数据节点上。
为了用户能够快速访问，在内存中会存放所有的信息，包括第一映射关系和文件属性信息，以及第二映射关系和数据块属性信息；其中第一映射关系和文件属性信息相对稳定且较重要，通常还保存在本地硬盘上。
现有的分布式文件系统将数据分散存储在多个数据节点上，同时各数据节点还在本地硬盘上存储了数据的描述信息，包括文件ID和数据块属性信息。
当客户端需要从数据节点下载数据时，先根据文件路径从主节点获取对应的文件ID和节点地址；再由节点地址向对应的数据节点下载与文件ID对应的数据。当当客户端需要向数据节点上传数据时，先根据文件路径从主节点获取对应的文件ID，再为该文件ID选取节点地址，向节点地址对应的数据节点上传数据。
在实际运用中，会出现分布式文件系统宕机的情况；若主节点宕机，只有本地硬盘中的信息被保留下来，保存于内存的信息丢失，这部分信息可从各数据节点获取，以实现宕机恢复。
然而，由于单一的主节点对应多个数据节点，宕机时，主节点需要从各数据节点获取信息，此过程为一对多的信息收集过程，其时间较长。通常地，对于千万量级文件的分布式文件系统，宕机恢复时间在一小时以上。
发明内容
本发明提供了一种分布式文件系统进行数据处理的方法，该方法能够缩短宕机重启后的恢复时间。
本发明提供了一种分布式文件系统，该系统能够缩短宕机重启后的恢复时间。
一种分布式文件系统进行数据处理的方法，该方法包括：
元信息服务器宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求；
节点服务器由数据块信息获取请求包含的元服务器ID，确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器；
元信息服务器接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。
一种分布式文件系统，该系统包括节点服务器和多个元信息服务器；
所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；
所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。
从上述方案可以看出，本发明在分布式文件系统中设置多个元信息服务器，当出现宕机重启时，由多个元信息服务器代替单一的主节点从节点服务器收集第二映射关系和数据块属性信息，从而，大大缩短了宕机恢复的时间。
附图说明
图1为现有分布式文件系统的结构示意图；
图2为本发明分布式文件系统的结构示意图；
图3为图2中元信息服务器的结构示意图；
图4为本发明分布式文件系统进行数据处理的示意性流程图；
图5为本发明基于分布式文件系统进行数据上传的流程图实例；
图6为本发明基于分布式文件系统进行数据下载的流程图实例。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
现有技术中，当出现宕机时，单一的主节点需要从众多节点服务器收集信息，其时间较长。鉴于此，本发明在分布式文件系统中设置多个元信息服务器，由多个元信息服务器代替单一的主节点从节点服务器收集信息。参见图2，为本发明分布式系统的结构示意图，其包括节点服务器和多个元信息服务器，为简便说明，图中只示出了两个元信息服务器的情况；
所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；
所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。
可选地，系统还包括主节点，用于在本地硬盘上存储文件路径与文件ID之间的第一映射关系，并对应元服务器ID存储文件ID列表，还对应文件ID存储文件属性信息；主节点还用于接收来自元信息服务器的包含元服务器ID的查询请求，确定与元服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，将确定的文件列表和文件属性信息反馈给元信息服务器；
所述元信息服务器，还用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息。
图2中的节点服务器对应图1中的数据节点。主节点存储的文件属性信息文件包括：文件路径、权限位、拥有者、备份数、数据块数、版本、创建时间、修改时间、访问时间等。
文件路径是展示给用户的关于某个文件的逻辑路径；实际地，每个文件被划分为多个数据块，分别存储在多个数据节点上。本发明中，将第二映射关系和数据块属性信息保存在元信息服务器的内存中，内存中的信息以无状态方式存储；同时各节点服务器还在本地硬盘上存储了数据的描述信息，包括文件ID和数据块属性信息。
当分布式文件系统出现宕机时，只有各设备硬盘中的信息被保留下来，而内存中的信息丢失，也就是，元信息服务器内存中保留的信息丢失；多个元信息服务器需要从各节点服务器获取丢失的这部分信息，以实现宕机恢复。
可选地，所述元信息服务器包括文件信息获取单元和数据块信息获取单元和存储单元，具体参见图3所示的元信息服务器结构示意图；
所述文件信息获取单元，用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息，发送给存储单元；
所述数据块信息获取单元，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，发送给存储单元；
所述存储单元，用于在内存中存储文件ID列表和文件属性信息，以及文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。
客户端可根据需要向节点服务器上传数据或下载数据，相应地，该系统还包括客户端，客户端包括上传单元、下载单元，下面分别进行说明。
可选地，所述客户端包括上传单元，用于向主节点发送包含文件路径的数据上传请求，并接收主节点反馈的文件ID以及元服务器ID，为文件ID选取节点地址，向节点地址对应的节点服务器上传数据；并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元服务器ID对应的元信息服务器的存储单元；
所述主节点，还用于接收数据上传请求，为数据上传请求包含的文件路径确定对应的文件ID，并确定与文件ID对应的元服务器ID，将确定的文件ID和元服务器ID反馈给客户端；
所述节点服务器，还用于在本地硬盘上存储接收的第二映射关系和数据块属性信息；
所述存储单元，还用于在内存中存储接收的第二映射关系和数据块属性信息。
可选地，所述客户端还包括下载单元，用于向主节点发送包含文件路径的下载请求，并接收主节点反馈的文件ID和元服务器ID，向元服务器ID对应的元信息服务器发送包含文件ID的下载操作指示；并接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息，从与节点地址对应的节点服务器，获取与文件ID对应的数据；
所述主节点，还用于接收下载请求，由下载请求包含的文件路径在第一映射关系中查询出对应的文件ID，并查询出与文件ID对应的元服务器ID，将文件ID和元服务器ID反馈给客户端；
所述元信息服务器还包括下载操作执行单元，用于由下载操作指示包含的文件ID，在存储单元的第二映射关系中查询出对应的节点地址，并查询出与文件ID对应的文件属性信息，以及与节点地址对应的数据块属性信息，将查询出的节点地址、文件属性信息和数据块属性信息反馈给客户端。
参见图4，为本发明基于图2的分布式文件系统进行数据处理的方法示意性流程图，其包括以下步骤：
步骤401，元信息服务器宕机重启后，向主节点发送包含自身元服务器ID的查询请求。
步骤402，节点服务器由数据块信息获取请求包含的元服务器ID，确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。
元服务器ID，即元信息服务器的ID；所述节点地址可具体为节点服务器IP。
步骤403，元信息服务器接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。
元信息服务器从各节点服务器获取信息的同时；还可从主节点获取与元服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，对于这种情况，主节点除在本地硬盘上存储文件路径与文件ID之间的第一映射关系，还对应对应元服务器ID存储文件ID列表，并对应文件ID存储文件属性信息；宕机重启后，元信息服务器向主节点发送包含元服务器ID的查询请求，主节点接收查询请求后，确定与元服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，将确定的文件ID列表和文件属性信息反馈给元信息服务器；具体地，反馈文件属性信息时，可根据需要只反馈文件属性信息中的部分信息。这样，通过主节点反馈的文件ID列表和文件属性信息，元信息服务器便可获知与自身关联的文件ID包括哪些，并可获知与文件ID列表包含的文件ID相对应的文件属性信息。
至此，完成了宕机恢复。由多个元信息服务器代替单一的主节点从节点服务器收集第二映射关系和数据块属性信息，大大缩短了宕机恢复的时间，对于千万量级文件的分布式文件系统，恢复时间可缩短至几分钟。
宕机重启后，客户端可向节点服务器上传数据或从节点服务器下载数据，下面通过图5和图6的流程进行具体说明。
参见图5，为本发明基于分布式文件系统进行数据上传的流程图实例，其包括以下步骤：
步骤501，主节点接收客户端发送的包含文件路径的数据上传请求。
步骤502，主节点为文件路径确定对应的文件ID，并确定与文件ID对应的元服务器ID，将确定的文件ID和元服务器ID反馈给客户端。
数据上传可分为新建方式或追加方式，新建方式也就是为文件路径创建一个新的文件ID，追加方式也就是在文件路径对应的原文件ID下追加数据。还可以，在数据上传请求中携带上传方式，具体地：
如果上传方式为覆盖，则所述主节点为文件路径确定对应的文件ID包括：主节点为文件路径创建新的文件ID；并在为文件路径确定对应的文件ID之后，建立文件路径与文件ID之间的第一映射关系，在本地硬盘上存储建立的第一映射关系；
如果上传方式为追加，则所述主节点为文件路径确定对应的文件ID包括：主节点将已有的与文件路径对应的文件ID，确定为与文件路径对应的文件ID。
步骤503，客户端接收主节点反馈的文件ID以及元服务器ID，为文件ID选取节点地址，向节点地址对应的节点服务器上传数据；并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元信息服务器；节点服务器在本地硬盘上存储第二映射关系和数据块属性信息，元信息服务器在内存中存储第二映射关系和数据块属性信息。
一般地，客户端预先从主节点获取了多个节点地址，本步骤中，客户端从获取的节点地址中为文件ID选取节点地址，将数据上传给节点地址对应的节点服务器上。
数据块属性信息包括文件ID、数据块编号、数据块大小、数据块校验和、数据块版本信息、数据块访问时间和数据块修改时间等信息中的至少一个。
具体实现时，客户端还可将数据块属性信息置于上传的数据的头部。
在实际应用中，可能多个节点服务器分别存储了同一数据块编号对应的数据块，而各数据块的版本信息不同；相应地，图4流程步骤404在内存中存储文件ID与节点地址之间的第二映射关系之前需要对版本信息进行校验，如果通过校验，则执行所述在内存中存储文件ID与节点地址之间的第二映射关系的步骤。通过校验的版本信息对应的数据块为最新版本的数据块。
参见图6，为本发明基于分布式文件系统进行数据下载的流程图实例，其包括以下步骤：
步骤601，主节点接收客户端发送包含文件路径的下载请求，主节点由文件路径在第一映射关系中查询出对应的文件ID，并查询出与文件ID对应的元服务器ID，将文件ID和元服务器ID反馈给客户端。
步骤602，客户端接收主节点反馈的文件ID和元服务器ID，向元服务器ID对应的元信息服务器发送包含文件ID的下载操作指示。
由元信息元服务器ID获取对应的元信息服务器地址可以由专门的设备实现，如域名解析服务器，这样，在需要时，客户端向域名解析服务器发送包含元信息元服务器ID的解析请求，便可获知对应的元信息服务器地址，而后，根据元信息服务器地址，向元信息服务器ID对应的元信息服务器发送下载操作指示。
步骤603，元信息服务器由下载操作指示包含的文件ID，在第二映射关系中查询出对应的节点地址，并查询出与文件ID对应的文件属性信息，以及与节点地址对应的数据块属性信息，将查询出的节点地址、文件属性信息和数据块属性信息反馈给客户端。
步骤604，客户端接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息，从与节点地址对应的节点服务器，获取与文件ID对应的数据。
本发明在分布式文件系统中设置多个元信息服务器，将第二映射关系和数据块属性信息存储在元信息服务器的内存上；当出现宕机重启时，由多个元信息服务器代替单一的主节点从节点服务器收集第二映射关系和数据块属性信息，从而，大大缩短了宕机恢复的时间。
并且，本发明将主节点上的部分信息分担到元信息服务器上进行存储，减轻了主节点的负担，也便于扩展，且伸缩性较大。元信息服务器采用无状态的设计方式，将信息都存储在内存上，没有落地的数据，即没有存储在硬盘上的数据；相比对硬盘中存储的信息进行修改，对内存中存储的信息进行修改操作更加容易。当节点服务器对其存储的信息进行修改，为了保证节点服务器与元信息服务器上存储信息的一致性，需要对元信息服务器上的相应信息进行一致性修改，此时，由于元信息服务器采用无状态方式存储，相比采用硬盘方式进行存储，将更加方便和易于显示，进而，更容易实现一致性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种分布式文件系统，其特征在于，该系统包括节点服务器和多个元信息服务器；
所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元信息服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；
所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元信息服务器ID确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器。
2.如权利要求1所述的系统，其特征在于，该系统还包括主节点，用于在本地硬盘上存储文件路径与文件ID之间的第一映射关系，并对应元信息服务器ID存储文件ID列表，还对应文件ID存储文件属性信息；主节点还用于接收来自元信息服务器的包含元信息服务器ID的查询请求，确定与元信息服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，将确定的文件ID列表和文件属性信息反馈给元信息服务器；
所述元信息服务器，还用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息。
3.如权利要求2所述的系统，其特征在于，所述元信息服务器包括文件信息获取单元和数据块信息获取单元和存储单元；
所述文件信息获取单元，用于在宕机重启后，向主节点发送查询请求，接收主节点反馈的文件ID列表和文件属性信息，发送给存储单元；
所述数据块信息获取单元，用于在宕机重启后，向各节点服务器发送包含元信息服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，发送给存储单元；
所述存储单元，用于在内存中存储文件ID列表和文件属性信息，以及文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。
4.如权利要求3所述的系统，其特征在于，该系统还包括客户端，所述客户端包括上传单元，用于向主节点发送包含文件路径的数据上传请求，并接收主节点反馈的文件ID以及元信息服务器ID，为文件ID选取节点地址，向节点地址对应的节点服务器上传数据；并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元信息服务器ID对应的元信息服务器的存储单元；
所述主节点，还用于接收数据上传请求，为数据上传请求包含的文件路径确定对应的文件ID，并确定与文件ID对应的元信息服务器ID，将确定的文件ID和元信息服务器ID反馈给客户端；
所述节点服务器，还用于在本地硬盘上存储接收的第二映射关系和数据块属性信息；
所述存储单元，还用于在内存中存储接收的第二映射关系和数据块属性信息。
5.如权利要求3所述的系统，其特征在于，该系统还包括客户端，所述客户端还包括下载单元，用于向主节点发送包含文件路径的下载请求，并接收主节点反馈的文件ID和元信息服务器ID，向元信息服务器ID对应的元信息服务器发送包含文件ID的下载操作指示；并接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息，从与节点地址对应的节点服务器，获取与文件ID对应的数据；
所述主节点，还用于接收下载请求，由下载请求包含的文件路径在第一映射关系中查询出对应的文件ID，并查询出与文件ID对应的元信息服务器ID，将文件ID和元信息服务器ID反馈给客户端；
所述元信息服务器还包括下载操作执行单元，用于由下载操作指示包含的文件ID，在存储单元的第二映射关系中查询出对应的节点地址，并查询出与文件ID对应的文件属性信息，以及与节点地址对应的数据块属性信息，将查询出的节点地址、文件属性信息和数据块属性信息反馈给客户端。
6.一种基于权利要求1所述分布式文件系统进行数据处理的方法，其特征在于，该方法包括：
元信息服务器宕机重启后，向各节点服务器发送包含元信息服务器ID的数据块信息获取请求；
节点服务器由数据块信息获取请求包含的元信息服务器ID，确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器；
元信息服务器接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。
7.如权利要求6所述的方法，其特征在于，该方法还包括：
元信息服务器在宕机重启后，还向主节点发送包含元信息服务器ID的查询请求；
主节点接收来包含元信息服务器ID的查询请求，确定与元信息服务器ID对应的文件ID列表，以及与文件ID列表包含的文件ID相对应的文件属性信息，将确定的文件ID列表和文件属性信息反馈给元信息服务器。
8.如权利要求7所述的方法，其特征在于，所述在内存中对应节点地址存储数据块属性信息之后，该方法还包括：
主节点接收客户端发送的包含文件路径的数据上传请求；
主节点为文件路径确定对应的文件ID，并确定与文件ID对应的元信息服务器ID，将确定的文件ID和元信息服务器ID反馈给客户端；
客户端接收主节点反馈的文件ID以及元信息服务器ID，为文件ID选取节点地址，向节点地址对应的节点服务器上传数据；并将文件ID与节点地址之间的第二映射关系以及数据块属性信息发送给节点服务器和元信息服务器；
节点服务器在本地硬盘上存储第二映射关系和数据块属性信息，元信息服务器在内存中存储第二映射关系和数据块属性信息。
9.如权利要求8所述的方法，其特征在于，所述数据上传请求中还包含上传方式，
如果上传方式为覆盖，则所述主节点为文件路径确定对应的文件ID包括：主节点为文件路径创建新的文件ID；并在为文件路径确定对应的文件ID之后，建立文件路径与文件ID之间的第一映射关系，在本地硬盘上存储建立的第一映射关系；
如果上传方式为追加，则所述主节点为文件路径确定对应的文件ID包括：主节点将已有的与文件路径对应的文件ID，确定为与文件路径对应的文件ID。
10.如权利要求7所述的方法，其特征在于，所述在内存中对应节点地址存储数据块属性信息之后，该方法还包括：
主节点接收客户端发送包含文件路径的下载请求，主节点由文件路径在第一映射关系中查询出对应的文件ID，并查询出与文件ID对应的元信息服务器ID，将文件ID和元信息服务器ID反馈给客户端；
客户端接收主节点反馈的文件ID和元信息服务器ID，向元信息服务器ID对应的元信息服务器发送包含文件ID的下载操作指示；
元信息服务器由下载操作指示包含的文件ID，在第二映射关系中查询出对应的节点地址，并查询出与文件ID对应的文件属性信息，以及与节点地址对应的数据块属性信息，将查询出的节点地址、文件属性信息和数据块属性信息反馈给客户端；
客户端接收元信息服务器反馈的节点地址、文件属性信息和数据块属性信息，从与节点地址对应的节点服务器，获取与文件ID对应的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210284734.8A CN103577500B (zh) | 2012-08-10 | 2012-08-10 | 分布式文件系统进行数据处理的方法及该分布式文件系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210284734.8A CN103577500B (zh) | 2012-08-10 | 2012-08-10 | 分布式文件系统进行数据处理的方法及该分布式文件系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103577500A CN103577500A (zh) | 2014-02-12 |
| CN103577500B true CN103577500B (zh) | 2018-07-27 |
Family
ID=50049297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210284734.8A Active CN103577500B (zh) | 2012-08-10 | 2012-08-10 | 分布式文件系统进行数据处理的方法及该分布式文件系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103577500B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104219312B (zh) * | 2014-09-05 | 2017-08-08 | 无锡天脉聚源传媒科技有限公司 | 一种安装程序的方法及装置 |
| CN105589888B (zh) * | 2014-10-24 | 2020-10-16 | 中兴通讯股份有限公司 | 一种设备中管理文件的方法和装置 |
| CN104407918B (zh) * | 2014-11-29 | 2017-06-27 | 中国航空工业集团公司第六三一研究所 | 一种航空电子系统任务数据的保存和恢复方法 |
| CN104902022B (zh) * | 2015-05-27 | 2019-02-26 | 北京集奥聚合科技有限公司 | 一种分布式文件获取方法和分布式文件获取系统 |
| CN106326239B (zh) * | 2015-06-18 | 2020-01-31 | 阿里巴巴集团控股有限公司 | 分布式文件系统及其文件元信息管理方法 |
| CN107623709A (zh) * | 2016-07-15 | 2018-01-23 | 北京金山云网络技术有限公司 | 一种文件下载方法及装置 |
| CN108023914B (zh) * | 2016-11-03 | 2021-03-02 | 阿里巴巴集团控股有限公司 | 一种内存数据共享系统、内存数据的写入以及读取方法 |
| CN112929411A (zh) * | 2017-02-27 | 2021-06-08 | 深圳市先河系统技术有限公司 | 一种分布式文件传输方法、服务器及私有云设备 |
| CN107329695B (zh) * | 2017-06-22 | 2020-03-20 | 上海七牛信息技术有限公司 | 一种分布式存储内存管理方法、系统及计算机存储介质 |
| CN109271347B (zh) * | 2018-09-04 | 2022-04-22 | 郑州云海信息技术有限公司 | 一种分布式文件系统存储单元的启动方法、装置及设备 |
| CN110196854A (zh) * | 2019-06-11 | 2019-09-03 | 中国科学院寒区旱区环境与工程研究所 | 数据处理方法及装置 |
| CN112751693B (zh) * | 2019-10-31 | 2022-09-06 | 北京金山云网络技术有限公司 | 分布式存储系统的数据处理方法、装置及电子设备 |
| CN112102519B (zh) * | 2020-09-14 | 2022-08-16 | 广州小鹏自动驾驶科技有限公司 | 一种车辆数据的上传方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
| CN102429854A (zh) * | 2011-11-30 | 2012-05-02 | 于文和 | 一种用于清除牙结石、黑黄牙斑和预防龋病的中药牙齿洁白粉 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8181061B2 (en) * | 2010-04-19 | 2012-05-15 | Microsoft Corporation | Memory management and recovery for datacenters |
-
2012
- 2012-08-10 CN CN201210284734.8A patent/CN103577500B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997823A (zh) * | 2009-08-17 | 2011-03-30 | 联想(北京)有限公司 | 一种分布式文件系统及其数据访问方法 |
| CN102429854A (zh) * | 2011-11-30 | 2012-05-02 | 于文和 | 一种用于清除牙结石、黑黄牙斑和预防龋病的中药牙齿洁白粉 |
Non-Patent Citations (1)
| Title |
|---|
| 海量存储系统高可用性;朱俊洁 等;《计算机应用与软件》;20120731;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103577500A (zh) | 2014-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103577500B (zh) | 分布式文件系统进行数据处理的方法及该分布式文件系统 | |
| US9146755B2 (en) | System and method for transporting platform independent power configuration parameters | |
| US9032081B1 (en) | System and method for load balancing cloud-based accelerated transfer servers | |
| JP2021518933A5 (zh) | ||
| JP6425738B2 (ja) | 情報処理装置、情報処理装置の制御方法、情報処理システム、およびコンピュータプログラム | |
| US20100235509A1 (en) | Method, Equipment and System for Resource Acquisition | |
| US20180060431A1 (en) | Managing cached data in a network environment | |
| CN102546836A (zh) | 一种上传文件的方法、终端、服务器及系统 | |
| CN108513094B (zh) | 视频监控方法和装置 | |
| CN108989430B (zh) | 负载均衡方法、装置及存储介质 | |
| JP5222662B2 (ja) | コンテンツ制御システム | |
| CN111432036B (zh) | 一种边缘云平台的管理系统及管理方法 | |
| US9229740B1 (en) | Cache-assisted upload proxy | |
| JP3581779B2 (ja) | マルチサーバワークフローシステム | |
| CN107528751B (zh) | 一种动态分发Zabbix监控数据的系统及其管理方法 | |
| CN103001965A (zh) | 服务器证书更新方法及服务器 | |
| CN105554137B (zh) | 一种备份系统及方法 | |
| US20140359066A1 (en) | System, method and device for offline downloading resource and computer storage medium | |
| CN110019104B (zh) | 文件资源交换方法、文件资源服务器及文件交换系统 | |
| CN104125303B (zh) | 数据读写请求方法、客户端及系统 | |
| US20190034981A1 (en) | Digital signage shim layer | |
| CN108289074B (zh) | 用户账号登录方法及装置 | |
| CN102710535A (zh) | 一种数据获取方法和设备 | |
| US10455010B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
| CN113114503A (zh) | 基于应用交付网络需求的部署方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190807 Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403 Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |