CN105045938A - 一种元数据并发访问方法及系统 - Google Patents

一种元数据并发访问方法及系统 Download PDF

Info

Publication number
CN105045938A
CN105045938A CN201510594422.0A CN201510594422A CN105045938A CN 105045938 A CN105045938 A CN 105045938A CN 201510594422 A CN201510594422 A CN 201510594422A CN 105045938 A CN105045938 A CN 105045938A
Authority
CN
China
Prior art keywords
metadata
request instruction
access
lock
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510594422.0A
Other languages
English (en)
Inventor
冯江辉
姜伟丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510594422.0A priority Critical patent/CN105045938A/zh
Publication of CN105045938A publication Critical patent/CN105045938A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G06F16/1767—Concurrency control, e.g. optimistic or pessimistic approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种元数据并发访问方法，接收访问元数据的请求指令；将所述请求指令保存在无锁队列中；按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。本申请中采用无锁队列处理请求指令，可以免锁保序，保持请求之间的联系，并且使用队列可以增加请求指令的处理能力，提高并发访问的效率。

Description

一种元数据并发访问方法及系统
技术领域
本发明涉及分布式文件系统中对元数据并发访问的技术领域，更具体地说，涉及一种元数据并发访问方法及系统。
背景技术
随着技术的发展，人们对基于元数据并发访问方法越来越关注。
现有的元数据服务器在处理大量的元数据并发访问请求的过程中使用互斥锁来保持数据的一致性，尤其在涉及到大量的请求的时候。当元数据服务器的请求压力过大的时候，使用原有的互斥锁机制来保证这些请求之间的有序并发处理，这就导致了元数据服务器在处理发送过来的请求的时候延迟较高，不能较好的实现并发访问。
因此，如何有效的实现元数据的并发访问，提高元数据的并发访问效率是本领域技术人员亟需解决的技术问题。
发明内容
本发明的目的在于提供一种元数据并发访问方法及系统，可有效的实现元数据的并发访问，提高元数据的并发访问效率。
为实现上述目的，本发明实施例提供了如下技术方案：
一种元数据并发访问方法，该方法包括：
接收访问元数据的请求指令；
将所述请求指令保存在无锁队列中；
按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
上述的访问方法，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
上述的访问方法，所述访问所述请求指令对应的元数据，包括：
获取并下载与所述请求指令对应的元数据。
上述的访问方法，所述获取并下载与所述请求指令对应的元数据，包括：
对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据；
下载所述满足预设条件的元数据。
一种元数据并发访问系统，该系统包括：
接收单元，用于接收访问元数据的请求指令；
保存单元，用于将所述请求指令保存在无锁队列中；
处理单元，用于按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
上述的访问系统，在所述保存单元中，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
上述的访问系统，所述处理单元，包括：
获取单元，用于获取并下载与所述请求指令对应的元数据。
上述的访问系统，所述获取单元，包括：
加工处理单元，用于对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据；
下载单元，用于下载所述满足预设条件的元数据。
通过以上方案可知，本发明实施例提供的一种元数据并发访问方法中，接收访问元数据的请求指令；将所述请求指令保存在无锁队列中；按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。本申请中采用无锁队列处理请求指令，可以免锁保序，保持请求之间的联系，并且使用队列可以增加请求指令的处理能力，提高并发访问的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种元数据并发访问方法的流程图；
图2为本发明实施例公开的一种元数据并发访问系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明实施例公开了一种元数据并发访问方法，可以包括以下步骤：
S101、接收访问元数据的请求指令。
分布式文件系统一般由元数据服务器、数据服务器和客户端组成。文件系统中所有文件的元数据存储到元数据服务器。通常情况下，客户端和数据服务器都需要和元数据服务器进行交互，以便获得自己需要的信息。
本申请中，接收的访问元数据的请求指令中可以包括客户端发来的访问元数据的请求指令，也可以包括数据服务器发过来的访问元数据的请求指令，或者同时包括客户端和数据服务器发来的访问元数据的请求指令。
当元数据服务器接收到多个访问元数据的请求指令时，需要对这些请求指令进行合理的处理，以保证有效的进行元数据的访问操作。
S102、将所述请求指令保存在无锁队列中。
本申请中，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
S103、按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
本申请中，按照先入先出的顺序，依次有序的处理请求指令，访问元数据，消除了对元数据请求的串行处理顺序。
利用无锁队列来代替原来在元数据处理过程中使用的互斥锁，避免了只有在解锁后才可以处理下一个请求指令所带来的延迟高，效率低的问题，利用无锁队列处理发送给元数据服务器的请求指令，增加了对元数据的处理能力，使得响应处理请求的速度大大提高。
通过以上方案可知，本发明实施例提供的一种元数据并发访问方法中，接收访问元数据的请求指令；将所述请求指令保存在无锁队列中；按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。本申请中采用无锁队列处理请求指令，可以免锁保序，保持请求之间的联系，并且使用队列可以增加请求指令的处理能力，提高并发访问的效率。
本申请中，所述访问所述请求指令对应的元数据，包括：
获取并下载与所述请求指令对应的元数据。
所述获取并下载与所述请求指令对应的元数据，包括：
对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据。
下载所述满足预设条件的元数据。
与图1中一种元数据并发访问方法实施例相对应，参考图2，本申请还提供了一种元数据并发访问系统的实施例，包括：
接收单元201，用于接收访问元数据的请求指令。
保存单元202，用于将所述请求指令保存在无锁队列中。
处理单元203，用于按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
在所述保存单元中，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
所述处理单元，包括：
获取单元，用于获取并下载与所述请求指令对应的元数据。
所述获取单元，包括：
加工处理单元，用于对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据。
下载单元，用于下载所述满足预设条件的元数据。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种元数据并发访问方法，其特征在于，该方法包括：
接收访问元数据的请求指令；
将所述请求指令保存在无锁队列中；
按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
2.根据权利要求1所述的访问方法，其特征在于，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
3.根据权利要求2所述的访问方法，其特征在于，所述访问所述请求指令对应的元数据，包括：
获取并下载与所述请求指令对应的元数据。
4.根据权利要求3所述的访问方法，其特征在于，所述获取并下载与所述请求指令对应的元数据，包括：
对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据；
下载所述满足预设条件的元数据。
5.一种元数据并发访问系统，其特征在于，该系统包括：
接收单元，用于接收访问元数据的请求指令；
保存单元，用于将所述请求指令保存在无锁队列中；
处理单元，用于按照先入先出的顺序，对所述无锁队列中的请求指令进行并发处理，访问所述请求指令对应的元数据。
6.根据权利要求5所述的访问系统，其特征在于，在所述保存单元中，当所述请求指令具有多个时，按照时间的先后顺序将所述多个请求指令保存在所述无锁队列中。
7.根据权利要求6所述的访问系统，其特征在于，所述处理单元，包括：
获取单元，用于获取并下载与所述请求指令对应的元数据。
8.根据权利要求7所述的访问系统，其特征在于，所述获取单元，包括：
加工处理单元，用于对访问的与所述请求指令对应的元数据进行加工处理，得到满足预设条件的元数据；
下载单元，用于下载所述满足预设条件的元数据。
CN201510594422.0A 2015-09-17 2015-09-17 一种元数据并发访问方法及系统 Pending CN105045938A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510594422.0A CN105045938A (zh) 2015-09-17 2015-09-17 一种元数据并发访问方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510594422.0A CN105045938A (zh) 2015-09-17 2015-09-17 一种元数据并发访问方法及系统

Publications (1)

Publication Number Publication Date
CN105045938A true CN105045938A (zh) 2015-11-11

Family

ID=54452484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510594422.0A Pending CN105045938A (zh) 2015-09-17 2015-09-17 一种元数据并发访问方法及系统

Country Status (1)

Country Link
CN (1) CN105045938A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302691A (zh) * 2015-10-20 2016-02-03 浪潮(北京)电子信息产业有限公司 一种元数据性能监控方法及系统
CN106354830A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 一种数据库集群节点间数据同步的方法及装置
CN107729129A (zh) * 2017-09-18 2018-02-23 惠州Tcl移动通信有限公司 一种基于同步锁的多线程处理方法、终端以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520805A (zh) * 2009-03-25 2009-09-02 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统
CN101751415A (zh) * 2008-12-09 2010-06-23 中国移动通信集团公司 元数据服务系统、元数据同步方法与写服务器更新方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751415A (zh) * 2008-12-09 2010-06-23 中国移动通信集团公司 元数据服务系统、元数据同步方法与写服务器更新方法
CN101520805A (zh) * 2009-03-25 2009-09-02 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法
CN101697168A (zh) * 2009-10-22 2010-04-21 中国科学技术大学 一种分布式文件系统动态元数据管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAVI RAJWAR等: "Transaction Lock-Free Execution of Lock-Based Programs", 《THE TENTH INTERNATIONAL CONFERENCE ON ARCHITECTURAL SUPPORT FOR PROGRAMMING LANGUAGES AND OPERATING SYSTEMS(ASPLOS)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105302691A (zh) * 2015-10-20 2016-02-03 浪潮(北京)电子信息产业有限公司 一种元数据性能监控方法及系统
CN105302691B (zh) * 2015-10-20 2018-04-24 浪潮(北京)电子信息产业有限公司 一种元数据性能监控方法及系统
CN106354830A (zh) * 2016-08-31 2017-01-25 天津南大通用数据技术股份有限公司 一种数据库集群节点间数据同步的方法及装置
CN107729129A (zh) * 2017-09-18 2018-02-23 惠州Tcl移动通信有限公司 一种基于同步锁的多线程处理方法、终端以及存储介质

Similar Documents

Publication Publication Date Title
KR101791594B1 (ko) 저장 네트워크 내의 저장 관리
US11374995B2 (en) Multimedia file processing
US9665404B2 (en) Optimization of map-reduce shuffle performance through shuffler I/O pipeline actions and planning
US9846702B2 (en) Indexing of file in a hadoop cluster
US9811424B2 (en) Optimizing restoration of deduplicated data
EP4318410A3 (en) Distributed application architectures using blockchain and distributed file systems
US9697228B2 (en) Secure relational file system with version control, deduplication, and error correction
US8924353B1 (en) Systems and methods for copying database files
CA2922665C (en) Distributed file system using consensus nodes
US20150074671A1 (en) Anticipatory warm-up of cluster resources for jobs processed on multiple cluster nodes
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
US9940331B1 (en) Proactive scavenging of file system snaps
US9836516B2 (en) Parallel scanners for log based replication
CN105045938A (zh) 一种元数据并发访问方法及系统
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN105653209A (zh) 一种对象存储数据传输方法及装置
CN103067519A (zh) 一种异构平台下数据分布存储的方法及装置
CN107368563B (zh) 数据库数据的删除方法及装置、电子设备、存储介质
CN104731722A (zh) 一种针对缓存页面的页面管理方法及装置
CN109491807A (zh) 一种数据交换方法、装置和系统
CN106528876B (zh) 分布式系统的信息处理方法及分布式信息处理系统
US10511656B1 (en) Log information transmission integrity
US9990303B2 (en) Sharing data structures between processes by semi-invasive hybrid approach
CN109347896B (zh) 一种信息处理方法、设备和计算机可读存储介质
US9137276B2 (en) Managing message distribution in a networked environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151111