CN103714183A - 一种元数据租约期限的动态获取方法和系统 - Google Patents

一种元数据租约期限的动态获取方法和系统 Download PDF

Info

Publication number
CN103714183A
CN103714183A CN201410012694.0A CN201410012694A CN103714183A CN 103714183 A CN103714183 A CN 103714183A CN 201410012694 A CN201410012694 A CN 201410012694A CN 103714183 A CN103714183 A CN 103714183A
Authority
CN
China
Prior art keywords
metadata
client
request
time limit
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410012694.0A
Other languages
English (en)
Other versions
CN103714183B (zh
Inventor
袁冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201410012694.0A priority Critical patent/CN103714183B/zh
Publication of CN103714183A publication Critical patent/CN103714183A/zh
Application granted granted Critical
Publication of CN103714183B publication Critical patent/CN103714183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了一种元数据租约期限的动态获取方法和系统，其中，所述方法包括：客户端从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型；客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间；客户端将所需的时间作为其请求的元数据的租约期限和所述元数据请求一并发送至元数据服务器。通过本发明获取的元数据租约期限，更加准确，并且能够满足客户端在不同应用操作下对元数据的要求。

Description

一种元数据租约期限的动态获取方法和系统
技术领域
本发明涉及元数据租约期限的获取机制，尤其涉及一种元数据租约期限的动态获取方法和系统。
背景技术
在分布式文件系统中，为了减少客户端向元数据服务器端发送的网络请求次数，客户端通常会将从元数据服务器端请求的元数据暂存在缓存中。为了保证客户端缓存的元数据与元数据服务器端存储的对应数据一致，需要对客户端缓存的元数据采用缓存期限管理机制，租约（leases）就是一种常用的缓存期限管理机制。
租约(leases)，相当于合同，即元数据服务器端给予客户端在一定期限内对所请求的元数据控制修改的权利。客户端从元数据服务器端请求到元数据的同时获取该元数据的租约。租约内，服务器端如果要修改元数据，需要征求拥有该元数据租约的客户端同意；如果客户端同意了元数据服务器端的修改请求，客户端需要清空缓存，重新接收元数据服务器端发送的修改后的数据。租约到期后，如果客户端还需要读取缓存中的数据，需要重新向元数据服务器端申请该元数据并获取新的租约，这个操作称为“续约”。
在租约机制中，租约期限的选择是性能的关键。租约期限过小，会加重客户端的续约开销；租约期限过长，会造成伪共享，即拥有元数据租约的客户端即便不需要再读取元数据，服务器端对该元数据的操作仍然需要该客户端的同意。因此，租约的选择需要在最小化续约开销与最小化伪共享之间进行权衡。
现有元数据服务器端通常采用静态的方法指定元数据的租约期限。元数据服务器通过分析客户端上的应用对自身访问的频率、并发特征等信息得到一个元数据租约期限的经验值，并将该元数据租约期限应用于所有客户端的数据请求。
随着应用操作种类的增多，执行不同应用操作的客户端对不同元数据所需的占用时间也不尽相同，因此上述对所有元数据均采用相同的租约期限的方法已不再适用。
发明内容
本发明提供了一种元数据租约期限的动态获取方法和系统，以解决如何根据客户端上的应用操作确定元数据租约期限的问题。
为解决上述技术问题，本发明提供了一种元数据租约期限的动态获取方法，所述方法包括：
客户端从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型；
客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间；
客户端将所需的时间作为其请求的元数据的租约期限和所述元数据请求一并发送至元数据服务器。
进一步地，所述客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间，包括：
客户端根据元数据节点获取元数据索引节点；
客户端统计为执行该操作所述元数据索引节点从请求到释放的时间跨度；
客户端将所述时间跨度作为操作元数据节点存储的数据所需的时间。
进一步地，所述方法包括：
当索引到元数据节点需要多个源数据索引节点时，客户端统计所有元数据索引节点从请求到释放时间跨度的平均值；
客户端将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间。
进一步地，所述方法还包括：
元数据服务器将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
为解决上述技术问题，本发明还提供了一种元数据租约期限的动态获取系统，所述系统包括客户端，所述客户端包括统计模块以及元数据租约期限请求模块，其中，
所述统计模块，用于从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型，并根据元数据操作类型统计操作元数据节点存储的数据所需的时间，将统计结果发送至元数据租约期限请求模块；
所述元数据租约期限请求模块，用于与元数据服务器进行交互，将统计的时间作为客户端向元数据服务器请求的元数据租约期限和所述元数据请求一并发送至元数据服务器。
进一步地，所述统计模块，用于根据元数据的操作类型统计操作元数据节点存储的数据所需的时间，包括：
根据元数据节点获取元数据索引节点；
统计为执行该操作所述元数据索引节点从请求到释放的时间跨度；
将所述时间跨度作为操作元数据节点存储的数据所需的时间。
进一步地，
所述统计模块，用于在索引到元数据节点需要多个源数据索引节点时，统计所有元数据索引节点从请求到释放时间跨度的平均值，将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间。
进一步地，所述系统还包括元数据服务器；
所述元数据服务器，用于将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
上述技术方案对元数据租约期限的获取过程基于对元数据的实际操作，相对于现有技术给出的经验元数据租约期限，更加准确；并且，上述技术方案给出的针对元数据操作类型的元数据租约期限，能够满足客户端在不同应用操作下对元数据的要求。
附图说明
图1为本实施例的元数据租约期限的动态获取方法流程图；
图2为本实施例的元数据租约期限的动态获取系统组成图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本实施例的元数据租约期限的动态获取方法流程图。
S101客户端从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型;
如，应用要进行修改文件的操作，客户端从应用发送的修改文件操作请求中筛选出打开文件操作和关闭文件操作的元数据请求；
S102客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间;
客户端根据元数据节点获取元数据索引节点；所述元数据索引节点存储在客户端上；客户端统计为执行该元数据操作所述元数据索引节点从请求到释放的时间跨度；客户端将所述时间跨度作为操作元数据节点存储的数据所需的时间；
如，客户端获取到打开文件操作和关闭文件操作的元数据请求中包含的元数据节点后，确定索引到所述元数据节点的元数据索引节点；记录该索引节点（记为n1）被请求的时间（记为t1），以及该索引节点n1被释放的时间（记为t2），则时长（t2-t1）即为元数据索引节点从请求到释放的时间跨度；
当索引到元数据节点需要多个源数据索引节点时，客户端可以统计所有元数据索引节点从请求到释放时间跨度的平均值，将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间；
上述统计结果可以先写入内存，然后通过后台的异步线程保存到磁盘中，方便后续读取；
S103客户端将所需的时间作为其请求的元数据的租约期限和所述元数据请求一并发送至元数据服务器；
元数据服务器将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
在其他实施例中，客户端确定请求的元数据租约期限时，除考虑元数据索引节点从请求到释放的时间跨度外，还可考虑客户端和服务器间的传输时延，以使请求的元数据租约期限更加贴近实际操作元数据节点存储的数据的时间。
上述实施例对元数据租约期限的获取过程基于对元数据的实际操作，相对于现有技术给出的经验元数据租约期限，更加准确；并且，上述实施例给出了针对元数据操作类型的元数据租约期限，能够满足客户端在不同应用操作下对元数据的要求。
图2为本实施例的元数据租约期限的动态获取系统组成图。
该系统包括客户端，所述客户端包括统计模块以及元数据租约期限请求模块，其中，
所述统计模块，用于从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型，并根据元数据操作类型统计操作元数据节点存储的数据所需的时间，将统计结果发送至元数据租约期限请求模块；
上述统计模块根据元数据操作类型统计操作元数据节点存储的数据所需的时间具体包括：根据元数据节点获取元数据索引节点；统计为执行该操作所述元数据索引节点从请求到释放的时间跨度；将所述时间跨度作为操作元数据节点存储的数据所需的时间；
上述统计模块在索引到元数据节点需要多个源数据索引节点时，统计所有元数据索引节点从请求到释放时间跨度的平均值，将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间；
所述元数据租约期限请求模块，用于与元数据服务器进行交互，将统计的时间作为客户端向元数据服务器请求的元数据租约期限和所述元数据请求一并发送至元数据服务器。
上述元数据租约期限的动态获取系统还可包括元数据服务器，用于将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
上述实施例对元数据租约期限的获取过程基于对元数据的实际操作，相对于现有技术给出的经验元数据租约期限，更加准确；并且，上述实施例给出了针对元数据操作类型的元数据租约期限，能够满足客户端在不同应用操作下对元数据的要求。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种元数据租约期限的动态获取方法，其特征在于，所述方法包括：
客户端从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型；
客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间；
客户端将所需的时间作为其请求的元数据的租约期限和所述元数据请求一并发送至元数据服务器。
2.如权利要求1所述的方法，其特征在于，所述客户端根据元数据操作类型统计操作元数据节点存储的数据所需的时间，包括：
客户端根据元数据节点获取元数据索引节点；
客户端统计为执行该操作所述元数据索引节点从请求到释放的时间跨度；
客户端将所述时间跨度作为操作元数据节点存储的数据所需的时间。
3.如权利要求2所述的方法，其特征在于，所述方法包括：
当索引到元数据节点需要多个源数据索引节点时，客户端统计所有元数据索引节点从请求到释放时间跨度的平均值；
客户端将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间。
4.如权利要求1～3中任一项所述的方法，其特征在于，所述方法还包括：
元数据服务器将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
5.一种元数据租约期限的动态获取系统，其特征在于，所述系统包括客户端，所述客户端包括统计模块以及元数据租约期限请求模块，其中，
所述统计模块，用于从应用的操作请求中筛选出元数据请求，所述元数据请求包括元数据节点和元数据操作类型，并根据元数据操作类型统计操作元数据节点存储的数据所需的时间，将统计结果发送至元数据租约期限请求模块；
所述元数据租约期限请求模块，用于与元数据服务器进行交互，将统计的时间作为客户端向元数据服务器请求的元数据租约期限和所述元数据请求一并发送至元数据服务器。
6.如权利要求5所述的系统，其特征在于，所述统计模块，用于根据元数据的操作类型统计操作元数据节点存储的数据所需的时间，包括：
根据元数据节点获取元数据索引节点；
统计为执行该操作所述元数据索引节点从请求到释放的时间跨度；
将所述时间跨度作为操作元数据节点存储的数据所需的时间。
7.如权利要求6所述的系统，其特征在于，
所述统计模块，用于在索引到元数据节点需要多个源数据索引节点时，统计所有元数据索引节点从请求到释放时间跨度的平均值，将所述时间跨度的平均值作为操作元数据节点存储的数据所需的时间。
8.如权利要求5～7中任一项所述的系统，其特征在于，所述系统还包括元数据服务器；
所述元数据服务器，用于将请求的元数据租约期限设定为该元数据的租约期限，在客户端从元数据节点获取元数据时将设定的元数据租约期限发送给所述客户端。
CN201410012694.0A 2014-01-10 2014-01-10 一种元数据租约期限的动态获取方法和系统 Active CN103714183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410012694.0A CN103714183B (zh) 2014-01-10 2014-01-10 一种元数据租约期限的动态获取方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410012694.0A CN103714183B (zh) 2014-01-10 2014-01-10 一种元数据租约期限的动态获取方法和系统

Publications (2)

Publication Number Publication Date
CN103714183A true CN103714183A (zh) 2014-04-09
CN103714183B CN103714183B (zh) 2017-02-15

Family

ID=50407158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410012694.0A Active CN103714183B (zh) 2014-01-10 2014-01-10 一种元数据租约期限的动态获取方法和系统

Country Status (1)

Country Link
CN (1) CN103714183B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158597A (zh) * 2019-12-28 2020-05-15 浪潮电子信息产业股份有限公司 一种元数据读取方法、装置及电子设备和存储介质
CN111177197A (zh) * 2019-12-26 2020-05-19 北京仁科互动网络技术有限公司 一种缓存处理方法及系统
CN112905556A (zh) * 2021-02-09 2021-06-04 山东英信计算机技术有限公司 分布式系统的目录租约管理方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136369A1 (en) * 2004-12-17 2006-06-22 Microsoft Corporation Method and system for protecting the consistency of information in a distributed file system
US20100088335A1 (en) * 2008-10-07 2010-04-08 Yasuyuki Mimatsu Method and apparatus for improving file access performance of distributed storage system
US20100185704A1 (en) * 2009-01-15 2010-07-22 Microsoft Corporation Client-based caching of remote files
CN101997920A (zh) * 2010-11-18 2011-03-30 中兴通讯股份有限公司 Dhcp租约处理方法及装置
CN102521224A (zh) * 2010-09-17 2012-06-27 微软公司 目录租赁
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件系统分级元数据缓存控制方法
CN103262090A (zh) * 2010-10-27 2013-08-21 马普科技促进协会 使用存储租约保护数据完整性

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060136369A1 (en) * 2004-12-17 2006-06-22 Microsoft Corporation Method and system for protecting the consistency of information in a distributed file system
US20100088335A1 (en) * 2008-10-07 2010-04-08 Yasuyuki Mimatsu Method and apparatus for improving file access performance of distributed storage system
US20100185704A1 (en) * 2009-01-15 2010-07-22 Microsoft Corporation Client-based caching of remote files
CN102521224A (zh) * 2010-09-17 2012-06-27 微软公司 目录租赁
CN103262090A (zh) * 2010-10-27 2013-08-21 马普科技促进协会 使用存储租约保护数据完整性
CN101997920A (zh) * 2010-11-18 2011-03-30 中兴通讯股份有限公司 Dhcp租约处理方法及装置
CN102546751A (zh) * 2011-12-06 2012-07-04 华中科技大学 一种分布式文件系统分级元数据缓存控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜明华: "基于三方传送的存储管理系统设计与实现", 《计算机工程与应用》 *
汪德帅: "面向多租约SaaS 应用的负载均衡机制研究与实现", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111177197A (zh) * 2019-12-26 2020-05-19 北京仁科互动网络技术有限公司 一种缓存处理方法及系统
CN111177197B (zh) * 2019-12-26 2023-03-14 北京仁科互动网络技术有限公司 一种缓存处理方法及系统
CN111158597A (zh) * 2019-12-28 2020-05-15 浪潮电子信息产业股份有限公司 一种元数据读取方法、装置及电子设备和存储介质
CN112905556A (zh) * 2021-02-09 2021-06-04 山东英信计算机技术有限公司 分布式系统的目录租约管理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN103714183B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
TWI654558B (zh) 混合儲存的控制方法及混合儲存系統
US11620166B2 (en) Communications framework for multi-cluster management systems
CN110609743A (zh) 用于配置资源的方法、电子设备和计算机程序产品
CN109428913B (zh) 一种存储扩容方法及装置
US11449479B2 (en) Data migration methods and system
US11003367B2 (en) Data storage, reading, and cleansing method and device, and cloud storage system
WO2017050064A1 (zh) 共享内存数据库的内存管理方法及装置
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
CN104158858A (zh) 一种访问分布式集群文件系统方法及系统
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN106357703B (zh) 集群切换方法与设备
CN108932114A (zh) 一种数据存储的方法及装置
CN112596762A (zh) 一种滚动升级方法及装置
WO2016095760A1 (zh) 数据动态重分布的方法、数据节点、名字节点及系统
CN103714183A (zh) 一种元数据租约期限的动态获取方法和系统
CN105930178B (zh) 一种可配置的参数动态装载方法及系统
CN108646987B (zh) 一种文件卷的管理方法、装置、存储介质及终端
US11176089B2 (en) Systems and methods for implementing dynamic file systems
CN107122254B (zh) 一种计算机修复控制方法及系统、修复方法及系统
CN112463073A (zh) 一种对象存储分布式配额方法、系统、设备和存储介质
CN111506254B (zh) 分布式存储系统及其管理方法、装置
CN109508140B (zh) 存储资源管理方法、装置、电子设备及电子设备、系统
CN114253950B (zh) 管理数据库的方法和装置
CN114153395B (zh) 一种对象存储数据生命周期管理方法、装置及设备
US9600415B1 (en) Method, apparatus, and computer program stored in computer readable medium for managing storage server in database system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant