CN106484834A - 分布式文件系统用户配额数据保存方法、系统及服务器 - Google Patents

分布式文件系统用户配额数据保存方法、系统及服务器 Download PDF

Info

Publication number
CN106484834A
CN106484834A CN201610872723.XA CN201610872723A CN106484834A CN 106484834 A CN106484834 A CN 106484834A CN 201610872723 A CN201610872723 A CN 201610872723A CN 106484834 A CN106484834 A CN 106484834A
Authority
CN
China
Prior art keywords
user
data
quota data
quota
journal event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610872723.XA
Other languages
English (en)
Other versions
CN106484834B (zh
Inventor
吕强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201610872723.XA priority Critical patent/CN106484834B/zh
Publication of CN106484834A publication Critical patent/CN106484834A/zh
Application granted granted Critical
Publication of CN106484834B publication Critical patent/CN106484834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1727—Details of free space management performed by the file system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了分布式文件系统用户配额数据保存方法，包括：当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序；该方法保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景；本发明还公开了分布式文件系统用户配额数据保存系统及服务器，具有上述有益效果。

Description

分布式文件系统用户配额数据保存方法、系统及服务器
技术领域
本发明涉及数据处理技术领域，特别涉及一种分布式文件系统用户配额数据保存方法、系统及服务器。
背景技术
用户配额可以帮助管理员实现管理用户使用空间大小的目的，当达到配额限度或接近配额限度时可以及时邮件、短信等方式进行提醒，实现对用户可使用空间的合理控制，提高数据访问的效率，也更易于管理和维护数据。
用户配额功能为了不过多影响性能，配额变化数据不会实时落盘，数据落盘是无序的，所以效率很差；分布式文件系统在使用的过程中，因为扩容、更换硬盘或其他操作可能会涉及重启服务、停止服务之后启动操作。因为用户配额变化数据不是实时落盘，在重启、停止服务时，用户配额部分变化数据可能还没有落盘，那分布式文件系统重新启动后如何保证用户配额数据的安全性即恢复到重启、启动之前的数据，这就需要实现一种保证数据安全性的方法。
发明内容
本发明的目的是提供一种分布式文件系统用户配额数据保存方法、系统及服务器，能够保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景。
为解决上述技术问题，本发明提供一种分布式文件系统用户配额数据保存方法，包括：
当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
其中，当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据，包括：
接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据。
其中，更新缓存中用户配额数据变化的增量数据之后，还包括：
返回客户端处理成功消息。
其中，读取Journal事件之前，还包括：
判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则读取最新Journal事件，并利用replay方法恢复用户配额数据；
若否，则直接读取磁盘中的用户配额数据。
本发明还提供一种服务器，包括：
Journal事件记录模块，用于当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
恢复模块，用于当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
其中，所述Journal事件记录模块具体为接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据的模块。
其中，该服务器还包括：
反馈模块，用于返回客户端处理成功消息。
其中，该服务器还包括：
判断模块，用于判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则执行所述恢复模块；
读取模块，用于若磁盘中记录落盘的用户配额数据的时间是不早于记录落盘的最新Journal事件的时间，则直接读取磁盘中的用户配额数据。
本发明还提供一种分布式文件系统用户配额数据保存系统，包括：根据上述任一项所述的服务器，客户端及磁盘；其中，
所述客户端，用于设置用户配额数据，并向所述服务器发送；
所述磁盘，用于记录Journal事件及用户配额数据。
本发明所提供的一种分布式文件系统用户配额数据保存方法，包括：当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序；可见，该方法保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景；本发明还提供了一种分布式文件系统用户配额数据保存系统及服务器，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的分布式文件系统用户配额数据保存方法的流程图；
图2为本发明实施例所提供的分布式文件系统用户配额数据保存方法的数据流向示意图；
图3为本发明实施例所提供的服务器的结构框图。
具体实施方式
本发明的核心是提供一种分布式文件系统用户配额数据保存方法、系统及服务器，能够保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明实施例所提供的分布式文件系统用户配额数据保存方法的流程图；该方法还可以包括：
S100、当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
其中，为了保证准确的记录用户配额增量数据，在确认当Journal事件写入磁盘后再更新缓存中对应的数据，该步骤具体为接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据。
例如客户端将用户配额数据上报给服务器(例如MDS)后，服务器首先记录一条Journal事件，Journal事件落盘后，再更新缓存中的用户配额数据即客户端上报用户配额数据变化量，元数据服务器收到上报消息后，首先记录一条Journal事件，里面保存用户配额变化的增量数据，Journal事件落盘后，再更新缓存中的用户配额数据。
为了保证用户可以及时了解用户配额数据的更新情况，可选的，在更新缓存中用户配额数据变化的增量数据之后，还包括：
返回客户端处理成功消息。
S100、当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
具体的，当系统启动/重启服务器时从磁盘中读取Journal事件，并通过replay方法恢复用户配额数据。即replay方法是Journal事件基类的虚函数方法，所有Journal事件都要实现此方法，此方法在系统启动时，Journal事件恢复时会被Journal机制自动调用，只需要在方法中实现如何根据事件中的数据来恢复用户配额数据即可。
为了防止出现不必要的恢复操作可以通过用户配额数据和用户配额Journal事件之间的版本控制机制来判断是否执行恢复操作，即基于上述步骤在读取Journal事件之前，还包括：
判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则读取最新Journal事件，并利用replay方法恢复用户配额数据；
若否，则直接读取磁盘中的用户配额数据。
具体的，用户配额数据虽然不是实时落盘，但这些数据也会定时落盘，因为Journal事件数据可能会被定期清理，Journal事件不会一直保存，所以用户配额数据和Journal数据就需要一种版本控制机制，来确定哪些Journal事件需要恢复，哪些不需要；如果磁盘中的用户配额数据比Journal事件新就不用恢复。
因为用户配额数据也会定时落盘，即在进行恢复操作之前，需要判断是否有必要进行恢复操作，这时需要将最后一次(在执行恢复操作之前的最近一次)系统用户配额数据落盘的时间与系统最后一次记录的Journal事件的时间进行比较，当用户配额数据落盘的时间晚于记录的Journal事件的时间即相比之下用户配额数据落盘的时间更接近于判断时间，则直接读取磁盘中的用户配额数据，反之再进行replay方法恢复用户配额数据。
下面对本发明的内容以一个具体实例来描述实现这一设计方法的实现过程。具体过程可以参考图2，图2中的服务端即上述服务器。开启用户配额开关，给某个需要用户配额功能的用户设置用户配额。客户端使用这个用户登录分布式文件系统，并写入数据。写入一段时间数据后，重启分布式文件系统。使用相关命令查看用户配额数据是否安全准确。
基于上述技术方案，本发明实施例提的分布式文件系统用户配额数据保存方法，采用Journal机制来实现，Journal数据顺序落盘，效率高，保证用户配额数据安全性，可以满足用户对用户配额数据安全性要求较高的应用场景保证分布式文件系统中用户配额数据的安全性。
下面对本发明实施例提供的分布式文件系统用户配额数据保存系统及服务器进行介绍，下文描述的分布式文件系统用户配额数据保存系统及服务器与上文描述的分布式文件系统用户配额数据保存方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的服务器的结构框图；该服务器可以包括：
Journal事件记录模块100，用于当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
恢复模块200，用于当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
基于上述实施例，所述Journal事件记录模块100具体为接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据的模块。
基于上述实施例，服务器还包括：
反馈模块，用于返回客户端处理成功消息。
基于上述任意实施例，服务器还包括：
判断模块，用于判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则执行所述恢复模块；
读取模块，用于若磁盘中记录落盘的用户配额数据的时间是不早于记录落盘的最新Journal事件的时间，则直接读取磁盘中的用户配额数据。
本发明实施例还提供一种分布式文件系统用户配额数据保存系统，包括：根据上述任意实施例所述的服务器，客户端及磁盘；其中，
所述客户端，用于设置用户配额数据，并向所述服务器发送；
所述磁盘，用于记录Journal事件及用户配额数据。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的分布式文件系统用户配额数据保存方法、系统及服务器进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种分布式文件系统用户配额数据保存方法，其特征在于，包括：
当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
2.根据权利要求1所述的分布式文件系统用户配额数据保存方法，其特征在于，当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据，包括：
接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据。
3.根据权利要求2所述的分布式文件系统用户配额数据保存方法，其特征在于，更新缓存中用户配额数据变化的增量数据之后，还包括：
返回客户端处理成功消息。
4.根据权利要求1-3任一项所述的分布式文件系统用户配额数据保存方法，其特征在于，读取Journal事件之前，还包括：
判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则读取最新Journal事件，并利用replay方法恢复用户配额数据；
若否，则直接读取磁盘中的用户配额数据。
5.一种服务器，其特征在于，包括：
Journal事件记录模块，用于当检测到用户配额数据变化时，记录一条Journal事件保存用户配额数据变化的增量数据；
恢复模块，用于当系统启动或重启时，读取所述Journal事件，并利用replay方法恢复用户配额数据；其中，所述replay方法包括利用所述增量数据恢复用户配额数据的程序。
6.根据权利要求5所述的服务器，其特征在于，所述Journal事件记录模块具体为接受客户端上报的用户配额数据变化数据，记录一条Journal事件，当Journal事件写入磁盘后，更新缓存中用户配额数据变化的增量数据的模块。
7.根据权利要求6所述的服务器，其特征在于，还包括：
反馈模块，用于返回客户端处理成功消息。
8.根据权利要求5-7任一项所述的服务器，其特征在于，还包括：
判断模块，用于判断磁盘中记录落盘的用户配额数据的时间是否早于记录落盘的最新Journal事件的时间；
若是，则执行所述恢复模块；
读取模块，用于若磁盘中记录落盘的用户配额数据的时间是不早于记录落盘的最新Journal事件的时间，则直接读取磁盘中的用户配额数据。
9.一种分布式文件系统用户配额数据保存系统，其特征在于，包括：根据权利要求5-8任一项所述的服务器，客户端及磁盘；其中，
所述客户端，用于设置用户配额数据，并向所述服务器发送；
所述磁盘，用于记录Journal事件及用户配额数据。
CN201610872723.XA 2016-09-30 2016-09-30 分布式文件系统用户配额数据保存方法、系统及服务器 Active CN106484834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610872723.XA CN106484834B (zh) 2016-09-30 2016-09-30 分布式文件系统用户配额数据保存方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610872723.XA CN106484834B (zh) 2016-09-30 2016-09-30 分布式文件系统用户配额数据保存方法、系统及服务器

Publications (2)

Publication Number Publication Date
CN106484834A true CN106484834A (zh) 2017-03-08
CN106484834B CN106484834B (zh) 2020-02-07

Family

ID=58269136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610872723.XA Active CN106484834B (zh) 2016-09-30 2016-09-30 分布式文件系统用户配额数据保存方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN106484834B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131784B1 (en) * 2007-09-26 2012-03-06 Network Appliance, Inc. Multiple node quota filter
CN103412803A (zh) * 2013-08-15 2013-11-27 华为技术有限公司 数据恢复的方法及装置
CN103559231A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种文件系统配额管理方法、装置及系统
CN104158858A (zh) * 2014-07-29 2014-11-19 浪潮(北京)电子信息产业有限公司 一种访问分布式集群文件系统方法及系统
CN105912628A (zh) * 2016-04-07 2016-08-31 北京奇虎科技有限公司 主从数据库的同步方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131784B1 (en) * 2007-09-26 2012-03-06 Network Appliance, Inc. Multiple node quota filter
CN103412803A (zh) * 2013-08-15 2013-11-27 华为技术有限公司 数据恢复的方法及装置
CN103559231A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种文件系统配额管理方法、装置及系统
CN104158858A (zh) * 2014-07-29 2014-11-19 浪潮(北京)电子信息产业有限公司 一种访问分布式集群文件系统方法及系统
CN105912628A (zh) * 2016-04-07 2016-08-31 北京奇虎科技有限公司 主从数据库的同步方法及装置

Also Published As

Publication number Publication date
CN106484834B (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
US10412170B2 (en) Retention-based data management in a network-based data store
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
US7676502B2 (en) Recovery point data view shift through a direction-agnostic roll algorithm
CN103092905B (zh) 使用虚拟文件数据对象的列式数据库
US8793457B2 (en) Method and system for policy-based secure destruction of data
US20200019320A1 (en) Capacity forecasting based on capacity policies and transactions
CN107710215A (zh) 在测试设施中的移动计算装置安全的方法和设备
CN105912428B (zh) 实现源数据实时转化为虚拟机镜像的系统及方法
KR101574451B1 (ko) 트랜잭션 메모리 시스템 내구성 부여
US8346729B2 (en) Business-semantic-aware information lifecycle management
CN103197988A (zh) 一种数据备份、恢复的方法、设备和数据库系统
US8918371B1 (en) Systems and methods for event log compensation
CN107562915A (zh) 读取小文件的方法、装置和设备及计算机可读存储介质
US7496609B2 (en) Dirty shutdown recovery of file system filters
CN103034592B (zh) 数据处理方法和装置
CN109710185A (zh) 数据处理方法及装置
CN107066349A (zh) 一种集群文件系统数据保护的方法及系统
CN109684338A (zh) 一种存储系统的数据更新方法
CN103336820A (zh) 一种信息系统关键数据审计方法
CN110008197A (zh) 一种数据处理方法、系统及电子设备和存储介质
CN107590056A (zh) 一种存储系统中审计日志的转储方法及装置
CN107885859A (zh) 一种文件个数配额的方法、装置和计算机可读存储介质
Botros et al. High Performance MySQL
CN110737504A (zh) 一种深度学习模型训练容错方法、系统、终端及存储介质
CN106528349A (zh) 一种数据存储方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191211

Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province

Applicant after: Suzhou Wave Intelligent Technology Co., Ltd.

Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601

Applicant before: Zhengzhou Yunhai Information Technology Co. Ltd.

GR01 Patent grant
GR01 Patent grant