CN102447736A - 一种多方网络存储系统中用户配额管理和控制方法 - Google Patents

一种多方网络存储系统中用户配额管理和控制方法 Download PDF

Info

Publication number
CN102447736A
CN102447736A CN2011103654850A CN201110365485A CN102447736A CN 102447736 A CN102447736 A CN 102447736A CN 2011103654850 A CN2011103654850 A CN 2011103654850A CN 201110365485 A CN201110365485 A CN 201110365485A CN 102447736 A CN102447736 A CN 102447736A
Authority
CN
China
Prior art keywords
quota
user
client
thread
meta data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103654850A
Other languages
English (en)
Other versions
CN102447736B (zh
Inventor
刘景宁
冯丹
王芳
刘超杰
张泉
陈碧砚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN 201110365485 priority Critical patent/CN102447736B/zh
Publication of CN102447736A publication Critical patent/CN102447736A/zh
Application granted granted Critical
Publication of CN102447736B publication Critical patent/CN102447736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种多方网络存储系统中用户配额管理和控制方法,包括启动元数据服务器、启动对象存储服务器、启动管理端、挂载客户端、配额控制和配额回写步骤。本发明还公开了一种用户配额管理和控制系统,包括管理端、客户端、元数据服务器和对象存储服务器,管理端具有管理员客户线程,客户端包括配额控制模块,元数据服务器具有元数据服务线程、配额定期同步客户线程和管理员服务线程,对象存储服务器具有文件服务线程和配额定期同步服务线程。本发明避免了因资源用量改变引起的服务器间不必要通信和超配额的数据导致网络带宽浪费,降低了配额控制功能对系统性能的影响,同时提供了配额一致性同步机制来保证系统中用户资源使用量的正确一致性。

Description

一种多方网络存储系统中用户配额管理和控制方法
技术领域
本发明属于计算机存储技术领域,具体涉及一种多方网络存储系统中用户配额管理和控制方法,适用于网络存储系统的配额控制管理。
背景技术
随着信息量的爆炸式增加,网络存储技术得到不断成熟发展和广泛运用。在许多网络存储系统中,元数据和数据是分离的,各由单独的服务器管理,分别称为元数据服务器和数据服务器。用户将自己的数据存储到数据服务器上,使用一定量的系统资源。当出现多用户共同使用系统时,系统就必须提供一种让各用户合理、有效地使用系统资源的方法,让有限的系统资源被高效地利用,也即用户配额管理。本发明所指的用户配额,就是用户在系统中可以创建的文件数量和可使用的存储空间大小。在网络存储系统发展到今时今日,在一个网络环境和系统都相对稳定的情况中,如何让系统能既完成用户配额管理功能,又不过多影响服务器性能,这个方面还没有一个比较全面和成熟的解决方案。
传统的网络存储系统中多采用全局配额和局部配额并存的方案,元数据服务器维护各个用户的全局配额,每个数据服务器维护各用户在其上的一个局部配额,对每个用户来说,他所对应的全局配额是所有局部配额之和。如存储业界著名的lustre文件系统,就是一个很典型的例子。每次客户端向数据服务器写入一个数据块,数据服务器都要更新改用户的本地配额,并通知元数据服务器更新全局配额。这无疑给元数据服务器和数据服务器之间的通信和服务能力加重了负担,对性能影响较大。
另外,由于全局配额被分割成局部配额后,用户向数据服务器写入数据时由数据服务器根据其上的局部配额来判断写操作是否超过配额,如果超过配额由数据服务器来发出超配额警告。这样又会从两方面影响服务器性能。一是客户端的数据要发送到数据服务器后由数据服务器判断是否超过配额,如果超过了,那么发送来的数据要丢弃,浪费了网络带宽;二是当用户的全局配额还充足,但某个数据服务器上的局部配额过小,当客户端向此数据服务器刷入数据块时,该数据服务器便返回超过配额的警告。其实这时用户可用的总空间还是足够的。为了避免这种不一致,lustre文件系统在数据服务器上实现了一种动态调整方案,在全局配额不变的情况下让各个数据服务器之间可以协商并更新各自局部配额,来解决局部配额不均的问题,这样又会使服务器性能受到影响。
发明内容
本发明提出一种多方网络存储系统中用户配额管理和控制方法,避免了传统配额方案中因资源用量改变引起的服务器间不必要通信和超配额的数据导致网络带宽浪费,极大降低了配额控制功能对系统性能的影响,同时也提供了配额一致性同步机制来保证系统中用户资源使用量的一致性和正确性。
本发明提供的多方网络存储系统中用户配额管理和控制方法,包括以下步骤:
(1)启动元数据服务器步骤。该服务器运行主线程,即文件元数据服务线程来提供存储系统的元数据服务,同时运行配额定期同步客户线程和管理员服务线程。配额定期同步客户线程定期向对象存储服务器(也即背景技术中提到的数据服务器)查询用户资源使用量信息,对象存储服务器如果有多台,则该线程还会自动完成汇总并将汇总结果存储在数据库中。管理员服务线程接收管理端的管理员客户线程发来的请求并将处理结果返回给管理端;
(2)启动对象存储服务器步骤。该服务器运行主线程,即文件服务线程来提供存储系统的数据服务,向元数据服务器注册,由元数据服务器维护的存储设备列表记录该注册的对象存储服务器,同时运行配额定期同步服务线程,该线程接收步骤(1)中提到的元数据服务器中配额定期同步客户线程发来的请求,返回其上用户的资源使用量信息给元数据服务器。
(3)启动管理端步骤,称为TA端。TA端运行的管理员客户线程,用于管理员添加、删除用户,设置、修改和查看用户配额和资源使用量信息,把请求发往元数据服务器,由其上的管理员服务线程接收请求并返回处理结果给管理端,没有由TA端添加的用户是无法挂载客户端的。
(4)用户挂载客户端步骤。在挂载时元数据服务器向所有已注册的对象存储服务器发出查询请求,各个对象存储服务器返回该用户在其上的资源使用量给元数据服务器,元数据服务器进行汇总后返回给客户端,客户端将获取的用户配额和资源使用量信息缓存在本地,同一个客户标识(ID)的用户不可在多处同时挂载。
(5)配额控制步骤。用户在客户端向文件系统创建文件或写入文件数据,此时客户端中的配额控制模块对用户的写行为起控制作用。配额控制主要有如下过程:
①超配额判断。客户端在对元数据或文件操作之前对操作是否超配额进行判断。控制模块能针对两种情况进行处理,一是对元数据数量的控制,对于创建新目录或文件的操作判断目录和文件数目是否超过配额数量;二是对空间大小的控制,对于写入文件数据的操作则在每次写系统调用时判断新添加一个写缓存buffer大小的数据块是否超过用户的空间配额大小。
②判断结果处理。对判断结果的处理也像前一步中分两种情况,一是对于文件数量的判断,如果超过配额则直接由内核系统调用返回警告,阻止客户继续创建,删除目录或文件的操作则减少用户已创建的目录和文件总数;二是对于使用空间大小的判断,如果超过配额直接由内核系统调用返回警告,阻止客户继续写入数据,对于删除目录或文件,则要把用户已使用的空间大小也对应减小。
③更新资源使用量。当写请求从元数据服务器或对象存储服务器返回后,控制模块再将缓存在客户端的用户资源使用量信息更新。
(6)配额回写步骤。客户端每次写完一个文件后调用虚拟文件系统中的属性设置接口函数setattr来将文件当前属性和用户当前最新的资源使用量刷回到元数据服务器端;用户执行umount命令卸载客户端时,客户端向元数据服务器写回最终的资源使用量信息。
进一步地,本发明的方法还可以包括配额定期同步机制,即元数据服务器中的配额定期同步客户线程每隔一定时间间隔执行一次如下功能:对于每个用户,向所有对象存储服务器发出查询请求获得各用户在每个对象存储服务器上的资源使用量,对象存储服务器中的配额定期同步服务线程查询用户在其上的资源使用量并返回给元数据服务器,元数据服务器用汇总后的结果更新该用户的资源使用量信息。可以在元数据服务器比较空闲的时候来执行,例如每天凌晨开始执行。
所述的网络存储系统中用户配额管理和控制方法,具有如下特点:
(1)只使用全局配额,消除局部配额不均导致的额外性能影响;(2)用户挂载客户端时元数据服务器要查询用户在各对象存储服务器上的资源使用量,汇总后返回给客户端,保证客户端挂载时获得准确的资源使用量;(3)添加了对元数据数目(即目录或文件数目)的配额控制功能,避免用户创建大量空目录和文件,浪费元数据服务器存储空间;(4)超配额判断逻辑在客户端完成,如果超配额则不必将数据写入对象存储服务器即可返回,避免了网络带宽的浪费,降低了对服务器性能的影响;(5)客户端在写操作由服务器返回后再完成本地缓存的资源使用量修改操作,以免服务器未能正常处理完导致客户端和元数据服务器的资源使用量不一致;(6)在已有的VFS(虚拟文件系统)接口setattr属性设置函数中增减发送资源使用量信息,以免元数据服务器上的该值过久得不到更新,避免增加新的RPC(远程过程调用)影响性能;(7)元数据服务器和对象存储服务器的配额定期同步机制确保用户资源使用量信息的正确一致性。
本发明还公开了一种用于多方网络存储系统中进行用户配额管理和控制的系统,包括客户端、元数据服务器、对象存储服务器和管理端。四者通过网络互联,客户端发送文件或对象操作请求,包括元数据和数据请求;对象存储服务器提供数据存储服务;元数据服务器提供元数据存取服务,管理端用于管理员对用户信息进行操作;
(1)元数据服务器运行元数据服务线程、配额定期同步客户线程和管理员服务线程,元数据服务线程提供元数据的查询更新等操作,配额定期同步客户线程定期向各个对象存储服务器查询用户资源使用量并汇总,管理员服务线程接受管理端的管理员客户线程发来的请求并将处理结果返回给管理端;
(2)对象存储服务器运行文件服务线程和配额定期同步服务线程,前者提供文件的存取操作,后者接收元数据服务器中配额定期同步客户线程发来的请求并返回用户资源使用量给元数据服务器;
(3)管理端运行管理员客户线程,管理员对任何用户信息的增加、删除、设置等操作都通过管理员客户线程把请求发往元数据服务器,由其上的管理员服务线程接收请求并返回处理结果给管理端;
(4)用户挂载客户端时,客户端从元数据服务器获得用户配额信息,客户端中的配额控制模块对元数据操作和数据操作进行判断并修改资源使用量,每次写完文件或卸载时将用户信息刷新到元数据服务器。
元数据服务器的配额定期同步客户线程和对象存储服务器的配额定期同步服务线程,共同完成用户资源使用量的定期更新,确保元数据服务器中数据与用户实际资源使用量的正确一致性;
客户端挂载时,由元数据服务器从数据服务器上获取资源使用量信息返回给客户端,保证客户端和元数据服务器中该信息的正确一致性;
管理端查询用户资源使用量信息时也由元数据服务器轮询对象存储服务器,并将用户信息汇总后的结果返回给管理端,保证查询数据的实时性。
本发明在网络存储系统中只使用全局配额,消除因为传统上因局部配额不均,服务器之间配额调整导致的性能开销;将配额判断逻辑移至客户端本地,而不是由对象存储服务器和元数据服务器来进行判断,减小了服务器性能受到的影响;当写入超配额的数据时,在客户端本地即可阻止操作继续进行,而不需要把数据发送到对象存储服务器再进行判断,避免了网络带宽的浪费,降低了对服务器性能的影响;同时通过客户端挂载和管理端查询时的轮询和配额定期同步机制来保证系统中用户资源使用量的正确一致性;通过元数据服务器中配额回写时的检测逻辑来保证配额信息不被篡改,并向管理端返回提示信息,保证了数据的完整性。
附图说明
图1为本发明的方法流程示意图;
图2为配额一致性同步机制示意图;
图3为本发明的配额控制方案示意图;
图4为管理端和元数据服务器端管理功能示意图;
图5为本发明的系统结构示意图。
具体实施方式
下面结合附图和实例对本发明作详细的说明。
图1所示为本发明的方法流程示意图。
本实施例中的网络存储系统配额管理和控制方法,具体步骤为:
首先启动元数据服务器,运行其上的主线程、配额定期同步客户线程和管理员服务线程。主线程提供元数据服务,配额定期同步客户线程定期向对象存储服务器查询用户资源使用量信息,管理员服务线程接收管理端的管理员客户线程发来的请求并将处理结果返回给管理端。启动对象存储服务器,运行主线程和配额定期同步服务线程。主线程提供存储系统的数据存储服务,向元数据服务器注册,配额定期同步服务线程接收元数据服务器中配额定期同步客户线程发来的请求,返回其上用户的资源使用量信息给元数据服务器;启动管理端,运行管理员客户线程,用于管理员添加、删除用户,设置、修改和查看用户配额和资源使用量信息,把请求发往元数据服务器,由其上的管理员服务线程接收请求并返回处理结果给管理端,没有经由管理端添加的用户是无法挂载客户端的。
在服务器和管理端都启动好后,用户进行操作。用户挂载客户端。在挂载时元数据服务器向所有已注册的对象存储服务器发出查询请求,各个对象存储服务器返回该用户在其上的资源使用量给元数据服务器,元数据服务器进行汇总后将结果返回给客户端,客户端将获取的用户配额和资源使用量信息缓存在本地,同一个客户标识(ID)的用户不可在多处同时挂载;在用户写操作时进行超配额判断、判断结果处理和更新资源使用量这三个步骤完成配额控制功能。用户卸载客户端时作为配额回写的一个时机。
鉴于客户端可能操作中途失去与服务器连接,此时无法在卸载时写回配额信息,故采用服务器定期自同步方式来保证数据正确一致性。
图2所示为配额一致性同步机制示意图。对于用户配额信息正确一致性,系统也提供了专门的同步机制。当客户端在写一个文件写到中途时出现异常而与服务器失去连接,文件写完后客户端的setattr属性设置操作就无法执行,那么用户此时的资源使用量就无法正确写入元数据服务器MDS,如果用户紧接着又挂载客户端,重新登录,那么从MDS获得的资源使用量信息就是错误的,因此MDS运行了一个轮询客户模块。当用户登录时,MDS收到登录请求,由轮询客户模块向各个对象存储服务器OSS上的轮询服务模块查询用户的资源使用量并汇总,将结果写入MDS本地数据库并返回给客户端CLIENT,通过这种实时查询的方式保证客户端获得正确的信息。同理,管理端TA端执行查询管理功能时,也由MDS的轮询模块按如上方式处理。
图中还可看出MDS中的配额定期同步客户线程定期调用轮询客户模块向各OSS发出请求,OSS中的配额定期同步服务线程调用轮询服务模块返回查询结果给MDS完成同步过程。管理端中的管理员客户线程向MDS发送请求,由MDS中的管理员服务线程调用轮询客户模块向各OSS发出请求,OSS中的轮询服务模块返回查询结果给MDS,再由MDS将结果汇总返回给管理端。这样即使客户端异常退出后没有重新挂载或管理员端没有执行管理功能,也可以通过这种方式定期同步一次用户资源使用量信息,保证MDS中的数据正确一致性。
图3所示为本发明的配额控制方案示意图,CLIENT使用用户ID登录时,登录请求发往MDS,MDS对用户的合法性进行判断,若不合法则直接返回提示,阻止用户登录;若合法,则从MDS的数据库BDB(伯克利数据库)中返回用户的配额和资源使用量信息给CLIENT。CLIENT在本地缓存MDS返回的信息,进行文件写操作。因为只有写操作会影响配额信息,读操作不会,故只讨论文件写操作。文件写操作分为以下两种情况:
(1)元数据的写操作,例如创建目录mkdir、创建空文件touch和删除目录或文件rm等操作,改变的是用户已经创建的目录或文件数量,即内核中的inode(索引节点)资源。对于创建这种增加inode数量的操作,CLIENT的配额控制模块在进行操作之前先根据本地缓存的配额信息判断本次操作是否超过用户配额,超过则中断操作,返回提示;如果未超过配额,则向MDS端发送创建请求,由MDS创建逻辑完成新元数据的创建,CLIENT的配额控制模块等到MDS处理完成并正常返回后,再修改本地的用户资源使用量信息;对于删除这种减少inode数量的操作,CLIENT的配额控制模块无需进行判断,直接向MDS发送操作请求,待结果正常返回时修改缓存信息即可。MDS在操作完成后会在自身数据库中修改该用户的资源使用量信息,不依赖于CLIENT缓存信息的修改。之所以要在MDS正常返回后再修改CLIENT本地缓存的资源使用量,而不在操作一开始判断完成后就修改,是因为可能出现以下情况:修改配额信息后,MDS却因为网络或是外部原因没有完成该元数据操作,MDS服务器上的资源使用量值不会变,CLIENT上缓存的数据却照常更新,明显是错误的,导致和MDS不一致。
(2)文件数据的写操作,例如write系统调用,改变的是用户使用空间的大小。每次在write系统调用时,控制模块会判断文件当前写入位置是否超过文件大小,如果超过则分配新的空间,用户已用空间量增加,增加量是文件当前写入位置与文件大小的差值,然后文件大小更新为文件当前写入位置;若没有则不用分配新空间,写完后文件大小和用户空间使用量均更新,将更新的值通过setattr接口刷回MDS。对于rm操作删除了数据文件的情况,元数据数目和空间使用量均要做修改。
将用户配额信息回写到MDS时会进行配额验证,防止CLIENT通过某些方式来篡改配额值,因为CLIENT只可能篡改本地缓存的配额信息,无法改变MDS服务器上的配额信息,故回写时和MDS上的配额值比较,不一致则表明CLIENT修改了配额信息,MDS会阻止该用户的继续操作,并将可疑用户报告给管理员端TA端。
图4所示为管理端和元数据服务器MDS端的管理功能示意图。管理端为管理员所使用,管理员添加要使用系统的新用户ID,成为注册用户,没有注册的用户不可登录系统。管理员可以设置或修改用户的配额信息,如果用户资源使用量达到配额值,那么需向管理员申请更多的空间,若管理员批准就修改(增大)该用户的配额值,使其能使用更多资源。管理员也可以删除已有用户,使其在重新注册之前无法再使用系统。同时管理端还可以查看指定用户或所有用户的配额信息。以上管理功能是通过在管理端运行的RPC客户端发出请求,由MDS端对应的RPC服务例程来处理并返回结果。
MDS中的配额检测模块会检测用户是否篡改配额,当发现可疑用户时,MDS中的可疑用户例程会报告给管理端TA端,管理员可做相应处理。
图5所示为本发明运用的多方网络存储系统基本结构示意图,包括客户端CLIENT,元数据服务器MDS,对象存储服务器OSS,管理端TA,四者通过网络互联。
元数据服务器MDS运行元数据服务线程、配额定期同步客户线程和管理员服务线程,其中,元数据服务线程提供元数据的查询更新,配额定期同步客户线程定期向各个对象存储服务器OSS查询用户资源使用量并汇总,管理员服务线程接受管理端TA的管理员客户线程发来的请求并将处理结果返回给管理端TA;
对象存储服务器OSS运行文件服务线程和配额定期同步服务线程,其中,文件服务线程用于文件的存取操作,配额定期同步服务线程接受元数据服务器MDS中配额定期同步客户线程发来的请求并返回用户资源使用量给元数据服务器MDS;
CLIENT是运行于核态的模块,在图中和EXT3文件系统类比,管理端TA运行管理员客户线程用于将管理员对用户信息的增加、删除和/或设置的请求发往元数据服务器MDS,由管理员服务线程接收请求并返回处理结果给管理端TA,管理员查询用户资源使用量信息时也由元数据服务器轮询对象存储服务器OSS,汇总结果后返回给管理端TA,保证查询数据的实时正确性;
客户端挂载时获得用户信息,配额控制模块对元数据操作和数据操作进行判断并修改资源使用量,每次写完文件或卸载时将用户信息刷新到元数据服务器MDS。
MDS、OSS和TA端均运行于用户态。客户端CLIENT运行于虚拟文件系统VFS层之下,提供VFS的接口,将所有元数据操作发向MDS,数据写操作data_write发向OSS。各方之间的通信均采用远程过程调用RPC来完成。TA端用于管理员对用户的配额信息进行增、删、改、查等操作。
对于多方网络存储系统,配额和资源使用量是存储在MDS上的,所以配额读quota_read和配额写quota_write操作都是向MDS发出操作请求,对比本地文件系统EXT3,配额和资源使用量信息存储在本地配额文件quotafile中,故quota_read和quota_write操作均操作本地文件。
可以看出,采用该发明的方法可以消除因为传统方法中因局部配额不均,服务器之间调整导致的性能开销;将配额判断逻辑移至客户端本地,而不是由各对象存储服务器和元数据服务器来进行判断,减小了对服务器性能的影响;当写入超配额的数据时,在客户端本地即可阻止操作继续进行,而不需要把数据发送到对象存储服务器再进行判断,避免了网络带宽的浪费,降低了对服务器性能的影响;同时通过客户端挂载和管理端的查询时的轮询、配额定期同步机制来保证系统中用户资源使用量的一致性和正确性;通过元数据服务器中配额回写时的检测逻辑来保证配额信息不被篡改,向管理端返回可疑用户报告,保证了数据的完整性。
综合上述结果,表明了这种多方网络存储系统的配额管理和控制方法和系统,比传统方式降低了配额控制功能对系统性能的影响,同时也提供了配额一致性同步机制来保证系统中用户资源使用量的正确一致性。

Claims (3)

1.一种多方网络存储系统中用户配额管理和控制方法,包括以下步骤:
(1)启动元数据服务器,以运行文件元数据服务线程、配额定期同步客户线程和管理员服务线程,其中,
所述文件元数据服务线程用于提供存储系统的元数据服务,所述配额定期同步客户线程用于定期向对象存储服务器查询用户资源使用量信息,所述管理员服务线程接收管理端的管理员客户线程发来的请求并将处理结果返回给管理端。
(2)启动对象存储服务器,以运行文件服务线程和配额定期同步服务线程,其中,
所述文件服务线程用于提供存储系统的数据服务,向所述元数据服务器注册,由该元数据服务器维护的存储设备列表记录该注册的对象存储服务器;所述配额定期同步服务线程接收所述配额定期同步客户线程发来的请求,并将其上的用户资源使用量信息返回给元数据服务器;
(3)启动管理端,以运行管理员客户线程,其中,
所述管理端用于添加或删除用户,设置、修改和/或查看用户配额和资源使用量信息,把请求发往元数据服务器,由该元数据服务器上的管理员服务线程接收请求并返回处理结果给所述管理端;
(4)用户挂载客户端
所述元数据服务器向所有已注册的对象存储服务器发出查询请求,各对象存储服务器返回该用户在其上的资源使用量给元数据服务器,元数据服务器进行汇总后将结果返回给客户端,客户端将获取的用户配额和资源使用量信息缓存在本地。
(5)配额控制
用户在客户端向文件系统创建文件或写入文件数据,此时客户端中的配额控制模块对用户的写行为进行配额控制,具体为:
(5.1)超配额判断:客户端在对元数据或文件操作之前对操作是否超配额进行判断,包括:
对元数据数量的控制,即对于创建新目录或文件的操作,判断目录和文件数目是否超过配额数量;对空间大小的控制,即对于写入文件数据的操作则在每次写系统调用时判断新添加一个写缓存buffer大小的数据是否超过用户的空间大小配额;
(5.2)判断结果处理,如果目录和文件数目超过配额数量则直接由内核系统调用返回警告,阻止客户继续创建,删除目录或文件的操作则减少用户已创建的目录和文件总数;如果添加的buffer大小的数据超过空间大小配额,则直接由内核系统调用返回警告,阻止客户继续写入,对于删除目录或文件,则把用户已使用的空间大小也对应减小;
(5.3)更新资源使用量:当写请求从元数据服务器或对象存储服务器返回后,更新缓存在客户端的用户资源使用量信息。
(6)配额回写
客户端每次写完一个文件后将文件当前属性和用户当前最新的资源使用量刷回到元数据服务器端,用户卸载客户端时,客户端向元数据服务器写回最终的资源使用量信息。
2.根据权利要求1所述的一种多方网络存储系统中用户配额管理和控制方法,其特征在于,还包括配额定期同步步骤,即每隔一定时间间隔执行一次元数据服务器中的配额定期同步客户线程,以用于完成如下功能:
对于每个用户,向所有对象存储服务器发出查询请求获得各用户在每个对象存储服务器上的资源使用量,对象存储服务器中的配额定期同步服务线程查询用户在其上的资源使用量并返回给元数据服务器,元数据服务器用汇总后的结果更新该用户的资源使用量信息。
3.一种用于多方网络存储系统中进行配额管理和控制的系统,包括客户端、元数据服务器、对象存储服务器和管理端,四者通过网络互联,其特征在于:
所述元数据服务器运行元数据服务线程、配额定期同步客户线程和管理员服务线程,其中,元数据服务线程提供元数据的查询更新,配额定期同步客户线程定期向各个对象存储服务器查询用户资源使用量并汇总,管理员服务线程接受管理端的管理员客户线程发来的请求并将处理结果返回给管理端;
所述对象存储服务器运行文件服务线程和配额定期同步服务线程,其中,文件服务线程用于文件的存取操作,配额定期同步服务线程接受元数据服务器中配额定期同步客户线程发来的请求并返回用户资源使用量给元数据服务器;
所述管理端运行管理员客户线程用于将管理员对用户信息的增加、删除和/或设置的请求发往元数据服务器,由所述管理员服务线程接收请求并返回处理结果给管理端,管理员查询用户资源使用量信息时也由元数据服务器轮询对象存储服务器,汇总结果后返回给管理端,保证查询数据的实时正确性;
所述客户端挂载时获得用户信息,配额控制模块对元数据操作和数据操作进行判断并修改资源使用量,每次写完文件或卸载时将用户信息刷新到元数据服务器。
CN 201110365485 2011-11-17 2011-11-17 一种多方网络存储系统中用户配额管理和控制方法 Active CN102447736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110365485 CN102447736B (zh) 2011-11-17 2011-11-17 一种多方网络存储系统中用户配额管理和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110365485 CN102447736B (zh) 2011-11-17 2011-11-17 一种多方网络存储系统中用户配额管理和控制方法

Publications (2)

Publication Number Publication Date
CN102447736A true CN102447736A (zh) 2012-05-09
CN102447736B CN102447736B (zh) 2013-12-18

Family

ID=46009820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110365485 Active CN102447736B (zh) 2011-11-17 2011-11-17 一种多方网络存储系统中用户配额管理和控制方法

Country Status (1)

Country Link
CN (1) CN102447736B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN103559231A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种文件系统配额管理方法、装置及系统
CN103731453A (zh) * 2012-10-12 2014-04-16 百度在线网络技术(北京)有限公司 云环境中的服务资源的配额管理方法和装置
CN103856536A (zh) * 2012-12-05 2014-06-11 腾讯科技(北京)有限公司 同步控制方法及同步控制装置
CN104158858A (zh) * 2014-07-29 2014-11-19 浪潮(北京)电子信息产业有限公司 一种访问分布式集群文件系统方法及系统
WO2015180426A1 (zh) * 2014-05-29 2015-12-03 华为技术有限公司 一种数据传输方法、装置及系统
CN105159968A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种文件系统的目录管理方法及客户端
CN106815342A (zh) * 2017-01-13 2017-06-09 郑州云海信息技术有限公司 一种分布式文件系统用户配额系统及方法
CN107169126A (zh) * 2017-05-31 2017-09-15 华为技术有限公司 一种日志处理方法及相关设备
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107562386A (zh) * 2017-09-13 2018-01-09 郑州云海信息技术有限公司 一种分布式存储集群的数据写入方法及装置
CN107589915A (zh) * 2017-09-25 2018-01-16 郑州云海信息技术有限公司 一种分布式存储系统的容量信息监控方法、装置及设备
CN109445685A (zh) * 2018-09-26 2019-03-08 华中科技大学 一种用户态文件系统处理方法
CN109634759A (zh) * 2018-12-12 2019-04-16 浪潮(北京)电子信息产业有限公司 一种分布式存储系统的配额管理方法、系统及相关组件
CN110764937A (zh) * 2019-11-07 2020-02-07 浪潮云信息技术有限公司 控制Hive数据库和表存储配额的方法、终端及介质
CN110795041A (zh) * 2019-10-28 2020-02-14 柏科数据技术(深圳)股份有限公司 分布式文件系统的配额方法、装置、服务器和存储介质
CN110968260A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 配额调整处理方法、装置及计算机设备
CN113760940A (zh) * 2020-09-24 2021-12-07 北京沃东天骏信息技术有限公司 应用于分布式系统的配额管理方法、装置、设备及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795230A (zh) * 2018-08-03 2020-02-14 Emc Ip控股有限公司 用以支持统一的分布式实时配额限制的智能解决方案

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619522A (zh) * 2003-11-17 2005-05-25 联想(北京)有限公司 机群文件服务系统及其输入输出处理方法
US20070038697A1 (en) * 2005-08-03 2007-02-15 Eyal Zimran Multi-protocol namespace server
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
US20110119461A1 (en) * 2009-11-16 2011-05-19 Symantec Corporation File system quota and reservation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1619522A (zh) * 2003-11-17 2005-05-25 联想(北京)有限公司 机群文件服务系统及其输入输出处理方法
US20070038697A1 (en) * 2005-08-03 2007-02-15 Eyal Zimran Multi-protocol namespace server
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
US20110119461A1 (en) * 2009-11-16 2011-05-19 Symantec Corporation File system quota and reservation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯丹等: "基于对象存储系统的对象文件系统设计", 《华中科技大学学报(自然科学版)》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731453A (zh) * 2012-10-12 2014-04-16 百度在线网络技术(北京)有限公司 云环境中的服务资源的配额管理方法和装置
CN103731453B (zh) * 2012-10-12 2017-02-08 百度在线网络技术(北京)有限公司 云环境中的服务资源的配额管理方法和装置
CN103856536B (zh) * 2012-12-05 2018-01-09 腾讯科技(北京)有限公司 同步控制方法及同步控制装置
CN103856536A (zh) * 2012-12-05 2014-06-11 腾讯科技(北京)有限公司 同步控制方法及同步控制装置
CN103064639A (zh) * 2012-12-28 2013-04-24 华为技术有限公司 数据存储方法及装置
CN103064639B (zh) * 2012-12-28 2016-08-03 华为技术有限公司 数据存储方法及装置
CN103559231A (zh) * 2013-10-23 2014-02-05 华为技术有限公司 一种文件系统配额管理方法、装置及系统
WO2015180426A1 (zh) * 2014-05-29 2015-12-03 华为技术有限公司 一种数据传输方法、装置及系统
CN104158858A (zh) * 2014-07-29 2014-11-19 浪潮(北京)电子信息产业有限公司 一种访问分布式集群文件系统方法及系统
CN105159968A (zh) * 2015-08-25 2015-12-16 浪潮(北京)电子信息产业有限公司 一种文件系统的目录管理方法及客户端
CN106815342A (zh) * 2017-01-13 2017-06-09 郑州云海信息技术有限公司 一种分布式文件系统用户配额系统及方法
CN107172152A (zh) * 2017-05-19 2017-09-15 郑州云海信息技术有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107172152B (zh) * 2017-05-19 2020-10-23 苏州浪潮智能科技有限公司 一种基于ceph集群cap机制统计配额系统及方法
CN107169126A (zh) * 2017-05-31 2017-09-15 华为技术有限公司 一种日志处理方法及相关设备
CN107169126B (zh) * 2017-05-31 2021-01-15 华为技术有限公司 一种日志处理方法及相关设备
CN107562386A (zh) * 2017-09-13 2018-01-09 郑州云海信息技术有限公司 一种分布式存储集群的数据写入方法及装置
CN107589915A (zh) * 2017-09-25 2018-01-16 郑州云海信息技术有限公司 一种分布式存储系统的容量信息监控方法、装置及设备
CN107589915B (zh) * 2017-09-25 2020-05-29 郑州云海信息技术有限公司 一种分布式存储系统的容量信息监控方法、装置及设备
CN109445685A (zh) * 2018-09-26 2019-03-08 华中科技大学 一种用户态文件系统处理方法
CN110968260A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 配额调整处理方法、装置及计算机设备
CN109634759A (zh) * 2018-12-12 2019-04-16 浪潮(北京)电子信息产业有限公司 一种分布式存储系统的配额管理方法、系统及相关组件
CN110795041A (zh) * 2019-10-28 2020-02-14 柏科数据技术(深圳)股份有限公司 分布式文件系统的配额方法、装置、服务器和存储介质
CN110764937A (zh) * 2019-11-07 2020-02-07 浪潮云信息技术有限公司 控制Hive数据库和表存储配额的方法、终端及介质
CN110764937B (zh) * 2019-11-07 2022-09-06 浪潮云信息技术有限公司 控制Hive数据库和表存储配额的方法、终端及介质
CN113760940A (zh) * 2020-09-24 2021-12-07 北京沃东天骏信息技术有限公司 应用于分布式系统的配额管理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN102447736B (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN102447736B (zh) 一种多方网络存储系统中用户配额管理和控制方法
US20230400990A1 (en) System and method for performing live partitioning in a data store
US11789925B2 (en) System and method for conditionally updating an item with attribute granularity
US20210103604A1 (en) System and method for implementing a scalable data storage service
US9946735B2 (en) Index structure navigation using page versions for read-only nodes
US11609697B2 (en) System and method for providing a committed throughput level in a data store
US8819027B1 (en) System and method for partitioning and indexing table data using a composite primary key
US9372911B2 (en) System and method for performing replica copying using a physical copy mechanism
US9558194B1 (en) Scalable object store
US7818287B2 (en) Storage management system and method and program
US9684659B1 (en) Fine-grain policy-based snapshots
CN106936899B (zh) 分布式统计分析系统的配置方法及分布式统计分析系统
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
US11100129B1 (en) Providing a consistent view of associations between independently replicated data objects
CN101778131A (zh) 数据同步系统
US11914571B1 (en) Optimistic concurrency for a multi-writer database
CN114610740A (zh) 医疗数据平台的数据版本管理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant