CN103067419B - 一种分布式文件系统及在该系统中控制文件存储的方法 - Google Patents
一种分布式文件系统及在该系统中控制文件存储的方法 Download PDFInfo
- Publication number
- CN103067419B CN103067419B CN201110319440.XA CN201110319440A CN103067419B CN 103067419 B CN103067419 B CN 103067419B CN 201110319440 A CN201110319440 A CN 201110319440A CN 103067419 B CN103067419 B CN 103067419B
- Authority
- CN
- China
- Prior art keywords
- file
- data server
- metadata
- client
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种分布式文件系统及在该系统中控制文件存储的方法，该方法包括：控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上。因此，应用本发明，可以有效降低了系统的复杂度，同时提高了文件元数据的安全性，从而保证了系统的安全性。
Description
技术领域
本发明涉及分布式文件系统领域，特别是一种分布式文件系统及在该系统中控制文件存储的方法。
背景技术
在广播电视领域中，要处理的对象为海量的视频文件和音频文件，传统上使用磁盘阵列来存储这些文件，因此，在存储这些文件时要受限于普通磁盘阵列的架构，存储性能受限于磁盘阵列的机头。当存储容量扩展时，存储性能却不能随之扩展。随着系统规模的扩展，很快在存储性能上就遇到了瓶颈。为了解决这个问题，出现了集群网络存储器(Network Attached Storage，NAS)，可以实现存储性能和存储容量同时扩展，解决了系统扩展的问题，但是这种架构的磁盘阵列的成本太高。
针对上述问题，出现了一种使用通用服务器作为硬件平台来存储文件的分布式文件系统。分布式文件系统将多台计算机上的存储资源整合起来，提供一个全局的命名空间，当访问分布式文件系统时，用户看到的目录结构是一致的。在分布式文件系统中包括两类节点：一类为仲裁节点，命名为控制器；另一类为数据节点，命名为数据服务器。数据服务器用来提供实际的存储资源，即在数据服务器上存储用户的文件。在传统的分布式文件系统中，一般先将文件拆分成固定大小的片段，然后将这些片段保存到数据服务器集群中。在控制器中的保存文件的元数据，包括文件具体被分成了哪些片段以及这些片段被存储在哪些数据服务器上，并保存这些数据服务器的标识信息。利用这种分布式文件系统能存储超大容量的文件，有效提高了系统的并发度，但是增加了系统的复杂度，且依赖于控制器，一旦控制器发生损坏，导致文件的元数据丢失，且文件的元数据又无法恢复，将使整个系统崩溃。
发明内容
本发明实施例提供一种分布式文件系统及在该系统中控制文件存储的方法，用以降低系统的复杂度，并保证系统的安全性。
本发明实施例提供的一种在分布式文件系统中控制文件存储的方法，包括：
控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上。
本发明实施例提供的一种分布式文件系统，包括：
控制器，用于在接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端；
客户端，用于向所述控制器发送存储文件指令，且在接收到所述控制器返回的一数据服务器的标识信息后，将待存储文件以原始格式存储在该数据服务器上；
数据服务器，用于存储来自客户端的原始格式的文件。
通过以上技术方案可知，本发明实施例在分布式文件系统中控制一文件存储时，控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上。本发明实施例在控制文件存储时，不再将文件进行拆分，直接将文件以原始格式存储在数据服务器上，这样，除了在存储文件时减轻了系统的工作量，在访问文件时，控制器也只需要决策一次，就可以找到存储待访问的文件的数据服务器；如果控制器中的文件的元数据丢失了，控制器可以发送元数据请求给数据服务器，以获得数据服务器存储的文件的元数据。因此，本发明实施例有效降低了系统的复杂度，同时提高了文件元数据的安全性，从而保证了系统的安全性。
附图说明
图1为本发明方法的一具体实施例的流程示意图；
图2为本发明方法的又一具体实施例的流程示意图；
图3为本发明系统实施例的结构示意图；
图4为本发明系统实施例中控制器的结构示意图。
具体实施方式
本发明实施例在分布式文件系统中控制文件存储时，控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上。
图1为本发明方法的一具体实施例的流程示意图。
参见图1所示，本发明实施例提供的在分布式文件系统中控制文件存储的方法具体包括以下几个步骤：
步骤101：一客户端发送存储文件指令给控制器。
步骤102：控制器接收到所述存储文件指令后，选择一数据服务器。
这里，控制器在选择数据服务器时，轮询所有数据服务器，当轮询到一处于空闲状态的数据服务器时，终止该轮询过程，将该处于空闲状态的数据服务器作为所选择的数据服务器。
步骤103：控制器保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端。
步骤104：接收到该数据服务器的标识信息的客户端将待存储文件以原始格式存储在该数据服务器上。
这里，优选地，所述数据服务器的标识信息为数据服务器的因特网协议(Internet Protocol，IP)地址；所述文件的元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
步骤104中将文件以原始格式存储在数据服务器上，不需要先将文件拆分然后再存储，减轻了系统的工作量；同时提高了文件元数据的安全性。
一个实施例，如果控制器中保存的文件的元数据丢失，则控制器发送元数据请求给数据服务器，获得所述数据服务器存储文件的元数据，并保存所获得文件的元数据。这样，控制器将再次得到文件的元数据，只要数据服务器不丢失数据，文件的元数据就不会丢失，进一步提高文件元数据的安全性，从而提高了系统的安全性。
图2为本发明实施例的又一具体实施例的流程示意图。
参见图2所示，在本发明实施例中通过一数据服务器访问文件的具体步骤如下：
步骤201：一客户端发送访问文件指令给控制器。
步骤202：接收到访问文件指令的控制器查询到存储该待访问文件的数据服务器，并将该数据服务器的标识信息发送给该客户端以访问该文件。
这里，优选地，所述数据服务器的标识信息为数据服务器的IP地址。在通过一数据服务器访问文件时，因为文件是以原始格式存储在数据服务器上的，所以控制器也只需要决策一次，就可以找到存储待访问的文件的数据服务器，降低了系统的复杂度。
图3为本发明系统的结构示意图。
参见图3所示，本发明实施例提供的一种分布式文件系统包括：控制器31、客户端32和数据服务器33；
控制器31，用于在接收到一客户端32的存储文件指令后，选择一数据服务器33，保存该数据服务器33的标识信息和待存储文件的元数据，并将该数据服务器33的标识信息返回给该客户端32；
客户端32，用于向所述控制器31发送存储文件指令，且在接收到所述控制器31返回的一数据服务器33的标识信息后，将待存储文件以原始格式存储在该数据服务器33上；
数据服务器33，用于存储来自客户端32的原始格式的文件。
这里，优选地，所述数据服务器的标识信息为数据服务器的IP地址；所述文件的元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
图4为本发明系统实施例中控制器的结构示意图。
参见图4所示，图3中的分布式文件系统中的控制器31包括：第一接收单元41、轮询选择单元42、第一保存单元43和返回单元44；
第一接收单元41，用于接收客户端的存储文件指令；
轮询选择单元42，用于轮询所有数据服务器，当轮询到一处于空闲状态的数据服务器时，终止该轮询过程，将该处于空闲状态的数据服务器作为所选择的数据服务器；
第一保存单元43，用于保存该处于空闲状态的数据服务器的标识信息和待存储文件的元数据；
返回单元44，用于将该处于空闲状态的数据服务器的标识信息返回给该客户端。
这里，优选地，所述数据服务器的标识信息为数据服务器的IP地址；所述文件的元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
所述控制器31还进一步包括：
请求发送单元，用于如果所述第一保存单元43中保存的文件的元数据丢失，则发送元数据请求给数据服务器；
获取单元，用于获得所述数据服务器存储文件的元数据；
第二保存单元，用于保存所述获取单元获得文件的元数据。
这样，如果所述控制器31中保存的文件的元数据丢失，则控制器31将再次得到文件的元数据，只要数据服务器33不丢失数据，文件的元数据就不会丢失，进一步提高文件元数据的安全性，从而提高了系统的安全性。
在访问文件时，所述控制器31还进一步包括：
第二接收单元，用于接收客户端的访问文件指令；
发送单元，用于发送存储该待访问文件的数据服务器的标识信息给该客户端以访问该文件。
这里，优选地，所述数据服务器的标识信息为数据服务器的IP地址。因为最初在存储文件时，文件是以原始格式存储在数据服务器上的，所以控制器也只需要决策一次，就可以找到存储待访问的文件的数据服务器，降低了系统的复杂度。
通过以上技术方案可知，本发明实施例在分布式文件系统中控制一文件存储时，控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上。本发明实施例在控制文件存储时，不再将文件进行拆分，直接将文件以原始格式存储在数据服务器上，这样，除了在存储文件时减轻了系统的工作量，在访问文件时，控制器也只需要决策一次，就可以找到存储待访问的文件的数据服务器；如果控制器中的文件的元数据丢失了，控制器可以发送元数据请求给数据服务器，以获得数据服务器存储的文件的元数据。因此，本发明实施例有效降低了系统的复杂度，同时提高了文件元数据的安全性，从而保证了系统的安全性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种在分布式文件系统中控制文件存储的方法，其特征在于，该方法包括：
控制器接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端，该客户端将待存储文件以原始格式存储在该数据服务器上；
其中，所述选择一数据服务器，包括：
轮询所有数据服务器，当轮询到一处于空闲状态的数据服务器时，终止该轮询过程，将该处于空闲状态的数据服务器作为所选择的数据服务器；
该方法进一步包括：
如果控制器中保存的文件的元数据丢失，则控制器发送元数据请求给数据服务器，获得所述数据服务器存储文件的元数据，并保存所获得文件的元数据。
2.如权利要求1所述的方法，其特征在于，该方法进一步包括：
控制器接收到一客户端的访问文件指令后，发送存储该待访问文件的数据服务器的标识信息给该客户端以访问该文件。
3.如权利要求1～2中任意一项所述的方法，其特征在于，所述数据服务器的标识信息包括数据服务器的因特网协议IP地址；所述文件的元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
4.一种在分布式文件系统，其特征在于，该系统包括：
控制器，用于在接收到一客户端的存储文件指令后，选择一数据服务器，保存该数据服务器的标识信息和待存储文件的元数据，并将该数据服务器的标识信息返回给该客户端；
客户端，用于向所述控制器发送存储文件指令，且在接收到所述控制器返回的一数据服务器的标识信息后，将待存储文件以原始格式存储在该数据服务器上；
数据服务器，用于存储来自客户端的原始格式的文件；
其中，所述控制器包括：
第一接收单元，用于接收客户端的存储文件指令；
轮询选择单元，用于轮询所有数据服务器，当轮询到一处于空闲状态的数据服务器时，终止该轮询过程，将该处于空闲状态的数据服务器作为所选择的数据服务器；
第一保存单元，用于保存该处于空闲状态的数据服务器的标识信息和待存储文件的元数据；
返回单元，用于将该处于空闲状态的数据服务器的标识信息返回给该客户端；
所述控制器还进一步包括：
请求发送单元，用于如果所述第一保存单元中保存的文件的元数据丢失，则发送元数据请求给数据服务器；
获取单元，用于获得所述数据服务器存储文件的元数据；
第二保存单元，用于保存所述获取单元获得文件的元数据。
5.如权利要求4所述的系统，其特征在于，所述控制器还进一步包括：
第二接收单元，用于接收客户端的访问文件指令；
发送单元，用于发送存储该待访问文件的数据服务器的标识信息给该客户端以访问该文件。
6.如权利要求4～5中任意一项所述的系统，其特征在于，所述数据服务器的标识信息包括数据服务器的因特网协议IP地址；所述文件的元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110319440.XA CN103067419B (zh) | 2011-10-19 | 2011-10-19 | 一种分布式文件系统及在该系统中控制文件存储的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110319440.XA CN103067419B (zh) | 2011-10-19 | 2011-10-19 | 一种分布式文件系统及在该系统中控制文件存储的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103067419A CN103067419A (zh) | 2013-04-24 |
| CN103067419B true CN103067419B (zh) | 2016-08-24 |
Family
ID=48109878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110319440.XA Expired - Fee Related CN103067419B (zh) | 2011-10-19 | 2011-10-19 | 一种分布式文件系统及在该系统中控制文件存储的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103067419B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731516B (zh) * | 2013-12-18 | 2019-03-01 | 腾讯科技（深圳）有限公司 | 一种存取文件的方法、装置及分布式存储系统 |
| CN105224546B (zh) * | 2014-06-04 | 2020-10-30 | 创新先进技术有限公司 | 数据存储和查询方法及设备 |
| CN105095478B (zh) * | 2015-08-12 | 2019-03-15 | 浪潮(北京)电子信息产业有限公司 | 一种获取分布式文件系统中文件的创建时间的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术（深圳）有限公司 | 分布式文件系统管理方法、装置以及对应的文件系统 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6625604B2 (en) * | 2001-03-09 | 2003-09-23 | Hewlett-Packard Development Company, L.P. | Namespace service in a distributed file system using a database management system |
| JP2004280283A (ja) * | 2003-03-13 | 2004-10-07 | Hitachi Ltd | 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法 |
| CN1293493C (zh) * | 2003-11-17 | 2007-01-03 | 联想(北京)有限公司 | 机群文件服务系统及其输入输出处理方法 |
-
2011
- 2011-10-19 CN CN201110319440.XA patent/CN103067419B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术（深圳）有限公司 | 分布式文件系统管理方法、装置以及对应的文件系统 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103067419A (zh) | 2013-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10785322B2 (en) | Server side data cache system | |
| CN103780679B (zh) | 基于http协议的长延时远程调用方法 | |
| CN107943594B (zh) | 数据获取方法和装置 | |
| WO2018103709A1 (zh) | 群组会话处理方法、终端、服务器及系统、存储介质 | |
| CN103593147B (zh) | 一种数据读取的方法及装置 | |
| US20150121503A1 (en) | Method, system and storage medium for user account to maintain login state | |
| CN111459418B (zh) | 一种基于rdma的键值存储系统传输方法 | |
| CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其系统 | |
| US20170134495A1 (en) | Method and apparatus for sharing collaboratively edited document | |
| CN102148870B (zh) | 一种云存储系统及其实现方法 | |
| US9483493B2 (en) | Method and system for accessing a distributed file system | |
| US8819139B2 (en) | Virtual desktop infrastructure (VDI) login acceleration | |
| CN103312624A (zh) | 一种消息队列服务系统和方法 | |
| WO2016095149A1 (zh) | 一种数据压缩存储方法、装置，及分布式文件系统 | |
| US7725535B2 (en) | Client-side storage and distribution of asynchronous includes in an application server environment | |
| CN102411631A (zh) | 一种嵌入式浏览器磁盘缓存的方法 | |
| US20150006622A1 (en) | Web contents transmission method and apparatus | |
| CN103067419B (zh) | 一种分布式文件系统及在该系统中控制文件存储的方法 | |
| US10545667B1 (en) | Dynamic data partitioning for stateless request routing | |
| CN102970349B (zh) | 一种dht网络的存储负载均衡方法 | |
| CN103123575A (zh) | 一种数据写入方法 | |
| CN103634374A (zh) | 一种并发访问请求的处理方法及装置 | |
| WO2012028033A1 (zh) | 消息更新的方法和装置 | |
| CN107992340B (zh) | 用于分布式集群系统的系统退出方法及分布式集群系统 | |
| CN101789963A (zh) | 数据同步系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Free format text: FORMER OWNER: BEIDA FANGZHENG ELECTRONICS CO., LTD., BEIJING Effective date: 20131029 Owner name: XIN'AOTE(BEIJING) VIDEO TECHNOLOGY CO., LTD. Free format text: FORMER OWNER: BEIDA FANGZHENG GROUP CO. LTD. Effective date: 20131029 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| COR | Change of bibliographic data |
Free format text: CORRECT: ADDRESS; FROM: 100871 HAIDIAN, BEIJING TO: 100080 HAIDIAN, BEIJING |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20131029 Address after: Newauto Technology Building No. 49 Beijing 100080 Haidian District Wukesong Road Applicant after: China Digital Video (Beijing) Limited Address before: 100871 Beijing, Haidian District into the house road, founder of the building on the 9 floor, No. 298 Applicant before: Peking Founder Group Co., Ltd. Applicant before: Beida Fangzheng Electronics Co., Ltd., Beijing |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 Termination date: 20171019 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |