CN103095758B - 一种分布式文件系统及该系统中处理文件数据的方法 - Google Patents

一种分布式文件系统及该系统中处理文件数据的方法 Download PDF

Info

Publication number
CN103095758B
CN103095758B CN201110340549.1A CN201110340549A CN103095758B CN 103095758 B CN103095758 B CN 103095758B CN 201110340549 A CN201110340549 A CN 201110340549A CN 103095758 B CN103095758 B CN 103095758B
Authority
CN
China
Prior art keywords
data
file
instruction
data server
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110340549.1A
Other languages
English (en)
Other versions
CN103095758A (zh
Inventor
闫宁
董全武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Original Assignee
Peking University
Peking University Founder Group Co Ltd
Beijing Founder Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Peking University Founder Group Co Ltd, Beijing Founder Electronics Co Ltd filed Critical Peking University
Priority to CN201110340549.1A priority Critical patent/CN103095758B/zh
Publication of CN103095758A publication Critical patent/CN103095758A/zh
Application granted granted Critical
Publication of CN103095758B publication Critical patent/CN103095758B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供了一种分布式文件系统中处理文件数据的方法,在存储待处理文件数据的数据服务器中对文件数据进行数据处理,节约将待处理数据从存储文件数据的数据服务器传输到客户端所耗费的软件和硬件资源。本发明的方法包括:控制器接收到客户端发送的访问待处理文件数据的指令后,向客户端返回存储所述待处理文件数据的数据服务器标识信息;当数据服务器接收到客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端。本发明还提供了与方法对应的系统。

Description

一种分布式文件系统及该系统中处理文件数据的方法
技术领域
本发明涉及分布式文件系统技术领域,尤其涉及一种分布式文件系统及该系统中处理文件数据的方法。
背景技术
分布式文件系统是将多台计算机上的存储资源整合起来,提供一个全局的命名空间,当访问这个文件系统时,所显示的目录结构是一致的,在系统中通过两类节点:一类为仲裁节点,命名为控制器;另一类为数据节点,用来实际提供存储资源,命名为数据服务器。分布式文件系统通过这两类节点来查找所需的具体文件。但是,现有分布式文件系统中的数据服务器只负责存储,而数据服务器中文件数据的处理方法为:客户端在访问文件后,将文件转移到客户端,由客户端完成文件数据处理,再将处理结果存储于数据服务器上。分布式文件系统中的现有处理方法不仅没有充分利用数据服务器的硬件资源,并且完成文件数据处理时转移文件数据至客户端需要占用系统中的硬件和软件资源用于数据传输。
发明内容
为了简化分布式文件系统中文件数据的处理方法,节约用于数据传输的硬件和软件资源,本发明提供了一种分布式文件系统中处理文件数据的方法,该方法包括:
控制器接收到客户端发送的访问待处理文件数据的指令后,向客户端返回存储所述待处理文件数据的数据服务器标识信息,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
当数据服务器接收到客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
在数据服务器根据所述文件数据处理指令执行文件数据的处理,并将处理后的结果数据返回客户端后,该方法进一步包括:
当控制器接收到客户端发送的结果数据的存储指令后,为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
数据服务器接收客户端发送的所述结果数据并存储。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
本发明还提供了一种分布式文件系统,该系统包括:控制器、数据服务器和客户端,其中,
控制器用于接收客户端发送的访问待处理文件数据的指令;用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
数据服务器用于接收客户端发送的文件数据处理指令;用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
客户端用于向控制器发送访问待处理文件数据的指令;用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;用于向数据服务器发送文件数据处理指令;用于接收数据服务器发送的处理后返回的结果数据。
所述控制器包括:
访问指令接收单元,用于接收客户端发送的访问待处理文件数据的指令;
待处理数据服务器标识信息发送单元,用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
该系统中数据服务器包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
所述客户端包括:
访问指令发送单元,用于向控制器发送访问待处理文件数据的指令;
待处理数据服务器标识信息接收单元,用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;
文件数据处理指令发送单元,用于向数据服务器发送文件数据处理指令;
结果数据接收单元,用于接收数据服务器发送的处理后返回的结果数据。
该系统控制器还用于接收客户端发送的存储结果数据的指令;用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
所述客户端还用于向控制器发送存储结果数据的指令;用于接收控制器返回的数据服务器标识信息;用于将所述数据结果发送至数据服务器标识信息指示的数据服务器;
所述数据服务器还用于接收客户端发送的所述结果数据并存储。
所述控制器包括:
存储指令接收单元,用于接收客户端发送的存储结果数据的指令;
数据服务器选择单元,用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
数据服务器标识信息发送单元,用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
所述客户端包括:
存储指令发送单元,用于向控制器发送存储结果数据的指令;
待存储数据服务器标识信息接收单元,用于接收控制器指示的数据服务器标识信息;
存储数据结果发送单元,用于将结果数据发送至数据服务器标识信息指示的数据服务器;
所述数据服务器包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
本发明还提供了一种分布式文件系统中处理文件数据的方法,该方法包括:当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端。
该方法进一步包括:
接收客户端发送的所述结果数据并存储。
一种分布式文件系统,该系统中数据服务器包括:
存储模块,用于存储文件数据;
文件数据处理模块,用于当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
所述存储模块,还用于接收客户端发送的所述结果数据并存储。
所述存储模块包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据;
所述文件数据处理模块包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
本发明提供了一种分布式文件系统中处理文件数据的方法及相应的文件分布式系统,利用存储文件数据的数据服务器对文件数据进行处理,则不需要将待处理的文件数据从存储数据的数据服务器传输至客户端,节省了数据处理时用于数据传输需要耗费的硬件和软件资源,也提高了数据服务器的硬件资源的利用率。
附图说明
图1为本发明的实施例文件数据处理的方法流程图;
图2为本发明的实施例文件数据处理的数据服务器侧的方法流程;
图3为本发明的实施例结果数据的存储方法流程图;
图4为本发明的实施例系统结构示意图。
具体实施方式
本发明的技术方案中,处理分布式系统中的文件数据时,在存储此文件数据的数据服务器中执行对文件数据的处理,避免将需要处理的文件数据传输至其他数据服务器,从而节省了传输文件数据所需的软件资源和硬件资源。
下面结合图1对本发明实施例一种分布式文件系统中处理文件数据的方法进行说明。
如图1所示,本发明实施例的方法流程为:
步骤S101,客户端向控制器发送访问待处理文件数据的指令。
步骤S102,控制器向客户端返回存储所述待处理文件数据的数据服务器标识信息,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令。
本步骤中,控制器在其内部保存的数据中查找用于存储待处理文件对应的数据服务器的标识信息,该标识信息即为存储待处理文件数据的数据服务器的标识信息,控制器将获得的数据服务器的标识信息返回客户端。
步骤S103,客户端接收控制器返回的数据服务器标识信息。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。在分布式文件系统中,会有至少一个数据服务器,数据服务器标识信息用于标识数据服务器,客户端根据数据服务器的标识信息就能访问数据服务器上的文件。这里向客户端返回数据服务器的标识信息是为了提供给客户端发送文件数据指令,含有数据服务器标识信息的指令可发送至标识信息所标识的数据服务器上。
步骤S101至步骤S103中,通过控制器根据接收到客户端发送的访问指令查找待处理文件数据所在的数据服务器,并向客户端返回数据服务器的标识信息,为客户端向数据服务器发送文件数据处理指令提供待处理文件数据所在数据服务器的标识信息。
步骤S104,客户端向数据服务器发送文件数据处理的指令。
本步骤中的文件数据处理指令通过步骤S103中从控制器获得的数据服务器标识信息,可将文件数据处理指令发送到存储待处理的文件数据的数据服务器。
步骤S105,数据服务器接收客户端发送的对文件数据执行处理的指令。
本步骤中,具体由存储着待处理文件的数据服务器,接收带有本服务器标识信息的文件数据处理指令。
步骤S106,数据服务器根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
在步骤中,数据服务器接收到文件数据处理指令中含有标识文件数据的文件数据元数据,明确此次数据处理所需要处理的文件数据,同时文件数据处理指令还会指示数据服务器上处理文件数据的程序。关于文件数据的处理可以有多种处理类型,适用于各种数据处理类型的程序预先安装于数据服务器上。根据文件数据处理指令的指示的类型,由与该类型相符的程序对文件数据处理指令指示的文件数据进行处理。如在专门存储视音频文件的分布式文件系统中,数据服务器上可能会预先安装格式转换程序。当接收到对某个视音频文件进行格式转换指令时,针对指令指示的视音频文件进行格式转换。
通过本步骤,在存储文件数据的数据服务器中完成了对此存储文件数据的处理,到达了本发明的目的,节约了用于传输的硬件和软件资源。
本实施例步骤S104至步骤S106中,文件数据指令直接发送至一数据服务器,该数据服务器为文件数据处理指令指示的数据服务器,数据服务器接收到文件数据处理指令后,按照指令指示的处理类型,以与处理指令指示的类型处理指令指示的文件数据。处理完成后,将得到的处理结果数据返回至客户端,供客户端运用。
步骤S107,客户端接收数据服务器发送的处理后得到的结果数据。
本实施例最终处理得到的结果是提供客户端运用,因此步骤S106至步骤S107是数据服务器将数据服务器处理后得到的结果数据发送至客户端,客户端接收结果数据。
根据以上实施例中的步骤S101至步骤S107可以看出,本发明先通过控制器查找到存储待处理文件数据的数据服务器。然后,由客户端将文件数据处理指令直接发送至存储待处理文件数据的数据服务器,数据服务器上由数据处理指令指示的程序对指令指示的文件数据进行处理,达到本发明的目的,即由存储文件的服务器直接对文件数据执行所指示的处理,避免了将文件从存储服务器发送至处理服务器的硬件和软件资源的浪费。
本发明的目的在于存储文件数据的数据服务器上的程序对此文件数据进行处理,现结合附图2对数据服务器的处理流程进行说明。
步骤S201,接收客户端发送的文件数据处理指令。
步骤S202,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理。
文件数据处理指令既指示了需要处理的文件数据,又指示了处理的类型。数据服务器接收到文件数据处理指令后,通过文件数据的元数据,在其内部存储的文件数据里找到此文件数据,与数据处理指令指示的处理类型相符的程序对找到的文件数据进行处理,即达到了本发明在存储此文件数据的数据服务器上处理此文件数据的目的。
步骤S203,将处理后得到的结果数据返回客户端。
在处理完成后,对于处理的结果还可以储存数据服务器中,本实施例中存储结果数据的方法流程如图3所示:
步骤S301,客户端向控制器发送结果数据的存储指令。
步骤S302,控制器接收到指令后,为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据。
技术方案中的元数据用于指示需要存储的结果数据,即为结果数据的标识。元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
步骤S302中,控制器选择一数据服务器后,将存储结果的元数据和所选数据服务器的标识信息建立一种对应关系并保存,以备以后需要查询存储该结果数据的数据服务器。
步骤S303,控制器将所选择的数据服务器标识信息指示给客户端,所选择的数据服务器标识信息用于指示客户端在对应的数据服务器存储所述结果数据。
数据服务器的标识信息还要返回客户端,以指示客户端将数据结果存储于数据服务器上。
步骤S304,客户端接收返回的数据服务器标识信息。
步骤S305,将结果数据发送至所述数据服务器标识信息指示的数据服务器。
步骤S306,数据服务器接收客户端发送的所述结果数据,并存储。
数据服务器标识信息所指示的数据服务器为控制器选取的数据服务器,供客户端将结果数据存储于此数据服务器上。步骤S305至步骤S306则为客户端将结果数据存储于标识信息指示的数据服务器的步骤。
本实施例方案中,步骤S301至步骤S306为存储结果数据的方法流程,根据此流程可保存此次处理的结果至数据服务器,以备后续的访问、使用。
本实施例的技术方案,客户端将文件数据处理指令发送至存储待处理数据的数据服务器,由存储待处理数据的数据服务器处理该文件数据,避免了将待处理的文件数据传输至客户端进行数据处理的麻烦,节约了用于数据传输的软件和硬件资源,同时也提高了数据服务器的利用率。本实施例的技术方案还提供了在数据处理结束后,将结果数据存储于数据服务器中的方法。
本发明还提供了与文件数据处理方法对应的分布式文件系统,下面结合图4说明本系统。
一种分布式文件系统,该系统包括:控制器41、数据服务器42、和客户端43,其中,控制器41包括:访问指令接收单元411和待处理数据服务器标识信息发送单元412。
访问指令接收单元411用于接收客户端发送的访问待处理文件数据的指令;待处理数据服务器标识信息发送单元412用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令。
数据服务器42包括:处理指令接收单元421和文件数据处理单元422。
处理指令接收单元421用于接收客户端发送的文件数据处理指令;文件数据处理单元422,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
客户端43包括:访问指令发送单元431、待处理数据服务器标识信息接收单元432、文件数据处理指令发送单元433和结果数据接收单元434。
访问指令发送单元431用于向控制器发送访问待处理文件数据的指令;待处理数据服务器标识信息接收单元432用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;文件数据处理指令发送单元433用于向数据服务器发送文件数据处理指令;结果数据接收单元434用于接收数据服务器发送的处理后返回的结果数据。
本发明方案中的分布式文件系统在完成文件数据处理后,还可以将得到的结果数据存储于分布式文件系统的数据服务器中,因此本发明的分布式文件系统中的控制器41还包括:存储指令接收单元413、数据服务器选择单元414和数据服务器标识信息发送单元415。
存储指令接收单元414用于接收客户端发送的存储结果数据的指令;数据服务器选择单元414用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;数据服务器标识信息发送单元415用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据。
分布式文件系统的客户端43还包括:存储指令发送单元435、待存储数据服务器标识信息接收单元436和数据结果发送单元437。
存储指令发送单元435用于控制器发送存储结果数据的指令;待存储数据服务器标识信息接收单元436用于接收控制器返回的数据服务器标识信息;数据结果发送单元437用于将结果数据发送至数据服务器标识信息指示的数据服务器。
分布式文件系统的数据服务器42还包括:接收单元423和存储单元424。
接收单元423用于接收客户端发送的所述结果数据;存储单元424用于存储接收到的客户端发送的所述结果数据。
本发明中数据服务器用于完成对存储其中的文件数据进行处理,下面根据图4来说明数据服务器的结构。
数据服务器42包括:文件数据处理模块42a和存储模块42b。
文件数据处理模块42a包括:处理指令接收单元和文件数据处理单元。
处理指令接收单元421用于接收客户端发送的文件数据处理指令;文件数据处理单元422用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端。
存储模块42b包括:接收单元423和存储单元424。
接收单元423用于接收客户端发送的所述结果数据;存储单元424用于存储接收到的客户端发送的所述结果数据。
本实施例中的分布文件式系统用于将对客户端将文件数据处理指令发送至存储待处理数据的数据服务器,由存储待处理数据的数据服务器处理该文件数据,避免了将待处理的文件数据传输至客户端进行数据处理的麻烦,节约了用于数据传输的软件和硬件资源,同时也提高了数据服务器的利用率。本实施例的技术方案还提供了在数据处理结束后,将结果数据存储于数据服务器中的方法。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种分布式文件系统中处理文件数据的方法,其特征在于,该方法包括:
控制器接收到客户端发送的访问待处理文件数据的指令后,向客户端返回存储所述待处理文件数据的数据服务器标识信息,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
当数据服务器接收到客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个;
在将处理后得到的结果数据返回客户端后,该方法进一步包括:
当控制器接收到客户端发送的结果数据的存储指令后,为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
数据服务器接收客户端发送的所述结果数据并存储。
2.根据权利要求1所述的方法,其特征在于,所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
3.一种分布式文件系统,其特征在于,该系统包括:控制器、数据服务器和客户端,其中,
控制器用于接收客户端发送的访问待处理文件数据的指令;用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理 指令;
数据服务器用于接收客户端发送的文件数据处理指令;用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
客户端用于向控制器发送访问待处理文件数据的指令;用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;用于向数据服务器发送文件数据处理指令;用于接收数据服务器发送的处理后返回的结果数据;
所述控制器还用于接收客户端发送的存储结果数据的指令;用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个;
所述客户端还用于向控制器发送存储结果数据的指令;用于接收控制器返回的数据服务器标识信息;用于将所述数据结果发送至数据服务器标识信息指示的数据服务器;
所述数据服务器还用于接收客户端发送的所述结果数据并存储。
4.根据权利要求3所述的系统,其特征在于,所述控制器包括:
访问指令接收单元,用于接收客户端发送的访问待处理文件数据的指令;
待处理数据服务器标识信息发送单元,用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
所述数据服务器包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
所述客户端包括:
访问指令发送单元,用于向控制器发送访问待处理文件数据的指令;
待处理数据服务器标识信息接收单元,用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;
文件数据处理指令发送单元,用于向数据服务器发送文件数据处理指令;
结果数据接收单元,用于接收数据服务器发送的处理后返回的结果数据。
5.根据权利要求3所述的系统,其特征在于,所述控制器包括:
存储指令接收单元,用于接收客户端发送的存储结果数据的指令;
数据服务器选择单元,用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
数据服务器标识信息发送单元,用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
所述客户端包括:
存储指令发送单元,用于向控制器发送存储结果数据的指令;
待存储数据服务器标识信息接收单元,用于接收控制器指示的数据服务器标识信息;
数据结果发送单元,用于将结果数据发送至数据服务器标识信息指示的数据服务器;
所述数据服务器包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据。
6.根据权利要求4所述的系统,其特征在于,所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
7.一种分布式文件系统中处理文件数据的方法,其特征在于,该方法包括:当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个;
接收客户端发送的所述结果数据并存储。
8.一种分布式文件系统,其特征在于,该系统中数据服务器包括:
存储模块,用于存储文件数据;
文件数据处理模块,用于当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个;
所述存储模块,还用于接收客户端发送的所述结果数据并存储。
9.根据权利要求8所述的系统,其特征在于,所述存储模块包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据;
所述文件数据处理模块包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元 数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
CN201110340549.1A 2011-11-01 2011-11-01 一种分布式文件系统及该系统中处理文件数据的方法 Expired - Fee Related CN103095758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110340549.1A CN103095758B (zh) 2011-11-01 2011-11-01 一种分布式文件系统及该系统中处理文件数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110340549.1A CN103095758B (zh) 2011-11-01 2011-11-01 一种分布式文件系统及该系统中处理文件数据的方法

Publications (2)

Publication Number Publication Date
CN103095758A CN103095758A (zh) 2013-05-08
CN103095758B true CN103095758B (zh) 2016-09-21

Family

ID=48207887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110340549.1A Expired - Fee Related CN103095758B (zh) 2011-11-01 2011-11-01 一种分布式文件系统及该系统中处理文件数据的方法

Country Status (1)

Country Link
CN (1) CN103095758B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104283909A (zh) * 2013-07-03 2015-01-14 中国长城计算机深圳股份有限公司 一种兼容桌面应用的云计算方法及装置
CN104468638B (zh) * 2013-09-12 2018-04-03 北大方正集团有限公司 一种分布式数据处理方法及系统
CN104572649B (zh) * 2013-10-11 2019-10-25 南京中兴新软件有限责任公司 分布式存储系统的数据的处理方法、装置及系统
CN104683374B (zh) * 2013-11-28 2019-03-08 北京华云网际科技有限公司 一种分布式存储的缓存更新方法
CN104794114B (zh) * 2014-01-16 2018-04-03 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN104320401B (zh) * 2014-10-31 2018-06-22 北京思特奇信息技术股份有限公司 一种基于分布式文件系统的大数据存储访问系统及方法
CN105843813A (zh) * 2015-01-14 2016-08-10 中国移动通信集团重庆有限公司 一种处理大数据的方法及装置
WO2017028309A1 (zh) * 2015-08-20 2017-02-23 华为技术有限公司 文件数据访问方法和计算机系统
CN107026876B (zh) * 2016-01-29 2019-07-19 杭州海康威视数字技术股份有限公司 一种文件数据访问系统及方法
CN112788078B (zh) * 2019-11-07 2023-03-24 上海哔哩哔哩科技有限公司 数据传输方法、接收装置、发送装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599901A (zh) * 2001-10-02 2005-03-23 茨特里克斯系统公司 在客户端-服务器网络中用文件类型关联执行分布式程序的方法
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100490380C (zh) * 2005-12-26 2009-05-20 北大方正集团有限公司 轻量级分布式文件存储系统文件上传的方法
CN101706802B (zh) * 2009-11-24 2013-06-05 成都市华为赛门铁克科技有限公司 一种数据写入、修改及恢复的方法、装置及服务器
CN101944124B (zh) * 2010-09-21 2012-07-04 卓望数码技术(深圳)有限公司 分布式文件系统管理方法、装置以及对应的文件系统
CN102123167B (zh) * 2010-12-31 2013-08-07 华为数字技术(成都)有限公司 分布式文件系统及其数据存储处理方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1599901A (zh) * 2001-10-02 2005-03-23 茨特里克斯系统公司 在客户端-服务器网络中用文件类型关联执行分布式程序的方法
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法

Also Published As

Publication number Publication date
CN103095758A (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
US11349940B2 (en) Server side data cache system
CN107872528B (zh) 消息推送方法及装置
KR101994021B1 (ko) 파일 조작 방법 및 장치
CN103095769B (zh) 跨机房的数据同步方法以及系统
CN105701096A (zh) 索引生成方法、数据查询方法、装置及系统
CN105677904B (zh) 基于分布式文件系统的小文件存储方法及装置
CN105933376A (zh) 一种数据操作方法,服务器及存储系统
CN102314506B (zh) 基于动态索引的分布式缓冲区管理方法
CN102739720A (zh) 分布式缓存服务器系统及其应用方法、缓存客户端、缓存服务端
CN109800336B (zh) 基于键值对存储系统的表格实现方法、装置、设备和介质
CN104331428A (zh) 一种小文件和大文件的存储及访问方法
RU2005124131A (ru) Устройство обработки информации, способ управления содержанием, способ управления информацией содержания и компьютерная программа
CN103761102B (zh) 一种统一数据服务平台及其实现方法
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN103227826A (zh) 一种文件传输方法及装置
WO2016000507A1 (zh) 省流量模式搜索服务的方法、服务器、客户端和系统
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN106202416A (zh) 列表数据写方法和装置、列表数据读取方法和装置
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN109558378A (zh) 文件管理方法、装置、设备及存储介质
US20090150395A1 (en) System and method for updating file
CN105159925A (zh) 一种数据库集群数据分配方法及系统
CN103186536A (zh) 一种调度数据共享装置的方法及系统
CN104519138A (zh) 一种基于分布式ftp的数据传输方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130508

Assignee: China Digital Video (Beijing) Limited

Assignor: Peking University Founder Group Corp|Beijing Peking University Founder Electronics Co., Ltd.|Peking University

Contract record no.: 2013990000783

Denomination of invention: Distributed file system and file data processing method thereof

License type: Exclusive License

Record date: 20131122

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921

Termination date: 20191101

CF01 Termination of patent right due to non-payment of annual fee