发明内容
为了简化分布式文件系统中文件数据的处理方法,节约用于数据传输的硬件和软件资源,本发明提供了一种分布式文件系统中处理文件数据的方法,该方法包括:
控制器接收到客户端发送的访问待处理文件数据的指令后,向客户端返回存储所述待处理文件数据的数据服务器标识信息,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
当数据服务器接收到客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
在数据服务器根据所述文件数据处理指令执行文件数据的处理,并将处理后的结果数据返回客户端后,该方法进一步包括:
当控制器接收到客户端发送的结果数据的存储指令后,为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
数据服务器接收客户端发送的所述结果数据并存储。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
本发明还提供了一种分布式文件系统,该系统包括:控制器、数据服务器和客户端,其中,
控制器用于接收客户端发送的访问待处理文件数据的指令;用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
数据服务器用于接收客户端发送的文件数据处理指令;用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
客户端用于向控制器发送访问待处理文件数据的指令;用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;用于向数据服务器发送文件数据处理指令;用于接收数据服务器发送的处理后返回的结果数据。
所述控制器包括:
访问指令接收单元,用于接收客户端发送的访问待处理文件数据的指令;
待处理数据服务器标识信息发送单元,用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令;
该系统中数据服务器包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中;
所述客户端包括:
访问指令发送单元,用于向控制器发送访问待处理文件数据的指令;
待处理数据服务器标识信息接收单元,用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;
文件数据处理指令发送单元,用于向数据服务器发送文件数据处理指令;
结果数据接收单元,用于接收数据服务器发送的处理后返回的结果数据。
该系统控制器还用于接收客户端发送的存储结果数据的指令;用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
所述客户端还用于向控制器发送存储结果数据的指令;用于接收控制器返回的数据服务器标识信息;用于将所述数据结果发送至数据服务器标识信息指示的数据服务器;
所述数据服务器还用于接收客户端发送的所述结果数据并存储。
所述控制器包括:
存储指令接收单元,用于接收客户端发送的存储结果数据的指令;
数据服务器选择单元,用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;
数据服务器标识信息发送单元,用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据;
所述客户端包括:
存储指令发送单元,用于向控制器发送存储结果数据的指令;
待存储数据服务器标识信息接收单元,用于接收控制器指示的数据服务器标识信息;
存储数据结果发送单元,用于将结果数据发送至数据服务器标识信息指示的数据服务器;
所述数据服务器包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。
本发明还提供了一种分布式文件系统中处理文件数据的方法,该方法包括:当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端。
该方法进一步包括:
接收客户端发送的所述结果数据并存储。
一种分布式文件系统,该系统中数据服务器包括:
存储模块,用于存储文件数据;
文件数据处理模块,用于当接收客户端发送的文件数据处理指令时,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
所述存储模块,还用于接收客户端发送的所述结果数据并存储。
所述存储模块包括:
接收单元,用于接收客户端发送的所述结果数据;
存储单元,用于存储接收到的客户端发送的所述结果数据;
所述文件数据处理模块包括:
处理指令接收单元,用于接收客户端发送的文件数据处理指令;
文件数据处理单元,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。
本发明提供了一种分布式文件系统中处理文件数据的方法及相应的文件分布式系统,利用存储文件数据的数据服务器对文件数据进行处理,则不需要将待处理的文件数据从存储数据的数据服务器传输至客户端,节省了数据处理时用于数据传输需要耗费的硬件和软件资源,也提高了数据服务器的硬件资源的利用率。
具体实施方式
本发明的技术方案中,处理分布式系统中的文件数据时,在存储此文件数据的数据服务器中执行对文件数据的处理,避免将需要处理的文件数据传输至其他数据服务器,从而节省了传输文件数据所需的软件资源和硬件资源。
下面结合图1对本发明实施例一种分布式文件系统中处理文件数据的方法进行说明。
如图1所示,本发明实施例的方法流程为:
步骤S101,客户端向控制器发送访问待处理文件数据的指令。
步骤S102,控制器向客户端返回存储所述待处理文件数据的数据服务器标识信息,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令。
本步骤中,控制器在其内部保存的数据中查找用于存储待处理文件对应的数据服务器的标识信息,该标识信息即为存储待处理文件数据的数据服务器的标识信息,控制器将获得的数据服务器的标识信息返回客户端。
步骤S103,客户端接收控制器返回的数据服务器标识信息。
所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。在分布式文件系统中,会有至少一个数据服务器,数据服务器标识信息用于标识数据服务器,客户端根据数据服务器的标识信息就能访问数据服务器上的文件。这里向客户端返回数据服务器的标识信息是为了提供给客户端发送文件数据指令,含有数据服务器标识信息的指令可发送至标识信息所标识的数据服务器上。
步骤S101至步骤S103中,通过控制器根据接收到客户端发送的访问指令查找待处理文件数据所在的数据服务器,并向客户端返回数据服务器的标识信息,为客户端向数据服务器发送文件数据处理指令提供待处理文件数据所在数据服务器的标识信息。
步骤S104,客户端向数据服务器发送文件数据处理的指令。
本步骤中的文件数据处理指令通过步骤S103中从控制器获得的数据服务器标识信息,可将文件数据处理指令发送到存储待处理的文件数据的数据服务器。
步骤S105,数据服务器接收客户端发送的对文件数据执行处理的指令。
本步骤中,具体由存储着待处理文件的数据服务器,接收带有本服务器标识信息的文件数据处理指令。
步骤S106,数据服务器根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
在步骤中,数据服务器接收到文件数据处理指令中含有标识文件数据的文件数据元数据,明确此次数据处理所需要处理的文件数据,同时文件数据处理指令还会指示数据服务器上处理文件数据的程序。关于文件数据的处理可以有多种处理类型,适用于各种数据处理类型的程序预先安装于数据服务器上。根据文件数据处理指令的指示的类型,由与该类型相符的程序对文件数据处理指令指示的文件数据进行处理。如在专门存储视音频文件的分布式文件系统中,数据服务器上可能会预先安装格式转换程序。当接收到对某个视音频文件进行格式转换指令时,针对指令指示的视音频文件进行格式转换。
通过本步骤,在存储文件数据的数据服务器中完成了对此存储文件数据的处理,到达了本发明的目的,节约了用于传输的硬件和软件资源。
本实施例步骤S104至步骤S106中,文件数据指令直接发送至一数据服务器,该数据服务器为文件数据处理指令指示的数据服务器,数据服务器接收到文件数据处理指令后,按照指令指示的处理类型,以与处理指令指示的类型处理指令指示的文件数据。处理完成后,将得到的处理结果数据返回至客户端,供客户端运用。
步骤S107,客户端接收数据服务器发送的处理后得到的结果数据。
本实施例最终处理得到的结果是提供客户端运用,因此步骤S106至步骤S107是数据服务器将数据服务器处理后得到的结果数据发送至客户端,客户端接收结果数据。
根据以上实施例中的步骤S101至步骤S107可以看出,本发明先通过控制器查找到存储待处理文件数据的数据服务器。然后,由客户端将文件数据处理指令直接发送至存储待处理文件数据的数据服务器,数据服务器上由数据处理指令指示的程序对指令指示的文件数据进行处理,达到本发明的目的,即由存储文件的服务器直接对文件数据执行所指示的处理,避免了将文件从存储服务器发送至处理服务器的硬件和软件资源的浪费。
本发明的目的在于存储文件数据的数据服务器上的程序对此文件数据进行处理,现结合附图2对数据服务器的处理流程进行说明。
步骤S201,接收客户端发送的文件数据处理指令。
步骤S202,根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理。
文件数据处理指令既指示了需要处理的文件数据,又指示了处理的类型。数据服务器接收到文件数据处理指令后,通过文件数据的元数据,在其内部存储的文件数据里找到此文件数据,与数据处理指令指示的处理类型相符的程序对找到的文件数据进行处理,即达到了本发明在存储此文件数据的数据服务器上处理此文件数据的目的。
步骤S203,将处理后得到的结果数据返回客户端。
在处理完成后,对于处理的结果还可以储存数据服务器中,本实施例中存储结果数据的方法流程如图3所示:
步骤S301,客户端向控制器发送结果数据的存储指令。
步骤S302,控制器接收到指令后,为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据。
技术方案中的元数据用于指示需要存储的结果数据,即为结果数据的标识。元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的一个或多个。
步骤S302中,控制器选择一数据服务器后,将存储结果的元数据和所选数据服务器的标识信息建立一种对应关系并保存,以备以后需要查询存储该结果数据的数据服务器。
步骤S303,控制器将所选择的数据服务器标识信息指示给客户端,所选择的数据服务器标识信息用于指示客户端在对应的数据服务器存储所述结果数据。
数据服务器的标识信息还要返回客户端,以指示客户端将数据结果存储于数据服务器上。
步骤S304,客户端接收返回的数据服务器标识信息。
步骤S305,将结果数据发送至所述数据服务器标识信息指示的数据服务器。
步骤S306,数据服务器接收客户端发送的所述结果数据,并存储。
数据服务器标识信息所指示的数据服务器为控制器选取的数据服务器,供客户端将结果数据存储于此数据服务器上。步骤S305至步骤S306则为客户端将结果数据存储于标识信息指示的数据服务器的步骤。
本实施例方案中,步骤S301至步骤S306为存储结果数据的方法流程,根据此流程可保存此次处理的结果至数据服务器,以备后续的访问、使用。
本实施例的技术方案,客户端将文件数据处理指令发送至存储待处理数据的数据服务器,由存储待处理数据的数据服务器处理该文件数据,避免了将待处理的文件数据传输至客户端进行数据处理的麻烦,节约了用于数据传输的软件和硬件资源,同时也提高了数据服务器的利用率。本实施例的技术方案还提供了在数据处理结束后,将结果数据存储于数据服务器中的方法。
本发明还提供了与文件数据处理方法对应的分布式文件系统,下面结合图4说明本系统。
一种分布式文件系统,该系统包括:控制器41、数据服务器42、和客户端43,其中,控制器41包括:访问指令接收单元411和待处理数据服务器标识信息发送单元412。
访问指令接收单元411用于接收客户端发送的访问待处理文件数据的指令;待处理数据服务器标识信息发送单元412用于向客户端返回数据服务器标识信息,所述数据服务器为存储待处理文件数据的数据服务器,其中,所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令。
数据服务器42包括:处理指令接收单元421和文件数据处理单元422。
处理指令接收单元421用于接收客户端发送的文件数据处理指令;文件数据处理单元422,用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端,其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找,所述程序存储于数据服务器中。
客户端43包括:访问指令发送单元431、待处理数据服务器标识信息接收单元432、文件数据处理指令发送单元433和结果数据接收单元434。
访问指令发送单元431用于向控制器发送访问待处理文件数据的指令;待处理数据服务器标识信息接收单元432用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息;文件数据处理指令发送单元433用于向数据服务器发送文件数据处理指令;结果数据接收单元434用于接收数据服务器发送的处理后返回的结果数据。
本发明方案中的分布式文件系统在完成文件数据处理后,还可以将得到的结果数据存储于分布式文件系统的数据服务器中,因此本发明的分布式文件系统中的控制器41还包括:存储指令接收单元413、数据服务器选择单元414和数据服务器标识信息发送单元415。
存储指令接收单元414用于接收客户端发送的存储结果数据的指令;数据服务器选择单元414用于为所述结果数据选择一数据服务器,并保存所选择的数据服务器标识信息和所述结果数据的元数据;数据服务器标识信息发送单元415用于将所选择的数据服务器标识信息返回给客户端,所选择的数据服务器标识信息用于提供给客户端发送所述结果数据。
分布式文件系统的客户端43还包括:存储指令发送单元435、待存储数据服务器标识信息接收单元436和数据结果发送单元437。
存储指令发送单元435用于控制器发送存储结果数据的指令;待存储数据服务器标识信息接收单元436用于接收控制器返回的数据服务器标识信息;数据结果发送单元437用于将结果数据发送至数据服务器标识信息指示的数据服务器。
分布式文件系统的数据服务器42还包括:接收单元423和存储单元424。
接收单元423用于接收客户端发送的所述结果数据;存储单元424用于存储接收到的客户端发送的所述结果数据。
本发明中数据服务器用于完成对存储其中的文件数据进行处理,下面根据图4来说明数据服务器的结构。
数据服务器42包括:文件数据处理模块42a和存储模块42b。
文件数据处理模块42a包括:处理指令接收单元和文件数据处理单元。
处理指令接收单元421用于接收客户端发送的文件数据处理指令;文件数据处理单元422用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据,其中所述查找为数据服务器在其内部存储的文件数据中进行查找,由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理,并将处理后得到的结果数据返回客户端。
存储模块42b包括:接收单元423和存储单元424。
接收单元423用于接收客户端发送的所述结果数据;存储单元424用于存储接收到的客户端发送的所述结果数据。
本实施例中的分布文件式系统用于将对客户端将文件数据处理指令发送至存储待处理数据的数据服务器,由存储待处理数据的数据服务器处理该文件数据,避免了将待处理的文件数据传输至客户端进行数据处理的麻烦,节约了用于数据传输的软件和硬件资源,同时也提高了数据服务器的利用率。本实施例的技术方案还提供了在数据处理结束后,将结果数据存储于数据服务器中的方法。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。