CN105141685A - 文件读写系统及其元数据存储器和文件读写方法和装置 - Google Patents
文件读写系统及其元数据存储器和文件读写方法和装置 Download PDFInfo
- Publication number
- CN105141685A CN105141685A CN201510509488.5A CN201510509488A CN105141685A CN 105141685 A CN105141685 A CN 105141685A CN 201510509488 A CN201510509488 A CN 201510509488A CN 105141685 A CN105141685 A CN 105141685A
- Authority
- CN
- China
- Prior art keywords
- file
- write
- read
- needs
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种文件读写系统及其元数据存储器和文件读写方法和装置,其中,文件写入方法包括:元数据存储器接收客户端文件写入请求,根据该文件写入请求确定客户端需要写入的文件,若该需要写入的文件为小文件,则将该需要写入的文件作为扩展属性存储在该元数据存储器内扩展属性存储模块;文件读取方法包括:元数据存储器接收客户端文件读取请求,根据该文件读取请求确定客户端需要读取的文件,若该需要读取的文件为小文件,则在该元数据存储器内扩展数据存储模块中查询该需要读取的文件,将该需要读取的文件发送给客户端,减少了一层读写通信,避免了数据存储器的存储和读取开销及网络通信损耗,提升了文件写入和读取的处理速率。
Description
技术领域
本发明涉及云存储技术领域,特别是涉及一种文件读写系统及其元数据存储器和文件读写方法和装置。
背景技术
在云存储系统中,服务端集群存储器由元数据存储器和数据存储器构成。当客户端向云存储系统发送数据写入请求时,需要客户端先跟元数据存储器建立连接,由元数据存储器作为中转站,根据一定规则筛选出数据存储器的某个存储节点,再向该存储节点建立连接,将需要写入的数据发送到该存储节点进行储存。相应的,当客户端向云存储系统发送数据读取请求时,也需要客户端先跟该元数据存储器建立连接,由该元数据存储器作为中转站,根据一定规则确定出所需读取的数据在数据存储器中的存储节点,再向该存储节点建立连接,从该存储节点中进行数据读取。无论客户端是向云存储系统写入还是读取数据,都将先将文件数据请求发送给元数据存储器,再到数据存储器中进行写入或读取访问,云存储系统对外提供的文件写入和读取的处理速率较慢。
发明内容
有鉴于此,本发明实施例提供一种文件读写系统及其元数据存储器和文件读写方法和装置,以解决现有技术中无论客户端是向云存储系统写入还是读取数据,都将先将文件数据请发送给元数据存储器,再到数据存储器中进行写入或读取访问,客户端对云存储系统内文件的写入和读取速率较慢的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种用于云存储系统的文件写入方法,包括:
元数据存储器接收客户端发送的文件写入请求;
根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;
若小于,则将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性存储模块。
其中,所述将所述需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性部分后还包括:
判断所述扩展属性存储模块中是否存在所述需要写入的文件;
若存在,则向所述客户端发送文件写入成功信息;
若不存在,则向所述客户端发送重新写入请求。
一种用于云存储系统的文件写入装置,包括:第一接收模块、第一判断模块、写入模块和扩展属性存储模块;其中,
所述第一接收模块,用于接收客户端发送的文件写入请求;
所述第一判断模块,用于根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;
所述写入模块,用于当判定所述需要写入的文件的容量小于预设阈值时,将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
其中,所述文件写入装置还包括:反馈模块,用于将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块后,判断所述扩展属性存储模块中是否存在所述需要写入的文件,若存在,则向所述客户端发送文件写入成功信息,若不存在,则向所述客户端发送重新写入请求。
一种用于云存储系统的文件读取方法,包括:
元数据存储器接收客户端发送的文件读取请求;
根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;
若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器内扩展数据存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
其中,所述将所述需要读取的文件发送给所述客户端后还包括:
判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;
若没有,则向所述客户端发送所述需要读取的文件。
一种用于云存储系统的文件读取装置,包括:第二接收模块、第二判断模块、读取模块和扩展属性存储模块;其中,
所述第二接收模块,用于接收客户端发送的文件读取请求;
所述第二判断模块,用于根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;
所述读取模块,用于当判定所述文件的容量小于预设阈值,说明所述客户端需要读取的文件为小文件时,在所述元数据存储器内扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
其中,所述文件读取装置还包括:第三判断模块,用于将所述需要读取的文件发送给所述客户端后,判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;若没有,则向所述客户端发送所述需要读取的文件。
一种用于云存储系统的元数据存储器,包括:写入模块、读取模块和扩展属性存储模块;其中,
所述写入模块,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块;
所述读取模块,用于当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在所述扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
一种文件读写系统,包括:客户端和上述的元数据存储器;其中,
所述客户端,用于向所述元数据存储器发送文件写入请求或文件读取请求;
所述元数据存储器,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器的扩展属性存储模块;
当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器的扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
基于上述技术方案,本发明实施例提供的文件读写系统及其元数据存储器和文件读写方法和装置,当元数据存储器接收客户端发送的文件写入请求时,根据该文件写入请求确定该客户端需要写入的文件,并判断该需要写入的文件的容量是否小于预设阈值,若判定需要写入的文件的容量小于预设阈值,则将该需要写入文件视为小文件,将该需要写入的文件作为扩展属性存储在该元数据存储器内扩展属性存储模块;当元数据存储器接收客户端发送的文件读取请求时,根据该文件读取请求,确定该客户端需要读取的文件,并判断该需要读取的文件的容量是否小于预设阈值,若判定该需要读取的文件的容量小于预设阈值,则说明该客户端需要读取的文件为小文件,在该元数据存储器内扩展数据存储模块中查询该需要读取的文件,将该需要读取的文件发送给所述客户端。无论客户端是向云存储系统写入还是读取数据,在元数据存储器收到客户端发来的文件数据请求后,若该元数据存储器确定该客户端需要写入或是需要读取的数据为小文件,则将该小文件作为扩展属性存储在自身的扩展属性存储模块中,或是从自身的扩展属性存储模块中搜索该小文件发送给客户端,不再需要将数据传给数据存储器,或是从数据存储器中读取数据,也就是说,当需要写入或读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读写通信,避免了数据存储器的存储和读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件写入和读取的处理速率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的用于云存储系统的文件写入方法的流程图;
图2为本发明实施例提供的用于云存储系统的文件写入方法中发送写入反馈的方法流程图;
图3为本发明实施例提供的用于云存储系统的文件写入装置的系统框图;
图4为本发明实施例提供的用于云存储系统的文件写入装置的另一系统框图;
图5为本发明实施例提供的用于云存储系统的文件读取方法的流程图;
图6为本发明实施例提供的用于云存储系统的文件读取方法中发送读取反馈的方法流程图;
图7为本发明实施例提供的用于云存储系统的文件读取装置的系统框图;
图8为本发明实施例提供的用于云存储系统的文件读取装置的另一系统框图;
图9为本发明实施例提供的用于云存储系统的元数据存储器;
图10为本发明实施例提供的文件读写系统的系统框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的用于云存储系统的文件写入方法的流程图,当需要写入的文件为小文件时,不再需要和数据存储器的通信,减少了一层写入通信,避免了数据存储器的存储开销和网络通信损耗,提升了整个云存储系统对外提供的文件写入的处理速率;参照图1,该用于云存储系统的文件写入方法可以包括:
步骤S100:元数据存储器接收客户端发送的文件写入请求;
当用户需要向云存储系统写入文件时,将通过客户端向云存储系统内元数据存储器发送文件写入请求,相应的,元数据存储器在客户端发送文件写入请求后将接收到该文件写入请求。
步骤S110:根据所述文件写入请求,确定所述客户端需要写入的文件;
元数据存储器在接受到客户端发送来的文件写入请求后,将根据该文件写入请求确定该客户端需要写入云存储系统的文件。
步骤S120:判断所述需要写入的文件的容量是否小于预设阈值;
元数据存储器在确定需要写入的文件后,将确定该需要写入的文件的容量,并判断该需要写入的文件的容量是否小于预设阈值,根据该需要写入的文件的容量的是否小于预设阈值来判定该需要写入的文件是否为小文件。
步骤S130:若小于,则将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性存储模块。
若判定需要写入的文件的容量的小于预设阈值,则认为该需要写入的文件为小文件,将该需要写入的文件作为扩展属性存储在该元数据存储器内扩展属性存储模块,而不再将该需要写入的文件传给数据存储器,提升了云存储系统对外提供的文件写入的处理速率。若判定需要写入的文件的容量的大于或等于预设阈值,则认为该需要写入的文件非小文件,需要将该需要写入的文件通过该元数据存储器传给数据存储器中。
也就是说,在本发明实施例提供的用于云存储系统的文件写入方法中,当判定客户端需要写入云存储系统的文件为小文件时,则只需要向元数据存储器发送文件写入请求,建立该客户端先跟该元数据存储器间的通信连接,将该需要写入的文件发送给该元数据存储器,只有当判定客户端需要写入云存储系统的文件不为小文件时,才既建立客户端先跟元数据存储器间的通信连接,向该元数据存储器发送文件写入请求后,又建立该客户端和数据存储器间的通信连接,将需要写入的数据发送到该数据存储器内。
可选的,在将需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性部分后,还可以通过判断该扩展属性存储模块中是否存在该需要写入的文件,来判断该需要写入的文件是否写入成功。
若该扩展属性存储模块中存在该需要写入的文件,则说明该需要写入的文件写入成功;若该扩展属性存储模块中并没有存储有该需要写入的文件,则说明该需要写入的文件并未写入成功。
其中,扩展属性存储模块中存在需要写入的文件是指,该需要写入的文件完整和检查无错,当存储在扩展属性存储模块中该需要写入的文件完整且检查无错时,认为该扩展属性存储模块中存储该需要写入的文件。
可选的,可以在判定扩展属性存储模块中存在需要写入的文件后,向客户端发送文件写入成功信息,告知客户端其需要写入的文件已经写入成功。
可选的,可以在判定扩展属性存储模块中不存在需要写入的文件后,向客户端发送重新写入请求,告知客户端其需要写入的文件没有写入成功,需要其再次发送该需要写入的文件。
基于上述技术方案,本发明实施例提供的文件写入方法,当元数据存储器接收客户端发送的文件写入请求时,根据该文件写入请求确定该客户端需要写入的文件,并判断该需要写入的文件的容量是否小于预设阈值,若判定需要写入的文件的容量小于预设阈值,则将该需要写入文件视为小文件,将该需要写入的文件作为扩展属性存储在该元数据存储器内扩展属性存储模块。在元数据存储器收到客户端发来的文件写入请求后,若该元数据存储器确定该客户端需要写入的数据为小文件,则将该小文件作为扩展属性存储在自身的扩展属性存储模块中,不再需要将数据传给数据存储器,也就是说,当需要写入的文件为小文件时,将不再需要和数据存储器的通信,减少了一层写入通信,避免了数据存储器的存储开销和网络通信损耗,提升了整个云存储系统对外提供的文件写入的处理速率。
可选的,图2示出了本发明实施例提供的用于云存储系统的文件写入方法中发送写入反馈的方法流程图,参照图2,该发送写入反馈的方法可以包括:
步骤S200:判断所述扩展属性存储模块中是否存在所述需要写入的文件;
其中,判断扩展属性存储模块中是否存在需要写入的文件包括判断该需要写入的文件完整和判断该需要写入的文件是否检查无错,只有当存储在扩展属性存储模块中该需要写入的文件完整且检查无错时,才认为该扩展属性存储模块中存在该需要写入的文件。
步骤S210:若存在,则向所述客户端发送文件写入成功信息;
若判定扩展属性存储模块中存在该需要写入的文件,则说明该需要写入的文件已经写入成功,可向客户端发送文件写入成功信息,告知客户端其需要写入的文件已经写入成功。
步骤S220:若不存在,则向所述客户端发送重新写入请求。
若判定扩展属性存储模块中不存在该需要写入的文件,则说明该需要写入的文件没有写入成功,可向客户端发送重新写入请求,告知客户端其需要写入的文件没有写入成功,需要再次发送该需要写入的文件。
本发明实施例提供的用于云存储系统的文件写入方法,当需要写入的文件为小文件时,不再需要和数据存储器的通信,减少了一层写入通信,避免了数据存储器的存储开销和网络通信损耗,提升了整个云存储系统对外提供的文件写入的处理速率。
下面对本发明实施例提供的用于云存储系统的文件写入装置进行介绍,下文描述的用于云存储系统的文件写入装置与上文描述的用于云存储系统的文件写入方法可相互对应参照。
图3为本发明实施例提供的用于云存储系统的文件写入装置的系统框图,参照图3,该用于云存储系统的文件写入装置可以包括:第一接收模块100、第一判断模块200、写入模块300和扩展属性存储模块400;其中,
第一接收模块100,用于接收客户端发送的文件写入请求;
第一判断模块200,用于根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;
写入模块300,用于当判定所述需要写入的文件的容量小于预设阈值时,将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在扩展属性存储模块400;
扩展属性存储模块400,用于存储作为扩展属性的小文件。
可选的,图4示出了本发明实施例提供的用于云存储系统的文件写入装置的另一系统框图,参照图4,该用于云存储系统的文件写入装置还可以包括:反馈模块500;
反馈模块500,用于将所述需要写入的文件作为扩展属性存在在所述扩展属性存储模块后,判断所述扩展属性存储模块中是否存储所述需要写入的文件,若存在,则向所述客户端发送文件写入成功信息,若不存在,则向所述客户端发送重新写入请求。
本发明实施例提供的用于云存储系统的文件写入装置,当需要写入的文件为小文件时,不再需要和数据存储器的通信,减少了一层写入通信,避免了数据存储器的存储开销和网络通信损耗,提升了整个云存储系统对外提供的文件写入的处理速率。
图5为本发明实施例提供的用于云存储系统的文件读取方法的流程图,当需要读取的文件为小文件时,不再需要和数据存储器的通信,减少了一层读取通信,避免了数据存储器的读取开销和网络通信损耗,提升了整个云存储系统对外提供的文件读取的处理速率;参照图5,该用于云存储系统的文件读取方法可以包括:
步骤S300:元数据存储器接收客户端发送的文件读取请求;
当用户需要向云存储系统读取文件时,将通过客户端向云存储系统内元数据存储器发送文件读取请求,相应的,元数据存储器在客户端发送文件读取请求后将接收到该文件读取请求。
步骤S310:根据所述文件读取请求,确定所述客户端需要读取的文件;
元数据存储器在接受到客户端发送来的文件读取请求后,将根据该文件读取请求确定该客户端需要读取的文件。
步骤S320:判断所述需要读取的文件的容量是否小于预设阈值;
元数据存储器在确定需要读取的文件后,将确定该需要读取的文件的容量,并判断该需要读取的文件的容量是否小于预设阈值,根据该需要读取的文件的容量的是否小于预设阈值来判定该需要读取的文件是否为小文件。
步骤S330:若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器内扩展数据存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
若判定需要读取的文件的容量的小于预设阈值,则说明该需要读取的文件为小文件,在该元数据存储器内扩展数据存储模块中查询该需要读取的文件,而不是在数据存取器中查询该需要读取的文件,并在查询到该需要读取的文件后将该需要读取的文件发送给所述客户端,提升了云存储系统对外提供的文件读取的处理速率。若判定需要读取的文件的容量的大于或等于预设阈值,则说明该需要读取的文件非小文件,则在数据存取器中查询该需要读取的文件。
也就是说,在本发明实施例提供的用于云存储系统的文件读取方法中,当判定客户端需要读取云存储系统的文件为小文件时,则只需要向元数据存储器发送文件读取请求,建立该客户端先跟该元数据存储器间的通信连接,在该元数据存储器内扩展数据存储模块中查询该需要读取的文件,只有当判定客户端需要读取云存储系统的文件不为小文件时,才既建立客户端先跟元数据存储器间的通信连接,向该元数据存储器发送文件读取请求后,又建立该客户端和数据存储器间的通信连接,在数据存取器中查询该需要读取的文件。
可选的,在将该需要读取的文件发送给所述客户端后,还可以通过是否在预定时间内接收到该客户端发送的文件读取成功信息,来判断该客户是否成功读取到该需要读取的文件。
若在预定时间内接收到该客户端发送的文件读取成功信息,则说明该客户端已经成功读取到该需要读取的文件;若未在预定时间内接收到该客户端发送的文件读取成功信息,则说明该客户端未能成功读取到该需要读取的文件。
可选的,可以在判定该客户端未能成功读取到该需要读取的文件后,向客户端再次发送该需要读取的文件。
基于上述技术方案,本发明实施例提供的文件读取方法,当元数据存储器接收客户端发送的文件读取请求时,根据该文件读取请求,确定该客户端需要读取的文件,并判断该需要读取的文件的容量是否小于预设阈值,若判定该需要读取的文件的容量小于预设阈值,则说明该客户端需要读取的文件为小文件,在该元数据存储器内扩展数据存储模块中查询该需要读取的文件,将该需要读取的文件发送给所述客户端。在元数据存储器收到客户端发来的文件读取请求后,若该元数据存储器确定该客户端需要读取的数据为小文件,则从自身的扩展属性存储模块中搜索该小文件发送给客户端,不再从数据存储器中读取数据,也就是说,当需要读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读取通信,避免了数据存储器的读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件读取的处理速率。
可选的,图6示出了本发明实施例提供的用于云存储系统的文件读取方法中发送读取反馈的方法流程图,参照图6,该发送读取反馈的方法可以包括:
步骤S400:判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;
步骤S410:若没有,则向所述客户端发送所述需要读取的文件。
若未能在预定时间内接收到该客户端发送的文件读取成功信息,则说明客户端未能成功读取到该需要读取的文件,可向客户端再次发送该需要读取的文件。
反之,若在预定时间内接收到该客户端发送的文件读取成功信息,则说明客户端已经成功读取到该需要读取的文件,无需再向客户端再次发送该需要读取的文件。
本发明实施例提供的文件读取方法,当需要读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读取通信,避免了数据存储器的读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件读取的处理速率。
下面对本发明实施例提供的用于云存储系统的文件读取装置进行介绍,下文描述的用于云存储系统的文件读取装置与上文描述的用于云存储系统的文件读取方法可相互对应参照。
图7为本发明实施例提供的用于云存储系统的文件读取装置的系统框图,参照图7,该用于云存储系统的文件读取装置可以包括:第二接收模块600、第二判断模块700、读取模块800和扩展属性存储模块400;其中,
第二接收模块600,用于接收客户端发送的文件读取请求;
第二判断模块700,用于根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;
读取模块800,用于当判定所述文件的容量小于预设阈值,说明所述客户端需要读取的文件为小文件时,在所述元数据存储器内扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
扩展属性存储模块400,用于存储作为扩展属性的小文件。
可选的,图8示出了本发明实施例提供的用于云存储系统的文件读取装置的另一系统框图,参照图8,该用于云存储系统的文件读取装置还可以包括:第三判断模块900;其中,
第三判断模块900,用于将所述需要读取的文件发送给所述客户端后,判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;若没有,则向所述客户端发送所述需要读取的文件。
本发明实施例提供的文件读取装置,当需要读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读取通信,避免了数据存储器的读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件读取的处理速率。
下面对本发明实施例提供的用于云存储系统的元数据存储器进行介绍,下文描述的用于云存储系统的元数据存储器与上文描述的用于云存储系统的文件写入装置和文件读取装置可相互对应参照。
图9为本发明实施例提供的用于云存储系统的元数据存储器,参照图9,该元数据存储器包括:写入模块10、读取模块20和扩展属性存储模块400;其中,
写入模块10,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在扩展属性存储模块400;
读取模块20,用于当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在扩展属性存储模块400中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
扩展属性存储模块400,用于存储作为扩展属性的小文件。
本发明实施例提供的用于云存储系统的元数据存储器,当需要写入或读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读写通信,避免了数据存储器的存储和读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件写入和读取的处理速率。
下面对本发明实施例提供的文件读写系统进行介绍,下文描述的文件读写系统包括上描述的元数据存储器,实现向云存储系统写入或读取文件。
图10为本发明实施例提供的文件读写系统的系统框图,包括:客户端1和元数据存储器2;其中,
客户端1,用于向所述元数据存储器发送文件写入请求或文件读取请求;
元数据存储器2,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器的扩展属性存储模块;
当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器的扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
本发明实施例提供的文件读写系统,当需要写入或读取的文件为小文件时,将不再需要和数据存储器的通信,减少了一层读写通信,避免了数据存储器的存储和读取开销及网络通信损耗,提升了整个云存储系统对外提供的文件写入和读取的处理速率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种用于云存储系统的文件写入方法,其特征在于,包括:
元数据存储器接收客户端发送的文件写入请求;
根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;
若小于,则将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性存储模块。
2.根据权利要求1所述的文件写入方法,其特征在于,所述将所述需要写入的文件作为扩展属性存储在所述元数据存储器内扩展属性部分后还包括:
判断所述扩展属性存储模块中是否存在所述需要写入的文件;
若存在,则向所述客户端发送文件写入成功信息;
若不存在,则向所述客户端发送重新写入请求。
3.一种用于云存储系统的文件写入装置,其特征在于,包括:第一接收模块、第一判断模块、写入模块和扩展属性存储模块;其中,
所述第一接收模块,用于接收客户端发送的文件写入请求;
所述第一判断模块,用于根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;
所述写入模块,用于当判定所述需要写入的文件的容量小于预设阈值时,将所述需要写入的文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
4.根据权利要求3所述的文件写入装置,其特征在于,还包括:反馈模块,用于将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块后,判断所述扩展属性存储模块中是否存在所述需要写入的文件,若存在,则向所述客户端发送文件写入成功信息,若不存在,则向所述客户端发送重新写入请求。
5.一种用于云存储系统的文件读取方法,其特征在于,包括:
元数据存储器接收客户端发送的文件读取请求;
根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;
若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器内扩展数据存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
6.根据权利要求1所述的文件读取方法,其特征在于,所述将所述需要读取的文件发送给所述客户端后还包括:
判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;
若没有,则向所述客户端发送所述需要读取的文件。
7.一种用于云存储系统的文件读取装置,其特征在于,包括:第二接收模块、第二判断模块、读取模块和扩展属性存储模块;其中,
所述第二接收模块,用于接收客户端发送的文件读取请求;
所述第二判断模块,用于根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;
所述读取模块,用于当判定所述文件的容量小于预设阈值,说明所述客户端需要读取的文件为小文件时,在所述元数据存储器内扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
8.根据权利要求1所述的文件读取装置,其特征在于,还包括:第三判断模块,用于将所述需要读取的文件发送给所述客户端后,判断是否在预定时间内接收到所述客户端发送的文件读取成功信息;若没有,则向所述客户端发送所述需要读取的文件。
9.一种用于云存储系统的元数据存储器,其特征在于,包括:写入模块、读取模块和扩展属性存储模块;其中,
所述写入模块,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述扩展属性存储模块;
所述读取模块,用于当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在所述扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端;
所述扩展属性存储模块,用于存储作为扩展属性的小文件。
10.一种文件读写系统,其特征在于,包括:客户端和权利要求9所述的元数据存储器;其中,
所述客户端,用于向所述元数据存储器发送文件写入请求或文件读取请求;
所述元数据存储器,用于当接收到所述客户端发送的文件写入请求时,根据所述文件写入请求,确定所述客户端需要写入的文件,判断所述需要写入的文件的容量是否小于预设阈值;若小于,则将所述文件视为小文件,将所述需要写入的文件作为扩展属性存储在所述元数据存储器的扩展属性存储模块;
当接收到所述客户端发送的文件读取请求时,根据所述文件读取请求,确定所述客户端需要读取的文件,判断所述需要读取的文件的容量是否小于预设阈值;若小于,则说明所述客户端需要读取的文件为小文件,在所述元数据存储器的扩展属性存储模块中查询所述需要读取的文件,将所述需要读取的文件发送给所述客户端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510509488.5A CN105141685A (zh) | 2015-08-18 | 2015-08-18 | 文件读写系统及其元数据存储器和文件读写方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510509488.5A CN105141685A (zh) | 2015-08-18 | 2015-08-18 | 文件读写系统及其元数据存储器和文件读写方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105141685A true CN105141685A (zh) | 2015-12-09 |
Family
ID=54726888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510509488.5A Pending CN105141685A (zh) | 2015-08-18 | 2015-08-18 | 文件读写系统及其元数据存储器和文件读写方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105141685A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446155A (zh) * | 2016-09-22 | 2017-02-22 | 北京百度网讯科技有限公司 | 用于在云存储系统中清理数据的方法和装置 |
CN106599046A (zh) * | 2016-11-09 | 2017-04-26 | 深圳市中博睿存科技有限公司 | 分布式文件系统的写入方法及装置 |
CN106777047A (zh) * | 2016-12-09 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种用于分布式系统的元数据读取方法及其装置 |
CN107577421A (zh) * | 2017-07-31 | 2018-01-12 | 深圳市牛鼎丰科技有限公司 | 智能设备扩容方法、装置、存储介质和计算机设备 |
CN109032536A (zh) * | 2018-08-31 | 2018-12-18 | 郑州云海信息技术有限公司 | 基于分布式集群系统的数据存储方法、装置、系统及设备 |
CN110109884A (zh) * | 2019-05-23 | 2019-08-09 | 苏州浪潮智能科技有限公司 | 一种文件读取方法、装置、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070256081A1 (en) * | 2006-04-28 | 2007-11-01 | Michael Comer | System and method for management of jobs in a cluster environment |
CN103678579A (zh) * | 2013-12-12 | 2014-03-26 | 浪潮电子信息产业股份有限公司 | 一种小文件存储效率的优化方法 |
WO2014153931A1 (zh) * | 2013-03-27 | 2014-10-02 | 中兴通讯股份有限公司 | 文件存储方法、装置、访问客户端及元数据服务器系统 |
CN104102708A (zh) * | 2014-07-14 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现小文件存取的方法及装置 |
-
2015
- 2015-08-18 CN CN201510509488.5A patent/CN105141685A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070256081A1 (en) * | 2006-04-28 | 2007-11-01 | Michael Comer | System and method for management of jobs in a cluster environment |
WO2014153931A1 (zh) * | 2013-03-27 | 2014-10-02 | 中兴通讯股份有限公司 | 文件存储方法、装置、访问客户端及元数据服务器系统 |
CN103678579A (zh) * | 2013-12-12 | 2014-03-26 | 浪潮电子信息产业股份有限公司 | 一种小文件存储效率的优化方法 |
CN104102708A (zh) * | 2014-07-14 | 2014-10-15 | 浪潮(北京)电子信息产业有限公司 | 一种实现小文件存取的方法及装置 |
Non-Patent Citations (1)
Title |
---|
范小康: "云存储网关中可扩展的目录服务器系统的研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446155A (zh) * | 2016-09-22 | 2017-02-22 | 北京百度网讯科技有限公司 | 用于在云存储系统中清理数据的方法和装置 |
US10698863B2 (en) | 2016-09-22 | 2020-06-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for clearing data in cloud storage system |
CN106599046A (zh) * | 2016-11-09 | 2017-04-26 | 深圳市中博睿存科技有限公司 | 分布式文件系统的写入方法及装置 |
CN106777047A (zh) * | 2016-12-09 | 2017-05-31 | 郑州云海信息技术有限公司 | 一种用于分布式系统的元数据读取方法及其装置 |
CN107577421A (zh) * | 2017-07-31 | 2018-01-12 | 深圳市牛鼎丰科技有限公司 | 智能设备扩容方法、装置、存储介质和计算机设备 |
CN109032536A (zh) * | 2018-08-31 | 2018-12-18 | 郑州云海信息技术有限公司 | 基于分布式集群系统的数据存储方法、装置、系统及设备 |
CN109032536B (zh) * | 2018-08-31 | 2021-08-10 | 郑州云海信息技术有限公司 | 基于分布式集群系统的数据存储方法、装置、系统及设备 |
CN110109884A (zh) * | 2019-05-23 | 2019-08-09 | 苏州浪潮智能科技有限公司 | 一种文件读取方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105141685A (zh) | 文件读写系统及其元数据存储器和文件读写方法和装置 | |
CN101009516B (zh) | 一种进行数据同步的方法、系统及装置 | |
JP6370912B2 (ja) | ユーザデータを送信及び受信するための方法及び端末デバイス | |
CN106911780A (zh) | 业务id生成方法、装置及系统 | |
CN102708165A (zh) | 分布式文件系统中的文件处理方法及装置 | |
CN104092717A (zh) | 消息处理方法及系统、消息目的端设备与分布式消息系统 | |
CN105095489A (zh) | 一种分布式文件删除方法、装置和系统 | |
CN104216835A (zh) | 一种实现内存融合的方法及装置 | |
CN103324533A (zh) | 分布式数据处理方法、装置及系统 | |
CN104866234A (zh) | 数据迁移方法、装置及系统 | |
CN105760467A (zh) | 一种数据实时读写方法、装置、系统及nfs服务器 | |
CN111143290A (zh) | 一种内存管理方法、系统、设备及计算机可读存储介质 | |
CN103580918B (zh) | 一种配置数据处理方法及装置 | |
CN103986779A (zh) | 一种应用数据传输方法、装置及终端设备 | |
CN103049540A (zh) | 一种大文件烧录的方法及相关装置 | |
CN103778120A (zh) | 全局文件标识生成方法、生成装置及相应的分布式文件系统 | |
CN110825309B (zh) | 数据读取方法、装置及系统、分布式系统 | |
CN114138181B (zh) | 一种绑定池放置组选主的方法、装置、设备及可读介质 | |
CN103731424B (zh) | 一种网络数据的传输方法、装置及系统 | |
CN102650932A (zh) | 数据的访问方法、设备和系统 | |
CN105141696A (zh) | 文件上传方法和装置 | |
CN102164152A (zh) | 一种远程处理文件的方法及系统 | |
CN105144073A (zh) | 可移除存储设备身份和配置信息 | |
CN106506640A (zh) | 一种snmp请求的处理方法及装置 | |
CN103077134A (zh) | 一种嵌入式系统中实现多管道数据传输的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151209 |