CN101510219A - 文件数据访问方法、装置以及系统 - Google Patents

文件数据访问方法、装置以及系统 Download PDF

Info

Publication number
CN101510219A
CN101510219A CNA2009101305059A CN200910130505A CN101510219A CN 101510219 A CN101510219 A CN 101510219A CN A2009101305059 A CNA2009101305059 A CN A2009101305059A CN 200910130505 A CN200910130505 A CN 200910130505A CN 101510219 A CN101510219 A CN 101510219A
Authority
CN
China
Prior art keywords
file
client
metadata
described file
data server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009101305059A
Other languages
English (en)
Other versions
CN101510219B (zh
Inventor
黄志昊
马金亮
云岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Huawei Symantec Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Symantec Technologies Co Ltd filed Critical Huawei Symantec Technologies Co Ltd
Priority to CN2009101305059A priority Critical patent/CN101510219B/zh
Publication of CN101510219A publication Critical patent/CN101510219A/zh
Application granted granted Critical
Publication of CN101510219B publication Critical patent/CN101510219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种文件数据访问方法、装置以及系统,所述方法包括:向元数据服务器发送文件的元数据请求消息;接收元数据服务器返回的文件的元数据;根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取文件的所有数据。本发明实现了对热点小文件进行多级缓存,使得针对热点小文件,可以从本地缓存获取所述文件的所有数据,或从数据服务器的高速缓存中获取所述文件的所有数据,从而提高了网络存储中热点小文件读取效率,进而达到了提高热点小文件访问速度,减少网络流量。

Description

文件数据访问方法、装置以及系统
技术领域
本发明涉及网络存储技术,尤其涉及一种文件数据访问方法、文件的元数据发送方法、装置以及系统。
背景技术
随着计算机网络和信息技术的飞速发展,全球信息存储容量急剧增长,同时网络存储技术不断发展,分布式存储运用广泛,网络规模不断扩大,访问节点越来越多。在很多的应用中,例如WEB 2.0,数据量十分巨大,但是通常只有少部分内容访问频繁,大量客户端访问一个存储节点,文件读取效率很低,造成网络负载不均,访问时延增大等问题。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:存储系统中被频繁访问的文件,现有系统中通过存放多份在不同的存储节点中,采用并发的方式减少某些存储节点的负荷。客户端读取文件,无论是什么文件,第一次都不会将整个文件全部读到内存中,需要向普通存储设备下发多次I/O请求次数;并且读出之后缓存在当前线程的内存之中,无法与其它线程共享。同一客户端不同的线程还可能重新发起I/O请求来读取相同文件,导致增加了网络交互和磁盘读取,且造成了文件访问速度慢,尤其热点小文件的读取效率低。
发明内容
本发明实施例提供一种文件数据访问方法、文件的元数据发送方法、装置以及系统,以提高网络存储中热点小文件读取效率。
一方面,本发明实施例提供了一种文件数据访问方法,向元数据服务器发送文件的元数据请求消息;接收元数据服务器返回的文件的元数据;根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取文件的所有数据。
另一方面,本发明实施例提供了一种文件的元数据发送方法,所述方法包括:接收客户端发送的文件的元数据请求消息;根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将文件的所有数据发送给客户端进行缓存的第一消息或者用于将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备的第二消息;向客户端返回请求的文件的元数据。
又一方面,本发明实施例提供了一种客户端,所述客户端包括:元数据请求单元,用于向元数据服务器发送文件的元数据请求消息,并接收元数据服务器返回的文件的元数据;数据获取单元,用于根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取文件的所有数据。
又一方面,本发明实施例提供了一种元数据服务器,所述元数据服务器包括:元数据请求响应单元,用于接收客户端发送的文件的元数据请求消息,并用于向客户端返回请求的文件的元数据;数据缓存确定单元,用于根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将文件的所有数据发送给客户端进行缓存的第一消息或者用于将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备的第二消息。
再一方面,本发明实施例提供了一种文件数据传输系统,所述系统包括:客户端,用于根据从元数据服务器请求得到的文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据;元数据服务器,用于根据文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息;数据服务器,用于根据所述元数据服务器发送的第一消息或第二消息,对应的将所述文件的所有数据发送给所述客户端进行缓存或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备中。
上述技术方案具有如下有益效果:由于采用根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送将文件的所有数据发送给客户端进行缓存的第一消息或者将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备的第二消息,实现了对热点小文件进行多级缓存,使得针对热点小文件,客户端可以根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,对应的从本地缓存获取所述文件的所有数据,或从数据服务器的高速缓存中获取所述文件的所有数据,从而提高了网络存储中热点小文件读取效率,进而达到了提高热点小文件访问速度,减少网络流量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一种文件数据访问方法流程图;
图2是本发明实施例一种文件的元数据发送方法流程图;
图3是本发明实施例一种文件数据访问方法流程图;
图4是本发明实施例一种客户端结构示意图;
图5是本发明实施例一种元数据服务器结构示意图;
图6是本发明实施例另一种元数据服务器结构示意图;
图7是本发明实施例一种数据服务器结构示意图;
图8是本发明实施例另一种数据服务器结构示意图;
图9是本发明实施例一种文件数据传输系统结构示意图;
图10是本发明实施例另一种文件数据传输系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,通过采用根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送将文件的所有数据发送给客户端进行缓存或者将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备中的消息,实现了对热点小文件进行多级缓存,使得针对热点小文件,客户端可以根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,对应的从本地缓存获取所述文件的所有数据,或从数据服务器的高速缓存中获取所述文件的所有数据。
实施例一:
如图1所示,是本发明实施例一种文件数据访问方法的流程示意图,所述方法包括:
步骤101,向元数据服务器发送文件的元数据请求消息。
步骤102,接收元数据服务器返回的文件的元数据。
优选的,文件的元数据可以包括文件的大小属性值、文件的单客户端访问频率/多客户端访问频率、文件的文件名和文件的所有数据缓存地址信息中的一种或多种。
步骤103,根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取文件的所有数据。
优选的,如果所述文件大小属性值小于大小预定值,且请求所述文件的客户端的单客户端访问频率大于预定热点频率,则从所述客户端本地缓存获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据;在一种实现下,文件的大小预定值可以设置为2M;文件的预定热点频率可以设置为该文件单位时间内的客户端访问量占总文件客户端访问量的10%时的客户端访问频率。预定热点频率根据单位时间访问次数定义,具体阈值可以调节,并不一定是一个定值,前面所述的文件的大小预定值同理。
如果所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则从所述数据服务器的高速存储器中获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据。这里的,数据服务器的高速存储器包括固态硬盘等等,高速存储器较普通存储器存储速度或I/O访问速度快。
可见,本发明实施例中的文件数据访问方法通过根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,可以选择性的,从本地缓存获取所述文件的所有数据,或从数据服务器的高速缓存中获取所述文件的所有数据,从而提高了网络存储中热点小文件读取效率,进而达到了提高热点小文件访问速度,减少网络流量。
如图2所示,是本发明实施例一种文件的元数据发送方法流程图,所述方法包括:
步骤201,接收客户端发送的文件的元数据请求消息。
优选的,所述方法还可以包括:根据接收的客户端发送的文件的元数据请求消息的次数统计所述文件的访问频率,所述访问频率包括单客户端访问频率和/或多客户端访问频率,即统计各个客户端针对不同文件的单客户端访问频率,和/或多个客户端针对同一文件的多客户端访问频率。
步骤202,根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将文件的所有数据发送给客户端进行缓存的第一消息或者用于将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备的第二消息。
优选的,如果所述文件大小属性值小于大小预定值,且所述文件的当前请求客户端的单客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息;这里的,文件的大小预定值可以设置为2M;文件的预定热点频率可以设置为该文件单位时间内的客户端访问量占总文件客户端访问量的10%时的客户端访问频率。预定热点频率根据单位时间访问次数定义,具体阈值可以调节,并不一定是一个定值,前面文件的大小预定值同理。
如果所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
步骤203,向客户端返回请求的文件的元数据。
优选的,向所述客户端返回的所述请求的文件的元数据可以包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种。
可见,本发明实施例中的文件的元数据发送方法实现了对热点小文件进行多级缓存,从而提高了网络存储中小文件读取效率,进而达到了提高热点小文件访问速度,减少网络流量。
如图3所示,是本发明实施例一种文件数据访问方法流程图,可以应用于数据服务器,所述方法包括:
步骤301,接收客户端发送的文件读取请求。
优选的,所述接收客户端发送的文件读取请求之前还包括:根据元数据服务器发送的用于将所述文件的所有数据进行缓存的第一或第二消息,将所述文件的所有数据发送给所述客户端进行缓存或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备中。数据服务器的高速存储设备可以包括固态硬盘等,应当理解的是,本发明高速存储设备并不限于固态硬盘。
步骤302,根据文件读取请求中的文件的所有数据缓存地址信息,向客户端返回数据服务器的高速存储设备中的所述文件的所有数据缓存地址信息对应的文件的所有数据。
这里数据服务器的高速存储设备包括固态硬盘。
可见,本发明方法实施例通过一次请求,将所有数据读入文件系统本地缓存,应用层无需申请固定内存来进行预存,可以直接读取缓存,包括多线程读取的情况,从而减少设备I/O请求次数,如果预定热点频率由单个客户端产生,将缓存维持在客户端,减少网络请求;如果预定热点频率由多个客户端产生,增加缓存,由普通存储设备拷贝一份到高速存储设备,减少设备I/O请求次数,提高读速度,减少网络流量的技术效果。
实施例二:
如图4所示,是本发明实施例一种客户端的结构示意图,客户端40包括:
元数据请求单元401,用于向元数据服务器发送文件的元数据请求消息,并用于接收所述元数据服务器返回的所述文件的元数据;
数据获取单元402,用于根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据。
优选的,所述接收的文件的元数据可以包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种,其中:
所述数据获取单元402包括:
比较单元4023,用于比较所述文件的大小属性值与所述文件的大小预定值,以及比较所述文件的所述客户端的单客户端访问频率或多客户端访问频率与预定热点频率;
第一数据获取单元4021,用于如果所述比较单元确定所述文件大小属性值小于大小预定值,且请求所述文件的客户端的单客户端访问频率大于预定热点频率,则从所述客户端本地缓存获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据;
和/或,第二数据获取单元4022,用于如果所述比较单元确定所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则从所述数据服务器的高速存储器中获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据。
这里的,文件的大小预定值可以设置为2M等;文件的预定热点频率可以设置为该文件单位时间内的客户端访问量占总文件客户端访问量的10%时的客户端访问频率。预定热点频率根据单位时间访问次数定义,具体阈值可以调节,并不一定是一个定值,前面文件的大小预定值同理。以及,数据服务器的高速存储器包括固态硬盘等。
如图5所示,是本发明实施例一种元数据服务器的结构示意图,所述元数据服务器50包括:
元数据请求响应单元501,用于接收客户端发送的文件的元数据请求消息,并用于向所述客户端返回所述请求的文件的元数据;
数据缓存确定单元502,用于根据文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
优选的,所述文件的元数据可以包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种,其中:
所述数据缓存确定单元502包括:
第一数据缓存确定单元5021,用于如果所述文件的大小属性值小于大小预定值,且所述文件的当前请求客户端的单客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息;
和/或,第二数据缓存确定单元5022,用于如果所述文件的大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。这里的数据服务器的高速存储器包括固态硬盘等。
另外,如图6所示,是本发明实施例另一种元数据服务器的结构示意图,该元数据服务器60在图5的基础上,还包括访问频率统计单元503,用于根据接收的客户端发送的文件的元数据请求消息的次数统计各个客户端针对不同文件的单客户端访问频率,和/或多个客户端针对同一文件的多客户端访问频率。
本发明实施例中,所述元数据服务器60还包括元数据存储单元504,用于存储文件的元数据,所述文件的元数据包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种。
优选的,图5和图6中的文件的大小预定值可以设置为2M;文件的预定热点频率可以设置为该文件单位时间内的客户端访问量占总文件客户端访问量的10%时的客户端访问频率。预定热点频率根据单位时间访问次数定义,具体阈值可以调节,并不一定是一个定值,前面文件的大小预定值同理。文件的元数据可以包括文件的大小属性值、文件的单客户端访问频率/多客户端访问频率、文件的文件名和文件的所有数据缓存地址信息等属性信息。
如图7所示,是本发明实施例一种数据服务器的结构示意图,所述数据服务器70包括:
信息接收单元701,用于接收客户端发送的文件读取请求;
数据发送单元702,用于根据所述文件读取请求中的所述文件的所有数据缓存地址信息,向所述客户端返回所述数据服务器的高速存储设备中所述文件的所有数据缓存地址信息对应的所述文件的所有数据。
如图8所示,是本发明实施例另一种数据服务器结构示意图,在图7的基础上,数据服务器80还包括数据缓存单元803,用于根据接收的元数据服务器发送的用于将所述文件的所有数据进行缓存的消息,对应的将所述文件的所有数据发送给所述客户端进行缓存或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备中。这里的元数据服务器发送的用于将所述文件的所有数据进行缓存的消息包括:元数据服务器向数据服务器发送的用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息、元数据服务器向数据服务器发送的用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
可选的,数据服务器80的高速存储设备包括固态硬盘等,本发明所述的高速存储设备并不以固态硬盘为限。
如图9所示,是本发明实施例一种文件数据传输系统结构示意图,所述系统包括:
客户端91,用于根据从元数据服务器请求得到的文件的元数据与文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取文件的所有数据;
元数据服务器92,用于根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将文件的所有数据发送给客户端进行缓存的第一消息或者用于将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备的第二消息;
数据服务器93,用于根据所述元数据服务器发送的第一消息或第二消息,对应的将所述文件的所有数据发送给所述客户端进行缓存或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备中。
在一种实现下,元数据服务器92,具体用于接收客户端发送的文件的元数据请求消息,并向所述客户端返回所述请求的文件的元数据;还用于根据文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息;这里的向所述客户端返回的文件的元数据可以包括文件的大小属性值、文件的单客户端访问频率/多客户端访问频率、文件的文件名和文件的所有数据缓存地址信息等属性信息中的一种或多种。文件的大小预定值可以设置为2M;文件的预定热点频率可以设置为该文件单位时间内的客户端访问量占总文件客户端访问量的10%时的客户端访问频率。预定热点频率根据单位时间访问次数定义,具体阈值可以调节,并不一定是一个定值,前面文件的大小预定值同理。文件的单客户端访问频率大于该文件的预定热点频率的数据可以称之为单一热点数据,文件的多客户端访问频率大于该文件的预定热点频率的数据可以称之为全局热点数据。
需要说明的是,本发明实施例中的元数据服务器和数据服务器,可以部署于同一个物理实体上,也可以分布于不同的物理实体上,如图10所示,是本发明实施例另一种文件数据传输系统结构示意图,元数据服务器和数据服务器部署于同一个物理实体即存储节点上。单一热点数据缓存于客户端缓存100中,全局热点数据缓存于存储节点的高速存储设备200中。客户端的缓存可以减少同一客户端上相同的请求,在分布式系统中,客户端和存储节点间可能是城域网,网络的延迟很大,单一客户端请求频繁产生的热点文件,可以放在本客户端,减少网络交互的延迟;存储节点在普通存储设备的基础上可加高速存储设备,例如固态硬盘SSD(Solid State Disk),作为全局热点数据200的缓存,当访问的是由多个客户端产生的热点数据,就可以减少访问普通存储设备的延迟。
本发明设备实施例所述方案针对小文件读取进行优化,采用根据文件的元数据与文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送将文件的所有数据发送给客户端进行缓存的第一消息或者将数据服务器的普通存储设备所存储的文件的所有数据缓存到数据服务器的高速存储设备中的第二消息,实现了对热点小文件进行多级缓存,使得针对热点小文件,客户端可以根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,对应的从本地缓存获取所述文件的所有数据,或从数据服务器的高速缓存中获取所述文件的所有数据,从而提高了网络存储中小文件读取效率,减少普通存储设备的I/O请求次数,使用多级缓存方式加速热点文件访问速度,减少网络流量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,包括上述全部或部分步骤,所述的存储介质,如:ROM/RAM、磁盘、光盘等。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (13)

1、一种文件数据访问方法,其特征在于,所述方法包括:
向元数据服务器发送文件的元数据请求消息;
接收所述元数据服务器返回的所述文件的元数据;
根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据。
2、如权利要求1所述方法,其特征在于,所述文件的元数据包括:文件大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种,所述根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据包括:
如果所述文件大小属性值小于大小预定值,且请求所述文件的客户端的单客户端访问频率大于预定热点频率,则从所述客户端本地缓存获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据;
如果所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则从所述数据服务器的高速存储器中获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据。
3、一种文件的元数据发送方法,其特征在于,所述方法包括:
接收客户端发送的文件的元数据请求消息;
根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息;
向所述客户端返回所述请求的文件的元数据。
4、如权利要求3所述元数据发送方法,其特征在于,所述文件的元数据包括所述文件的大小属性值和所述文件的单客户端访问频率/多客户端访问频率,所述根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送第一消息或者第二消息包括:
如果所述文件大小属性值小于大小预定值,且所述文件的当前请求客户端的单客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息;
如果所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
5、如权利要求3所述元数据发送方法,其特征在于,在所述的接收客户端发送的文件的元数据请求消息之前,所述方法还包括:
根据接收的客户端发送的文件的元数据请求消息的次数统计各个客户端针对不同文件的单客户端访问频率,和/或多个客户端针对同一文件的多客户端访问频率。
6、如权利要求3所述元数据发送方法,其特征在于,所述的向所述客户端返回的所述请求的文件的元数据包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息。
7、一种客户端,其特征在于,所述客户端包括:
元数据请求单元,用于向元数据服务器发送文件的元数据请求消息,并接收所述元数据服务器返回的所述文件的元数据;
数据获取单元,用于根据所述文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据。
8、如权利要求7所述客户端,其特征在于,所述接收的文件的元数据包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种,所述数据获取单元包括:
比较单元,用于比较所述文件的大小属性值与所述文件的大小预定值,以及比较请求所述文件的客户端的单客户端访问频率或所述文件的多客户端访问频率与预定热点频率;
第一数据获取单元,用于如果所述比较单元确定所述文件大小属性值小于大小预定值,且请求所述文件的客户端的单客户端访问频率大于预定热点频率,则从所述客户端本地缓存获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据;
第二数据获取单元,用于如果所述比较单元确定所述文件大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则从所述数据服务器的高速存储器中获取所述文件的所有数据缓存地址信息对应的所述文件的所有数据。
9、一种元数据服务器,其特征在于,所述元数据服务器包括:
元数据请求响应单元,用于接收客户端发送的文件的元数据请求消息,并用于向所述客户端返回所述请求的文件的元数据;
数据缓存确定单元,用于根据文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
10、如权利要求9所述元数据服务器,其特征在于,所述文件的元数据包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种,所述数据缓存确定单元包括:
第一数据缓存确定单元,用于如果所述文件的大小属性值小于大小预定值,且所述文件的当前请求客户端的单客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息;
和/或,第二数据缓存确定单元,用于如果所述文件的大小属性值小于大小预定值,且所述文件的多客户端访问频率大于预定热点频率,则向数据服务器发送用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息。
11、如权利要求9所述元数据服务器,其特征在于,所述元数据服务器还包括访问频率统计单元,用于根据接收的客户端发送的文件的元数据请求消息的次数统计各个客户端针对不同文件的单客户端访问频率,和/或多个客户端针对同一文件的多客户端访问频率。
12、如权利要求9所述元数据服务器,其特征在于,所述元数据服务器还包括元数据存储单元,用于存储文件的元数据,所述文件的元数据包括所述文件的大小属性值、所述文件的单客户端访问频率/多客户端访问频率、所述文件的文件名和所述文件的所有数据缓存地址信息中的一种或多种。
13、一种文件数据传输系统,其特征在于,所述系统包括:
客户端,用于根据从元数据服务器请求得到的文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,从客户端本地缓存或者从数据服务器的高速存储器中获取所述文件的所有数据;
元数据服务器,用于根据文件的元数据与所述文件的大小预定值以及预定热点频率的比较结果,向数据服务器发送用于将所述文件的所有数据发送给所述客户端进行缓存的第一消息或者用于将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备的第二消息;
数据服务器,用于根据所述元数据服务器发送的第一消息或第二消息,对应的将所述文件的所有数据发送给所述客户端进行缓存或者将所述数据服务器的普通存储设备所存储的所述文件的所有数据缓存到所述数据服务器的高速存储设备中。
CN2009101305059A 2009-03-31 2009-03-31 文件数据访问方法、装置以及系统 Active CN101510219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009101305059A CN101510219B (zh) 2009-03-31 2009-03-31 文件数据访问方法、装置以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009101305059A CN101510219B (zh) 2009-03-31 2009-03-31 文件数据访问方法、装置以及系统

Publications (2)

Publication Number Publication Date
CN101510219A true CN101510219A (zh) 2009-08-19
CN101510219B CN101510219B (zh) 2011-09-14

Family

ID=41002619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101305059A Active CN101510219B (zh) 2009-03-31 2009-03-31 文件数据访问方法、装置以及系统

Country Status (1)

Country Link
CN (1) CN101510219B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699436A (zh) * 2009-10-20 2010-04-28 中兴通讯股份有限公司 资源管理的方法、装置和系统
CN101866359A (zh) * 2010-06-24 2010-10-20 北京航空航天大学 一种机群文件系统中的小文件存储和访问方法
CN101877010A (zh) * 2010-06-12 2010-11-03 中兴通讯股份有限公司 分布式文件系统及其协存储方法
CN102594852A (zh) * 2011-01-04 2012-07-18 中国移动通信集团公司 数据访问方法、节点及系统
CN103177005A (zh) * 2011-12-21 2013-06-26 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
CN103327048A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 在线应用的数据匹配方法及装置
CN103457980A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 终端设备和数据获取方法
CN103620615A (zh) * 2011-05-11 2014-03-05 甲骨文国际公司 访问控制体系架构
CN103731399A (zh) * 2012-10-11 2014-04-16 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN104038526A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 数据访问方法和系统
CN104394184A (zh) * 2014-08-19 2015-03-04 广州华多网络科技有限公司 请求处理方法、装置及系统
WO2015145454A1 (en) * 2014-03-28 2015-10-01 Hewlett-Packard Development Company, L.P. Data file hoarding
CN105102083A (zh) * 2014-03-18 2015-11-25 华为技术有限公司 一种处理数据的方法、装置和系统
CN105183374A (zh) * 2015-08-28 2015-12-23 北京腾凌科技有限公司 一种数据读写方法以及主板
CN106202070A (zh) * 2015-04-29 2016-12-07 中国电信股份有限公司 文件存储处理方法与系统
CN106686113A (zh) * 2017-01-19 2017-05-17 郑州云海信息技术有限公司 一种分布式文件系统智能预读实现方法
CN106775446A (zh) * 2016-11-11 2017-05-31 中国人民解放军国防科学技术大学 基于固态硬盘加速的分布式文件系统小文件访问方法
CN106980693A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种文件读取的方法以及装置
CN107436818A (zh) * 2017-07-31 2017-12-05 北京微影时代科技有限公司 一种红包信息获取并发送的方法和装置
CN107623702A (zh) * 2016-07-13 2018-01-23 阿里巴巴集团控股有限公司 一种数据缓存方法、装置及系统
CN107800691A (zh) * 2017-10-12 2018-03-13 云巅(上海)网络科技有限公司 基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法
CN109639813A (zh) * 2018-12-24 2019-04-16 北京京东尚科信息技术有限公司 视频文件传输处理方法及装置、电子设备和存储介质
CN109889562A (zh) * 2018-01-15 2019-06-14 广东电网有限责任公司信息中心 一种企业移动高级应用平台的离线访问方法及系统
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111858495A (zh) * 2020-07-23 2020-10-30 珠海豹趣科技有限公司 文件信息获取方法、装置、存储介质及电子设备
CN111930505A (zh) * 2020-08-10 2020-11-13 建投数据科技(山东)有限公司 大数据平台的数据资源管理方法及系统、服务器及介质
CN115543930A (zh) * 2022-03-01 2022-12-30 荣耀终端有限公司 一种在内存中锁定文件的方法、装置及相关设备

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699436A (zh) * 2009-10-20 2010-04-28 中兴通讯股份有限公司 资源管理的方法、装置和系统
CN101877010A (zh) * 2010-06-12 2010-11-03 中兴通讯股份有限公司 分布式文件系统及其协存储方法
CN101866359A (zh) * 2010-06-24 2010-10-20 北京航空航天大学 一种机群文件系统中的小文件存储和访问方法
CN102594852B (zh) * 2011-01-04 2016-03-30 中国移动通信集团公司 数据访问方法、节点及系统
CN102594852A (zh) * 2011-01-04 2012-07-18 中国移动通信集团公司 数据访问方法、节点及系统
CN103620615B (zh) * 2011-05-11 2017-03-22 甲骨文国际公司 访问控制体系架构
CN103620615A (zh) * 2011-05-11 2014-03-05 甲骨文国际公司 访问控制体系架构
CN103177005A (zh) * 2011-12-21 2013-06-26 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
CN103177005B (zh) * 2011-12-21 2016-08-03 深圳市腾讯计算机系统有限公司 一种数据访问的处理方法和系统
CN103327048A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 在线应用的数据匹配方法及装置
CN103457980A (zh) * 2012-06-04 2013-12-18 联想(北京)有限公司 终端设备和数据获取方法
CN103731399A (zh) * 2012-10-11 2014-04-16 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN103731399B (zh) * 2012-10-11 2017-12-26 北京百度网讯科技有限公司 基于cdn网络的数据访问方法、系统及装置
CN104038526B (zh) * 2013-03-08 2018-10-12 联想(北京)有限公司 数据访问方法和系统
CN104038526A (zh) * 2013-03-08 2014-09-10 联想(北京)有限公司 数据访问方法和系统
CN105102083A (zh) * 2014-03-18 2015-11-25 华为技术有限公司 一种处理数据的方法、装置和系统
WO2015145454A1 (en) * 2014-03-28 2015-10-01 Hewlett-Packard Development Company, L.P. Data file hoarding
CN104394184A (zh) * 2014-08-19 2015-03-04 广州华多网络科技有限公司 请求处理方法、装置及系统
CN106202070A (zh) * 2015-04-29 2016-12-07 中国电信股份有限公司 文件存储处理方法与系统
CN105183374A (zh) * 2015-08-28 2015-12-23 北京腾凌科技有限公司 一种数据读写方法以及主板
CN105183374B (zh) * 2015-08-28 2018-04-06 北京腾凌科技有限公司 一种数据读写方法以及主板
CN107623702A (zh) * 2016-07-13 2018-01-23 阿里巴巴集团控股有限公司 一种数据缓存方法、装置及系统
CN106775446A (zh) * 2016-11-11 2017-05-31 中国人民解放军国防科学技术大学 基于固态硬盘加速的分布式文件系统小文件访问方法
CN106686113A (zh) * 2017-01-19 2017-05-17 郑州云海信息技术有限公司 一种分布式文件系统智能预读实现方法
CN106980693A (zh) * 2017-04-01 2017-07-25 广东浪潮大数据研究有限公司 一种文件读取的方法以及装置
CN106980693B (zh) * 2017-04-01 2021-03-02 广东浪潮大数据研究有限公司 一种文件读取的方法以及装置
CN107436818A (zh) * 2017-07-31 2017-12-05 北京微影时代科技有限公司 一种红包信息获取并发送的方法和装置
CN107800691A (zh) * 2017-10-12 2018-03-13 云巅(上海)网络科技有限公司 基于分布式存储机制实现按需构建应用程序访问数据副本的系统及方法
CN109889562B (zh) * 2018-01-15 2021-07-13 广东电网有限责任公司信息中心 一种企业移动高级应用平台的离线访问方法及系统
CN109889562A (zh) * 2018-01-15 2019-06-14 广东电网有限责任公司信息中心 一种企业移动高级应用平台的离线访问方法及系统
CN109639813A (zh) * 2018-12-24 2019-04-16 北京京东尚科信息技术有限公司 视频文件传输处理方法及装置、电子设备和存储介质
CN109639813B (zh) * 2018-12-24 2022-04-12 北京京东尚科信息技术有限公司 视频文件传输处理方法及装置、电子设备和存储介质
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111858495A (zh) * 2020-07-23 2020-10-30 珠海豹趣科技有限公司 文件信息获取方法、装置、存储介质及电子设备
CN111858495B (zh) * 2020-07-23 2024-04-05 珠海豹趣科技有限公司 文件信息获取方法、装置、存储介质及电子设备
CN111930505B (zh) * 2020-08-10 2021-07-02 建投数据科技(山东)有限公司 大数据平台的数据资源管理方法及系统、服务器及介质
CN111930505A (zh) * 2020-08-10 2020-11-13 建投数据科技(山东)有限公司 大数据平台的数据资源管理方法及系统、服务器及介质
CN115543930A (zh) * 2022-03-01 2022-12-30 荣耀终端有限公司 一种在内存中锁定文件的方法、装置及相关设备
CN115543930B (zh) * 2022-03-01 2023-10-24 荣耀终端有限公司 一种在内存中锁定文件的方法、装置及相关设备

Also Published As

Publication number Publication date
CN101510219B (zh) 2011-09-14

Similar Documents

Publication Publication Date Title
CN101510219B (zh) 文件数据访问方法、装置以及系统
CN101763437B (zh) 高速缓冲存储实现方法及装置
EP2369494A1 (en) Web application based database system and data management method therof
CN102467572B (zh) 支持重复数据删除程序的数据区块查询方法
CN107436725A (zh) 一种数据写、读方法、装置及分布式对象存储集群
CN102129434B (zh) 读写分离数据库的方法及系统
CN1997015B (zh) 缓存应用方法与装置以及文件传输系统
CN102439934A (zh) 一种cdn中边缘服务器的多级缓存管理方法与系统
CN101656985B (zh) 一种管理url资源缓存的方法和装置
CN101741730A (zh) 文件下载方法及设备、提供文件下载服务的方法及系统
CN103399823B (zh) 业务数据的存储方法、设备和系统
CN102479250A (zh) 一种嵌入式浏览器磁盘缓存方法
WO2022016861A1 (zh) 一种热点数据缓存方法、系统及相关装置
CN103916465A (zh) 一种基于分布式文件系统的数据预读装置及其方法
CN101916289A (zh) 支持海量小文件和动态备份数的数字图书馆存储系统的构建方法
CN103167026A (zh) 一种云存储环境数据处理方法、系统及设备
CN105224255A (zh) 一种存储文件管理方法及装置
CN105867846A (zh) 一种数据处理方法、服务器及系统
CN107506154A (zh) 一种元数据的读取方法、装置及计算机可读存储介质
CN110908965A (zh) 一种对象存储管理方法、装置、设备及存储介质
US7660964B2 (en) Windowing external block translations
CN113687781A (zh) 一种热数据的上拉方法、装置、设备及介质
CN104092776A (zh) 一种信息存取方法和系统
CN103825916A (zh) 一种资源下载方法及系统
US11226898B2 (en) Data caching method and apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee

Owner name: HUAWEI DIGITAL TECHNOLOGY (CHENGDU) CO., LTD.

Free format text: FORMER NAME: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES CO., LTD.

CP01 Change in the name or title of a patent holder

Address after: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee after: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.

Address before: 611731 Chengdu high tech Zone, Sichuan, West Park, Qingshui River

Patentee before: CHENGDU HUAWEI SYMANTEC TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220926

Address after: No. 1899 Xiyuan Avenue, high tech Zone (West District), Chengdu, Sichuan 610041

Patentee after: Chengdu Huawei Technologies Co.,Ltd.

Address before: 611731 Qingshui River District, Chengdu hi tech Zone, Sichuan, China

Patentee before: HUAWEI DIGITAL TECHNOLOGIES (CHENG DU) Co.,Ltd.