CN103023982B - 一种云存储客户端的低延迟元数据访问方法 - Google Patents
一种云存储客户端的低延迟元数据访问方法 Download PDFInfo
- Publication number
- CN103023982B CN103023982B CN201210479062.6A CN201210479062A CN103023982B CN 103023982 B CN103023982 B CN 103023982B CN 201210479062 A CN201210479062 A CN 201210479062A CN 103023982 B CN103023982 B CN 103023982B
- Authority
- CN
- China
- Prior art keywords
- metadata
- key
- value
- cloud
- meta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云存储客户端的低延迟元数据访问方法，目的是解决元数据访问时元数据访问响应慢等问题。技术方案为：在云存储客户端结点安装由元数据定义模块、元数据导入模块、元数据请求响应模块、元数据上传模块组成的元数据访问模块；元数据定义模块确定所用元数据的内容和格式；元数据导入模块将元数据文件从云存储服务器导入键值对数据库；元数据请求响应模块根据元数据访问命令执行元数据操作；元数据上传模块将本地元数据文件上传到云存储服务器。采用本发明可消除元数据访问的网络传输延迟，避免元数据服务器成为性能瓶颈，支持同一云存储客户端结点访问异构的云存储系统，并提高元数据的安全性。
Description
技术领域
本发明涉及云存储客户端的元数据访问方法。
背景技术
云存储系统是云计算系统的重要组成部分，云存储系统是一种分布式存储结构。如图1所示，云存储系统由一个元数据服务器(简称MDS)、多个云存储服务器(简称YS)和多个云存储客户端结点(简称YC)通过互连通信网络互连构成。元数据服务器和云存储服务器通常部署在数据中心，由云存储服务商部署和维护，统称为云存储服务端。云存储服务端通过预定义的接口为云存储客户端结点提供元数据访问、文件内容访问等数据存储服务。元数据服务器为云存储客户端结点提供元数据访问服务，元数据描述每个文件的所有者、创建时间、修改时间、文件大小以及文件内容在存储服务器上的位置分布等信息。云存储系统元数据没有统一的数据格式和存储方式，一般采用自行定制的数据格式，存储在元数据服务器上磁盘的特殊分区。云存储服务器负责存储实际的文件内容，并在元数据服务器的支持下向云存储客户端结点提供文件内容访问服务。云存储客户端结点由用户部署和维护，通常通过广域网访问存储在云存储服务端的数据，由云存储客户端和安装云存储客户端的计算设备组成。云存储客户端是为用户提供云存储服务的客户端软件。云存储客户端结点的文件访问请求首先提交给元数据服务器，获取文件的元数据，然后根据元数据向相关的云存储服务器提交数据访问请求，完成数据读写过程。
云存储系统通常部署在广域网上，为地理上分布的多个用户提供文件存储服务，已广泛应用于互联网上。不同于并行文件系统，云存储系统的用户通常只能看到属于自己的目录和文件，各用户之间没有一致的I/O视图。元数据访问是云存储系统的基本功能之一，负责查询、添加、删除、更新云存储系统中目录和文件的元数据。
目前通常的云存储系统采用集中式方法，由专用的元数据服务器存储所有用户文件的元数据。云存储客户端结点在访问云存储服务的过程中，要多次访问元数据服务器，元数据服务器容易成为性能瓶颈。现在著名的云存储系统，包括Amazon公司的clouddrive，Google公司的google drive，均采用集中式的元数据访问方法。基于云存储客户端的元数据访问方法可支持访问多个异构的云存储系统，能够有效降低云数据访问的延迟。没有其它公开文献涉及云存储客户端的元数据访问方法。
键值对(简称key-value)数据库是关系数据库之外的一种新型数据库(见MHentschel,M Grinev,D Kossmann.使用分布式键值对存储建立数据流.技术报告.苏黎世大学计算机系系统组.2011年。(Building Data Flows Using Distributed Key-Value Stores[R].Technical Report,Systems Group,Department of Computer Science,ETH Zurich,2011))，不支持关系数据库的SQL查询操作，主要通过put和get操作实现数据库的操作。数据库中的每条记录是一个键值对，键值对由两个元素键(一般称为key)和值(一般称为value)组成，key和value都是变长的字节序列。其中key和value既可以是二进制数据，也可以是文本字符串，但数据库中的key必须唯一。key-value数据库的所有记录可在内存中组织为Hash表或B+树，实现高效率的操作。目前比较流行的键值对数据库包括日本最大的社交网络服务网站Mixi公司开发的Kyoto Cabinet、美国的伯克利大学开发的Berkeley DB等。键值对数据库能提供持久化机制和数据同步等功能，具有高并发性能、高可扩展性以及高可靠性等特性，有望成为存储元数据的有效方法。
当前云存储系统的存储容量达数千T以上，文件的数量达数千万以上，同时在线的云存储客户端达数万。广域网通信的延迟较大，而元数据访问具有频率高但单次通信量小的技术特点，集中元数据访问方法的通信开销很大。新型的低延迟元数据访问方法是本领域技术人员极为关注的技术问题。
发明内容
本发明要解决的技术问题在于：针对云存储系统的元数据访问集中由云存储服务端管理，元数据服务器容易成为性能瓶颈，广域网较大的访问延迟和海量的在线用户将导致元数据访问响应慢等问题，结合元数据访问频率高但单次通信量小的特点，提出一种基于云存储客户端的元数据访问方法。
为了解决上述技术问题，本发明的技术方案为：在云存储客户端结点构建元数据访问模块，元数据访问模块启动的时候从云存储服务器下载最新的元数据文件，然后由元数据访问模块加载到云存储客户端结点的内存组成键值对数据库，此后云存储客户端的所有元数据操作由元数据访问模块直接在本地完成，无需访问远程的云存储服务器，元数据访问模块在云存储客户端退出后上传最新的元数据文件到云存储服务器。
具体技术方案为：
第一步，构建元数据访问模块，并将元数据访问模块安装在云存储客户端结点上。云存储客户端向元数据访问模块发送元数据访问命令，元数据访问模块向云存储客户端返回元数据访问命令的结果。
元数据访问模块由元数据定义模块、元数据导入模块、元数据请求响应模块、元数据上传模块组成。
元数据定义模块定义元数据的内容和格式，向元数据请求响应模块输出元数据格式表(见附图3)。元数据格式表中定义了元数据的内容和格式。元数据的类型包括文件元数据和目录元数据。文件元数据的内容包括所有者、所有者所属的组(即便于管理根据用户的特点将用户分成用户组，多个具有一定相似度的用户属于同一个用户组)、创建时间、修改时间、文件大小、访问权限、压缩算法、加密密钥和文件的存储位置。目录元数据的内容包括所有者、创建时间、修改时间、访问权限、所属的文件和子目录。云存储客户端结点可根据需要对文件和目录元数据的内容及其格式进行修改。
元数据导入模块从云存储服务器中下载元数据文件metadata.info，将元数据文件的内容导入内存组成键值对数据库，供元数据请求响应模块使用。本发明采用键值对数据库存储元数据。键值对数据库中的键(key)为文件或者目录的完整路径名，值(value)为文件或者目录的元数据。值(value)所包含的元数据必须符合元数据格式表对于元数据的内容和格式的约束。
元数据请求响应模块负责响应从云存储客户端传来的元数据访问命令，对键值对数据库进行元数据的查询、添加、删除和更新操作，根据元数据格式表对元数据的内容和格式进行校验。
元数据上传模块将键值对数据库存储到本地元数据文件中，并将本地元数据文件上传到云存储服务器。
第二步，由元数据定义模块确定云存储客户端结点所用元数据的内容和格式，方法如下：
2.1、在云存储客户端结点中查找元数据格式表，如果元数据格式表不存在，说明元数据定义模块是第一次运行，则创建一个元数据格式表，元数据表的内容见附图3，转2.2。如果元数据格式表存在，则直接执行2.2。
2.2、元数据定义模块读取元数据格式表的内容，向云存储客户端结点的显示屏幕输出。
2.3、从云存储客户端结点的键盘接收指令，如果指令为添加、删除或者修改指令，则转2.4，如果指令为退出指令，则转第三步。
2.4、根据指令要求添加、删除或者修改元数据格式表，转2.3。
第三步，由元数据导入模块从云存储服务器下载元数据文件metadata.info到本地(即元数据导入模块所属云存储客户端结点)，将metadata.info的内容导入键值对数据库，方法如下：
3.1、向云存储系统的元数据服务器查询远程存储在云存储服务器上的元数据文件的修改时间rtime。如果云存储服务器上不存在元数据文件，则查询结果的返回值为负数。如果rtime查询的返回结果为负数，说明元数据访问模块是第一次运行，还从未向云存储服务器上传过元数据文件，则在本地创建一个内容为空的元数据文件，转3.5。如果rtime查询的返回结果不为负数，则执行3.2。
3.2、读取存储在云存储客户端结点上的本地元数据文件的修改时间ltime。
3.3、如果rtime早于或者等于ltime，即本地元数据文件为最新版本，转3.5，否则执行3.4。
3.4、从云存储服务器下载元数据文件，替换本地元数据文件。
3.5、读取本地元数据文件，将元数据文件的内容导入内存中组成键值对数据库。如果本地元数据文件的内容为空，则键值对数据库的内容为空，转3.6。
3.6、设置meta-changed变量的初始值为False。meta-changed变量的值为False表示键值对数据库未做修改操作，meta-changed变量的值为True表示键值对数据库做了修改操作。
第四步，由元数据请求响应模块接收云存储客户端提交的元数据访问命令并根据命令执行，方法如下：
4.1、接收云存储客户端提交的元数据访问命令。元数据访问命令包括：查询(get)、添加(put)、删除(delete)和更新(update)。如果元数据访问命令为查询，则转4.2；如果元数据访问命令为添加，则转4.3；如果元数据访问命令为删除，则转4.4；如果元数据访问命令为更新，则转4.5。
4.2、对键值对数据库执行查询操作，对于输入参数(即键)为key1的查询命令，在键值对数据库中查找键为key1的键值对记录(key1、value1)，如果找到则返回值为value1，转4.6，如果没有找到，则返回值为空，转4.6。
4.3、对键值对数据库执行添加操作，对于输入参数为一条键值对记录(key1、value1)的添加命令，检查value1是否满足元数据格式表中元数据的内容和格式要求，如果不满足则转4.6，如果满足则在键值对数据库中增加一条键值对记录(key1、value1)。键值对数据库发生了修改，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6，如果meta-changed变量的值为True，转4.6。
4.4、对键值对数据库执行删除操作，对于输入参数(即键)为key1的删除命令，如果在键值对数据库中找到key1对应的键值对记录(key1、value1)，则首先在键值对数据库中删除该条键值对记录(key1、value1)，然后检查meta-changed变量的值，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6，如果meta-changed变量的值为True，直接转4.6；如果没有找到，则转4.6。
4.5、对键值对数据库执行更新操作，对于输入参数为一条键值对记录(key1、value1)的更新命令，检查value1是否满足元数据格式表中元数据的内容和格式要求，如果不满足则转4.6，如果满足则在键值对数据库中检索键为key1的一条键值对记录(key1、oldvalue)，如果找到，则首先将该条记录的值oldvalue改为value1，然后检查meta-changed变量的值，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6，如果meta-changed变量的值为True，直接转4.6；如果没有找到，则转4.6。
4.6、如果云存储客户端保持运行，则转4.1，如果云存储客户端退出，则转第五步。
第五步，元数据上传模块将本地元数据文件上传到云存储服务器，流程如下：
5.1、如果meta-changed变量的值为False，则转5.4，如果meta-changed变量的值为True，则执行5.2。
5.2、将键值对数据库存储到本地元数据文件中。
5.3、将本地元数据文件上传到云存储服务器，替换元数据文件metadata.info。
5.4、结束。
与现有技术相比，采用本发明可达到以下技术效果：
1.本发明第四步直接利用本地内存中的键值对数据库实现元数据访问，消除了元数据访问的网络传输延迟。
2.本发明元数据访问模块部署在云存储客户端结点，第四步云存储客户端结点对元数据的访问无需经过云存储系统的元数据服务器，避免了云存储系统的元数据服务器成为性能瓶颈。
3.本发明第二步允许云存储客户端结点自行定义元数据的内容和格式，不依赖于元数据服务器的限制。同一个云存储客户端结点可以访问多个云存储系统是云存储技术的重要发展趋势(见徐海峰，面向移动设备的云存储统一接口研究和实现，国防科学技术大学硕士论文，2011年11月)。不同的云存储系统对于元数据的内容和格式定义是不一致的，要实现同一个云存储客户端结点接入不同的异构云存储系统必须消除不同云存储系统元数据访问的不一致性。本发明提出构造元数据访问模块，将远程的云存储系统仅作为数据存储系统，可实现一致的云存储元数据访问，便于支持同一云存储客户端结点访问多个异构的云存储系统。
4.本方面的第三步和第五步允许将元数据文件存储到任意云存储系统的云存储服务器上，即元数据文件和数据文件可分别存储到属于不同云存储系统的云存储服务器上，支持元数据文件和数据文件的分离存储，提高了元数据的安全性。
附图说明
图1是云存储系统的结构图。
图2是本发明第一步构建的云存储系统的结构图。
图3是元数据格式表的结构图。
图4为本发明总体流程图。
具体实施方式
图1是云存储系统的结构图。云存储系统由一个元数据服务器(简称MDS)、多个云存储服务器(简称ST)和多个云存储客户端结点(简称CN)通过网络互连构成。元数据服务器和云存储服务器通常部署在数据中心，由云存储服务商部署和维护，统称为云存储服务端。云存储服务端通过预定义的接口为云存储客户端结点提供数据读写、数据存储等文件访问服务。
图2是本发明第一步构建的云存储系统的结构图。云存储系统由一个元数据服务器(简称MDS)、多个云存储服务器(简称ST)和多个云存储客户端结点(简称CN)通过网络互连构成。元数据服务器和云存储服务器部署在数据中心，由云存储服务商部署和维护，统称为云存储服务端。云存储服务端通过预定义的接口为云存储客户端结点提供数据读写、数据存储等文件访问服务。云存储客户端结点上安装有云存储客户端、元数据访问模块。云存储客户端是为云存储提供服务的客户端软件，直接为用户提供云存储服务。云存储客户端向元数据访问模块发送元数据访问命令。元数据访问模块向云存储客户端返回元数据访问命令的结果。元数据访问模块由元数据定义模块、元数据导入模块、元数据请求响应模块、元数据上传模块组成。元数据定义模块向元数据请求响应模块输出元数据表。元数据导入模块从云存储服务器中下载元数据文件，将元数据文件的内容导入内存组成键值对数据库，供元数据请求响应模块使用。元数据请求响应模块负责响应从云存储客户端传来的元数据访问命令，对键值对数据库进行元数据的查询、添加、删除和更新操作，根据元数据格式表对元数据的内容和格式进行校验。元数据上传模块将键值对数据库存储到本地元数据文件中，并将本地元数据文件上传到云存储服务器。
图3是元数据格式表的结构图。元数据格式表是用于保存元数据的内容和格式的数据库表，表项有元数据类型、内容名称、最小长度、最大长度这4个域。元数据类型存放元数据的类型，可以是文件或者目录；内容名称存放元数据内容的名称；最小长度存放元数据内容的最小字节数，范围为大于或者等于1的自然数；最大长度存放元数据内容的最大字节数，范围为大于或者等于1的自然数；由于一个元数据类型可以有多个元数据内容，故在元数据格式表中同一个元数据类型由于元数据名称多个而有多个表项，例如图3中“文件”这种元数据类型有9个表项，内容名称分别为“所有者”、“所有者所属的组”、“创建时间”、“修改时间”、“文件大小”、“访问权限”、“压缩算法”、“加密密钥”、“存储位置”；“目录”这种元数据类型有5个表项，内容名称分别为“所有者”、“创建时间”、“修改时间”、“访问权限”、“所属文件和子目录”的元数据内容。元数据格式表要求文件和目录元数据均采用字符串表示。如图3所示，文件元数据的所有者应定义为长度为1-32个字节的字符串；目录元数据所属文件和子目录的元数据内容为长度这1-64000个字节的字符串。
图4为本发明总体流程图。
第一步，构建元数据访问模块，将元数据访问模块安装在云存储客户端结点上。元数据访问模块由元数据定义模块、元数据导入模块、元数据请求响应模块、元数据上传模块组成。
第二步，由元数据定义模块确定云存储客户端结点所用元数据的内容和格式，输出元数据格式表。
第三步，由元数据导入模块从云存储服务器下载元数据文件metadata.info到本地，将元数据文件metadata.info的内容导入键值对数据库。
第四步，由元数据请求响应模块接收云存储客户端提交的元数据访问命令并根据命令执行。
第五步，由元数据上传模块将键值对数据库存储到本地元数据文件中，并将本地元数据文件上传到云存储服务器。
Claims (3)
1.一种云存储客户端的低延迟元数据访问方法，其特征在于包括以下步骤：
第一步，构建元数据访问模块，将元数据访问模块安装在云存储客户端结点上，云存储客户端向元数据访问模块发送元数据访问命令，元数据访问模块向云存储客户端返回元数据访问命令的结果；云存储客户端是为用户提供云存储服务的客户端软件；元数据访问模块由元数据定义模块、元数据导入模块、元数据请求响应模块、元数据上传模块组成：元数据定义模块定义元数据的内容和格式，向元数据请求响应模块输出元数据格式表，元数据格式表是定义元数据的内容和格式的数据库表，元数据的类型包括文件元数据和目录元数据，元数据的内容由云存储客户端结点的管理员根据使用云存储客户端的应用需求确定内容名称、内容的最小长度和最大长度；元数据导入模块从云存储服务器中下载元数据文件metadata.info，将元数据文件的内容导入内存组成键值对数据库；键值对数据库中的键key为文件或者目录的完整路径名，值value为文件或者目录的元数据，值value所包含的元数据必须符合元数据格式表对于元数据的内容和格式的约束；元数据请求响应模块负责响应从云存储客户端传来的元数据访问命令，对键值对数据库进行元数据的查询、添加、删除和更新操作，根据元数据格式表对元数据的内容和格式进行校验；元数据上传模块将键值对数据库存储到本地元数据文件中，并将本地元数据文件上传到云存储服务器；
第二步，由元数据定义模块确定云存储客户端结点所用元数据的内容和格式，方法如下：
2.1、在云存储客户端结点中查找元数据格式表，如果元数据格式表不存在，说明元数据定义模块是第一次运行，则创建一个元数据格式表，转2.2，如果元数据格式表存在，则直接执行2.2；
2.2、元数据定义模块读取元数据格式表的内容，向云存储客户端结点的显示屏幕输出；
2.3、从云存储客户端结点的键盘接收指令，如果指令为添加、删除或者修改指令，则转2.4，如果指令为退出指令，则转第三步；
2.4、根据指令要求添加、删除或者修改元数据格式表，转2.3；
第三步，由元数据导入模块从云存储服务器下载元数据文件metadata.info到本地即元数据导入模块所属云存储客户端结点，将metadata.info的内容导入键值对数据库，方法如下：
3.1、向云存储系统的元数据服务器查询远程存储在云存储服务器上的元数据文件的修改时间rtime，如果云存储服务器上不存在元数据文件，则查询结果的返回值为负数，如果rtime查询的返回结果为负数，则在本地创建一个内容为空的元数据文件，转3.5；如果rtime查询的返回结果不为负数，则执行3.2；
3.2、读取存储在云存储客户端结点上的本地元数据文件的修改时间ltime；
3.3、如果rtime早于或者等于ltime，即本地元数据文件为最新版本，转3.5，否则执行3.4；
3.4、从云存储服务器下载元数据文件，替换本地元数据文件；
3.5、读取本地元数据文件，将元数据文件的内容导入内存中组成键值对数据库，如果本地元数据文件的内容为空，则键值对数据库的内容为空，转3.6；
3.6、设置meta-changed变量的初始值为False，meta-changed变量的值为False表示键值对数据库未做修改操作，meta-changed变量的值为True表示键值对数据库做了修改操作；
第四步，由元数据请求响应模块接收云存储客户端提交的元数据访问命令并根据命令执行，方法如下：
4.1、接收云存储客户端提交的元数据访问命令，元数据访问命令包括：查询、添加、删除和更新，如果元数据访问命令为查询，则转4.2；如果元数据访问命令为添加，则转4.3；如果元数据访问命令为删除，则转4.4；如果元数据访问命令为更新，则转4.5；
4.2、对键值对数据库执行查询操作，对于输入参数即键为key1的查询命令，在键值对数据库中查找键为key1的键值对记录(key1、value1)，如果找到则返回值为value1，转4.6，如果没有找到，则返回值为空，转4.6；
4.3、对键值对数据库执行添加操作，对于输入参数为一条键值对记录(key1、value1)的添加命令，检查value1是否满足元数据格式表中元数据的内容和格式要求，如果不满足则转4.6；如果满足则在键值对数据库中增加一条键值对记录(key1、value1)，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6；如果meta-changed变量的值为True，转4.6；
4.4、对键值对数据库执行删除操作，对于输入参数即键为key1的删除命令，如果在键值对数据库中找到key1对应的键值对记录(key1、value1)，则首先在键值对数据库中删除该条键值对记录(key1、value1)，然后检查meta-changed变量的值，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6，如果meta-changed变量的值为True，直接转4.6；如果没有找到，则转4.6；
4.5、对键值对数据库执行更新操作，对于输入参数为一条键值对记录(key1、value1)的更新命令，检查value1是否满足元数据格式表中元数据的内容和格式要求，如果不满足则转4.6；如果满足则在键值对数据库中检索键为key1的一条键值对记录(key1、oldvalue)，如果找到，则首先将该条记录的值oldvalue改为value1，然后检查meta-changed变量的值，如果meta-changed变量的值为False，则设置meta-changed变量的值为True，转4.6，如果meta-changed变量的值为True，直接转4.6；如果没有找到，则转4.6；
4.6、如果云存储客户端保持运行，则转4.1，如果云存储客户端退出，则转第五步；
第五步，元数据上传模块将本地元数据文件上传到云存储服务器，流程如下：
5.1、如果meta-changed变量的值为False，则转5.4，如果meta-changed变量的值为True，则执行5.2；
5.2、将键值对数据库存储到本地元数据文件中；
5.3、将本地元数据文件上传到云存储服务器，替换元数据文件metadata.info；
5.4、结束。
2.如权利要求1所述的一种云存储客户端的低延迟元数据访问方法，其特征在于所述文件元数据的内容包括所有者、所有者所属的组、创建时间、修改时间、文件大小、访问权限、压缩算法、加密密钥和文件的存储位置；目录元数据的内容包括所有者、创建时间、修改时间、访问权限、所属的文件和子目录。
3.如权利要求1所述的一种云存储客户端的低延迟元数据访问方法，其特征在于所述元数据格式表的表项有元数据类型、内容名称、最小长度、最大长度这4个域；元数据类型存放元数据的类型；内容名称存放元数据内容的名称；最小长度存放元数据内容的最小字节数，范围为大于或者等于1的自然数；最大长度存放元数据内容的最大字节数，范围为大于或者等于1的自然数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210479062.6A CN103023982B (zh) | 2012-11-22 | 2012-11-22 | 一种云存储客户端的低延迟元数据访问方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210479062.6A CN103023982B (zh) | 2012-11-22 | 2012-11-22 | 一种云存储客户端的低延迟元数据访问方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103023982A CN103023982A (zh) | 2013-04-03 |
| CN103023982B true CN103023982B (zh) | 2015-04-29 |
Family
ID=47972108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210479062.6A Expired - Fee Related CN103023982B (zh) | 2012-11-22 | 2012-11-22 | 一种云存储客户端的低延迟元数据访问方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103023982B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500088A (zh) * | 2013-09-18 | 2014-01-08 | 北京航空航天大学 | 一种用于key-value存储系统的trace序列的生成方法 |
| CN105302920B (zh) * | 2015-11-23 | 2020-01-03 | 上海爱数信息技术股份有限公司 | 一种云存储数据的优化管理方法和系统 |
| CN107241299B (zh) * | 2016-03-29 | 2021-03-02 | 百度在线网络技术（北京）有限公司 | 网盘的权限控制管理方法和装置 |
| CN107436872A (zh) * | 2016-05-25 | 2017-12-05 | 阿里巴巴集团控股有限公司 | 一种异构数据的处理方法及装置 |
| US20170357654A1 (en) * | 2016-06-10 | 2017-12-14 | Google Inc. | Using audio and video matching to determine age of content |
| CN106506613B (zh) * | 2016-10-31 | 2018-04-13 | 大唐高鸿信安（浙江）信息科技有限公司 | 分布式key‑value存储系统的数据存储位置加密方法 |
| US10715177B2 (en) * | 2017-06-20 | 2020-07-14 | Samsung Electronics Co., Ltd. | Lossy compression drive |
| CN107479827A (zh) * | 2017-07-24 | 2017-12-15 | 上海德拓信息技术股份有限公司 | 一种基于io和元数据分离的混合存储系统实现方法 |
| CN107592349B (zh) * | 2017-09-04 | 2021-01-12 | 金蝶软件（中国）有限公司 | 一种存储方法、第一边缘网络设备及相关设备 |
| US10713238B2 (en) * | 2017-11-14 | 2020-07-14 | Snowflake Inc. | Database metadata in immutable storage |
| CN108536806A (zh) * | 2018-04-03 | 2018-09-14 | 石贤明 | 数据处理的方法及系统 |
| CN108566431A (zh) * | 2018-04-20 | 2018-09-21 | 郑州云海信息技术有限公司 | 一种分布式存储系统及构建方法 |
| CN109656899B (zh) * | 2018-12-21 | 2021-02-02 | 北京锐安科技有限公司 | 非结构化数据存储方法、装置、设备和计算机可读存储介质 |
| CN110008246A (zh) * | 2019-02-18 | 2019-07-12 | 新智云数据服务有限公司 | 元数据管理方法及装置 |
| CN112449018A (zh) * | 2020-11-25 | 2021-03-05 | 杭州视洞科技有限公司 | 一种基于端侧的多机房数据同步与部署方法 |
| CN116541365B (zh) * | 2023-07-06 | 2023-09-15 | 成都泛联智存科技有限公司 | 文件存储方法、装置、存储介质及客户端 |
| CN116760850B (zh) * | 2023-08-17 | 2024-01-12 | 浪潮电子信息产业股份有限公司 | 一种数据处理方法、装置、设备、介质及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101741866A (zh) * | 2010-02-01 | 2010-06-16 | 浪潮(北京)电子信息产业有限公司 | 一种在线存储系统及方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102523301A (zh) * | 2011-12-26 | 2012-06-27 | 深圳市创新科信息技术有限公司 | 一种云存储中在客户端缓存数据的方法 |
| CN102664928A (zh) * | 2012-04-01 | 2012-09-12 | 南京邮电大学 | 一种用于云存储的数据安全存取方法及用户端系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120179874A1 (en) * | 2011-01-07 | 2012-07-12 | International Business Machines Corporation | Scalable cloud storage architecture |
-
2012
- 2012-11-22 CN CN201210479062.6A patent/CN103023982B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101741866A (zh) * | 2010-02-01 | 2010-06-16 | 浪潮(北京)电子信息产业有限公司 | 一种在线存储系统及方法 |
| CN102014158A (zh) * | 2010-11-29 | 2011-04-13 | 北京兴宇中科科技开发股份有限公司 | 一种云存储服务客户端高效细粒度数据缓存系统与方法 |
| CN102523301A (zh) * | 2011-12-26 | 2012-06-27 | 深圳市创新科信息技术有限公司 | 一种云存储中在客户端缓存数据的方法 |
| CN102664928A (zh) * | 2012-04-01 | 2012-09-12 | 南京邮电大学 | 一种用于云存储的数据安全存取方法及用户端系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103023982A (zh) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103023982B (zh) | 一种云存储客户端的低延迟元数据访问方法 | |
| KR102461943B1 (ko) | 변경할 수 없는 저장소 내의 데이터베이스 메타데이터 | |
| CN103150394B (zh) | 面向高性能计算的分布式文件系统元数据管理方法 | |
| CN103020315B (zh) | 一种基于主从分布式文件系统的海量小文件存储方法 | |
| CN102667772B (zh) | 文件级分级存储管理系统、方法和设备 | |
| US20200409967A1 (en) | Dynamic generation of data catalogs for accessing data | |
| US8555018B1 (en) | Techniques for storing data | |
| US10013440B1 (en) | Incremental out-of-place updates for index structures | |
| CN103038742B (zh) | 用于在分布式存储系统内动态复制数据的方法和系统 | |
| CN104679898A (zh) | 一种大数据访问方法 | |
| CN103473239A (zh) | 一种非关系型数据库数据更新方法和装置 | |
| US10503693B1 (en) | Method and system for parallel file operation in distributed data storage system with mixed types of storage media | |
| CN102024019B (zh) | 一种分布式文件系统中基于后缀树的目录组织方法 | |
| CN104424219B (zh) | 一种数据文件的管理方法及装置 | |
| CN104778192A (zh) | 表示可内容寻址存储系统的目录结构 | |
| CN103617199A (zh) | 一种操作数据的方法和系统 | |
| US20230359627A1 (en) | Sharing compiled code for executing queries across query engines | |
| CN104166661A (zh) | 数据存储系统和数据存储方法 | |
| Fu et al. | Optimized data replication for small files in cloud storage systems | |
| US10789234B2 (en) | Method and apparatus for storing data | |
| CN114610680A (zh) | 分布式文件系统元数据管理方法、装置、设备及存储介质 | |
| CN102426680A (zh) | 使用求散列的逻辑帐户表 | |
| US20070299890A1 (en) | System and method for archiving relational database data | |
| CN114756509B (zh) | 文件系统的操作方法、系统、设备以及存储介质 | |
| Peng et al. | DCSP-MC: dependable cloud-based storage platform for mobile computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 Termination date: 20201122 |