CN101944134A - 一种海量存储系统的元数据服务器和元数据索引方法 - Google Patents
一种海量存储系统的元数据服务器和元数据索引方法 Download PDFInfo
- Publication number
- CN101944134A CN101944134A CN 201010510071 CN201010510071A CN101944134A CN 101944134 A CN101944134 A CN 101944134A CN 201010510071 CN201010510071 CN 201010510071 CN 201010510071 A CN201010510071 A CN 201010510071A CN 101944134 A CN101944134 A CN 101944134A
- Authority
- CN
- China
- Prior art keywords
- metadata
- index
- subregion
- enlivening
- liveness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于存储技术领域，具体涉及海量存储系统元数据服务器和元数据索引方法。所说的元数据服务器，包括接收元数据访问请求装置、查找元数据装置和返回元数据装置；在接收元数据访问请求装置和查找元数据装置之间还有元数据分级装置和元数据分级索引装置。本发明所说的方法包括、收集元数据、元数据分级和根据元数据的等级建立活跃元数据索引和非活跃元数据索引的步骤。本发明建立了基于分级元数据管理算法的原型系统，使用有效方法进行了测试与比较，验证了基于分级元数据管理算法能减少查找活跃元数据所需的时间与空间开销，提高了对不同负载的适应能力，增强性能的稳定性。
Description
技术领域
本发明属于存储技术领域，涉及其中的海量存储系统，具体涉及元数据服务器和元数据索引方法。
背景技术
海量存储系统中，在访问数据之前首先需要访问元数据服务器，依据文件名等信息查询和获得数据的大小、访问授权和保存位置等元数据信息后，才能读取相应存储设备中保存的数据。但大量的访问请求最终并不需要操作所保存的数据，而只需操作元数据即可。据统计在NFS和AFS中，75.4%的读操作仅需使用元数据，占读操作总时间与空间开销的49%；82.2%写操作仅需使用元数据，占写操作总时间与空间开销的63.5%。因此如何设计元数据服务器、管理元数据是提高海量存储系统性能的重要手段。
海量存储系统中目前一般使用树型结构和基于哈希的元数据管理方法。在使用树型结构的元数据管理方法时，查找元数据时需要逐层访问文件路径中的每个目录，时间与空间开销大。使用基于哈希的元数据管理方法时，因为海量存储系统中保存的数据量不确定，使得确定哈希函数非常困难，在改变哈希函数后则需要大量的时间与空间开销进行更新。在使用树型结构的元数据管理方法时，可使用B树建立元数据的索引，但当海量存储系统保存的数据量很大时，借助与B树索引查找元数据所需要的时间与空间开销仍然较大，而维护包含大量结点的B树索引也需要很大的时间和空间开销。
1986年美国麻省理工学院的Popek等人提出了目录子树分区(Directory Subtree Partitioning)算法，由不同的元数据服务器分别管理一个或多个目录子树。由于采用目录层次树结构来管理元数据，查找元数据时需按照文件路径逐层访问，所需的时间与空间开销大。1996年IBM的P.F.Corbett等人提出了基于哈希的元数据管理算法，使用文件路径计算哈希值，实现元数据的管理和查找。但哈希函数难以满足海量存储系统中保存不同数量数据时的要求，而修改哈希函数后需要大量的时间与空间开销调整元数据。2003年美国加利福尼亚圣克鲁兹大学的Scott A.Brandt等人提出了LH算法，混合了树型结构和基于哈希两类算法，使用文件路径计算哈希值，再使用该哈希值查询元数据查找表获得元数据。但同样存在选择哈希函数困难的问题。
海量存储系统中元数据管理的特性分析
海量存储系统中保存了大量各种类型的数据，这些数据被访问的频率和时间等因素各不相同。大量的研究表明，当数据刚刚被保存到海量存储系统中时，对数据的访问和修改会很频繁；随着时间的推移，这些数据的访问频率会大大下降，直到在很长一段时间内几乎不被访问。在这个过程中，元数据的操作频率也同样随着数据被访问频率的变化而变化。我们依据海量存储系统中元数据的生命周期，可将元数据分为两个级别：
（1）活跃元数据：该类元数据当前被访问的频率很高，减少查询元数据所需的时间与空间开销是关键。
（2）非活跃元数据：该类元数据当前被访问的频率较低或基本不被访问，如何使得管理元数据所需的时间与空间开销较小是关键。
发明内容
本发明的目的是解决现有元数据索引方法所存在的时间与空间开销大、灵活性差等问题，提供一种海量存储系统的元数据索引方法，并构建一种用于海量存储系统的新型元数据服务器。
实现本发明目的的技术方案是，一种面向海量存储系统的元数据组织和查询方法。现有元数据服务器在管理元数据时包括下列步骤：1收集元数据；2、使用B树建立元数据的索引或使用HASH对元数据进行散列；其特征在于，在上述步骤1和步骤2之间还有元数据分级步骤，用于对元数据进行分级；此外对步骤2进行修改，分解为活跃元数据索引步骤和非活跃元数据索引步骤。
具体是：一种基于分级的元数据索引方法，包括下列步骤：
1）收集元数据；
2）元数据分级步骤：①计算元数据的活跃度；②将元数据分为活跃和非活跃两个等级；
3）根据元数据的等级建立活跃元数据索引和非活跃元数据索引。
上述①计算元数据的活跃度具体是：使用公式1计算元数据的活跃度A， 
是更新元数据的时间，t是系统当前的时间，
是该元数据总的被访问的次数；
公式1：
上述②对元数据进行分级，依据元数据的活跃度，将元数据分为活跃和非活跃两个级别；具体是：
（1）定义元数据活跃阀值
，作为对元数据分级的依据；
（2）使用公式2判断元数据的等级；
公式2：
其中L为元数据等级判断函数，计算方法如公式3所示：
公式3：
。
上述步骤3）中活跃元数据索引步骤具体可包括下列步骤：
（1） 将活跃元数据按照文件的属性（如后缀名）进行分区；
（2） 均衡活跃元数据各分区中元数据的数量；
（3） 使用Bloom Filter，生成分区中元数据的摘要串；
（4） 使用B树以文件路径或标识为关键字建立元数据的索引。
上述步骤3）中非活跃元数据索引步骤具体可包括下列步骤：
（1） 将非活跃元数据按照文件的属性（如后缀名）进行分区；
（2） 均衡非活跃元数据各分区中元数据的数量；
（3） 使用Bloom Filter，生成分区中元数据的摘要串；
（4） 在哈希函数选择表中查找该分区所使用的哈希函数；
（5） 使用该分区的哈希函数以文件路径或标识为关键字计算保存的位置。
本发明首先计算元数据的活跃度，将元数据分为活跃和非活跃两个级别，使用不同的方法分别对活跃元数据和非活跃元数据建立索引，具有查询活跃元数据所需的时间和空间开销小和管理非活跃元数据所需额外时间与空间小的特性。
本发明还公开了基于上述分级管理方法的查找方法，包括下列步骤：1、接收元数据的访问请求；2、查找元数据；3、返回元数据。
所述查找元数据步骤具体包括下列步骤：
（1）在活跃元数据中查找：首先借助活跃元数据的索引进行查找，如能找到，则转到步骤3，否则执行步骤（2）；
（2）在非活跃元数据中查找：借助非活跃元数据的索引进行查找，如能找到，则转到步骤3，否则返回无法找到该元数据的信息。
上述步骤（1）在活跃元数据中查找步骤具体可包括下列步骤：
第一步：使用文件路径或标识通过Bloom Filter计算；
第二步：将所获得的值与某一分区的摘要串进行比较；
第三步：存在某个哈希值不在该分区所对应的摘要串中则转到第四步执行，否则转到第三步执行；
第四步：如是最后一个分区，则返回；否则移动下一个分区转到第二步执行；
第五步：使用分区的B树索引查找对应的元数据，如找不到则返回。
上述步骤（2）在非活跃元数据中查找步骤具体可包括下列步骤：
第一步：使用文件路径或标识通过Bloom Filter计算；
第二步：将所获得的值与某一分区的摘要串进行比较；
第三步：存在某个哈希值不在该分区所对应的摘要串中则转到第四步执行，否则转到第三步执行；
第四步：如是最后一个分区，则返回；否则移动下一个分区转到第二步执行；
第五步：获得该分区对应的哈希函数；
第六步：使用该分区所对应的哈希函数计算可能保存元数据的位置，进行查找，如找不到则返回。
实现本发明方法发明目的的装置如下：
一种新型海量存储系统元数据服务器，包括接收元数据访问请求装置、查找元数据装置和返回元数据装置；其特征在于，在上述接收元数据访问请求装置和查找元数据装置之间还有元数据分级装置和元数据分级索引装置。
接收元数据访问请求装置：用于接收海量存储系统中的元数据访问请求；
元数据分级装置：用于依据元数据的活跃度，将元数据分为活跃和非活跃两个级别；
元数据索引装置：针对活跃和非活跃元数据的不同特性，使用相应方法分别建立活跃和非活跃元数据的索引；
查找元数据装置：依据所接收的元数据访问请求，计算元数据的活跃度，使用活跃或非活跃元数据的索引查找元数据；
返回元数据装置：将所找到元数据信息反馈给海量存储系统中的主机。
所述元数据分级装置具体可包括下列模块：
元数据活跃度计算模块：用于计算元数据的活跃度，作为元数据分级的依据；
元数据分级模块：用于将元数据分为活跃和非活跃两部分。
所述元数据分级索引装置具体可包括下列模块：
活跃元数据索引模块：用于对活跃元数据建立索引；
非活跃元数据索引模块：用于对非活跃元数据建立索引。
本发明通过在海量存储系统元数据服务器内设置元数据分级和元数据分级索引装置。依据元数据的活跃度，将元数据分为活跃和非活跃两部分，为提高查找元数据的效率，减少管理元数据所需的时间与空间开销奠定基础；依据活跃和非活跃元数据不同的特性，使用相应的方法为活跃元数据和非活跃元数据建立索引，减少查找活跃元数据所需的时间与空间开销，并使得管理非活跃元数据所需的时间与空间开销较小。
本发明的有益效果在于：
1、在海量存储系统元数据服务器中增加了元数据分级装置，将元数据分为活跃元数据和非活跃元数据两部分，为减少管理和查找元数据所需的时间和空间开销奠定了基础。
2、元数据分级装置为针对各类元数据在管理和查找等方面的不同要求，选择不同的索引方法，为减少管理和查找元数据所需的时间和空间开销奠定了基础。
3、在海量存储系统元数据服务器中增加了元数据分级装置，针对活跃元数据和非活跃元数据的特点，使用相应的方法建立索引，使得查找活跃元数据所需的时间和空间开销较小，减少管理非活跃元数据所需的时间和空间开销。
附图说明
图1是元数据未分级前的示意图。
图2是元数据分级后的示意图。
图3是查找活跃元数据的流程。
图4是哈希函数查找表的示例。
图5是查找非活跃元数据的流程。
图6是查找元数据平均比较次数性能的测试。
图7是查找元数据最大比较次数性能的测试。
具体实施方式
实施例1
一种海量存储系统的元数据服务器，包括接收元数据访问请求装置、元数据分级装置、元数据分级索引装置、查找元数据装置和返回元数据装置；在接收元数据访问请求装置和查找元数据装置之间还有元数据分级装置和元数据索引装置，用于依据活跃度对元数据进行分级，并使用相应方法建立不同级别元数据的索引。
本实施例在现有海量存储系统元数据服务器的基础上，增加元数据分级装置和元数据分级索引装置，构成具有较小时间与空间开销特性的新型元数据服务器。
元数据分级装置包括：元数据活跃度计算模块和元数据分级模块等主要功能。
元数据分级装置中各功能的说明如表1所示。
表1 元数据分级装置中的功能模块
| 模块名称 | 作用 |
| 元数据活跃度计算模块 | 计算元数据的活跃度作为元数据分级的依据 |
| 元数据分级模块 | 将元数据分为活跃和非活跃两部分 |
元数据索引装置包括：活跃元数据索引模块和非活跃元数据索引模块等主要功能。
元数据分级索引装置中各功能的说明如表2所示。
表2 元数据分级索引装置中的功能模块
| 模块名称 | 作用 |
| 活跃元数据索引模块 | 建立活跃元数据的索引 |
| 非活跃元数据索引 | 建立非活跃元数据的索引 |
实施例2
基于分级的元数据组织方法，包括下列步骤：1、计算元数据的活跃度；2、将元数据分为活跃和非活跃两部分；3、建立活跃元数据的索引；4、建立非活跃元数据的索引。
计算元数据的活跃度步骤具体可包括下列步骤：
（1） 计算元数据的活跃度：使用公式1进行计算。
将元数据分为活跃和非活跃两部分步骤具体可包括下列步骤：
（1） 定义元数据活跃阀值，作为对元数据分级的依据；
（2） 使用公式2判断元数据的等级。
建立活跃元数据索引步骤具体可包括下列步骤：
（1） 活跃元数据分区：将活跃元数据按照文件的属性（如后缀名）进行分区；
（2） 调整元数据分布：均衡活跃元数据各分区中元数据的数量；
（3） 生成摘要串：使用Bloom Filter，生成分区中元数据的摘要串；
（4） 建立索引：使用B树以文件路径或标识为关键字建立元数据的索引。
建立非活跃元数据索引步骤具体可包括下列步骤：
（1） 非活跃元数据分区：将非活跃元数据按照文件的属性（如后缀名）进行分区；
（2） 调整元数据分布：均衡非活跃元数据各分区中元数据的数量；
（3） 生成摘要串：使用Bloom Filter，生成分区中元数据的摘要串；
（4） 选择哈希函数：在哈希函数选择表中查找该分区所使用的哈希函数；
（5） 计算位置：使用该分区的哈希函数以文件路径或标识为关键字计算保存的位置。
在步骤（5）中借助于图4给出的哈希函数查找表，选择不同的哈希函数用于计算各分区中元数据的保存位置。
实施例3
分级元数据的查找方法，包括下列步骤：1、接收元数据的访问请求；2、查找元数据；3、返回元数据。
查找元数据步骤具体可包括下列步骤：
（1） 在活跃元数据中查找：首先借助活跃元数据的索引进行查找，如能找到，则转到步骤3，否则执行步骤（2）；
（2） 在非活跃元数据中查找：借助非活跃元数据的索引进行查找，如能找到，则转到步骤3，否则返回无法找到该元数据的信息。
如图3所示，在活跃元数据中查找步骤中具体包含下列步骤：
（1.1）使用文件路径或标识通过Bloom Filter计算；
（1.2）将所获得的值与某一分区的摘要串进行比较；
（1.3）存在某个哈希值不在该分区所对应的摘要串中则转到步骤（4）执行，否则转到步骤（3）执行；
（1.4）如是最后一个分区，则返回；否则移动下一个分区转到步骤（2）执行；
（1.5）使用分区的B树索引查找对应的元数据，如找不到则返回。
如图5所示，在非活跃元数据中查找步骤中具体包含下列步骤：
（1.1）使用文件路径或标识通过Bloom Filter计算；
（1.2）将所获得的值与某一分区的摘要串进行比较；
（1.3）存在某个哈希值不在该分区所对应的摘要串中则转到步骤（4）执行，否则转到步骤（3）执行；
（1.4）如是最后一个分区，则返回；否则移动下一个分区转到步骤（2）执行；
（1.5）获得该分区对应的哈希函数；
（1.6）使用该分区所对应的哈希函数计算可能保存元数据的位置，进行查找，如找不到则返回。
测试结果
我们在Linux系统（内核版本为2.6.9-42.14）上用C语言实现了元数据分级索引算法的原型系统，查找文件时，利用元数据分级函数判断是活跃元数据还是非活跃元数据，如果是活跃元数据则使用Bloom Filter定位分区，获取文件的元数据；如果是非活跃元数据使用哈希的方法获取文件的元数据；并实现现有的树型索引算法的原型系统，使用B树构建索引，进行元数据的查找。原型系统运行和测试平台的配置表如表3所示。编写程序，遍历Linux系统中各目录中的文件，获取文件和目录的元数据信息，共获取了32557个文件的元数据信息。由于机器配置和系统当前运行情况的不同对原型系统运行的时间影响较大，因此我们采用查找某个文件或目录元数据的过程中需比较的文件或目录次数作为衡量查找元数据所需时间开销的依据。
表3 测试环境的软硬件配置
| CPU | Intel Pentium 4 2.93 GHz |
| 内存 | 1024M |
| OS | Redhat Enterprise 4.0 (kernel:2.6.9-42.14) |
| 硬盘 | SATA Seagate 160G |
测试时原型系统中共保存3万条元数据，设置访问请求的数量分别为5、10、20、50、100、200、500、1000、1500、2000、3000、4000和5000个，测试处理访问请求时需比较文件元数据的平均次数和最大次数。结果如图6和图7所示。
从图6和图7可知，使用基于分级的元数据管理算法后，查找元数据所需比较元数据的平均次数与最大次数远小于未使用基于分级的元数据管理算法时，说明基于分级的元数据管理算法能有效的提高查找元数据的效率。
此外，随着访问请求数目的增加，使用基于分级的元数据管理算法查找元数据所需比较元数据的平均次数逐渐降低并趋于平稳，而未使用基于分级的元数据管理算法查找元数据所需比较的平均次数始终高于或基本等于访问请求数目较小时的平均次数；随着访问请求数目的增加，使用基于分级的元数据管理算法和未使用基于分级的元数据管理算法查找元数据所需比较的最大次数都会随之增加，但使用基于分级的元数据管理算法后增长幅度明显小于未使用基于分级的元数据管理算法时，这说明基于分级的元数据管理算法能有效地提高原型系统的适应能力，增强性能的稳定性。
Claims (7)
1.一种基于分级的元数据索引方法，包括下列步骤：
1）收集元数据；
2）元数据分级步骤：①计算元数据的活跃度；②将元数据分为活跃和非活跃两个等级；
3）根据元数据的等级建立活跃元数据索引和非活跃元数据索引。
2.根据权利要求1所述的元数据索引方法，其特征在于，所述计算元数据活跃度的步骤具体是使用公式1计算元数据的活跃度，
公式1： 
；其中A代表活跃度，
是更新元数据的时间，t是系统当前的时间，是该元数据总的被访问的次数；
所述将元数据分为活跃和非活跃两部分的步骤具体包括：
定义元数据活跃阀值
，作为对元数据分级的依据；
（2）使用公式2判断元数据的等级；
公式2：
其中L为元数据等级判断函数，计算方法如公式3所示：
公式3：
。
3.根据权利要求1所述的元数据索引方法，其特征在于，所述建立活跃元数据的索引步骤具体可包括下列步骤：
将活跃元数据按照文件的属性进行分区；
均衡活跃元数据各分区中元数据的数量；
使用Bloom Filter，生成分区中元数据的摘要串；
使用B树以文件路径或标识为关键字建立元数据的索引。
4.根据权利要求1所述的元数据索引方法，其特征在于，所述建立非活跃元数据的索引步骤具体可包括下列步骤：
将非活跃元数据按照文件的属性进行分区；
均衡非活跃元数据各分区中元数据的数量；
使用Bloom Filter，生成分区中元数据的摘要串；
在哈希函数选择表中查找该分区所使用的哈希函数；
使用该分区的哈希函数以文件路径或标识为关键字计算保存的位置。
5.一种基于权利要求1所述元数据索引方法的海量存储系统的元数据服务器，包括接收元数据访问请求装置、查找元数据装置和返回元数据装置；其特征在于，在接收元数据访问请求装置和查找元数据装置之间还有元数据分级装置和元数据分级索引装置，元数据分级装置用于依据活跃度对元数据进行分级，元数据分级索引装置用于建立不同级别元数据的索引。
6.根据权利要求5所述的海量存储系统元数据服务器，其特征在于，所述元数据分级装置具体包括下列模块：
元数据活跃度计算模块：用于计算元数据的活跃度，作为元数据分级的依据；
元数据分级模块：用于将元数据分为活跃和非活跃两部分。
7.根据权利要求5所述的海量存储系统元数据服务器，其特征在于，所述元数据分级索引装置具体可包括下列模块：
活跃元数据索引模块：用于对活跃元数据建立索引；
非活跃元数据索引模块：用于对非活跃元数据建立索引。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105100718A CN101944134B (zh) | 2010-10-18 | 2010-10-18 | 一种海量存储系统的元数据服务器和元数据索引方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105100718A CN101944134B (zh) | 2010-10-18 | 2010-10-18 | 一种海量存储系统的元数据服务器和元数据索引方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101944134A true CN101944134A (zh) | 2011-01-12 |
| CN101944134B CN101944134B (zh) | 2012-08-15 |
Family
ID=43436124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105100718A Expired - Fee Related CN101944134B (zh) | 2010-10-18 | 2010-10-18 | 一种海量存储系统的元数据服务器和元数据索引方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101944134B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298631A (zh) * | 2011-08-31 | 2011-12-28 | 江苏大学 | 一种新型元数据管理系统和一种元数据属性混合索引方法 |
| CN102438004A (zh) * | 2011-09-05 | 2012-05-02 | 深圳创维数字技术股份有限公司 | 获取媒体文件的元数据信息的方法、系统及多媒体播放器 |
| CN102663090A (zh) * | 2012-04-10 | 2012-09-12 | 华为技术有限公司 | 元数据查询方法和装置 |
| CN102968464A (zh) * | 2012-11-08 | 2013-03-13 | 广东电子工业研究院有限公司 | 一种基于索引的本地资源快速检索系统及其检索方法 |
| CN103745008A (zh) * | 2014-01-28 | 2014-04-23 | 河海大学 | 一种大数据索引的排序方法 |
| CN104346359A (zh) * | 2013-07-29 | 2015-02-11 | 深圳市腾讯计算机系统有限公司 | 一种存储索引的方法和装置 |
| CN104850564A (zh) * | 2014-02-18 | 2015-08-19 | 腾讯科技（深圳）有限公司 | 数据文件的索引查找方法和系统 |
| CN106663056A (zh) * | 2014-08-28 | 2017-05-10 | 华为技术有限公司 | 文件系统中的元数据索引搜索 |
| CN106960011A (zh) * | 2017-02-28 | 2017-07-18 | 无锡紫光存储系统有限公司 | 分布式文件系统元数据管理系统及方法 |
| CN102831120B (zh) * | 2011-06-15 | 2017-07-21 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
| CN107924408A (zh) * | 2015-08-25 | 2018-04-17 | 华为技术有限公司 | 在文件系统中搜索元数据和标签的异构索引的系统和方法 |
| CN110321325A (zh) * | 2019-06-21 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 文件索引节点查找方法、终端、服务器、系统及存储介质 |
| CN110851848A (zh) * | 2019-11-12 | 2020-02-28 | 广西师范大学 | 对称可搜索加密的隐私保护方法 |
| CN113761003A (zh) * | 2021-04-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户画像数据处理方法和装置、电子设备和可读存储介质 |
| CN117435144A (zh) * | 2023-12-20 | 2024-01-23 | 山东云天安全技术有限公司 | 一种数据中心智能化数据分级安全管理方法及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10042875B2 (en) | 2016-09-26 | 2018-08-07 | International Business Machines Corporation | Bloom filter index for device discovery |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080082490A1 (en) * | 2006-09-28 | 2008-04-03 | Microsoft Corporation | Rich index to cloud-based resources |
| US20090094210A1 (en) * | 2007-10-05 | 2009-04-09 | Fujitsu Limited | Intelligently sorted search results |
| CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
| CN101692239A (zh) * | 2009-10-19 | 2010-04-07 | 浙江大学 | 一种分布式文件系统元数据分配方法 |
-
2010
- 2010-10-18 CN CN2010105100718A patent/CN101944134B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080082490A1 (en) * | 2006-09-28 | 2008-04-03 | Microsoft Corporation | Rich index to cloud-based resources |
| US20090094210A1 (en) * | 2007-10-05 | 2009-04-09 | Fujitsu Limited | Intelligently sorted search results |
| CN101656094A (zh) * | 2009-09-25 | 2010-02-24 | 杭州华三通信技术有限公司 | 数据存储方法和存储设备 |
| CN101692239A (zh) * | 2009-10-19 | 2010-04-07 | 浙江大学 | 一种分布式文件系统元数据分配方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102831120B (zh) * | 2011-06-15 | 2017-07-21 | 腾讯科技（深圳）有限公司 | 一种数据处理方法及系统 |
| CN102298631A (zh) * | 2011-08-31 | 2011-12-28 | 江苏大学 | 一种新型元数据管理系统和一种元数据属性混合索引方法 |
| CN102298631B (zh) * | 2011-08-31 | 2013-08-21 | 江苏大学 | 一种新型元数据管理系统和一种元数据属性混合索引方法 |
| CN102438004A (zh) * | 2011-09-05 | 2012-05-02 | 深圳创维数字技术股份有限公司 | 获取媒体文件的元数据信息的方法、系统及多媒体播放器 |
| CN102663090A (zh) * | 2012-04-10 | 2012-09-12 | 华为技术有限公司 | 元数据查询方法和装置 |
| US9529912B2 (en) | 2012-04-10 | 2016-12-27 | Huawei Technologies Co., Ltd. | Metadata querying method and apparatus |
| CN102968464A (zh) * | 2012-11-08 | 2013-03-13 | 广东电子工业研究院有限公司 | 一种基于索引的本地资源快速检索系统及其检索方法 |
| CN102968464B (zh) * | 2012-11-08 | 2016-07-13 | 广东电子工业研究院有限公司 | 一种基于索引的本地资源快速检索系统的检索方法 |
| CN104346359A (zh) * | 2013-07-29 | 2015-02-11 | 深圳市腾讯计算机系统有限公司 | 一种存储索引的方法和装置 |
| CN103745008B (zh) * | 2014-01-28 | 2016-08-31 | 河海大学 | 一种大数据索引的排序方法 |
| CN103745008A (zh) * | 2014-01-28 | 2014-04-23 | 河海大学 | 一种大数据索引的排序方法 |
| CN104850564A (zh) * | 2014-02-18 | 2015-08-19 | 腾讯科技（深圳）有限公司 | 数据文件的索引查找方法和系统 |
| CN104850564B (zh) * | 2014-02-18 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 数据文件的索引查找方法和系统 |
| CN106663056B (zh) * | 2014-08-28 | 2020-02-14 | 华为技术有限公司 | 文件系统中的元数据索引搜索 |
| CN106663056A (zh) * | 2014-08-28 | 2017-05-10 | 华为技术有限公司 | 文件系统中的元数据索引搜索 |
| CN107924408A (zh) * | 2015-08-25 | 2018-04-17 | 华为技术有限公司 | 在文件系统中搜索元数据和标签的异构索引的系统和方法 |
| CN107924408B (zh) * | 2015-08-25 | 2020-09-04 | 华为技术有限公司 | 在文件系统中搜索元数据和标签的异构索引的系统和方法 |
| CN106960011A (zh) * | 2017-02-28 | 2017-07-18 | 无锡紫光存储系统有限公司 | 分布式文件系统元数据管理系统及方法 |
| CN110321325A (zh) * | 2019-06-21 | 2019-10-11 | 腾讯科技（深圳）有限公司 | 文件索引节点查找方法、终端、服务器、系统及存储介质 |
| CN110321325B (zh) * | 2019-06-21 | 2024-05-10 | 腾讯科技（深圳）有限公司 | 文件索引节点查找方法、终端、服务器、系统及存储介质 |
| CN110851848A (zh) * | 2019-11-12 | 2020-02-28 | 广西师范大学 | 对称可搜索加密的隐私保护方法 |
| CN110851848B (zh) * | 2019-11-12 | 2022-03-25 | 广西师范大学 | 对称可搜索加密的隐私保护方法 |
| CN113761003A (zh) * | 2021-04-15 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户画像数据处理方法和装置、电子设备和可读存储介质 |
| CN117435144A (zh) * | 2023-12-20 | 2024-01-23 | 山东云天安全技术有限公司 | 一种数据中心智能化数据分级安全管理方法及系统 |
| CN117435144B (zh) * | 2023-12-20 | 2024-03-22 | 山东云天安全技术有限公司 | 一种数据中心智能化数据分级安全管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101944134B (zh) | 2012-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101944134B (zh) | 一种海量存储系统的元数据服务器和元数据索引方法 | |
| CN110046183A (zh) | 一种时序数据聚合检索方法、设备及介质 | |
| US9424351B2 (en) | Hybrid-distribution model for search engine indexes | |
| Lin et al. | Efficient indexing of the historical, present, and future positions of moving objects | |
| Hua et al. | SmartStore: A new metadata organization paradigm with semantic-awareness for next-generation file systems | |
| Lu et al. | Scalagist: Scalable generalized search trees for mapreduce systems [innovative systems paper] | |
| US9424202B2 (en) | Database search facility | |
| CN111125120B (zh) | 一种面向流数据的快速索引方法、装置、设备及存储介质 | |
| CN102298631B (zh) | 一种新型元数据管理系统和一种元数据属性混合索引方法 | |
| Kailasam et al. | Efficient skycube computation using point and domain-based filtering | |
| Firth et al. | TAPER: query-aware, partition-enhancement for large, heterogenous graphs | |
| Kulkarni et al. | Skyline computation for frequent queries in update intensive environment | |
| Song et al. | Spatial indexing for massively update intensive applications | |
| Gothwal et al. | The survey on skyline query processing for data-specific applications | |
| CN115794873A (zh) | 一种基于全文检索技术的权限控制方法 | |
| CN113722274A (zh) | 一种高效的R-tree索引遥感数据存储模型 | |
| CN101763441B (zh) | 一种以动态目录方式组织检索结果的技术 | |
| Zhu et al. | A content-based indexing scheme for large-scale unstructured data | |
| Akdogan et al. | Cost-efficient partitioning of spatial data on cloud | |
| Kulkarni et al. | Parallel skyline computation for frequent queries in distributed environment | |
| Kwon et al. | G-Index Model: A generic model of index schemes for top-k spatial-keyword queries | |
| CN104657460B (zh) | 一种基于大规模文件系统负载特征关键字的文件搜索方法 | |
| Guo et al. | Memory database index optimization | |
| Wu et al. | PABIRS: A data access middleware for distributed file systems | |
| Wang et al. | KT-store: A key-order and write-order hybrid key-value store with high write and range-query performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120815 Termination date: 20191018 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |