CN109271570A - 一种元数据管理查询的方法 - Google Patents
一种元数据管理查询的方法 Download PDFInfo
- Publication number
- CN109271570A CN109271570A CN201811279313.XA CN201811279313A CN109271570A CN 109271570 A CN109271570 A CN 109271570A CN 201811279313 A CN201811279313 A CN 201811279313A CN 109271570 A CN109271570 A CN 109271570A
- Authority
- CN
- China
- Prior art keywords
- metadata
- node
- data
- brush
- maximum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种元数据管理查询的方法，包括以下步骤：将数据存放在每一个node上；采用B+树对每一个node进行管理，非叶子节点的node增加一项entry，用来存放子节点的最大值以及最大值所在index；当元数据满足预设条件后，将元数据刷到磁盘中进行存储。本发明公开的元数据管理查询的方法，元数据管理统一采用B+树方式进行管理节点，在非叶子节点中增加一个entry用于存储该节点的子节点最大值以及最大值所在的index。当元数据满足一定条件后，进行刷盘，采用version思想进行刷盘。
Description
技术领域
本发明涉及存储技术领域，尤其涉及一种元数据管理查询的方法。
背景技术
随着互联网和物联网的发展,网络中的数据量出现爆发式的增长,对数据处理提出的新的要求,复杂的语义关系在海量数据的环境中进行应用。MDM在存储系统中变得异常困难，复杂元数据查询需求不断增长。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
基于上述问题，因此，对于本领域技术人员而言，如何实现元数据更加高效的管理查询，是亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种元数据管理查询的方法，元数据管理统一采用B+树方式进行管理节点，在非叶子节点中增加一个entry用于存储该节点的子节点最大值以及最大值所在的index。当元数据满足一定条件后，进行刷盘，采用version思想进行刷盘。
本发明提出的一种元数据管理查询的方法，包括以下步骤：
将数据存放在每一个node上；
采用B+树对每一个node进行管理，非叶子节点的node增加一项entry，用来存放子节点的最大值以及最大值所在index；
当元数据满足预设条件后，将元数据刷到磁盘中进行存储。
优选地，将元数据刷到磁盘进行存储的过程中，采用version思想进行刷盘。
优选地，采用version思想进行刷盘，具体包括以下步骤：在刷盘这一层增加一个缓存层，每一个下刷的元数据作为一个version1，当version2来的时候与version1进行融合，采用version2中的数据为最终数据，对version1中的数据进行修改。
优选地，当多个version总量的数据到达阈值的时候进行下刷。
本发明中提供的一种元数据管理查询的方法，1.数据存放在每一个node上，B+树对每一个node进行管理，非叶子节点的node增加一项entry，用来存放子节点的最大值以及最大值所在index。提高了查询的效率，查询非叶子节点时首先根据最大值和查询的值进行比较可以判断是否在该node中，直接去该节点的右节点中查询，就不需要将该节点从开始到结束遍历。如果需要查询的恰好是最大值，那么就直接根据这个index获得下一层节点的地址。当元数据满足一定条件后需要刷到磁盘中进行存储。由于元数据是不停在变化插入，删除，频繁的进行IO操作会严重影响性能。本专利采用version思想，在刷盘这一层增加一个缓存层，每一个下刷的元数据作为一个version1，当version2来的时候与version1进行融合，采用version2中的数据为最终数据，对version1中的数据进行修改。当多个version总量的数据到达阈值的时候进行下刷。此外多个version对于查询可以提高效率，查询的数据首先判断是否在融合如果在融合，去融合数据中查询，如果没有融合按照version从后往前中查询，一旦查询到数据就不需要再去磁盘中查询。
附图说明
图1为本发明提出的一种元数据管理查询的方法的流程图。
具体实施方式
如图1所示，图1为本发明提出的一种元数据管理查询的方法的流程图。
下面结合附图和实施例对本发明进行详细的描述。
一种元数据管理查询的方法，包括以下步骤：
S1：将数据存放在每一个node上；
S2：采用B+树对每一个node进行管理，非叶子节点的node增加一项entry，用来存放子节点的最大值以及最大值所在index；
S3：当多个version总量的数据到达阈值的时候进行下刷，在刷盘这一层增加一个缓存层，每一个下刷的元数据作为一个version1，当version2来的时候与version1进行融合，采用version2中的数据为最终数据，对version1中的数据进行修改。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种元数据管理查询的方法，其特征在于，包括以下步骤：
将数据存放在每一个node上；
采用B+树对每一个node进行管理，非叶子节点的node增加一项entry，用来存放子节点的最大值以及最大值所在index；
当元数据满足预设条件后，将元数据刷到磁盘中进行存储。
2.根据权利要求1所述的元数据管理查询的方法，其特征在于，将元数据刷到磁盘进行存储的过程中，采用version思想进行刷盘。
3.根据权利要求2所述的元数据管理查询的方法，其特征在于，采用version思想进行刷盘，具体包括以下步骤：在刷盘这一层增加一个缓存层，每一个下刷的元数据作为一个version1，当version2来的时候与version1进行融合，采用version2中的数据为最终数据，对version1中的数据进行修改。
4.根据权利要求2所述的元数据管理查询的方法，其特征在于，当多个version总量的数据到达阈值的时候进行下刷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811279313.XA CN109271570A (zh) | 2018-10-30 | 2018-10-30 | 一种元数据管理查询的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811279313.XA CN109271570A (zh) | 2018-10-30 | 2018-10-30 | 一种元数据管理查询的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109271570A true CN109271570A (zh) | 2019-01-25 |
Family
ID=65194737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811279313.XA Pending CN109271570A (zh) | 2018-10-30 | 2018-10-30 | 一种元数据管理查询的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271570A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391802A (zh) * | 2014-11-24 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种精简池元数据节点刷新一致性保护方法 |
| CN104809237A (zh) * | 2015-05-12 | 2015-07-29 | 百度在线网络技术（北京）有限公司 | LSM-tree索引的优化方法和装置 |
| CN105117415A (zh) * | 2015-07-30 | 2015-12-02 | 西安交通大学 | 一种优化的ssd数据更新方法 |
| CN105511802A (zh) * | 2015-11-24 | 2016-04-20 | 北京达沃时代科技有限公司 | 写缓存的方法和装置以及磁盘缓存区的同步方法和装置 |
| CN106227677A (zh) * | 2016-07-20 | 2016-12-14 | 浪潮电子信息产业股份有限公司 | 一种变长缓存元数据管理的方法 |
| CN106708442A (zh) * | 2016-12-30 | 2017-05-24 | 武汉安嘉颐科技有限公司 | 同时适应磁盘与固态硬盘读写特性的海量数据存储方法 |
| CN108319602A (zh) * | 2017-01-17 | 2018-07-24 | 广州市动景计算机科技有限公司 | 数据库管理方法及数据库系统 |
-
2018
- 2018-10-30 CN CN201811279313.XA patent/CN109271570A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104391802A (zh) * | 2014-11-24 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种精简池元数据节点刷新一致性保护方法 |
| CN104809237A (zh) * | 2015-05-12 | 2015-07-29 | 百度在线网络技术（北京）有限公司 | LSM-tree索引的优化方法和装置 |
| CN105117415A (zh) * | 2015-07-30 | 2015-12-02 | 西安交通大学 | 一种优化的ssd数据更新方法 |
| CN105511802A (zh) * | 2015-11-24 | 2016-04-20 | 北京达沃时代科技有限公司 | 写缓存的方法和装置以及磁盘缓存区的同步方法和装置 |
| CN106227677A (zh) * | 2016-07-20 | 2016-12-14 | 浪潮电子信息产业股份有限公司 | 一种变长缓存元数据管理的方法 |
| CN106708442A (zh) * | 2016-12-30 | 2017-05-24 | 武汉安嘉颐科技有限公司 | 同时适应磁盘与固态硬盘读写特性的海量数据存储方法 |
| CN108319602A (zh) * | 2017-01-17 | 2018-07-24 | 广州市动景计算机科技有限公司 | 数据库管理方法及数据库系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108733761B (zh) | 一种数据处理方法装置及系统 | |
| CN104090889B (zh) | 数据处理方法及系统 | |
| CN102169507B (zh) | 一种分布式实时搜索引擎的实现方法 | |
| CN108228649B (zh) | 用于数据访问的方法和设备 | |
| US10394452B2 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
| CN108614837B (zh) | 文件存储和检索的方法及装置 | |
| CN110147204B (zh) | 一种元数据落盘方法、装置、系统及计算机可读存储介质 | |
| CN105808633A (zh) | 数据归档方法和系统 | |
| CN104834648B (zh) | 日志查询方法和装置 | |
| CN106326499B (zh) | 一种数据处理方法及装置 | |
| CN110046133A (zh) | 一种存储文件系统的元数据管理方法、装置及系统 | |
| CN103473298B (zh) | 数据归档方法和装置以及存储系统 | |
| CN110647514B (zh) | 一种元数据更新方法、装置及元数据服务器 | |
| US20200117543A1 (en) | Method, electronic device and computer readable storage medium for data backup and recovery | |
| CN109446177B (zh) | 一种分布式文件系统目录文件个数配额的实现方法及装置 | |
| CN104516974A (zh) | 一种文件系统目录项的管理方法及装置 | |
| CN104182435A (zh) | 基于数据缺失标记的信息检索系统及方法 | |
| CN109271449A (zh) | 一种基于文件的分布式存储查询系统及查询方法 | |
| CN104461929B (zh) | 基于拦截器的分布式数据缓存方法 | |
| CN109766318A (zh) | 文件读取方法及装置 | |
| CN108874930A (zh) | 文件属性信息统计方法、装置、系统、设备及存储介质 | |
| CN113672624A (zh) | 一种数据处理方法、系统及存储介质 | |
| CN110807028A (zh) | 用于管理存储系统的方法、设备和计算机程序产品 | |
| CN110458567B (zh) | 一种基于区块链的物品交易管理系统和方法 | |
| WO2020215580A1 (zh) | 一种分布式全局数据去重方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190125 |
|
| RJ01 | Rejection of invention patent application after publication |