CN109992708A - 一种元数据查询的方法、装置、设备以及存储介质 - Google Patents
一种元数据查询的方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN109992708A CN109992708A CN201910294471.0A CN201910294471A CN109992708A CN 109992708 A CN109992708 A CN 109992708A CN 201910294471 A CN201910294471 A CN 201910294471A CN 109992708 A CN109992708 A CN 109992708A
- Authority
- CN
- China
- Prior art keywords
- data
- memory
- alive
- inactive
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种元数据查询的方法、装置、设备以及计算机可读存储介质，包括：接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。本发明所提供的方法、装置、设备以及计算机可读存储介质，对硬盘中的数据进行分类，缩小了目标数据的查找范围，提高了元数据查找的效率。
Description
技术领域
本发明涉及存储系统数据管理技术领域，特别是涉及一种数据查询的方法。
背景技术
随着互联网和物联网的发展，网络中的数据量出现爆发式的增长。因此对数据处理提出的新的要求，复杂的语义关系在海量数据的环境中进行应用。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据管理在存储系统中变得异常困难，复杂元数据查询需求不断增长。
综上所述可以看出，如何提高查找元数据的效率是目前有待解决的问题。
发明内容
本发明的目的是提供一种元数据查询的方法、装置、设备以及计算机可读存储介质，以便于解决现有技术中元数据查询效率较低的问题。
为解决上述技术问题，本发明提供一种元数据查询的方法，包括：接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
优选地，所述接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据前还包括：
将所述存储系统内的数据依据B+树方式分类存储，以便于在接收到数据查询的请求后，依据数值顺序在所述存储系统的内存中查找目标元数据。
所述依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中包括：
依据所述预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据；
将所述活跃数据读取至活跃数据内存，将所述数据非活跃数据中读取至非活跃数据内存中。
所述依据所述预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据包括：
将所述数据集中命中一次的数据为非活跃数据，将所述非活跃数据放入非活跃读数据链，从而将所述非活跃数据读取至所述内存的非活跃数据内存中；
所述数据集中命中次数超过所述预设阈值的数据为活跃数据，将所述活跃数据放入所述活跃读数据链，从而将所述活跃数据读取在所述内存的活跃数据内存中。
所述将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据包括：
在所述活跃读数据链中，所述活跃数据依据命中次数降序排列；
将所述活跃读数据链中的末尾数据放入非活跃数据内存中，释放所述非活跃数据缓存中的非活跃数据；
完成所述非活跃数据的释放后，在所述活跃数据内存中查找所述目标元数据。
本发明还提供了一种元数据查询的装置，包括：
接收模块，接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；
读取模块，用于若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；
查找模块，用于将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
优选地，所述接收模块前还包括：
存储模块，用于将所述存储系统内的数据依据B+树方式分类存储，以便于在接收到数据查询的请求后，依据数值顺序在所述存储系统的内存中查找目标元数据。
优选地，所述读取模块具体用于：
依据预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据；
将所述活跃数据读取至活跃数据内存，将所述数据非活跃数据中读取至非活跃数据内存中。
本发明还提供了一种元数据查询的设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种元数据查询的方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种元数据查询的方法的步骤。
本发明所提供的元数据查询的方法，在接收到数据查询的指令后，首先在存储系统的内存中是否存在目标元数据。若所述内存中不存在目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存，以便于在所述活跃数据中查找所述目标元数据。本发明所提供的方法，首先查找存储系统内存中的数据。若在所述内存中未查找到目标元数据，则依据预设阈值对存储系统硬盘中的数据进行划分，只需要将硬盘数据中的活跃数据读取至所述内存，从而在所述活跃数据中查找所述目标元数据，缩小了目标数据的查找范围，提高了元数据查找的效率。
相对应的，本发明所提供的元数据查询的装置、设备以及计算机可读存储介质均具有上述有益效果。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的元数据查询的方法的第一种具体实施例的流程图；
图2为本发明所提供的元数据查询的方法的第二种具体实施例的流程图；
图3为本发明实施例提供的一种元数据查询的装置的结构框图。
具体实施方式
本发明的核心是提供一种元数据查询的方法、装置、设备以及计算机可读存储介质，减小了元数据查找的范围，提高了元数据查找的效率。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的元数据查询的方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；
所述存储系统中的数据在存储阶段，采用B+树算法根据数据类型进行分类存储。在B+树中，所有记录节点都是按键值的大小顺序存放在同一层的叶节点中，各叶节点指针进行连接。因为数据的存储是按照一定数据结构顺序存储的，这就为后续的快速查询奠定基础。
步骤S102：若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；
步骤S103：将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
在本实施例中，由于存储系统中的数据是采用B+树算法进行分类存储，便于快速查询存储数据。且本实施例根据所述预设阈值将所述硬盘中的数据进行分类，缩小所述目标元数据的查找范围，进一步提高了查找元数据的效率。
基于上述实施例，在本实时例中，将所述硬盘数据中命中一次的数据为非活跃数据，命中次数超过所述预设阈值的数据为活跃数据。请参考图2，图2为本发明所提供的元数据查询的方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S201：将存储系统内的数据依据B+树方式分类存储，以便于在接收到数据查询的请求后，依据数值顺序在所述存储系统的内存中查找目标元数据；
步骤S202：若所述内存中不存在所述目标元数据，则将所述存储系统硬盘命中一次的数据划分为非活跃数据；
步骤S203：将所述非活跃数据放入非活跃读数据链，从而将所述非活跃数据读取至所述内存的非活跃数据内存中；
步骤S204：将所述硬盘中命中次数超过所述预设阈值的数据划分为活跃数据；
步骤S205：将所述活跃数据放入所述活跃读数据链，从而将所述活跃数据读取在所述内存的活跃数据内存中，其中，在所述活跃读数据链中所述活跃数据依据命中次数降序排列；
步骤S206：将所述活跃读数据链中的末尾数据放入非活跃数据内存后，释放所述非活跃数据缓存中的非活跃数据；
步骤S207：完成所述非活跃数据的释放后，在所述活跃数据内存中查找所述目标元数据。
在本实施例中，元数据查询时先从内存中查询，如果查询到元数据则返回，如果查询不到则继续去硬盘中查询。将硬盘中的数据读取到内存中，设计多级读缓存，用来保存多次从硬盘中读取的数据。设计多级读缓存时，将缓存中的数据分为活跃和非活跃数据，设定一个阈值，将从硬盘中读取的数据保存在缓存中，命中一次的数据放到非活跃的读缓存中，命中次数超过阈值时，将其数据放入活跃数据链。在两个读缓存链中，将命中次数较多的数据放入链中靠前的位置。由于数据不停从盘中读取数据，因此需要淘汰末尾数据，在多级读缓存中针对元数据分别进行淘汰，将活跃元数据末尾数据放入不活跃数据缓存中，将不活跃缓存数据释放。本实施例所提供的方法，在大量数据查询过程中提高效率，减少时间延迟。
请参考图3，图3为本发明实施例提供的一种元数据查询的装置的结构框图；具体装置可以包括：
接收模块100，接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；
读取模块200，用于若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；
查找模块300，用于将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
本实施例的元数据查询的装置用于实现前述的元数据查询的方法，因此元数据查询的装置中的具体实施方式可见前文中的元数据查询的方法的实施例部分，例如，接收模块100，读取模块200，查找模块300，分别用于实现上述元数据查询的方法中步骤S101，S102，和S103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种元数据查询的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种元数据查询的方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种元数据查询的方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的元数据查询的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种元数据查询的方法，其特征在于，包括：
接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；
若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；
将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
2.如权利要求1所述的方法，其特征在于，所述接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据前还包括：
将所述存储系统内的数据依据B+树方式分类存储，以便于在接收到数据查询的请求后，依据数值顺序在所述存储系统的内存中查找目标元数据。
3.如权利要求1所述的方法，其特征在于，所述依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中包括：
依据所述预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据；
将所述活跃数据读取至活跃数据内存，将所述数据非活跃数据中读取至非活跃数据内存中。
4.如权利要求3所述的方法，其特征在于，所述依据所述预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据包括：
在所述数据集中命中一次的数据为非活跃数据，将所述非活跃数据放入非活跃读数据链，从而将所述非活跃数据读取至所述内存的非活跃数据内存中；
所述数据集中命中次数超过所述预设阈值的数据为活跃数据，将所述活跃数据放入所述活跃读数据链，从而将所述活跃数据读取在所述内存的活跃数据内存中。
5.如权利要求4所述的方法，其特征在于，所述将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据包括：
在所述活跃读数据链中，所述活跃数据依据命中次数降序排列；
将所述活跃读数据链中的末尾数据放入非活跃数据内存中，释放所述非活跃数据缓存中的非活跃数据；
完成所述非活跃数据的释放后，在所述活跃数据内存中查找所述目标元数据。
6.一种元数据查询的装置，其特征在于，包括：
接收模块，接收到数据查询的请求后，查找存储系统的内存中是否存在目标元数据；
读取模块，用于若所述内存中不存在所述目标元数据，则依据预设阈值查找所述存储系统硬盘数据集中的活跃数据，并将所述活跃数据读取至所述内存中；
查找模块，用于将所述活跃数据读取至所述内存中后，在所述活跃数据内存中查找所述目标元数据。
7.如权利要求6所述的装置，其特征在于，所述接收模块前还包括：
存储模块，用于将所述存储系统内的数据依据B+树方式分类存储，以便于在接收到数据查询的请求后，依据数值顺序在所述存储系统的内存中查找目标元数据。
8.如权利要求6所述的装置，其特征在于，所述读取模块具体用于：
依据预设阈值，将所述数据集中的数据划分为活跃数据和非活跃数据；
将所述活跃数据读取至活跃数据内存，将所述数据非活跃数据中读取至非活跃数据内存中。
9.一种元数据查询的设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述一种元数据查询的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述一种元数据查询的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294471.0A CN109992708B (zh) | 2019-04-12 | 2019-04-12 | 一种元数据查询的方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910294471.0A CN109992708B (zh) | 2019-04-12 | 2019-04-12 | 一种元数据查询的方法、装置、设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109992708A true CN109992708A (zh) | 2019-07-09 |
| CN109992708B CN109992708B (zh) | 2020-09-04 |
Family
ID=67133402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910294471.0A Active CN109992708B (zh) | 2019-04-12 | 2019-04-12 | 一种元数据查询的方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109992708B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112540984A (zh) * | 2020-11-23 | 2021-03-23 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
| CN115599704A (zh) * | 2022-11-30 | 2023-01-13 | 湖南国科亿存信息科技有限公司（Cn） | 一种文件系统元数据分离存储方法、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298631A (zh) * | 2011-08-31 | 2011-12-28 | 江苏大学 | 一种新型元数据管理系统和一种元数据属性混合索引方法 |
| CN103473298A (zh) * | 2013-09-04 | 2013-12-25 | 华为技术有限公司 | 数据归档方法和装置以及存储系统 |
| CN105868228A (zh) * | 2014-11-25 | 2016-08-17 | Sap欧洲公司 | 为olap和oltp事务提供无锁读取和写入操作的内存数据库系统 |
| CN106503051A (zh) * | 2016-09-23 | 2017-03-15 | 暨南大学 | 一种基于元数据分类的贪婪预取型数据恢复系统及恢复方法 |
| US10169707B1 (en) * | 2015-06-02 | 2019-01-01 | Predata, Inc. | System and method for generating predictions of geopolitical events |
| CN109388341A (zh) * | 2018-08-28 | 2019-02-26 | 安徽继远软件有限公司 | 一种基于Device Mapper的系统存储优化方法 |
| CN109521962A (zh) * | 2018-11-14 | 2019-03-26 | 郑州云海信息技术有限公司 | 一种元数据查询方法、装置、设备及计算机可读存储介质 |
| CN109522243A (zh) * | 2018-10-22 | 2019-03-26 | 郑州云海信息技术有限公司 | 一种全闪存储中元数据缓存管理方法、装置及存储介质 |
-
2019
- 2019-04-12 CN CN201910294471.0A patent/CN109992708B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102298631A (zh) * | 2011-08-31 | 2011-12-28 | 江苏大学 | 一种新型元数据管理系统和一种元数据属性混合索引方法 |
| CN103473298A (zh) * | 2013-09-04 | 2013-12-25 | 华为技术有限公司 | 数据归档方法和装置以及存储系统 |
| CN105868228A (zh) * | 2014-11-25 | 2016-08-17 | Sap欧洲公司 | 为olap和oltp事务提供无锁读取和写入操作的内存数据库系统 |
| US10169707B1 (en) * | 2015-06-02 | 2019-01-01 | Predata, Inc. | System and method for generating predictions of geopolitical events |
| CN106503051A (zh) * | 2016-09-23 | 2017-03-15 | 暨南大学 | 一种基于元数据分类的贪婪预取型数据恢复系统及恢复方法 |
| CN109388341A (zh) * | 2018-08-28 | 2019-02-26 | 安徽继远软件有限公司 | 一种基于Device Mapper的系统存储优化方法 |
| CN109522243A (zh) * | 2018-10-22 | 2019-03-26 | 郑州云海信息技术有限公司 | 一种全闪存储中元数据缓存管理方法、装置及存储介质 |
| CN109521962A (zh) * | 2018-11-14 | 2019-03-26 | 郑州云海信息技术有限公司 | 一种元数据查询方法、装置、设备及计算机可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112540984A (zh) * | 2020-11-23 | 2021-03-23 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
| CN112540984B (zh) * | 2020-11-23 | 2023-10-03 | 成都佳华物链云科技有限公司 | 数据存储方法、查询方法、装置、电子设备及存储介质 |
| CN115599704A (zh) * | 2022-11-30 | 2023-01-13 | 湖南国科亿存信息科技有限公司（Cn） | 一种文件系统元数据分离存储方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109992708B (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106096023B (zh) | 数据读取方法、数据写入方法及数据服务器 | |
| CN104090889B (zh) | 数据处理方法及系统 | |
| CN104794177B (zh) | 一种数据存储方法及装置 | |
| CN109726174A (zh) | 数据归档方法、系统、设备以及存储介质 | |
| CN108255958A (zh) | 数据查询方法、装置和存储介质 | |
| CN110008142A (zh) | 存储数据管理方法、装置、设备及计算机可读存储介质 | |
| JP2015528603A (ja) | 集約／グループ化動作：ハッシュテーブル法のハードウェア実装 | |
| CN106407303A (zh) | 数据存储、查询方法及装置 | |
| CN104834648B (zh) | 日志查询方法和装置 | |
| KR101400214B1 (ko) | Ｈｙｂｒｉｄ Ｃ 인터페이스를 지원하는 장치 | |
| CN109344157A (zh) | 读写分离方法、装置、计算机设备及存储介质 | |
| CN109521962A (zh) | 一种元数据查询方法、装置、设备及计算机可读存储介质 | |
| CN112148217B (zh) | 全闪存储系统的重删元数据的缓存方法、装置及介质 | |
| CN106055622A (zh) | 一种数据搜索方法及系统 | |
| CN106897344A (zh) | 分布式数据库的数据操作请求处理方法及装置 | |
| CN110399096A (zh) | 分布式文件系统元数据缓存重删的方法、装置以及设备 | |
| CN104598394A (zh) | 一种可动态分配的数据缓存方法及系统 | |
| CN109271449A (zh) | 一种基于文件的分布式存储查询系统及查询方法 | |
| CN109508144A (zh) | 一种日志处理方法及相关装置 | |
| CN109086462A (zh) | 一种分布式文件系统中元数据的管理方法 | |
| CN107239485A (zh) | 数据库操作方法、装置及系统 | |
| CN109992708A (zh) | 一种元数据查询的方法、装置、设备以及存储介质 | |
| CN104423982A (zh) | 请求的处理方法和处理设备 | |
| CN108989439A (zh) | 一种分布式存储服务质量控制方法及装置 | |
| CN105138676A (zh) | 基于高级语言并发聚合计算的分库分表merge查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |