CN106844578A - 对元数据服务器所负载子树根目录进行查询的方法及装置 - Google Patents
对元数据服务器所负载子树根目录进行查询的方法及装置 Download PDFInfo
- Publication number
- CN106844578A CN106844578A CN201710011491.3A CN201710011491A CN106844578A CN 106844578 A CN106844578 A CN 106844578A CN 201710011491 A CN201710011491 A CN 201710011491A CN 106844578 A CN106844578 A CN 106844578A
- Authority
- CN
- China
- Prior art keywords
- data server
- meta data
- subtree root
- subtree
- root directory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及元数据服务器存储领域，公开了一种对元数据服务器所负载子树根目录进行查询的方法及装置，克服了现有技术中，查询每个元数据服务器的子树根目录的负载，无法切换来平衡负载问题。该发明元数据服务器获取子树根目录查询消息；元数据服务器根据子树根目录查询消息形成子树根目录响应消息；元数据服务器返回子树根目录响应消息。元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。本发明一次查询获取所有子树根目录，不再由原根目录处理，而是由被分配的子目录来处理，从而达到负载平衡的效果。
Description
技术领域
该发明涉及元数据服务器存储领域，特别是涉及一种对元数据服务器所负载子树根目录进行查询的方法及装置。
背景技术
集群文件系统中，对于文件元数据的所有操作，都是通过元数据服务器来进行响应处理，当集群规模变大以后，单个元数据服务器不足以支撑消息的响应处理，因此增加为多个元数据服务器作为集群来处理请求响应。但很难保证各个元数据服务器之间子树根目录负载平衡，因此需要查询每个元数据服务器的子树根目录的负载，进行负载切换，达到负载平衡。当前的查询方式，是针对单个目录查询该目录所属于的元数据服务器，当目录数量太大时候，查询效果差，不能及时的进行负载切换，影响系统使用。
发明内容
针对上述技术问题，本发明提供一种能够切换查询负载的对元数据服务器所负载子树根目录进行查询的方法及装置。
为解决以上技术问题，本发明采用以下技术解决方案，一种对元数据服务器所负载子树根目录进行查询的方法包括以下步骤：
元数据服务器获取子树根目录查询消息；
元数据服务器根据子树根目录查询消息形成子树根目录响应消息；
元数据服务器返回子树根目录响应消息。
优选地，元数据服务器获取子树根目录查询消息之前，还包括，接收查询指令并将其解析成子树根目录查询消息。
元数据服务器根据子树根目录查询消息形成子树根目录响应消息包括，元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。
所述分析发来的查询命令为分析出查询的目标所属元数据服务器的序号、查询方式为查询所属元数据服务器所有的子树根目录。
优选地，元数据服务器返回子树根目录响应消息之前，还包括，判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录。
优选地，元数据服务器返回子树根目录响应消息之后，还包括，在用户的查询界面上显示返回结果。
一种对元数据服务器所负载子树根目录进行查询的装置，包括以下模块：
发送模块，用于元数据服务器获取子树根目录查询消息；
形成模块，用于将元数据服务器根据的子树根目录查询消息形成子树根目录响应消息；
返回模块，用于将元数据服务器返回子树根目录响应消息。
优选地，还包括解析模块, 用于元数据服务器获取子树根目录查询消息之前，接收查询指令并将其解析成子树根目录查询消息。
所述形成模块, 用于元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。
所述形成模块用于从分析发来的查询命令分析出查询的目标所属元数据服务器的序号、查询方式为查询所属元数据服务器所有的子树根目录。
优选地，还包括子树根目录判断模块，用于元数据服务器返回子树根目录响应消息之前，判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录。
优选地，还包括显示模块，用于元数据服务器返回子树根目录响应消息之后，在用户的查询界面上显示返回结果。
与现有技术相比，本发明一种对元数据服务器所负载子树根目录进行查询的方法及装置具有以下优点：
1.本发明每次能查询多个目录所属的元数据服务器，当目录数量太大时候，查询效果好，能及时的进行负载切换，提高系统使用效率。
2.本发明一次查询获取所有子树根目录，这些分出去的子目录以及子目录下的文件或目录的请求，不再由原根目录处理，而是由被分配的子目录来处理，从而达到负载平衡的效果。
附图说明
图1是本发明对元数据服务器所负载子树根目录进行查询的方法及装置中方法的流程示意图之一；
图2是本发明对元数据服务器所负载子树根目录进行查询的方法及装置中方法的流程示意图之二；
图3是本发明对元数据服务器所负载子树根目录进行查询的方法及装置中方法的流程示意图之三；
图4是本发明对元数据服务器所负载子树根目录进行查询的方法及装置中方法的流程示意图之四；
图5是本发明对元数据服务器所负载子树根目录进行查询的方法及装置中现有技术的工作流程图；
图6是本发明对元数据服务器所负载子树根目录进行查询的方法及装置的工作流程图。
具体实施方式
下面结合附图和具体实施方式对本发明一种对元数据服务器所负载子树根目录进行查询的方法及装置作进一步说明：
实施例1
如图1所示，一种对元数据服务器所负载子树根目录进行查询的方法包括以下步骤：
步骤S101：元数据服务器获取子树根目录查询消息。
步骤S102：元数据服务器根据子树根目录查询消息形成子树根目录响应消息。
步骤S103：元数据服务器返回子树根目录响应消息。
实施例2
如图2所示，一种对元数据服务器所负载子树根目录进行查询的方法包括以下步骤：
步骤S201：接收查询指令并将其解析成子树根目录查询消息。
步骤S202：元数据服务器获取子树根目录查询消息。
步骤S203：元数据服务器根据子树根目录查询消息形成子树根目录响应消息。
步骤S204：判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录。
步骤S205：元数据服务器返回子树根目录响应消息。
步骤S206：在用户的查询界面上显示返回结果。
其中在步骤S203中：元数据服务器根据子树根目录查询消息形成子树根目录响应消息包括，元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。所述分析发来的查询命令为分析出查询的目标所属元数据服务器的序号、查询方式为查询所属元数据服务器所有的子树根目录。
实施例3
如图3所示，一种对元数据服务器所负载子树根目录进行查询的装置包括以下模块：
发送模块31，用于元数据服务器获取子树根目录查询消息。
形成模块32，用于将元数据服务器根据的子树根目录查询消息形成子树根目录响应消息。
返回模块33，用于将元数据服务器返回子树根目录响应消息。
发送模块31连接形成模块32，形成模块32连接返回模块33。
实施例4
如图4所示，一种对元数据服务器所负载子树根目录进行查询的装置包括以下模块：
包括解析模块41, 用于元数据服务器获取子树根目录查询消息之前，接收查询指令并将其解析成子树根目录查询消息。
发送模块42，用于元数据服务器获取子树根目录查询消息。
形成模块43，用于将元数据服务器根据的子树根目录查询消息形成子树根目录响应消息。
还包括子树根目录判断模块44，用于元数据服务器返回子树根目录响应消息之前，判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录。
返回模块45，用于将元数据服务器返回子树根目录响应消息。
还包括显示模块46，用于元数据服务器返回子树根目录响应消息之后，在用户的查询界面上显示返回结果。
解析模块41连接发送模块42，发送模块42连接形成模块43，形成模块43连接子树根目录判断模块44，连接子树根目录判断模块44连接返回模块45，返回模块45连接显示模块46。
其中所述形成模块43, 用于元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。形成模块43用于从分析发来的查询命令分析出查询的目标所属元数据服务器的序号、查询方式为查询所属元数据服务器所有的子树根目录。
根据图5和图6可以看出，本发明和现有技术中，dir1和dir2都属于mds0，区别点在于dir1下面的目录没做负载平衡，其下所有子目录的请求，都是发往mds0，全部由mds0处理。而dir2下面的子目录，按照一定规则，比如轮询规则：有3个mds，第一个子目录分给mds0，第二个分给mds1，第三个分给mds2，第四个再分给mds0，依次轮询；按照目录访问热度：首先不分，全部由mds0来处理，发现哪个子目录的热度最高，将其分给mds1，再发现剩余目录中访问热度最高的，再分给mds2，剩下的最高的，再分给mds1,依次处理，3个mds负载基本平衡后，则不再分配。将子目录分给不同的mds，这些分出去的子目录以及子目录下的文件或目录的请求，不再由mds0处理，而是由被分配的mds来处理，从而达到负载平衡的效果。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护内容。
Claims (10)
1.一种对元数据服务器所负载子树根目录进行查询的方法，其特征在于：
元数据服务器获取子树根目录查询消息；
元数据服务器根据子树根目录查询消息形成子树根目录响应消息；
元数据服务器返回子树根目录响应消息。
2.根据权利要求1所述的对元数据服务器所负载子树根目录进行查询的方法，其特征在于，元数据服务器获取子树根目录查询消息之前，还包括，接收查询指令并将其解析成子树根目录查询消息。
3.根据权利要求1所述的对元数据服务器所负载子树根目录进行查询的方法，其特征在于，元数据服务器根据子树根目录查询消息形成子树根目录响应消息包括，元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。
4.根据权利要求3所述的对元数据服务器所负载子树根目录进行查询的方法，其特征在于，所述分析发来的查询命令为分析出查询的目标所属元数据服务器的序号，查询方式为查询所属元数据服务器所有的子树根目录。
5.根据权利要求1所述的对元数据服务器所负载子树根目录进行查询的方法，其特征在于，元数据服务器返回子树根目录响应消息之前，还包括，判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录。
6.根据权利要求1所述的对元数据服务器所负载子树根目录进行查询的方法，其特征在于，元数据服务器返回子树根目录响应消息之后，还包括，在用户的查询界面上显示返回结果。
7.一种对元数据服务器所负载子树根目录进行查询的装置，其特征在于，包括：
发送模块，用于元数据服务器获取子树根目录查询消息；
形成模块，用于将元数据服务器根据的子树根目录查询消息形成子树根目录响应消息；
返回模块，用于将元数据服务器返回子树根目录响应消息。
8.根据权利要求7所述的对元数据服务器所负载子树根目录进行查询的装置，其特征在于，还包括解析模块, 用于元数据服务器获取子树根目录查询消息之前，接收查询指令并将其解析成子树根目录查询消息。
9.根据权利要求7所述的对元数据服务器所负载子树根目录进行查询的装置，其特征在于，所述形成模块, 用于元数据服务器接收并分析发来的查询命令，查询其内存空间中的所有子树根目录，根据子树根目录所属的元数据服务器进行过滤，将其元数据服务器的所有子树根目录形成子树根目录响应消息。
10.根据权利要求9所述的对元数据服务器所负载子树根目录进行查询的装置，其特征在于，所述形成模块用于从分析发来的查询命令分析出查询的目标所属元数据服务器的序号、查询方式为查询所属元数据服务器所有的子树根目录；优选地，还包括子树根目录判断模块，用于元数据服务器返回子树根目录响应消息之前，判断元数据服务器有没有子树根目录，如果有，则返回子树根目录响应消息，如果没有，则返回空目录；优选地，包括显示模块，用于元数据服务器返回子树根目录响应消息之后，在用户的查询界面上显示返回结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710011491.3A CN106844578A (zh) | 2017-01-07 | 2017-01-07 | 对元数据服务器所负载子树根目录进行查询的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710011491.3A CN106844578A (zh) | 2017-01-07 | 2017-01-07 | 对元数据服务器所负载子树根目录进行查询的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106844578A true CN106844578A (zh) | 2017-06-13 |
Family
ID=59117987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710011491.3A Pending CN106844578A (zh) | 2017-01-07 | 2017-01-07 | 对元数据服务器所负载子树根目录进行查询的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106844578A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101196929A (zh) * | 2007-12-29 | 2008-06-11 | 中国科学院计算技术研究所 | 一种拆分名字空间的元数据管理方法 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN103198153A (zh) * | 2013-04-25 | 2013-07-10 | 北京邮电大学 | 一种应用于分布式文件系统的元数据分簇管理方法和模块 |
| CN103279568A (zh) * | 2013-06-18 | 2013-09-04 | 无锡紫光存储系统有限公司 | 一种元数据管理系统及方法 |
| CN103761256A (zh) * | 2013-12-30 | 2014-04-30 | 中国科学院计算技术研究所 | 一种远程目录分支点维护系统及其方法 |
| CN106202492A (zh) * | 2016-07-19 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种网络文件系统的元数据服务优化方法及系统 |
-
2017
- 2017-01-07 CN CN201710011491.3A patent/CN106844578A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101196929A (zh) * | 2007-12-29 | 2008-06-11 | 中国科学院计算技术研究所 | 一种拆分名字空间的元数据管理方法 |
| CN101697168A (zh) * | 2009-10-22 | 2010-04-21 | 中国科学技术大学 | 一种分布式文件系统动态元数据管理方法及系统 |
| CN103198153A (zh) * | 2013-04-25 | 2013-07-10 | 北京邮电大学 | 一种应用于分布式文件系统的元数据分簇管理方法和模块 |
| CN103279568A (zh) * | 2013-06-18 | 2013-09-04 | 无锡紫光存储系统有限公司 | 一种元数据管理系统及方法 |
| CN103761256A (zh) * | 2013-12-30 | 2014-04-30 | 中国科学院计算技术研究所 | 一种远程目录分支点维护系统及其方法 |
| CN106202492A (zh) * | 2016-07-19 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种网络文件系统的元数据服务优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102375837B (zh) | 数据采集系统和方法 | |
| CN103778148B (zh) | Hadoop分布式文件系统数据文件的生命周期管理方法和设备 | |
| US7774301B2 (en) | Use of federation services and transformation services to perform extract, transform, and load (ETL) of unstructured information and associated metadata | |
| US20120151315A1 (en) | Using text messages to interact with spreadsheets | |
| CN109299157A (zh) | 一种分布式大单表的数据导出方法及装置 | |
| CN102904960B (zh) | 一种基于rss的信息同步系统及方法 | |
| US20130346537A1 (en) | Storage optimization technology | |
| CN102930056B (zh) | 云存储系统的检索方法及设备 | |
| CN103095758B (zh) | 一种分布式文件系统及该系统中处理文件数据的方法 | |
| CN108509275A (zh) | 一种目录迁移方法和元数据负载均衡方法 | |
| US10425273B2 (en) | Data processing system and data processing method | |
| CN105045905B (zh) | 一种基于全文检索的日志维护方法及系统 | |
| CN108509437A (zh) | 一种ElasticSearch查询加速方法 | |
| CN103761256B (zh) | 一种远程目录分支点维护系统及其方法 | |
| WO2016000507A1 (zh) | 省流量模式搜索服务的方法、服务器、客户端和系统 | |
| CN109002424A (zh) | 文件格式转换方法、装置、计算机设备及存储介质 | |
| CN110162412B (zh) | 在客户端进行数据操作的方法和装置 | |
| CN107943423A (zh) | 云系统中存储资源的管理方法和计算机可读存储介质 | |
| CN103561060A (zh) | 一种多线程环境下的通信链接方法及中转服务器 | |
| CN104426868A (zh) | 请求的处理方法和处理装置 | |
| CN110688201B (zh) | 一种日志管理方法及相关设备 | |
| CN110245043B (zh) | 一种分布式系统间调用关系的跟踪系统 | |
| US20150309929A1 (en) | Computer system, data management method, and recording medium for storing program | |
| CN106506647A (zh) | 一种客户端具有数据备份装置的智慧社区云存储系统 | |
| CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170613 |
|
| RJ01 | Rejection of invention patent application after publication |