CN110059056A - 多节点多文件的分布式系统可读/写检测方法、装置、设备 - Google Patents
多节点多文件的分布式系统可读/写检测方法、装置、设备 Download PDFInfo
- Publication number
- CN110059056A CN110059056A CN201910312503.5A CN201910312503A CN110059056A CN 110059056 A CN110059056 A CN 110059056A CN 201910312503 A CN201910312503 A CN 201910312503A CN 110059056 A CN110059056 A CN 110059056A
- Authority
- CN
- China
- Prior art keywords
- node
- read
- multinode
- multifile
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种多节点多文件的分布式系统可读/写检测方法、装置及设备，所述方法包括：S1：在第一节点上读取节点列表；S2：登录所述节点列表上的多个第二节点；S3：在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；S4：比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。可以简洁、准确的检测出指定文件系统的可读可写性；能够提升多节点多文件系统的整体状态检测速度，极大提高效率。
Description
技术领域
本发明涉及IAAS基础设施即服务技术领域，尤其涉及多节点多文件的分布式系统可读/写检测方法、装置、设备。
背景技术
IAAS基础设施即服务中，尤其是分布式存储系统，如HDFS、Swift、Ceph、GlusterFS等，会使用大量的x86节点主机，1台x86节点主机会使用多达几十块大容量的存储数据的磁盘。通常磁盘之间不考虑冗余，每块数据磁盘对应一个文件系统，形成单个节点主机就有几十个文件系统的状态。为确保上层应用的稳定性和高性能，能够及时快速检测各个节点内的各个文件系统的可读/写的可用性状态，十分必要。
现有技术中，通过自定义脚本、程序等检测单个节点操作系统下的文件系统是否可读和可写，但对多节点环境的文件系统状态检测，缺少有效方法或检测效率低下。
发明内容
为了解决现有技术缺少有效方法对多节点环境的文件系统的读写状态检测或检测效率低下的技术问题。
第一方面，本发明提供了一种多节点多文件的分布式系统可读/写检测方法，包括：
S1：在第一节点上读取节点列表；
S2：登录所述节点列表上的多个第二节点；
S3：在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
S4：比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
进一步，在所述S1中，所述第一节点为master主节点。
进一步，在所述S1中读取的节点列表是配置的minion从节点列表。
进一步，所述第二节点为minion从节点，在所述S2的登录所述节点列表是自动循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
进一步，在所述S4中，所述根据比较结果确定检测结果，包括：如果比较结果一致，则检索结果说明说明文件系统读写正确，如果比较结果不一致则检测结果说明异常，并提示当前节点文件系统异常。
第二方面，本发明提供了一种多节点多文件的分布式系统可读/写检测装置，读取模块，用于在第一节点上读取节点列表；
循环登录模块，用于登录所述节点列表上的多个第二节点；
检测模块，用于在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
比较模块，用于比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
进一步，在所述读取模块中，所述第一节点为master主节点。
进一步，在所述读取模块中，读取的节点列表是配置的minion从节点列表。
进一步，所述第二节点为minion从节点，在所述循环登录模块中的登录所述节点列表是自动循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明的有益效果是：
1、可以简洁、准确且快速的检测出指定文件系统的可读可写性；
2、能够提升多节点多文件系统的整体状态检测速度，极大提高效率；
3、在master节点上登录minion节点可以利用业界流行的分布式管理工具或自定义的工具来实现；
4、同时，当第一个文件系统为可读/可写的文件系统，当读取到同一minion从节点下的第二个文件系统时，有可能存在内存未清除干净的情况，仍保留有原有的数据，进而可能存在误判断文件系统可读/写性的判断，而在本申请中，采用随机值T1可以有效防止多个文件系统在读取时产生误判断。
附图说明
图1为本发明的一种多节点多文件的分布式系统可读/写检测方法的流程示意图；
图2为master节点下对应多个minion节点，minion节点下对应多个文件系统的示意图；
图3为本发明的判断流程示意图；
图4为本发明的一种多节点多文件的分布式系统可读/写检测装置的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定装备结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
如图1所示，本发明公开了一种多节点多文件系统可读可写批量快速检测方法，包括：
S1：在第一节点上读取节点列表；
S2：登录所述节点列表上的多个第二节点；
S3：在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
S4：比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
在文件系统中，所述第一节点和所述第二节点为计算机服务器，由master主节点自动跳转到minion从节点，其中，master主节点为一个中枢。
所述随机值为T1，是一个和时间相关的随机变化的值。所述读取值T2是读取得到的值。所述文件系统读/写正常的情况下，所述随机值T1应该和所述读取值T2相同，不正常情况则是随机值T1和读取值T2存在一定的差异。
同时，在本申请中，采用随机值T1可以有效防止多个文件系统在读取时产生误判断，例如：两个文件系统，如果都写入同样的数值3.1415926，在第一个系统中读取值为3.1415926为正确的，该文件系统可读/写，当读取到同一minion从节点下的第二个文件系统时，有可能存在内存未清除干净的情况，仍保留有原有的数据，进而可能存在误判断文件系统可读/写性的判断。
产生差异的原因可能是随机值T1未能正确写入文件系统中，也可能是该文件系统无法正确读取。
采用本发明的方法可以实现批量登录多个所述minion从节点，检测所述minion从节点下对应的几十个文件系统的是否可读/写，相对现有技术的登录单个minion从节点，手动检测或用用户自己编辑的工具进行检测能够节约大量的时间，提高效率。
在一些说明性实施例中，在所述S1中，所述第一节点为master主节点。
在一些说明性实施例中，在所述S1中读取的节点列表是配置的minion从节点列表。
在一些说明性实施例中，所述第二节点为minion从节点，在所述S2的登录所述节点列表是自动循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
在一些说明性实施例中，在所述S4中，所述根据比较结果确定检测结果，包括：如果比较结果一致，则检索结果说明说明文件系统读写正确，如果比较结果不一致则检测结果说明异常，并提示当前节点文件系统异常。
如图2所示，一个master主节点下面对应多个minion从节点minion1、minion2、……、minion N，其中N为大于1的正整数，所述多个minion从节点构成节点列表；
一个minion从节点下面对应多个不同的linux系统/fs-1、/fs-2、……、/fs-X，其中/fs为自定义的系统名称，X表示大于1的正整数。
如图3所示，示出了本发明的判断流程：
首先判断分布式文件系统是否存在，如果不存在则直接显示文件系统异常；
当文件系统存在时，在文件系统中写入随机值T1，并读取文件系统中写入的读取值T2并进行判断随机值T1的值和读取值T2的值是否相同；
如果随机值T1的值和读取值T2的值相同，则说明该分布式文件系统是可读/写的系统，否则该文件系统异常；
输出判断的结果，如果文件系统异常则提示minion从节点N下面的文件系统/fs-X异常，或者输出minion从节点N下面的文件系统/fs-X可读/写。
如图4所示，本发明还提供了一种多节点多文件系统可读可写批量快速检测装置，包括：
读取模块100，用于在第一节点上读取节点列表；
循环登录模块200，用于登录所述节点列表上的多个第二节点；
检测模块300，用于在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
比较模块400，用于比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
在一些说明性实施例中，在所述读取模块中，所述第一节点为master主节点。
在一些说明性实施例中，在所述读取模块中，读取的节点列表是配置的minion从节点列表。
在一些说明性实施例中，所述第二节点为minion从节点，在所述循环登录模块中的登录所述节点列表是自动循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种多节点多文件的分布式系统可读/写检测方法，其特征在于，包括：
S1：在第一节点上读取节点列表；
S2：登录所述节点列表上的多个第二节点；
S3：在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
S4：比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
2.根据权利要求1所述的多节点多文件的分布式系统可读/写检测方法，其特征在于，在所述S1中，所述第一节点为master主节点。
3.根据权利要求1或2所述的多节点多文件的分布式系统可读/写检测方法，其特征在于，在所述S1中读取的节点列表是配置的minion从节点列表。
4.根据权利要求3所述的多节点多文件的分布式系统可读/写检测方法，其特征在于，所述第二节点为minion从节点，在所述S2的登录所述节点列表是循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
5.根据权利要求1所述的多节点多文件的分布式系统可读/写检测方法，其特征在于，在所述S4中，所述根据比较结果确定检测结果，包括：如果比较结果一致，则检索结果说明说明文件系统读写正确，如果比较结果不一致则检测结果说明异常，并提示当前节点文件系统异常。
6.一种多节点多文件的分布式系统可读/写检测装置，其特征在于，包括：
读取模块，用于在第一节点上读取节点列表；
循环登录模块，用于登录所述节点列表上的多个第二节点；
检测模块，用于在多个第二节点上循环检测，如果判断到当前第二节点上的文件系统存在，则将随机值写入当前第二节点的文件系统并读取该文件系统的读取值；
比较模块，用于比较所述随机值与读取的所述读取值是否一致，根据比较结果确定检测结果。
7.根据权利要求6所述的多节点多文件的分布式系统可读/写检测装置，其特征在于，在所述读取模块中，所述第一节点为master主节点。
8.根据权利要求6或7所述的多节点多文件的分布式系统可读/写检测装置，其特征在于，在所述读取模块中，读取的节点列表是配置的minion从节点列表。
9.根据权利要求8所述的多节点多文件的分布式系统可读/写检测装置，其特征在于，所述第二节点为minion从节点，在所述循环登录模块中的登录所述节点列表是自动循环登录到多个远程minion从节点N，其中，N为大于1的正整数。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～5任一项中所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910312503.5A CN110059056A (zh) | 2019-04-18 | 2019-04-18 | 多节点多文件的分布式系统可读/写检测方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910312503.5A CN110059056A (zh) | 2019-04-18 | 2019-04-18 | 多节点多文件的分布式系统可读/写检测方法、装置、设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110059056A true CN110059056A (zh) | 2019-07-26 |
Family
ID=67319522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910312503.5A Pending CN110059056A (zh) | 2019-04-18 | 2019-04-18 | 多节点多文件的分布式系统可读/写检测方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110059056A (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020152349A1 (en) * | 2001-04-12 | 2002-10-17 | Masahiro Kageyama | Method and apparatus for file management |
| JP2006318115A (ja) * | 2005-05-11 | 2006-11-24 | Sony Corp | 半導体記憶装置及び半導体記憶装置機能検査方法並びに半導体記憶装置を有する電子機器 |
| CN101883028A (zh) * | 2010-06-30 | 2010-11-10 | 中兴通讯股份有限公司 | 网络文件系统服务器的检测方法及装置 |
| CN102419995A (zh) * | 2010-09-27 | 2012-04-18 | 株式会社日立制作所 | 信息存取设备及信息存取方法 |
| CN102541789A (zh) * | 2010-12-24 | 2012-07-04 | 英属开曼群岛商恒景科技股份有限公司 | 串行通讯系统及其控制方法 |
| CN103001832A (zh) * | 2012-12-21 | 2013-03-27 | 曙光信息产业(北京)有限公司 | 分布式文件系统中节点的检测方法和装置 |
| CN103399800A (zh) * | 2013-08-07 | 2013-11-20 | 山东大学 | 基于Linux并行计算平台的动态负载均衡方法 |
| CN104735087A (zh) * | 2015-04-16 | 2015-06-24 | 国家电网公司 | 一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法 |
| CN105471675A (zh) * | 2015-11-20 | 2016-04-06 | 浪潮电子信息产业股份有限公司 | 一种多节点批量测试的方法及系统 |
| US20170091217A1 (en) * | 2015-09-27 | 2017-03-30 | International Business Machines Corporation | Parallel processing of large data files on distributed file systems with dynamic workload balancing |
| CN106571974A (zh) * | 2016-10-09 | 2017-04-19 | 美的智慧家居科技有限公司 | 家用电器的配网方法、系统、家用电器和移动终端 |
| CN107800802A (zh) * | 2017-11-10 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种Rack整机柜写入及读取UUID的方法 |
| CN108228388A (zh) * | 2018-01-10 | 2018-06-29 | 青岛海信移动通信技术股份有限公司 | 一种恢复设置的方法和终端 |
| CN108366087A (zh) * | 2017-12-26 | 2018-08-03 | 创新科存储技术（深圳）有限公司 | 一种基于分布式文件系统的iscsi服务实现方法和装置 |
| CN108932249A (zh) * | 2017-05-24 | 2018-12-04 | 华为技术有限公司 | 一种管理文件系统的方法及装置 |
-
2019
- 2019-04-18 CN CN201910312503.5A patent/CN110059056A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020152349A1 (en) * | 2001-04-12 | 2002-10-17 | Masahiro Kageyama | Method and apparatus for file management |
| JP2006318115A (ja) * | 2005-05-11 | 2006-11-24 | Sony Corp | 半導体記憶装置及び半導体記憶装置機能検査方法並びに半導体記憶装置を有する電子機器 |
| CN101883028A (zh) * | 2010-06-30 | 2010-11-10 | 中兴通讯股份有限公司 | 网络文件系统服务器的检测方法及装置 |
| CN102419995A (zh) * | 2010-09-27 | 2012-04-18 | 株式会社日立制作所 | 信息存取设备及信息存取方法 |
| CN102541789A (zh) * | 2010-12-24 | 2012-07-04 | 英属开曼群岛商恒景科技股份有限公司 | 串行通讯系统及其控制方法 |
| CN103001832A (zh) * | 2012-12-21 | 2013-03-27 | 曙光信息产业(北京)有限公司 | 分布式文件系统中节点的检测方法和装置 |
| CN103399800A (zh) * | 2013-08-07 | 2013-11-20 | 山东大学 | 基于Linux并行计算平台的动态负载均衡方法 |
| CN104735087A (zh) * | 2015-04-16 | 2015-06-24 | 国家电网公司 | 一种基于公钥算法和SSL协议的多集群Hadoop系统安全优化方法 |
| US20170091217A1 (en) * | 2015-09-27 | 2017-03-30 | International Business Machines Corporation | Parallel processing of large data files on distributed file systems with dynamic workload balancing |
| CN105471675A (zh) * | 2015-11-20 | 2016-04-06 | 浪潮电子信息产业股份有限公司 | 一种多节点批量测试的方法及系统 |
| CN106571974A (zh) * | 2016-10-09 | 2017-04-19 | 美的智慧家居科技有限公司 | 家用电器的配网方法、系统、家用电器和移动终端 |
| CN108932249A (zh) * | 2017-05-24 | 2018-12-04 | 华为技术有限公司 | 一种管理文件系统的方法及装置 |
| CN107800802A (zh) * | 2017-11-10 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种Rack整机柜写入及读取UUID的方法 |
| CN108366087A (zh) * | 2017-12-26 | 2018-08-03 | 创新科存储技术（深圳）有限公司 | 一种基于分布式文件系统的iscsi服务实现方法和装置 |
| CN108228388A (zh) * | 2018-01-10 | 2018-06-29 | 青岛海信移动通信技术股份有限公司 | 一种恢复设置的方法和终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Botezatu et al. | Predicting disk replacement towards reliable data centers | |
| JP5684946B2 (ja) | イベントの根本原因の解析を支援する方法及びシステム | |
| US8676568B2 (en) | Information processing apparatus and message extraction method | |
| JP6217212B2 (ja) | テストプログラム、テスト方法及びテスト装置 | |
| US7506211B2 (en) | Automated atomic system testing | |
| CN103116621B (zh) | 检测计算机硬件温度的方法、系统及识别硬件型号的方法 | |
| US20150169430A1 (en) | Selecting webpage test paths | |
| CN103164316B (zh) | 硬件监视器 | |
| CN101799791A (zh) | 一种设备巡检的方法和装置 | |
| CN102959548B (zh) | 数据存储方法、查找方法及装置 | |
| KR20080061258A (ko) | 정보 처리 장치, 장해 처리 방법, 및 장해 처리 프로그램을기록한 컴퓨터 판독 가능한 기록 매체 | |
| CN105630653A (zh) | Docker容器的CPU空闲率确定方法及装置 | |
| CN102467935A (zh) | 磁盘定位系统及方法 | |
| US10783042B2 (en) | System and method of assessing and managing storage device degradation | |
| CN101963931A (zh) | 可扩展固件接口下的硬盘测试方法 | |
| CN103365772A (zh) | 软件测试自动评价装置以及方法 | |
| CN110059056A (zh) | 多节点多文件的分布式系统可读/写检测方法、装置、设备 | |
| CN108959103A (zh) | 基于bwdsp库函数的软件测试方法 | |
| CN100487666C (zh) | 用于自动识别部件的多个组合的方法和装置 | |
| US20080313378A1 (en) | Method And System To Determine Device Criticality For Hot-Plugging In Computer Configurations | |
| JP2013077124A (ja) | ソフトウェアテストケース生成装置 | |
| CN110532139A (zh) | 预警方法及装置 | |
| CN106227502A (zh) | 一种获取硬盘固件版本的方法及装置 | |
| CN106970851A (zh) | 用于分布式文件系统中磁盘检测处理的方法和设备 | |
| JP7239828B2 (ja) | システム管理方法、システム管理プログラム、およびシステム管理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |