CN114281615B - 一种存储数据一致性自动化测试系统及方法 - Google Patents
一种存储数据一致性自动化测试系统及方法 Download PDFInfo
- Publication number
- CN114281615B CN114281615B CN202111399632.6A CN202111399632A CN114281615B CN 114281615 B CN114281615 B CN 114281615B CN 202111399632 A CN202111399632 A CN 202111399632A CN 114281615 B CN114281615 B CN 114281615B
- Authority
- CN
- China
- Prior art keywords
- module
- log
- setting
- pressure measurement
- testing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 claims abstract description 117
- 238000009530 blood pressure measurement Methods 0.000 claims abstract description 95
- 238000012544 monitoring process Methods 0.000 claims description 92
- 230000008569 process Effects 0.000 claims description 42
- 238000012795 verification Methods 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 15
- 238000013486 operation strategy Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000011056 performance test Methods 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 50
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种存储数据一致性自动化测试系统及方法,属于存储性能测试技术领域,所述系统包括压测服务器、存储系统节点以及控制台客户端节点;压测服务器与存储系统节点通过存储业务网连接,控制台客户端节点与压测服务器以及存储系统节点均通过以太网连接;压测服务器,运行自动化测试工具,通过存储业务网对存储系统节点进行测试,并提供日志保存空间及路径;控制台客户端节点,获取用户指令,通过以太网管理压测服务器及存储系统节点,控制自动化测试工具的启动执行及停止,并监控自动化测试工具运行状态,以及查阅或收集日志。本发明实现存储系统数据一致性校验持续测试,并在发生问题时及时结束IO压测,收集日志,有利于快速定位问题。
Description
技术领域
本发明属于存储性能测试技术领域,具体涉及一种存储数据一致性自动化测试系统及方法。
背景技术
数据一致性是对存储产品的核心要求,但由于数据在生产系统中的传输涉及到应用软件、服务器操作系统、网络、存储软件及一系列相关硬件,是一个极其复杂的系统流程,对于存储厂商,有效的数据一致性测试方法,快速发现并定位问题是极为重要的测试目标之一。
目前的数据一致性测试多采用MD5校验或依赖于VDbench等测试工具。MD5校验法通过制造文件,记录文件MD5值,然后将文件传输入存储设备,在存储设备上再次校验MD5,最终通过比对两次MD5检验数据一致性,此种方式为一次性检验方式,无法保障测试的持续性;测试工具方式具备实时性、持续性,可实现自动化,但缺少与应用、服务器等系统其他组件的协同性,无法实现日志保存收集,问题分析介入较晚情况下可能导致日志丢失,难以分析。
此为现有技术的不足,因此,针对现有技术中的上述缺陷,提供一种存储数据一致性自动化测试系统及方法,是非常有必要的。
发明内容
针对现有技术的上述数据一致性测试,仅提供了数据校验功能而不具备协助日志收集和分析的能力,发现一致性问题较晚,问题分析介入较晚,但持续的IO读写操作覆盖,导致问题实时信息缺失,无法保留实时日志,难以找到问题原因的缺陷,本发明提供一种存储数据一致性自动化测试系统及方法,以解决上述技术问题。
第一方面,本发明提供一种存储数据一致性自动化测试系统,包括压测服务器、存储系统节点以及控制台客户端节点;
压测服务器与存储系统节点通过存储业务网连接,控制台客户端节点与压测服务器以及存储系统节点均通过以太网连接;
压测服务器,用于运行自动化测试工具,通过存储业务网对存储系统节点进行测试,并提供日志保存空间及路径;
控制台客户端节点,用于获取用户指令,通过以太网管理压测服务器及存储系统节点,控制自动化测试工具的启动执行及停止,并监控自动化测试工具运行状态,以及查阅或收集日志。
进一步地,压测服务器上设有第一HBA卡,存储系统节点上设有第二HBA卡;
控制台客户端节点经以太网连接压测服务器的第一HBA卡,以及经以太网连接存储系统节点的第二HBA卡。HBA,是Host Bus Adapter简称,主机总线适配器,HBA卡是能插入计算机或大型主机的板卡,光纤通道HBA卡是将主机接入光纤网络必不可少的设备。
进一步地,控制台客户端节点设有管理模块;
压测试服务器上设有IO压测模块、监控模块以及日志收集模块;
管理模块,用于控制自动化测试工具的启停及管理自动化测试工具的运行策略,对测试环境进行配置,对IO压测模块进行压测策略参数设置,对监控模块监控间隔时长进行设置,对日志收集模块收集日志列表及保存转储路径的设置和管理,以及对已收集的日志进行初步分析处理;
IO压测模块,用于运行自动化测试工具,对存储系统节点进行实时IO数据一致性校验,以及模拟IO错误,并在IO错误时终止自动化测试工具并验证,生成测试日志;
监控模块,用于通过shell脚本定时监控IO压测模块的压测进程运行情况,并在检测到压测进程终止后,自动启动日志收集模块;
日志收集模块,用于根据监控模块的启动指令,自动收集自动化测试工具的日志,触发压测服务器及存储系统节点的转储,并将日志的转储文件发送到对应服务器的指定保存路径,生成日志收集列表。shell脚本基于自动化测试工具,并通过各模块配合完成存储系统节点数据一致性测试,并能在压测进程异常时,及时收集日志,便于快速定位问题。
进一步地,管理模块对测试环境进行配置包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;
IO压测模块的压测策略参数设置包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;
监控模块监控间隔时长设置,包括压测进程监控列表以及监控间隔时间设置;
日志收集模块收集日志列表及保存转储路径的设置和管理包括设置日志收集清单、设置日志转储路径以及获取日志收集结果;
对已收集的日志进行初步分析处理包括时间戳抓取、故障卷信息抓取以及故障逻辑块地址抓取。管理模块通过设置各模块的配置及参数,实现存储数据一致性测试整个过程的总体控制,确保测试过程顺利进行。
第二方面,本发明提供一种存储数据一致性自动化测试方法,包括如下步骤:
S1.管理模块预先对测试环境进行配置、对IO压测模块压测策略参数进行设置、对监控模块监控策略进行设置以及对日志收集模块收集日志列表及保存转储路径的设置和管理;
S2.管理模块控制自动化测试工具启动,自动化测试工具按照IO压测模块预设的压测策略参数对存储系统节点进行IO一致性校验测试,并生成测试日志;
S3.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控,并在检测到压测进程终止后自动启动日志收集模块;
S4.日志收集模块自动收集自动化测试工具测试日志,触发压测服务器及存储系统节点的转储,并将日志和转储文件发送到压测服务器的指定保存路径,生成日志收集列表;
S5.管理模块对收集的日志进行初步分析处理,并控制自动化测试工具停止,以及控制监控模块停止监控任务。
进一步地,步骤S1具体步骤如下:
S11.管理模块预先对测试环境进行配置,包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;
S12.管理模块预先对IO压测模块的压测策略参数进行设置,包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;
S13.管理模块预先对监控模块的监控策略进行设置,包括压测进程监控列表以及监控间隔时间设置;
S14.管理模块预先对日志收集模块收集日志列表及保存转储路径的设置和管理,包括设置日志收集清单、设置日志转储路径以及获取日志收集结果。管理模块通过设置各模块的配置及参数,实现存储数据一致性测试整个过程的总体控制,确保测试过程顺利进行。
进一步地,步骤S2具体步骤如下:
S21.管控模块控制自动化测试工具启动;
S22.自动化测试工具按照IO压测模块预设的压测策略输入校验参数进行IO数据一致性校验。
进一步地,步骤S3具体步骤如下:
S31.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控;
S32.IO压测模块通过为自动化测试工具输入参数模拟IO错误,并在IO错误后终止压测进程,对存储系统节点进行IO一致性测试,生成测试日志;
S33.监控模块检测到压测进程终止后,自动启动日志收集模块。管理模块启动自动化测试工具的同时,启动监控模块监控自动化测试工具的压测进程。
进一步地,步骤S4具体步骤如下:
S41.日志收集模块接收启动监控模块的指令后,自动收集自动化测试工具的压测日志和操作系统日志;
S42.日志收集模块自动触发压测服务器和存储系统节点的转储,并按照预设的保存路径将日志的转储文件发送到对应服务器,生成日志收集列表。日志的及时转储确保保留压测时发生问题的第一现场,有利于快速定位问题。
进一步地,步骤S5具体步骤如下:
S51.管理模块从自动化测试工具的压测日志中获取时间戳及故障卷ID;
S52.管理模块将故障卷ID转换为磁盘标识ID、故障逻辑块地址及块大小;
S53.管理模块根据磁盘标识ID关联存储日志,从而获取存储卷的信息,包括所在池ID、所在Raid以及所在控制器ID;
S54.管理模块根据时间戳获取压测服务器操作系统日志及存储系统节点日志,并截取该时间戳前后设定时间段内的日志信息;
S55.管理模块控制自动化测试工具停止,并控制监控模块停止监控任务。日志的初步分析处理,便于快速定位存储系统节点发生问题的存储卷信息。
本发明的有益效果在于:
本发明提供的存储数据一致性自动化测试系统及方法,实现测试参数设置、监控策略调整以及日志收集列表及保持路径设置,实现存储系统节点数据一致性测试过程中自动化收集日志及保存功能,最终实现数据一致性校验测试持续进行,并在发生问题第一时间结束IO压测,立刻收集日志及转储,确保保留问题发生的第一现场,有利于快速定位问题。
此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的存储数据一致性自动化测试系统示意图。
图2是本发明的存储数据一致性自动化测试方法实施例3流程示意图。
图3是本发明的存储数据一致性自动化测试方法实施例4流程示意图。
图中,1-压测试服务器;2-存储系统节点;3-控制台客户端节点;4-存储业务网;5-以太网。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例1:
如图1所示,本发明提供一种存储数据一致性自动化测试系统,包括压测服务器1、存储系统节点2以及控制台客户端节点3;
压测服务器1与存储系统节点2通过存储业务网4连接,控制台客户端节点3与压测服务器1以及存储系统节点2均通过以太网5连接;
压测服务器1,用于运行自动化测试工具,通过存储业务网4对存储系统节点3进行测试,并提供日志保存空间及路径;
控制台客户端节点3,用于获取用户指令,通过以太网5管理压测服务器1及存储系统节点2,控制自动化测试工具的启动执行及停止,并监控自动化测试工具运行状态,以及查阅或收集日志。
本发明提供的存储数据一致性自动化测试系统,实现测试参数设置、监控策略调整以及日志收集列表及保持路径设置,实现存储系统节点数据一致性测试过程中自动化收集日志及保存功能,最终实现数据一致性校验测试持续进行,并在发生问题第一时间结束IO压测,立刻收集日志及转储,确保保留问题发生的第一现场,有利于快速定位问题。
实施例2:
如图1所示,本发明提供一种存储数据一致性自动化测试系统,包括压测服务器1、存储系统节点2以及控制台客户端节点3;
压测服务器1与存储系统节点2通过存储业务网4连接,控制台客户端节点3与压测服务器2以及存储系统节点2均通过以太网5连接;
压测服务器1,用于运行自动化测试工具,通过存储业务网4对存储系统节点2进行测试,并提供日志保存空间及路径;
控制台客户端节点3,用于获取用户指令,通过以太网5管理压测服务器1及存储系统节点2,控制自动化测试工具的启动执行及停止,并监控自动化测试工具运行状态,以及查阅或收集日志;
压测服务器1上设有第一HBA卡,存储系统节点2上设有第二HBA卡;
控制台客户端节点3经以太网5连接压测服务器1的第一HBA卡,以及经以太网5连接存储系统节点2的第二HBA卡;HBA,是Host Bus Adapter简称,主机总线适配器,HBA卡是能插入计算机或大型主机的板卡,光纤通道HBA卡是将主机接入光纤网络必不可少的设备;
控制台客户端节点3设有管理模块;
压测试服务器1上设有IO压测模块、监控模块以及日志收集模块;
管理模块,用于控制自动化测试工具的启停及管理自动化测试工具的运行策略,对测试环境进行配置,对IO压测模块进行压测策略参数设置,对监控模块监控间隔时长进行设置,对日志收集模块收集日志列表及保存转储路径的设置和管理,以及对已收集的日志进行初步分析处理;管理模块对测试环境进行配置包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;IO压测模块的压测策略参数设置包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;监控模块监控间隔时长设置,包括压测进程监控列表以及监控间隔时间设置;日志收集模块收集日志列表及保存转储路径的设置和管理包括设置日志收集清单、设置日志转储路径以及获取日志收集结果;对已收集的日志进行初步分析处理包括时间戳抓取、故障卷信息抓取以及故障逻辑块地址抓取;
IO压测模块,用于运行自动化测试工具,对存储系统节点进行实时IO数据一致性校验,以及模拟IO错误,并在IO错误时终止自动化测试工具并验证,生成测试日志;
监控模块,用于通过shell脚本定时监控IO压测模块的压测进程运行情况,并在检测到压测进程终止后,自动启动日志收集模块;
日志收集模块,用于根据监控模块的启动指令,自动收集自动化测试工具的日志,触发压测服务器及存储系统节点的转储,并将日志的转储文件发送到对应服务器的指定保存路径,生成日志收集列表;shell脚本基于自动化测试工具,并通过各模块配合完成存储系统节点数据一致性测试,并能在压测进程异常时,及时收集日志,便于快速定位问题。
上述实施例2中,压测服务器和存储系统节点之间通过光纤或有线以太网络组成存储业务网。
实施例3:
如图2所示,本发明提供一种存储数据一致性自动化测试方法,包括如下步骤:
S1.管理模块预先对测试环境进行配置、对IO压测模块压测策略参数进行设置、对监控模块监控策略进行设置以及对日志收集模块收集日志列表及保存转储路径的设置和管理;
S2.管理模块控制自动化测试工具启动,自动化测试工具按照IO压测模块预设的压测策略参数对存储系统节点进行IO一致性校验测试,并生成测试日志;
S3.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控,并在检测到压测进程终止后自动启动日志收集模块;
S4.日志收集模块自动收集自动化测试工具测试日志,触发压测服务器及存储系统节点的转储,并将日志和转储文件发送到压测服务器的指定保存路径,生成日志收集列表;
S5.管理模块对收集的日志进行初步分析处理,并控制自动化测试工具停止,以及控制监控模块停止监控任务。
本发明提供的存储数据一致性自动化测试方法,实现测试参数设置、监控策略调整以及日志收集列表及保持路径设置,实现存储系统节点数据一致性测试过程中自动化收集日志及保存功能,最终实现数据一致性校验测试持续进行,并在发生问题第一时间结束IO压测,立刻收集日志及转储,确保保留问题发生的第一现场,有利于快速定位问题。
实施例4:
如图3所示,本发明提供一种存储数据一致性自动化测试方法,包括如下步骤:
S1.管理模块预先对测试环境进行配置、对IO压测模块压测策略参数进行设置、对监控模块监控策略进行设置以及对日志收集模块收集日志列表及保存转储路径的设置和管理;具体步骤如下:
S11.管理模块预先对测试环境进行配置,包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;
S12.管理模块预先对IO压测模块的压测策略参数进行设置,包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;
S13.管理模块预先对监控模块的监控策略进行设置,包括压测进程监控列表以及监控间隔时间设置;
S14.管理模块预先对日志收集模块收集日志列表及保存转储路径的设置和管理,包括设置日志收集清单、设置日志转储路径以及获取日志收集结果;管理模块通过设置各模块的配置及参数,实现存储数据一致性测试整个过程的总体控制,确保测试过程顺利进行;
S2.管理模块控制自动化测试工具启动,自动化测试工具按照IO压测模块预设的压测策略参数对存储系统节点进行IO一致性校验测试,并生成测试日志;具体步骤如下:
S21.管控模块控制自动化测试工具启动;
S22.自动化测试工具按照IO压测模块预设的压测策略输入校验参数进行IO数据一致性校验;
S3.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控,并在检测到压测进程终止后自动启动日志收集模块;具体步骤如下:
S31.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控;
S32.IO压测模块通过为自动化测试工具输入参数模拟IO错误,并在IO错误后终止压测进程,对存储系统节点进行IO一致性测试,生成测试日志;
S33.监控模块检测到压测进程终止后,自动启动日志收集模块;管理模块启动自动化测试工具的同时,启动监控模块监控自动化测试工具的压测进程;
S4.日志收集模块自动收集自动化测试工具测试日志,触发压测服务器及存储系统节点的转储,并将日志和转储文件发送到压测服务器的指定保存路径,生成日志收集列表;具体步骤如下:
S41.日志收集模块接收启动监控模块的指令后,自动收集自动化测试工具的压测日志和操作系统日志;
S42.日志收集模块自动触发压测服务器和存储系统节点的转储,并按照预设的保存路径将日志的转储文件发送到对应服务器,生成日志收集列表;日志的及时转储确保保留压测时发生问题的第一现场,有利于快速定位问题;
S5.管理模块对收集的日志进行初步分析处理,并控制自动化测试工具停止,以及控制监控模块停止监控任务;具体步骤如下:
S51.管理模块从自动化测试工具的压测日志中获取时间戳及故障卷ID;
S52.管理模块将故障卷ID转换为磁盘标识ID、故障逻辑块地址及块大小;
S53.管理模块根据磁盘标识ID关联存储日志,从而获取存储卷的信息,包括所在池ID、所在Raid以及所在控制器ID;
S54.管理模块根据时间戳获取压测服务器操作系统日志及存储系统节点日志,并截取该时间戳前后设定时间段内的日志信息;
S55.管理模块控制自动化测试工具停止,并控制监控模块停止监控任务;日志的初步分析处理,便于快速定位存储系统节点发生问题的存储卷信息。
上述实施例4中,通过shell脚本整合Vdbench自动化测试工具、压测服务器操作系统及HBA卡及存储系统节点,实现各模块功能,进行数据一致性校验持续进行;
步骤S22中,自动化测试工具按照IO压测模块预设的压测策略输入-j校验参数进行IO数据一致性校验;Vdbench自动化测试工具通过输入-j或-v参数进行IO数据一致性校验,-v的数据校验,校验文件会输出到内存中,但是一旦vdbench关闭或者系统重启,校验就会失败;而-j能进行持续校验,等下次重启时,会恢复原始数据重新校验;Vdbench自动化测试工具,是一种IO持续压测工具,可提供数据校验功能;
步骤S32中,IO压测模块通过设置参数data_errors=1模拟IO错误;
步骤S42中,日志收集模块通过scp复制指令将所有日志及转储发送到对应服务器的指定目录保存。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种存储数据一致性自动化测试系统,其特征在于,包括压测服务器、存储系统节点以及控制台客户端节点;
压测服务器与存储系统节点通过存储业务网连接,控制台客户端节点与压测服务器以及存储系统节点均通过以太网连接;
压测服务器,用于运行自动化测试工具,通过存储业务网对存储系统节点进行测试,并提供日志保存空间及路径;
控制台客户端节点,用于获取用户指令,通过以太网管理压测服务器及存储系统节点,控制自动化测试工具的启动执行及停止,并监控自动化测试工具运行状态,以及查阅或收集日志;
控制台客户端节点设有管理模块;
压测试服务器上设有IO压测模块、监控模块以及日志收集模块;
管理模块,用于控制自动化测试工具的启停及管理自动化测试工具的运行策略,对测试环境进行配置,对IO压测模块进行压测策略参数设置,对监控模块监控间隔时长进行设置,对日志收集模块收集日志列表及保存转储路径的设置和管理,以及对已收集的日志进行初步分析处理;
IO压测模块,用于运行自动化测试工具,对存储系统节点进行实时IO数据一致性校验,以及模拟IO错误,并在IO错误时终止自动化测试工具并验证,生成测试日志;
监控模块,用于通过shell脚本定时监控IO压测模块的压测进程运行情况,并在检测到压测进程终止后,自动启动日志收集模块;
日志收集模块,用于根据监控模块的启动指令,自动收集自动化测试工具的日志,触发压测服务器及存储系统节点的转储,并将日志的转储文件发送到对应服务器的指定保存路径,生成日志收集列表。
2.如权利要求1所述的存储数据一致性自动化测试系统,其特征在于,压测服务器上设有第一HBA卡,存储系统节点上设有第二HBA卡;
控制台客户端节点经以太网连接压测服务器的第一HBA卡,以及经以太网连接存储系统节点的第二HBA卡。
3.如权利要求1所述的存储数据一致性自动化测试系统,其特征在于,管理模块对测试环境进行配置包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;
IO压测模块的压测策略参数设置包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;
监控模块监控间隔时长设置,包括压测进程监控列表以及监控间隔时间设置;
日志收集模块收集日志列表及保存转储路径的设置和管理包括设置日志收集清单、设置日志转储路径以及获取日志收集结果;
对已收集的日志进行初步分析处理包括时间戳抓取、故障卷信息抓取以及故障逻辑块地址抓取。
4.一种存储数据一致性自动化测试方法,其特征在于,包括如下步骤:
S1.管理模块预先对测试环境进行配置、对IO压测模块压测策略参数进行设置、对监控模块监控策略进行设置以及对日志收集模块收集日志列表及保存转储路径的设置和管理;
S2.管理模块控制自动化测试工具启动,自动化测试工具按照IO压测模块预设的压测策略参数对存储系统节点进行IO一致性校验测试,并生成测试日志;
S3.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控,并在检测到压测进程终止后自动启动日志收集模块;
S4.日志收集模块自动收集自动化测试工具测试日志,触发压测服务器及存储系统节点的转储,并将日志和转储文件发送到压测服务器的指定保存路径,生成日志收集列表;
S5.管理模块对收集的日志进行初步分析处理,并控制自动化测试工具停止,以及控制监控模块停止监控任务。
5.如权利要求4所述的存储数据一致性自动化测试方法,其特征在于,步骤S1具体步骤如下:
S11.管理模块预先对测试环境进行配置,包括对存储系统节点IP进行设置,对压测服务器IP进行配置,以及对转储对应服务器的IP进行设置;
S12.管理模块预先对IO压测模块的压测策略参数进行设置,包括IO块大小的设置,压测时间的设置、读写比例的设置、随机顺序模型进行设置、校验方式进行设置以及报错即停进行设置;
S13.管理模块预先对监控模块的监控策略进行设置,包括压测进程监控列表以及监控间隔时间设置;
S14.管理模块预先对日志收集模块收集日志列表及保存转储路径的设置和管理,包括设置日志收集清单、设置日志转储路径以及获取日志收集结果。
6.如权利要求4所述的存储数据一致性自动化测试方法,其特征在于,步骤S2具体步骤如下:
S21.管控模块控制自动化测试工具启动;
S22.自动化测试工具按照IO压测模块预设的压测策略输入校验参数进行IO数据一致性校验。
7.如权利要求4所述的存储数据一致性自动化测试方法,其特征在于,步骤S3具体步骤如下:
S31.管理模块控制监控模块按照预设监控策略对自动化测试工具的压测进程运行状态进行定时监控;
S32.IO压测模块通过为自动化测试工具输入参数模拟IO错误,并在IO错误后终止压测进程,对存储系统节点进行IO一致性测试,生成测试日志;
S33.监控模块检测到压测进程终止后,自动启动日志收集模块。
8.如权利要求4所述的存储数据一致性自动化测试方法,其特征在于,步骤S4具体步骤如下:
S41.日志收集模块接收启动监控模块的指令后,自动收集自动化测试工具的压测日志和操作系统日志;
S42.日志收集模块自动触发压测服务器和存储系统节点的转储,并按照预设的保存路径将日志的转储文件发送到对应服务器,生成日志收集列表。
9.如权利要求4所述的存储数据一致性自动化测试方法,其特征在于,步骤S5具体步骤如下:
S51.管理模块从自动化测试工具的压测日志中获取时间戳及故障卷ID;
S52.管理模块将故障卷ID转换为磁盘标识ID、故障逻辑块地址及块大小;
S53.管理模块根据磁盘标识ID关联存储日志,从而获取存储卷的信息,包括所在池ID、所在Raid以及所在控制器ID;
S54.管理模块根据时间戳获取压测服务器操作系统日志及存储系统节点日志,并截取该时间戳前后设定时间段内的日志信息;
S55.管理模块控制自动化测试工具停止,并控制监控模块停止监控任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111399632.6A CN114281615B (zh) | 2021-11-19 | 2021-11-19 | 一种存储数据一致性自动化测试系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111399632.6A CN114281615B (zh) | 2021-11-19 | 2021-11-19 | 一种存储数据一致性自动化测试系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114281615A CN114281615A (zh) | 2022-04-05 |
CN114281615B true CN114281615B (zh) | 2023-12-22 |
Family
ID=80869893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111399632.6A Active CN114281615B (zh) | 2021-11-19 | 2021-11-19 | 一种存储数据一致性自动化测试系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114281615B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075384A (zh) * | 2010-12-20 | 2011-05-25 | 创新科存储技术有限公司 | 一种性能测试系统及方法 |
CN107766219A (zh) * | 2017-10-30 | 2018-03-06 | 郑州云海信息技术有限公司 | 自动化测试日志收集方法、系统、设备及计算机存储设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7924725B2 (en) * | 2003-11-10 | 2011-04-12 | Nortel Networks Limited | Ethernet OAM performance management |
-
2021
- 2021-11-19 CN CN202111399632.6A patent/CN114281615B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102075384A (zh) * | 2010-12-20 | 2011-05-25 | 创新科存储技术有限公司 | 一种性能测试系统及方法 |
CN107766219A (zh) * | 2017-10-30 | 2018-03-06 | 郑州云海信息技术有限公司 | 自动化测试日志收集方法、系统、设备及计算机存储设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114281615A (zh) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209131B (zh) | 一种基于机器学习确定异构系统的故障的方法和系统 | |
WO2021159710A1 (zh) | 一种bbu故障诊断方法、装置、电子设备及存储介质 | |
CN109254922B (zh) | 一种服务器BMC Redfish功能的自动化测试方法及装置 | |
CN107066370A (zh) | 一种自动监控并收集故障硬盘日志的工具及方法 | |
CN104572422A (zh) | 一种基于Linux系统开关机下内存监测实现方法 | |
CN102855184B (zh) | 一种Android自动测试跨应用的装置及方法 | |
CN111679955B (zh) | 用于应用服务器的监控诊断和快照分析系统 | |
CN111294652A (zh) | 智能电视故障在线诊断方法、装置及控制器 | |
CN111078484B (zh) | 系统升级的断电测试方法、装置、设备及存储介质 | |
CN113645095A (zh) | 基于snmptrap告警信息的交换机自动化测试方法、设备及介质 | |
CN115525557A (zh) | Pfr异常情况恢复cpld能力方法、系统、电子设备及存储介质 | |
CN115827358A (zh) | 一种pfr功能的自动化测试系统、方法、装置及存储介质 | |
CN114281615B (zh) | 一种存储数据一致性自动化测试系统及方法 | |
CN113726808A (zh) | 一种网站监测方法、装置、设备及存储介质 | |
CN113626306A (zh) | 一种基于Jenkins的BMC自动化测试方法及装置 | |
CN117411804A (zh) | 服务器网络测试方法、装置、电子设备及存储介质 | |
CN116306429A (zh) | 实现状态数据捕获的方法、装置、计算机存储介质及终端 | |
CN114090382B (zh) | 超融合集群健康巡检方法和装置 | |
CN114500178A (zh) | 一种自运维的智慧物联网关 | |
CN109508269A (zh) | 一种windows系统下重启测试方法及系统 | |
KR20220083252A (ko) | 차세대 배전지능화 시스템 검증장치 | |
CN111831496A (zh) | 一种直播卫星设备预置厂测参数的系统及方法 | |
CN110597681A (zh) | 服务器硬件监控系统 | |
CN117472474B (zh) | 配置空间调试方法、系统、电子设备及存储介质 | |
CN115250249B (zh) | 一种基于IPv6Ready自动化测试方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |