CN114385877A - 测试过程的可视化处理方法及系统、计算机可读介质 - Google Patents
测试过程的可视化处理方法及系统、计算机可读介质 Download PDFInfo
- Publication number
- CN114385877A CN114385877A CN202210284975.6A CN202210284975A CN114385877A CN 114385877 A CN114385877 A CN 114385877A CN 202210284975 A CN202210284975 A CN 202210284975A CN 114385877 A CN114385877 A CN 114385877A
- Authority
- CN
- China
- Prior art keywords
- load mode
- parameters
- state parameters
- ssd
- hard disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种测试过程的可视化处理方法和系统、计算机可读介质,该方法包括:配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。本发明将三者在相同时间点的状态参量进行对比,可以更快的排查问题,选择出符合实例场景的硬盘产品。
Description
技术领域
本发明涉及数据存储技术领域,尤其是涉及一种测试过程的可视化处理方法及系统、计算机可读介质。
背景技术
在当今的大数据环境下,出现了很多部署在服务器中的上层应用(例如,数据库软件Rocksdb)和用来存储应用数据的SSD硬盘。上层应用的多样性,加速了SSD的发展。大多数的应用都要求SSD在处理数据时要有更快的速度、更低的延迟、更大的存储空间和更高的性价比,所以SSD硬盘的发展非常迅速,消费级和企业级的SSD硬盘的性能和产量都有显著的增长。在应用的运行期间每时每刻都会产生大量的数据,用数据文件来存储数据,用事务文件来存储状态。通过事务日志反映出来的状态可以对上层应用的配置进行调整,以及搭配不同的SSD硬盘,以实现上层应用和SSD硬盘的匹配,从而追求更快的用户界面响应以及更好的定位问题,给与客户更佳的体验感。
在对上层应用和SSD硬盘的匹配测试过程中,现有方案是在进程中获取各实例产生的数据,根据实例中的日志生成与之匹配的索引数据,根据索引数据操作日志,并将各实例的日志顺序存储到上层应用(例如,Rocksdb数据库)中,实现对大规模日志文件的高效处理。
在该现有方案中通过日志文件实现对上层应用的软件状态的监控。这种仅依据上层应用的软件状态分析匹配测试情况的方案,比较偏颇,不能进行全面分析,所以测试的准确率不高。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本发明提供了一种测试过程的可视化处理方法及系统、计算机可读介质。
第一方面,本发明实施例提供一种测试过程的可视化处理方法,包括:
配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式;
在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
第二方面,本发明实施例提供一种测试过程的可视化处理系统,包括:
模式配置模块,用于:配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式;
日志获取模块,用于:在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
图表绘制模块,用于:根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
第三方面,本发明实施例提供一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行第一方面提供的方法。
本发明实施例提供的测试过程的可视化处理方法及系统、计算机可读介质,首先配置多种负载模式,在多种负载模式下进行测试。然后在测试过程中采集数据库软件、系统硬件和SSD硬盘的事务日志,从事务日志中筛选出体现数据库软件、系统硬件和SSD硬盘的状态参量,还有配置绘制工具的绘制参数,进而利用绘制工具将状态参量随时间的变化情况绘制成可视图进行展示。这样可以将数据库软件、系统硬件和SSD硬盘的运行状态进行实时监控,将三者在相同时间点的状态参量进行对比,看三者的状态是否对应,这样可以更快的排查问题,同时也观察SSD硬盘的性能水平,更好的选择出符合实例场景的SSD硬盘产品。而且,通过自动化替代人工可以实现数据筛查和可视化,更加快速的定位问题,以避免不必要的工作量。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中测试过程的可视化处理方法的流程示意图;
图2为本发明实施例中测试过程的可视化处理系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一方面,本发明实施例提供一种测试过程的可视化处理方法。
参见图1,上述可视化处理方法包括如下步骤S1~S3:
S1、配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;
其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式。
可理解的是,需要进行多种负载模式下进行测试,从而可以测试出数据库软件的配置数据以及SSD硬盘的类型在多种负载模式下是否适配,进而可以根据整体的测试结果对数据库软件的配置参数进行调整,以及对SSD硬盘的类型进行选择。
其中,数据库软件可以为Rocksdb,当然也可以为其它的数据库软件。当前的SSD硬盘是指所述数据库软件所在的计算机设备中所安装的SSD硬盘。在测试过程中,数据库软件基于计算机设备的操作系统与SSD硬盘进行数据读写等测试。
在具体实施时,可以根据数据库软件给出的工具文件中的参数对负载模式进行配置,例如,根据不同的读写比例参数配置出不同读写比例对应的混合负载模式。读对应的单一负载模式为纯读模式,写对应的单一负载模式为纯写模式。
当然,由于数据库软件的参数众多,基于参数进行模式配置的方式难以配置出较佳的负载模式,开发者给出了适用于大部分场景的负载模式。因此可以采用数据库软件的基准测试脚本文件中预先定义的负载模式。
也就是说,上述S1中所述配置测试过程采用的负载模式的过程可以包括:获取所述数据库软件的基准测试脚本中预先定义的负载模式。
例如,针对数据库软件Rocksdb,在基准测试脚本文件中定义的七种负载模式:Bulkload(即以随机顺序加载既定规模的数据库的负载模式)、Readrandom(即随机顺序读取的负载模式)、Multireadrandom(即随机读取多Key的负载模式)、Fwdrange(即排序遍历的负载模式)、Overwrite(即随机修改已有键值对的负载模式)、Readwhilewriting(即1个线程写且多个线程读的负载模式)、Fwdrangewhilewriting(即1个线程写且多个线程排序遍历的负载模式)。
可理解的是,在对负载模式进行设置后,就可以进行测试过程。在测试过程中会产生大量的事务日志,通过这些事务日志可以反映出对应的测试状态。
S2、在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
可理解的是,随着测试的进行,实时或者定时获取相关的事务日志,进而可以实时或定时通过可视图的方式展示相关的状态参量,有利于工作人员实时了解相关的测试情况。
在实际中为了进行区分,这里将数据库软件在运行状态下的事务文件称为第一事务日志,操作系统硬件在使用状态下的事务文件称为第二事务日志,SSD硬盘在使用状态下的事务文件称为第三事务日志。
其中,所述第一事务日志中的状态参量包括如下中的至少一项:在每个时间节点对应的写入数据量、在每个时间节点对应的读取数据量、已压缩数据量、未压缩数据量、输出的错误日志和报警日志。
当然,第一事务日志中除了上述状态参量外,还可以包括其它的信息,例如,每层之间生成的sstfile文件(即数据文件)的数量、每层之间正在被扫描的ssifile文件(即数据文件)等。
可理解的是,通过第一事务日志,可以了解到数据库软件实时的运行状态。
其中,所述第二事务日志可以包括所述操作系统硬件的CPU事务日志、内存事务日志和磁盘事务日志,其中:
所述CPU事务日志中状态参量包括如下的至少一项:用户空间的当前CPU使用率、内核空间的当前CPU使用率、CPU等待输入输出的百分比和在空闲状态下的CPU利用率;
所述内存事务日志中状态参量包括如下的至少一项:内存的总大小、已使用内存的大小、空闲内存的大小和多个进程共享的内存大小;
所述磁盘事务日志中状态参量包括如下的至少一项:每秒完成的读次数、每秒完成的写次数、每秒读数据量、每秒写数据量、平均每次输入输出请求的等待时间和用于输入输出操作的时间比率。
可见,通过第二事务日志可以了解到系统硬件的CPU的实时运行状态、内存的实时运行状态、磁盘(即系统硬件的)的实时运行状态等信息,从而得知系统硬件全面的整体运行情况。
其中,所述第三事务日志中的状态参量可以包括如下中的至少一项: SSD硬盘的温度、已使用寿命、全生命周期内从SSD硬盘中读取的数据总量、全生命周期内向SSD硬盘中写入的数据总量、全生命周期内SSD硬盘执行的读命令的总次数、全生命周期内SSD硬盘执行的写命令的总次数、错误日志和报警日志。
可理解的是,当已使用寿命达到100%时代表SSD硬盘的寿命耗尽。通过第三事务日志可以了解到SSD硬盘的运行状态。每家SSD硬盘的厂商都会设计此功能,用来收集SSD在运行期间发生的各种状态信息,以便排查产品问题。
在获取到事务日志之后,便可以从事务日志中筛选出想要通过可视图的方式展示出来的状态参量。在实际中筛选状态参量的方式可以为:通过预设字段进行筛选。
举例来说,针对数据库软件,第一事务日志,可以采用未压缩的数据量、已压缩的数据量等预设字段筛选出第一事务日志中的未压缩的数据量、已压缩的数据量等状态参量。针对系统硬件,可以采用用户空间的CPU使用率、内核空间的CPU使用率、已使用的内存大小、每秒的读或写数据量等预设字段筛选出第二事务日志中的用户空间的CPU使用率、内核空间的CPU使用率、已使用的内存大小、每秒的读或写数据量等状态参数。针对SSD硬盘,可以采用SSD硬盘的温度、已使用寿命等预设字段从第三事务日志中筛选出SSD硬盘的温度、已使用寿命等状态参数。
可理解的是,在筛选出想要的状态参量之后,通过后续步骤可以绘制出这些状态参量的可视图。当然,还可以对状态参数进行一定的函数计算,从而得到其它参量,这样在后续可以绘制出该其它参量的可视图。
S3、根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
可理解的是,在筛选得到想要进行可视化处理的状态参量之后,由于不同的状态参量的波动范围是不同的,即便针对同一个状态参量在不同的负载模式下的波动范围也可能不同,因此本步骤中针对每一个负载模式下的每一个状态参量,进行绘制参数的设置。在绘制参数设置完成之后,便可以利用绘制工具绘制相应的可视图。
在具体实施时,S3中所述根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,具体可以包括如下步骤S31~S33:
S31、根据所述负载模式和所述状态参量,配置对应的每一个待绘制的可视图的标题;其中,所述标题包括第一标题和第二标题,所述第一标题为所述待绘制的可视图对应的负载模式,所述第二标题为所述待绘制的可视图对应的状态参量;
可理解的是,该步骤是进行标题设置,第一标题为大标题,大标题的内容为对应的负载模式,在同一个负载模式下的可视图都具有同一个大标题。第二标题为小标题,由于在一个负载模式下的可视图都具有同一个大标题,因此为了区分一个负载模式下的各个可视图,为每一个可视图设置了一个小标题,小标题的内容为状态参量的名称。
S32、根据在每一个所述负载模式下每一个所述状态参量的波动范围,确定在该负载模式下该状态参量对应的待绘制的可视图的纵坐标取值范围和纵坐标刻度;
例如,在一个负载模式下的一个状态参量为用户空间的当前CPU使用率,可以根据用户空间的当前CPU使用率中已经出现的最大值和最小值得知用户空间的当前CPU使用率的波动范围,进而可以设置用户空间的当前CPU使用率在这个负载模式下的可视图的纵坐标的区域范围以及纵坐标的刻度。
可理解的是,各个可视图的横坐标为时间,纵坐标为状态参量。
可理解的是,这里针对每一个负载模式下的每一个状态参量的可视图设置纵坐标的取值范围和刻度。也可以统一为每一个状态参量在不同的负载模式下的可视图的纵坐标取值范围和刻度进行设置,此时需要考虑在不同负载模式下的波动范围,可视图的纵坐标的最大值可以选择一个整数,该整数大于在各种负载模式下的状态参数的最大值。
可理解的是,针对使用率等比例类的状态参数,其可视图的纵轴为百分比,由于使用率等比例类的状态参数不会达到百分之百,纵轴的最大值为100%,这样可以预留出一部分空间,便于进行观察。
另外,除了对纵坐标进行设置外,还可以对横坐标进行设置,例如,可以设置横坐标对应的时间段,这样可以有目的的对某一段时间内的性能的高低峰状态进行观察。
即,通过上述过程可以对待绘制的各个可视图的横纵轴进行设置。
S33、对每一个待绘制的可视图中的每一个状态参量的表现形式进行配置。
例如,在某个负载模式下,温度的可视图中温度随时间的变化采用点型进行表示,数据量的可视图中数据量随时间的变化可以采用线型进行表示。而且,还可以对线、点的颜色进行设置。这样可以非常直观的区分出不同的状态参量,尤其适合在同一个可视图中需要绘制两个状态参量的情况。
通过上述步骤可以实现对绘制工具的绘制参数的设置。
当然,除了上述设置之外,还可以在一个可视图中展示两个状态参。例如,在一个负载模式下的一个可视图中同时展示用户空间的CPU使用率、内核空间的CPU使用率这两个状态参数。此时,S3中的所述根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,还包括步骤S34:
S34、判断是否需要将两个状态参量进行对比展示;若需要,则设置在同一个可视图中展现的两个状态参量,以使所述绘图工具将所述两个状态参量在同一个可视图中进行绘制。
可理解的是,有时为了方便进行数据对比,可以在一个可视图中展示两个状态参量的变化情况,这样左侧纵轴对应一个状态参量,右侧纵轴对应另外一个状态参量。例如,用户在配置界面上设置了用户空间的CPU使用率、内核空间的CPU使用率这两个状态参数需要在同一个可视图中进行展示,在设置完成后,后续绘制得到的可视图中便可以看到这两个状态参量。尤其针对需要在一个可视图中展示两个状态参量的情况,对于不同的状态参量的表现形式尽量设置为不同,这样可以更好的区分。
可理解的是,在设置好绘图工具的绘图参数之后,便可以利用绘图工具将前筛选出来的状态参数随时间的变化情况绘制成可视图,绘制好之后展示在计算机设备的界面上。
在具体实施时,为了后续对可视图的查找等操作,本发明实施例提供的方法还可以包括如下步骤S4:
S4、将在每一个负载模式下所绘制的各个所述可视图存储至该负载模式对应的路径中,所述路径和所述负载模式一一对应。
也就是说,将一个负载模式下对应的各个可视图存储在一个路径下,不同负载模式下的可视图存放在不同的路径下,这样可以方便后续进行查找。
可理解的是,本发明实施例首先配置多种负载模式,在多种负载模式下进行测试。然后在测试过程中采集数据库软件、系统硬件和SSD硬盘的事务日志,从事务日志中筛选出体现数据库软件、系统硬件和SSD硬盘的状态参量,还有配置绘制工具的绘制参数,进而利用绘制工具将状态参量随时间的变化情况绘制成可视图进行展示。这样可以将数据库软件、系统硬件和SSD硬盘的运行状态进行实时监控,将三者在相同时间点的状态参量进行对比,看三者的状态是否对应,这样可以更快的排查问题,同时也观察SSD硬盘的性能水平,更好的选择出符合实例场景的SSD硬盘产品。
本发明实施例通过模拟应用场景下的各种负载模式进行测试,在测试时收集数据库软件、系统硬件和SSD硬盘的状态参量,进而加以整理,使用绘图工具将状态参量形成便于观察的数据图,通过自动化替代人工可以实现数据筛查和可视化,更加快速的定位问题,以避免不必要的工作量。
可理解的是,本发明实施例中在对数据库软件进行测试的过程中,采集各种数据库软件、系统硬件、SSD硬盘的事务日志,进而从事务日志中筛选出需要的状态参量,然后配置绘制参数,进而利用配置完成的绘制工具绘制出状态参量随时间变化的可视图。可见,最后工作人员不仅可以看到体现数据库软件的运行状态的状态参量的可视图,也能看到系统硬件和SSD硬盘各自的状态参量的可视图,也就是说,不仅能观察到数据库软件的运行状态,也能观察到系统硬件和SSD硬盘的运行状态,将数据库软件、系统硬件和SSD硬盘在对应时间点的状态数据进行一一对比,从而可以判断出状态是否一致,在出现问题时也可以更加快速的定位问题。可见通过数据库软件、系统硬件和SSD硬盘三者的结合,可以实现整体、全面和高效的分析,分析出数据库软件、系统硬件和SSD硬盘的性能,同时分析出数据库软件和SSD硬盘之间是否匹配,进而确定是否需要对数据库软件的配置数据进行调整,以及是否需要更换SSD硬盘的类型。本发明实施例通过可视化的方式,相对于现有技术,可以简化对日志进行分析的大量繁琐步骤。
可理解的是,本发明实施例提供的方法不只是单独查看一个时间点的状态,而是可以从全局观的角度查看整个数据库软件在运行期间的各种状态变化,也可以查看到系统硬件、SSD硬盘因为数据库软件的状态的改变而做出的应对情况。而且,可以大大降低了做数据分析时的时间成本,提高了工作效率,可以避免重复性工作,减少不必要的人力成本。还有本发明实施例能够实际结合上层应用中不同的应用场景来研究存储设备的性能,并不再是仅仅的通过简单的测试硬盘的读写。本发明实施例提供的方法也能够方便不熟悉的人模拟线上场景并通过自动化脚本实现本方案。
第二方面,本发明实施例提供一种测试过程的可视化处理系统。
参见图2,该系统包括:
模式配置模块,用于:配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式;
日志获取模块,用于:在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
图表绘制模块,用于:根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
在一些实施例中,系统还包括:
第一存储模块,用于:将在每一个负载模式下所绘制的各个所述可视图存储至该负载模式对应的路径中,所述路径和所述负载模式一一对应。
在一些实施例中,图表绘制模块具体包括:
第一配置单元,用于:根据所述负载模式和所述状态参量,配置对应的每一个待绘制的可视图的标题;其中,所述标题包括第一标题和第二标题,所述第一标题为所述待绘制的可视图对应的负载模式,所述第二标题为所述待绘制的可视图对应的状态参量;
第二配置单元,用于:根据在每一个所述负载模式下每一个所述状态参量的波动范围,确定在该负载模式下该状态参量对应的待绘制的可视图的纵坐标取值范围和纵坐标刻度;
第三配置单元,用于:对每一个待绘制的可视图中的每一个状态参量的表现形式进行配置。
进一步的,图表绘制模块具体还包括:
第四配置单元,用于:判断是否需要将两个状态参量进行对比展示;若需要,则设置在同一个可视图中展现的两个状态参量,以使所述绘图工具将所述两个状态参量在同一个可视图中进行绘制。
在具体实施时,模式配置模块具体用于:获取所述数据库软件的基准测试脚本中预先定义的负载模式。
在一些实施例中,所述数据库软件的事务日志为第一事务日志,所述第一事务日志中的状态参量包括如下中的至少一项:在每个时间节点对应的写入数据量、在每个时间节点对应的读取数据量、已压缩数据量、未压缩数据量、输出的错误日志和报警日志。
在一些实施例中,所述操作系统硬件的事务日志为第二事务日志,所述第二事务日志包括所述操作系统硬件的CPU事务日志、内存事务日志和磁盘事务日志,其中:
所述CPU事务日志中状态参量包括如下的至少一项:用户空间的当前CPU使用率、内核空间的当前CPU使用率、CPU等待输入输出的百分比和在空闲状态下的CPU利用率;
所述内存事务日志中状态参量包括如下的至少一项:内存的总大小、已使用内存的大小、空闲内存的大小和多个进程共享的内存大小;
所述磁盘事务日志中状态参量包括如下的至少一项:每秒完成的读次数、每秒完成的写次数、每秒读数据量、每秒写数据量、平均每次输入输出请求的等待时间和用于输入输出操作的时间比率。
在一些实施例中,所述SSD硬盘的事务日志为第三事务日志,所述第三事务日志中的状态参量包括如下中的至少一项: SSD硬盘的温度、已使用寿命、全生命周期内从SSD硬盘中读取的数据总量、全生命周期内向SSD硬盘中写入的数据总量、全生命周期内SSD硬盘执行的读命令的总次数、全生命周期内SSD硬盘执行的写命令的总次数、错误日志和报警日志。
可理解的是,第二方面中提供的系统与第一方面提供的方法相对应,有关举例、有益效果、具体实施方式等内容可以参考第一方面中的有关内容。
第三方面,本发明实施例提供一种计算机可读介质,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行第一方面提供的方法。
具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
可理解的是,本发明实施例提供的计算机可读介质中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分,此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (10)
1.一种测试过程的可视化处理方法,其特征在于,包括:
配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式;
在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
2.根据权利要求1所述的方法,其特征在于,还包括:
将在每一个负载模式下所绘制的各个所述可视图存储至该负载模式对应的路径中,所述路径和所述负载模式一一对应。
3.根据权利要求1所述的方法,其特征在于,所述根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,包括:
根据所述负载模式和所述状态参量,配置对应的每一个待绘制的可视图的标题;其中,所述标题包括第一标题和第二标题,所述第一标题为所述待绘制的可视图对应的负载模式,所述第二标题为所述待绘制的可视图对应的状态参量;
根据在每一个所述负载模式下每一个所述状态参量的波动范围,确定在该负载模式下该状态参量对应的待绘制的可视图的纵坐标取值范围和纵坐标刻度;
对每一个待绘制的可视图中的每一个状态参量的表现形式进行配置。
4.根据权利要求3所述的方法,其特征在于,所述根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,还包括:
判断是否需要将两个状态参量进行对比展示;
若需要,则设置在同一个可视图中展现的两个状态参量,以使所述绘图工具将所述两个状态参量在同一个可视图中进行绘制。
5.根据权利要求1所述的方法,其特征在于,所述配置测试过程采用的负载模式,包括:获取所述数据库软件的基准测试脚本中预先定义的负载模式。
6.根据权利要求1所述的方法,其特征在于,所述数据库软件的事务日志为第一事务日志,所述第一事务日志中的状态参量包括如下中的至少一项:在每个时间节点对应的写入数据量、在每个时间节点对应的读取数据量、已压缩数据量、未压缩数据量、输出的错误日志和报警日志。
7.根据权利要求1所述的方法,其特征在于,所述操作系统硬件的事务日志为第二事务日志,所述第二事务日志包括所述操作系统硬件的CPU事务日志、内存事务日志和磁盘事务日志,其中:
所述CPU事务日志中状态参量包括如下的至少一项:用户空间的当前CPU使用率、内核空间的当前CPU使用率、CPU等待输入输出的百分比和在空闲状态下的CPU利用率;
所述内存事务日志中状态参量包括如下的至少一项:内存的总大小、已使用内存的大小、空闲内存的大小和多个进程共享的内存大小;
所述磁盘事务日志中状态参量包括如下的至少一项:每秒完成的读次数、每秒完成的写次数、每秒读数据量、每秒写数据量、平均每次输入输出请求的等待时间和用于输入输出操作的时间比率。
8.根据权利要求1所述的方法,其特征在于,所述SSD硬盘的事务日志为第三事务日志,所述第三事务日志中的状态参量包括如下中的至少一项: SSD硬盘的温度、已使用寿命、全生命周期内从SSD硬盘中读取的数据总量、全生命周期内向SSD硬盘中写入的数据总量、全生命周期内SSD硬盘执行的读命令的总次数、全生命周期内SSD硬盘执行的写命令的总次数、错误日志和报警日志。
9.一种测试过程的可视化处理系统,其特征在于,包括:
模式配置模块,用于:配置测试过程采用的负载模式,并在每一种负载模式下对预设数据库软件和当前SSD硬盘之间的适配程度进行测试;其中,所述负载模式至少包括不同读写比例对应的混合负载模式、读对应的单一负载模式和写对应的单一负载模式;
日志获取模块,用于:在测试过程中,获取数据库软件、操作系统硬件以及SSD硬盘各自的事务日志,并根据不同的预设字段分别从数据库软件、操作系统硬件以及SSD硬盘各自的事务日志中筛选出对应的状态参量;
图表绘制模块,用于:根据所述负载模式和所述状态参量,对绘图工具的绘图参数进行配置,在所述绘图参数配置完成后通过所述绘图工具将所述状态参量随时间的变化情况绘制成可视图并进行展示。
10.一种计算机可读介质,其特征在于,所述计算机可读介质上存储有计算机指令,所述计算机指令在被处理器执行时,使所述处理器执行权利要求1至8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284975.6A CN114385877B (zh) | 2022-03-23 | 2022-03-23 | 测试过程的可视化处理方法及系统、计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210284975.6A CN114385877B (zh) | 2022-03-23 | 2022-03-23 | 测试过程的可视化处理方法及系统、计算机可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114385877A true CN114385877A (zh) | 2022-04-22 |
CN114385877B CN114385877B (zh) | 2022-06-03 |
Family
ID=81204954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210284975.6A Active CN114385877B (zh) | 2022-03-23 | 2022-03-23 | 测试过程的可视化处理方法及系统、计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114385877B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116521465A (zh) * | 2023-06-26 | 2023-08-01 | 深圳市晶存科技有限公司 | 硬盘测试数据处理方法、装置及介质 |
WO2023216199A1 (zh) * | 2022-05-12 | 2023-11-16 | 北京小米移动软件有限公司 | 日志仿真方法、装置、系统、电子设备及存储介质 |
CN117992315A (zh) * | 2024-04-03 | 2024-05-07 | 福建时代星云科技有限公司 | 一种ems平台数据可视化方法及终端 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060074970A1 (en) * | 2004-09-22 | 2006-04-06 | Microsoft Corporation | Predicting database system performance |
CN101674194A (zh) * | 2009-09-28 | 2010-03-17 | 北京航空航天大学 | 基于日志特征分析的机群负载模型及其建模方法 |
CN107068199A (zh) * | 2017-05-11 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种ssd硬盘的性能测试方法 |
CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
CN111625407A (zh) * | 2020-05-22 | 2020-09-04 | 苏州浪潮智能科技有限公司 | Ssd性能测试方法及相关组件 |
CN113032341A (zh) * | 2021-02-09 | 2021-06-25 | 中通服创发科技有限责任公司 | 一种基于可视化配置的日志处理方法 |
CN113656174A (zh) * | 2021-08-18 | 2021-11-16 | 河北幸福消费金融股份有限公司 | 资源分配方法、系统、计算机设备和存储介质 |
CN113742145A (zh) * | 2021-07-23 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种测试固态硬盘性能的方法、系统、设备和存储介质 |
CN113744797A (zh) * | 2021-09-08 | 2021-12-03 | 深圳忆联信息系统有限公司 | 基于固态硬盘的nand测试分析方法、装置及计算机设备 |
-
2022
- 2022-03-23 CN CN202210284975.6A patent/CN114385877B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060074970A1 (en) * | 2004-09-22 | 2006-04-06 | Microsoft Corporation | Predicting database system performance |
CN101674194A (zh) * | 2009-09-28 | 2010-03-17 | 北京航空航天大学 | 基于日志特征分析的机群负载模型及其建模方法 |
CN107068199A (zh) * | 2017-05-11 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种ssd硬盘的性能测试方法 |
CN108388503A (zh) * | 2018-02-13 | 2018-08-10 | 中体彩科技发展有限公司 | 数据库性能监控方法、系统、设备及计算机可读存储介质 |
CN111625407A (zh) * | 2020-05-22 | 2020-09-04 | 苏州浪潮智能科技有限公司 | Ssd性能测试方法及相关组件 |
CN113032341A (zh) * | 2021-02-09 | 2021-06-25 | 中通服创发科技有限责任公司 | 一种基于可视化配置的日志处理方法 |
CN113742145A (zh) * | 2021-07-23 | 2021-12-03 | 苏州浪潮智能科技有限公司 | 一种测试固态硬盘性能的方法、系统、设备和存储介质 |
CN113656174A (zh) * | 2021-08-18 | 2021-11-16 | 河北幸福消费金融股份有限公司 | 资源分配方法、系统、计算机设备和存储介质 |
CN113744797A (zh) * | 2021-09-08 | 2021-12-03 | 深圳忆联信息系统有限公司 | 基于固态硬盘的nand测试分析方法、装置及计算机设备 |
Non-Patent Citations (1)
Title |
---|
栗殷: "基于强化学习的MS-SSD数据流分配算法的研究与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023216199A1 (zh) * | 2022-05-12 | 2023-11-16 | 北京小米移动软件有限公司 | 日志仿真方法、装置、系统、电子设备及存储介质 |
CN116521465A (zh) * | 2023-06-26 | 2023-08-01 | 深圳市晶存科技有限公司 | 硬盘测试数据处理方法、装置及介质 |
CN116521465B (zh) * | 2023-06-26 | 2023-10-13 | 深圳市晶存科技有限公司 | 硬盘测试数据处理方法、装置及介质 |
CN117992315A (zh) * | 2024-04-03 | 2024-05-07 | 福建时代星云科技有限公司 | 一种ems平台数据可视化方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN114385877B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114385877B (zh) | 测试过程的可视化处理方法及系统、计算机可读介质 | |
US8522214B2 (en) | Keyword based software testing system and method | |
US20060229860A1 (en) | Efficient presentation of functional coverage results | |
US7260503B2 (en) | Testing using policy-based processing of test results | |
US8799859B2 (en) | Augmented design structure matrix visualizations for software system analysis | |
CN111400186A (zh) | 性能测试方法及系统 | |
CN109633351B (zh) | 智能it运维故障定位方法、装置、设备及可读存储介质 | |
CN112214369A (zh) | 基于模型融合的硬盘故障预测模型建立方法及其应用 | |
US8850407B2 (en) | Test script generation | |
CN113126993B (zh) | 应用于车辆检测软件的自动化测试方法及其系统 | |
US20050022170A1 (en) | Visual debugging interface | |
CN107102938B (zh) | 测试脚本的更新方法及装置 | |
CN112527584A (zh) | 基于脚本编写及数据采集的软件效能提升方法和系统 | |
CN112035360A (zh) | 中间件测试方法、装置、计算机设备及可读存储介质 | |
CN110046098B (zh) | 一种实时库测试方法及系统 | |
EP4155944B1 (en) | Database troubleshooting with automated functionality | |
JP2010182218A (ja) | ソフトウェア挙動解析システム | |
CN116048975A (zh) | 数据库测试方法、装置、电子设备及存储介质 | |
CN113297062A (zh) | 测试方法及装置、电子设备、存储介质 | |
JPH02151000A (ja) | 故障診断装置及び故障診断システム | |
CN114153671A (zh) | 一种服务器部件性能测试方法及相关装置 | |
CN116185846A (zh) | 接口性能测试方法、装置、电子设备及存储介质 | |
CN114490219A (zh) | 一种基于国产四路服务器的测试方法、系统及介质 | |
CN114218086A (zh) | 一种案例测试方法、装置、设备及可读存储介质 | |
CN114816956A (zh) | 接口性能测试方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |