CN117762758B - 一种web系统的性能效率一致性测试方法及系统 - Google Patents

Abstract

本发明公开了一种web系统的性能效率一致性测试方法及系统，包括获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征，根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征，根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型，优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。该方法不仅可以性能效率一致性测试精度，同时具有较好的可解释性，可以直接应用于性能效率一致性测试系统中。

Description

一种web系统的性能效率一致性测试方法及系统

技术领域

本发明涉及大数据领域，尤其涉及一种web系统的性能效率一致性测试方法及系统。

背景技术

性能效率一致性测试技术在web系统的应用越来越广泛，可以帮助web系统的测试者及时、高效地获取性能效率一致性，实现性能效率的一致性测试。目前，web系统具有用户信息量庞大、数据种类多样、信息密度大等特点，web系统性能效率一致性测试方法存在较多的不确定因素，导致web系统的性能效率一致性测试方法存在较大的不确定性。虽然已经发明了一些web系统性能效率一致性测试方法，但是仍不能有效解决web系统性能效率一致性测试方法的不确定问题。

发明内容

本发明的目的是要提供一种web系统的性能效率一致性测试方法及系统。

为达到上述目的，本发明是按照以下技术方案实施的：

本发明包括以下步骤：

获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；提取预处理后的所述性能效率数据的性能特征的方法，包括：

对性能效率数据进行均值化，表达式为：

其中第个性能第/>个效率数据为/>第/>个效率数据的均值为/>第/>个性能第/>个效率数据的均值化为/>计算均值化后协方差矩阵的元素：

其中第个性能的数量为p，协方差矩阵第/>个性能第/>个效率数据的元素为第/>个性能的均值化为/>第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>计算效率数据的相关系数：

其中均值化后效率数据和效率数据/>的相关系数为/>效率数据/>和效率数据/>的协方差为/>性能d和各性能/>的平均协方差为/>效率数据/>和各效率数据/>的平均协方差为/>给出各向异性高斯核函数：

其中核宽向量为a，第个样本空间为/>第/>个样本空间为/>异性高斯核函数为H，根据异性高斯核函数对性能进行降序排序，将异性高斯核函数高于0.49的性能删除，将剩余的性能输出为性能特征；

根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；包括：

其中特征为f，特征集合为U，信息增益函数为gn(·)，特征的数量为c，增益偏差为η，第1比例为ψ₁，第2比例为ψ₂，随机抽取性能特征的次数为q，第r个随机选取性能特征集合为y_r，第r个最近邻性能特征为b_r，类g的先验概率为s(g)，随机性能特征集合y_r的先验概率为s(y_r)，特征f两个性能特征的差值函数为第i个性能特征为f_i，特征的匹配重要度为/>

根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

根据所述效率特征和运行日志进行匹配分析获得数据文件的方法，包括：

输入运行日志和效率特征，过滤不完备的运行日志，合并相同的运行日志，通过日志文件分析获得运行日志的频率；

根据频率进行降序排序，将频率高于0.73的运行日志保存在高频集合，将频率在0.47到0.73保存为低频日志，剩余的日志保存为无效低频日志；

根据直接跟随图定义和直接跟随关系分别生成高频和低频序列日志的直接跟随图，根据最终跟随图生成低频序列日志的最终跟随图；

分析低频序列日志和最终跟随图相同有向弧频数的差值，关注差值为0的有向弧，参考高频序列日志，如果有向弧在高频序列日志中不存在但属于新的节点或者有向弧在高频序列日志中存在，则有向弧有效，否则为无效，将无效有向弧对应的日志保存到无效低频日志；

对无效低频日志和低频日志进行字符串匹配，如果匹配成功则过滤，否则将运行日志保存到数据文件，直到遍历所有低频日志；

根据所述数据文件构建一致性测试模型的方法，包括：

一致性测试模型采用神经网络算法、蒙特卡洛模拟方法和随机森林算法构建；

在编写代码时添加以秒为单位的时间戳，神经网络算法用于学习历史性能效率数据的原理和数学规律，蒙特卡洛模拟方法用于模拟web系统在不同负载和场景下的性能效率表现，随机森林算法用于构建决策树进行时间戳的选择和分类；

计算一致性测试得分：

其中数据文件为数据文件/>第t个时间戳与第t-1个时间戳的差值为/> 的数量为u，第t个时间戳的权重为ω_t，数据文件的变异系数为/>数据文件/>的一致性测试得分为/>

优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。

进一步的，根据所述匹配重要度筛选所述性能特征的方法，包括：

对性能特征进行聚类分析获得类别，保留距离类中心较近样本作为随机抽样集，计算抽样集内元素的匹配重要度，根据匹配重要度进行降序排序，获得第一特征序列；

将第一特征序列划分区段，获得维度和特征子序列；

计算特征子序列内性能特征的复杂度：

其中第κ种性能特征为z_κ，第m种性能特征为z_m，性能特征z的均值为第κ种性能特征的数量为τ，第m种性能特征的数量为/>最大信息函数为mc(·)，信息系数为ρ，程度系数为/>性能特征z_κ的复杂度为hs(z_κ)，根据复杂度对性能特征进行升序排序，得到第二特征序列；

选择第二特征序列中复杂度小于0.3的性能特征组成效率特征，并输出。

第二方面，一种web系统的性能效率一致性测试系统，包括：

特征提取模块：用于获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；

特征筛选模块：用于根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；

数据文件匹配模块：用于根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

优化模块：用于优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。

本发明的有益效果是：

本发明是一种web系统的性能效率一致性测试方法及系统，与现有技术相比，本发明具有以下技术效果：

本发明通过预处理、特征提取、计算匹配重要度、匹配数据文件、构建模型和优化模型步骤，可以提高性能效率一致性测试的准确性，从而提高性能效率一致性测试的精度，将性能效率一致性测试量化，可以大大节省资源和人力成本，提高工作效率，可以实现对web系统的性能效率一致性测试，实时对web系统进行性能效率一致性测试改进，对web系统性能效率一致性测试具有重要意义，可以适应不同web系统、不同用户的web系统的性能效率一致性测试需求，具有一定的普适性。

附图说明

图1为本发明一种web系统的性能效率一致性测试方法的步骤流程图。

具体实施方式

下面通过具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

本发明一种web系统的性能效率一致性测试方法及系统包括以下步骤：

如图1所示，在本实施例中，包括以下步骤：

获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；

提取预处理后的所述性能效率数据的性能特征的方法，包括：

对性能效率数据进行均值化，表达式为：

其中第个性能第/>个效率数据为/>第/>个效率数据的均值为/>第/>个性能第/>个效率数据的均值化为/>计算均值化后协方差矩阵的元素：

其中第个性能的数量为p，协方差矩阵第/>个性能第/>个效率数据的元素为第/>个性能的均值化为/>第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>计算效率数据的相关系数：

其中均值化后效率数据和效率数据/>的相关系数为/>效率数据/>和效率数据/>的协方差为/>性能d和各性能/>的平均协方差为/>效率数据/>和各效率数据/>的平均协方差为/>给出各向异性高斯核函数：

其中核宽向量为a，第个样本空间为/>第/>个样本空间为/>异性高斯核函数为H，根据异性高斯核函数对性能进行降序排序，将异性高斯核函数高于0.49的性能删除，将剩余的性能输出为性能特征；

在实际评估中，给出2组性能效率数据和添加时间戳的日志：

第1组：平均响应时间200毫秒、吞吐量每秒处理100个请求、资源利用率CPU使用率为50％，内存使用率为30％、能够轻松扩展到处理200个请求/秒、在长时间运行中性能稳定、错误率为0.2％；

运行日志为{"timestamp":"2023-07-1910:30:00","response_time":200,"requests_per_second":100,"cpu_usage":50,"memory_usage":30,"scalability":"Caneasily scale to 200requests per second","stability":"Stableduring long-running operations","error_rate":0.2,"additional_log":{"log_type":"INFO","message":"Web server started successfully","timestamp":"2023-07-1910:29:55"}}；

第2组：平均响应时间300毫秒、吞吐量每秒处理80个请求、资源利用率CPU使用率为60％，内存使用率为40％、需要额外的优化才能扩展到处理100个请求/秒、在出现1次性能波动、错误率为1％；

运行日志为{"timestamp":"2023-07-1910:35:00","response_time":300,"requests_per_second":80,"cpu_usage":60,"memory_usage":40,"scalability":"Needsadditional optimization to scale to 100requests per second","stability":"Someperformance fluctuations observed","error_rate":1,"additional_log":{"log_type":"WARNING","message":"Increase cache size to improve performance","timestamp":"2023-07-1910:34:45"}}；

提取性能效率数据的性能特征为响应时间、吞吐量、资源利用率、可扩展性、稳定性、错误率；

根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；包括：

其中特征为f，特征集合为U，信息增益函数为gn(·)，特征的数量为c，增益偏差为η，第1比例为ψ₁，第2比例为ψ₂，随机抽取性能特征的次数为q，第r个随机选取性能特征集合为y_r，第r个最近邻性能特征为b_r，类g的先验概率为s(g)，随机性能特征集合y_r的先验概率为s(y_r)，特征f两个性能特征的差值函数为第i个性能特征为f_i，特征的匹配重要度为/>

在实际评估中，第1组数据响应时间、吞吐量、资源利用率、可扩展性、稳定性、错误率匹配重要度分别为0.21、0.16、0.47、0.39、0.29、0.19，第2组数据响应时间、吞吐量、资源利用率、可扩展性、稳定性、错误率匹配重要度分别为0.17、0.21、0.45、0.37、0.28、0.18，筛选出的效率特征为响应时间、吞吐量、稳定性、错误率；

根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

根据所述效率特征和运行日志进行匹配分析获得数据文件的方法，包括：

输入运行日志和效率特征，过滤不完备的运行日志，合并相同的运行日志，通过日志文件分析获得运行日志的频率；

根据频率进行降序排序，将频率高于0.73的的运行日志保存在高频集合，将频率在0.47到0.73保存为低频日志，剩余的日志保存为无效低频日志；

根据直接跟随图定义和直接跟随关系分别生成高频和低频序列日志的直接跟随图，根据最终跟随图生成低频序列日志的最终跟随图；

分析低频序列日志和最终跟随图相同有向弧频数的差值，关注差值为0的有向弧，参考高频序列日志，如果有向弧在高频序列日志中不存在但属于新的节点或者有向弧在高频序列日志中存在，则有向弧有效，否则为无效，将无效有向弧对应的日志保存到无效低频日志；

对无效低频日志和低频日志进行字符串匹配，如果匹配成功则过滤，否则将运行日志保存到数据文件，直到遍历所有低频日志；

根据所述数据文件构建一致性测试模型的方法，包括：

一致性测试模型采用神经网络算法、蒙特卡洛模拟方法和随机森林算法构建；

在编写代码时添加以秒为单位的时间戳，神经网络算法用于学习历史性能效率数据的原理和数学规律，蒙特卡洛模拟方法用于模拟web系统在不同负载和场景下的性能效率表现，随机森林算法用于构建决策树进行时间戳的选择和分类；

计算一致性测试得分：

其中数据文件为数据文件/>第t个时间戳与第t-1个时间戳的差值为/> 的数量为u，第t个时间戳的权重为ω_t，数据文件的变异系数为/>数据文件/>的一致性测试得分为/>

在实际评估中，第1组数据匹配的数据文件为{"timestamp":"2023-07-1910:30:00","response_time":200,"requests_per_second":100,"cpu_usage":50,"memory_usage":30,"scalability":"Can easily scale to 200requests per second","stability":"Stableduring long-running operations","error_rate":0.2}；

第2组数据匹配的数据文件为{"timestamp":"2023-07-1910:35:00","response_time":300,"requests_per_second":80,"cpu_usage":60,"memory_usage":40,"scalability":"Needs additional optimization to scale to 100requests persecond","stability":"Some performance fluctuations observed","error_rate":1}；

优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果；

在实际评估中，输入待测试数据为平均响应时间为150毫秒、吞吐量每秒处理120个请求、资源利用率CPU使用率为45％和内存使用率为25％、能够轻松扩展到处理250个请求/秒、在长时间运行中性能稳定、错误率为0.1％；

运行日志为{"timestamp":"2023-07-1911:05:00","response_time":150,"requests_per_second":120,"cpu_usage":45,"memory_usage":25,"scalability":"Caneasily scale to 250requests per second","stability":"Stableduring long-running operations,no fluctuations","error_rate":0.1,"additional_log":{"log_type":"DEBUG","message":"Cache hit rate:90％","timestamp":"2023-07-1911:04:50"}}；

待测试数据的一致性测试得分为0.867。

在本实施例中，根据所述匹配重要度筛选所述性能特征的方法，包括：

对性能特征进行聚类分析获得类别，保留距离类中心较近样本作为随机抽样集，计算抽样集内元素的匹配重要度，根据匹配重要度进行降序排序，获得第一特征序列；

将第一特征序列划分区段，获得维度和特征子序列；

计算特征子序列内性能特征的复杂度：

其中第κ种性能特征为z_κ，第m种性能特征为z_m，性能特征z的均值为第κ种性能特征的数量为τ，第m种性能特征的数量为/>最大信息函数为mc(·)，信息系数为ρ，程度系数为/>性能特征z_κ的复杂度为hs(z_κ)，根据复杂度对性能特征进行升序排序，得到第二特征序列；

选择第二特征序列中复杂度小于0.3的性能特征组成效率特征，并输出。

第二方面，一种web系统的性能效率一致性测试系统，包括：

特征提取模块：用于获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；

特征筛选模块：用于根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；

数据文件匹配模块：用于根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

优化模块：用于优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种web系统的性能效率一致性测试方法，其特征在于，包括以下步骤：

获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；

提取预处理后的所述性能效率数据的性能特征的方法，包括：

对性能效率数据进行均值化，表达式为：

其中第个性能第/>个效率数据为/>第/>个效率数据的均值为/>第/>个性能第/>个效率数据的均值化为/>计算均值化后协方差矩阵的元素：

其中第个性能的数量为p，协方差矩阵第/>个性能第/>个效率数据的元素为/>第/>个性能的均值化为/>第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>第l个性能第/>个效率数据的均值化为/>计算效率数据的相关系数：

其中均值化后效率数据和效率数据/>的相关系数为/>效率数据/>和效率数据/>的协方差为/>性能d和各性能/>的平均协方差为/>效率数据/>和各效率数据/>的平均协方差为/>给出各向异性高斯核函数：

其中核宽向量为a，第个样本空间为/>第/>个样本空间为/>异性高斯核函数为H，根据异性高斯核函数对性能进行降序排序，将异性高斯核函数高于0.49的性能删除，将剩余的性能输出为性能特征；

根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；包括：

其中特征为f，特征集合为U，信息增益函数为gn(·)，特征的数量为c，增益偏差为η，第1比例为ψ₁，第2比例为ψ₂，随机抽取性能特征的次数为q，第r个随机选取性能特征集合为y_r，第r个最近邻性能特征为b_r，类g的先验概率为s(g)，随机性能特征集合y_r的先验概率为s(y_r)，特征f两个性能特征的差值函数为第i个性能特征为f_i，特征的匹配重要度为

根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

根据所述效率特征和运行日志进行匹配分析获得数据文件的方法，包括：

输入运行日志和效率特征，过滤不完备的运行日志，合并相同的运行日志，通过日志文件分析获得运行日志的频率；

根据频率进行降序排序，将频率高于0.73的运行日志保存在高频集合，将频率在0.47到0.73保存为低频日志，剩余的日志保存为无效低频日志；

根据直接跟随图定义和直接跟随关系分别生成高频和低频序列日志的直接跟随图，根据最终跟随图生成低频序列日志的最终跟随图；

分析低频序列日志和最终跟随图相同有向弧频数的差值，关注差值为0的有向弧，参考高频序列日志，如果有向弧在高频序列日志中不存在但属于新的节点或者有向弧在高频序列日志中存在，则有向弧有效，否则为无效，将无效有向弧对应的日志保存到无效低频日志；

对无效低频日志和低频日志进行字符串匹配，如果匹配成功则过滤，否则将运行日志保存到数据文件，直到遍历所有低频日志；

根据所述数据文件构建一致性测试模型的方法，包括：

一致性测试模型采用神经网络算法、蒙特卡洛模拟方法和随机森林算法构建；

在编写代码时添加以秒为单位的时间戳，神经网络算法用于学习历史性能效率数据的原理和数学规律，蒙特卡洛模拟方法用于模拟web系统在不同负载和场景下的性能效率表现，随机森林算法用于构建决策树进行时间戳的选择和分类；

计算一致性测试得分：

其中数据文件为数据文件/>第t个时间戳与第t-1个时间戳的差值为/> 的数量为u，第t个时间戳的权重为ω_t，数据文件的变异系数为/>数据文件/>的一致性测试得分为/>

优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。

2.根据权利要求1所述的一种web系统的性能效率一致性测试方法，其特征在于，根据所述匹配重要度筛选所述性能特征的方法，包括：

对性能特征进行聚类分析获得类别，保留距离类中心较近样本作为随机抽样集，计算抽样集内元素的匹配重要度，根据匹配重要度进行降序排序，获得第一特征序列；

将第一特征序列划分区段，获得维度和特征子序列；

计算特征子序列内性能特征的复杂度：

其中第κ种性能特征为z_κ，第m种性能特征为z_m，性能特征z的均值为第κ种性能特征的数量为τ，第m种性能特征的数量为/>最大信息函数为mc(·)，信息系数为ρ，程度系数为性能特征z_κ的复杂度为hs(z_κ)，根据复杂度对性能特征进行升序排序，得到第二特征序列；

选择第二特征序列中复杂度小于0.3的性能特征组成效率特征，并输出。

3.一种web系统的性能效率一致性测试系统，其特征在于，所述系统执行所述权利要求1～2任一项所述方法，包括：

特征提取模块：用于获取web系统的性能效率数据和运行日志，对所述性能效率数据进行预处理，提取预处理后的所述性能效率数据的性能特征；

特征筛选模块：用于根据所述性能特征计算匹配重要度，根据所述匹配重要度筛选所述性能特征，获得效率特征；

数据文件匹配模块：用于根据所述效率特征和运行日志进行匹配分析获得数据文件，根据所述数据文件构建一致性测试模型；

优化模块：用于优化所述一致性测试模型，将待测试数据输入优化后的所述一致性测试模型，输出测试结果。