CN116737554B - 一种基于大数据的智能分析处理系统及方法 - Google Patents
一种基于大数据的智能分析处理系统及方法 Download PDFInfo
- Publication number
- CN116737554B CN116737554B CN202310624635.8A CN202310624635A CN116737554B CN 116737554 B CN116737554 B CN 116737554B CN 202310624635 A CN202310624635 A CN 202310624635A CN 116737554 B CN116737554 B CN 116737554B
- Authority
- CN
- China
- Prior art keywords
- test
- data
- time
- service
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 410
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 16
- 238000007726 management method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 238000013075 data extraction Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000003111 delayed effect Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000013515 script Methods 0.000 claims description 3
- 238000013112 stability test Methods 0.000 abstract description 6
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011056 performance test Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011990 functional testing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000011076 safety test Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于大数据的智能分析处理系统及方法，涉及大数据智能分析技术领域，本发明包括：S1：选择测试目标和测试指标，确定测试方案；S2：获取系统中的历史相关数据，并实时监测测试目标的业务状态和系统中各用户的行为数据；S3：对监测数据进行分析，选取测试开始执行时间；S4：根据测试方案设置测试参数，运行测试工具进行压测，收集测试数据，并对日志进行存储；S5：对测试方案的执行全过程进行监测，根据测试数据选择测试停止时间。对测试的介入时机进行了智能选取，并对测试进程和测试指标进行持续监测，判断系统长时间运行是否存在异常表现，提高了系统的稳定性测试效率。
Description
技术领域
本发明涉及大数据智能分析技术领域，具体为一种基于大数据的智能分析处理系统及方法。
背景技术
随着计算机技术的快速发展，现代民众对互联网的需求日益增长，各种计算机程序的请求访问量也随之增长，而这些应用程序的服务接口存在承载上限，需要对其进行验证性测试来确定计算机系统性能，以便于避免系统运行时的突发崩溃。
压测用于模拟实际用户访问和负载的情况下评估应用程序、软件系统或服务器的性能，可以模拟大量用户访问、高并发请求和大规模数据量等场景；通过对计算机系统进行压力测试，可以确定系统的极限负载能力，确定系统的优化方向和性能瓶颈，并确保系统在高负载下的鲁棒性和稳定性。现有技术可以通过程序进行自动化测试，节约了大量的人力成本，但对于测试时间的选择还没有实现智能分析，在实际应用中，对于持续性的稳定性测试，需要长时间的运行才能够发现、验证潜在问题，而对于测试时间，通常需要根据人为经验选取合适的时机。但是，测试时机的选取需要贴合业务，如果选取的测试时间不对，可能会导致无效测试，甚至会影响系统的正常运行，甚至会对企业造成极大的损失。
因此，为了解决上述问题或部分问题，本发明提供了一种基于大数据的智能分析处理系统及方法。
发明内容
本发明的目的在于提供一种基于大数据的智能分析处理系统及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的智能分析处理方法，包括以下步骤：
S1：选择测试目标和测试指标，确定测试方案；
S2：获取系统中的历史相关数据，并实时监测测试目标的业务状态和系统中各用户的行为数据；
S3：对监测数据进行分析，选取测试开始执行时间；
S4：根据测试方案设置测试参数，运行测试工具进行压测，收集测试数据，并对日志进行存储；以便于了解系统运行状态和性能表现，为后续的系统优化改进提供参考。
S5：对测试方案的执行全过程进行监测，根据测试数据选择测试停止时间。
进一步的，所述S1包括：
步骤S1-1：通过用户选择确定测试目标，测试目标可以在软件开发的任何阶段进行制定，可以是关于功能、性能、安全、可靠性、可用性、兼容性、用户体验等各个方面的要求或者期望；确定测试目标的系统参数、应用程序的版本和测试环境，并确定对于该测试目标的测试指标；所述测试指标是性能测试、功能测试、安全测试等各种软件测试的评估标准，用于衡量系统或应用程序在各方面的性能、功能、安全等方面的优劣程度，根据不同测试类型，测试指标可以有多种类。
步骤S1-2：根据测试目标设计测试场景，配置测试所需的硬件、软件、网络环境，并对其进行调试，确保测试能够有效的进行；
步骤S1-3：根据测试目标和测试场景，设计测试用例，包括测试输入数据、测试脚本和测试容量；
步骤S1-4：准备测试所需的数据并进行相关处理，确定测试报告的格式和频率，以便于及时反馈测试结果，使得开发人员能够进行及时修复和优化。
进一步的，在S2中，通过调用系统日志获取历史相关数据，实时监测各业务的待测试目标的指标情况，对业务流程进行监测，确定业务状态更新模板，记录测试目标的实时进度，以便于全面了解测试目标的业务状态和运行情况；监测用户的行为数据，记录用户在不同阶段的转化情况和留存情况，以便于在后续的分析中了解各业务状态的更新时间；
进一步的，在S3中对S2的监测数据进行分析，选取测试开始执行时间，包括：
步骤S3-1：提取用户对不同业务的时间戳，包括用户对各业务的开始时间、持续时间和结束时间；根据用户对各业务的使用时间，预测用户的业务转换开始时间，通过实时监测的业务流动，根据以下公式计算第i+1个业务的开始时间
其中，表示第i个业务的开始时间，Ck表示第k个用户在业务i的持续时间，n表示进行了数据清洗后提取了n个用户的历史业务数据；数据清洗去除了原始数据中的空值、异常值、重复值等无效数据，保证了数据的准确性；
通过对用户业务转换的时间预测，得到在各时刻系统内各业务的转换情况；以便于对未来一段时间内的各业务中的占用情况进行预测；
步骤S3-2：提取监测数据中的各业务中的当前待测试目标的实时指标数据，根据预测得到的各时刻各业务转换情况，得到预测的各业务在各时刻的待测试目标的指标数据，以此来预测业务高峰期时间，将预测得到的各业务在各时刻的指标数据按照时间顺序进行排列，通过趋势拟合方法对指标数据的变化趋势进行分析；利用趋势拟合得到关于指标数据随时间变化的曲线方程，通过对曲线的极值点进行求导，预测得到各业务的高峰期和低谷期时间；
如果系统内业务占比过高，那么在进行测试时，我们需要确保系统能够承受更高的负载。另一方面，如果系统内业务占比过低，那么我们需要调整测试用例的设计，以确保测试能够覆盖到系统的主要业务场景，从而更好地模拟实际的负载情况。因此，进行压测时需要对系统内业务情况进行充分的了解和分析，以制定出更加有效的测试策略。
步骤S3-3：根据预测得到的各业务的高峰期和低谷期时间，结合测试目标需求，实现对测试执行时间的选取；若测试需要避免对用户产生影响，则选择在业务低谷期进行测试，若测试需要系统在高并发和高负载下的条件下进行，则选择在业务高峰期进行测试；若测试需要长时间运行，并对测试场景有限制需求，则需要在高峰期和低谷期对测试用例进行调整，控制测试的数据量，以便于保证测试结果具有准确性和可靠性；可通过以下公式对测试的数据量S进行分析：
其中，Q表示业务的可承载量，k1、k2分别表示调节系数，P表示当前业务内的实际用户占用量，Z表示当前业务的承载量，t表示业务中各用户的平均持续使用时间,f表示测试用例的覆盖率，D表示测试用例的执行时间；
稳定性测试一般在开发完成后的集成测试、系统测试和验收测试阶段进行，主要目的是评估系统在长时间运行及不同负载条件下的稳定性和可靠性，以保证软件正常运行且不会出现崩溃等异常情况。稳定性测试需要在一定范围内进行，持续时间通常为几十个小时甚至数天，测试人员通过尽可能模拟真实用户的使用场景，包括操作频率、并发量、连续使用时间等，来控制测试的数据量，以便于保证测试结果具有准确性和可靠性。同时，在稳定性测试过程中，还可以关注吞吐量、响应时间、错误率等指标，以评估软件的运行表现和稳定性。
进一步的，所述S5包括：
步骤S5-1：对测试执行时期产生所有数据进行收集，在测试过程中对测试的进程和结果进行实时监测和跟踪；以便于对测试过程中的问题和风险进行预警和控制；在测试过程中，通过对测试数据进行大数据分析，确定测试停止的时间点，以达到测试目标和节约测试成本的目的；
步骤S5-2：对监测的系统资源利用率进行分析，当资源利用率过高时，可能会影响测试结果的准确性。如果资源利用率超过了预先设定的阈值，结合测试任务和测试目标，若当前测试结果的误差逐渐增大或测试时间逐渐延迟，超过了预期的范围，则停止进行测试；若测试结果的准确性未受到影响，且测试目标尚未达成，则继续进行测试；
优选的，在结束测试前，可以尝试优化系统资源的使用方式，例如减少测试负载、关闭不必要的系统进程等，以降低资源利用率，并在测试结果不受影响的情况下继续测试。
步骤S5-3：对监测的测试进程和测试结果进行分析，结合测试目标设定预期的指标数值，当测试指标达到预期值或者测试结果稳定时，结束测试，并根据测试结果编写测试报告。
根据分析结果，确定测试停止的时间点，以便于节约测试成本；
对测试执行过程监测的主要目的是为了及时发现和解决测试过程中的问题和风险，确保测试活动按计划顺利进行，并达到测试的质量目标。
优选的，也可以选择设定一个固定的测试时间，例如12个小时或者24个小时等，到达设定时间后结束测试；
一种基于大数据的智能分析处理系统，所述系统包括：数据获取模块、数据分析模块和测试管理模块；
所述数据获取模块用于对测试所需的系统相关数据进行采集，并对系统内的业务状态进行监测，获取到系统内的相关数据和实时业务状态数据；
所述数据分析模块用于对获取的数据进行相应分析，对测试执行时间进行选取；
所述测试管理模块用于根据数据分析模块的分析结果对测试流程进行管理，实时更新测试方案，实现自动化智能测试。
进一步的，所述数据获取模块包括数据提取单元、数据监测单元和数据存储单元；
所述数据提取单元用于提取测试所需的系统内的相关硬件、软件数据，并提取测试所需的历史相关数据；
所述数据监测单元用于对系统内的实时业务状态进行监控，并对测试时的指标数据进行监测；
所述数据存储单元用于对提取的测试所需数据和监测到的测试数据进行存储。
进一步的，所述数据分析模块包括数据预测单元、测试时间选取单元和指令输出单元；
所述数据预测单元用于对系统内的业务状态变化情况进行预测，并根据预测得到的各时刻各业务转换情况，预测各业务在各时刻的测试指标；
所述测试时间选取单元用于根据系统内的业务状态和测试指标数据对测试时间进行选取；
所述指令输出单元用于根据系统内的业务状态和测试指标数据对测试方案、测试执行指令进行输出。
进一步的，所述测试管理模块包括数据接收单元、测试执行单元和测试记录单元；
所述数据接收单元用于对测试相关指令进行接收，并根据指令调用测试用例和测试工具，实现通过大数据的智能分析得到的测试方案；
所述测试执行单元用于根据接收的指令执行在测试场景下，通过测试用例对测试目标进行测试；
所述测试记录单元用于对测试执行时产生的反馈数据和测试指标进行记录，并生成测试报告，以便于及时反馈测试结果，使得开发人员能够进行及时修复和优化。
与现有技术相比，本发明所达到的有益效果是：
本发明通过数据获取模块对测试所需的系统相关数据进行采集，并对系统内的业务状态进行监测，获取到系统内的相关数据和实时业务状态数据；通过数据分析模块对获取的数据进行相应分析，对测试执行时间进行选取；通过测试管理模块根据数据分析模块的分析结果对测试流程进行管理，实时更新测试方案，实现自动化智能测试；对测试的介入时机进行了智能选取，并对测试进程进行了监测，通过持续测试来观测长时间、不同负载情况下，系统各项指标的稳定性，以此判断系统长时间运行是否存在异常表现，提高了系统的稳定性测试效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于大数据的智能分析处理系统的模块结构示意图；
图2是本发明一种基于大数据的智能分析处理方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1、图2和具体实施例对本发明作进一步的说明。
实施例1：如图1所示，本实施例提供了一种基于大数据的智能分析处理系统，所述系统包括：数据获取模块、数据分析模块和测试管理模块；
数据获取模块，用于对测试所需的系统相关数据进行采集，并对系统内的业务状态进行监测，获取到系统内的相关数据和实时业务状态数据；数据获取模块包括数据提取单元、数据监测单元和数据存储单元；
其中，数据提取单元用于提取测试所需的系统内的相关硬件、软件数据，并提取测试所需的历史相关数据；数据监测单元用于对系统内的实时业务状态进行监控，并对测试时的指标数据进行监测；数据存储单元用于对提取的测试所需数据和监测到的测试数据进行存储。
数据分析模块，用于对获取的数据进行相应分析，对测试执行时间进行选取；数据分析模块包括数据预测单元、测试时间选取单元和指令输出单元；
其中，数据预测单元用于对系统内的业务状态变化情况进行预测，并根据预测得到的各时刻各业务转换情况，预测各业务在各时刻的测试指标；测试时间选取单元用于根据系统内的业务状态和测试指标数据对测试时间进行选取；指令输出单元用于根据系统内的业务状态和测试指标数据对测试方案、测试执行指令进行输出。
测试管理模块，用于根据数据分析模块的分析结果对测试流程进行管理，实时更新测试方案；测试管理模块包括数据接收单元、测试执行单元和测试记录单元；
其中，数据接收单元用于对测试相关指令进行接收，并根据指令调用测试用例和测试工具，实现通过大数据的智能分析得到的测试方案；测试执行单元用于根据接收的指令执行在测试场景下，通过测试用例对测试目标进行测试；测试记录单元用于对测试执行时产生的反馈数据和测试指标进行记录，并生成测试报告，以便于及时反馈测试结果，使得开发人员能够进行及时修复和优化。
为了确定测试的范围和目标，我们必须确保在测试期间系统不会崩溃，确保在指定时间内交付测试结果，将根据CPU利用率和内存等资源使用情况确定测试执行的成本限制，并与需求进行适当的映射。按照测试场景和计划执行测试，并记录测试结果和日志。对测试结果和日志进行分析和统计，能够识别出系统在不同负载和长时间运行状态下的性能瓶颈和缺陷。根据分析结果撰写测试报告，包括测试目标、测试环境、测试过程、测试结果、问题分析、建议改进等内容，并向相关部门或客户提供反馈和建议。
实施例2：如图2所示，本实施例提供了一种基于大数据的智能分析处理方法，其基于实施例中的一种基于大数据的智能分析处理系统实现，具体包括以下步骤：
S1：选择测试目标和测试指标，确定测试方案；其中，S1包括：
步骤S1-1：通过用户选择确定测试目标，测试目标可以在软件开发的任何阶段进行制定，可以是关于功能、性能、安全、可靠性、可用性、兼容性、用户体验等各个方面的要求或者期望；确定测试目标的系统参数、应用程序的版本和测试环境，并确定对于该测试目标的测试指标；所述测试指标是性能测试、功能测试、安全测试等各种软件测试的评估标准，用于衡量系统或应用程序在各方面的性能、功能、安全等方面的优劣程度，根据不同测试类型，测试指标可以有很多种类，例如，性能测试指标，包括响应时间、吞吐量、并发用户数、虚拟用户数量、访问速度等；安全测试指标，包括漏洞数量、漏洞修复率、安全等级等。
步骤S1-2：根据测试目标设计测试场景，配置测试所需的硬件、软件、网络环境，并对其进行调试，确保测试能够有效的进行；
步骤S1-3：根据测试目标和测试场景，设计测试用例，包括测试输入数据、测试脚本和测试容量；
例如，设计业务流程测试用例、负载测试用例、并发测试用例和边界值测试用例等；
步骤S1-4：准备测试所需的数据并进行相关处理，确定测试报告的格式和频率，以便于及时反馈测试结果，使得开发人员能够进行及时修复和优化。
S2：获取系统中的历史相关数据，并实时监测测试目标的业务状态和系统中各用户的行为数据；在S2中，通过调用系统日志获取历史相关数据，实时监测各业务的待测试目标的指标情况，对业务流程进行监测，确定业务状态更新模板，记录测试目标的实时进度，以便于全面了解测试目标的业务状态和运行情况；监测用户的行为数据，记录用户在不同阶段的转化情况和留存情况，以便于在后续的分析中了解各业务状态的更新时间；
S3：对监测数据进行分析，选取测试开始执行时间；其中，S3包括：
步骤S3-1：提取用户对不同业务的时间戳，包括用户对各业务的开始时间、持续时间和结束时间；根据用户对各业务的使用时间，预测用户的业务转换开始时间，通过实时监测的业务流动，根据以下公式计算第i+1个业务的开始时间
其中，表示第i个业务的开始时间，Ck表示第k个用户在业务i的持续时间，n表示进行了数据清洗后提取了n个用户的历史业务数据；
通过对用户业务转换的时间预测，得到在各时刻系统内各业务的转换情况；以便于对未来一段时间内的各业务中的占用情况进行预测；
步骤S3-2：提取监测数据中的各业务中的当前待测试目标的实时指标数据，根据预测得到的各时刻各业务转换情况，得到预测的各业务在各时刻的待测试目标的指标数据，以此来预测业务高峰期时间，将预测得到的各业务在各时刻的指标数据按照时间顺序进行排列，通过趋势拟合方法对指标数据的变化趋势进行分析；对数据进行可视化分析，初步判断曲线特征，例如，当数据呈现出抛物线的形状时，选择二次曲线拟合函数进行数据拟合，可通过求解最小化误差平方和的方法确定曲线系数；利用趋势拟合得到关于指标数据随时间变化的曲线方程，通过对曲线的极值点进行求导，预测得到各业务的高峰期和低谷期时间；
如果系统内业务占比过高，那么在进行测试时，我们需要确保系统能够承受更高的负载。另一方面，如果系统内业务占比过低，那么我们需要调整测试用例的设计，以确保测试能够覆盖到系统的主要业务场景，从而更好地模拟实际的负载情况。因此，进行压测时需要对系统内业务情况进行充分的了解和分析，以制定出更加有效的测试策略。
例如，在业务高峰期进行测试可以模拟真实的使用场景，可以测试系统在高并发和高负载下的表现情况，发现瓶颈并优化系统的性能和可扩展性，以便于保证系统在正式使用时的稳定性和可靠性，以此来提升用户的体验；
例如，在业务低谷期进行测试可以避免对实际用户产生影响，避免用户体验受到影响，在这个时候，系统的负载较小，测试人员可以在不干扰用户使用的情况下进行测试，并对测试结果进行评估和分析。如果发现系统的性能存在瓶颈或者其他问题，就可以及时对其进行优化和调整，为未来的容量规划和业务策略提供参考，以保证系统在高峰期的稳定性和可靠性。
步骤S3-3：根据预测得到的各业务的高峰期和低谷期时间，结合测试目标需求，实现对测试执行时间的选取；若测试需要避免对用户产生影响，则选择在业务低谷期进行测试，若测试需要系统在高并发和高负载下的条件下进行，则选择在业务高峰期进行测试；若测试需要长时间运行，并对测试场景有限制需求，则需要在高峰期和低谷期对测试用例进行调整，控制测试的数据量，以便于保证测试结果具有准确性和可靠性；例如，为了测试数据突增、数据突降等情况对系统稳定性的影响，可在业务低谷期通过测试用例模拟数据突增场景，以此对系统的稳定性进行测试。
可通过以下公式对测试的数据量S进行分析：
其中，Q表示业务的可承载量，k1、k2分别表示调节系数，P表示当前业务内的实际用户占用量，Z表示当前业务的承载量，t表示业务中各用户的平均持续使用时间,f表示测试用例的覆盖率，D表示测试用例的执行时间；
假设，对于某大型平台进行测试，此时：Q＝5000，k1,＝0.7，k2＝0.6，P＝1000，t＝0.3，f＝0.8，D＝0.01，将数据代入公式得到：
S＝{[5000-(0.7*1000*0.3)]/(0.8*0.01)}*0.6≈35.9万；
即，预计需要生成35.9万份测试数据来对当前业务中的测试目标进行测试。
S4：根据测试方案设置测试参数，运行测试工具进行压测，收集测试数据，并对日志进行存储；以便于了解系统运行状态和性能表现，为后续的系统优化改进提供参考。
S5：对测试方案的执行全过程进行监测，根据测试数据选择测试停止时间；其中，S5包括：
步骤S5-1：对测试执行时期产生所有数据进行收集，在测试过程中对测试的进程和结果进行实时监测和跟踪；以便于对测试过程中的问题和风险进行预警和控制；在测试过程中，通过对测试数据进行大数据分析，确定测试停止的时间点，以达到测试目标和节约测试成本的目的；
步骤S5-2：对监测的系统资源利用率进行分析，例如CPU、内存使用率，当资源利用率过高时，可能会影响测试结果的准确性。如果资源利用率超过了预先设定的阈值，结合测试任务和测试目标，若当前测试结果的误差逐渐增大或测试时间逐渐延迟，超过了预期的范围，则停止进行测试；若测试结果的准确性未受到影响，且测试目标尚未达成，则继续进行测试；
步骤S5-3：对监测的测试进程和测试结果进行分析，结合测试目标设定预期的指标数值，当测试指标达到预期值或者测试结果稳定时，结束测试，并根据测试结果编写测试报告。
对测试执行过程监测的主要目的是为了及时发现和解决测试过程中的问题和风险，确保测试活动按计划顺利进行。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于大数据的智能分析处理方法，其特征在于：包括以下步骤：
S1：选择测试目标和测试指标，确定测试方案；所述S1包括：
步骤S1-1：通过用户选择确定测试目标，确定测试目标的系统参数、应用程序的版本和测试环境，并确定对于该测试目标的测试指标；
步骤S1-2：根据测试目标设计测试场景，配置测试所需的硬件、软件、网络环境，并对其进行调试；
步骤S1-3：根据测试目标和测试场景，设计测试用例，包括测试输入数据、测试脚本和测试容量；
步骤S1-4：准备测试所需的数据并进行相关处理，确定测试报告的格式和频率；
S2：获取系统中的历史相关数据，并实时监测测试目标的业务状态和系统中各用户的行为数据；
在S2中，通过调用系统日志获取历史相关数据，实时监测各业务的待测试目标的指标情况，对业务流程进行监测，确定业务状态更新模板，记录测试目标的实时进度；监测用户的行为数据，记录用户在不同阶段的转化情况和留存情况；
S3：对监测数据进行分析，选取测试开始执行时间；在S3中对S2的监测数据进行分析，选取测试开始执行时间，包括：
步骤S3-1：提取用户对不同业务的时间戳，包括用户对各业务的开始时间、持续时间和结束时间；根据用户对各业务的使用时间，预测用户的业务转换开始时间，通过实时监测的业务流动，根据以下公式计算第i+1个业务的开始时间：
；
其中，表示第i个业务的开始时间，Ck表示第k个用户在业务i的持续时间，n表示进行了数据清洗后提取了n个用户的历史业务数据；
通过对用户业务转换的时间预测，得到在各时刻系统内各业务的转换情况；
步骤S3-2：提取监测数据中的各业务中的当前待测试目标的实时指标数据，根据预测得到的各时刻各业务转换情况，得到预测的各业务在各时刻的待测试目标的指标数据，将预测得到的各业务在各时刻的指标数据按照时间顺序进行排列，通过趋势拟合方法对指标数据的变化趋势进行分析，利用趋势拟合得到关于指标数据随时间变化的曲线方程，通过对曲线的极值点进行求导，预测得到各业务的高峰期和低谷期时间；
步骤S3-3：根据预测得到的各业务的高峰期和低谷期时间，若测试需要避免对用户产生影响，则选择在业务低谷期进行测试，若测试需要系统在高并发和高负载下的条件下进行，则选择在业务高峰期进行测试；若测试需要长时间运行，并对测试场景有限制需求，则需要在高峰期和低谷期对测试用例进行调整，控制测试的数据量；
S4：根据测试方案设置测试参数，运行测试工具进行压测，收集测试数据，并对日志进行存储；
S5：对测试方案的执行全过程进行监测，根据测试数据选择测试停止时间；
所述S5包括：
步骤S5-1：对测试执行时期产生所有数据进行收集，在测试过程中对测试的进程和结果进行实时监测和跟踪；
步骤S5-2：对监测的系统资源利用率进行分析，如果资源利用率超过了预先设定的阈值，结合测试任务和测试目标，若当前测试结果的误差逐渐增大或测试时间逐渐延迟，则停止进行测试；若测试结果的准确性未受到影响，且测试目标尚未达成，则继续进行测试；
步骤S5-3：对监测的测试进程和测试结果进行分析，结合测试目标设定预期的指标数值，当测试指标达到预期值或者测试结果稳定时，结束测试，并根据测试结果编写测试报告。
2.一种基于大数据的智能分析处理系统，所述系统通过权利要求1所述的一种基于大数据的智能分析处理方法实现，其特征在于：所述系统包括：数据获取模块、数据分析模块和测试管理模块；
所述数据获取模块用于对测试所需的系统相关数据进行采集，并对系统内的业务状态进行监测，获取到系统内的相关数据和实时业务状态数据；
所述数据分析模块用于对获取的数据进行相应分析，对测试执行时间进行选取；
所述测试管理模块用于根据数据分析模块的分析结果对测试流程进行管理，实时更新测试方案。
3.根据权利要求2所述的一种基于大数据的智能分析处理系统，其特征在于：所述数据获取模块包括数据提取单元、数据监测单元和数据存储单元；
所述数据提取单元用于提取测试所需的系统内的相关硬件、软件数据，并提取测试所需的历史相关数据；
所述数据监测单元用于对系统内的实时业务状态进行监控，并对测试时的指标数据进行监测；
所述数据存储单元用于对提取的测试所需数据和监测到的测试数据进行存储。
4.根据权利要求2所述的一种基于大数据的智能分析处理系统，其特征在于：所述数据分析模块包括数据预测单元、测试时间选取单元和指令输出单元；
所述数据预测单元用于对系统内的业务状态变化情况进行预测，并根据预测得到的各时刻各业务转换情况，预测各业务在各时刻的测试指标；
所述测试时间选取单元用于根据系统内的业务状态和测试指标数据对测试时间进行选取；
所述指令输出单元用于根据系统内的业务状态和测试指标数据对测试方案、测试执行指令进行输出。
5.根据权利要求2所述的一种基于大数据的智能分析处理系统，其特征在于：所述测试管理模块包括数据接收单元、测试执行单元和测试记录单元；
所述数据接收单元用于对测试相关指令进行接收，并根据指令调用测试用例和测试工具；所述测试执行单元用于根据接收的指令执行在测试场景下，通过测试用例对测试目标进行测试；所述测试记录单元用于对测试执行时产生的反馈数据和测试指标进行记录，并生成测试报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624635.8A CN116737554B (zh) | 2023-05-30 | 2023-05-30 | 一种基于大数据的智能分析处理系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310624635.8A CN116737554B (zh) | 2023-05-30 | 2023-05-30 | 一种基于大数据的智能分析处理系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116737554A CN116737554A (zh) | 2023-09-12 |
| CN116737554B true CN116737554B (zh) | 2023-12-22 |
Family
ID=87905462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310624635.8A Active CN116737554B (zh) | 2023-05-30 | 2023-05-30 | 一种基于大数据的智能分析处理系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116737554B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106445763A (zh) * | 2016-09-09 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电大数据平台测试方法和系统 |
| CN112699026A (zh) * | 2020-12-28 | 2021-04-23 | 平安普惠企业管理有限公司 | 业务测试与发布方法、装置、设备及存储介质 |
| CN114490371A (zh) * | 2022-01-20 | 2022-05-13 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据测试方法、装置、测试设备及介质 |
| CN115562978A (zh) * | 2022-09-26 | 2023-01-03 | 四川启睿克科技有限公司 | 基于业务场景的性能测试系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108880931B (zh) * | 2018-05-29 | 2020-10-30 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
-
2023
- 2023-05-30 CN CN202310624635.8A patent/CN116737554B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106445763A (zh) * | 2016-09-09 | 2017-02-22 | 中国南方电网有限责任公司电网技术研究中心 | 配用电大数据平台测试方法和系统 |
| CN112699026A (zh) * | 2020-12-28 | 2021-04-23 | 平安普惠企业管理有限公司 | 业务测试与发布方法、装置、设备及存储介质 |
| CN114490371A (zh) * | 2022-01-20 | 2022-05-13 | 中国平安人寿保险股份有限公司 | 基于人工智能的数据测试方法、装置、测试设备及介质 |
| CN115562978A (zh) * | 2022-09-26 | 2023-01-03 | 四川启睿克科技有限公司 | 基于业务场景的性能测试系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 财政平台一体化应用系统性能测试;张世琼;计算机系统应用(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116737554A (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106294120B (zh) | 测试代码的方法、设备和计算机程序产品 | |
| CN110413227B (zh) | 一种硬盘设备的剩余使用寿命在线预测方法和系统 | |
| Gmach et al. | Capacity management and demand prediction for next generation data centers | |
| US8756586B2 (en) | System and method for automated performance testing in a dynamic production environment | |
| EP2572294B1 (en) | System and method for sql performance assurance services | |
| CN107992410B (zh) | 软件质量监测方法、装置、计算机设备和存储介质 | |
| Huang et al. | Software reliability modeling and cost estimation incorporating testing-effort and efficiency | |
| CN111881023B (zh) | 一种基于多模型对比的软件老化预测方法及装置 | |
| CN116975567B (zh) | 服务器辐射抗干扰度测试方法、系统、设备及存储介质 | |
| CN112162891A (zh) | 服务器集群中的性能测试方法及相关设备 | |
| CN110377519B (zh) | 大数据系统的性能容量测试方法、装置、设备及存储介质 | |
| CN117331846A (zh) | 一种基于互联网软件开发运行测试管理系统 | |
| CN112269697B (zh) | 一种设备存储性能测试方法、系统及相关装置 | |
| CN116737554B (zh) | 一种基于大数据的智能分析处理系统及方法 | |
| CN116682479A (zh) | 一种企业级固态硬盘时延指标的测试方法及测试系统 | |
| CN112905435B (zh) | 基于大数据的工作量评估方法、装置、设备及存储介质 | |
| CN113610225A (zh) | 质量评估模型训练方法、装置、电子设备及存储介质 | |
| CN117632378B (zh) | 一种虚拟化cpu的性能测试管理方法及系统 | |
| CN111522644B (zh) | 基于历史运行数据预测并行程序运行时间的方法 | |
| CN117785643B (zh) | 一种软件开发用性能测试平台 | |
| Xiaorong et al. | A multi-level grey performance evaluation model for robot operating system | |
| CN112968806B (zh) | 业务场景的测试方法及装置、存储介质、电子设备 | |
| CN111124853B (zh) | 一种基于cpu性能的云桌面规模评估系统及方法 | |
| CN106855831B (zh) | 一种系统磁盘分析方法和装置 | |
| CN116795710A (zh) | 实时系统的性能评估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231129 Address after: 010030 Building 7, Wendu World City, Zhaojun Road Street, Yuquan District, Hohhot City, Inner Mongolia Autonomous Region, 2014 Applicant after: Inner Mongolia Mengdudu Technology Service Co.,Ltd. Address before: 201100 floors 3 and 4, building 2, No. 598, Guanghua Road, Minhang District, Shanghai Applicant before: Fuxin Gaozhao (Shanghai) Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |