CN112187589A - 基于流量回放的系统测试方法 - Google Patents

基于流量回放的系统测试方法 Download PDF

Info

Publication number
CN112187589A
CN112187589A CN202011244618.4A CN202011244618A CN112187589A CN 112187589 A CN112187589 A CN 112187589A CN 202011244618 A CN202011244618 A CN 202011244618A CN 112187589 A CN112187589 A CN 112187589A
Authority
CN
China
Prior art keywords
flow
playback
data
collection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011244618.4A
Other languages
English (en)
Other versions
CN112187589B (zh
Inventor
龚波
苏学武
水军
杨刚
苏文辉
温杰峰
龚庆华
张松涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Xindehui Information Technology Co ltd
Original Assignee
Zhuhai Xindehui Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Xindehui Information Technology Co ltd filed Critical Zhuhai Xindehui Information Technology Co ltd
Priority to CN202011244618.4A priority Critical patent/CN112187589B/zh
Publication of CN112187589A publication Critical patent/CN112187589A/zh
Application granted granted Critical
Publication of CN112187589B publication Critical patent/CN112187589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于流量回放的系统测试方法，包括以下步骤：S1、流量采集；基于分布式技术开发的数据采集平台，动态定义流量采集场景；流量采集场景的动态定义包括采集目标、采集器、采集条件的动态定义；S2、流量回放；基于分布式技术，对流量回放过程进行动态定义；S3、容量分析。本发明在保障生产环境线上运营安全、可靠的情况下，反应出真实的流量对系统的冲击，并进行分析。同时通过动态的调整测试场景，提高测试效率。并且要做到线上动态调整回放量，增加对被测试系统的压力，根据系统运维监控系统、日志系统和链路监控系统实时数据，准确找出系统吞吐瓶颈和处理极限。

Description

基于流量回放的系统测试方法
技术领域
本发明涉及软件系统测试技术领域，更具体涉及一种基于流量回放的系统测试方法。
背景技术
随着软件行业技术的发展，通过软件测试来确认系统的稳定性和可靠性变得越来越重要。由于软件产品迭代的速度越来越快，基于传统方法模拟用户交互的测试工具越来越跟不上行业发展需要，而基于流量回放的系统测试方法已经逐步开始为大家认可，不过目前的系统测试方法存在如不足：
1)不能自定义流量采集场景；
2)不能自定义流量回放场景；
3)没有自动化地分析参考信息。
发明内容
本发明需要解决的技术问题是提供一种基于流量回放的系统测试方法，以解决目前的系统测试方法无法动态定义流量采集场景、无法动态定义流量回放场景的问题，以实现动态定义流量采集场景，实现动态定义流量回放场景，并能够自动生成分析报告。
为解决上述技术问题，本发明所采取的技术方案如下。
基于流量回放的系统测试方法，包括以下步骤：
S1、流量采集：基于数据采集平台，多节点并发协作工作，自定义流量采集场景；流量采集场景的自定义包括采集目标、采集器、采集条件的自定义；
S2、流量回放：多节点并发协作工作，对流量回放过程进行自定义；
S3、容量分析：对目标网络产生压力流量完成后，结合运维监控平台，获得目标节点的资源使用数据，进行分析，找出被测节点瓶颈。
进一步优化技术方案，所述步骤S1中，采集目标，为定义被采集对象；
采集器，为1～n个采集节点组成的采集器集群；
采集条件，为全量采集所有流量，或根据端口、起始IP地址进行采集。
进一步优化技术方案，所述步骤S1中，流量采集的流程具体包括以下步骤：
采集，由数据采集平台中的采集器模块完成，根据时间、目标节点对象进行采集数据；
脱敏，由数据采集平台中的脱敏模块完成，涉及敏感信息时间，入库前进行脱敏处理；
标签，由数据采集平台中的标签模块完成，添加流量特征标签，便于流量回放；
格式化，根据目标对象所在业务系统中类型，按照特定格式存储数据；
入库，由数据采集平台中的入库模块完成，通过简单对象存储协议将入库流量数据传输至分布式文件系统。
进一步优化技术方案，所述步骤S2中，对流量回放过程进行自定义包括以下步骤：
S21、根据流量回放输入条件，预制流量回放初始化条件；
S22、根据流量回放输入条件，从数据库中，将元数据拉取载入MQ集群；
S23、根据MQ集群中回放元数据，从简单对象存储协议中载入流量数据，并分发到目标网络回放。
进一步优化技术方案，所述流量回放初始化条件包括回放集群节点数、回放目标网络和回放输入条件。
进一步优化技术方案，所述回放输入条件是给回放目标网络定义配置intercepter节点，拦截应答流量。
由于采用了以上技术方案，本发明所取得技术进步如下。
本发明在保障生产环境线上运营安全、可靠的情况下，反应出真实的流量对系统的冲击，并进行分析。同时通过动态的调整测试场景，提高测试效率。并且要做到线上动态调整回放量，增加对被测试系统的压力，根据系统运维监控系统、日志系统和链路监控系统实时数据，准确找出系统吞吐瓶颈和处理极限。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面将结合附图和具体实施例对本发明进行进一步详细说明。
一种基于流量回放的系统测试方法，结合图1所示，包括以下步骤：
S1、流量采集：基于数据采集平台，多节点并发协作工作，自定义流量采集场景；
数据采集平台包含有多个模块，流量采集过程由数据采集平台各个模块协作完成，数据采集平台包含的模块有采集器模块、数据脱敏模块、标签模块、数据格式化模块、数据入库模块等；各个模块都是采用微服务架构，多节点并发协作工作。
数据采集开始前，可以自定义流量采集场景；比如，可以指定采集目标、采集器以及其他采集条件。数据采集平台有多种采集器，可以根据需求指定采集器，同时可以指定运行的采集器实例个数、其他采集条件，比如可以基于某种协议的数据采集，可以是某个网段或者特定网口的数据采集等。
流量采集场景的自定义包括采集目标、采集器、采集条件的自定义。
采集目标，为定义被采集对象，可以是生产环境的节点；
采集器，为1～n个采集节点组成的采集器集群，包含集群名称、服务节点、地址、端口等；
采集条件，可以为全量采集所有流量，也可以根据端口、某起始IP地址等条件进行采集。
步骤S1中，一个完整的采集流程，包含采集、筛选、脱敏、标签、格式化、入库等流程。
流量采集的流程具体包括以下步骤：
采集，由数据采集平台中的采集器模块完成，根据时间、目标节点对象进行采集数据；
脱敏，由数据采集平台中的脱敏模块完成，涉及敏感信息时间，入库前进行脱敏处理；
标签，由数据采集平台中的标签模块完成，添加流量特征标签，便于流量回放；
格式化，根据目标对象所在业务系统中类型，按照特定格式存储数据；
入库，由数据采集平台中的入库模块完成，通过简单对象存储协议将入库流量数据传输至分布式文件系统。
S2、流量回放：多节点并发协作工作，对流量回放过程进行自定义。
步骤S2中，对流量回放过程进行自定义包括以下步骤：
S21、根据流量回放输入条件，预制流量回放初始化条件。
流量回放输入条件，比如特定的时间或者特定的IP区间等。
流量回放初始化条件，比如可以将特定条件再次筛选并重写，比如数据中特定Vlan的数据修改为指定的Vlan。
流量回放初始化条件包括回放集群节点数、回放目标网络和其他回放输入条件，以去掉对生产环境的污染，以排除对生产环境的干扰。
回放输入条件是给回放目标网络定义配置intercepter节点，拦截应答流量。
S22、根据流量回放输入条件，从数据库中，将元数据拉取载入MQ集群。
S23、根据MQ集群中回放元数据，从简单对象存储协议中载入流量数据，并分发到目标网络回放。
S3、容量分析：对目标网络产生压力流量完成后，结合运维监控平台，获得目标节点磁盘IO、网络IO、CPU、内存相关的资源使用数据，进行分析，找出被测节点瓶颈。
本发明在保障生产环境线上运营安全、可靠的情况下，反应出真实的流量对系统的冲击，并进行分析。同时通过动态的调整测试场景，提高测试效率。并且要做到线上动态调整回放量，增加对被测试系统的压力，根据系统运维监控系统、日志系统和链路监控系统实时数据，准确找出系统吞吐瓶颈和处理极限。

Claims (6)

1.基于流量回放的系统测试方法，其特征在于，包括以下步骤：
S1、流量采集：基于数据采集平台，多节点并发协作工作，自定义流量采集场景；流量采集场景的自定义包括采集目标、采集器、采集条件的自定义；
S2、流量回放：多节点并发协作工作，对流量回放过程进行自定义；
S3、容量分析：对目标网络产生压力流量完成后，结合运维监控平台，获得目标节点的资源使用数据，进行分析，找出被测节点瓶颈。
2.根据权利要求1所述的基于流量回放的系统测试方法，其特征在于，所述步骤S1中，采集目标，为定义被采集对象；
采集器，为1～n个采集节点组成的采集器集群；
采集条件，为全量采集所有流量，或根据端口、起始IP地址进行采集。
3.根据权利要求1所述的基于流量回放的系统测试方法，其特征在于，所述步骤S1中，流量采集的流程具体包括以下步骤：
采集，由数据采集平台中的采集器模块完成，根据时间、目标节点对象进行采集数据；
脱敏，由数据采集平台中的脱敏模块完成，涉及敏感信息时间，入库前进行脱敏处理；
标签，由数据采集平台中的标签模块完成，添加流量特征标签，便于流量回放；
格式化，根据目标对象所在业务系统中类型，按照特定格式存储数据；
入库，由数据采集平台中的入库模块完成，通过简单对象存储协议将入库流量数据传输至分布式文件系统。
4.根据权利要求1所述的基于流量回放的系统测试方法，其特征在于，所述步骤S2中，对流量回放过程进行自定义包括以下步骤：
S21、根据流量回放输入条件，预制流量回放初始化条件；
S22、根据流量回放输入条件，从数据库中，将元数据拉取载入MQ集群；
S23、根据MQ集群中回放元数据，从简单对象存储协议中载入流量数据，并分发到目标网络回放。
5.根据权利要求4所述的基于流量回放的系统测试方法，其特征在于，所述流量回放初始化条件包括回放集群节点数、回放目标网络和回放输入条件。
6.根据权利要求5所述的基于流量回放的系统测试方法，其特征在于，所述回放输入条件是给回放目标网络定义配置intercepter节点，拦截应答流量。
CN202011244618.4A 2020-11-10 2020-11-10 基于流量回放的系统测试方法 Active CN112187589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011244618.4A CN112187589B (zh) 2020-11-10 2020-11-10 基于流量回放的系统测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011244618.4A CN112187589B (zh) 2020-11-10 2020-11-10 基于流量回放的系统测试方法

Publications (2)

Publication Number Publication Date
CN112187589A true CN112187589A (zh) 2021-01-05
CN112187589B CN112187589B (zh) 2022-08-12

Family

ID=73916960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011244618.4A Active CN112187589B (zh) 2020-11-10 2020-11-10 基于流量回放的系统测试方法

Country Status (1)

Country Link
CN (1) CN112187589B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595829A (zh) * 2021-07-30 2021-11-02 北京达佳互联信息技术有限公司 压力测试方法、装置、电子设备及存储介质
US20220100878A1 (en) * 2020-09-25 2022-03-31 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
CN115396346A (zh) * 2022-08-30 2022-11-25 北京知道创宇信息技术股份有限公司 仿真压力测试方法、装置、系统和电子设备
CN117176623A (zh) * 2023-11-02 2023-12-05 蒲惠智造科技股份有限公司 基于流量回放的压力测试方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051964A (zh) * 2007-05-21 2007-10-10 杭州华三通信技术有限公司 流量数据采集方法和系统以及设备
KR20110112495A (ko) * 2010-04-07 2011-10-13 주식회사 인아웃정보기술 의료용 자료의 의료분석 시스템
US20160295298A1 (en) * 2013-11-20 2016-10-06 Samsung Electronics Co., Ltd. Congestion mitigation method and apparatus considering optimization of user satisfaction of video traffic in mobile network
CN108490460A (zh) * 2018-02-28 2018-09-04 上海交通大学 基于卫星导航中频数据库的自动化测试方法
CN111625452A (zh) * 2020-05-22 2020-09-04 上海哔哩哔哩科技有限公司 流量回放方法和系统
CN111770002A (zh) * 2020-06-12 2020-10-13 南京领行科技股份有限公司 测试数据转发控制方法、装置、可读存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101051964A (zh) * 2007-05-21 2007-10-10 杭州华三通信技术有限公司 流量数据采集方法和系统以及设备
KR20110112495A (ko) * 2010-04-07 2011-10-13 주식회사 인아웃정보기술 의료용 자료의 의료분석 시스템
US20160295298A1 (en) * 2013-11-20 2016-10-06 Samsung Electronics Co., Ltd. Congestion mitigation method and apparatus considering optimization of user satisfaction of video traffic in mobile network
CN108490460A (zh) * 2018-02-28 2018-09-04 上海交通大学 基于卫星导航中频数据库的自动化测试方法
CN111625452A (zh) * 2020-05-22 2020-09-04 上海哔哩哔哩科技有限公司 流量回放方法和系统
CN111770002A (zh) * 2020-06-12 2020-10-13 南京领行科技股份有限公司 测试数据转发控制方法、装置、可读存储介质和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220100878A1 (en) * 2020-09-25 2022-03-31 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
US11928228B2 (en) * 2020-09-25 2024-03-12 EMC IP Holding Company LLC Facilitating an object protocol based access of data within a multiprotocol environment
CN113595829A (zh) * 2021-07-30 2021-11-02 北京达佳互联信息技术有限公司 压力测试方法、装置、电子设备及存储介质
CN115396346A (zh) * 2022-08-30 2022-11-25 北京知道创宇信息技术股份有限公司 仿真压力测试方法、装置、系统和电子设备
CN117176623A (zh) * 2023-11-02 2023-12-05 蒲惠智造科技股份有限公司 基于流量回放的压力测试方法和系统
CN117176623B (zh) * 2023-11-02 2024-02-13 蒲惠智造科技股份有限公司 基于流量回放的压力测试方法和系统

Also Published As

Publication number Publication date
CN112187589B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN112187589B (zh) 基于流量回放的系统测试方法
CN112612675B (zh) 微服务架构下的分布式大数据日志链路跟踪方法及系统
CN109756364B (zh) 一种基于日志分析的微服务性能优化系统和分析方法
CN101093462B (zh) 数据库应用集群压力测试自动化方法
CN111274095B (zh) 日志数据处理方法、装置、设备及计算机可读存储介质
KR102125219B1 (ko) 데이터 처리 방법, 장치, 시스템, 프로그램 및 컴퓨터 판독가능한 기록매체
CN108521339B (zh) 一种基于集群日志的反馈式节点故障处理方法及系统
CN111077870A (zh) 一种基于流计算的opc数据实时采集监控智能系统及方法
CN110309130A (zh) 一种用于主机性能监控的方法及装置
CN107066370A (zh) 一种自动监控并收集故障硬盘日志的工具及方法
CN105207806A (zh) 分布式服务的监控方法及装置
CN108984332A (zh) 一种定位服务器宕机故障的装置及方法
CN106850321A (zh) 一种集群服务器的模拟测试系统
CN108632111A (zh) 一种基于日志的服务链路监控方法
CN113946499A (zh) 一种微服务链路跟踪及性能分析方法、系统、设备及应用
CN107229566B (zh) 用于soa服务转换语言保持功能一致性的方法及系统
CN104104734A (zh) 日志分析方法和装置
CN113704077A (zh) 测试用例生成方法及装置
CN112579552A (zh) 日志存储及调用方法、装置及系统
CN112672298A (zh) 一种基于分布式边缘网络结构的农业数据采集系统及其方法
CN112068979A (zh) 一种业务故障确定方法及装置
CN116541717A (zh) 一种基于云计算和深度学习的大数据分析方法
CN111343047A (zh) 一种监控ib网络流量的方法及系统
CN116566873A (zh) 一种基于elk的自动化日志分析方法、系统及存储介质
CN114387124B (zh) 一种核电工业互联网平台的时序数据存储方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant