CN114531345B - 流量比对结果存储方法、装置、设备及存储介质 - Google Patents

流量比对结果存储方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114531345B
CN114531345B CN202011231658.5A CN202011231658A CN114531345B CN 114531345 B CN114531345 B CN 114531345B CN 202011231658 A CN202011231658 A CN 202011231658A CN 114531345 B CN114531345 B CN 114531345B
Authority
CN
China
Prior art keywords
flow
target
information
comparison result
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011231658.5A
Other languages
English (en)
Other versions
CN114531345A (zh
Inventor
葛庆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingyin Information Technology Shanghai Co ltd
Original Assignee
Xingyin Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingyin Information Technology Shanghai Co ltd filed Critical Xingyin Information Technology Shanghai Co ltd
Priority to CN202011231658.5A priority Critical patent/CN114531345B/zh
Publication of CN114531345A publication Critical patent/CN114531345A/zh
Application granted granted Critical
Publication of CN114531345B publication Critical patent/CN114531345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/022Capturing of monitoring data by sampling
    • H04L43/024Capturing of monitoring data by sampling by adaptive sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开了一种流量比对结果存储方法、装置、设备及存储介质。该方法包括:获取目标应用的配置信息;在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。本发明实施例的技术方案,实现了对实时回放中的异常流量进行存储,便于在线上服务出现事故时可更好的比对复现事故原因,增强了存储的流量比对结果的针对性,并提高了存储空间的利用率。

Description

流量比对结果存储方法、装置、设备及存储介质
技术领域
本发明实施例涉及网络测试技术领域,尤其涉及一种流量比对结果存储方法、装置、设备及存储介质。
背景技术
随着互联网行业的业务发展速度不断加快,业务规模不断扩大,系统设计也日趋复杂。人们往往通过更多的自动化回归脚本和人工编写的脚本来满足业务系统针对鲁棒性、兼容性、测试覆盖率以及时效性的要求。
但由于随着行业内项目的研发时间日益减缩,自动化脚本常来不及对系统进行维护,自动化回归脚本的正确性和实效性很难得到保证。在业务进行重构、数据迁移或基础组建升级时,其对业务场景所造成的影响范围难以评估,导致测试工作难以展开,即使进行测试亦无法构建线上真实数据场景,测试效果不佳,同时在线上服务出现事故时,难以及时在本地对事故进行复现以确定事故原因。
为了满足现有互联网业务对全面、系统测试的需求,常采用流量回放技术对业务流量执行测试,但目前存储的流量比对结果常为录制流量以及与录制流量对应的比对结果,缺乏针对性且会占用较大的存储空间。
发明内容
本发明提供一种流量比对方法、装置、设备及存储介质,以使进行回放比对的实时流量中的异常流量可以被存储,增强了存储的流量比对结果的针对性。
第一方面,本发明实施例提供了一种流量比对结果存储方法,包括:
获取目标应用的配置信息;
在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;
将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;
接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。
第二方面,本发明实施例还提供了一种流量比对结果存储装置,该流量比对结果存储装置包括:
配置信息获取模块,用于获取目标应用的配置信息;
目标流量确定模块,用于在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;
目标流量回放模块,用于将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;
比对结果存储模块,用于接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。
第三方面,本发明实施例还提供了一种设备,设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本发明任意实施例提供的流量比对结果存储方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例提供的流量比对结果存储方法。
本发明实施例通过获取目标应用的配置信息;在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。通过采用上述技术方案,根据目标应用类型的不同,为其配置对应的配置信息,在需要对目标应用执行流量回放比对时生成触发信息,使得目标应用在接收到触发信息时可实时采集流量,并通过对应的配置信息对采集流量进行配置得到需要进行回放的目标流量,根据配置信息将目标流量发送至对应的至少两个目标服务中进行回放并得到对应的响应信息,根据响应信息确定比对结果并根据比对结果对目标流量中的异常流量进行存储,解决了现有技术中针对流量比对结果无法进行针对性存储的问题,使得无需进行流量录制即可针对实时回放中的异常流量进行存储,便于在线上服务出现事故时可更好的比对复现事故原因,增强了存储的流量比对结果的针对性,并提高了存储空间的利用率。
附图说明
图1是本发明实施例一中的一种流量比对结果存储方法的流程图;
图2是本发明实施例二中的一种流量比对结果存储方法的流程图;
图3是本发明实施例三中的一种流量比对结果存储装置的结构示意图;
图4是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以互相组合。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种流量比对结果存储方法的流程图,本实施例可适用于对超文本传输协议下的业务所生成的业务流量进行实时回放,对回放比对结果进行针对性存储的情况,该方法可以由流量比对结果存储装置来执行,该流量比对结果存储装置可以由软件和/或硬件来实现,该流量比对结果存储装置可以配置在计算设备上,具体包括如下步骤:
S101、获取目标应用的配置信息。
在本实施例中,目标应用可理解为用户确定的需要进行流量采集以及回放比对的应用,可选的,目标应用可为安装于用户终端的,为满足用户在不同领域、不同问题的需求而提供的应用软件,上述用户终端既可为移动终端,也可为固定终端,即目标应用可为安装于如手机、平板电脑上的应用程序(Application,APP),也可为安装于台式电脑等固定终端中的应用程序。示例性的,以手机中的应用程序为例,目标应用可为小红书、京东、淘宝等常用APP。
在本实施例中,配置信息可理解为用以明确目标应用中所需进行回放的目标流量,以及明确目标流量应以怎样的方式在何处进行回放的存储于内存中的参数信息数据。可选的,配置信息可由用户进行填写设定,也可由系统直接生成,本发明实施例对此不进行限制。进一步地,目标应用所对应的配置信息可为一套或多套,可通过配置名称进行区分。
具体的,根据需求选择需要进行流量回放与流量比对测试的目标应用,当目标应用对应的配置信息为多套时,根据配置名称选择当次需要的配置信息作为目标应用的配置信息,并获取配置信息中的各项参数信息。
S102、在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量。
其中,目标流量为超文本传输协议下的流量。
在本实施例中,超文本传输协议(Hypertext Transport Protocol,HTTP)可理解为一种简单的请求-响应协议,通常运行于传输控制协议(Transmission ControlProtocol,TCP)上,其指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应,且允许将超文本标记语言(Hyper Text Markup Language,HTML)文档从Web服务器传送到Web浏览器。由于其中请求与响应消息的头均已ASCII码的形式给出,超文本传输协议具有可读性好,且可以得到防火墙以及跨语言的支持的优势而被广泛应用于网络应用中。
具体的,当接收到触发信息时,可认为用户希望针对当前时刻的目标应用进行流量回放操作,此时通过流量采集工具实时获取目标应用的采集流量,并根据配置信息对采集流量进行筛选过滤以及必要的配置,得到符合配置信息的,携带有配置信息中部分配置参数的目标应用的目标流量。
本发明实施例中,在接收到触发信息时对目标应用的流量进行实时采集,得到目标应用的采集流量,并针对采集流量直接进行配置得到目标应用的目标流量,可实时对采集到的流量进行配置处理,避免了对全部流量进行录制所造成的存储空间浪费,同时使得获取的流量可以进行实时回放,增强了测试的时效性。
S103、将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息。
在本实施例中,目标服务可理解为根据配置信息确定的,与目标应用相对应的,可在其中进行流量回放的服务器,具体的,可将目标流量发送至目标服务中进行流量回放。流量回放可理解为将采集到的流量发送至测试环境的目标服务中,在目标服务中重新执行采集到的流量中的各项请求并得到响应结果的一种测试方法。
具体的,根据配置信息确定与目标应用对应的对流量进行回放的至少两个目标服务,将按照配置信息进行配置的目标流量依据配置信息中包含的用以控制流量发送的参数信息,将上述目标流量分别发送至对应的至少两个目标服务中,目标服务在接收到目标流量后,按照其中携带的配置信息对目标流量进行回放,生成对应的响应信息。
本发明实施例中,通过配置信息将目标流量发送至对应至少两个目标服务中进行流量回放,避免了仅通过一个目标服务进行回放时由于目标服务故障导致的误差,对至少两个目标服务进行流量回放所生成的响应信息进行比对,提高了测试结果的准确性。
S104、接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。
在本实施例中,异常流量可理解为各响应信息中不同部分在目标流量中对应的部分流量,其可为复现事故提供依据。
具体的,接收由各目标服务反馈的目标流量回放所对应的响应信息,将各响应信息两两之间进行比较得到各响应信息间的差别,根据各差别确定对应于目标流量的比对结果,并将各差别在目标流量中对应的部分流量确定为异常流量,对确定出的异常流量进行存储。
本实施例的技术方案,通过获取目标应用的配置信息;在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。通过采用上述技术方案,根据目标应用类型的不同,为其配置对应的配置信息,在需要对目标应用执行流量回放比对时生成触发信息,使得目标应用在接收到触发信息时可实时采集流量,并通过对应的配置信息对采集流量进行配置得到需要进行回放的目标流量,根据配置信息将目标流量发送至对应的至少两个目标服务中进行回放并得到对应的响应信息,根据响应信息确定比对结果并根据比对结果对目标流量中的异常流量进行存储,解决了现有技术中针对流量比对结果无法进行针对性存储的问题,使得无需进行流量录制即可针对实时回放中的异常流量进行存储,便于在线上服务出现事故时可更好的比对复现事故原因,增强了存储的流量比对结果的针对性,并提高了存储空间的利用率。
实施例二
图2为本发明实施例二提供的一种流量比对方法的流程图,本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化,通过明确目标应用中数据流量的采集,以及通过配置信息对目标流量的配置,进而明确了对目标流量进行回放比对所需执行的具体操作,以及对存储的异常流量还可执行何种操作,使得实时进行流量回放中的异常流量可以被针对性存储,在需要进行数据维护、事故复现等情况下可通过针对性存储的流量进行场景复现。具体包括如下步骤:
S201、获取目标应用的匹配密钥、放大倍数、回放时长、每秒查询率上限值、回放类型、白名单配置、请求头配置、请求参数配置、响应配置和服务域名配置。
在本实施例中,匹配密钥可理解为用以与目标应用的采集流量进行匹配的字段,以确定采集流量中需要采用匹配密钥对应的配置信息进行配置的流量;放大倍数可理解为用以确定将采集到的目标流量放大几倍进行回放,即目标流量的回放次数,用以确定在向目标服务发送目标流量时共发送几次;回放时长可理解为设定的由开始执行目标流量获取到流量回放结束所需的任务时长;每秒查询率(Queries-per-second,QPS)上限值可理解为一个特定的查询服务器在规定时间内处理流量多少的衡量标准,在本申请中可理解为向目标服务发送目标流量的最大发送速度;回放类型可理解为希望对目标流量进行的操作类型,示例性的,可包括开启结果对比、流量录制等;白名单配置可理解为根据需要进行回放的功能确定的配置信息,具体的,应用中不同功能对应着不同的接口,白名单配置可针对需要进行流量回放的功能进行配置,使得仅需要进行流量回放的功能对应的接口可通过;请求头配置可理解为用以配置在目标流量的请求头中,以使得获取该目标流量的目标服务可基于请求头进行逻辑判断走不通的业务逻辑的请求头;请求参数配置可理解为用以配置在目标流量的请求参数中,以使得获取该目标流量的目标服务可基于请求参数进行逻辑判断走不通的业务逻辑的请求参数;响应配置可理解为用以确定接收到的响应信息中需要进行比对字段的配置参数,可选的,响应配置可包括噪声过滤配置和/或响应比对配置;服务域名配置可理解为用以动态获取服务实例的获取服务域名地址的参数,具体用于确定目标流量进行流量回放的服务。
S202、在接收到触发信息时获取目标应用的采集流量。
具体的,在接收到触发信息时,从接收到触发信息的时刻开始通过流量采集工具对目标应用进行流量采集,得到目标应用的采集流量。可选的,接收到的触发信息可为用户在界面点选输入的触发信息,也可为根据预先设置时间或周期定时发送的触发信息,本发明实施例对此不进行限制。
进一步地,获取目标应用的采集流量的方式可包括以下任意一种:
通过脚本采集目标应用的流量并对流量进行标识,将包含标识信息的流量确定为目标应用的采集流量;或者
通过流量捕获工具采集目标应用的流量并对流量进行标识,将包含标识信息的流量确定为目标应用的采集流量。
其中,采集流量中的标识信息与目标应用的配置信息中的匹配密钥对应。
进一步地,通过流量捕获工具采集目标应用的流量并对流量进行标识,还包括:
在服务器上执行流量捕获命令采集目标应用的流量并对流量进行标识,或者,将流量捕获工具继承制具体目标应用的服务配置中,在目标应用执行时流量捕获工具持续对目标应用的流量进行采集,并对流量进行标识。
可选的,本发明实施例中流量捕获命令和流量捕获工具可为Goreplay,其为一种可以将实时HTTP流量捕获并重放到测试环境的开源网络监测工具,当然,也可采用如TCPcopy等其他可用于实时捕获在线流量并将流量导入测试系统的工具,本发明实施例对此不进行限制。
S203、根据请求头配置和请求参数配置对满足白名单配置的采集流量进行配置,将配置后的采集流量确定为目标应用的目标流量。
具体的,首先确定采集流量中包含的功能信息,根据白名单配置确定采集流量中满足白名单配置的功能所对应的流量,并根据请求头配置与请求参数配置在确定出的流量的请求头与请求参数中进行对应参数的添加得到目标应用的目标流量,使得配置后的目标流量的请求头与请求参数中携带有请求头配置和请求参数配置中的预设请求头和预设请求参数,以使得目标流量在发送至目标服务时目标服务仅对目标流量进行回放而不执行目标流量中包含的请求。
S204、判断回放类型是否是流量录制,若是,则执行步骤S205;若否,则执行步骤S207。
具体的,根据配置信息中的回放类型确定目标流量对应的回访类型是否为流量录制,若是,则认为需要对配置后的目标流量进行流量录制,使其声称录制流量进行保存,并具体执行步骤S205;若否,则认为无需对配置后的目标流量进行录制,可直接根据配置信息将其发送至对应的目标服务中进行回放,进而执行步骤S207。
S205、获取录制个数信息。
具体的,当确定配置后的目标流量需要进行流量录制时,获取流量录制配置中的录制个数信息,以确定需要进行录制的流量个数。
S206、根据放大倍数、录制个数信息以及每秒查询率上限值对目标流量进行录制,得到包含录制接口信息的录制流量。
具体的,根据放大倍数、录制个数信息以及每秒查询率上限值对配置后的目标流量进行录制,该录制过程中录制速度不大于每秒查询率上限值,按照放大倍数确定同一流量的传输次数,根据录制个数信息确定录制的流量个数并最终得到包含录制接口信息的录制流量。
进一步地,按照配置信息执行流量录制,每次录制后均会生成一个流量录制集,录制详情中包括录制的接口,且可以对录制的接口进行编辑操作,所录制的流量为可供直接阅读和编写的对象简谱格式。进而,可针对录制的流量进行回放操作,录制流量中仍包含配置信息中的回放时长、每秒查询率上限值、请求头配置、请求参数配置、响应配置和服务域名配置等信息,在进行录制流量的回放时,可根据其中所包含的配置信息确定其应发送至的目标服务,以及发送过程及回放过程中的配置参数,进而实现录制流量的回放,并可得到目标服务所生成的响应信息,进而可根据响应信息对录制流量进行流量比对。
S207、根据服务域名配置确定目标应用对应的至少两个目标服务。
具体的,根据配置信息中的服务域名配置动态获取至少两个服务实例的服务域名地址,进而确定与目标应用对应的至少两个目标服务。
S208、将目标流量按照放大倍数和每秒查询率上限值分别发送至至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息。
具体的,将目标流量以不大于每秒查询率上限值的传输速度,发送放大倍数次至根据服务域名配置确定出的至少两个目标服务中,使得各目标服务对目标流量执行流量回放操作,并生成对应的响应信息。
S209、接收至少两个目标服务生成的至少两个响应信息。
S210、根据响应配置对至少两个响应信息进行比对得到比对结果。
本实施例中,响应配置可包括噪声过滤配置和响应比对配置中的任意一种,其中,噪声过滤配置可理解为用于根据设置的噪声字段对响应信息中的噪声字段进行主动排除,并将排除噪声字段后的响应信息作为需要比对的响应信息;响应比对配置可理解为用于在接口调整导致响应结构发生变更时,为需要进行比对的响应信息提供具有对应关系的jsonpath的配置方法,其可从响应信息中提取出需要进行比对的响应信息。
具体的,通过噪声过滤配置或响应比对配置确定至少两个响应信息中需要进行比对的响应信息,并对需要比对的响应信息进行比对,得到对应的比对结果。
S211、将比对结果中未成功匹配部分对应的目标流量确定为异常流量,并将异常流量进行存储。
具体的,由于比对结果是针对响应信息中异同进行显示的结果,其中包含了响应信息中成功匹配的部分和未成功匹配的部分,而未成功匹配的部分则可认为该部分对应的目标流量在执行过程中可能出现事故,因此将比对结果中未成功匹配部分对应的目标流量确定为异常流量,并将确定出的异常流量进行存储以便后续针对异常流量再次执行的回放操作。
进一步地,由于在实时流量回放过程中,若不进行流量录制,则仅会在实时获取流量的时候针对获取的流量进行一次回放,得到比对结果后并不对回放的流量进行存储,则用户仅能从比对结果中得到对应目标业务的目标流量出现事故的结论,而无法在本地针对事故进行复现以确定事故原因,本发明实施例中通过对异常流量进行存储,则可在不进行流量录制的情况下对发生事故部分的异常流量进行存储,进而可通过异常流量实现对事故的复现,便于事故原因的确定。
进一步地,在根据比对结果对异常流量进行存储之后,还包括:
将异常流量发送至对应的至少两个目标服务中,以使目标服务对异常流量进行回放并生成异常响应信息;接收目标服务的异常响应信息,并根据异常响应信息对比对结果进行验证。
具体的,在存储的异常流量中也包括配置信息中的放大倍数、每秒查询率上限值和服务域名配置等信息。进而可将异常流量以不大于每秒查询率上限值的传输速度,发送放大倍数次至根据服务域名配置确定出的至少两个目标服务中,使得各目标服务对异常流量执行回放操作,并生成异常响应信息。根据接收到各目标服务反馈的各异常响应信息,通过获取的异常响应信息可对原有比对结果进行验证,也可通过该异常响应信息实现对事故的复现。
本实施例的技术方案,通过在接收到触发信息时通过预设脚本或流量捕获工具对目标应用的流量进行采集与标识,并根据获取的目标应用的匹配密钥、放大倍数、回放时长、每秒查询率上限值、回放类型、白名单配置、请求头配置、请求参数配置、响应配置和服务域名配置,对采集流量进行配置得到需要进行流量回放的目标流量,将其发送至根据服务域名配置确定的目标服务中进行流量回放,并根据目标服务反馈的响应信息确定出目标流量的比对结果,进而根据比对结果将目标流量中的异常流量进行存储,使得在进行实时流量回放时可在不对全部回放流量进行录制的情况下,对回放流量中的异常流量进行针对性的存储,使得在线上服务出现事故时可更好对上述通讯协议下的应用复现事故原因,在需要进行数据维护、数据场景构建和事故复现等情况下课获得准确的测试结果。
实施例三
图3为本发明实施例三提供的一种流量比对结果存储装置的结构示意图,该流量比对装置包括:配置信息获取模块31,目标流量确定模块32,目标流量回放模块33和比对结果存储模块34。
其中,配置信息获取模块31,用于获取目标应用的配置信息;目标流量确定模块32,用于在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;目标流量回放模块33,用于将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;比对结果存储模块34,用于接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。
本实施例的技术方案,解决了现有技术中针对流量比对结果无法进行针对性存储的问题,使得无需进行流量录制即可针对实时回放中的异常流量进行存储,便于在线上服务出现事故时可更好的比对复现事故原因,增强了存储的流量比对结果的针对性,并提高了存储空间的利用率。
可选的,流量比对装置还包括:
异常流量比对模块,用于将异常流量发送至对应的至少两个目标服务中,以使目标服务对异常流量进行回放并生成异常响应信息;接收目标服务的异常响应信息,并根据异常响应信息对比对结果进行验证。
可选的,配置信息获取模块31,具体用于:获取目标应用的匹配密钥、放大倍数、回放时长、每秒查询率上限值、回放类型、白名单配置、请求头配置、请求参数配置、响应配置和服务域名配置。
可选的,目标流量确定模块32,包括:
采集流量获取单元,用于通过预设脚本采集目标应用的流量并对流量进行标识,将包含标识信息的流量确定为目标应用的采集流量;或者通过流量捕获工具采集目标应用的流量并对流量进行标识,将包含标识信息的流量确定为目标应用的采集流量;其中,标识信息与目标应用的配置信息中的匹配密钥对应。
目标流量确定单元,用于根据请求头配置和请求参数配置对满足白名单配置的采集流量进行配置,将配置后的采集流量确定为目标应用的目标流量。
可选的,目标流量回放模块33,具体用于:当回放类型不是流量录制时,根据服务域名配置确定目标应用对应的至少两个目标服务;将目标流量按照放大倍数和每秒查询率上限值分别发送至至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息。
进一步地,当回放类型是流量录制时,获取录制个数信息;根据放大倍数、录制个数信息以及每秒查询率上限值对目标流量进行录制,得到包含录制接口信息的录制流量。
可选的,比对结果存储模块34,具体用于:接收至少两个目标服务生成的至少两个响应信息;根据响应配置对至少两个响应信息进行比对得到比对结果;将比对结果中未成功匹配部分对应的目标流量确定为异常流量,并将异常流量进行存储。
本发明实施例提供的流量比对结果存储装置可执行本发明任意实施例所提供的流量比对结果存储方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种设备的结构示意图,如图4所示,该设备包括处理器41、存储装置42、输入装置43和输出装置44;设备中处理器41的数量可以是一个或多个,图4中以一个处理器41为例;设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储装置42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的流量比对结果存储方法对应的程序指令/模块(例如,配置信息获取模块31,目标流量确定模块32,目标流量回放模块33和比对结果存储模块34)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的流量比对结果存储方法。
存储装置42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种流量比对结果存储方法,该方法包括:
获取目标应用的配置信息;
在接收到触发信息时获取目标应用的采集流量,并根据配置信息对采集流量进行配置,得到目标应用的目标流量;其中,目标流量为超文本传输协议下的流量;
将目标流量发送至对应的至少两个目标服务中,以使目标服务对目标流量进行回放并生成响应信息;
接收目标服务的响应信息,将响应信息进行比对得到比对结果,并根据比对结果对异常流量进行存储。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的流量比对结果存储方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种流量比对结果存储方法,其特征在于,包括:
获取目标应用的配置信息;
在接收到触发信息时获取所述目标应用的采集流量,并根据所述配置信息对所述采集流量进行配置,得到所述目标应用的目标流量;其中,所述目标流量为超文本传输协议下的流量;
将所述目标流量发送至对应的至少两个目标服务中,以使所述目标服务对所述目标流量进行回放并生成响应信息;
接收所述目标服务的响应信息,将所述响应信息进行比对得到比对结果,并根据所述比对结果对异常流量进行存储;
将所述异常流量发送至所述对应的至少两个目标服务中,以使所述目标服务对所述异常流量进行回放并生成异常响应信息;
接收所述目标服务的异常响应信息,并根据所述异常响应信息对所述比对结果进行验证。
2.根据权利要求1所述的方法,其特征在于,所述获取目标应用的配置信息,包括:
获取所述目标应用的匹配密钥、放大倍数、回放时长、每秒查询率上限值、回放类型、白名单配置、请求头配置、请求参数配置、响应配置和服务域名配置。
3.根据权利要求2所述的方法,其特征在于,所述获取所述目标应用的采集流量,包括:
通过预设脚本采集所述目标应用的流量并对所述流量进行标识,将包含标识信息的流量确定为所述目标应用的采集流量;或者
通过流量捕获工具采集所述目标应用的流量并对所述流量进行标识,将包含标识信息的流量确定为所述目标应用的采集流量;
其中,所述标识信息与所述目标应用的配置信息中的匹配密钥对应。
4.根据权利要求2所述的方法,其特征在于,所述根据所述配置信息对所述采集流量进行配置,得到所述目标应用的目标流量,包括:
根据所述请求头配置和所述请求参数配置对满足所述白名单配置的采集流量进行配置,将配置后的采集流量确定为所述目标应用的目标流量。
5.根据权利要求2所述的方法,其特征在于,所述将所述目标流量发送至对应的至少两个目标服务中,以使所述目标服务对所述目标流量进行回放并生成响应信息,包括:
当所述回放类型不是流量录制时,根据所述服务域名配置确定所述目标应用对应的至少两个目标服务;
将所述目标流量按照所述放大倍数和所述每秒查询率上限值分别发送至所述至少两个目标服务中,以使所述目标服务对所述目标流量进行回放并生成响应信息。
6.根据权利要求2所述的方法,其特征在于,所述在接收到触发信息时获取所述目标应用的流量,并根据所述配置信息对所述流量进行配置,得到所述目标应用的目标流量之后,还包括:
当所述回放类型是流量录制时,获取录制个数信息;
根据所述放大倍数、所述录制个数信息以及所述每秒查询率上限值对所述目标流量进行录制,得到包含录制接口信息的录制流量。
7.根据权利要求2所述的方法,其特征在于,所述接收所述目标服务的响应信息,将所述响应信息进行比对得到比对结果,并根据所述比对结果对异常流量进行存储,包括:
接收所述至少两个目标服务生成的至少两个响应信息;
根据所述响应配置对所述至少两个响应信息进行比对得到比对结果;
将所述比对结果中未成功匹配部分对应的目标流量确定为异常流量,并将所述异常流量进行存储。
8.一种流量比对结果存储装置,其特征在于,包括:
配置信息获取模块,用于获取目标应用的配置信息;
目标流量确定模块,用于在接收到触发信息时获取所述目标应用的采集流量,并根据所述配置信息对所述采集流量进行配置,得到所述目标应用的目标流量;其中,所述目标流量为超文本传输协议下的流量;
目标流量回放模块,用于将所述目标流量发送至对应的至少两个目标服务中,以使所述目标服务对所述目标流量进行回放并生成响应信息;
比对结果存储模块,用于接收所述目标服务的响应信息,将所述响应信息进行比对得到比对结果,并根据所述比对结果对异常流量进行存储;
异常流量比对模块,用于将所述异常流量发送至所述对应的至少两个目标服务中,以使所述目标服务对所述异常流量进行回放并生成异常响应信息;接收所述目标服务的异常响应信息,并根据所述异常响应信息对所述比对结果进行验证。
9.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的流量比对结果存储方法。
10.一种包括计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的流量比对结果存储方法。
CN202011231658.5A 2020-11-06 2020-11-06 流量比对结果存储方法、装置、设备及存储介质 Active CN114531345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011231658.5A CN114531345B (zh) 2020-11-06 2020-11-06 流量比对结果存储方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231658.5A CN114531345B (zh) 2020-11-06 2020-11-06 流量比对结果存储方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114531345A CN114531345A (zh) 2022-05-24
CN114531345B true CN114531345B (zh) 2023-08-18

Family

ID=81619512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231658.5A Active CN114531345B (zh) 2020-11-06 2020-11-06 流量比对结果存储方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114531345B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866450A (zh) * 2022-06-15 2022-08-05 湖南快乐阳光互动娱乐传媒有限公司 一种数据处理方法及客户端设备
CN115987844A (zh) * 2022-12-28 2023-04-18 航天信息股份有限公司 探索性测试中的过程监控方法、系统、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804287A (zh) * 2018-05-31 2018-11-13 中国电子科技集团公司电子科学研究院 移动应用程序流量的自动获取方法、装置、系统及介质
CN109462621A (zh) * 2019-01-10 2019-03-12 国网浙江省电力有限公司杭州供电公司 网络安全保护方法、装置及电子设备
CN110457199A (zh) * 2018-05-08 2019-11-15 北京京东尚科信息技术有限公司 性能测试的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040225738A1 (en) * 2003-05-09 2004-11-11 Patel Dipak M. Methods, systems and computer program products for replicating servers and network traffic for problem determination and/or tuning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457199A (zh) * 2018-05-08 2019-11-15 北京京东尚科信息技术有限公司 性能测试的方法和装置
CN108804287A (zh) * 2018-05-31 2018-11-13 中国电子科技集团公司电子科学研究院 移动应用程序流量的自动获取方法、装置、系统及介质
CN109462621A (zh) * 2019-01-10 2019-03-12 国网浙江省电力有限公司杭州供电公司 网络安全保护方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络应用流量模拟技术;曹龙江;张勖;王锟;王东滨;吴可欣;张俊辉;;软件(02);全文 *

Also Published As

Publication number Publication date
CN114531345A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN111221743B (zh) 自动化测试方法及系统
EP1264261B1 (en) Monitoring operation of and interaction with services provided over a network
US20200357007A1 (en) Page data acquisition method, apparatus, server, electronic device and computer readable medium
CN110321154B (zh) 一种微服务的接口信息展示方法、装置及电子设备
CN108874268B (zh) 用户行为数据的采集方法及装置
CN114531345B (zh) 流量比对结果存储方法、装置、设备及存储介质
CN107085549B (zh) 故障信息生成的方法和装置
JP5560180B2 (ja) 稼働ログ収集方法および装置
GB2357680A (en) Monitoring of services provided over a network with determination of interactive content of web pages
CN110727572A (zh) 埋点数据处理方法、装置、设备及存储介质
CN114356785B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113742250B (zh) 接口自动测试方法及装置
CN106713011A (zh) 一种获取测试数据的方法与系统
CN113157559B (zh) 流量筛选方法及装置
CN112632419A (zh) 域名预解析配置方法、装置、计算机设备及存储介质
CN111475423A (zh) 数据录入方法、装置、电子设备及可读存储介质
US8429458B2 (en) Method and apparatus for system analysis
JP2006190033A (ja) 情報処理システム及び通信再生処理方法
CN115455059A (zh) 一种基于底层数据解析用户行为的方法、装置及相关介质
CN113407424A (zh) 用户终端应用程序的自动分析方法及分析系统
CN113392005A (zh) 大文件处理测试方法及系统
CN113760696A (zh) 一种程序问题定位方法、装置、电子设备和存储介质
CN114448825A (zh) 流量比对方法、装置、设备及存储介质
CN112988560A (zh) 测试系统健壮性的方法和装置
CN111858357B (zh) 一种性能测试监控方法、设备及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant