CN112491659B - 一种流量回放测试方法、装置、计算机设备和存储介质 - Google Patents
一种流量回放测试方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112491659B CN112491659B CN202011403394.7A CN202011403394A CN112491659B CN 112491659 B CN112491659 B CN 112491659B CN 202011403394 A CN202011403394 A CN 202011403394A CN 112491659 B CN112491659 B CN 112491659B
- Authority
- CN
- China
- Prior art keywords
- request message
- request
- format data
- recommendation
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Security & Cryptography (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种流量回放测试方法、装置、计算机设备和存储介质。方法包括:从目标服务的流量日志数据中解析出请求报文,当请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;接收针对目标服务的流量对比请求,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供目标服务的新版本服务器以及旧版本服务器;接收新版本服务器返回的第一响应报文及旧版本服务器返回的第二响应报文;对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象并比对,获得对比结果。本申请能够对使用ProtoBuf格式来传递数据的服务接口满足其测试需求。
Description
技术领域
本申请涉及软件测试技术领域,特别是涉及一种流量回放测试方法、装置、计算机设备和存储介质。
背景技术
测试是保障网络设备可靠性和稳定性的关键环节。流量回放方法是一种将真实网络流量存储记录并进行还原回放的网络测试方法,通过将捕获得到的真实网络流量还原回放到测试网络,可以再现实际的网络场景,达到考察被测系统在实际网络环境中的功能和性能的目的。
目前,大多服务接口是通过JSON格式来传递数据,并且需要利用JSON对比工具进行对比来实现回归测试,而对于使用ProtoBuf格式来传递数据的服务接口,现有的JSON对比工具无法满足测试需求。
发明内容
基于此,有必要针对上述技术问题,提供一种流量回放测试方法、装置、计算机设备和存储介质。
第一方面,提供了一种流量回放测试方法,所述方法包括:
从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对所述目标服务的流量对比请求,将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
进一步地,所述将所述请求报文序列化为ProtoBuf格式数据并存储至数据库之前,所述方法还包括:
获取所述目标服务对应的预设请求参数;
根据所述预设请求参数,对所述请求报文中的至少一项请求参数进行修改,得到修改后的请求报文;
将所述请求报文序列化为ProtoBuf格式数据并存储至数据库,包括:
将所述修改后的请求报文序列化为ProtoBuf格式数据进行存储至数据库。
进一步地,所述第一请求报文与所述第二请求报文的数量均为多个,所述将所述第一请求报文与所述第二请求报文分别发送至提供所述目标服务的新版本服务器以及旧版本服务器,包括:
采用多线程并发的方式将多个所述第一请求报文发送至所述新版本服务器以及将多个所述第二请求报文发送至所述旧版本服务器。
进一步地,所述目标服务用于业务推荐,所述第一响应对象包含第一推荐结果列表,所述第二响应对象包含第二推荐结果列表,所述比对所述第一响应对象和第二响应对象,获得对比结果,包括:
对所述第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对所述第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,所述第一分组与所述第二分组分别具有预设数量的推荐结果;
针对每一个所述第一分组,按照分组顺序对所述第一分组与对应的所述第二分组进行取交集,并将取交集结果分别与所述第一分组、所述第二分组进行差集计算,获得第一差异值以及第二差异值。
进一步地,所述方法还包括:
分别对所述第一差异值、所述第二差异值与预设误差阈值进行比较;
若比较结果指示所述第一差值或所述第二差值超过所述预设误差阈值,则生成告警信息,并输出所述告警信息。
第二方面,提供了一种流量回放测试装置,所述装置包括:
预处理模块,用于从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
第一接收模块,用于接收针对所述目标服务的流量对比请求;
封装模块,用于将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文;
发送模块,用于将所述第一请求报文与所述第二请求报文分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
第二接收模块,用于接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
对比模块,用于分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
进一步地,所述预处理模块还用于:
获取所述目标服务对应的预设请求参数;
根据所述预设请求参数,对所述请求报文中的至少一项请求参数进行修改,得到修改后的请求报文;
将所述修改后的请求报文序列化为ProtoBuf格式数据进行存储至数据库。
进一步地,所述发送模块具体用于:
采用多线程并发的方式将多个所述第一请求报文发送至所述新版本服务器以及将多个所述第二请求报文发送至所述旧版本服务器。
进一步地,所述目标服务用于业务推荐,所述第一响应对象包含第一推荐结果列表,所述对比模块具体用于:
对所述第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对所述第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,所述第一分组与所述第二分组分别具有预设数量的推荐结果;
针对每一个所述第一分组,按照分组顺序对所述第一分组与对应的所述第二分组进行取交集,并将取交集结果分别与所述第一分组、所述第二分组进行差集计算,获得第一差异值以及第二差异值。
进一步地,所述装置还包括:
告警模块,用于分别对所述第一差异值、所述第二差异值与预设误差阈值进行比较,若比较结果指示所述第一差值或所述第二差值超过所述预设误差阈值,则生成告警信息,并输出所述告警信息。
第三方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如下步骤:
从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对所述目标服务的流量对比请求,将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对所述目标服务的流量对比请求,将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
本发明提供的流量回放测试方法、装置、计算机设备和存储介质,当从目标服务的流量日志数据中解析出的请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;并在接收到针对目标服务的流量对比请求时,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供目标服务的新版本服务器以及旧版本服务器,以及接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文;最后分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果,由此解决了现有对比工具无法满足使用ProtoBuf格式来传递数据的服务接口的测试需求,实现了高效地自动执行流量回放测试的目的,同时也能够有效发现新旧版本服务器之间的差异变化。
附图说明
图1示出了一个实施例中流量回放测试方法的流程示意图;
图2示出了图1所示方法中步骤105的流程示意图;
图3示出了一个实施例中流量回放测试装置的流程示意图;
图4示出了一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,除非上下文明确要求,否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义;也就是说,是“包括但不限于”的含义。
此外,在本发明的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在一个实施例中,提供了一种流量回放测试方法,该方法可以由流量回放测试装置执行,该装置可以采用软件和/或硬件的方式实现。
如图1所示,流量回放测试方法可以包括以下步骤:
101,从目标服务的流量日志数据中解析出请求报文,当请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库。
其中,目标服务的接口支持ProtoBuf格式数据。ProtoBuf数据格式是Google开源的一款数据交换格式,其内部数据是纯二进制格式。
目标服务接收客户端发送的ProtoBuf格式数据的请求报文并返回响应报文,其中,请求报文中为HTTP协议的请求报文,请求报文中包含但不限于请求参数、服务名称、接口名称和版本号信息。目标服务可以用于对用户提供个性化推荐,当请求报文用于请求个性化推荐(例如,商品推荐或者档期推荐)时,请求报文中的请求参数包含用户的基础标签和行为标签,其中,基础标签包括但不限于年龄、性别、账户信息等,行为标签包括但不限于业务标识、时间区间、IP地址、发起位置等。
当目标服务接收到ProtoBuf格式数据的请求报文后,会将ProtoBuf格式数据的请求报文转换为日志格式数据存储在流量日志中,例如记录在Nginx日志文件里。这里,日志格式数据包括Http get请求参数。
具体地,可以通过定时脚本对目标服务的流量日志存储的流量数据进行解析出请求报文,将日志格式的请求报文转换化为ProtoBuf格式数据并存储至数据库。其中,将ProtoBuf格式数据存储到数据库时,可以对ProtoBuf格式数据与目标服务的接口名进行对应存储,以便后续接收到针对目标服务的流量对比请求时,根据流量对比请求携带的服务接口名,直接从数据库中查询流量对比请求所对应的ProtoBuf格式数据。
102,接收针对目标服务的流量对比请求,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文。
其中,流量对比请求携带有服务接口名、需要对比的新版本服务器的IP地址以及旧版本服务器的IP地址,还可以携带有指定的请求报文的数量、时间范围等,请求报文的数量可以是一任意数值。
新版本服务器提供的目标服务的版本高于旧版本服务器提供的目标服务的版本。
具体地,接收终端发送的针对目标服务的流量对比请求,该流量对比请求是终端在检测到测试人员输入的流量对比指令时生成的。从流量对比请求中解析出服务接口名、需要对比的新版本服务器的IP地址以及旧版本服务器的IP地址,从数据库中读取该流量对比请求所指示的ProtoBuf格式数据,并将ProtoBuf格式数据转换为十六进制数据,将十六进制数据分别封装成HTTP协议的第一请求报文与HTTP协议的第二请求报文。其中,第一请求报文用于请求调用新版本服务器中的目标服务,第二请求报文用于请求调用旧版本服务器中的目标服务。
103,将第一请求报文与第二请求报文分别发送至提供目标服务的新版本服务器以及旧版本服务器。
具体地,根据流量对比请求所指示的新版本服务器的IP地址以及旧版本服务器的IP地址,将第一请求报文与第二请求报文分别发送至提供目标服务的新版本服务器以及旧版本服务器。
104,接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文。
其中,第一响应报文、第二响应报文均是ProtoBuf格式数据。
具体地,新版本服务器根据接收到的第一请求报文,通过调用目标服务返回第一响应报文;旧版本服务器根据接收到的第二请求报文,通过调用目标服务返回第二响应报文。
105,分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果。
具体地,对Protobuf格式数据的第一响应报文以及第二响应报文分别进行反序列化,得到第一响应对象和第二响应对象,通过比对第一响应对象和第二响应对象,获得对比结果。其中第一响应对象和第二响应对象均是ProtoBuf对象。
本发明提供一种流量回放测试方法,当从目标服务的流量日志数据中解析出的请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;并在接收到针对目标服务的流量对比请求时,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,将第一请求报文与第二请求报文分别发送至提供目标服务的新版本服务器以及旧版本服务器,以及接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文;最后分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果,由此解决了现有JSON对比工具无法满足使用ProtoBuf格式来传递数据的服务接口的测试需求,实现了高效地自动执行流量回放测试的目的,同时也能够有效发现新旧版本服务器之间的差异变化。
在一个实施例中,将请求报文序列化为ProtoBuf格式数据并存储至数据库之前,方法还可以包括:
获取目标服务对应的预设请求参数,根据预设请求参数,对请求报文中的至少一项请求参数进行修改,得到修改后的请求报文。
其中,可以对目标服务预先配置预设请求参数,预设请求参数可以包括年龄、性别、业务标识、时间区间、IP地址、发起位置中的一个或多个。
具体地,可以在接收到测试人员通过终端发送的请求参数修改指令后,根据预设请求参数,对请求报文中的至少一项请求参数进行修改。
将请求报文序列化为ProtoBuf格式数据并存储至数据库,可以包括:
将修改后的请求报文转换为ProtoBuf格式数据进行存储至数据库。
本实施例中,通过对流量数据中的请求报文进行修改请求参数,由此可以支持更加多样化的流量回放需求,提高了流量回放测试的灵活性。
在一个实施例中,第一请求报文与第二请求报文的数量均为多个,将第一请求报文与第二请求报文分别发送至提供目标服务的新版本服务器以及旧版本服务器,可以包括:
采用多线程并发的方式将多个第一请求报文发送至新版本服务器以及将多个第二请求报文发送至旧版本服务器。
其中,可以根据请求报文的数量灵活调整并发的线程数。
本实施例中,通过采用多线程并发的方式进行流量回放测试,极大地提升了测试效率。
在一个实施例中,目标服务用于业务推荐,第一响应对象包含第一推荐结果列表,第二响应对象包含第二推荐结果列表,如图2所示,上述步骤105中比对第一响应对象和第二响应对象,获得对比结果,该过程可以包括:
1051,对第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,第一分组与第二分组分别具有预设数量的推荐结果。
其中,推荐结果列表中的推荐结果具有推荐顺序,推荐顺序用于指示推荐优先级,推荐顺序越靠前,推荐优先级越高,推荐结果可以是商品或档期,预设数量可以根据实际需要进行设定。
1052,针对每一个第一分组,按照分组顺序对第一分组与对应的第二分组进行取交集,并将取交集结果分别与第一分组、第二分组进行差集计算,获得第一差异值以及第二差异值。
其中,将取交集结果分别与第一分组、第二分组进行差集计算,获得第一差异值以及第二差异值,该过程可以包括:
将取交集结果与第一分组进行差集计算得到第一差集结果,将取交集结果与第二分组进行差集计算得到第二差集结果,对第一差集结果、第二差集结果分别与预设数量进行比值计算,获得第一差异值以及第二差异值。
示例性地,第一推荐结果列表、第二推荐结果列表均包含1000个推荐商品,可以根据商品推荐顺序对第一推荐结果列表、第二推荐结果列表各自的1000个推荐商品以每100个商品为一组,拆分成第一推荐结果列表的有序的10个分组,依次为:分组a1、分组a2、…分组a10,以及拆分成第二推荐结果列表的有序的10个分组,依次为:分组b1、分组b2、…分组b10。根据分组顺序,对分组an与分组bn进行取交集,并对取交集结果分别与分组an、分组bn进行差集计算,得到分组an对应的第一差集结果以及分组bn对应的第二差集结果,这里n为介于1至10之间的整数值,最后对第一差集结果、第二差集结果分别与取值100的预设数量进行比值计算,得到第一差异值和第二差异值。
本实施例中,在对比测试过程中通过对推荐结果列表按推荐顺序进行分组,并对分组进行取交集以及差集计算,可以提高个性化推荐结果的校验准确率,避免采用通过对推荐结果列表进行直接对比而导致校验准确率低的问题。
在一个实施例中,方法还包括:
分别对第一差异值、第二差异值与预设误差阈值进行比较,若比较结果指示第一差值或第二差值超过预设误差阈值,则生成告警信息,并输出告警信息。
其中,预设误差阈值可以根据实际需要进行设定。
本实施例中,当第一差值和第二差值中的任意一个超过预设误差阈值时,表示差异结果过大,则生成告警信息,输出告警信息至测试人员所属终端,以指示测试人员及时核验差异过大原因。
应该理解的是,虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种流量回放测试装置,装置包括:
预处理模块301,用于从流量数据中解析出请求报文,当请求报文用于请求调用目标服务时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
第一接收模块302,用于接收针对目标服务的流量对比请求;
封装模块303,用于将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文;
发送模块304,用于将第一请求报文与第二请求报文分别发送至提供目标服务的新版本服务器以及旧版本服务器;
第二接收模块305,用于接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文;
对比模块306,用于分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果。
在一个实施例中,预处理模块301还用于:
获取目标服务对应的预设请求参数;
根据预设请求参数,对请求报文中的至少一项请求参数进行修改,得到修改后的请求报文;
将修改后的请求报文进行二进制处理为ProtoBuf格式数据进行存储至数据库。
在一个实施例中,发送模块304具体用于:
采用多线程并发的方式将多个第一请求报文发送至新版本服务器以及将多个第二请求报文发送至旧版本服务器。
在一个实施例中,目标服务用于业务推荐,第一响应对象包含第一推荐结果列表,对比模块306具体用于:
对第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,第一分组与第二分组分别具有预设数量的推荐结果;
针对每一个第一分组,按照分组顺序对第一分组与对应的第二分组进行取交集,并将取交集结果分别与第一分组、第二分组进行差集计算,获得第一差异值以及第二差异值。
在一个实施例中,装置还包括:
告警模块,用于分别对第一差异值、第二差异值与预设误差阈值进行比较,若比较结果指示第一差值或第二差值超过预设误差阈值,则生成告警信息,并输出告警信息。
关于流量回放测试装置的具体限定可以参见上文中对于流量回放测试方法的限定,在此不再赘述。上述流量回放测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储备用测试数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种流量回放测试方法。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
从流量数据中解析出请求报文,当请求报文用于请求调用目标服务时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对目标服务的流量对比请求,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供目标服务的新版本服务器以及旧版本服务器;
接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文;
分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
从流量数据中解析出请求报文,当请求报文用于请求调用目标服务时,将请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对目标服务的流量对比请求,将数据库存储的与流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供目标服务的新版本服务器以及旧版本服务器;
接收新版本服务器基于第一请求报文返回的第一响应报文以及旧版本服务器基于第二请求报文返回的第二响应报文;
分别对第一响应报文与第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对第一响应对象和第二响应对象,获得对比结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种流量回放测试方法,其特征在于,所述方法包括:
从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
接收针对所述目标服务的流量对比请求,将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文,并分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述请求报文序列化为ProtoBuf格式数据并存储至数据库之前,所述方法还包括:
获取所述目标服务对应的预设请求参数;
根据所述预设请求参数,对所述请求报文中的至少一项请求参数进行修改,得到修改后的请求报文;
将所述请求报文序列化为ProtoBuf格式数据并存储至数据库,包括:
将所述修改后的请求报文序列化为ProtoBuf格式数据进行存储至数据库。
3.根据权利要求1所述的方法,其特征在于,所述第一请求报文与所述第二请求报文的数量均为多个,所述将所述第一请求报文与所述第二请求报文分别发送至提供所述目标服务的新版本服务器以及旧版本服务器,包括:
采用多线程并发的方式将多个所述第一请求报文发送至所述新版本服务器以及将多个所述第二请求报文发送至所述旧版本服务器。
4.根据权利要求1至3任一所述的方法,其特征在于,所述目标服务用于业务推荐,所述第一响应对象包含第一推荐结果列表,所述第二响应对象包含第二推荐结果列表,所述比对所述第一响应对象和第二响应对象,获得对比结果,包括:
对所述第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对所述第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,所述第一分组与所述第二分组分别具有预设数量的推荐结果;
针对每一个所述第一分组,按照分组顺序对所述第一分组与对应的所述第二分组进行取交集,并将取交集结果分别与所述第一分组、所述第二分组进行差集计算,获得第一差异值以及第二差异值。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
分别对所述第一差异值、所述第二差异值与预设误差阈值进行比较;
若比较结果指示所述第一差值或所述第二差值超过所述预设误差阈值,则生成告警信息,并输出所述告警信息。
6.一种流量回放测试装置,其特征在于,所述装置包括:
预处理模块,用于从目标服务的流量日志数据中解析出请求报文,当所述请求报文是由ProtoBuf格式数据转换得到的日志格式数据时,将所述请求报文进行二进制处理为ProtoBuf格式数据并存储至数据库;
第一接收模块,用于接收针对所述目标服务的流量对比请求;
封装模块,用于将所述数据库存储的与所述流量对比请求对应的ProtoBuf格式数据封装成第一请求报文与第二请求报文;
发送模块,用于将所述第一请求报文与所述第二请求报文分别发送至提供所述目标服务的新版本服务器以及旧版本服务器;
第二接收模块,用于接收所述新版本服务器基于所述第一请求报文返回的第一响应报文以及所述旧版本服务器基于所述第二请求报文返回的第二响应报文;
对比模块,用于分别对所述第一响应报文与所述第二响应报文进行反序列化,得到第一响应对象和第二响应对象,比对所述第一响应对象和第二响应对象,获得对比结果。
7.根据权利要求6所述的装置,其特征在于,所述预处理模块还用于:
获取所述目标服务对应的预设请求参数;
根据所述预设请求参数,对所述请求报文中的至少一项请求参数进行修改,得到修改后的请求报文;
将所述修改后的请求报文序列化为ProtoBuf格式数据进行存储至数据库。
8.根据权利要求6或7所述的装置,其特征在于,所述目标服务用于业务推荐,所述第一响应对象包含第一推荐结果列表,所述第二响应对象包含第二推荐结果列表,所述对比模块具体用于:
对所述第一推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第一分组,对所述第二推荐结果列表中的推荐结果按照推荐顺序进行拆分成有序的多个第二分组,所述第一分组与所述第二分组分别具有预设数量的推荐结果;
针对每一个所述第一分组,按照分组顺序对所述第一分组与对应的所述第二分组进行取交集,并将取交集结果分别与所述第一分组、所述第二分组进行差集计算,获得第一差异值以及第二差异值。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403394.7A CN112491659B (zh) | 2020-12-02 | 2020-12-02 | 一种流量回放测试方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011403394.7A CN112491659B (zh) | 2020-12-02 | 2020-12-02 | 一种流量回放测试方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112491659A CN112491659A (zh) | 2021-03-12 |
CN112491659B true CN112491659B (zh) | 2022-07-01 |
Family
ID=74939325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011403394.7A Active CN112491659B (zh) | 2020-12-02 | 2020-12-02 | 一种流量回放测试方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112491659B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113472785B (zh) * | 2021-06-30 | 2022-10-04 | 中国工商银行股份有限公司 | 数据处理方法、装置、电子设备及可读存储介质 |
CN113489788B (zh) * | 2021-07-06 | 2024-01-30 | 广州华多网络科技有限公司 | 数据路由控制、数据分析处理方法及装置、设备、介质 |
CN113938408B (zh) * | 2021-10-14 | 2023-07-11 | 平安银行股份有限公司 | 一种数据流量测试方法、装置、服务器及存储介质 |
CN114356932A (zh) * | 2021-12-31 | 2022-04-15 | 武汉中海庭数据技术有限公司 | 一种车端数据多版本存储与回放方法和系统 |
CN116094954B (zh) * | 2022-09-28 | 2024-10-15 | 苏州浪潮智能科技有限公司 | 一种网卡状态监测方法、装置、设备及介质 |
CN115774990A (zh) * | 2023-02-10 | 2023-03-10 | 成都萌想科技有限责任公司 | 基于配置文件的RESTfulAPI对比方法、系统、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101969386A (zh) * | 2010-11-09 | 2011-02-09 | 道有道(北京)科技有限公司 | 一种日志采集装置和日志采集方法 |
CN110401576A (zh) * | 2018-04-24 | 2019-11-01 | 北京嘀嘀无限科技发展有限公司 | 网络交互测试方法及装置 |
CN110661682A (zh) * | 2019-09-19 | 2020-01-07 | 上海天旦网络科技发展有限公司 | 通用互联数据自动分析系统、方法、设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105117344B (zh) * | 2015-09-19 | 2017-12-08 | 暴风集团股份有限公司 | 一种基于pb的接口集成测试方法和系统 |
CN106648945B (zh) * | 2016-09-30 | 2019-10-15 | 北京金山安全软件有限公司 | 一种接口数据测试方法、装置及电子设备 |
CN110198247B (zh) * | 2018-02-26 | 2022-02-18 | 腾讯科技(深圳)有限公司 | 接口测试方法及系统 |
US11595289B2 (en) * | 2019-03-29 | 2023-02-28 | Barefoot Networks, Inc. | Network testing using a programmable packet engine |
CN111078571B (zh) * | 2019-12-20 | 2024-02-02 | 广州品唯软件有限公司 | 模拟响应的测试方法、终端设备及计算机可读存储介质 |
-
2020
- 2020-12-02 CN CN202011403394.7A patent/CN112491659B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101969386A (zh) * | 2010-11-09 | 2011-02-09 | 道有道(北京)科技有限公司 | 一种日志采集装置和日志采集方法 |
CN110401576A (zh) * | 2018-04-24 | 2019-11-01 | 北京嘀嘀无限科技发展有限公司 | 网络交互测试方法及装置 |
CN110661682A (zh) * | 2019-09-19 | 2020-01-07 | 上海天旦网络科技发展有限公司 | 通用互联数据自动分析系统、方法、设备 |
Non-Patent Citations (1)
Title |
---|
《信息物理系统数据格式交换性能研究》;丁承君,崔欣,朱雪宏,冯玉伯;《科技通报》;20190213;第35卷(第2期);第59-63页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112491659A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112491659B (zh) | 一种流量回放测试方法、装置、计算机设备和存储介质 | |
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN109683988B (zh) | 微服务启动方法、装置、计算机设备和存储介质 | |
CN107766190B (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN110704312B (zh) | 压力测试的方法、装置、计算机设备和存储介质 | |
CN108491367B (zh) | 报告文档生成的方法、装置、计算机设备和存储介质 | |
CN110708247B (zh) | 消息路由方法、装置、计算机设备和存储介质 | |
CN109726134B (zh) | 接口测试方法和系统 | |
CN110908778B (zh) | 任务部署方法、系统和存储介质 | |
CN111324905A (zh) | 影像数据标注方法、装置、计算机设备和存储介质 | |
CN110069297A (zh) | 基于Spring MVC的异常处理方法、装置、计算机设备和存储介质 | |
CN112527357B (zh) | 服务热加载更新方法、装置、计算机设备和存储介质 | |
CN108933994B (zh) | 短信分发处理方法、装置、计算机设备和存储介质 | |
CN110490594A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN109325010A (zh) | 日志查看方法、装置、计算机设备和存储介质 | |
CN112866319B (zh) | 日志数据处理方法、系统和存储介质 | |
CN109325058B (zh) | 规则批量比对方法、装置、计算机设备和存储介质 | |
CN111142933A (zh) | 工作流生成方法、装置、计算机设备和存储介质 | |
CN113377668A (zh) | 服务接口的自动化测试方法、装置和计算机设备 | |
CN110502428A (zh) | 代码测试方法、装置、计算机设备和存储介质 | |
CN108920357A (zh) | 业务系统检测方法、装置、计算机设备和存储介质 | |
CN111026988A (zh) | 一种页面加载的方法、装置、系统及计算机设备 | |
CN111224939B (zh) | 任务请求的拦截方法、装置、计算机设备和存储介质 | |
CN108389124B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN114461219A (zh) | 数据解析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |