CN107222368B - 一种数据重放方法及装置 - Google Patents

一种数据重放方法及装置 Download PDF

Info

Publication number
CN107222368B
CN107222368B CN201710517461.XA CN201710517461A CN107222368B CN 107222368 B CN107222368 B CN 107222368B CN 201710517461 A CN201710517461 A CN 201710517461A CN 107222368 B CN107222368 B CN 107222368B
Authority
CN
China
Prior art keywords
filtering
data
replay
entry
entry parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710517461.XA
Other languages
English (en)
Other versions
CN107222368A (zh
Inventor
张文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201710517461.XA priority Critical patent/CN107222368B/zh
Publication of CN107222368A publication Critical patent/CN107222368A/zh
Application granted granted Critical
Publication of CN107222368B publication Critical patent/CN107222368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data
    • H04L43/028Capturing of monitoring data by filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种数据重放方法及装置,其中数据重放方法包括:获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据,再根据过滤配置信息,滤除无需重放的入口参数对应的采集数据,以及根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数,并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。由于执行上述操作的重放系统与生产系统是相对独立的,不需要占用生产系统的内部通信通道,因此,即使运行海量数据的实时重放,也不会对生产系统产生影响,进而有效保证了生产系统运行的稳定性。

Description

一种数据重放方法及装置
技术领域
本发明实施例涉及通信领域,尤其涉及一种数据重放方法及装置。
背景技术
随着互联网技术的快速发展,各类互联网产品不断更新换代,以适应日新月异的需求。在互联网产品更新换代的过程中,生产系统的升级成为必不可少的重要环节。生产系统的每次重要升级在上线前都需要进行足够的测试,例如单元测试、功能测试、压力测试等。但这些测试都不能代替真实生产情况下的流量及用户行为。
为了测试升级后未上线的测试系统在真实生产情况下的稳定性,需要对该测试系统运行的数据进行重放,以发现由系统升级可能导致的问题,并针对性的采取对应措施。由于现有技术中执行数据重放的模块在生产系统的负载监控器中,执行数据重放需要占用生产系统的网卡,因而在实时数据重放过程中,数据重放操作往往会侵入生产系统,影响生产系统的吞吐,从而导致生产系统的部分性能受到影响。
因此,在生产系统升级时,如何消除实时数据重放对生产系统的影响,是目前亟待解决的技术问题。
发明内容
本发明实施例提供一种数据重放方法及装置,以解决现有技术中实时数据重放对生产系统造成影响的问题。
为了解决上述问题,本发明公开了一种数据重放方法,包括:
获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与所述各入口参数相关的信息,组装成对应的各组采集数据;
根据过滤配置信息,滤除无需重放的入口参数对应的采集数据;
根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数;
利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
优选的,将各入口参数,以及与所述各入口参数相关的信息,组装成对应的各组采集数据的步骤,包括:获取与所述入口参数对应的请求返回信息和请求附加信息,所述请求返回信息为所述入口参数在调用所述生产系统时获得的响应结果;添加与所述入口参数对应的重放请求标识,所述重放请求标识用于区分具有不同入口参数的采集数据;将所述各入口参数,以及与所述各入口参数对应的请求返回信息、请求附加信息和重放请求标识组装成对应的各组采集数据。
优选的,在根据过滤配置信息,滤除无需重放的入口参数对应的采集数据之前,还包括:将所述采集数据发送至缓冲池;若所述缓冲池内数据量达到容量阈值,则丢弃所述缓冲池中的数据,并发送报警以告知相关设备。
优选的,根据过滤配置信息,滤除无需重放的入口参数对应的采集数据的步骤,包括:根据全局开关滤除无需重放的入口参数对应的采集数据;和/或根据采样率滤除无需重放的入口参数对应的采集数据;和/或根据关键字滤除无需重放的入口参数对应的采集数据。
优选的,在根据过滤配置信息,滤除无需重放的入口参数对应的采集数据之后,还包括:将所述过滤后剩余各组采集数据发送至消息队列;其中,所述消息队列用于缓存所述过滤后剩余各组采集数据。
优选的,根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数的步骤,包括:根据所述重放配置信息,确定过滤后剩余各组采集数据中入口参数的重放顺序和重放次数;按照所述重放顺序和重放次数,依次提取所述剩余各组采集数据的入口参数。
另一方面,为了解决上述问题,本发明还公开了一种数据重放装置,包括:
数据采集模块,用于获取生产系统各实时网络请求的入口参数,并将各入口参数以及与所述各入口参数相关的信息,组装成对应的各组采集数据;
数据过滤模块,用于根据过滤配置信息,滤除无需重放的入口参数对应的采集数据;
数据重放模块,用于根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数;并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
优选的,所述数据采集模块,包括:入口参数获取子模块,用于获取生产系统各实时网络请求的入口参数;相关信息获取子模块,用于获取与所述入口参数对应的请求返回信息和请求附加信息,所述请求返回信息为所述入口参数在调用所述生产系统时获得的响应结果;添加与所述入口参数对应的重放请求标识,所述重放请求标识用于区分具有不同入口参数的采集数据;组装子模块,用于将所述各入口参数,以及与所述各入口参数对应的请求返回信息、请求附加信息和重放请求标识组装成对应的各组采集数据。
优选的,所述数据采集模块,还包括:缓冲子模块,用于将所述采集数据发送至缓冲池;若所述缓冲池内数据量达到容量阈值,则丢弃所述缓冲池中的数据,并发送报警以告知相关设备。
优选的,所述数据过滤模块,包括:全局过滤子模块,用于根据全局开关滤除无需重放的入口参数对应的采集数据;采样过滤子模块,用于根据采样率滤除无需重放的入口参数对应的采集数据;关键字过滤子模块,用于根据关键字滤除无需重放的入口参数对应的采集数据。
优选的,所述数据采集模块,还用于将所述过滤后剩余各组采集数据发送至消息队列;其中,所述消息队列用于缓存所述过滤后剩余各组采集数据。
优选的,所述数据重放模块,包括:重放配置子模块,用于根据所述重放配置信息,确定过滤后剩余各组采集数据的重放顺序和重放次数;重放执行子模块,用于按照所述重放顺序和重放次数,依次提取所述剩余各组采集数据的入口参数。
综上,本发明实施例通过获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据,再根据过滤配置信息,滤除无需重放的入口参数对应的采集数据,以及根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数,并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。由于执行上述操作的重放系统与生产系统是相对独立的,重放系统只需通过异步调用的方式获取生产系统的采集数据即可,而不需要占用生产系统的内部通信通道,因此,即使运行海量数据的实时重放,也不会对生产系统产生影响,进而有效保证了生产系统运行的稳定性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据重放方法流程图;
图2为本发明实施例提供的另一种数据重放方法流程图;
图3为本发明实施例提供的一种数据重放装置的结构框图;
图4为本发明实施例提供的另一种数据重放装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参照图1,给出了本发明实施例提供的一种数据重放方法流程图。
步骤101,获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据。
其中,生产系统是指支持业务运作的信息系统,在运作过程中,会通过发送实时网络请求,再获取对应的请求返回信息来完成业务。生产系统在一段时间的运转以后,需要进行升级,为了测试升级后未上线的测试系统在真实生产情况下的稳定性,需要对该测试系统运行的数据进行重放,以发现由系统升级可能导致的问题,并针对性的采取对应措施。
具体的,可以由独立于生产系统的重放系统执行数据重放操作,以避免数据重放过程占用生产系统的内部通信通道。为了实现通过该重放系统完成数据重放过程,即由重放系统调用测试系统进行升级测试,可以先由重放系统获取生产系统各实时网络请求的入口参数,以及与各入口参数相关的信息,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据。从而使重放系统可以利用该采集数据中的入口参数进行重放,并利用该采集数据中从生产系统获取的与入口参数相关的信息,与重放得到的测试结果进行对比分析。其中,请求返回信息为根据入口参数从生产系统获取的响应结果,测试结果为根据入口参数从重放系统获取的响应结果。在对根据相同的入口参数分别从生产系统和重放系统获取的响应结果进行对比时,若两个响应结果之间存在差异,可以结合处理网络请求的服务器信息、发出网络请求的IP地址等请求附加信息,对从生产系统和重放系统获取的响应结果进行分析。例如,若根据同一入口参数,从生产系统获取的请求返回信息,与从重放系统测试得到的测试结果并不相同,可以分析生产系统处理该网络请求的服务器信息,和重放系统处理该网络请求的服务器信息的差异,从而确定两者处理该网络请求的服务器信息之间存在哪些差异,导致响应结果发生差异。
步骤102,根据过滤配置信息,滤除无需重放的入口参数对应的采集数据。
生产系统运行过程中的各实时网络请求,往往并非全部需要进行重放,因此便需要进行过滤操作。现有技术中,为了实现过滤,需要在生产系统内部进行编码,因而会占用生产系统内存,影响生产系统运行的效率。而本发明实施例可以无需生产系统对数据进行过滤,而是将各实时网络请求的相关数据都发送至重放系统,再由重放系统根据过滤配置信息进行过滤,以滤除无需重放的入口参数对应的采集数据。进而有效避免过滤操作对生产系统的影响。具体的,根据过滤配置信息进行过滤,是指在过滤配置信息中预先设定针对入口参数过滤的规则,并按照该过滤的规则对各入口参数对应的采集数据进行过滤,从而得到需要重放的入口参数对应的采集数据。其中,过滤的规则可以为根据全局开关进行过滤,和/或根据根据采样率进行过滤,和/或根据关键字进行过滤。
步骤103,根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数。
在滤除无需重放的入口参数对应的采集数据后,根据对过滤后剩余各组采集数据中入口参数不同的重放需求,可以先根据重放配置信息确定过滤后剩余各组采集数据中入口参数的重放顺序和重放次数,再按照该重放顺序和重放次数,依次提取剩余各组采集数据的入口参数。具体的,该重放配置信息是指,根据预先设定的重放规则指示如何对采集数据进行重放的配置信息,其中,该重放规则可以预先定义对采集数据中入口参数的重放顺序和重放次数等。
步骤104,利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
具体的,由于相同的网络请求入口参数在调用测试系统后得到的测试结果可能并不完全相同。因此在利用提取的入口参数,调用测试系统进行重放前,可以在网络请求中添加请求追踪信息,以辨别具有相同入口参数的多次相同网络请求分别对应的测试结果。
由于在对测试系统进行调用时,重放系统仅利用了从生产系统获取的信息,而并未占用生产系统的内部通信通道。因此,可以在不影响生产系统业务运作的情况下,便能够实现实时的数据重放。从而可以使得用户在无感知的情况下,便完成了生产系统升级上线前的测试。
综上所述,本发明实施例通过获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据,再根据过滤配置信息,滤除无需重放的入口参数对应的采集数据,以及根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数,并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。由于执行上述操作的重放系统与生产系统是相对独立的,重放系统只需通过异步调用的方式获取生产系统的采集数据即可,而不需要占用生产系统的内部通信通道,因此,即使运行海量数据的实时重放,也不会对生产系统产生影响,进而有效保证了生产系统运行的稳定性。这种从架构角度而言优雅且可靠的做法,极大地提升了用户使用感受。
实施例二
在上述实施例的基础上,本实施例进一步论述数据重放方法。
参照图2,给出了本发明实施例提供的另一种数据重放方法流程图:
步骤201,获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据。
具体的,由于不同入口参数分别对应不同的业务内容,因此可以通过添加与入口参数对应的重放请求标识,对不同的业务内容进行区分。例如,若入口参数对应的业务内容为查看X城天气情况,则可以添加“X城天气”这一重放请求标识,用于体现该入口参数所要执行的业务内容。同时,也便于归类分析,例如,将一段时间内与X城相关的信息进行归类分析,或者将一段时间内与天气相关的信息进行归类分析。
为了与入口参数在调用测试系统时得到的测试结果进行对比,可以在重放系统从生产系统获取采集数据时,获取该入口参数在调用生产系统时获得的请求返回信息。例如,在生产系统中查看X城天气情况得到的请求返回信息为天气预报网址链接。将该数据作为采集数据的一部分发送至重放系统,以备后续分析使用。
进一步的,为了使分析数据更加丰富以获得更加准确的分析结果,采集数据还可以包括各种请求附加信息。其中请求附加信息可以为处理网络请求的服务器信息、发出网络请求的IP地址等等。
步骤202,根据过滤配置信息,滤除无需重放的入口参数对应的采集数据。
在获得各组采集数据后,可以在重放系统中根据过滤配置信息,对与各入口参数对应的各组采集数据进行过滤。其中,过滤配置信息可以从独立于生产系统的中央配置服务器获取。通过该中央配置服务器向重放系统发送过滤配置信息,不仅可以避免生产系统占用内存进行编码,而且可以更自由的进行修改,而不会影响生产系统的业务运作。
具体的,可以根据全局开关滤除无需重放的入口参数对应的采集数据;和/或根据采样率滤除无需重放的入口参数对应的采集数据;和/或根据关键字滤除无需重放的入口参数对应的采集数据。
其中,根据全局开关滤除无需重放的入口参数对应的采集数据,是指对于指定的入口参数对应的采集数据,若全局开关为开,则将这些采集数据全部接收。相反,若全局开关为关,则将这些采集数据全部滤除。
根据采样率滤除无需重放的入口参数对应的采集数据,是指以一定比例随机获取部分入口参数对应的采集数据。该方法往往针对具有相同入口参数的若干组采集数据。例如,若100组数据都是查看X城天气的,采样率为30%,则从这100组采集数据中随机抽取30组作为需要重放的数据。
根据关键字滤除无需重放的入口参数对应的采集数据,是指从指定的采集数据中,过滤出入口参数中具有指定关键字的采集数据。例如,若关键字为X城,则从这些采集数据中过滤出入口参数中具有X城这一关键字的采集数据。
此外,为了避免重放系统中数据积压导致生产系统无法发送采集数据,进而影响生产系统运行。可以在重放系统获取采集数据之后,滤除无需重放的入口参数对应的采集数据之前,将采集数据发送至重放系统的缓冲池中,若缓冲池内数据量达到容量阈值,则丢弃缓冲池中的数据,并发送报警以告知相关设备,从而即使消息队列故障,也不会导致重放系统数据积压,进而有效保证了生产系统运行的稳定性。
步骤203,将过滤后剩余各组采集数据发送至消息队列。
其中,消息队列用于缓存过滤后剩余各组采集数据。具体的,消息队列为耦合该生产系统和重放系统的消息中间件。当生产系统或重放系统发生故障时,可以通过该消息队列实现两个系统之间的解耦,从而避免发生故障的一方影响未发生故障的一方,而且无论是哪一方出现故障,由于数据已存储至该消息队列,因此可以有效避免信息丢失。
步骤204,根据重放配置信息,确定过滤后剩余各组采集数据的重放顺序和重放次数。
具体的,该重放配置信息也可以从中央配置服务器获取。通过该中央配置服务器向重放系统发送重放配置信息,不仅可以避免生产系统占用内存进行编码,而且可以更自由的修改对采集数据的重放顺序和重放次数,而不会影响生产系统的业务运作。即可以实现对重放数据的自由配置。
其中,对过滤后剩余各组采集数据中入口参数的重放方式不仅限于对全部入口参数进行一次性重放,还包括分批次进行重放,甚至对某个采集数据中的入口参数重放多次。其中,重放顺序可以用于控制对各入口参数重放的先后关系。重放次数可以用于控制各入口参数分别需要调用测试环境重放的次数。例如,若过滤后剩余各组采集数据中入口参数分别为A、B、C、D、E。第一批次需要重放的入口参数为B和C,重放次数为2,则可以按照B、C、B、C的顺序完成重放。
步骤205,按照重放顺序和重放次数,依次提取剩余各组采集数据的入口参数。
每组采集数据包括的多项数据中,入口参数可以用于调用测试环境以获得测试结果。为了区分相同入口参数对应的多次网络请求,可以在调用测试环境时添加请求追踪信息,以辨别具有相同入口参数的多次相同网络请求分别对应的测试结果。例如,若根据重放配置信息,确定本次需要重放的入口参数依次为B、C、B、C,其中入口参数B在采集数据w中,入口参数C在采集数据v中,则依次从采集数据w、v、w、v中提取出入口参数B、C、B、C。
步骤206,利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
其中,为了使测试系统与生产系统基于相同的数据库对入口参数进行重放,测试系统的数据库需要与线上环境数据一致,应用代码也需要与生产系统保持一致。同时,测试系统可以不开放外网服务,并关闭数据投递功能,以避免外界对生产系统造成侵扰。
步骤207,将请求返回信息和对应的测试结果合并后发送至分布式缓存中。
在调用测试系统进行重放,获得对应的测试结果后。可以利用请求追踪信息,确定与该测试结果对应的请求返回信息。将同一入口参数通过测试系统获得的结果与通过生产系统获得的结果合并在一起,并发送至分布式缓存中,以便进行一一对应地分析,从而实现生产系统与测试系统之间的对比。
综上所述,本发明实施例通过在滤除无需重放的入口参数对应的采集数据之后将过滤后剩余各组采集数据发送至消息队列,并在需要处理采集数据时,从消息队列中获取采集数据,使得消息队列可以在生产系统和重放系统之间实现耦合和解耦,从而有效避免信息丢失。而且通过独立于生产系统的中央配置服务器向重放系统发送过滤配置信息和重放配置信息,可以灵活地对重放过程进行配置,而不会影响生产系统的运行。另外,通过将请求返回信息和对应的测试结果合并后发送至分布式缓存中,可以有效实现生产系统与测试系统之间的一一对比。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
实施例三
在上述实施例的基础上,本实施例还提供了一种数据重放装置。
参照图3给出了本发明实施例提供的一种数据重放装置的结构框图,具体可以包括如下模块:
数据采集模块31,用于获取生产系统各实时网络请求的入口参数,得到对应的各组采集数据,其中,所述采集数据包括入口参数;
数据过滤模块32,用于根据过滤配置信息,滤除无需重放的入口参数对应的采集数据;
数据重放模块33,用于根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数;并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
综上所述,本发明实施例通过数据采集模块31获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与各入口参数相关的信息,组装成对应的各组采集数据,再由数据过滤模块32根据过滤配置信息,滤除无需重放的入口参数对应的采集数据,以及由数据重放模块33根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数,并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。由于执行上述操作的重放系统与生产系统是相对独立的,重放系统只需通过异步调用的方式获取生产系统的采集数据即可,而不需要占用生产系统的内部通信通道,因此,即使运行海量数据的实时重放,也不会对生产系统产生影响,进而有效保证了生产系统运行的稳定性。
参照图4,在本发明的一个可选实现方式中,在图3的基础上,给出了本发明实施例提供的另一种数据重放装置的结构框图。
具体的,数据采集模块31包括如下子模块:
入口参数获取子模块311,用于获取生产系统各实时网络请求的入口参数;
相关信息获取子模块312,用于获取与入口参数对应的请求返回信息和请求附加信息,请求返回信息为入口参数在调用生产系统时获得的响应结果;添加与入口参数对应的重放请求标识,得到各组采集数据,重放请求标识用于区分具有不同入口参数的采集数据;
组装子模块313,用于将各入口参数,以及与各入口参数对应的请求返回信息、请求附加信息和重放请求标识组装成对应的各组采集数据。
缓冲子模块314,用于将采集数据发送至缓冲池;若缓冲池内数据量达到容量阈值,则丢弃缓冲池中的数据,并发送报警以告知相关设备。
数据过滤模块32包括如下子模块:
全局过滤子模块321,用于根据全局开关滤除无需重放的入口参数对应的采集数据;
采样过滤子模块322,用于根据采样率滤除无需重放的入口参数对应的采集数据;
关键字过滤子模块323,用于根据关键字滤除无需重放的入口参数对应的采集数据。
具体的,数据采集模块31,还用于将过滤后剩余各组采集数据发送至消息队列;其中,所述消息队列用于缓存所述过滤后剩余各组采集数据。
进一步的,该数据重放模块33还包括如下子模块:
重放配置子模块331,用于根据重放配置信息,确定过滤后剩余各组采集数据的重放顺序和重放次数;
重放执行子模块332,用于按照重放顺序和重放次数,依次提取剩余各组采集数据的入口参数。
综上所述,本发明实施例通过数据采集模块31在滤除无需重放的入口参数对应的采集数据之后将过滤后剩余各组采集数据发送至消息队列,并在需要处理采集数据时,由数据重放模块33从消息队列中获取采集数据,使得消息队列可以在生产系统和重放系统之间实现耦合和解耦,从而有效避免信息丢失。而且通过独立于生产系统的中央配置服务器向数据过滤模块32发送过滤配置信息以及向数据重放模块33发送重放配置信息,可以灵活地对重放过程进行配置,而不会影响生产系统的运行。另外,通过将请求返回信息和对应的测试结果合并后发送至分布式缓存中,可以有效实现生产系统与测试系统之间的一一对比。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据重放方法及装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种数据重放方法,应用在独立于生产系统的重放系统上,其特征在于,所述方法包括:
获取生产系统各实时网络请求的入口参数,并将各入口参数,以及与所述各入口参数相关的信息,组装成对应的各组采集数据;
根据过滤配置信息,滤除无需重放的入口参数对应的采集数据;
根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数;
利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
2.根据权利要求1所述的方法,其特征在于,所述将各入口参数,以及与所述各入口参数相关的信息,组装成对应的各组采集数据的步骤,包括:
获取与所述入口参数对应的请求返回信息和请求附加信息,所述请求返回信息为所述入口参数在调用所述生产系统时获得的响应结果;
添加与所述入口参数对应的重放请求标识,所述重放请求标识用于区分具有不同入口参数的采集数据;
将所述各入口参数,以及与所述各入口参数对应的请求返回信息、请求附加信息和重放请求标识组装成对应的各组采集数据。
3.根据权利要求1所述的方法,其特征在于,在根据过滤配置信息,滤除无需重放的入口参数对应的采集数据之前,还包括:
将所述采集数据发送至缓冲池;
若所述缓冲池内数据量达到容量阈值,则丢弃所述缓冲池中的数据,并发送报警以告知相关设备。
4.根据权利要求1所述的方法,其特征在于,所述根据过滤配置信息,滤除无需重放的入口参数对应的采集数据的步骤,包括:
根据全局开关滤除无需重放的入口参数对应的采集数据;和/或
根据采样率滤除无需重放的入口参数对应的采集数据;和/或
根据关键字滤除无需重放的入口参数对应的采集数据。
5.根据权利要求1所述的方法,其特征在于,在根据过滤配置信息,滤除无需重放的入口参数对应的采集数据之后,还包括:
将所述过滤后剩余各组采集数据发送至消息队列;
其中,所述消息队列用于缓存所述过滤后剩余各组采集数据。
6.根据权利要求1所述的方法,其特征在于,所述根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数的步骤,包括:
根据所述重放配置信息,确定过滤后剩余各组采集数据中入口参数的重放顺序和重放次数;
按照所述重放顺序和重放次数,依次提取所述剩余各组采集数据的入口参数。
7.一种数据重放装置,应用在独立于生产系统的重放系统上,其特征在于,所述装置包括:
数据采集模块,用于获取生产系统各实时网络请求的入口参数,并将各入口参数以及与所述各入口参数相关的信息,组装成对应的各组采集数据;
数据过滤模块,用于根据过滤配置信息,滤除无需重放的入口参数对应的采集数据;
数据重放模块,用于根据重放配置信息,依次提取过滤后剩余各组采集数据的入口参数;并利用提取的入口参数,调用测试系统进行重放,获得对应的测试结果。
8.根据权利要求7所述的装置,其特征在于,所述数据采集模块,包括:
入口参数获取子模块,用于获取生产系统各实时网络请求的入口参数;
相关信息获取子模块,用于获取与所述入口参数对应的请求返回信息和请求附加信息,所述请求返回信息为所述入口参数在调用所述生产系统时获得的响应结果;添加与所述入口参数对应的重放请求标识,所述重放请求标识用于区分具有不同入口参数的采集数据;
组装子模块,用于将所述各入口参数,以及与所述各入口参数对应的请求返回信息、请求附加信息和重放请求标识组装成对应的各组采集数据。
9.根据权利要求7所述的装置,其特征在于,所述数据采集模块,还包括:
缓冲子模块,用于将所述采集数据发送至缓冲池;若所述缓冲池内数据量达到容量阈值,则丢弃所述缓冲池中的数据,并发送报警以告知相关设备。
10.根据权利要求7所述的装置,其特征在于,所述数据过滤模块,包括:
全局过滤子模块,用于根据全局开关滤除无需重放的入口参数对应的采集数据;
采样过滤子模块,用于根据采样率滤除无需重放的入口参数对应的采集数据;
关键字过滤子模块,用于根据关键字滤除无需重放的入口参数对应的采集数据。
11.根据权利要求7所述的装置,其特征在于,
所述数据采集模块,还用于将所述过滤后剩余各组采集数据发送至消息队列;其中,所述消息队列用于缓存所述过滤后剩余各组采集数据。
12.根据权利要求7所述的装置,其特征在于,所述数据重放模块,包括:
重放配置子模块,用于根据所述重放配置信息,确定过滤后剩余各组采集数据的重放顺序和重放次数;
重放执行子模块,用于按照所述重放顺序和重放次数,依次提取所述剩余各组采集数据的入口参数。
CN201710517461.XA 2017-06-29 2017-06-29 一种数据重放方法及装置 Active CN107222368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710517461.XA CN107222368B (zh) 2017-06-29 2017-06-29 一种数据重放方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710517461.XA CN107222368B (zh) 2017-06-29 2017-06-29 一种数据重放方法及装置

Publications (2)

Publication Number Publication Date
CN107222368A CN107222368A (zh) 2017-09-29
CN107222368B true CN107222368B (zh) 2020-04-17

Family

ID=59951113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710517461.XA Active CN107222368B (zh) 2017-06-29 2017-06-29 一种数据重放方法及装置

Country Status (1)

Country Link
CN (1) CN107222368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382058B (zh) * 2018-12-29 2024-02-02 北京字节跳动网络技术有限公司 一种服务的测试方法、装置,服务器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047625A1 (zh) * 2009-10-22 2011-04-28 华为技术有限公司 一种系统升级后兼容性测试方法及设备
CN106886492A (zh) * 2017-02-13 2017-06-23 北京趣拿软件科技有限公司 基于数据回放的测试方法和测试装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938535B2 (en) * 2012-06-01 2015-01-20 National Chiao Tung University System for real traffic replay over wireless networks
CN104503407B (zh) * 2014-12-20 2017-06-06 北京首钢自动化信息技术有限公司 一种工业生产过程中数据采集回放系统和方法
CN104598396B (zh) * 2015-02-03 2017-06-16 济南大学 一种保证海量数据缓存实时性和一致性的系统及方法
CN105718353B (zh) * 2016-01-18 2019-01-29 深圳市紫光同创电子有限公司 一种用于图形界面应用的测试方法、装置及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011047625A1 (zh) * 2009-10-22 2011-04-28 华为技术有限公司 一种系统升级后兼容性测试方法及设备
CN106886492A (zh) * 2017-02-13 2017-06-23 北京趣拿软件科技有限公司 基于数据回放的测试方法和测试装置

Also Published As

Publication number Publication date
CN107222368A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN108121795B (zh) 用户行为预测方法及装置
US20180349254A1 (en) Systems and methods for end-to-end testing of applications using dynamically simulated data
US20090182794A1 (en) Error management apparatus
CN110046073B (zh) 一种日志采集方法及装置、设备、存储介质
CN105376335B (zh) 一种采集数据上传方法和装置
CN108322350B (zh) 业务监控方法及装置和电子设备
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
US10783453B2 (en) Systems and methods for automated incident response
CN113157545A (zh) 业务日志的处理方法、装置、设备及存储介质
CN109949069A (zh) 可疑用户筛选方法、装置、计算机设备及存储介质
CN108108445A (zh) 一种智能数据处理方法和系统
CN110851471A (zh) 分布式日志数据处理方法、装置以及系统
CN112667426A (zh) 日志分析方法及装置
CN109150569B (zh) 一种网络视频业务故障定位分析方法、装置及系统
CN111666298A (zh) 基于flink的用户服务类别检测方法、装置、计算机设备
CN107222368B (zh) 一种数据重放方法及装置
CN112671878B (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN113728655B (zh) 用于监控在操作系统内执行的至少一个应用的使用情况的方法、相应装置、计算机程序产品和计算机可读载体介质
CN111708712A (zh) 用户行为测试用例的生成方法、流量回放方法及电子设备
CN107229569A (zh) 面向多执行技术的自动化测试集中调度执行方法及系统
CN108829590B (zh) 一种软件测试方法、装置及系统
CN113238901B (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
CN114064510A (zh) 功能测试方法、装置、电子设备和存储介质
CN110413516B (zh) 识别慢sql代码的方法及装置和电子设备
JP6778713B2 (ja) 機能解析装置、機能解析方法および機能解析プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant