CN104778123A - 一种检测系统性能的方法及装置 - Google Patents
一种检测系统性能的方法及装置 Download PDFInfo
- Publication number
- CN104778123A CN104778123A CN201510144883.8A CN201510144883A CN104778123A CN 104778123 A CN104778123 A CN 104778123A CN 201510144883 A CN201510144883 A CN 201510144883A CN 104778123 A CN104778123 A CN 104778123A
- Authority
- CN
- China
- Prior art keywords
- result
- tested
- inline
- simulated object
- request msg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种检测系统性能的方法,用以解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。方法包括:获取请求数据以及模拟类型;确定与所述模拟类型匹配的模拟对象,并对所述模拟对象进行模拟处理;其中,所述模拟对象为所述请求数据和/或待测试的系统;根据模拟处理后的模拟对象,得到第一处理结果;根据第一处理结果,得出和待测试的系统对应的线上系统的性能是否稳定。本申请还公开一种检测系统性能的装置。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种检测系统性能的方法及装置。
背景技术
目前,系统在进行稳定性测试时,一般采用基于传输控制协议(Transmission Control Protocol,TCP)的请求复制工具(TCPcopy)技术。该技术通过在数据链层抓取请求数据,将线上的请求数据引流到待测试的系统中,通过对比待测试的系统对于请求数据的处理结果与预期处理结果,得到待测试的系统的性能是否稳定。
上述测试方法存在的问题在于,无法根据测试需要,模拟待测试的系统可能会遇到的各种异常场景。即,该测试方法的适用性较差。此外,上述测试方法也没有提供对于待测试的系统对应的线上系统的性能评估机制。
需要说明的是,待测试的系统与某个线上系统具备对应关系,是指待测试的系统与该线上系统完全相同;或者,待测试的系统是在该线上系统的基础上,对该线上系统的功能进行了增加、删除或修改的系统。
发明内容
本申请实施例提供一种检测系统性能的方法,用于解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。
本申请实施例还提供一种检测系统性能的装置,用于解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。
本申请实施例采用下述技术方案:
一种检测系统性能的方法,包括:
获取请求数据以及模拟类型;确定与所述模拟类型匹配的模拟对象,并对所述模拟对象进行模拟处理;其中,所述模拟对象为所述请求数据和/或待测试的系统;根据模拟处理后的模拟对象,得到第一处理结果;根据第一处理结果,得出和待测试的系统对应的线上系统的性能是否稳定。
一种检测系统性能的装置,包括:
请求数据引流单元,请求数据引流单元将线上系统接收到的请求数据复制并引流到待测试的系统中;模拟单元,用于对模拟对象进行模拟处理,根据模拟处理后的模拟对象,得到第一处理结果;数据对比分析单元,用于根据第一处理结果,得出和待测试的系统对应的线上系统的性能是否稳定。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
由于运用模拟处理,可以在待测试的系统中模拟制造各种可能出现的场景,同时对根据得到的处理结果进行实时对比分析跟统计,解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种检测系统性能的方法的具体实现流程示意图;
图2为本申请实施例提供的一种检测系统性能的装置的具体结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
以下结合附图,详细说明本申请各实施例提供的技术方案。
实施例1
本实施例提供一种检测系统性能的方法,解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。该方法的具体实现流程示意图如图1所示,主要包括下述步骤:
步骤11,获取请求数据以及模拟类型;
比如,获取的请求数据,可以是由请求工具提供的。具体地,请求复制工具可以对待测试的系统对应的线上系统收到的请求数据完全复制,进而提供复制得到的请求数据。
该请求复制工具包括但不仅限于TCPcopy工具。在一种实施方式中,TCPcopy工具可以在数据链层对请求数据包进行复制并提供复制得到的请求数据包。
本申请实施例中,请求数据,可以但不限于为访问请求包含的数据、交易请求包含的数据以及其他消息中包含的数据,等。
本申请实施例中,模拟类型用于表示需要进行模拟处理的具体模拟对象,不同的模拟类型可以匹不同的模拟对象。比如,模拟类型可以分为“数据模拟”和“系统模拟”两种。其中,“数据模拟”表示需要进行模拟处理的模拟对象为请求数据,即“数据模拟”与“请求数据”相匹配;而“系统模拟”表示需要进行模拟处理的模拟对象为待测试的系统,即“系统模拟”与“待测试的系统”相匹配。
本申请实施例中,模拟类型可以是设置的默认信息,也可以是由用户根据自身需要而输入的。
需要说明的是,步骤11中所述的请求数据,可以是实时抓取到的,也可以是历史请求数据。针对历史请求数据的获取方式而言,可以通过请求复制工具对某个历史时间段的请求数据进行复制并提供。
例如,以微博系统为例,春节期间微博系统接收到大量的红包请求(发红包请求或抢红包请求等)。为了保证在春节期间,微博系统能稳定运行,通过请求复制工具对该系统去年春节期间收到的红包请求数据进行复制,并导入到线下的待测试的系统中处理,以模拟微博系统在今年春节期间运行是否稳定。
步骤12,对与模拟类型匹配的模拟对象进行模拟处理,根据处理后的模拟对象,得到处理结果;
其中,当模拟对象为请求数据时,相应的处理结果为待测试的系统对于模拟处理后的请求数据的处理结果;当模拟对象为待测试的系统时,相应的处理结果为模拟处理后的待测试的系统对于步骤11中获取到的请求数据的处理结果。
当模拟对象为请求数据时,在一种实施方式中,对请求数据的模拟处理包括:采用加盐技术,对请求数据进行模拟处理,以使得请求数据出现乱序,错误,流量放大,延迟发送等异常情况中的至少一种。
具体采用的加盐技术,可以但不限于是对请求数据进行二进制代码注入。
比如,以移动支付平台为例,当要模拟平台接收大量交易请求数据进而导致流量拥堵的异常情况时,可以对获取的请求数据进行二进制代码注入,从而对请求数据流量进行放大,达到模拟目的。
当模拟对象为待测试的系统时,在一种实施方式中,对待测试的系统的模拟处理包括以下四种方式:
方式一:通过加盐技术,在待测试的系统中的某个或几个子功能模块中去除对应于该功能模块的功能代码,模拟待测试的系统出现的模块删减和功能缺失的情况。例如以检验在线观看视频的系统上删除动漫模块后是否会影响系统的性能为例,可以通过加盐技术,在待测试的系统上将需要删除的动漫模块对应的功能代码删除,从而达到在待测试的系统上模拟删除动漫模块的情况;
方式二:通过加盐技术,在待测试的系统中的某一个或几个子功能模块中增加对应于该功能模块的功能代码,模拟待测试的系统出现的增加新模块的情况。例如以检验在线观看视频的系统上增加动漫模块后是否会影响系统的性能为例,则可以通过加盐技术,在待测试的系统上将需要增加的动漫模块对应的功能代码,从而达到在待测试的系统上模拟增加动漫模块的情况;
方式三:通过加盐技术,在待测试的系统中的某一个或几个子功能模块中更换对应于该功能模块的功能代码,模拟待测试的系统出现的模块更新的情况。例如以检验在线观看视频的系统上更新某个模块后是否会影响系统的性能为例,则可以通过加盐技术,在待测试的系统上更换需要更新的功能模块对应的功能代码,从而达到在待测试的系统上模拟更新模块的情况;
方式四:通过加盐技术,在待测试的系统中关闭至少一个功能模块,模拟待测试的系统出现的模块降级的情况。例如以检验在线观看视频的系统上关闭动漫模块的某项功能后是否会影响系统的性能为例,则可以通过加盐技术,在待测试的系统上将动漫模块的某项功能对应的功能代码关闭,从而达到在待测试的系统上模拟动漫模块降级的情况。
步骤13,根据得到的处理结果(该处理结果可称为“第一处理结果”),得出和待测试的系统对应的线上系统的性能是否稳定。
举例而言,当模拟对象为所述请求数据时,可以通过比较待测试的系统对应的线上系统(后文称所述线上系统)对于步骤11中所述的请求数据(后称所述请求数据)的处理结果(该处理结果可称为“第二处理结果”)和通过执行步骤12得到的处理结果(后文称为“第一处理结果”),得出所述线上系统的性能是否稳定。
若第一处理结果与第二处理结果的匹配度值大于设定的第一匹配度阈值,则可以确定,在通过步骤12对模拟对象进行模拟处理的场景下,待测试的系统具有稳定性,从而也就说明,相应的线上系统在所述请求数据被模拟处理的场景下,也能够正确处理请求数据,即该线上系统的应变性能稳定。反之,若上述匹配度值不大于设定的第一匹配度阈值,则可以确定线上系统的应变性能不稳定。其中,线上系统的应变性能表示:线上系统的功能发生变化或者线上系统处理的请求数据发生异常时,线上系统仍然能够正确处理请求数据的能力。
而当模拟对象为待测试的系统时,若第一处理结果与预期结果的匹配度值大于设定的第二匹配度阈值,则可以确定,在通过步骤12对模拟对象进行模拟处理的场景下,待测试的系统具有稳定性,从而也就说明,相应的线上系统在功能发生变化(如功能的增、删或改等)的场景下,能够得到预期结果,即该线上系统的应变性能稳定;反之,若模拟处理后的待测试的系统对于所述请求数据的处理结果与预期结果的匹配度值不大于设定的第二匹配度阈值,则可以确定待测试的系统的应变性能不稳定。
需要说明的是,本申请实施例中,线上系统的性能除了可以包括应变性能外,还可以包括处理效率性能、处理结果可靠性性能以及处理结果完整性性能等。
其中,线上系统的处理效率性能,表示线上系统能够保持设定的处理效率(该处理效率可以允许在一定范围发生波动值)对请求数据进行处理的能力;线上系统的处理结果可靠性性能,表示线上系统能够保持处理结果的正确率在设定正确率范围内的能力;线上系统的处理结果完整性性能,表示线上系统能够保持处理结果的完整度在设定完整度范围内的能力。
为了确定所述线上系统的除应变性能外的其他性能是否稳定,本申请实施例1提供的该方法还可以包括:根据特定对象,得出线上系统的除应变性能外的其它性能是否稳定。在一种实施方式中,特定对象至少可以包括下述信息中的一种:
信息a:待测试的系统得到第一处理结果所用的时间(t1),以及线上系统得到第二处理结果所用的时间(t2)。
其中,当模拟对象为待测试的系统时,待测试的系统得到第一处理结果所用的时间,可以是以模拟处理后的待测试的系统获取到第一个请求数据为起始时刻,以模拟处理后的待测试的系统得到所述第一处理结果为终止时刻的时间段;而当模拟对象为请求数据时,待测试的系统得到所述第一处理结果所用的时间,是以待测试的系统获得模拟处理后的第一个请求数据为起始时刻,以待测试的系统得到所述第一处理结果为终止时刻的时间段。
基于信息a,若比较得出|t1-t2|≤阈值,则说明待测试的系统的处理效率性能稳定;若|t1-t2|>阈值,则说明待测试的系统的处理效率性能不稳定。
信息b:第一处理结果对应的正确率,以及第二处理结果对应的正确率。
其中,正确率可以通过查询系统日志获得。具体地,以第一处理结果对应的正确率为例,可以获取待测试系统的系统日志中记录的正确处理的请求数据个数(n),以及获取待测试系统的系统日志中记录的请求数据总个数(N);以n/N=R1作为所述第一处理结果对应的正确率。需要说明的是,为了计算第二处理结果对应的正确率R2,可以查询所述线上系统的日志。
基于信息b,若比较得出|R1-R2|>阈值,则说明待测试的系统的处理结果可靠性性能稳定;若|R1-R2|≤阈值,则说明待测试的系统的处理结果可靠性性能不稳定。
信息c:第一处理结果对应的数据量B1,以及第二处理结果对应的数据量B2。
以模拟对象为待测试的系统为例,本申请实施例中,视模拟处理后的待测试的系统对于所述请求数据的处理方式的不同,第一处理结果对应的数据量有不同的含义。比如,若该处理方式为“解析”,则所述第一处理结果对应的数据量,可以是模拟处理后的待测试的系统所输出的、相应的解析结果的数据量;若该处理方式为“加密”,则所述第一处理结果对应的数据量,可以是模拟处理后的待测试的系统所输出的、相应的加密结果的数据量;等等。一般地,模拟对象为待测试的系统的场景下,所述第一处理结果对应的数据量可以为模拟处理后的待测试的系统所输出的相应数据的数据量。
以模拟对象为所述请求数据为例,与上述类似的,所述第一处理结果对应的数据量可以为待测试的系统对模拟后的所述请求数据进行处理后,所输出的相应数据的数据量。
类似地,B2可以为第二处理结果对应的数据量。
基于信息c,若比较得出B1=B2,则说明待测试的系统的处理结果完整性性能稳定;若B1≠B2,则说明待测试的系统的处理结果完整性性能不稳定。
需要说明的是,为了能实时对比第一处理结果以及第二处理结果,在一种实施方式中,在步骤13进行数据对比时,还包括:
确定接收请求数据对应的时间段;从线上系统获得的第二处理结果中,确定对于所述时间段对应的请求数据的处理结果;对待测试的系统在所述时间段获得的第一处理结果与线上系统在所述时间段的第二处理结果进行对比。
例如,以微博系统为例,春节期间微博系统接收到大量的红包请求(发红包请求或抢红包请求等),为了监控大年初一从零点到二十四点这段时间内微博系统是否运行稳定,可以从线上微博系统对于红包请求的处理结果中,确定大年初一零点到二十四点内的红包请求的处理结果;同时获取模拟处理后的待测试的系统(相比线上微博系统的功能模块而言,该模拟处理后的待测试的系统中比如可以被关闭了至少一个功能模块)对红包请求的处理结果;进一步地,对模拟处理后的待测试的系统在上述时间段内对于红包请求的处理结果和线上微博系统在上述同一时段(大年初一从零点到二十四点)的处理结果进行对比。
需要说明的是,无论是待测试的系统,还是相应的线上系统,其对于请求数据的处理结果或多或少都会受到数据库资源、或者硬件资源的影响。比如,第一CPU在运行待测试的系统时,有可能处于CPU资源占用率比较高的状态;而第二CPU在运行相应的线上系统时,有可能处于CPU资源占用率比较低的状态。那么在这样的场景下,该待测试的系统对于模拟后的请求数据进行处理后得出的第一处理结果,与相应的线上系统对于模拟后的请求数据进行处理后得出的第二处理结果可能存在可比性较低的问题。
本申请实施例中,为了避免上述问题,在一种实施方式中,待测试的系统和相应的线上系统可以共同使用一份资源。其中,所述的资源包括:数据库资源以及硬件资源。
需要说明的是,实施例1所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。
实施例1中,运用加盐方式,可以在待测试的系统中模拟制造各种可能出现的场景;同时根据第一处理结果进行实时对比分析跟统计,从而解决了无法根据测试需要,模拟待测试的系统可能会遇到的各种异常场景,以及无法提供对于待测试的系统对应的线上系统的性能评估机制的问题。
实施例2
本实施例提供一种检测系统性能的装置,以解决现有技术中存在的应用的功能实现效率较低的问题。该装置的具体实现流程示意图如图2所示,包括请求数据引流单元21,模拟单元22,数据获取分析单元23。
其中,请求数据引流单元21,用于获取请求数据以及模拟类型;
模拟单元22,用于确定与所述模拟类型匹配的模拟对象,并对所述模拟对象进行模拟处理;根据模拟处理后的模拟对象,得到第一处理结果;其中,所述模拟对象为所述请求数据或待测试的系统;当所述模拟对象为所述请求数据时,所述第一处理结果为待测试的系统对于模拟处理后的所述请求数据的处理结果;当所述模拟对象为待测试的系统时,所述第一处理结果为模拟处理后的待测试的系统对于所述请求数据的处理结果;
数据对比分析单元23,用于得出所述线上系统的性能是否稳定。
在一种实施方式中,模拟单元22,可以根据请求数据引流单元21获取的模拟类型,采用加盐技术,对所述模拟对象进行模拟处理。
在一种实施方式中,模拟单元22,可以对请求数据通过加盐技术处理,使请求数据发生乱序、内容错误、流量放大以及延迟发送中的至少一种情况;还可以通过加盐技术模拟系统出现模块故障,模块更新、增加、删减的情况。
在一种实施方式中,数据对比分析单元23,具体用于确定接收请求数据对应的时间段;从线上系统获得的对于请求数据的处理结果中,确定对于所述时间段对应的请求数据的第二处理结果;对所述第一处理结果与确定出的所述第二处理结果进行对比,得出和待测试的系统对应的线上系统的性能是否稳定。
本申请实施例中,上述性能具体可以为应变性能。线上系统的应变性能表示:线上系统的功能发生变化或者线上系统处理的请求数据发生异常时,线上系统仍然能够正确处理请求数据的能力。
为了确定线上系统的除所述应变性能外的其它性能是否稳定,在一种实施方式中,数据对比分析单元23,还可以用于根据特定对象,得出线上系统的除所述应变性能外的其它性能是否稳定;其中,所述特定对象除了包括第一处理结果外,至少还包括下述信息中的一种:
待测试的系统得到第一处理结果所用的时间,以及线上系统得到对于请求数据的第二处理结果所用的时间;
第一处理结果对应的正确率,以及第二处理结果对应的正确率;
第一处理结果对应的数据量,以及第二处理结果对应的数据量。
采用本申请实施例2提供的上述方法,由于引入模拟单元,可以在待测试的系统中模拟制造各种可能出现的场景,同时运用数据对比分析单元,将待测试的系统和待测试的系统对应的线上系统对于请求数据的处理结果进行实时对比分析跟统计,解决现有的测试方法适用性较差,且不能提供线上系统的性能评估机制的问题。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种检测系统性能的方法,其特征在于,包括:
获取请求数据以及模拟类型;
确定与所述模拟类型匹配的模拟对象,并对所述模拟对象进行模拟处理;其中,所述模拟对象为所述请求数据或待测试的系统;
根据模拟处理后的模拟对象,得到第一处理结果;其中,当所述模拟对象为所述请求数据时,所述第一处理结果为待测试的系统对于模拟处理后的所述请求数据的处理结果;当所述模拟对象为待测试的系统时,所述第一处理结果为模拟处理后的待测试的系统对于所述请求数据的处理结果;
根据所述第一处理结果,得出和待测试的系统对应的线上系统的性能是否稳定。
2.如权利要求1所述方法,其特征在于,对所述模拟对象进行模拟处理,包括:
采用加盐技术,对所述模拟对象进行模拟处理。
3.如权利要求2所述方法,其特征在于,
当模拟对象为请求数据时,采用加盐技术,对请求数据进行模拟处理包括:采用加盐技术,对所述请求数据进行模拟,使所述请求数据发生乱序、内容错误、流量放大以及延迟发送中的至少一种情况;
当模拟对象为待测试的系统时,采用加盐技术,对所述模拟对象进行模拟处理包括:采用加盐技术,执行特定操作;其中,所述特定操作包括下述操作中的至少一种:
删除待测试的系统的至少一个功能模块;
更新待测试的系统的至少一个功能模块;
为待测试的系统增加功能模块;
关闭待测试的系统的至少一个功能模块。
4.如权利要求1所述的方法,其特征在于,根据所述第一处理结果,得出和待测试的系统对应的线上系统的性能是否稳定,包括:
确定所述请求数据对应的时间段;
从线上系统获得的对于请求数据的处理结果中,确定对于所述时间段对应的请求数据的第二处理结果;
对所述第一处理结果与确定出的所述第二处理结果进行对比,得出和待测试的系统对应的线上系统的性能是否稳定。
5.如权利要求1~4任一权项所述的方法,其特征在于,所述性能为应变性能;线上系统的应变性能表示:线上系统的功能发生变化或者线上系统处理的请求数据发生异常时,线上系统仍然能够正确处理请求数据的能力;
所述方法还包括:
根据特定对象,得出线上系统的除所述应变性能外的其它性能是否稳定;其中,所述特定对象包括下述信息中的一种:
待测试的系统得到第一处理结果所用的时间,以及线上系统得到对于请求数据的第二处理结果所用的时间;
第一处理结果对应的正确率,以及线上系统得到的第二处理结果对应的正确率;
第一处理结果对应的数据量,以及线上系统得到的第二处理结果对应的数据量。
6.一种检测系统性能的装置,其特征在于,包括:
请求数据引流单元,用于获取请求数据以及模拟类型;
模拟单元,用于确定与所述模拟类型匹配的模拟对象,并对所述模拟对象进行模拟处理;根据模拟处理后的模拟对象,得到第一处理结果;其中,所述模拟对象为所述请求数据或待测试的系统;当所述模拟对象为所述请求数据时,所述第一处理结果为待测试的系统对于模拟处理后的所述请求数据的处理结果;当所述模拟对象为待测试的系统时,所述第一处理结果为模拟处理后的待测试的系统对于所述请求数据的处理结果;
数据对比分析单元,用于得出和待测试的系统对应的线上系统的性能是否稳定。
7.如权利要求6所述的装置,其特征在于,模拟单元,具体用于:采用加盐技术,对所述模拟对象进行模拟处理。
8.如权利要求7所述的装置,其特征在于,模拟单元,具体用于:当模拟对象为请求数据时,采用加盐技术,对所述请求数据进行模拟,使所述请求数据发生乱序、内容错误、流量放大以及延迟发送中的至少一种情况;
当模拟对象为待测试的系统时,采用加盐技术,执行特定操作;其中,所述特定操作包括下述操作中的至少一种:
删除待测试的系统的至少一个功能模块;
更新待测试的系统的至少一个功能模块;
为待测试的系统增加功能模块;
关闭待测试的系统的至少一个功能模块。
9.如权利要求6所述的装置,其特征在于,数据对比分析单元,具体用于:
确定接收请求数据对应的时间段;从线上系统获得的对于请求数据的处理结果中,确定对于所述时间段对应的请求数据的第二处理结果;对所述第一处理结果与确定出的所述第二处理结果进行对比,得出和待测试的系统对应的线上系统的性能是否稳定。
10.如权利要求6~9任一权项所述的装置,其特征在于,所述性能为应变性能;线上系统的应变性能表示:线上系统的功能发生变化或者线上系统处理的请求数据发生异常时,线上系统仍然能够正确处理请求数据的能力;
数据对比分析单元,还用于:
根据特定对象,得出线上系统的除所述应变性能外的其它性能是否稳定;其中,所述特定对象包括下述信息中的一种:
待测试的系统得到第一处理结果所用的时间,以及线上系统得到对于请求数据的第二处理结果所用的时间;
第一处理结果对应的正确率,以及线上系统得到的第二处理结果对应的正确率;
第一处理结果对应的数据量,以及线上系统得到的第二处理结果对应的数据量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510144883.8A CN104778123B (zh) | 2015-03-30 | 2015-03-30 | 一种检测系统性能的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510144883.8A CN104778123B (zh) | 2015-03-30 | 2015-03-30 | 一种检测系统性能的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104778123A true CN104778123A (zh) | 2015-07-15 |
CN104778123B CN104778123B (zh) | 2017-08-25 |
Family
ID=53619602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510144883.8A Active CN104778123B (zh) | 2015-03-30 | 2015-03-30 | 一种检测系统性能的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104778123B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105760158A (zh) * | 2016-01-29 | 2016-07-13 | 珠海市魅族科技有限公司 | 一种信息加载方法及装置 |
CN106874176A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 智能测试方法和装置 |
CN106886492A (zh) * | 2017-02-13 | 2017-06-23 | 北京趣拿软件科技有限公司 | 基于数据回放的测试方法和测试装置 |
CN107171881A (zh) * | 2016-03-08 | 2017-09-15 | 阿里巴巴集团控股有限公司 | 消息处理系统的测试方法和装置 |
CN107967204A (zh) * | 2017-11-21 | 2018-04-27 | 百度在线网络技术(北京)有限公司 | 线下压测的方法、系统及终端设备 |
CN109324968A (zh) * | 2018-09-26 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种系统测试方法及装置 |
CN112579383A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 模拟系统故障的方法及装置 |
CN112765045A (zh) * | 2021-04-07 | 2021-05-07 | 四川新网银行股份有限公司 | 一种基于案例模板的流量回放方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1740980A (zh) * | 2004-08-29 | 2006-03-01 | 华为技术有限公司 | 一种基于可编程逻辑器件的故障注入方法和装置 |
US20080154574A1 (en) * | 2006-12-21 | 2008-06-26 | Buechler Jodi A | Application emulation on a non-production computer system |
CN103559112A (zh) * | 2013-11-05 | 2014-02-05 | 北京经纬恒润科技有限公司 | 一种软件故障注入方法及系统 |
CN104090839A (zh) * | 2014-07-02 | 2014-10-08 | 中国银行股份有限公司 | 异常场景模拟测试方法及装置 |
CN104182333A (zh) * | 2013-05-23 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种性能测试方法和设备 |
CN104410542A (zh) * | 2014-11-18 | 2015-03-11 | 小米科技有限责任公司 | 模拟测试方法及装置 |
-
2015
- 2015-03-30 CN CN201510144883.8A patent/CN104778123B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1740980A (zh) * | 2004-08-29 | 2006-03-01 | 华为技术有限公司 | 一种基于可编程逻辑器件的故障注入方法和装置 |
US20080154574A1 (en) * | 2006-12-21 | 2008-06-26 | Buechler Jodi A | Application emulation on a non-production computer system |
CN104182333A (zh) * | 2013-05-23 | 2014-12-03 | 阿里巴巴集团控股有限公司 | 一种性能测试方法和设备 |
CN103559112A (zh) * | 2013-11-05 | 2014-02-05 | 北京经纬恒润科技有限公司 | 一种软件故障注入方法及系统 |
CN104090839A (zh) * | 2014-07-02 | 2014-10-08 | 中国银行股份有限公司 | 异常场景模拟测试方法及装置 |
CN104410542A (zh) * | 2014-11-18 | 2015-03-11 | 小米科技有限责任公司 | 模拟测试方法及装置 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106874176A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 智能测试方法和装置 |
CN105760158A (zh) * | 2016-01-29 | 2016-07-13 | 珠海市魅族科技有限公司 | 一种信息加载方法及装置 |
CN107171881A (zh) * | 2016-03-08 | 2017-09-15 | 阿里巴巴集团控股有限公司 | 消息处理系统的测试方法和装置 |
CN106886492A (zh) * | 2017-02-13 | 2017-06-23 | 北京趣拿软件科技有限公司 | 基于数据回放的测试方法和测试装置 |
CN107967204A (zh) * | 2017-11-21 | 2018-04-27 | 百度在线网络技术(北京)有限公司 | 线下压测的方法、系统及终端设备 |
CN107967204B (zh) * | 2017-11-21 | 2020-12-25 | 百度在线网络技术(北京)有限公司 | 线下压测的方法、系统及终端设备 |
CN109324968A (zh) * | 2018-09-26 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种系统测试方法及装置 |
CN109324968B (zh) * | 2018-09-26 | 2022-03-04 | 北京奇艺世纪科技有限公司 | 一种系统测试方法及装置 |
CN112579383A (zh) * | 2019-09-30 | 2021-03-30 | 北京国双科技有限公司 | 模拟系统故障的方法及装置 |
CN112765045A (zh) * | 2021-04-07 | 2021-05-07 | 四川新网银行股份有限公司 | 一种基于案例模板的流量回放方法 |
CN112765045B (zh) * | 2021-04-07 | 2021-11-09 | 四川新网银行股份有限公司 | 一种基于案例模板的流量回放方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104778123B (zh) | 2017-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104778123A (zh) | 一种检测系统性能的方法及装置 | |
US11710131B2 (en) | Method and apparatus of identifying a transaction risk | |
US20210160053A1 (en) | Merkle tree construction methods and apparatuses and simplified payment verification methods and apparatuses | |
KR102071160B1 (ko) | 애플리케이션 정보 위험 관리를 위한 방법 및 장치 | |
US9600393B2 (en) | Testing of application service versions on live data | |
US11003563B2 (en) | Compliance testing through sandbox environments | |
US20210049715A1 (en) | Blockchain-based data procesing method, apparatus, and electronic device | |
US20210109917A1 (en) | System and Method for Processing a Database Query | |
CN107710215A (zh) | 在测试设施中的移动计算装置安全的方法和设备 | |
CN106610854A (zh) | 一种模型更新方法及装置 | |
CN110008743B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
US20190386888A1 (en) | System and method for simulating network events | |
CN106650495A (zh) | 一种文件验证方法及装置 | |
CN106897342A (zh) | 一种数据校验方法和设备 | |
CN110019278A (zh) | 一种数据验证方法、装置及设备 | |
CN110347678B (zh) | 一种金融数据的存储方法、系统、装置及设备 | |
CN110555682B (zh) | 基于联盟链的多通道实现方法 | |
CN106547658A (zh) | 一种自动化测试方法及装置 | |
CN118092970A (zh) | 基于信任度的设备更新方法、装置和计算机设备 | |
CN108090364B (zh) | 一种数据泄漏源的定位方法及系统 | |
US10089475B2 (en) | Detection of security incidents through simulations | |
CN110059087B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
CN109597706B (zh) | 一种核对差异数据的检测方法、装置及系统 | |
CN110858211A (zh) | 数据存储方法、装置及系统、存储介质 | |
US11868911B1 (en) | Distributed ledger based machine-learning model management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |