CN109165153A - 一种高仿真证券业交易类系统的性能测试方法 - Google Patents

一种高仿真证券业交易类系统的性能测试方法 Download PDF

Info

Publication number
CN109165153A
CN109165153A CN201811039828.2A CN201811039828A CN109165153A CN 109165153 A CN109165153 A CN 109165153A CN 201811039828 A CN201811039828 A CN 201811039828A CN 109165153 A CN109165153 A CN 109165153A
Authority
CN
China
Prior art keywords
test
performance test
performance
message
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811039828.2A
Other languages
English (en)
Other versions
CN109165153B (zh
Inventor
张令兵
王阳
田江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huatai Securities Co Ltd
Original Assignee
Huatai Securities Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huatai Securities Co Ltd filed Critical Huatai Securities Co Ltd
Priority to CN201811039828.2A priority Critical patent/CN109165153B/zh
Publication of CN109165153A publication Critical patent/CN109165153A/zh
Application granted granted Critical
Publication of CN109165153B publication Critical patent/CN109165153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3457—Performance evaluation by simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Abstract

本发明提供一种高仿真证券业交易类系统的性能测试方法，包括下列步骤：数据准备、场景设计、数据构造、测试执行、测试监控、数据收集性能分析。本发明使用生产报文，按照生产上的顺序发送报文，模拟生产已发生的业务场景和今后可能发生的业务场景，利用技术手段监控及获取系统的业务及技术性能指标，从而评估及预测核心系统的性能表现。本发明使性能测试工程师在开展证券类交易系统的性能测试时可获得一种高效、便捷、准确的测试方式，得出系统真实的性能表现指标。

Description

一种高仿真证券业交易类系统的性能测试方法
技术领域
本发明涉及一种证券业性能测试方法，具体涉及一种高仿真证券业交易类系统的性能测试方法。
背景技术
随着证券行业的高速发展，各类证券交易类业务越来越多样化、复杂化，客户对交易服务对各项业务的性能提出了很高的要求；同时系统管理人员十分关心，当火爆行情来临时，或随着业务规模的扩张，现有的系统是否能够满足前述两种场景情况下对性能的要求。如何有效的评估现有的证券交易类系统的性能是否达到设计要求，如何评估并预测在业务扩张及火爆行情下，系统的性能表现是否达标，是一个困扰证券行业的难题。
由于证券行业的特殊性和专业性，对性能测试方法提出了很高的要求，具体有：(1)高仿真度——测试场景多样化、测试数据真实性高、测试路径覆盖全面；(2)易于分析——需要直接能够反映出升级前后证券交易系统的整体及具体功能的性能变化情况；(3)可定制化——支持证券交易系统的定制化协议。然而现有的性能测试方法对前述需求不能给予很好的支持，如何设计出一种高仿真、易于分析、可定制化的性能测试方法是证券行业关注的重要问题之一。
发明内容
为了解决现有技术和方法的不足和问题，使性能测试工程师在开展证券类交易系统的性能测试时可获得一种高效、便捷、准确的测试方式，得出系统真实的性能表现指标，本发明提供了一种高仿真证券业交易类系统的性能测试方法。
本发明的技术方案是：一种高仿真证券业交易类系统的性能测试方法，包括下列步骤：
S1：数据准备，获取交易系统中某一个完整交易日的生产报文，将其集中存储在某一物理区域；
S2：场景设计，设计常规仿真比对测试、预测行情仿真测试以及个性化自定义测试场景；
S3：数据构造，将原始报文数据，根据场景需要将其构造成为高仿真测试数据、预测仿真数据以及自定义场景数据；
S4：测试执行，根据测试场景选定合适数量的压力机，选取测试场景数据，由性能测试主控机发布测试执行命令，通过证券交易类定制化协议发送报文，开始执行性能测试；
S5：测试监控，在测试过程中实时监控测试执行过程，实时监控被测系统的软性性能指标，软性性能指标包括TPS(每秒事务处理量)以及RTT(事务处理延迟)等；实时监控被测系统的硬性性能指标，硬性性能指标包括CPU(中央处理器)、带宽以及内存的利用率。所有的监控数据都会被存储，以便后续做分析之用；
S6：数据收集，测试监控数据分布在各个压力机和被测系统的各个组件上，测试执行完毕后，自动从前述各部分收集监控数据，并统一存储在性能测试主控机上；
S7：性能分析，分析收集的测试数据监控数据，得出升级前后被测系统的整体以及具体功能的性能变化情况，通过整理一段时间的数据，得出这段时间的性能变化曲线。
优选地，所述测试场景包括单功能号单进程低压力性能测试，即取多个功能号，分别对每个功能号的报文单进程串行同步发送。
优选地，所述单功能号单进程低压力性能测试的目的是获取生产环境各功能号RTT的耗时数据。
优选地，所述单功能号单进程低压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入单个进程报文结构，通过所述压力机对多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，在通过T2接口将生产报文传输到经纪业务平台。
优选地，所述测试场景也包括单功能号多进程高压力性能测试，即取多个功能号，分别对每个功能号的报文多进程并行发送，每个进程串行同步发送报文。
优选地，所述单功能号多进程高压力性能测试的测试目的是获取生产环境各功能号能够承载的TPS压力值。
优选地，所述单功能号多进程高压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入多个进程报文结构，通过多个所述压力机将多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。
优选地，所述测试场景还包括全量日志多进程高压力性能测试，即取所有功能号的全量日志，对混合报文多进程并行发送，每个进程串行同步发送报文。
优选地，所述全量日志多进程高压力性能测试的测试目的是获取生产环境整体能够承载的TPS压力值。
优选地，所述全量日志多进程高压力性能测试的测试原理是先从数据库报文存储中抽取全部功能号所有报文，然后进入多个进程报文结构，通过多个所述压力机对多客户的所有功能号按生产报文产生时间先后顺序进行磁盘存储，且多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。
与现有技术相比，本发明的一种高仿真证券行业交易类系统的测试方法，使用生产报文，按照生产上的顺序发送报文，模拟生产已发生的业务场景和今后可能发生的业务场景，利用技术手段监控及获取系统的业务及技术性能指标，从而评估及预测核心系统的性能表现。本发明使性能测试工程师在开展证券类交易系统的性能测试时可获得一种高效、便捷、准确的测试方式，得出系统真实的性能表现指标。
附图说明
图1为本发明所述的性能测试流程示意图；
图2为本发明的整体技术架构图；
图3为本发明的测试数据准备技术架构图；
图4为本发明的场景设计示意图；
图5为本发明的测试执行技术架构图；
图6为本发明的测试监控示意图；
图7为本发明的性能分析之TPS分析图；
图8为本发明的性能分析之RTT分析图；
图9为本发明的单功能号单进程低压力性能测试原理图；
图10为本发明的单功能号多进程高压力性能测试原理图；
图11为本发明的全量日志多进程高压力性能测试原理图；
图12为本发明的生产上TPS曲线；
图13为本发明的性能测试TPS曲线(取14分钟内的比对结果)。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
请结合参阅图1、图2、图3、图4、图5、图6、图7以及图8，本发明一实施例的高仿真证券业交易类系统的性能测试方法，包括下列步骤：
S1：数据准备，获取交易系统中某一个完整交易日的生产报文，将其集中存储在某一物理区域；
S2：场景设计，设计常规仿真比对测试、预测行情仿真测试以及个性化自定义测试场景；
S3：数据构造，将原始报文数据，根据场景需要将其构造成为高仿真测试数据、预测仿真数据以及自定义场景数据；
S4：测试执行，根据测试场景选定合适数量的压力机，选取测试场景数据，由性能测试主控机发布测试执行命令，通过证券交易类定制化协议发送报文，开始执行性能测试；
S5：测试监控，在测试过程中实时监控测试执行过程，实时监控被测系统的软性性能指标，主要是TPS(每秒事务处理量)以及RTT(事务处理延迟)等；实时监控被测系统的硬性性能指标，主要是CPU(中央处理器)、带宽、内存的利用率。所有的监控数据都会被存储，以便后续做分析之用；
S6：数据收集，测试监控数据分布在各个压力机和被测系统的各个组件上，测试执行完毕后，自动从前述各部分收集监控数据，并统一存储在性能测试主控机上；
S7：性能分析，分析收集的测试数据监控数据，得出升级前后被测系统的整体以及具体功能的性能变化情况，通过整理一段时间的数据，得出这段时间的性能变化曲线。
优选地，测试场景包括单功能号单进程低压力性能测试，即取前100个功能号，分别对每个功能号的报文单进程串行同步发送，每种功能号报文100条。优选地，单功能号单进程低压力性能测试的目的是获取生产环境各功能号RTT的耗时数据。如图9所示，优选地，单功能号单进程低压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入单个进程报文结构，通过压力机对多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，在通过T2接口将生产报文传输到经纪业务平台。单功能号单进程低压力性能测试的测试结果概述：此场景共执行100个功能号，测试目的是评估各功能号报文响应时间(RTT)性能变化，其测试结果如下：
性能降低50％以上的功能号共3个。
性能提高50％以上的功能号共1个。
优选地，测试场景也包括单功能号多进程高压力性能测试，即取前52功能号，分别对每个功能号的报文多进程并行发送，并发度为1000，每个进程串行同步发送报文，每种功能号报文发送25秒。优选地，单功能号多进程高压力性能测试的测试目的是获取生产环境各功能号能够承载的TPS压力值。如图10所示，优选地，单功能号多进程高压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入多个进程报文结构，通过多个压力机将多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。单功能号多进程高压力性能测试的测试结果概述：此场景共执行了52个功能号，测试目的是评估生产环境各功能号每秒钟处理能力(TPS)，以及TPS容量对比(各功能号生产上峰值TPS均未超过本次测试均值TPS的50％)，其测试结果如下：
1)2个功能号性能降低超过50％。
2)3个功能号性能提升超过50％。
3)520018-LS_华泰基金周边_LOF列表查询优化效果明显，优化后峰值TPS超过2000。
优选地，测试场景还包括全量日志多进程高压力性能测试，即取所有功能号的全量日志，对混合报文多进程并行发送，并发度为1000，每个进程串行同步发送报文，共发送20分钟以内。优选地，全量日志多进程高压力性能测试的测试目的是获取生产环境整体能够承载的TPS压力值。如图11所示，优选地，全量日志多进程高压力性能测试的测试原理是先从数据库报文存储中抽取全部功能号所有报文，然后进入多个进程报文结构，通过多个压力机对多客户的所有功能号按生产报文产生时间先后顺序进行磁盘存储，且多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。全量日志多进程高压力性能测试的测试结果概述：请结合参阅图12和图13，前8分钟执行的报文大部分是生产上8点到9点30分的报文，其查询历史数据的报文较多导致系统TPS不高，本次执行前8分钟性能差异较大，主要是查询历史数据量的差异导致。8分钟之后查询历史数据的报文较少，其性能与上次结果对比差异较小，性能基本没有变化。测试结果如下：
本发明的一种高仿真证券行业交易类系统的测试方法，使用生产报文，按照生产上的顺序发送报文，模拟生产已发生的业务场景和今后可能发生的业务场景，利用技术手段监控及获取系统的业务及技术性能指标，从而评估及预测核心系统的性能表现。本发明使性能测试工程师在开展证券类交易系统的性能测试时可获得一种高效、便捷、准确的测试方式，得出系统真实的性能表现指标。
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (10)

1.一种高仿真证券业交易类系统的性能测试方法，其特征在于包括下列步骤：
S1：数据准备，获取交易系统中某一个完整交易日的生产报文，将其集中存储在某一物理区域；
S2：场景设计，设计常规仿真比对测试、预测行情仿真测试以及个性化自定义测试场景；
S3：数据构造，将原始报文数据，根据场景需要将其构造成为高仿真测试数据、预测仿真数据以及自定义场景数据；
S4：测试执行，根据测试场景选定合适数量的压力机，选取测试场景数据，由性能测试主控机发布测试执行命令，通过证券交易类定制化协议发送报文，开始执行性能测试；
S5：测试监控，在测试过程中实时监控测试执行过程，实时监控被测系统的软性性能指标，所述软性性能指标包括TPS每秒事务处理量以及RTT事务处理延迟；实时监控被测系统的硬性性能指标，所述硬性性能指标包括CPU中央处理器、带宽以及内存的利用率；所有的监控数据都会被存储，以便后续做分析之用；
S6：数据收集，测试监控数据分布在各个压力机和被测系统的各个组件上，测试执行完毕后，自动从前述各部分收集监控数据，并统一存储在性能测试主控机上；
S7：性能分析，分析收集的测试数据监控数据，得出升级前后被测系统的整体以及具体功能的性能变化情况，通过整理一段时间的数据，得出这段时间的性能变化曲线。
2.如权利要求1所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述测试场景包括单功能号单进程低压力性能测试，即取多个功能号，分别对每个功能号的报文单进程串行同步发送。
3.如权利要求2所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述单功能号单进程低压力性能测试的目的是获取生产环境各功能号RTT的耗时数据。
4.如权利要求2所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述单功能号单进程低压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入单个进程报文结构，通过所述压力机对多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，在通过T2接口将生产报文传输到经纪业务平台。
5.如权利要求1所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述测试场景也包括单功能号多进程高压力性能测试，即取多个功能号，分别对每个功能号的报文多进程并行发送，每个进程串行同步发送报文。
6.如权利要求5所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述单功能号多进程高压力性能测试的测试目的是获取生产环境各功能号能够承载的TPS压力值。
7.如权利要求5所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述单功能号多进程高压力性能测试的测试原理是先从数据库报文存储中抽取指定功能号A报文，然后进入多个进程报文结构，通过多个所述压力机将多客户的功能号A按生产报文产生时间先后顺序进行磁盘存储，多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。
8.如权利要求1所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述测试场景还包括全量日志多进程高压力性能测试，即取所有功能号的全量日志，对混合报文多进程并行发送，每个进程串行同步发送报文。
9.如权利要求8所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述全量日志多进程高压力性能测试的测试目的是获取生产环境整体能够承载的TPS压力值。
10.如权利要求1所述的高仿真证券业交易类系统的性能测试方法，其特征在于所述全量日志多进程高压力性能测试的测试原理是先从数据库报文存储中抽取全部功能号所有报文，然后进入多个进程报文结构，通过多个所述压力机对多客户的所有功能号按生产报文产生时间先后顺序进行磁盘存储，且多个进程之间客户不同，再通过T2接口将生产报文传输给经纪业务平台。
CN201811039828.2A 2018-09-06 2018-09-06 一种高仿真证券业交易类系统的性能测试方法 Active CN109165153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811039828.2A CN109165153B (zh) 2018-09-06 2018-09-06 一种高仿真证券业交易类系统的性能测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811039828.2A CN109165153B (zh) 2018-09-06 2018-09-06 一种高仿真证券业交易类系统的性能测试方法

Publications (2)

Publication Number Publication Date
CN109165153A true CN109165153A (zh) 2019-01-08
CN109165153B CN109165153B (zh) 2022-04-26

Family

ID=64894462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811039828.2A Active CN109165153B (zh) 2018-09-06 2018-09-06 一种高仿真证券业交易类系统的性能测试方法

Country Status (1)

Country Link
CN (1) CN109165153B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569190A (zh) * 2019-08-27 2019-12-13 中国工商银行股份有限公司 交易压力测试方法和装置、以及电子设备和可读存储介质
CN112256581A (zh) * 2020-10-27 2021-01-22 华泰证券股份有限公司 高仿真证券业交易类系统的日志回放测试方法及装置
CN112381322A (zh) * 2020-11-27 2021-02-19 上海九方云智能科技有限公司 基于期权计算波动率指数来进行风险预警的方法及系统
CN112463568A (zh) * 2020-12-08 2021-03-09 中国人寿保险股份有限公司 业务仿真测试方法、装置及电子设备
CN112967035A (zh) * 2021-03-15 2021-06-15 深圳市长亮科技股份有限公司 跨数据库进行业务系统追账/测评方法及系统
CN113254289A (zh) * 2021-06-11 2021-08-13 武汉卓目科技有限公司 基于NVMe磁盘阵列的单机测试方法、装置及系统
CN113590440A (zh) * 2021-06-28 2021-11-02 浪潮商用机器有限公司 一种银行核心系统的压力测试方法、装置、设备及介质
CN111309594B (zh) * 2020-01-17 2024-04-23 腾讯科技（深圳）有限公司 一种系统测试方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097625A (zh) * 2006-06-29 2008-01-02 中国银联股份有限公司 一种提高银行卡交易处理系统ras性能的方法和系统
CN103970876A (zh) * 2014-05-15 2014-08-06 浪潮电子信息产业股份有限公司 一种基于Informix数据库服务器性能评估实现方法
US20150134566A1 (en) * 2013-11-08 2015-05-14 Sas Institute Inc. Computer-Implemented Systems and Methods for Hedging with Counterbalancing Capacity
CN105825428A (zh) * 2016-04-22 2016-08-03 中国农业银行股份有限公司 一种面向商业银行的生产模拟测试方法和系统
CN106470133A (zh) * 2015-08-20 2017-03-01 阿里巴巴集团控股有限公司 系统压力测试方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101097625A (zh) * 2006-06-29 2008-01-02 中国银联股份有限公司 一种提高银行卡交易处理系统ras性能的方法和系统
US20150134566A1 (en) * 2013-11-08 2015-05-14 Sas Institute Inc. Computer-Implemented Systems and Methods for Hedging with Counterbalancing Capacity
CN103970876A (zh) * 2014-05-15 2014-08-06 浪潮电子信息产业股份有限公司 一种基于Informix数据库服务器性能评估实现方法
CN106470133A (zh) * 2015-08-20 2017-03-01 阿里巴巴集团控股有限公司 系统压力测试方法及装置
CN105825428A (zh) * 2016-04-22 2016-08-03 中国农业银行股份有限公司 一种面向商业银行的生产模拟测试方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569190A (zh) * 2019-08-27 2019-12-13 中国工商银行股份有限公司 交易压力测试方法和装置、以及电子设备和可读存储介质
CN110569190B (zh) * 2019-08-27 2023-03-31 中国工商银行股份有限公司 交易压力测试方法和装置、以及电子设备和可读存储介质
CN111309594B (zh) * 2020-01-17 2024-04-23 腾讯科技（深圳）有限公司 一种系统测试方法、装置、设备及存储介质
CN112256581A (zh) * 2020-10-27 2021-01-22 华泰证券股份有限公司 高仿真证券业交易类系统的日志回放测试方法及装置
CN112256581B (zh) * 2020-10-27 2024-01-23 华泰证券股份有限公司 高仿真证券业交易类系统的日志回放测试方法及装置
CN112381322A (zh) * 2020-11-27 2021-02-19 上海九方云智能科技有限公司 基于期权计算波动率指数来进行风险预警的方法及系统
CN112463568A (zh) * 2020-12-08 2021-03-09 中国人寿保险股份有限公司 业务仿真测试方法、装置及电子设备
CN112967035A (zh) * 2021-03-15 2021-06-15 深圳市长亮科技股份有限公司 跨数据库进行业务系统追账/测评方法及系统
CN113254289A (zh) * 2021-06-11 2021-08-13 武汉卓目科技有限公司 基于NVMe磁盘阵列的单机测试方法、装置及系统
CN113254289B (zh) * 2021-06-11 2021-10-15 武汉卓目科技有限公司 基于NVMe磁盘阵列的单机测试方法、装置及系统
CN113590440A (zh) * 2021-06-28 2021-11-02 浪潮商用机器有限公司 一种银行核心系统的压力测试方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109165153B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
CN109165153A (zh) 一种高仿真证券业交易类系统的性能测试方法
EP2572294B1 (en) System and method for sql performance assurance services
CN110618924B (zh) 一种web应用系统的链路压力测试方法
CN110162471A (zh) 一种基于容器云的压力测试方法及系统
CN112884092B (zh) Ai模型生成方法、电子设备及存储介质
CN111752850B (zh) 区块链系统的测试方法及相关设备
CN106803799B (zh) 一种性能测试方法和装置
CN110069411A (zh) 客户端性能质量报告生成方法、装置、介质及电子设备
CN108765149B (zh) 一种基于集群的量化策略回测系统及其回测方法
CN109800995A (zh) 一种电网设备故障识别方法及系统
CN103761393B (zh) 一种基于细粒度性能计数器建立系统实时功耗模型的方法
CN107741906B (zh) 货币基金系统自动化测试方法、装置、设备及存储介质
JP2018060332A (ja) インシデント分析プログラム、インシデント分析方法、情報処理装置、サービス特定プログラム、サービス特定方法及びサービス特定装置
CN115757150A (zh) 一种生产环境测试方法、装置、设备及存储介质
CN106959872A (zh) 应用上线方法和装置
US20140181768A1 (en) Automated performance verification for integrated circuit design
CN112202647B (zh) 区块链网络中的测试方法、装置及测试设备
CN114218123A (zh) 一种业务流量的参数自动调优方法及装置
CN112346962A (zh) 一种应用于对照测试系统中的对照数据测试方法及装置
CN110597728A (zh) 构建测试数据的方法、装置及系统
CN106445812A (zh) 回归测试系统及回归测试方法
CN111274138B (zh) 一种并账功能的测试方法及装置
CN110728315A (zh) 一种实时质量控制方法，系统和设备
CN112967035A (zh) 跨数据库进行业务系统追账/测评方法及系统
CN113360363A (zh) 微服务系统的测试方法、装置、设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant