CN110147315A - 并发性能测试方法、装置、计算机设备及存储介质 - Google Patents
并发性能测试方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110147315A CN110147315A CN201910307140.6A CN201910307140A CN110147315A CN 110147315 A CN110147315 A CN 110147315A CN 201910307140 A CN201910307140 A CN 201910307140A CN 110147315 A CN110147315 A CN 110147315A
- Authority
- CN
- China
- Prior art keywords
- platform
- request
- target response
- response data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011056 performance test Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 194
- 238000012360 testing method Methods 0.000 claims abstract description 131
- 238000001514 detection method Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 21
- 230000000977 initiatory effect Effects 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims description 5
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000013481 data capture Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
- G06Q30/0245—Surveys
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种并发性能测试方法、装置、计算机设备及存储介质，涉及研发管理领域。该并发性能测试方法包括由测试服务器执行的如下步骤：获取广告竞价平台发出的响应请求，其中，响应请求包括访问标识和并发请求标识；基于访问标识、并发请求标识和统一资源定位符调用预先创建的测试服务，根据测试服务访问模拟广告主需求方平台；根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据；向广告竞价平台发送目标响应数据，并接收广告竞价平台返回的竞价结果，根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格。采用该并发性能测试方法能够对广告竞价平台的并发性能进行快捷有效的测试。
Description
【技术领域】
本发明涉及研发管理领域，尤其涉及一种并发性能测试方法、装置、计算机设备及存储介质。
【背景技术】
广告主需求方平台(Demand-Side Platform，简称DSP)是指为广告主提供跨媒介、跨平台、跨终端的广告投放平台，通过数据整合、分析，实现基于受众的精准投放，并且实时监控不断优化。广告竞价平台(Ad Exchange，简称ADX)是指负责连接买方和卖方，将媒体的广告流量以拍卖的方式卖给广告主需求方平台的竞价平台。当前在测试广告竞价平台的并发性能时，限制于并发处理的真实场景的构建时长等因素，难以对广告竞价平台的并发性能进行快捷有效的测试。
【发明内容】
有鉴于此，本发明实施例提供了一种并发性能测试方法、装置、计算机设备及存储介质，用以解决难以对广告竞价平台的并发性能进行快捷有效的测试的问题。
第一方面，本发明实施例提供了一种并发性能测试方法，包括由测试服务器执行的如下步骤：
获取广告竞价平台发出的响应请求，其中，所述响应请求包括访问标识和并发请求标识；
基于所述访问标识、所述并发请求标识和统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台；
通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据；
向所述广告竞价平台发送所述目标响应数据，并接收所述广告竞价平台返回的竞价结果，根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，其中，所述广告竞价平台的竞价逻辑是预先测定为正确的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述基于所述访问标识、所述并发请求标识和统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台，包括：
将所述访问标识和所述并发请求标识作为传入参数；
在所述统一资源定位符后添加所述传入参数，得到目标地址；
根据所述目标地址调用所述测试服务，根据所述测试服务访问所述模拟广告主需求方平台，其中，所述测试服务采用可访问接口的访问形式，基于所述统一资源定位符调用。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据，包括：
在所述响应文件中进行关于所述访问标识的关键字匹配；
在存在与所述访问标识相同的关键字所对应的并发响应内容中，进行关于所述并发请求标识的关键字匹配；
当所述并发响应内容中存在与所述并发请求标识相同的关键字时，根据所述并发请求标识在所述并发响应内容中得到所述目标响应数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，具体包括：
从所述目标响应数据中获取目标响应价格；
从所述目标响应价格中得到出价数额最高的目标响应出价；
若所述广告竞价平台的竞价结果为出价数额最高的所述目标响应出价，则确定所述广告竞价平台的并发性能是合格的。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据之前，还包括：
获取目标测试规则；
将所述目标测试规则以目标配置文件的形式存储；
采用生成脚本读取所述目标配置文件，根据所述目标测试规则得到目标响应数据，并基于所述目标响应数据生成所述目标响应文件，其中，所述目标响应数据包括所述目标响应价格，所述生成脚本用于根据所述目标配置文件中存储的目标测试规则生成目标响应数据。
第二方面，本发明实施例提供了一种并发性能测试装置，包括：
响应请求获取模块，用于获取广告竞价平台发出的响应请求，其中，所述响应请求包括访问标识和并发请求标识；
广告主需求方平台访问模块，用于基于所述访问标识、所述并发请求标识和所述统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台；
目标响应数据获取模块，用于通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据；
并发性能判断模块，用于向所述广告竞价平台发送所述目标响应数据，并接收所述广告竞价平台返回的竞价结果，根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，其中，所述广告竞价平台的竞价逻辑是预先测定为正确的。
第三方面，本发明实施例提供了一种并发性能测试方法，包括由广告竞价平台执行的如下步骤：
向测试服务器发起响应请求，其中，所述响应请求包括访问标识和并发请求标识；
接收测试服务器返回的目标响应数据，根据所述目标响应数据计算得到竞价结果，并发送所述竞价结果到所述测试服务器。
第四方面，本发明实施例提供了一种并发性能测试装置，包括：
响应请求发起模块，用于向测试服务器发起响应请求，其中，所述响应请求包括访问标识和并发请求标识；
竞价结果获取模块，用于接收测试服务器返回的目标响应数据，根据所述目标响应数据计算得到竞价结果，并发送所述竞价结果到所述测试服务器。
第五方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，用以执行第一方面任一项所述的并发性能测试方法；或者，当所述处理器执行所述计算机程序时，用以执行第三方面任一项所述的并发性能测试方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，包括：计算机程序，当所述计算机程序被所述处理器执行时，用以执行第一方面任一项所述的并发性能测试方法；或者，当所述计算机程序被所述处理器执行时，用以执行第三方面任一项所述的并发性能测试方法。
在本发明实施例中，首先测试服务器获取由广告竞价平台的响应请求，基于访问标识、并发请求标识和统一资源定位符创建测试服务并访问模拟广告主需求方平台，采用模拟广告主需求方平台代替真实场景中的广告主需求平台，能够显著提高并发性能测试的效率；然后测试服务器通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中获取目标响应数据，使得测试人员能够根据测试需要随时对目标响应数据进行调整，提高测试的灵活性；最后测试服务器根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，可以通过广告竞价平台对于目标响应数据的竞价结果准确测试广告竞价平台的并发性能，实现对广告竞价平台快捷有效的并发性能测试。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明一实施例中由测试服务器执行的并发性能测试方法的一流程图；
图2是本发明一实施例中与测试服务器执行的并发性能测试方法对应的并发性能测试装置的一示意图；
图3是本发明一实施例中由广告竞价平台执行的并发性能测试方法的一流程图；
图4是本发明一实施例中与广告竞价平台执行的并发性能测试方法对应的并发性能测试装置的一示意图；
图5是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中由测试服务器执行的并发性能测试方法的一流程图。该并发性能测试方法具体可应用于测试广告竞价平台的并发性能，其中，广告竞价平台具体可应用在计算机设备上。该计算机设备是可与用户进行人机交互的设备，包括但不限于电脑、智能手机和平板等设备。如图1所示，该并发性能测试方法包括如下步骤：
S10：获取广告竞价平台发出的响应请求，其中，响应请求包括访问标识和并发请求标识。
其中，访问标识是唯一识别广告主需求方平台的标识，例如，访问标识dsp1表示第一个接入广告竞价系统的广告主需求方平台。并发请求标识是唯一识别某一个广告主需求方平台中并发请求的标识，例如有访问标识dsp1和并发请求标识requestid＝2时，则并发请求标识requestid＝2表示第一个接入广告竞价系统的广告主需求方平台中的第二个并发请求，其中，同一个广告主需求方平台在同一时间间隔内(如响应请求规定的响应时间内)接收到的请求称为并发请求。
可以理解地，在真实的并发请求场景下，一个广告竞价平台将同时对接多个广告主需求方平台，并在竞价时向每个已接入的广告主需求方平台发送响应请求，以使广告主需求方平台在接收到响应请求后能够响应并返回广告位的出价结果，广告竞价平台在接收到所有广告主需求方平台返回的广告位竞价出价后，将根据出价结果进行筛选得出竞价结果。然而，在实际测试时，搭建广告主需求方平台十分费时费力的，想要达到真实并发请求场景的测试环境的难度较大，使得整个测试并发性能的效率过低。
可以理解地，在真实的并发请求场景下，广告主需求方平台发送的响应请求并不携带访问标识和并发请求标识，只是起到一个提醒各个广告主需求方平台返回出价结果的作用，与广告竞价平台连接的广告主需求方平台数量和每个广告主需求方平台并发请求的数量由用户的实际出价情况决定，有多少并发请求就会返回相应数量的出价结果到广告竞价平台。在本实施例中，设置广告竞价平台发出的响应请求包括访问标识和并发请求标识，能够根据需要任意调整与广告竞价平台连接的广告主需求方平台数量和每个广告主需求方平台并发请求的数量，提高测试效率。
在一实施例中，采用测试服务器获取广告竞价平台发出的响应请求，以后续通过该测试服务器构建模拟广告主需求方平台，并根据响应请求中包括的访问标识和并发请求标识返回广告位的出价结果。
S20：基于访问标识、并发请求标识和统一资源定位符调用预先创建的测试服务，根据测试服务访问模拟广告主需求方平台。
其中，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。
在一实施例中，测试服务具体可以是采用servlet技术创建，采用可访问接口的访问形式对测试服务进行访问。其中，Servlet(Server Applet)是JavaServlet的简称，称为小服务程序或服务连接器，用Java编写的服务器端程序，主要功能在于交互式地浏览和修改数据，生成动态网页内容。狭义的Servlet是指Java语言实现的一个接口，广义的Servlet是指任何实现了这个Servlet接口的类，一般情况下，将Servlet理解为后者。Servlet可以响应任何类型的请求，在本实施例中具体用来扩展基于HTTP(HyperText TransferProtocol，超文本传输协议)的网页测试服务器。本实施例中，基于访问标识、并发请求标识和统一资源定位符调用测试服务，根据测试服务访问模拟广告主需求方平台，通过调用测试服务实现了对广告主需求方平台的模拟。使用模拟广告主需求方平台代替真实场景中的广告主需求平台，能够显著提高并发性能测试的效率。
进一步地，在步骤S20中，基于访问标识、并发请求标识和统一资源定位符调用预先创建的测试服务，根据测试服务访问模拟广告主需求方平台，具体包括：
S21：将访问标识和并发请求标识作为传入参数。
在一实施例中，将访问标识如dsp1和并发请求标识requestid＝2作为调用测试服务的传入参数(简称入参)，以访问模拟广告主需求方平台，并在模拟广告主需求方平台获取与并发请求标识相关的目标响应数据。
S22：在统一资源定位符后添加传入参数，得到目标地址。
在一实施例中，采用统一资源定位符加上传入参数的方式能够得到与传入参数相关的目标地址，每一个目标地址若被调用时将会启动一个新的线程来支持并发请求，以达到模拟真实的并发场景的效果。
S23：根据目标地址调用测试服务，根据测试服务访问模拟广告主需求方平台，其中，测试服务采用可访问接口的访问形式，基于统一资源定位符调用。
在一实施例中，当根据目标地址调用测试服务时，将根据调用的次数启动相应数量的线程，具体如下所示：
http://test.dsp？id＝dsp1&requestid＝1
http://test.dsp？id＝dsp1&requestid＝2
http://test.dsp？id＝dsp1&requestid＝3
……
http://test.dsp？id＝dsp1&requestid＝10
可以看出，以上表示对第一个接入广告竞价平台的广告主需求方平台同时发送10个请求，对应这10个请求相应会生成10个线程。采用该调用测试服务的方法等价于模拟了广告主需求方平台，能够根据测试需要模拟任意数量的广告主需求方平台和任意数量的并发请求，有助于便捷地对广告竞价平台的并发性能进行测试。
可以理解地，如果要表示对两个广告主需求方平台同时发送10个请求，则通过指定不同的访问标识即可：
http://test.dsp？id＝dsp1&requestid＝1～http://test.dsp？id＝dsp1&requestid＝10
http://test.dsp？id＝dsp2&requestid＝1～http://test.dsp？id＝dsp2&requestid＝10
步骤S21-S23中，通过调用测试服务模拟广告主需求方平台的数量以及并发请求的数量，能够模拟真实的并发场景，提高对广告竞价平台的并发性能测试的效率。
S30：通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据。
可以理解地，除了模拟广告主需求方平台，还需能够通过该模拟广告主需求方平台获取目标响应数据，以根据目标响应数据测试广告竞价平台的并发性能。
在一实施例中，根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据(与具体的访问标识和并发请求标识相关)，以根据目标响应数据测试并发性能。该获取目标响应数据模拟了真实场景中广告主需求方平台返回出价结果给广告竞价平台的过程，且目标响应数据可以根据测试需要随时调整，能够在保证测试准确性的前提下，提高测试广告竞价平台的并发性能的效率。
进一步地，在步骤S30中，通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据，具体包括：
S31：在响应文件中进行关于访问标识的关键字匹配。
可以理解地，响应文件中存在预先写好的用于测试的响应数据，需要从该响应数据中获取目标响应数据。在一实施例中，在响应文件中进行关于访问标识的关键字匹配，可以根据访问标识确定所要找的目标响应数据具体在哪一个广告主需求方平台中。
S32：在存在与访问标识相同的关键字所对应的并发响应内容中，进行关于并发请求标识的关键字匹配。
当访问标识匹配成功后，接下来则根据并发请求标识进一步进行关键字匹配，以获取与访问标识和并发请求标识相关的目标响应数据。
S33：当并发响应内容中存在与并发请求标识相同的关键字时，根据并发请求标识在并发响应内容中得到目标响应数据。
步骤S31-S33中，通过访问标识和并发请求标识在响应文件中先确定匹配成功的广告主需求平台，再确定匹配成功的并发请求，从而得到目标响应数据。可以理解地，响应文件中的目标响应数据可以随时进行更改，以满足各种测试需求，提高测试效率。
S40：向广告竞价平台发送目标响应数据，并接收广告竞价平台返回的竞价结果，根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，其中，广告竞价平台的竞价逻辑是预先测定为正确的。
可以理解地，目标响应数据对于测试用户是已知的，而广告竞价平台对于测试用户是封闭的。测试服务器向广告竞价平台发送目标响应数据，经广告竞价平台计算处理后，接收广告竞价平台返回的竞价结果。本实施例中，可以通过结合已知的目标响应数据和广告竞价平台输出的竞价结果判断广告竞价平台的并发性能是否合格。需要说明的是，在测试并发性能之前需预先测定广告竞价平台的竞价逻辑是正确的，因为在竞价逻辑正确的前提下如果竞价结果还是错的，那么可以认为是并发性能存在问题。
进一步地，在步骤S40中，根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，具体包括：
S41：从目标响应数据中获取目标响应价格。
其中，目标响应数据包括目标响应时间、用户请求标识(用于表示模拟发起并发请求的用户的标识)和目标响应价格等数据。其中，目标响应时间可以预先设定为全部满足响应的时间段内，此时可直接获取目标响应价格，根据目标响应价格得到测试用户自己得出的竞价结果，以根据该竞价结果和广告竞价平台返回的竞价结果比较，判断广告竞价平台并发性能是否合格。
S42：从目标响应价格中得到出价数额最高的目标响应出价。
S43：若广告竞价平台的竞价结果为出价数额最高的目标响应出价，则确定广告竞价平台的并发性能是合格的。
步骤S41-S43中，通过目标响应价格得到的竞价结果和广告竞价平台的竞价结果比较，判断广告竞价平台的并发性能是否合格，能够有效便捷地得到并发性能的测试结果。
进一步地，在步骤S30之前，即在通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据之前，还包括：
S51：获取目标测试规则。
其中，目标测试规则是一种定义目标响应数据的规则。
可以理解地，在模拟并发数较大的并发场景时，如何快速准备好目标响应数据对于测试效率显得尤为重要，在此，可以采用目标测试规则的方式自动生成目标响应数据。
在一实施例中，测试服务器获取测试用户输入的目标测试规则，以根据该目标测试规则自动生成目标响应数据。
S52：将目标测试规则以目标配置文件的形式存储。
具体地，目标测试规则以目标配置文件的形式存储，该配置文件的存储的目标测试规则可以表示为：
可以看出，以上目标测试规则将生成10条目标响应数据，其中正常返回的目标响应数据8条，超时返回的目标响应数据2条，以及满足其他目标测试规则的约束。其中，由出价范围0.1到1.0得到的随机出价表示不同并发请求的目标响应出价。
可以看出，采用目标测试规则的形式可以简洁地表示目标响应数据，为自动生成符合目标测试规则的目标响应数据提供实现基础。
S53：采用生成脚本读取目标配置文件，根据目标测试规则得到目标响应数据，并基于目标响应数据生成目标响应文件，其中，目标响应数据包括目标响应价格，生成脚本用于根据目标配置文件中存储的目标测试规则生成目标响应数据。
具体地，有了存储有目标测试规则的配置文件，可以采用脚本的方式自动生成目标响应数据。在本实施例中，采用生成脚本读取目标配置文件，根据目标配置文件存储的目标测试规则得到目标响应数据，实现目标响应数据的快速生成。该生成脚本可以是根据目标测试规则预先配置的，能够根据在目标配置文件读取的目标测试规则自动执行生成指令，生成满足目标测试规则的目标响应数据。可以理解地，本发明实施例关心的是目标响应价格，因此在根据目标测试规则生成的目标响应数据需包括目标响应价格。
可以理解地，可以对每个模拟广告主需求方平台都设置一套目标测试规则，剩余在每个模拟广告主需求方平台的并发请求通过目标测试规则自动生成即可，能够显著提高并发性能的测试效率。
步骤S51-S53中，采用目标测试规则和生成脚本实现目标响应数据的自动生成，有助于提高并发性能的测试效率。
在本发明实施例中，首先测试服务器获取由广告竞价平台的响应请求，基于访问标识、并发请求标识和统一资源定位符创建测试服务并访问模拟广告主需求方平台，采用模拟广告主需求方平台代替真实场景中的广告主需求平台，能够显著提高并发性能测试的效率；然后测试服务器通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中获取目标响应数据，使得测试人员能够根据测试需要随时对目标响应数据进行调整，提高测试的灵活性；最后测试服务器根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，可以通过广告竞价平台对于目标响应数据的竞价结果准确测试广告竞价平台的并发性能，实现对广告竞价平台快捷有效的并发性能测试。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
基于实施例中所提供的并发性能测试方法，本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中由测试服务器执行的并发性能测试方法一一对应的并发性能测试装置的原理框图。如图2所示，该并发性能测试装置包括响应请求获取模块10、广告主需求方平台访问模块20、目标响应数据获取模块30和并发性能判断模块40。其中，响应请求获取模块10、广告主需求方平台访问模块20、目标响应数据获取模块30和并发性能判断模块40的实现功能与实施例中由测试服务器执行的并发性能测试方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
响应请求获取模块10，用于获取广告竞价平台发出的响应请求，其中，响应请求包括访问标识和并发请求标识。
广告主需求方平台访问模块20，用于基于访问标识、并发请求标识和统一资源定位符调用预先创建的测试服务，根据测试服务访问模拟广告主需求方平台。
目标响应数据获取模块30，用于通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中得到目标响应数据。
并发性能判断模块40，用于向广告竞价平台发送目标响应数据，并接收广告竞价平台返回的竞价结果，根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，其中，广告竞价平台的竞价逻辑是预先测定为正确的。
可选地，广告主需求方平台访问模块20包括传参确定单元、目标地址获取单元和广告主需求方平台访问单元。
传参确定单元，用于将访问标识和并发请求标识作为传入参数。
目标地址获取单元，用于在统一资源定位符后添加传入参数，得到目标地址。
广告主需求方平台访问单元，用于根据目标地址调用测试服务，根据测试服务访问模拟广告主需求方平台，其中，测试服务采用可访问接口的访问形式，基于统一资源定位符调用。
可选地，目标响应数据获取模块30包括访问标识匹配单元、并发请求标识匹配单元和目标响应数据获取单元。
访问标识匹配单元，用于在响应文件中进行关于访问标识的关键字匹配。
并发请求标识匹配单元，用于在存在与访问标识相同的关键字所对应的并发响应内容中，进行关于并发请求标识的关键字匹配。
目标响应数据获取单元，用于当并发响应内容中存在与并发请求标识相同的关键字时，根据并发请求标识在并发响应内容中得到目标响应数据。
可选地，并发性能判断模块40包括非注册客户确定单元、注册客户确定单元和目标注册人脸特征确定单元。
目标响应价格获取单元，用于从目标响应数据中获取目标响应价格。
最高价获取单元，用于从目标响应价格中得到出价数额最高的目标响应出价。
并发性能判断单元，用于当广告竞价平台的竞价结果为出价数额最高的目标响应出价时，确定广告竞价平台的并发性能是合格的。
可选地，并发性能测试装置还包括目标测试规则获取单元、配置存储单元和目标响应文件生成单元。
目标测试规则获取单元，用于获取目标测试规则。
配置存储单元，用于将目标测试规则以目标配置文件的形式存储。
目标响应文件生成单元，用于采用生成脚本读取目标配置文件，根据目标测试规则得到目标响应数据，并基于目标响应数据生成目标响应文件，其中，目标响应数据包括目标响应价格，生成脚本用于根据目标配置文件中存储的目标测试规则生成目标响应数据。
在本发明实施例中，首先测试服务器获取由广告竞价平台的响应请求，基于访问标识、并发请求标识和统一资源定位符创建测试服务并访问模拟广告主需求方平台，采用模拟广告主需求方平台代替真实场景中的广告主需求平台，能够显著提高并发性能测试的效率；然后测试服务器通过模拟广告主需求方平台，根据访问标识和并发请求标识在预设的响应文件中获取目标响应数据，使得测试人员能够根据测试需要随时对目标响应数据进行调整，提高测试的灵活性；最后测试服务器根据目标响应数据和竞价结果判断广告竞价平台的并发性能是否合格，可以通过广告竞价平台对于目标响应数据的竞价结果准确测试广告竞价平台的并发性能，实现对广告竞价平台快捷有效的并发性能测试。
图3示出本实施例中由广告竞价平台执行的并发性能测试方法的一流程图。如图3所示，该并发性能测试方法包括由广告竞价平台执行如下步骤：
S50：向测试服务器发起响应请求，其中，响应请求包括访问标识和并发请求标识。
S60：接收测试服务器返回的目标响应数据，根据目标响应数据计算得到竞价结果，并发送竞价结果到测试服务器。
可以理解地，本实施例中广告竞价平台如何计算得到竞价结果对于测试人员是不可知的，而通过该竞价结果结合目标响应数据能够确定广告竞价平台的并发性能是否合格。
图4示出与实施例中由广告竞价平台执行的并发性能测试方法一一对应的并发性能测试装置的原理框图。如图4所示，该并发性能测试装置包括响应请求发起模块50和竞价结果获取模块60。其中，响应请求发起模块50和竞价结果获取模块60的实现功能与实施例中由广告竞价平台执行的并发性能测试方法对应的步骤一一对应，为避免赘述，本实施例不一一详述。
响应请求发起模块50，用于向测试服务器发起响应请求，其中，响应请求包括访问标识和并发请求标识。
竞价结果获取模块60，用于接收测试服务器返回的目标响应数据，根据目标响应数据计算得到竞价结果，并发送竞价结果到测试服务器。
本实施例提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现实施例中由测试服务器执行的并发性能测试方法，或者，计算机程序被处理器执行时实现实施例中由广告竞价平台执行的并发性能测试方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器执行时实现实施例中与由测试服务器执行的并发性能测试方法对应的并发性能测试装置中各模块/单元的功能，或者，计算机程序被处理器执行时实现实施例中与由广告竞价平台执行的并发性能测试方法对应的并发性能测试装置中各模块/单元的功能，为避免重复，此处不一一赘述。
图5是本发明一实施例提供的计算机设备的示意图。如图5所示，该实施例的计算机设备70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序73，该计算机程序73被处理器71执行时实现实施例中由测试服务器执行的并发性能测试方法，或者，计算机程序73被处理器71执行时实现实施例中由广告竞价平台执行的并发性能测试方法，为避免重复，此处不一一赘述。或者，该计算机程序73被处理器71执行时实现实施例中与由测试服务器执行的并发性能测试方法对应的并发性能测试装置中各模型/单元的功能，或者，计算机程序73被处理器71执行时实现实施例中与由广告竞价平台执行的并发性能测试方法对应的并发性能测试装置中各模型/单元的功能，为避免重复，此处不一一赘述。
计算机设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备70可包括，但不仅限于，处理器71、存储器72。本领域技术人员可以理解，图5仅仅是计算机设备70的示例，并不构成对计算机设备70的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器71可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器72可以是计算机设备70的内部存储单元，例如计算机设备70的硬盘或内存。存储器72也可以是计算机设备70的外部存储设备，例如计算机设备70上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器72还可以既包括计算机设备70的内部存储单元也包括外部存储设备。存储器72用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器72还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种并发性能测试方法，其特征在于，所述方法包括由测试服务器执行的如下步骤：
获取广告竞价平台发出的响应请求，其中，所述响应请求包括访问标识和并发请求标识；
基于所述访问标识、所述并发请求标识和统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台；
通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据；
向所述广告竞价平台发送所述目标响应数据，并接收所述广告竞价平台返回的竞价结果，根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，其中，所述广告竞价平台的竞价逻辑是预先测定为正确的。
2.根据权利要求1所述的方法，其特征在于，所述基于所述访问标识、所述并发请求标识和统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台，包括：
将所述访问标识和所述并发请求标识作为传入参数；
在所述统一资源定位符后添加所述传入参数，得到目标地址；
根据所述目标地址调用所述测试服务，根据所述测试服务访问所述模拟广告主需求方平台，其中，所述测试服务采用可访问接口的访问形式，基于所述统一资源定位符调用。
3.根据权利要求1所述的方法，其特征在于，所述通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据，包括：
在所述响应文件中进行关于所述访问标识的关键字匹配；
在存在与所述访问标识相同的关键字所对应的并发响应内容中，进行关于所述并发请求标识的关键字匹配；
当所述并发响应内容中存在与所述并发请求标识相同的关键字时，根据所述并发请求标识在所述并发响应内容中得到所述目标响应数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，具体包括：
从所述目标响应数据中获取目标响应价格；
从所述目标响应价格中得到出价数额最高的目标响应出价；
若所述广告竞价平台的竞价结果为出价数额最高的所述目标响应出价，则确定所述广告竞价平台的并发性能是合格的。
5.根据权利要求1至4任意一项所述的方法，其特征在于，在通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据之前，还包括：
获取目标测试规则；
将所述目标测试规则以目标配置文件的形式存储；
采用生成脚本读取所述目标配置文件，根据所述目标测试规则得到目标响应数据，并基于所述目标响应数据生成所述目标响应文件，其中，所述目标响应数据包括所述目标响应价格，所述生成脚本用于根据所述目标配置文件中存储的目标测试规则生成目标响应数据。
6.一种并发性能测试方法，其特征在于，所述方法包括由广告竞价平台执行的如下步骤：
向测试服务器发起响应请求，其中，所述响应请求包括访问标识和并发请求标识；
接收测试服务器返回的目标响应数据，根据所述目标响应数据计算得到竞价结果，并发送所述竞价结果到所述测试服务器。
7.一种并发性能测试装置，其特征在于，所述装置包括：
响应请求获取模块，用于获取广告竞价平台发出的响应请求，其中，所述响应请求包括访问标识和并发请求标识；
广告主需求方平台访问模块，用于基于所述访问标识、所述并发请求标识和所述统一资源定位符调用预先创建的测试服务，根据所述测试服务访问模拟广告主需求方平台；
目标响应数据获取模块，用于通过所述模拟广告主需求方平台，根据所述访问标识和所述并发请求标识在预设的响应文件中得到目标响应数据；
并发性能判断模块，用于向所述广告竞价平台发送所述目标响应数据，并接收所述广告竞价平台返回的竞价结果，根据所述目标响应数据和所述竞价结果判断所述广告竞价平台的并发性能是否合格，其中，所述广告竞价平台的竞价逻辑是预先测定为正确的。
8.一种并发性能测试装置，其特征在于，所述装置包括：
响应请求发起模块，用于向测试服务器发起响应请求，其中，所述响应请求包括访问标识和并发请求标识；
竞价结果获取模块，用于接收测试服务器返回的目标响应数据，根据所述目标响应数据计算得到竞价结果，并发送所述竞价结果到所述测试服务器。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述并发性能测试方法的步骤；或者，所述处理器执行所述计算机程序时实现如权利要求6所述并发性能测试方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述并发性能测试方法的步骤；或者，所述计算机程序被处理器执行时实现如权利要求6所述并发性能测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910307140.6A CN110147315A (zh) | 2019-04-17 | 2019-04-17 | 并发性能测试方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910307140.6A CN110147315A (zh) | 2019-04-17 | 2019-04-17 | 并发性能测试方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110147315A true CN110147315A (zh) | 2019-08-20 |
Family
ID=67588375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910307140.6A Pending CN110147315A (zh) | 2019-04-17 | 2019-04-17 | 并发性能测试方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110147315A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078571A (zh) * | 2019-12-20 | 2020-04-28 | 广州品唯软件有限公司 | 模拟响应的测试方法、终端设备及计算机可读存储介质 |
| CN112214395A (zh) * | 2020-09-02 | 2021-01-12 | 浙江大搜车融资租赁有限公司 | 基于流量数据的接口测试方法、电子装置及存储介质 |
| CN112988589A (zh) * | 2021-03-26 | 2021-06-18 | 北京金山云网络技术有限公司 | 一种接口测试方法、装置和系统 |
| CN114546852A (zh) * | 2022-02-21 | 2022-05-27 | 北京百度网讯科技有限公司 | 一种性能测试方法、装置、电子设备和存储介质 |
| CN112214395B (zh) * | 2020-09-02 | 2024-11-05 | 浙江大搜车融资租赁有限公司 | 基于流量数据的接口测试方法、电子装置及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6324492B1 (en) * | 1998-01-20 | 2001-11-27 | Microsoft Corporation | Server stress testing using multiple concurrent client simulation |
| CN101340694A (zh) * | 2008-08-11 | 2009-01-07 | 中兴通讯股份有限公司 | 一种移动终端的消息处理能力的测试方法及系统 |
| CN103138995A (zh) * | 2011-11-24 | 2013-06-05 | 中兴通讯股份有限公司 | 服务器性能测试的方法和装置 |
| CN103150238A (zh) * | 2011-12-07 | 2013-06-12 | 阿里巴巴集团控股有限公司 | 一种服务请求处理方法、模拟性能测试方法及装置 |
| CN103246606A (zh) * | 2013-04-26 | 2013-08-14 | 广东电网公司电力科学研究院 | Esb平台的性能方法和系统 |
| US20140007162A1 (en) * | 2008-11-26 | 2014-01-02 | David Harrison | Advertisement targeting through embedded scripts in supply-side and demand-side platforms |
| CN106470133A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 系统压力测试方法及装置 |
| CN108053252A (zh) * | 2017-12-21 | 2018-05-18 | 广州舜飞信息科技有限公司 | 一种重构程序化广告生态链的对接方式 |
| CN108268375A (zh) * | 2018-01-12 | 2018-07-10 | 深圳壹账通智能科技有限公司 | 应用程序测试方法、装置、计算机设备和存储介质 |
| CN109542712A (zh) * | 2018-11-02 | 2019-03-29 | 平安科技（深圳）有限公司 | 服务器压力测试方法、装置、计算机设备和存储介质 |
-
2019
- 2019-04-17 CN CN201910307140.6A patent/CN110147315A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6324492B1 (en) * | 1998-01-20 | 2001-11-27 | Microsoft Corporation | Server stress testing using multiple concurrent client simulation |
| CN101340694A (zh) * | 2008-08-11 | 2009-01-07 | 中兴通讯股份有限公司 | 一种移动终端的消息处理能力的测试方法及系统 |
| US20140007162A1 (en) * | 2008-11-26 | 2014-01-02 | David Harrison | Advertisement targeting through embedded scripts in supply-side and demand-side platforms |
| CN103138995A (zh) * | 2011-11-24 | 2013-06-05 | 中兴通讯股份有限公司 | 服务器性能测试的方法和装置 |
| CN103150238A (zh) * | 2011-12-07 | 2013-06-12 | 阿里巴巴集团控股有限公司 | 一种服务请求处理方法、模拟性能测试方法及装置 |
| CN103246606A (zh) * | 2013-04-26 | 2013-08-14 | 广东电网公司电力科学研究院 | Esb平台的性能方法和系统 |
| CN106470133A (zh) * | 2015-08-20 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 系统压力测试方法及装置 |
| CN108053252A (zh) * | 2017-12-21 | 2018-05-18 | 广州舜飞信息科技有限公司 | 一种重构程序化广告生态链的对接方式 |
| CN108268375A (zh) * | 2018-01-12 | 2018-07-10 | 深圳壹账通智能科技有限公司 | 应用程序测试方法、装置、计算机设备和存储介质 |
| CN109542712A (zh) * | 2018-11-02 | 2019-03-29 | 平安科技（深圳）有限公司 | 服务器压力测试方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 鞠宏磊;王宇婷;: "改写广告业的"实时"与"竞价"――实时竞价(RTB)广告的产业链流程和运行机制研究", 编辑之友, no. 04, 5 April 2015 (2015-04-05) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078571A (zh) * | 2019-12-20 | 2020-04-28 | 广州品唯软件有限公司 | 模拟响应的测试方法、终端设备及计算机可读存储介质 |
| CN111078571B (zh) * | 2019-12-20 | 2024-02-02 | 广州品唯软件有限公司 | 模拟响应的测试方法、终端设备及计算机可读存储介质 |
| CN112214395A (zh) * | 2020-09-02 | 2021-01-12 | 浙江大搜车融资租赁有限公司 | 基于流量数据的接口测试方法、电子装置及存储介质 |
| CN112214395B (zh) * | 2020-09-02 | 2024-11-05 | 浙江大搜车融资租赁有限公司 | 基于流量数据的接口测试方法、电子装置及存储介质 |
| CN112988589A (zh) * | 2021-03-26 | 2021-06-18 | 北京金山云网络技术有限公司 | 一种接口测试方法、装置和系统 |
| CN114546852A (zh) * | 2022-02-21 | 2022-05-27 | 北京百度网讯科技有限公司 | 一种性能测试方法、装置、电子设备和存储介质 |
| CN114546852B (zh) * | 2022-02-21 | 2024-04-09 | 北京百度网讯科技有限公司 | 一种性能测试方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6993747B1 (en) | Method and system for web based software object testing | |
| Magalhães et al. | Workload modeling for resource usage analysis and simulation in cloud computing | |
| US9519571B2 (en) | Method for analyzing transaction traces to enable process testing | |
| EP1214656B1 (en) | Method for web based software object testing | |
| US20170220972A1 (en) | Evaluation system and method | |
| CN109302522A (zh) | 测试方法、装置以及计算机系统和介质 | |
| Gupta et al. | A critical analysis of a hierarchy based Usability Model | |
| CN110097251A (zh) | 产品数据处理方法及装置、供货方法及装置、电子设备 | |
| US8606608B2 (en) | Offline counterfactual analysis | |
| CN110147315A (zh) | 并发性能测试方法、装置、计算机设备及存储介质 | |
| Lee et al. | On the user–scheduler dialogue: studies of user-provided runtime estimates and utility functions | |
| CN110380936A (zh) | 测试方法和装置 | |
| CN109034867A (zh) | 点击流量检测方法、装置及存储介质 | |
| CN103955425A (zh) | 网页web探索测试装置及方法 | |
| Vedam et al. | Demystifying cloud benchmarking paradigm-an in depth view | |
| CN111949493A (zh) | 一种基于推理应用的边缘ai服务器功耗测试方法及装置 | |
| CN112564996A (zh) | 压力测试流量调度、控制方法、设备以及计算机可读介质 | |
| CN116257226A (zh) | 数据校验方法、装置、电子设备及存储介质 | |
| CN115292418A (zh) | 跨系统业务流程自动化处理方法及系统 | |
| Kramer | Percu: A holistic method for evaluating high performance computing systems | |
| CN110362466A (zh) | 出价逻辑测试方法、装置、计算机设备及存储介质 | |
| US20150006342A1 (en) | Generating a Simulated Invoice | |
| Chynał | Hybrid approach to web based systems usability evaluation | |
| CN109614566A (zh) | 流量来源分析方法、系统和装置 | |
| CN112418260A (zh) | 模型训练方法、信息提示方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |