CN114610599A - 测试方法以及系统 - Google Patents
测试方法以及系统 Download PDFInfo
- Publication number
- CN114610599A CN114610599A CN202210057000.XA CN202210057000A CN114610599A CN 114610599 A CN114610599 A CN 114610599A CN 202210057000 A CN202210057000 A CN 202210057000A CN 114610599 A CN114610599 A CN 114610599A
- Authority
- CN
- China
- Prior art keywords
- test
- target
- platform
- docking platform
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010998 test method Methods 0.000 title claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 804
- 238000003032 molecular docking Methods 0.000 claims abstract description 302
- 238000011156 evaluation Methods 0.000 claims description 133
- 238000000034 method Methods 0.000 claims description 34
- 238000013480 data collection Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 210000001503 joint Anatomy 0.000 abstract description 7
- 230000002457 bidirectional effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000977 initiatory effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000013515 script Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013209 evaluation strategy Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3684—Test management for test design, e.g. generating new test cases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例提供测试方法以及系统，其中所述测试方法，应用于对接平台，包括：接收携带有对接平台标识和目标设备的属性信息的测试请求；基于目标设备的属性信息生成测试用例，并基于对接平台标识从至少一个对接平台中确定目标对接平台；将测试用例发送至目标对接平台，以使目标对接平台接收目标设备反馈的执行测试用例得到的测试数据集；基于目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
Description
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种测试方法。
背景技术
随着计算机技术的快速发展，各种各样的设备层出不穷，而伴随着需求的不断变化，设备也在不断地更新换代。对于设备需求方来说，需要对设备提供方的硬件进行测试与认证。现有技术中，设备需求方通过线下测试的方式，对设备提供方的硬件进行测试与认证。但是，由于设备的种类以及设备提供方的数量越来越多，且不同设备提供方供应的同种设备也可能存在不同，上述方法，对设备需求方的人力投入、设备提供方设备送测以及资源使用效率都提出了更高的挑战，已经无法满足当前市场要求。
发明内容
有鉴于此，本说明书施例提供了一种测试方法。本说明书一个或者多个实施例同时涉及一种测试装置，一种测试系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种测试方法，应用于测试平台，包括：
接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
基于所述目标对接平台发送的测试数据集，确定测试结果。
根据本说明书实施例的第二方面，提供了一种测试方法，应用于对接平台，包括：
接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
将所述测试用例发送至所述目标设备；
接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
根据本说明书实施例的第三方面，提供了一种测试装置，应用于测试平台，包括：
第一接收模块，被配置为接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
生成模块，被配置为基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
第一发送模块，被配置为将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
确定模块，被配置为基于所述目标对接平台发送的测试数据集，确定测试结果。
根据本说明书实施例的第四方面，提供了一种测试装置，应用于对接平台，包括：
第二接收模块，被配置为接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
第二发送模块，被配置为将所述测试用例发送至所述目标设备；
第三接收模块，被配置为接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
第三发送模块，被配置为将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
根据本说明书实施例的第五方面，提供了一种测试系统，包括：
测试平台、至少一个对接平台和至少一个待测设备；
所述测试平台，用于接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为所述至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台；
所述至少一个对接平台中的所述目标对接平台，用于接收所述测试平台发送的测试用例；将所述测试用例发送至所述目标设备；
所述至少一个待测设备中的所述目标设备，用于执行所述测试用例，得到测试数据集；将所述测试数据集反馈给所述目标对接平台；
所述测试平台，还用于基于所述目标对接平台发送的测试数据集，确定测试结果。
根据本说明书实施例的第六方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述测试方法的步骤。
根据本说明书实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现任意一项所述测试方法的步骤。
根据本说明书实施例的第八方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述测试方法的步骤。
本说明书提供的测试方法，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
附图说明
图1是本说明书一个实施例提供的一种测试方法的流程图；
图2是本说明书一个实施例提供的另一种测试方法的流程图；
图3是本说明书一个实施例提供的一种测试方法的流程示意图；
图4是本说明书一个实施例提供的一种测试装置的结构示意图；
图5是本说明书一个实施例提供的另一种测试装置的结构示意图；
图6是本说明书一个实施例提供的一种测试系统的结构示意图；
图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
测试用例(Test Case)是指对一项特定的软件产品进行测试任务的描述，体现测试方案、方法、技术和策略。其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等，最终形成文档。简单地认为，测试用例是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定需求。
软件开发工具包(SDK，Software Development Kit)一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。
在本说明书中，提供了一种测试方法，本说明书同时涉及一种测试装置，一种测试系统，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本说明书一个实施例提供的一种测试方法的流程图，应用于测试平台，具体包括以下步骤：
步骤102：接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一。
具体的，测试平台是指第三方或设备需求方设置的用于测试待测设备的平台，可以提供接口服务，实现平台化管理测试任务；对接平台是指一类可批量操作远程设备的网络设备或者操作平台，可以实现对设备进行维护和操作，例如跳板机、堡垒机，且对接平台可以由第三方维护，也可以由设备提供方维护；待测设备是指需要进行测试的设备，也即设备提供方提供的设备；对接平台标识是指表征对接平台的标识，可以是对应平台的名称、网络地址、标号等；目标设备是指至少一个待测设备中的任意一个；属性信息是指目标设备的配置参数等信息。
实际应用中，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；然后用户点击确定按键之后，测试平台接收到测试任务，也即接收到携带有对接平台标识和目标设备的属性信息的测试请求。
例如，设备需求方在测试平台的测试任务发起界面上，输入对接平台标识“A”和目标设备的属性信息“XXXXXX”，然后点击确认上传，此时测试平台接收到携带有“A”和“XXXXXX”的测试请求。
此外，还可以通过命令行的形式进行触发测试平台接收测试请求。例如，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；之后第三方或者设备需求方，也即用户在测试平台上输入命令行，该命令行触发测试平台接收测试请求。
步骤104：基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台。
在接收到携带有对接平台标识和目标设备的属性信息的测试请求的基础上，进一步地，根据属性信息生成测试用例，并根据对接平台标识确定目标对接平台。
具体的，测试用例是指对目标设备进行测试的方案、方法、技术和策略等的集合，如测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等；目标对接平台即为对接平台标识对应的对接平台，也为连接目标设备的对接平台。
实际应用中，测试平台在接收到携带有对接平台标识和目标设备的属性信息的测试请求之后，可以对目标设备的属性信息进行解析，生成针对目标设备的测试用例，或者将属性信息中的属性数据填入预设的测试用例模板，得到针对目标设备的测试用例；还可以根据对接平台标识与至少一个对接平台中的各个平台进行匹配，将匹配成功的对接平台确定为目标对接平台。
例如，测试平台上存储有预设的测试用例模板，将目标设备的属性信息中的各个属性数据填入测试用例模板中对应的位置，生成针对该目标设备的测试用例。并将对接平台标识与至少一个对接平台中的各对接平台进行匹配，将匹配成功的对接平台确定为目标对接平台。
需要说明的是，可以先基于目标设备的属性信息生成测试用例，再基于对接平台标识确定目标对接平台；可以先基于对接平台标识确定目标对接平台，再基于目标设备的属性信息生成测试用例；还可以在基于目标设备的属性信息生成测试用例的同时，基于对接平台标识确定目标对接平台。本申请对此不作限定。
步骤106：将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
在根据属性信息生成测试用例，并根据对接平台标识确定目标对接平台的基础上，进一步地将测试用例发送至目标对接平台。
具体的，测试数据集是指对目标设备进行测试后获得的数据的集合，测试数据集可以是对目标设备进行测试直接回传的测试数据的集合，测试数据集还可以是对回传的测试数据进行处理后的得到的数据集合，如数据聚合、取均值等处理，该处理方法在测试用例中标明，测试数据集也可以包括对目标设备进行测试直接回传的测试数据的集合和对回传的测试数据进行处理后的得到的数据集合，本申请对此不作限定。
实际应用中，在生成了测试用例并确定了目标对接平台的基础上，测试平台通过与目标对接平台之间第一双向通路，将测试用例发送至目标对接平台。接着，目标对接平台接收测试用例，并通过与目标设备之间的第二双向通路将测试用例发送至所述目标设备。进一步地，目标设备在接收到测试用例后，执行测试用例，得到测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。之后，目标对接平台将测试数据集发送至测试平台。
为了保证测试过程中的数据安全，需要基于检测测试平台与目标对接平台之间的连接状态，也即，所述将所述测试用例发送至所述目标对接平台之后，还包括：
检测与所述目标对接平台之间的连接状态；
在所述连接状态为断开的情况下，停止测试。
具体的，连接状态是指测试平台与目标对接平台之间连接的情况，也即第一双向通路的使用状态，连接状态可以包括断开和连接两种状态。
实际应用中，在测试过程中，也即将测试用例发送至对接平台之后，测试平台会检测与所述目标对接平台之间的第一双向通路能否后正常使用，也即检测与所述目标对接平台之间的连接状态，如果连接状态为断开，则说明设备网络不通或者存在测试风险，此时需要停止测试。如此，当测试平台与目标对接平台之间的连接状态为断开时，可能存在数据泄露的风险，此时停止测试，可以有效地测试过程中的数据安全，防止泄露。
此外，在所述连接状态为连接的情况下，继续测试。也即连接状态正常，第一双向通路能正常使用，即继续测试即可。
需要说明的是，在所述连接状态为断开的情况下，目标对接平台和目标设备也会删除本地的测试用例，以保证测试过程中的数据安全，防止泄露。
可选地，可以通过接收心跳包的间隔时长确定连接状态，也即所述检测与所述目标对接平台之间的连接状态，具体实现过程可以如下：
检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
具体的，心跳包是指在客户端和服务器间定时通知对方自己状态的一个自己定义的命令字，按照一定的时间间隔发送，类似于心跳。间隔时长是指接收到的相邻两个心跳包之间的时间的距离。
实际应用中，测试平台会与对接平台进行心跳健康检查，也即目标对接平台会每间隔一段时间给测试平台发送心跳包，也即测试平台会接收到对接平台发送的心跳包。测试平台会检测接收相邻两个心跳包之间的间隔时长，一旦间隔时长超过了预设时长，则说明测试平台与目标对接平台之间的连接状态为断开；如果间隔时长小于或等于预设时长，则说明测试平台与目标对接平台之间的连接状态为连接或正常。如此，根据相邻两个心跳包的间隔时长和预设时长来确定连接状态，能够提高确定连接状态的准确率和速度，并且基于心跳包确定连接状态，简单易行。
例如，检测到相邻两个心跳包之间的间隔时长为3分钟，且预设时长为2分钟，则确定测试平台与目标对接平台之间的连接状态为断开；又如，检测到相邻两个心跳包之间的间隔时长为3分钟，且预设时长为5分钟，则确定测试平台与目标对接平台之间的连接状态为连接。
此外，测试平台可以在将测试用例发送目标对接平台或者接收到一个心跳包时，开始计时，如果测试平台在预设时长内没有接收到对接平台发送的下一个心跳包，则确定测试平台与目标对接平台之间的连接状态为断开；如果测试平台在预设时长内接收到对接平台发送的下一个心跳包，则确定测试平台与目标对接平台之间的连接状态为连接。测试平台还可以每间隔预设时长向对接平台发送心跳包，也即根据心跳包的发送状态，确定与所述目标对接平台之间的连接状态。如果发送成功，则确定测试平台与目标对接平台之间的连接状态为连接；如果发送失败，则确定测试平台与目标对接平台之间的连接状态为断开。
可选地，测试用例可以包含测试执行策略和数据收集策略，此时测试平台可以将测试执行策略和数据收集策略发送至目标对接平台，也即所述将所述测试用例发送至所述目标对接平台，具体实现过程可以如下：
将所述测试执行策略和所述数据收集策略发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的测试数据集，其中，所述测试数据集为所述目标设备执行所述测试执行策略并基于所述数据收集策略得到。
具体的，测试执行策略是指针对目标设备各个测试项的执行方法；数据收集策略也即测试指标项收集方法，同一对接平台下，不同的型号和版本的待测设备，数据收集策略也会不同，不同对接平台下，相同的型号和版本的待测设备，数据收集策略也会不同。测试平台会根据对接平台标识和目标设备的属性信息，自动生成数据收集策略。
实际应用中，测试用例可以包含测试执行策略和数据收集策略，测试平台通过与目标对接平台之间第一双向通路，将测试执行策略和数据收集策略发送至目标对接平台。接着，目标对接平台接收测试执行策略和数据收集策略，并通过与目标设备之间的第二双向通路将测试执行策略和数据收集策略发送至所述目标设备。进一步地，测试设备在接收到测试执行策略和数据收集策略后，执行测试执行策略，也即根据测试项的执行方法逐项执行，并根据数据收集策略收集测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。之后，目标对接平台将测试数据集发送至测试平台。如此，基于使目标设备执行测试执行策略，并基于数据收集策略获得测试数据集，可以使测试数据集中的数据更加完整与全面，也即，可以调高测试数据集的精确度。
需要说明的是，目标设备可以有多个，在这种情况下，目标对接平台会将测试用例分别发送至各目标设备，然后各目标设备分别执行测试用例，获得测试数据集，并反馈给目标对接平台。目标对接平台在接收到测试数据集之后，将检查测试数据集的完整性，也即查看是否接收到所有目标设备反馈的测试数据集，若否，则等待接收剩余的测试数据集，若是，则将测试数据集汇总后回传到测试平台上。
步骤108：基于所述目标对接平台发送的测试数据集，确定测试结果。
在将测试用例发送至目标对接平台的基础上，接收目标对接平台发送的测试数据集，并基于测试数据集确定测试结果。
具体的，测试结果是指测试平台基于测试数据集确定的结果，也即测试目标设备的结果，测试结果的形式可以为分值，如80分、90分等，还可以为等级，如A级、B级、优秀、良好等。
实际应用中，目标对接平台在接收到目标设备反馈的测试数据集之后，目标对接平台将测试数据集发送至测试平台，此时测试平台接收到测试数据集，然后对测试数据集中测试数据进行数据分析，从而确定针对目标设备的测试结果。
可选地，测试平台还可以基于测试结果，对目标设备对应的设备提供方进行评价。也即所述基于所述目标对接平台发送的测试数据集，确定测试结果之后，还包括：
获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；
基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
具体的，评估值是指根据一定现象进行判断、估量所得出来的分值，例如设备需求方根据与设备提供方适配对接的整个过程中进行打分的分值，又如设备需求方从某第三方平台上获取的对设备提供方进行打分的分值；评价值是指针综合测试结果和至少一个评估值，计算得到的设备提供方的得分。
实际应用中，在得到了测试结果之后，测试平台可以从第三方平台上获取设备提供方的至少一个评估值，还可以接收用户上传的设备提供方的至少一个评估值。进而根据测试结果和至少一个评估值，按照预设评估策略确定设备提供方的评价值。如此，可以实现对设备提供方自动化评价，减少人力物力，提高了对设备提供方进行评价的效率。
例如，用户在测试平台的评估值输入界面输入设备提供方的至少一个评估值，然后确定按键，上传设备提供方的至少一个评估值，此时测试平台获取到设备提供方的至少一个评估值，进而根据测试结果和至少一个评估值，按照预设评估策略确定设备提供方的评价值。
需要说明的是，在确定设备提供方的评价值时，可以从多个维度对设备提供方进行评价，如质量、性能、功能满足点、合作响应程度、业界竞争力、问题定位故障、定位技术能力、故障解决能力等维度进行评价。也即对评估值和测试结果从多维度进行分类。
在本说明书一个或多个可选的实施例中，所述测试结果包括至少一个测试值；然后根据至少一个测试值和至少一个评估值，确定设备提供方的评价值。也即所述基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值，具体实现过程可以如下：
根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；
根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
具体的，测试值是指分值形式的测试结果，如10、20等。
实际应用中，可以先确定至少一个测试值的第一数量和至少一个评估值的第二数量，然后根据第一数量确定各测试值的第一权重，以及根据第二数量确定各评估值的第二权重，进一步，基于第一权重计算各测试值的第一加权和，基于第二权重计算各评估值的第二加权和，进而根据预设权值，计算第一加权和与第二加权和的加权和，并确定为评价值。可以确定至少一个测试值和至少一个评估值的总数量，进而分别确定各测试值和各评估值的第三权重，然后基于第三权重，计算至少一个测试值和至少一个评估值的第三加权和，并确定为评价值。还可以将至少一个测试值和至少一个评估值按照预设规则进行分类，针对多个分类中的任意一个分类，将该分类中包含测试值和评估值的数量确定该分类中各测试值和各评估值的第四权重，基于第四权重，计算该分类中所有测试值和所有评估值的第四加权和，此外每个分类有预设的分类权重，基于分类权重，计算各分类对应的第四加权和的加权和，得到设备提供方的评价值。如此，可以提高评价值的准确度，进而提高测试平台的可靠性。
需要说明的是，在计算至少一个测试值和至少一个评估值的加权和之前，由于服务器性能测试数值评价标准不同，为了提高评价值的可信度，可以采用无量纲化的方式对至少一个测试值和至少一个评估值进行标准化处理，也即进行归一化。也即所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值之前，还包括：
将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；
相应地，所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值，包括：
根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
实际应用中，先对至少一个测试值和至少一个评估值进行归一化处理后，再根据各测试值和各评估值的权重，计算归一化处理后的至少一个测试值和至少一个评估值的加权和。或者将归一化后的至少一个测试值和至少一个评估值乘上预设数值，得到新的至少一个测试值和至少一个评估值，进而根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和。
例如，有五个测试值：5、15、25、35和45，有四个评估值，分别为20、30、40和50。将五个测试值和四个评估值按照预设规则进行分类，得到4个分类，其中第一分类包括5和25，第二分类包括15、35和45，第三分类包括20和50，第四分类包括30和40。按照式1分别对各分类中测试值和评估值进行归一化处理，得到第一分类包括0和1，第二分类包括0、2/3和1，第三分类包括0和1，第四分类包括0和1。假设预设数值为5，乘上预设数值后，第一分类包括0和5，第二分类包括0、10/3和5，第三分类包括0和5，第四分类包括0和5。
式1中，y为归一化后的测试值或评估值，min x为该分类中的最小值，max x为该分类中的最大值。
进一步地，根据各分类中包含测试值和评估值的总数量确定权重，如式2所示，则第一分类中0和5的权重均为10，第二分类包括0、10/3和5的权重均为20/3，第三分类包括0和5的权重均为10，第四分类包括0和5的权重均为10。
w＝100/(5n) (式2)
式2中，n为该分类中包含测试值和评估值的总数量，w为该分类中测试值和评估值的权重。
然后，计算各分类中测试值和评估值的加权和，如式3所示，则第一分类中0和5的加权和为50，第二分类中0、10/3和5的加权和为500/9，第三分类中0和5的加权和为50，第四分类中0和5的加权和为50。
式3中，h为该分类中测试值和评估值的加权和，w为该分类中测试值和评估值的权重，yj为该分类中的第j个测试值或评估值，n为该n为分类中包含测试值和评估值的总数量。
假设各分类对应预设的分类权重为a1、a2、a3和a4，其中a1、a2、a3和a4的和为1，进一步地计算各分类对应的分类权重的加权和，如式4所示。若a1、a2、a3和a4分别为0.2、0.3、0.3和0.2，则设备提供方的评价值为1500/3。
g＝a1*h1+a2*h2+a3*h3+a4*h4 (式4)
式4中，g为设备提供方的评价值，a1、a2、a3和a4为第一分类、第二分类、第三分类和第四分类的分类权重，h1、h2、h3和h4为第一分类、第二分类、第三分类和第四分类中测试值和评估值的加权和。
为了提高测试效率，还可以生成测试策略，也即所述接收测试请求之后，还包括：
基于所述目标设备的属性信息生成测试策略；
将所述测试策略发送至所述目标对接平台，以使所述目标对接平台基于所述测试策略查询所述目标设备的设备状态，并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
具体的，测试策略是指调度管理服务，可以包含监测脚本等。
实际应用中，测试平台还可以基于目标设备的属性信息生成测试策略，然后将测试策略发送至目标对接平台。目标对接平台在接收到测试策略之后，基于测试策略中的监测脚本查询目标设备的设备状态，如果目标设备的设备状态满足预设测试条件，则将测试用例下发到目标设备中，如果不满足，则继续查询目标设备的设备状态，直至目标设备的设备状态满足预设测试条件。如此，可以保证目标设备能够正常执行测试用例，进一步保证测试的正常执行，提高测试效率和准确率。
需要说明的是，对接平台与目标设备之间会有连通性健康检查，也即检测对接平台与目标设备之间的连接状态，当对接平台与目标设备之间的连接状态为断开，则说明设备网络不通或存在风险，则对接平台与目标设备删除本地的测试用例和/或测试策略，保证整个测试过程的数据安全。此外，测试结束时或者对接平台将测试数据集返回给测试平台后，对接平台与目标设备也会删除本地的测试用例和/或测试策略。且测试平台还可以提供可视化展示功能：如展示测试结果、评价值等。
本实施例提供的测试方法，可以用于远程自动化认证系统，包含在线认证系统、远程自动化部署平台、远程自动化测试平台、厂商打分评级系统组成。云厂商远程自动化的进行服务器厂商认证。支持远程自动化部署装机，远程的自动化测试，远程的结果收集，远程数据清理，测试结果自动化分析，厂商结果自动化打分评级，认证证书的自动发放。如可以运用于云厂商远程服务器兼容性测试、服务器与云兼容性的远程问题定位、服务器部件和固件更新等的远程兼容性测试、客户服务器与云的远程兼容性验证性(PoC，Proof ofConcept)测试、各服务器厂商及部件的质量评级体系等场景中。
本说明书提供的测试方法，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
此外，测试平台与待测设备之间解耦，测试平台与待测设备的测试环境安全隔离，由设备采购方和设备提供方各自管控运维，有利于保证测试数据的安全，进一步提高测试的安全性。
图2示出了根据本说明书一个实施例提供的另一种测试方法的流程图，应用于对接平台，具体包括以下步骤：
步骤202：接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一。
具体的，测试平台是指第三方或设备需求方设置的用于测试待测设备的平台，可以提供接口服务，实现平台化管理测试任务；对接平台是指一类可批量操作远程设备的网络设备或者操作平台，可以实现对设备进行维护和操作，例如跳板机、堡垒机，且对接平台可以由第三方维护，也可以由设备提供方维护；待测设备是指需要进行测试的设备，也即设备提供方提供的设备；目标设备是指至少一个待测设备中的任意一个；属性信息是指目标设备的配置参数等信息；测试用例是指对目标设备进行测试的方案、方法、技术和策略等的集合，如测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等；
实际应用中，第三方或者设备需求方，也即用户在测试平台上发起针对待测设备的测试任务，在发起测试任务时，用户会在测试平台的测试任务发起界面上输入对接平台标识和目标设备的属性信息，或者在测试任务发起界面上选择对应的对接平台和目标设备，该测试任务发起界面基于用户选择的对接平台和目标设备自动从预设数据库中识别出对接平台标识和目标设备的属性信息；然后用户点击确定按键之后，测试平台接收到测试任务，也即接收到携带有对接平台标识和目标设备的属性信息的测试请求。进一步地，测试平台根据目标设备的属性信息生成针对目标设备的测试用例，并根据对接平台标识从至少一个对接平台中确定对接平台标识对应的目标对接平台，之后通过测试平台通过与目标对接平台之间第一双向通路，将测试用例发送至目标对接平台。也即目标对接平台接收到测试用例。
需要说明的是，目标对接平台为接收到测试用例的对接平台。
步骤204：将所述测试用例发送至所述目标设备。
实际应用中，目标对接平台接收测试用例，并通过与目标设备之间的第二双向通路将测试用例发送至所述目标设备。
步骤206：接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
具体的，测试数据集对目标设备进行测试后获得到数据的集合，测试数据集可以是对目标设备进行测试直接回传的测试数据的集合，测试数据集还可以是对回传的测试数据进行处理后的得到的数据集合，如数据聚合、取均值等处理，该处理方法在测试用例中标明，测试数据集也可以包括目标设备进行测试直接回传的测试数据的集合和对回传的测试数据进行处理后的得到的数据集合，本申请对此不作限定；测试结果是指测试平台基于测试数据集确定的结果。
实际应用中，测试设备在接收到测试用例后，执行测试用例，得到测试数据集，然后通过第二双向通道将测试数据集反馈给目标对接平台。也即目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集。
步骤208：将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
实际应用中，目标对接平台在接收到目标设备反馈的测试数据集之后，目标对接平台将测试数据集发送至测试平台，此时测试平台接收到测试数据集，然后对测试数据集中测试数据进行数据分析，从而确定针对目标设备的测试结果。
可选地，在目标对接平台，也即对接平台与测试平台连接断开，或者对接平台与目标设备连接断开，或者对接平台与测试平台和目标设备连接断开的情况下，对接平台会删除本地的测试用例。也即在与所述测试平台和/或所述目标设备连接断开的情况下，删除本地的测试用例。以保证测试过程中的数据安全，防止泄露。
参见图3，图3示出了本说明书一个实施例提供的一种测试方法的流程示意图：用户通过测试平台302的输入界面302-8输入对接平台标识和目标设备的属性信息，即测试平台302通过输入界面302-8接收到测试请求，然后测试平台302根据属性信息通过测试用例库302-2生成测试用例，且生成测试策略，并基于对接平台标识确定目标对接平台，然后将测试用例和测试策略发送至目标对接平台，如对接平台304-2至对接平台304-P中的任意一个。目标对接平台基于测试策略查询目标设备的设备状态，并在设备状态满足预设测试条件的情况下，将测试用例发送至目标设备，如待测设备306-2至待测设备306-M中的任意一个。目标设备接收到测试用例，执行测试用例，得到测试数据集，返回给目标对接设备。目标对接设备将测试数据集进行汇总后，发送给测试平台302。测试平台302通过测试数据集分析302-4对测试数据集进行分析，得到测试结果。进一步地，获取至少一个评估值，并通过评价值计算302-6根据测试结果和至少一个评估值确定设备提供方的评价值。
本说明书提供的测试方法，接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；将所述测试用例发送至所述目标设备；接收所述目标设备反馈的执行所述测试用例得到的测试数据集；将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
上述为本实施例的一种应用于对接平台的测试方法的示意性方案。需要说明的是，该应用于对接平台的测试方法的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，应用于对接平台的测试方法的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了测试装置实施例，图4示出了本说明书一个实施例提供的一种测试装置的结构示意图。如图4所示，该装置应用于测试平台，包括：
第一接收模块402，被配置为接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
生成模块404，被配置为基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
第一发送模块406，被配置为将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
确定模块408，被配置为基于所述目标对接平台发送的测试数据集，确定测试结果。
可选地，所述生成模块404，还被配置为：
基于所述目标设备的属性信息生成测试策略；
所述第一发送模块406，还被配置为：
将所述测试策略发送至所述目标对接平台，以使所述目标对接平台基于所述测试策略查询所述目标设备的设备状态，并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
可选地，所述装置还包括获取模块，被配置为：
获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；
基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
可选地，所述测试结果包括至少一个测试值；
所述获取模块，还被配置为：
根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；
根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
可选地，所述获取模块，还被配置为：
将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；
根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
可选地，所述装置还包括检测模块，被配置为：
检测与所述目标对接平台之间的连接状态；
在所述连接状态为断开的情况下，停止测试。
可选地，所述检测模块，被配置为：
检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
可选地，所述测试用例包含测试执行策略和数据收集策略；
所述第一发送模块406，还被配置为：
将所述测试执行策略和所述数据收集策略发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的测试数据集，其中，所述测试数据集为所述目标设备执行所述测试执行策略并基于所述数据收集策略得到。
本说明书提供的测试装置，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
上述为本实施例的一种应用于测试平台的测试装置的示意性方案。需要说明的是，该应用于测试平台的测试装置的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，应用于测试平台的测试装置的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
与上述方法实施例相对应，本说明书还提供了测试装置实施例，图5示出了本说明书一个实施例提供的另一种测试装置的结构示意图。如图5所示，该装置应用于对接平台，包括：
第二接收模块502，被配置为接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
第二发送模块504，被配置为将所述测试用例发送至所述目标设备；
第三接收模块506，被配置为接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
第三发送模块508，被配置为将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
可选地，所述装置还包括删除模块，被配置为：
在与所述测试平台和/或所述目标设备连接断开的情况下，删除本地的测试用例。
本说明书提供的测试装置，接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；将所述测试用例发送至所述目标设备；接收所述目标设备反馈的执行所述测试用例得到的测试数据集；将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
上述为本实施例的一种应用于对接平台的测试装置的示意性方案。需要说明的是，该应用于对接平台的测试装置的技术方案与上述应用于对接平台的测试方法的技术方案属于同一构思，应用于对接平台的测试装置的技术方案未详细描述的细节内容，均可以参见上述应用于对接平台的测试方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种测试系统的结构示意图，该系统包括：
测试平台602、至少一个对接平台604和至少一个待测设备606；
所述测试平台602，用于接收测试请求，其中，所述测试请求中携带有对接平台604标识和目标设备的属性信息，所述目标设备为所述至少一个待测设备606之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台604标识从至少一个对接平台604中确定目标对接平台；将所述测试用例发送至所述目标对接平台；
所述至少一个对接平台604中的所述目标对接平台，用于接收所述测试平台602发送的测试用例；将所述测试用例发送至所述目标设备；
所述至少一个待测设备606中的所述目标设备，用于执行所述测试用例，得到测试数据集；将所述测试数据集反馈给所述目标对接平台；
所述测试平台602，还用于基于所述目标对接平台发送的测试数据集，确定测试结果。
可选地，所述测试平台602，还用于基于所述目标设备的属性信息生成测试策略；将所述测试策略发送至所述目标对接平台；
所述至少一个对接平台604中的所述目标对接平台，还用于基于所述测试策略查询所述目标设备的设备状态；并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
可选地，所述测试平台602，还用于获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
可选地，所述测试结果包括至少一个测试值；
所述测试平台602，还用于根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
可选地，所述测试平台602，还用于将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
可选地，所述测试平台602，还用于检测与所述目标对接平台之间的连接状态；
在所述连接状态为断开的情况下，停止测试。
可选地，所述测试平台602，还用于检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
可选地，所述测试用例包含测试执行策略和数据收集策略；
所述测试平台602，还用于将所述测试执行策略和所述数据收集策略发送至所述目标对接平台；
所述至少一个对接平台604中的所述目标对接平台，还用于将所述测试执行策略和所述数据收集策略发送至所述目标设备；
所述至少一个待测设备606中的所述目标设备，还用于执行所述测试执行策略，并基于所述数据收集策略得到的测试数据集；向所述目标对接平台反馈所述测试数据集；
所述至少一个对接平台604中的所述目标对接平台，还用于接收所述测试数据集，将所述测试数据集发送至所述测试平台602。
可选地，所述至少一个对接平台604中的所述目标对接平台，还用于在与所述测试平台602和/或所述目标设备连接断开的情况下，删除本地的测试用例。
可选地，所述至少一个对接平台604的所述目标对接平台，还用于在与所述测试平台602连接断开的情况下，生成删除指令发送至所述目标设备；
所述至少一个待测设备606中的所述目标设备，还用于响应所述删除指令，删除本地的测试用例。
可选地，所述至少一个待测设备606中的所述目标设备，在与所述目标对接平台连接断开的情况下，删除本地的测试用例。
本说明书提供的测试系统，通过接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；基于所述目标对接平台发送的测试数据集，确定测试结果。通过测试平台与对接平台的连接，实现了远程、自动化地测试待测设备，且可以基于属性信息确定测试用例，能够实现对不同设备提供方、不同待测设备的测试，减少了人工投入。此外，基于测试用例测试待测设备，可以有效地提高测试的效率和准确率。
上述为本实施例的一种测试系统的示意性方案。需要说明的是，该测试系统的技术方案与上述应用于测试平台的测试方法的技术方案属于同一构思，测试系统的技术方案未详细描述的细节内容，均可以参见上述应用于测试平台的测试方法的技术方案的描述。
图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，待测设备750用于获取测试数据集，目标对接平台770用于计算设备700和待测设备750之间数据的交互。
计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkInterface Controller))中的一个或多个，诸如IEEE702.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。
在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
其中，处理器720用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述测试方法的步骤。
在本说明书一个或多个可选的实施例中，计算设备700可以是测试平台，其中存储器710可以为测试平台中的测试用例库，处理器720可以为测试平台中的测试数据集分析和评价值计算，总线730可以为测试平台的输入界面，接入设备740可以为测试平台获取评估值的接口。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的测试方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，，该计算机可执行指令被处理器执行时实现上述测试方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的测试方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述测试方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的测试方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述测试方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种测试方法，应用于测试平台，包括：
接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为至少一个待测设备之一；
基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；
将所述测试用例发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
基于所述目标对接平台发送的测试数据集，确定测试结果。
2.根据权利要求1所述的方法，所述接收测试请求之后，还包括：
基于所述目标设备的属性信息生成测试策略；
将所述测试策略发送至所述目标对接平台，以使所述目标对接平台基于所述测试策略查询所述目标设备的设备状态，并在所述设备状态满足预设测试条件的情况下，将所述测试用例发送至所述目标设备。
3.根据权利要求1或2所述的方法，所述基于所述目标对接平台发送的测试数据集，确定测试结果之后，还包括：
获取设备提供方的至少一个评估值，其中，所述设备提供方为所述目标设备对应的提供方；
基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值。
4.根据权利要求3所述的方法，所述测试结果包括至少一个测试值；
所述基于所述测试结果和所述至少一个评估值确定所述设备提供方的评价值，包括：
根据所述至少一个测试值和所述至少一个评估值的数量，分别确定各测试值和各评估值的权重；
根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
5.根据权利要求4所述的方法，所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值之前，还包括：
将所述至少一个测试值和所述至少一个评估值分别进行归一化处理，得到新的至少一个测试值和所述至少一个评估值；
所述根据各测试值和各评估值的权重，计算所述至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值，包括：
根据各测试值和各评估值的权重，计算新的至少一个测试值和所述至少一个评估值的加权和，将所述加权和确定为所述设备提供方的评价值。
6.根据权利要求1所述的方法，所述将所述测试用例发送至所述目标对接平台之后，还包括：
检测与所述目标对接平台之间的连接状态；
在所述连接状态为断开的情况下，停止测试。
7.根据权利要求6所述的方法，所述检测与所述目标对接平台之间的连接状态，包括：
检测所述目标对接平台发送的相邻两个心跳包之间的间隔时长；
根据所述间隔时长和预设时长，确定与所述目标对接平台之间的连接状态。
8.根据权利要求1所述的方法，所述测试用例包含测试执行策略和数据收集策略；
所述将所述测试用例发送至所述目标对接平台，包括：
将所述测试执行策略和所述数据收集策略发送至所述目标对接平台，以使所述目标对接平台接收所述目标设备反馈的测试数据集，其中，所述测试数据集为所述目标设备执行所述测试执行策略并基于所述数据收集策略得到。
9.一种测试方法，应用于对接平台，包括：
接收测试平台发送的测试用例，其中，所述测试用例为所述测试平台基于目标设备的属性信息确定，所述目标设备为至少一个待测设备之一；
将所述测试用例发送至所述目标设备；
接收所述目标设备反馈的执行所述测试用例得到的测试数据集；
将所述测试数据集发送至所述测试平台，以使所述测试平台基于测试数据集确定测试结果。
10.根据权利要求9所述的方法，所述接收测试平台发送的测试用例之后，还包括：
在与所述测试平台和/或所述目标设备连接断开的情况下，删除本地的测试用例。
11.一种测试系统，包括：
测试平台、至少一个对接平台和至少一个待测设备；
所述测试平台，用于接收测试请求，其中，所述测试请求中携带有对接平台标识和目标设备的属性信息，所述目标设备为所述至少一个待测设备之一；基于所述目标设备的属性信息生成测试用例，并基于所述对接平台标识从至少一个对接平台中确定目标对接平台；将所述测试用例发送至所述目标对接平台；
所述至少一个对接平台中的所述目标对接平台，用于接收所述测试平台发送的测试用例；将所述测试用例发送至所述目标设备；
所述至少一个待测设备中的所述目标设备，用于执行所述测试用例，得到测试数据集；将所述测试数据集反馈给所述目标对接平台；
所述测试平台，还用于基于所述目标对接平台发送的测试数据集，确定测试结果。
12.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-8或9-10任意一项所述测试方法的步骤。
13.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-8或9-10任意一项所述测试方法的步骤。
14.一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8或9-10任意一项所述测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210057000.XA CN114610599A (zh) | 2022-01-18 | 2022-01-18 | 测试方法以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210057000.XA CN114610599A (zh) | 2022-01-18 | 2022-01-18 | 测试方法以及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114610599A true CN114610599A (zh) | 2022-06-10 |
Family
ID=81857524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210057000.XA Pending CN114610599A (zh) | 2022-01-18 | 2022-01-18 | 测试方法以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114610599A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069573A (zh) * | 2022-11-16 | 2023-05-05 | 北京东方通科技股份有限公司 | 一种基于api测试平台的测试方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074072A (ko) * | 2017-12-19 | 2019-06-27 | 슈어소프트테크주식회사 | 테스트 서버의 전문 기반 통신 방법 및 전문 기반으로 통신하는 테스트 서버 |
| CN110096430A (zh) * | 2019-03-16 | 2019-08-06 | 平安证券股份有限公司 | 第三方sdk准入测试方法、装置、终端及存储介质 |
| CN112306880A (zh) * | 2020-11-02 | 2021-02-02 | 百度在线网络技术（北京）有限公司 | 测试方法、装置、电子设备和计算机可读存储介质 |
| CN112540912A (zh) * | 2020-11-20 | 2021-03-23 | 北京跟踪与通信技术研究所 | 一种软件质量评价方法及系统 |
| WO2021135809A1 (zh) * | 2019-12-30 | 2021-07-08 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN113127338A (zh) * | 2021-03-22 | 2021-07-16 | 四川锐明智通科技有限公司 | 一种固件测试方法、服务器及计算机可读存储介质 |
| CN113553257A (zh) * | 2021-07-14 | 2021-10-26 | 北京字节跳动网络技术有限公司 | 测试方法、装置、存储介质及电子设备 |
| CN113688040A (zh) * | 2021-08-20 | 2021-11-23 | 北京京东拓先科技有限公司 | 系统测试方法、设备、存储介质及计算机程序产品 |
-
2022
- 2022-01-18 CN CN202210057000.XA patent/CN114610599A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074072A (ko) * | 2017-12-19 | 2019-06-27 | 슈어소프트테크주식회사 | 테스트 서버의 전문 기반 통신 방법 및 전문 기반으로 통신하는 테스트 서버 |
| CN110096430A (zh) * | 2019-03-16 | 2019-08-06 | 平安证券股份有限公司 | 第三方sdk准入测试方法、装置、终端及存储介质 |
| WO2021135809A1 (zh) * | 2019-12-30 | 2021-07-08 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN113127323A (zh) * | 2019-12-30 | 2021-07-16 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN112306880A (zh) * | 2020-11-02 | 2021-02-02 | 百度在线网络技术（北京）有限公司 | 测试方法、装置、电子设备和计算机可读存储介质 |
| CN112540912A (zh) * | 2020-11-20 | 2021-03-23 | 北京跟踪与通信技术研究所 | 一种软件质量评价方法及系统 |
| CN113127338A (zh) * | 2021-03-22 | 2021-07-16 | 四川锐明智通科技有限公司 | 一种固件测试方法、服务器及计算机可读存储介质 |
| CN113553257A (zh) * | 2021-07-14 | 2021-10-26 | 北京字节跳动网络技术有限公司 | 测试方法、装置、存储介质及电子设备 |
| CN113688040A (zh) * | 2021-08-20 | 2021-11-23 | 北京京东拓先科技有限公司 | 系统测试方法、设备、存储介质及计算机程序产品 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116069573A (zh) * | 2022-11-16 | 2023-05-05 | 北京东方通科技股份有限公司 | 一种基于api测试平台的测试方法及系统 |
| CN116069573B (zh) * | 2022-11-16 | 2023-09-22 | 北京东方通科技股份有限公司 | 一种基于api测试平台的测试方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109446071A (zh) | 接口测试方法、接口测试装置、电子设备及存储介质 | |
| CN108199921A (zh) | 一种模拟测试的方法、装置及存储介质 | |
| CN102710549B (zh) | 通过摄像建立通信连接关系的方法、终端及系统 | |
| US10567398B2 (en) | Method and apparatus for remote malware monitoring | |
| CN113037589A (zh) | 网关设备的压力测试方法、装置、测试平台及存储介质 | |
| CN110166271A (zh) | 一种检测网络节点异常的方法和装置 | |
| WO2018142703A1 (ja) | 異常要因推定装置、異常要因推定方法及びプログラム | |
| CN113678494A (zh) | 用于提供网络体验测试的方法及器件 | |
| CN114610599A (zh) | 测试方法以及系统 | |
| US20110047274A1 (en) | System and Method to Manage a Policy Related to a Network-Based Service | |
| CN116974874A (zh) | 数据库的测试方法、装置、电子设备及可读存储介质 | |
| CN109783359A (zh) | 自动检测接口有效标识的方法、装置和计算机设备 | |
| CN112346751A (zh) | 应用程序的安装方法、装置、电子设备和存储介质 | |
| CN115643181A (zh) | 一种基于rpa机器人的通用数据采集系统 | |
| CN117651003B (zh) | Erp信息传输安全监控系统 | |
| CN114443212A (zh) | 热迁移管理方法、装置、设备及存储介质 | |
| JP2023543698A (ja) | ボット監視 | |
| CN109828910A (zh) | monkey测试的方法及装置、计算机设备、存储介质 | |
| US10241882B2 (en) | System and method for dynamic adjustment of logging | |
| CN109698774A (zh) | 用于监测设备工作状态的方法及装置 | |
| CN110544182B (zh) | 一种基于机器学习技术的配电通信网融合控制方法及系统 | |
| EP3321879A1 (en) | Article inspection and examination system and method | |
| CN113778831A (zh) | 一种数据应用性能分析方法、装置、设备和介质 | |
| CN110674380B (zh) | 数据查询方法、系统、可读存储介质及智能设备 | |
| CN103685390B (zh) | 基于用户标识的负载均衡方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |