CN109144857A - 跨平台的算法测试方法及系统 - Google Patents
跨平台的算法测试方法及系统 Download PDFInfo
- Publication number
- CN109144857A CN109144857A CN201810866956.8A CN201810866956A CN109144857A CN 109144857 A CN109144857 A CN 109144857A CN 201810866956 A CN201810866956 A CN 201810866956A CN 109144857 A CN109144857 A CN 109144857A
- Authority
- CN
- China
- Prior art keywords
- test
- user
- target detection
- platform
- permission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供的一种跨平台的算法测试方法及系统，用户登录测试客户端之后，若测试权限验证通过，则测试客户端从Web服务器获取用户ID对应的测试任务、测试用例和测试数据以供用户选择；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的目标测试数据和目标测试平台，并生成该目标测试任务对应的目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。该方法及系统能够支持多种平台多种算法，并能够动态扩展和适应新的需求；一定程度上降低了测试平台的运算负担和存储负担，并有利于各测试平台进行资源共享。
Description
技术领域
本发明涉及算法测试技术领域，更具体地，涉及一种跨平台的算法测试方法及系统。
背景技术
目前大部分软件的功能都是基于算法实现的，例如，人脸检测软件是基于人脸算法实现的。各类算法在进行实际应用之前均需进行测试，尤其针对目前兴起的基于深度学习的算法，在进行深度学习之后通常要通过庞大的测试集进行测试。即，现有技术中存在对各类算法的测试需求，且每类算法往往需要通过大量的测试数据进行测试。
现有的算法评测工具都是基于特定平台的针对单一算法的专用测试工具，缺乏对多种平台多种算法的支持，无法动态扩展和适应新的需求。而且这种专用的测试工具不具备对测试任务、测试用例、测试数据和测试结果的分类管理能力，也不具备对用户的权限管理能力。同时，受限特定平台运算能力和存储能力的限制，一些基于大数据进行统计分析的功能无法得以实现。另外，由于不同平台的测试工具是相对独立的，所以不便于资源共享和模块复用，造成开发资源的浪费。
有鉴于此，亟需提供一种跨平台的算法测试方法及系统。
发明内容
本发明为了克服现有的算法评测工具都是基于特定平台的针对单一算法的专用测试工具，缺乏对多种平台多种算法的支持，无法动态扩展和适应新的需求等缺陷，提供一种跨平台的算法测试方法及系统。
一方面，本发明提供一种跨平台的算法测试方法，包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
优选地，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，具体为：
根据用户ID从Web服务器的数据库中获取用户ID对应的所有测试任务；
对于任意一个测试任务，从Web服务器的数据库中获取该测试任务对应的所有测试用例；
对于任意一个测试用例，从Web服务器的数据库中获取该测试用例对应的所有测试数据。
优选地，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，之前还包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的第一配置权限进行验证，若验证通过，则向用户提供第一配置界面以使得用户在第一配置界面上配置测试任务、测试用例、测试数据和测试人员ID；
将配置好的测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库。
优选地，根据用户ID对用户的第一配置权限进行验证，之前还包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的第二配置权限进行验证，若验证通过，则向用户提供第二配置界面以使得用户在第二配置界面上配置人员权限信息，人员权限信息包括人员ID和人员ID对应的权限类型；
将配置好的人员权限信息存储至Web服务器的数据库。
优选地，根据用户ID对用户的第一配置权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含第一配置权限，则验证通过；
相应地，根据用户ID对用户的第二配置权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含第二配置权限，则验证通过。
优选地，根据用户ID对用户的测试权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含测试权限，则验证通过。
优选地，将目标测试数据和目标测试指令下发至目标测试平台，之前还包括：
制定与各测试平台进行通信连接的统一接口规范，作为通信中间件；
相应地，将目标测试数据和目标测试指令下发至目标测试平台，具体为：
将目标测试数据和目标测试指令通过通信中间件下发至目标测试平台。
一方面，本发明提供一种跨平台的算法测试系统，包括：
权限验证模块，用于根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
测试任务下发模块，用于获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
测试结果统计模块，用于接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
一方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法。
本发明提供的一种跨平台的算法测试方法及系统，用户登录测试客户端之后，若用户通过测试客户端的测试权限验证，则测试客户端从Web服务器获取用户ID对应的测试任务、测试用例和测试数据以供用户选择；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。该方法及系统能够支持多种平台多种算法，并能够动态扩展和适应新的需求；同时能够对测试任务、测试用例、测试数据进行分类管理能力，也能够对用户的权限进行管理；通过测试客户端、Web服务器和测试平台之间的分工协作完成整个测试过程，其中将具体的测试执行交付给测试平台，将测试结果的统计分析交付给测试客户端，并将测试任务、测试用例和测试数据的存储交付给Web服务器，一定程度上降低了测试平台的运算负担和存储负担，有利于提升测试平台的整体性能；通过测试客户端统一下发测试数据和测试指令，有利于各测试平台进行资源共享。
附图说明
图1为本发明实施例的一种跨平台的算法测试方法的整体流程示意图；
图2为本发明实施例的一种跨平台的算法测试系统的整体结构示意图；
图3为本发明实施例的一种电子设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
需要说明的是，本发明提供的跨平台的算法测试方法及系统是通过测试客户端、Web服务器和测试平台之间进行通信实现的，现以测试客户端为执行主体对跨平台的算法测试方法的具体实现过程进行说明。
图1为本发明实施例的一种跨平台的算法测试方法的整体流程示意图，如图1所示，本发明提供一种跨平台的算法测试方法，包括：
S1，根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
具体地，当用户需要对某一算法进行测试时，用户通过测试客户端登录系统，在用户登录的同时，测试客户端可以获知用户输入的用户名，该用户名即为用户ID。测试客户端再根据用户ID对用户的各种权限进行验证，其中包括对用户的测试权限进行验证，若测试权限验证通过，则可确定当前登录的用户具有测试权限，该用户一般为测试人员。此时，测试客户端即会在用户界面上显示测试功能界面，同时测试客户端根据用户ID从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，并在测试功能界面上显示当前登录用户对应的所有测试任务、测试用例和测试数据。其中，用户ID对应的测试任务、测试用例和测试数据是预先配置好的。一般地，每个用户ID对应至少一个测试任务，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据。其中，一个具体的测试任务中约束了所需测试的特定算法以及该算法的测试所处的特定平台，一个测试用例用于具体描述一个完整的测试过程，每个测试用例对应的测试数据即为完成该测试用例所描述的测试过程所需的数据。
S2，获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
具体地，用户在当前测试功能界面上显示的所有测试任务中选择至少一个测试任务进行测试，测试客户端获取用户选择的所有测试任务，并将用户选择的每个测试任务作为目标测试任务。在此基础上，对于任意一个目标测试任务，测试客户端获取该目标任务对应的所有测试数据，作为目标测试数据；由于该目标测试任务中包含对应的测试平台，由此，测试客户端可从该目标测试任务中获取该目标测试任务对应的测试平台，作为目标测试平台。此外，测试客户端获取该目标测试任务对应的所有测试用例，并根据该目标测试任务对应的所有测试用例生成测试指令。最终，目标客户端将目标测试数据和目标测试指令下发至目标测试平台。
通过上述处理步骤，各个目标测试平台均可接收到测试客户端下发的目标测试指令和目标测试数据，各个目标测试平台在接收到测试客户端下发的目标测试指令和目标测试数据之后，根据目标测试指令调用相应的算法组件，再利用算法组件根据目标测试数据进行测试。最终，各个目标测试平台再将各自的测试结果上报给测试客户端。
S3，接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
具体地，测试客户端接收各个目标测试平台上报的测试结果，并对所有测试结果进行统计分析。其中，一般地，当需要测试某个算法在不同平台下的性能时，可针对该算法配置多个测试任务。例如，对于算法S而言，若需要测试算法S在Windows、Linux、Android和iOS平台下的性能时，则可针对算法S配置4个测试任务，4个测试任务分别为测试算法S在Windows、Linux、Android和iOS平台下的性能。测试客户端将4个测试任务分别下发至Windows、Linux、Android和iOS平台进行测试，最终各平台将各自的测试结果上报给测试客户端，最终测试客户端即可对4个平台的测试结果进行统计分析，有利于对比算法S在4个平台下的性能，即实现对比测试。
可以看出，通过跨平台的算法测试方法不仅可以将同一算法在不同测试平台进行对比测试，还可以将不同算法在同一测试平台进行对比测试。其中，在将同一算法在不同测试平台进行对比测试时，由于各平台的测试指令和测试数据均是由测试客户端下发的，由此各平台可实现资源共享。
本发明提供的一种跨平台的算法测试方法，用户登录测试客户端之后，若用户通过测试客户端的测试权限验证，则测试客户端从Web服务器获取用户ID对应的测试任务、测试用例和测试数据以供用户选择；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。该方法能够支持多种平台多种算法，并能够动态扩展和适应新的需求；同时能够对测试任务、测试用例、测试数据进行分类管理能力，也能够对用户的权限进行管理；通过测试客户端、Web服务器和测试平台之间的分工协作完成整个测试过程，其中将具体的测试执行交付给测试平台，将测试结果的统计分析交付给测试客户端，并将测试任务、测试用例和测试数据的存储交付给Web服务器，一定程度上降低了测试平台的运算负担和存储负担，有利于提升测试平台的整体性能；通过测试客户端统一下发测试数据和测试指令，有利于各测试平台进行资源共享。
基于上述任一实施例，提供一种跨平台的算法测试方法，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，具体为：根据用户ID从Web服务器的数据库中获取用户ID对应的所有测试任务；对于任意一个测试任务，从Web服务器的数据库中获取该测试任务对应的所有测试用例；对于任意一个测试用例，从Web服务器的数据库中获取该测试用例对应的所有测试数据。
具体地，在用户通过测试权限的验证之后，测试客户端根据用户ID从Web服务器获取用户ID对应的所有测试任务；对于任意一个测试任务，从Web服务器的数据库中获取该测试任务对应的所有测试用例；对于任意一个测试用例，从Web服务器的数据库中获取该测试用例对应的所有测试数据。由此，即可从Web服务器获取用户ID对应的所有测试任务、测试用例和测试数据。
可以理解的是，测试任务、测试用例和测试数据分别存储在Web服务器的数据库中的不同数据表中。例如，可以将每个用户ID和对应的测试任务关联存储在表1中；将每个测试任务的标识和对应的测试用例关联存储在表2中；将每个测试用例的标识和对应的测试数据关联存储在表3中。由此，根据用户ID即可从表1中获取用户ID对应的所有测试任务，再从表2中获取每个测试任务对应的所有测试用例，然后从表3中获取每个测试用例对应的所有测试数据。
本发明提供的一种跨平台的算法测试方法，根据用户ID从Web服务器的数据库中获取用户ID对应的所有测试任务；对于任意一个测试任务，从Web服务器的数据库中获取该测试任务对应的所有测试用例；对于任意一个测试用例，从Web服务器的数据库中获取该测试用例对应的所有测试数据。该方法通过将测试任务、测试用例和测试数据分类存储在Web服务器的数据库中，一方面降低了测试平台的数据存储负担，另一方面实现了对测试任务、测试用例和测试数据分类管理。
基于上述任一实施例，提供一种跨平台的算法测试方法，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，之前还包括：根据用户的登录请求获取用户ID，根据用户ID对用户的第一配置权限进行验证，若验证通过，则向用户提供第一配置界面以使得用户在第一配置界面上配置测试任务、测试用例、测试数据和测试人员ID；将配置好的测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库。
具体地，在从Web服务器获取用户ID对应的测试任务、测试用例和测试数据之前，还需先对测试任务、测试用例和测试数据进行配置。当用户需要对测试任务、测试用例和测试数据进行配置时，用户首先通过测试客户端登录系统，在用户登录的同时，测试客户端可以获知用户输入的用户名，该用户名即为用户ID。测试客户端再根据用户ID对用户的各种权限进行验证，其中包括对用户的第一配置权限进行验证，若第一配置权限验证通过，则可确定当前登录的用户具有第一配置权限，该用户一般为测试任务配置人员。此时，测试客户端即会在用户界面上显示第一配置界面，用户即可在第一配置界面上配置各个测试任务和每个测试任务对应的测试用例以及每个测试用例对应的测试数据。此外，用户还需针对每个测试任务配置对应的测试人员ID。最终，测试客户端将用户配置好的测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库。其中，用户在配置测试任务时，可以配置同一算法在不同测试平台进行对比测试，也可以配置不同算法在同一测试平台进行对比测试，即配置的测试任务可以涉及多种平台和多种算法。测试任务、测试用例、测试数据和测试人员ID的具体配置可以根据实际需求进行设置，此处不做具体限定。
需要说明的是，测试任务、测试用例、测试数据和测试人员ID可以关联存储至Web服务器的数据库中的同一数据表中，也可以关联存储至Web服务器的数据库中的不同数据表中。本实施例中，将测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库中的不同数据表中，例如，可以将每个测试人员ID和对应的测试任务关联存储在表1中；将每个测试任务的标识和对应的测试用例关联存储在表2中；将每个测试用例的标识和对应的测试数据关联存储在表3中。
本发明提供的一种跨平台的算法测试方法，在从Web服务器获取用户ID对应的测试任务、测试用例和测试数据之前，根据用户的登录请求获取用户ID，根据用户ID对用户的第一配置权限进行验证，若验证通过，则向用户提供第一配置界面以使得用户在第一配置界面上配置测试任务、测试用例、测试数据和测试人员ID；将配置好的测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库。该方法能够对测试任务、测试用例、测试数据和测试人员ID进行配置，有利于对测试人员进行测试任务的分配；且所配置测试任务能够支持多种平台和多种算法，有利于实现同一算法在不同测试平台的对比测试以及不同算法在同一测试平台的对比测试。
基于上述任一实施例，提供一种跨平台的算法测试方法，根据用户ID对用户的第一配置权限进行验证，之前还包括：根据用户的登录请求获取用户ID，根据用户ID对用户的第二配置权限进行验证，若验证通过，则向用户提供第二配置界面以使得用户在第二配置界面上配置人员权限信息，人员权限信息包括人员ID和人员ID对应的权限类型；将配置好的人员权限信息存储至Web服务器的数据库。
具体地，在根据用户ID对用户的第一配置权限进行验证之前，还需先对人员权限进行配置。当用户需要对人员权限进行配置时，用户首先通过测试客户端登录系统，在用户登录的同时，测试客户端可以获知用户输入的用户名，该用户名即为用户ID。测试客户端再根据用户ID对用户的各种权限进行验证，其中包括对用户的第二配置权限进行验证，若第二配置权限验证通过，则可确定当前登录的用户具有第二配置权限，该用户一般为系统管理人员。此时，测试客户端即会在用户界面上显示第二配置界面，用户即可在第二配置界面上配置人员权限信息，其中，人员权限信息包括人员ID和人员ID对应的权限类型。
本实施例中，系统管理人员在配置人员权限信息时，可以配置两种等级的权限，分别为一级权限和二级权限。其中，一级权限包括测试权限和任务配置权限；二级权限仅包括测试权限。对应地，可以给测试任务的配置人员配置一级权限，即测试任务的配置人员既可以进行测试任务的配置，也可以进行测试任务的测试；可以给测试人员配置二级权限，即测试人员仅能对测试任务进行测试。在其他实施例中，人员权限配置的具体方式可以根据实际需求进行设置，此处不做具体限定。
最终，将配置好的人员权限信息存储至Web服务器的数据库，即可以将人员ID和人员ID对应的权限类型关联存储在Web服务器的数据库。由此，当用户通过测试客户端登录系统时，测试客户端获取用户ID之后，可从Web服务器的数据库中请求该用户ID对应的权限类型，最终测试客户端即可对登录用户的各种权限进行验证。
本发明提供的一种跨平台的算法测试方法，在根据用户ID对用户的第一配置权限进行验证之前，根据用户的登录请求获取用户ID，根据用户ID对用户的第二配置权限进行验证，若验证通过，则向用户提供第二配置界面以使得用户在第二配置界面上配置人员权限信息，人员权限信息包括人员ID和人员ID对应的权限类型；将配置好的人员权限信息存储至Web服务器的数据库。该方法能够对不同用户的权限进行管理，有利于确保测试数据的安全性。
基于上述任一实施例，提供一种跨平台的算法测试方法，根据用户ID对用户的第一配置权限进行验证，具体为：从Web服务器的数据库获取用户ID对应的权限类型；若权限类型中包含第一配置权限，则验证通过；相应地，根据用户ID对用户的第二配置权限进行验证，具体为：从Web服务器的数据库获取用户ID对应的权限类型；若权限类型中包含第二配置权限，则验证通过。
具体地，用户通过测试客户端登录系统，测试客户端获取用户ID，并从Web服务器的数据库获取用户ID对应的权限类型，若权限类型中包含第一配置权限，则第一配置权限验证通过，即可确定当前登录用户具有第一配置权限。
相应地，用户通过测试客户端登录系统，测试客户端获取用户ID，并从Web服务器的数据库获取用户ID对应的权限类型，若权限类型中包含第二配置权限，则第二配置权限验证通过，即可确定当前登录用户具有第二配置权限。
基于上述任一实施例，提供一种跨平台的算法测试方法，根据用户ID对用户的测试权限进行验证，具体为：从Web服务器的数据库获取用户ID对应的权限类型；若权限类型中包含测试权限，则验证通过。
具体地，用户通过测试客户端登录系统，测试客户端获取用户ID，并从Web服务器的数据库获取用户ID对应的权限类型，若权限类型中包含测试权限，则测试权限验证通过，即可确定当前登录用户具有测试权限。
本发明提供的一种跨平台的算法测试方法，当不同用户通过测试客户端登录系统时，测试客户端能够对不同人员的不同权限进行验证，不利于确保测试数据的安全性。
基于上述任一实施例，提供一种跨平台的算法测试方法，将目标测试数据和目标测试指令下发至目标测试平台，之前还包括：制定与各测试平台进行通信连接的统一接口规范，作为通信中间件；相应地，将目标测试数据和目标测试指令下发至目标测试平台，具体为：将目标测试数据和目标测试指令通过通信中间件下发至目标测试平台。
具体地，本实施例中，在将目标测试数据和目标测试指令下发至目标测试平台之前，测试客户端制定与各测试平台进行通信连接的统一接口规范，将该接口规范作为通信中间件，该通信中间件可以利用USB或LAN或WiFi作为传输载体。由此，测试客户端即可与各种测试平台进行通信连接，能够兼容不同的测试平台，可动态进行功能扩展。其中，测试平台可以为Windows、Linux、Android和iOS平台等，可以根据实际需求进行动态扩展，此处不做具体限定。
相应地，测试客户端在获得目标测试数据和目标测试指令之后，可以通过通信中间件将目标测试数据和目标测试指令下发至目标测试平台。
本发明提供的一种跨平台的算法测试方法，测试客户端通过制定与各测试平台进行通信连接的统一接口规范，作为通信中间件，使得测试客户端通过通信中间件能够自动接入不同的测试平台，能够兼容不同的测试平台，有利于进行动态功能扩展。
图2为本发明实施例的一种跨平台的算法测试系统的整体结构示意图，如图2所示，基于上述任一实施例，提供一种跨平台的算法测试系统，包括：
权限验证模块1，用于根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
测试任务下发模块2，用于获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
测试结果统计模块3，用于接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
本发明提供一种跨平台的算法测试系统，包括权限验证模块1、测试任务下发模块2和测试结果统计模块3，通过各模块之间的配合实现上述任一方法实施例的方法，具体实现过程可参见上述方法实施例，此处不再赘述。
本发明提供的一种跨平台的算法测试系统，用户登录测试客户端之后，若用户通过测试客户端的测试权限验证，则测试客户端从Web服务器获取用户ID对应的测试任务、测试用例和测试数据以供用户选择；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。该系统能够支持多种平台多种算法，并能够动态扩展和适应新的需求；同时能够对测试任务、测试用例、测试数据进行分类管理能力，也能够对用户的权限进行管理；通过测试客户端、Web服务器和测试平台之间的分工协作完成整个测试过程，其中将具体的测试执行交付给测试平台，将测试结果的统计分析交付给测试客户端，并将测试任务、测试用例和测试数据的存储交付给Web服务器，一定程度上降低了测试平台的运算负担和存储负担，有利于提升测试平台的整体性能；通过测试客户端统一下发测试数据和测试指令，有利于各测试平台进行资源共享。
图3示出本发明实施例的一种电子设备的结构框图。参照图3，所述电子设备，包括：处理器(processor)31、存储器(memory)32和总线33；其中，所述处理器31和存储器32通过所述总线33完成相互间的通信；所述处理器31用于调用所述存储器32中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种跨平台的算法测试方法，其特征在于，包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
2.根据权利要求1所述的方法，其特征在于，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，具体为：
根据用户ID从Web服务器的数据库中获取用户ID对应的所有测试任务；
对于任意一个测试任务，从Web服务器的数据库中获取该测试任务对应的所有测试用例；
对于任意一个测试用例，从Web服务器的数据库中获取该测试用例对应的所有测试数据。
3.根据权利要求1所述的方法，其特征在于，从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，之前还包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的第一配置权限进行验证，若验证通过，则向用户提供第一配置界面以使得用户在第一配置界面上配置测试任务、测试用例、测试数据和测试人员ID；
将配置好的测试任务、测试用例、测试数据和测试人员ID关联存储至Web服务器的数据库。
4.根据权利要求3所述的方法，其特征在于，根据用户ID对用户的第一配置权限进行验证，之前还包括：
根据用户的登录请求获取用户ID，根据用户ID对用户的第二配置权限进行验证，若验证通过，则向用户提供第二配置界面以使得用户在第二配置界面上配置人员权限信息，人员权限信息包括人员ID和人员ID对应的权限类型；
将配置好的人员权限信息存储至Web服务器的数据库。
5.根据权利要求4所述的方法，其特征在于，根据用户ID对用户的第一配置权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含第一配置权限，则验证通过；
相应地，根据用户ID对用户的第二配置权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含第二配置权限，则验证通过。
6.根据权利要求1所述的方法，其特征在于，根据用户ID对用户的测试权限进行验证，具体为：
从Web服务器的数据库获取用户ID对应的权限类型；
若权限类型中包含测试权限，则验证通过。
7.根据权利要求1所述的方法，其特征在于，将目标测试数据和目标测试指令下发至目标测试平台，之前还包括：
制定与各测试平台进行通信连接的统一接口规范，作为通信中间件；
相应地，将目标测试数据和目标测试指令下发至目标测试平台，具体为：
将目标测试数据和目标测试指令通过通信中间件下发至目标测试平台。
8.一种跨平台的算法测试系统，其特征在于，包括：
权限验证模块，用于根据用户的登录请求获取用户ID，根据用户ID对用户的测试权限进行验证，若验证通过，则从Web服务器获取用户ID对应的测试任务、测试用例和测试数据，其中，每个测试任务包括至少一个测试用例，每个测试用例包括多个测试数据；
测试任务下发模块，用于获取用户选择的测试任务，作为目标测试任务，对于任意一个目标测试任务，获取该目标测试任务对应的所有测试数据，作为目标测试数据，获取该目标测试任务对应的测试平台，作为目标测试平台，根据该目标测试任务对应的所有测试用例生成目标测试指令，将目标测试数据和目标测试指令下发至目标测试平台，以使得目标测试平台根据目标测试指令和目标测试数据调用相应的算法组件进行测试；
测试结果统计模块，用于接收各个目标测试平台上报的测试结果，对所有测试结果进行统计分析。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866956.8A CN109144857A (zh) | 2018-08-01 | 2018-08-01 | 跨平台的算法测试方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810866956.8A CN109144857A (zh) | 2018-08-01 | 2018-08-01 | 跨平台的算法测试方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109144857A true CN109144857A (zh) | 2019-01-04 |
Family
ID=64798760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810866956.8A Pending CN109144857A (zh) | 2018-08-01 | 2018-08-01 | 跨平台的算法测试方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109144857A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871321A (zh) * | 2019-01-23 | 2019-06-11 | 四川虹美智能科技有限公司 | 一种测试用例代码自动生成的方法及测试用例管理平台 |
| CN110750454A (zh) * | 2019-10-10 | 2020-02-04 | 武汉普利商用机器有限公司 | 一种算法测试方法及系统 |
| CN111008135A (zh) * | 2019-12-02 | 2020-04-14 | 北京博睿宏远数据科技股份有限公司 | App测试方法、装置、设备及存储介质 |
| CN111008140A (zh) * | 2019-12-09 | 2020-04-14 | 广州品唯软件有限公司 | 一种跨平台的ui自动化测试方法及装置 |
| CN111427778A (zh) * | 2020-03-18 | 2020-07-17 | 中国平安人寿保险股份有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN111930633A (zh) * | 2020-08-19 | 2020-11-13 | 北京海益同展信息科技有限公司 | 数据测试方法、平台、电子设备及存储介质 |
| CN111950821A (zh) * | 2019-05-15 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 测试方法、装置以及服务器 |
| CN112115058A (zh) * | 2020-09-25 | 2020-12-22 | 建信金融科技有限责任公司 | 测试方法及装置、测试用例生成方法及装置、测试系统 |
| CN112231234A (zh) * | 2020-12-10 | 2021-01-15 | 北京云测信息技术有限公司 | 跨平台用户界面自动化测试方法、装置、设备和存储介质 |
| CN112667505A (zh) * | 2020-12-25 | 2021-04-16 | 杭州群核信息技术有限公司 | 一种终端测试方法、装置、存储介质及电子装置 |
| WO2021135809A1 (zh) * | 2019-12-30 | 2021-07-08 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN113297083A (zh) * | 2021-05-27 | 2021-08-24 | 山东云海国创云计算装备产业创新中心有限公司 | 一种跨平台ic测试方法、装置、设备及介质 |
| CN113590493A (zh) * | 2021-08-23 | 2021-11-02 | 中国银行股份有限公司 | 一种基于moa模型的产品测试方法、装置及设备 |
| CN113778835A (zh) * | 2021-11-11 | 2021-12-10 | 广州粤芯半导体技术有限公司 | 压力测试方法 |
| CN113821392A (zh) * | 2021-09-24 | 2021-12-21 | 北京市商汤科技开发有限公司 | 测试方法、装置、人脸识别模组、电子设备及存储介质 |
| WO2022141745A1 (zh) * | 2020-12-29 | 2022-07-07 | 福州富昌维控电子科技有限公司 | 一种基于梯形图的 plc 指令质量检测方法与终端 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104699616A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 一种应用测试的方法、装置及系统 |
| CN105205006A (zh) * | 2015-10-30 | 2015-12-30 | 北京新能源汽车股份有限公司 | 多平台通用测试方法、装置和系统 |
| CN105677561A (zh) * | 2015-12-31 | 2016-06-15 | 广州华多网络科技有限公司 | 移动产品多平台测试方法及系统 |
| US20170010956A1 (en) * | 2014-07-11 | 2017-01-12 | University Of Electronic Science And Technology Of China | Device for automatically generating test cases for embedded software and method thereof |
| CN106656680A (zh) * | 2017-02-21 | 2017-05-10 | 张震 | 一种voip测试平台及方法 |
| CN106874208A (zh) * | 2017-02-27 | 2017-06-20 | 网易（杭州）网络有限公司 | 测试脚本的处理方法、装置及电子设备 |
| US20180210818A1 (en) * | 2014-07-24 | 2018-07-26 | International Business Machines Corporation | System and method for testing software |
| CN108345540A (zh) * | 2018-02-07 | 2018-07-31 | 平安证券股份有限公司 | 基于私有云平台的应用测试系统、方法、设备及存储介质 |
-
2018
- 2018-08-01 CN CN201810866956.8A patent/CN109144857A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170010956A1 (en) * | 2014-07-11 | 2017-01-12 | University Of Electronic Science And Technology Of China | Device for automatically generating test cases for embedded software and method thereof |
| US20180210818A1 (en) * | 2014-07-24 | 2018-07-26 | International Business Machines Corporation | System and method for testing software |
| CN104699616A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇虎科技有限公司 | 一种应用测试的方法、装置及系统 |
| CN105205006A (zh) * | 2015-10-30 | 2015-12-30 | 北京新能源汽车股份有限公司 | 多平台通用测试方法、装置和系统 |
| CN105677561A (zh) * | 2015-12-31 | 2016-06-15 | 广州华多网络科技有限公司 | 移动产品多平台测试方法及系统 |
| CN106656680A (zh) * | 2017-02-21 | 2017-05-10 | 张震 | 一种voip测试平台及方法 |
| CN106874208A (zh) * | 2017-02-27 | 2017-06-20 | 网易（杭州）网络有限公司 | 测试脚本的处理方法、装置及电子设备 |
| CN108345540A (zh) * | 2018-02-07 | 2018-07-31 | 平安证券股份有限公司 | 基于私有云平台的应用测试系统、方法、设备及存储介质 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871321A (zh) * | 2019-01-23 | 2019-06-11 | 四川虹美智能科技有限公司 | 一种测试用例代码自动生成的方法及测试用例管理平台 |
| CN111950821B (zh) * | 2019-05-15 | 2023-07-25 | 腾讯科技（深圳）有限公司 | 测试方法、装置以及服务器 |
| CN111950821A (zh) * | 2019-05-15 | 2020-11-17 | 腾讯科技（深圳）有限公司 | 测试方法、装置以及服务器 |
| CN110750454A (zh) * | 2019-10-10 | 2020-02-04 | 武汉普利商用机器有限公司 | 一种算法测试方法及系统 |
| CN111008135A (zh) * | 2019-12-02 | 2020-04-14 | 北京博睿宏远数据科技股份有限公司 | App测试方法、装置、设备及存储介质 |
| CN111008135B (zh) * | 2019-12-02 | 2024-01-23 | 北京博睿宏远数据科技股份有限公司 | App测试方法、装置、设备及存储介质 |
| CN111008140A (zh) * | 2019-12-09 | 2020-04-14 | 广州品唯软件有限公司 | 一种跨平台的ui自动化测试方法及装置 |
| CN111008140B (zh) * | 2019-12-09 | 2023-08-11 | 广州品唯软件有限公司 | 一种跨平台的ui自动化测试方法及装置 |
| CN113127323A (zh) * | 2019-12-30 | 2021-07-16 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| WO2021135809A1 (zh) * | 2019-12-30 | 2021-07-08 | 北京金山云网络技术有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN111427778A (zh) * | 2020-03-18 | 2020-07-17 | 中国平安人寿保险股份有限公司 | 一种测试方法、装置、终端设备及存储介质 |
| CN111930633A (zh) * | 2020-08-19 | 2020-11-13 | 北京海益同展信息科技有限公司 | 数据测试方法、平台、电子设备及存储介质 |
| CN112115058B (zh) * | 2020-09-25 | 2024-03-29 | 建信金融科技有限责任公司 | 测试方法及装置、测试用例生成方法及装置、测试系统 |
| CN112115058A (zh) * | 2020-09-25 | 2020-12-22 | 建信金融科技有限责任公司 | 测试方法及装置、测试用例生成方法及装置、测试系统 |
| CN112231234B (zh) * | 2020-12-10 | 2021-03-19 | 北京云测信息技术有限公司 | 跨平台用户界面自动化测试方法、装置、设备和存储介质 |
| CN112231234A (zh) * | 2020-12-10 | 2021-01-15 | 北京云测信息技术有限公司 | 跨平台用户界面自动化测试方法、装置、设备和存储介质 |
| CN112667505A (zh) * | 2020-12-25 | 2021-04-16 | 杭州群核信息技术有限公司 | 一种终端测试方法、装置、存储介质及电子装置 |
| WO2022141745A1 (zh) * | 2020-12-29 | 2022-07-07 | 福州富昌维控电子科技有限公司 | 一种基于梯形图的 plc 指令质量检测方法与终端 |
| CN113297083A (zh) * | 2021-05-27 | 2021-08-24 | 山东云海国创云计算装备产业创新中心有限公司 | 一种跨平台ic测试方法、装置、设备及介质 |
| CN113590493A (zh) * | 2021-08-23 | 2021-11-02 | 中国银行股份有限公司 | 一种基于moa模型的产品测试方法、装置及设备 |
| CN113821392A (zh) * | 2021-09-24 | 2021-12-21 | 北京市商汤科技开发有限公司 | 测试方法、装置、人脸识别模组、电子设备及存储介质 |
| CN113778835A (zh) * | 2021-11-11 | 2021-12-10 | 广州粤芯半导体技术有限公司 | 压力测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109144857A (zh) | 跨平台的算法测试方法及系统 | |
| US11301439B2 (en) | System and method for object migration using waves | |
| CN104461856B (zh) | 基于云计算平台的性能测试方法、装置及系统 | |
| US10268574B2 (en) | Deployment testing for infrastructure delivery automation | |
| CN107590075B (zh) | 一种软件测试方法及装置 | |
| CN103761189B (zh) | 一种测试用例管理方法及系统 | |
| Ahmad et al. | A systematic mapping study of empirical studies on software cloud testing methods | |
| EP2755139A1 (en) | Evaluating performance maturity level of an application | |
| CN102521700A (zh) | 电网信息化评测快速测试系统 | |
| CN103246606A (zh) | Esb平台的性能方法和系统 | |
| CN108536571A (zh) | 性能测试方法、装置、设备及计算机可读存储介质 | |
| CN106980571A (zh) | 一种测试用例集的构建方法和设备 | |
| CN104579854A (zh) | 众包测试方法 | |
| CN110188036A (zh) | 一种软件测试方法及装置 | |
| CN110134612A (zh) | Ui测试数据生成方法、装置、设备及可读存储介质 | |
| CN106294121B (zh) | 飞机嵌入式实时诊断推理算法试验方法 | |
| CN109213645A (zh) | 一种分布式存储系统性能测试的方法和装置 | |
| CN114896108A (zh) | 测试验证系统 | |
| US20230070063A1 (en) | Workflow automation utilizing metadata structure | |
| KR20150030297A (ko) | 애플리케이션 자동 검증을 위한 검증장치, 단말장치, 시스템, 방법 및 컴퓨터로 판독 가능한 기록 매체 | |
| CN113220597A (zh) | 测试方法、测试装置、电子设备及存储介质 | |
| CN106295808B (zh) | 飞机嵌入式实时诊断推理算法试验方法 | |
| CN106933743A (zh) | 一种测试方法和装置 | |
| CN106612213A (zh) | 设备测试方法及装置 | |
| CN116319370A (zh) | 网络靶场的应急演练方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190104 |
|
| RJ01 | Rejection of invention patent application after publication |