CN115562923A - 一种设备的自动化测试方法、装置、电子设备及存储介质 - Google Patents

一种设备的自动化测试方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115562923A
CN115562923A CN202211337806.0A CN202211337806A CN115562923A CN 115562923 A CN115562923 A CN 115562923A CN 202211337806 A CN202211337806 A CN 202211337806A CN 115562923 A CN115562923 A CN 115562923A
Authority
CN
China
Prior art keywords
test
equipment
image file
tested
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211337806.0A
Other languages
English (en)
Inventor
张健
秦晓宁
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nettrix Information Industry Beijing Co Ltd
Original Assignee
Nettrix Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nettrix Information Industry Beijing Co Ltd filed Critical Nettrix Information Industry Beijing Co Ltd
Priority to CN202211337806.0A priority Critical patent/CN115562923A/zh
Publication of CN115562923A publication Critical patent/CN115562923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/261—Functional testing by simulating additional hardware, e.g. fault simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例公开了一种设备的自动化测试方法、装置、电子设备及存储介质，其中，方法包括：获取对目标设备部件进行测试的设备自动化测试原始镜像文件；根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。本发明实施例的技术方案能够面向设备应用场景对设备进行自动化测试，从而满足设备测试的个性化测试需求，提高设备测试的精准性和全面性。

Description

一种设备的自动化测试方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及设备测试技术领域，尤其涉及一种设备的自动化测试方法、装置、电子设备及存储介质。
背景技术
近年来，随着人工智能、物联网、云计算和大数据等高新技术产业的迅猛发展，相关智能应用也随之持续高速发展。上述高新技术产业的发展需求，同时对各类智能化设备的计算力、性能与稳定性提出更高的需求和挑战，这就要求对设备提供精准的测试服务，以确保设备的可用性。
在对设备进行测试时，往往需要对设备中某一个重点部件如处理器等，采用某种测试手段进行测试。以AI(Artificial Intelligence，人工智能)服务器设备为例说明，针对AI服务器设备中GPU(Graphics Processing Unit，图形处理器)部件，当前主流的GPU压力测试工具主要包括NVIDIA(英伟达)的官方测试工具NVQual和开源工具gpu_burn(Multi-GPU CUDA stress test，一种压力测试工具)。其中，NVQual工具包括压力测试和功能测试两种类型的测试工具，压力测试则包括Thermal Qualification Test和Input EDPp Test。Thermal Qualification Test主要用于对设备测试系统散热质量，通过拉高服务器上搭载的所有GPU至额定功耗，使服务器设备中整个GPU系统满功耗运行。Input EDPp Test主要用于测试GPU电源系统的稳定性与可靠性，通过更新GPU供电的多种峰值和频率，测试在不同供电状态下GPU是否会出现降频和降速等问题，以测试GPU在设备使用中的性能情况。gpu_burn是基于NVIDIA Cuda(一种并行计算平台和编程模型)库，利用C++程序调用Cuda库中的CUBLAS(CUDA专门用来解决线性代数运算的库)模块进行矩阵运算，以调用服务器设备上的GPU，并提高GPU Tensor核心(NVIDIA GPU内部的执行矩阵运算的核心)的利用率对GPU进行压力测试。gpu_burn工具采用多线程的方式对GPU进行测试，通过检测服务器中GPU数量以及GPU的算力情况等参考因素，确定并启动一定数量的进程，管理各个进程的主进程通过pipe(一种进程间管道通信方式)与测试每个GPU的进程进行通信。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：目前，在对设备进行测试时，相关技术仅从设备本身角度出发对其进行测试，并未考虑设备的应用场景，模拟设备在应用场景下的个性化测试。以上述针对AI服务器设备中GPU部件的测试方法为例说明，当前对GPU进行压力测试的主流工具NVQual和gpu_burn都可以实现较高强度和针对性的GPU压力测试，但两者都存在测试的局限性，难以契合AI服务器的实际应用场景中对GPU的使用方式。具体的，NVQual工具中压力测试和功能测试两种类型的测试工具只适用于测试设备机型与GPU之间的匹配性与可靠性，以及GPU在服务器设备中具体的工作环境状态，并不涉及GPU的实际具体应用，不能满足AI服务器对诸如图像识别以及人机对话等实际使用场景的模拟测试。gpu_burn工具虽然调用了Cuda库对服务器设备的GPU进行测试，但其占用的GPU的Tensor核心只涉及普通的矩阵运算，同样无法实现对AI服务器中GPU的实际使用场景的模拟测试。同时，gpu_burn工具虽然能够实现拉满GPU的使用率至100％左右，但在测试过程中GPU显存的使用率却只能达到30％左右，因此无法测试GPU显存的高强度使用情况，难以实现全面性的测试。
发明内容
本发明实施例提供一种设备的自动化测试方法、装置、电子设备及存储介质，能够面向设备应用场景对设备进行自动化测试，从而满足设备测试的个性化测试需求，提高设备测试的精准性和全面性。
根据本发明的一方面，提供了一种设备的自动化测试方法，包括：
获取对目标设备部件进行测试的设备自动化测试原始镜像文件；
根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；
根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；
根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
本发明实施例通过获取对目标设备部件进行测试的设备自动化测试原始镜像文件，并根据被测设备的设备应用场景确定被测设备的应用场景自动化测试数据，以根据应用场景自动化测试数据对设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件，最终根据修改得到的应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试。由于修改得到的应用场景自动化测试镜像文件包括了被测设备的设备应用场景的测试数据，因此能够面向设备应用场景对设备进行自动化测试，可以解决现有设备测试方法中无法模拟设备应用场景进行测试的问题，从而满足设备测试的个性化测试需求，提高设备测试的精准性和全面性。
可选的，所述根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据，包括：
根据所述被测设备的设备应用场景确定所述被测设备的应用模型；
根据所述应用模型生成可执行性文件；
根据所述被测设备的测试需求以及所述应用模型的属性确定所述应用模型的镜像修改参数；其中，所述镜像修改操作包括模型镜像修改参数和/或模型运行镜像修改参数；
将所述可执行性文件和所述应用模型的镜像修改参数作为所述应用场景自动化测试数据。
上述技术方案，通过将可执行性文件和应用模型的镜像修改参数作为应用场景自动化测试数据，可以使得应用场景自动化测试数据包括对被测设备中目标设备部件的设备应用场景进行模拟测试的相关数据，以满足对被测设备中目标设备部件的设备应用场景进行模拟测试的需求。
可选的，所述根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件，包括：
在所述设备自动化测试原始镜像文件中添加所述可执行性文件；其中，所述可执行性文件用于对所述设备自动化测试原始镜像文件添加参数调整接口；
根据所述模型镜像修改参数修改所述设备自动化测试原始镜像文件中内部运行流程参数；
根据所述模型运行镜像修改参数配置所述设备自动化测试原始镜像文件的模型运行参数。
上述技术方案生成的应用场景自动化测试镜像文件可以适配被测设备对设备应用场景的个性化模拟测试需求，同时可以使得在对被测设备的目标设备部件进行测试的过程中自动确定被测设备的应用模型，无需测试人员手动启动应用模型，从而避免配置启动应用模型的复杂参数，有利于降低自动化测试的测试复杂程度和测试成本。
可选的，所述根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试，包括：
在所述被测设备中安装目标容器；
根据所述目标容器启动加载所述应用场景自动化测试镜像文件；
通过所述应用场景自动化测试镜像文件提供的参数调整接口获取对所述被测设备进行自动化测试的自动化测试参数；
通过所述应用场景自动化测试镜像文件根据所述自动化测试参数对所述被测设备的目标设备部件进行自动化测试。
由于本发明实施例中测试人员对被测设备输入的自动化测试参数为自动化测试流程所涉及的简单参数，如目标设备部件的型号和数量等参数以及学习率等机器学习方面相关参数等，因此测试人员无需掌握复杂的测试技术即可完成测试流程，极大地提高了自动化测试流程对测试人员的友好性，降低了自动化测试流程的测试复杂度和测试成本。
可选的，设备的自动化测试还包括：
在所述被测设备中运行目标设备部件状态监控程序；
根据所述目标设备部件状态监控程序实时输出所述被测设备中目标设备部件的状态监控测试信息；
获取所述被测设备在自动化测试结束后的设备系统日志；
将所述状态监控测试信息和所述设备系统日志作为所述目标设备部件的关联测试信息。
上述技术方案，通过引入状态监控测试信息和设备系统日志作为目标设备部件的关联测试信息，可以提高对被测设备中目标设备部件进行自动化测试的精准性、全面性和可靠性。
可选的，在所述获取对目标设备部件进行测试的设备自动化测试原始镜像文件之前，还包括：
获取所述被测设备的测试前抓取信息；
将所述测试前抓取信息与标准状态信息进行对比，以确认所述被测设备的当前设备状态。
上述技术方案，通过在测试前抓取被测设备的测试前抓取信息，对被测设备和/或目标设备部件的健康状态进行判断，可以避免因测试流程对被测设备和/或目标设备部件造成损坏以致测试结果不通过的问题，从而保证自动化测试的准确性。
可选的，所述测试前抓取信息包括目标设备部件基础信息和/或部件驱动输出信息；
所述获取所述被测设备的测试前抓取信息，包括：
向所述被测设备输入部件信息获取指令，以通过所述部件信息获取指令输出所述被测设备中目标设备部件的目标设备部件基础信息；
向所述被测设备输入驱动信息获取指令，以通过所述驱动信息获取指令输出所述被测设备中目标设备部件驱动的部件驱动输出信息。
上述技术方案，通过抓取目标设备部件基础信息和/或部件驱动输出信息，可以根据目标设备部件基础信息和/或部件驱动输出信息精确确定自动化测试前被测设备和/或目标设备部件的健康状态情况，避免自动化测试出现误差，从而提高自动化测试的准确率。
根据本发明的另一方面，提供了一种设备的自动化测试装置，包括：
原始镜像文件获取模块，用于获取对目标设备部件进行测试的设备自动化测试原始镜像文件；
自动化测试数据确定模块，用于根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；
测试镜像文件生成模块，用于根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；
自动化测试模块，用于根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的设备的自动化测试方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的设备的自动化测试方法。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种设备的自动化测试方法的流程图；
图2是本发明实施例提供的一种设备的自动化测试方法的流程图；
图3是本发明实施例提供的一种生成应用场景自动化测试镜像文件的流程示意图；
图4是本发明实施例提供的一种对被测设备进行自动化测试的流程示意图；
图5是本发明实施例提供的一种对自动化测试结果进行判断确定自动化测试情况的流程示意图；
图6是本发明实施例提供的一种设备的自动化测试装置的示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“原始”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本发明实施例提供的一种设备的自动化测试方法的流程图，本实施例可适用于面向设备应用场景对设备进行自动化测试的情况，该方法可以由设备的自动化测试装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中，该电子设备可以是终端设备，也可以是服务器设备，只要具备需要测试的部件即可，本发明实施例并不对电子设备的具体设备类型进行限定。相应的，如图1所示，该方法包括如下操作：
S110、获取对目标设备部件进行测试的设备自动化测试原始镜像文件。
其中，目标设备部件可以是被测设备中需要进行测试的部件，例如可以是GPU或CPU(Central Processing Unit，中央处理器)等各种类型的处理器，也可以是硬盘、显卡、寄存器或网卡等被测设备中需要进行自动化测试的部件，本发明实施例并不对目标设备部件的部件类型进行限定。可选的，被测设备可以是任意类型的电子设备，如终端设备或服务器设备等，只要内部安装有目标设备部件即可，本发明实施例并不对被测设备的设备类型进行限定。设备自动化测试原始镜像文件可以是现有的对目标设备部件进行测试的镜像文件，具有对目标设备部件完备的、原始的测试功能。
在本发明实施例中，当需要对被测设备的目标设备部件进行自动化测试时，可以首先获取用于对目标设备部件进行测试的设备自动化测试原始镜像文件，以在设备自动化测试原始镜像文件的基础上对其进行修改，得到面向被测设备具体实际应用场景进行测试的应用场景自动化测试镜像文件。
S120、根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据。
其中，设备应用场景也即被测设备利用目标设备部件执行某些应用的具体场景，例如可以包括但不限于图像识别、人机交互、语音识别以及文字翻译等各种深度学习或机器学习的人工智能应用场景。应用场景自动化测试数据可以是对被测设备的设备应用场景进行模拟测试的测试数据，可以包括但不限于测试数据集以及相关的测试参数等。
示例性的，应用场景自动化测试数据可以包括但不限于被测设备使用的模型类型、训练模型的数据集以及对模型进行测试所设置的相关测试参数等。
S130、根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件。
其中，应用场景自动化测试镜像文件也即能够模拟设备应用场景对被测设备的目标设备部件进行测试的镜像文件。
由于设备自动化测试原始镜像文件通常只注重于测试被测设备中目标设备部件的稳定性、基本的性能以及单纯的计算能力，因此无法面向设备应用场景对目标设备部件进行模拟测试，难以实现个性化的测试。也即应用于不同设备应用场景的被测设备采用设备自动化测试原始镜像文件进行测试时，其测试采用的数据以及测试流程基本保持一致，无法有效测试目标设备部件在设备应用场景中的稳定性、运行性能以及计算能力等。
为此，本发明实施例在获取到设备自动化测试原始镜像文件之后，依据被测设备的设备应用场景确定被测设备的测试数据集以及测试参数等应用场景自动化测试数据，以根据确定的应用场景自动化测试数据对设备自动化测试原始镜像文件进行适配化地修改改进，使其具备模拟设备应用场景对目标设备部件进行自动化测试的能力，得到应用场景自动化测试镜像文件。
S140、根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
相应的，在得到应用场景自动化测试镜像文件后，即可根据应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试。具体的，可以在被测设备中启动加载应用场景自动化测试镜像文件，以利用应用场景自动化测试镜像文件包括的能够模拟设备应用场景的测试数据，对被测设备中目标设备部件进行自动化测试，实现对被测设备中目标设备部件更精准、更全面的测试。
需要说明的是，用于生成应用场景自动化测试镜像文件的电子设备可以是被测设备本身，也可以是其他类型的电子设备。当采用其他类型的电子设备生成应用场景自动化测试镜像文件时，可以将应用场景自动化测试镜像文件加载至被测设备中，以使被测设备根据加载的应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试。
本发明实施例通过获取对目标设备部件进行测试的设备自动化测试原始镜像文件，并根据被测设备的设备应用场景确定被测设备的应用场景自动化测试数据，以根据应用场景自动化测试数据对设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件，最终根据修改得到的应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试。由于修改得到的应用场景自动化测试镜像文件包括了被测设备的设备应用场景的测试数据，因此能够面向设备应用场景对设备进行自动化测试，可以解决现有设备测试方法中无法模拟设备应用场景进行测试的问题，从而满足设备测试的个性化测试需求，提高设备测试的精准性和全面性。
图2是本发明实施例提供的一种设备的自动化测试方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了确定被测设备的应用场景自动化测试数据、根据应用场景自动化测试数据对设备自动化测试原始镜像文件进行修改、根据应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试的多种具体可选的实现方式。同时还给出了自动化测试的前序测试流程以及关联测试流程的相关内容。相应的，如图2所示，本实施例的方法可以包括：
S210、获取对目标设备部件进行测试的设备自动化测试原始镜像文件。
在本发明的一个可选实施例中，在所述获取对目标设备部件进行测试的设备自动化测试原始镜像文件之前，还可以包括：获取所述被测设备的测试前抓取信息；将所述测试前抓取信息与标准状态信息进行对比，以确认所述被测设备和/或所述目标设备部件的测试前状态。
其中，测试前抓取信息可以是在对目标设备部件进行自动化测试前，对被测设备所抓取的信息，作为被测设备测试前的状态信息，可以确定被测设备和/或目标设备部件测试前的健康状态。标准状态信息也即被测设备和/或目标设备部件标准的健康状态信息。
可以理解的是，在自动化测试过程中，测试程序可能存在对被测设备和/或目标设备部件造成损坏的问题，导致最终测试结果不通过，以致无法确认导致测试结果不通过的具体因素，例如是被测设备和/或目标设备部件本身的问题，或者是测试流程的因素等，进而无法保证自动化测试的准确性。
为此，本发明实施例在利用应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试之前，首先确认被测设备和/或目标设备部件测试前的健康状态信息。具体的，可以对被测设备进行信息抓取，得到被测设备的测试前抓取信息。可选的，该测试前抓取信息可以包括但不限于目标设备部件的基础信息，以及目标设备部件的关联信息如部件驱动输出的信息等。在获取到测试前抓取信息之后，即可将测试前抓取信息与标准状态信息进行对比，以根据对比结果确认被测设备和/或目标设备部件的测试前状态。可以理解的是，如果测试前抓取信息与标准状态信息相匹配，则表明被测设备和/或目标设备部件当前无异常；否则，表明被测设备和/或目标设备部件当前存在异常情况。相应的，只有在确定被测设备和/或目标设备部件当前无异常的情况下，才可以继续对被测设备的目标设备部件进行自动化测试。
上述技术方案，通过在测试前抓取被测设备的测试前抓取信息，以对被测设备和/或目标设备部件的健康状态进行判断，可以避免因测试流程对被测设备和/或目标设备部件造成损坏以致测试结果不通过的问题，从而保证自动化测试的准确性。
在本发明的一个可选实施例中，所述测试前抓取信息可以包括目标设备部件基础信息和/或部件驱动输出信息；所述获取所述被测设备的测试前抓取信息，可以包括：向所述被测设备输入部件信息获取指令，以通过所述部件信息获取指令输出所述被测设备中目标设备部件的目标设备部件基础信息；向所述被测设备输入驱动信息获取指令，以通过所述驱动信息获取指令输出所述被测设备中目标设备部件驱动的部件驱动输出信息。
其中，目标设备部件基础信息也即目标设备部件的基础信息，例如可以包括但不限于目标设备部件的数量等基本信息和使用情况信息等。部件驱动输出信可以是用于使能目标设备部件的相关驱动的输出信息。部件信息获取指令可以是用于获取目标设备部件基础信息的指令。驱动信息获取指令可以是用于获取部件驱动输出信息的指令。目标设备部件驱动则可以是被测设备中使能目标设备部件的驱动。
具体的，在进行自动化测试之前，可以首先向被测设备的设备系统发送部件信息获取指令，以通过部件信息获取指令获取并输出被测设备中目标设备部件的目标设备部件基础信息。在根据目标设备部件基础信息确定被测设备中存在目标设备部件的情况下，可以进一步向被测设备的设备系统发送驱动信息获取指令，以通过驱动信息获取指令获取并输出被测设备中目标设备部件驱动的部件驱动输出信息。
上述技术方案，通过抓取目标设备部件基础信息和/或部件驱动输出信息，可以根据目标设备部件基础信息和/或部件驱动输出信息精确确定自动化测试前被测设备和/或目标设备部件的健康状态情况，避免自动化测试出现误差，从而提高自动化测试的准确率。
S220、根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据。
相应的，步骤S220具体可以包括下述操作：
S221、根据所述被测设备的设备应用场景确定所述被测设备的应用模型，并根据所述应用模型生成可执行性文件。
其中，应用模型可以是任意类型的深度学习、机器学习或其他人工智能算法的相关模型。可执行性文件也即可以由操作系统进行加载执行的文件。在不同的操作系统环境下，可执行程序的呈现方式不一样。可执行性文件可以用于提供设备应用场景的模拟测试配置功能，以及对设备自动化测试原始镜像文件添加参数调整接口。参数调整接口也即用于调整自动化测试的参数的交互接口。
在本发明实施例中，可以根据被测设备的设备应用场景确定被测设备的应用模型，并根据应用模型生成可执行性文件，以通过可执行性文件对被测设备提供设备应用场景的模拟测试配置功能，以及对设备自动化测试原始镜像文件添加用于与测试人员进行交互的参数调整接口。
S222、根据所述被测设备的测试需求以及所述应用模型的属性确定所述应用模型的镜像修改参数。
其中，所述镜像修改参数可以包括模型镜像修改参数和/或模型运行镜像修改参数。模型镜像修改参数可以是应用场景自动化测试镜像文件运行内部流程时，需要针对应用模型修改的应用模型本身的参数，如权重或偏置等模型参数。模型运行镜像修改参数可以是在自动化测试流程中控制应用模型运行的相关参数，如控制应用模型循环测试的轮次或持续测试的时长等。
为了进一步满足对被测设备面向设备应用场景的个性化测试需求，除了需要根据被测设备的应用模型生成可执行性文件，还需要根据被测设备的测试需求以及其应用的应用模型的属性确定模型镜像修改参数和/或模型运行镜像修改参数等镜像修改参数。可选的，被测设备的测试需求例如可以是对被测设备规定的测试时间，应用模型的属性例如可以是应用模型的复杂度或模型大小等能够反应模型特性的属性信息。
S223、将所述可执行性文件和所述应用模型的镜像修改参数作为所述应用场景自动化测试数据。
上述技术方案，通过将可执行性文件和应用模型的镜像修改参数作为应用场景自动化测试数据，可以使得应用场景自动化测试数据包括对被测设备中目标设备部件的设备应用场景进行模拟测试的相关数据，以满足对被测设备中目标设备部件的设备应用场景进行模拟测试的需求。
S230、根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件。
相应的，步骤S230具体可以包括下述操作：
S231、在所述设备自动化测试原始镜像文件中添加所述可执行性文件。
具体的，在设备自动化测试原始镜像文件中添加可执行性文件，可以使得生成的应用场景自动化测试镜像文件利用可执行性文件指定用于对被测设备所具体应用的应用模型，并在被测设备加载启动应用场景自动化测试镜像文件后开始自动进入应用模型进行自动化测试。同时，可执行性文件还可以在对被测设备的目标设备部件进行测试的过程中为测试人员提供和被测设备之间的参数调整接口，该参数调整接口可以接收测试人员针对被测设备灵活配置的测试参数，如通过参数调整接口配置目标设备部件的型号和数量等参数以及学习率等机器学习方面相关参数等，从而适配被测设备的个性化测试需求。并且，在应用场景自动化测试镜像文件中添加可执行文件可以使得在对被测设备的目标设备部件进行测试的过程中自动确定被测设备的应用模型，无需测试人员手动启动应用模型，从而避免配置启动应用模型的复杂参数，有利于降低自动化测试的测试复杂程度和测试成本。
S232、根据所述模型镜像修改参数修改所述设备自动化测试原始镜像文件中内部运行流程参数。
其中，内部运行流程参数也即设备自动化测试原始镜像文件在自动化测试运行过程中涉及到的镜像文件参数。
具体的，可以对设备自动化测试原始镜像文件的内部运行流程参数适应性修改模型镜像修改参数。示例性的，可以选中设备自动化测试原始镜像文件采用的测试模型，以对测试模型修改模型镜像修改参数，使得生成的应用场景自动化测试镜像文件能够利用被测设备的应用模型对被测设备的目标设备部件进行自动化测试。
S233、根据所述模型运行镜像修改参数配置所述设备自动化测试原始镜像文件的模型运行参数，得到所述应用场景自动化测试镜像文件。
其中，模型运行参数也即设备自动化测试原始镜像文件运行测试模型的相关参数。
进一步的，为了使得自动化测试流程更具备个性化特性，还可以根据模型运行镜像修改参数配置设备自动化测试原始镜像文件的模型运行参数。在利用所有的应用场景自动化测试数据完成对设备自动化测试原始镜像文件的修改后，即可得到应用场景自动化测试镜像文件。
示例性的，可以根据被测设备的测试需求以及应用模型的属性确定被测设备的应用模型的大小。如果应用模型的规模较大，且测试需求规定了最大测试时间，则可以根据被测设备的应用模型的大小或复杂程度确定对被测设备中目标设备部件的最佳测试时间，并在规定的最大测试时间和最佳测试时间中进行权衡，以得到最终的测试时间，作为模型运行镜像修改参数修改配置设备自动化测试原始镜像文件中的内部运行流程参数。如果应用模型的规模较小，且测试需求没有规定最大测试时间，则可以设定应用模型循环测试的轮次，作为模型运行镜像修改参数修改配置设备自动化测试原始镜像文件中的内部运行流程参数。
上述技术方案，通过利用可执行性文件、模型镜像修改参数以及模型运行镜像修改参数对设备自动化测试原始镜像文件进行修改配置，得到的应用场景自动化测试镜像文件能够适配被测设备的设备应用场景进行模拟测试。
需要说明的是，为了进一步精简化应用场景自动化测试镜像文件，在对设备自动化测试原始镜像文件修改上述应用场景自动化测试数据后，还可以对修改得到的镜像文件进行精简处理，如删除无关内容，以精简镜像大小，得到最终的应用场景自动化测试镜像文件，从而实现对应用场景自动化测试镜像文件的优化。
S240、根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
相应的，步骤S240具体可以包括下述操作：
S241、在所述被测设备中安装目标容器，通过所述目标容器启动加载所述应用场景自动化测试镜像文件。
其中，目标容器可以是启动加载应用场景自动化测试镜像文件的相关容器。示例性的，当目标设备部件为GPU时，目标容器可以包括Docker(容器)和nvidia-docker(英伟达容器)两种容器类型。Docker是一种开源的应用容器引擎，开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的机器上，也可以实现虚拟化。Docker可以让实施人员快速部署程序，其环境无关的特性可以提高开发人员、实施人员以及运维人员的工作效率。在上述目标容器中，Docker属于基本的通用容器，便于在被测设备中部署安装整个测试环境。nvidia-docker则属于包括一些特殊工具的容器，可以专用于GPU使用的配置环境。
S242、通过所述应用场景自动化测试镜像文件提供的参数调整接口获取对所述被测设备进行自动化测试的自动化测试参数。
其中，自动化测试参数可以是测试人员通过参数调整接口对被测设备输入的参数，可以用于灵活指定当前对被测设备执行自动化测试的相关参数，例如可以包括但不限于目标设备部件的型号和数量等参数以及学习率等机器学习方面相关参数等。
S243、通过所述应用场景自动化测试镜像文件根据所述自动化测试参数对所述被测设备的目标设备部件进行自动化测试。
具体的，在正式对被测设备的目标设备部件进行自动化测试时，可以首先在被测设备中安装目标容器，以通过安装的目标容器启动加载应用场景自动化测试镜像文件，使得应用场景自动化测试镜像文件可以在隔离的测试环境中对目标设备部件进行自动化测试。当应用场景自动化测试镜像文件启动后，其内置的可执行性文件可以实现对外开启参数调整接口。测试人员则可以通过参数调整接口向被测设备输入自动化测试参数。相应的，被测设备即可通过应用场景自动化测试镜像文件根据自动化测试参数对被测设备的目标设备部件进行自动化测试。
可选的是，自动化测试参数还可以是默认参数值。如果测试人员没有通过参数调整接口向被测设备输入自动化测试参数，则可以采用目标设备部件中某一种典型的部件型号的相关参数作为默认参数值，并将默认参数值作为自动化测试参数。
以服务器设备中的GPU作为目标设备部件为例说明，在相关技术中，使用gpu_burn工具对服务器设备的GPU进行测试前，需要首先在服务器设备中安装NVIDIA驱动和Cuda工具，并在服务器设备中对应配置正确的环境变量和GCC(GNU Compiler Collection，GNU编译器套件)工具，以保证gpu_burn工具的可执行文件可以make(一条计算机指令)成功。这种复杂的准备配置工作需要丰富的开发测试经验才能完成，因此测试复杂度和测试成本较高。
可以理解的是，由于本发明实施例中测试人员对被测设备输入的自动化测试参数为自动化测试流程所涉及的简单参数，如目标设备部件的型号和数量等参数以及学习率等机器学习方面相关参数等，因此测试人员无需掌握复杂的测试技术即可完成测试流程，极大地提高了自动化测试流程对测试人员的友好性，降低了自动化测试流程的测试复杂度和测试成本。
在本发明的一个可选实施例中，设备的自动化测试方法还可以包括：在所述被测设备中运行目标设备部件状态监控程序；根据所述目标设备部件状态监控程序实时输出所述被测设备中目标设备部件的状态监控测试信息；获取所述被测设备在自动化测试结束后的设备系统日志；将所述状态监控测试信息和所述设备系统日志作为所述目标设备部件的关联测试信息。
其中，目标设备部件状态监控程序可以是在测试流程中对目标设备部件进行状态监控的程序。状态监控测试信息则为目标设备部件状态监控程序在测试流程中对目标设备部件进行状态监控得到的监控信息。设备系统日志可以是被测设备在自动化测试流程中生成的系统日志。关联测试信息也即除利用应用场景自动化测试镜像文件对目标设备部件进行自动化测试之外的其他测试信息。
在本发明实施例中，对被测设备进行自动化测试时，除了可以利用应用场景自动化测试镜像文件对目标设备部件进行自动化测试，还可以在利用应用场景自动化测试镜像文件对目标设备部件进行自动化测试的同时，利用目标设备部件状态监控程序对被测设备的目标设备部件进行实时状态监控，以输出目标设备部件的状态监控测试信息。此外，为了进一步提高测试的全面性，还可以获取被测设备在自动化测试结束后生成的设备系统日志，从而将状态监控测试信息和设备系统日志作为目标设备部件的关联测试信息。最终将关联测试信息和应用场景自动化测试镜像文件的测试结果信息作为最终的自动化测试信息。在最终的自动化测试信息中，只有所有测试结果均通过的情况下，才确定被测设备中目标设备部件通过自动化测试。
上述技术方案，通过引入状态监控测试信息和设备系统日志作为目标设备部件的关联测试信息，可以提高对被测设备中目标设备部件进行自动化测试的精准性、全面性和可靠性。
当前，由于GPU服务器在各个领域应用时间比较短，因此普遍工作人员对GPU服务器的了解不足，相关技能不够熟练。测试人员对GPU服务器进行测试时，一般采用以GPU研发厂商提供的测试工具。但目前GPU服务器厂商所提供的测试工具主要侧重于测试设备机型和GPU之间的匹配性与可靠性，以及GPU的工作环境状态，并不涉及对实际应用场景的模拟测试。
为了更清楚的表述本发明实施例提供的技术方案，下面以GPU服务器作为被测设备，以GPU作为目标设备部件为例具体说明本发明实施例所提供的设备的自动化测试方法。其中，图3是本发明实施例提供的一种生成应用场景自动化测试镜像文件的流程示意图，图4是本发明实施例提供的一种对被测设备进行自动化测试的流程示意图，图5是本发明实施例提供的一种对自动化测试结果进行判断确定自动化测试情况的流程示意图。
在一个具体的例子中，如图3所示，在制作应用场景自动化测试镜像文件时，首先可以拉取NGC Tensorflow官方镜像作为设备自动化测试原始镜像文件，并输出设备自动化测试原始镜像文件(原始镜像)进行保存备份。如果测试的目标设备部件为其他类型的部件，如CPU，则可以拉取CPU对应的官方镜像作为设备自动化测试原始镜像文件。进一步的，修改设备自动化测试原始镜像文件，具体为在设备自动化测试原始镜像文件中添加可执行性文件，修改内部运行流程相关参数，并增加应用模型的内部循环参数和/或运行时间参数。上述镜像文件的修改操作可以使得修改后的镜像文件引入应用场景数据，比如在NGCTensorflow官方镜像的数据集里加入应用模型的图片数据集等。在添加相应的数据集时，如果数据集的容量过大，为了降低镜像文件对数据集的存储压力，可以在修改后的镜像文件中指定数据集的路径，以使修改后的镜像文件按照指定的路径自动调用数据集。或者，也还可以采用虚拟数据集替换真实数据集，以降低数据集的存储压力。同时，还可以进一步优化镜像文件，例如删除设备自动化测试原始镜像文件中的无关内容，精简设备自动化测试原始镜像文件大小，最终将得到的应用场景自动化测试镜像文件进行打包封装，从而形成压力测试镜像初稿，并做输出压力测试镜像初稿进行保存备份。得到压力测试镜像初稿后，可以验证压力测试镜像初稿是否可以正常使用。若不可以正常使用，则需要检查压力测试镜像初稿的镜像内容，重新编辑镜像。若可以正常使用，则保存压力测试镜像初稿，输出可用于测试的终版镜像文件，即应用场景自动化测试镜像文件。
在一个具体的例子中，如图4所示，应用场景自动化测试镜像文件制作完成后，需要获取GPU服务器测试前的一些信息，以确认GPU服务器以及GPU的健康状态。首先向GPU服务器发送部件信息获取指令，如lspci指令(一种用于查看设备信息的命令)，以通过lspci指令检查GPU服务器的系统中是否存在GPU。如果确定存在GPU，则可以输出相关lspci信息文本，即lspci_nvidia.info，以通过lspci_nvidia.info得到GPU基础信息。如果确定不存在GPU，则退出测试流程。进一步的，当确定GPU服务器的中存在GPU时，可以进一步通过驱动信息获取指令检查GPU服务器的系统中是否已安装GPU厂商配套的驱动，如nvidia driver(英伟达驱动，一种NVIDIA公司对自己的显卡、主板发布驱动的统称)。如果确定已安装GPU厂商配套的驱动，则可以直接检查GPU驱动输出信息，如nvidia-smi信息(smi是Systemmanagement interface的缩写,可以收集各种级别的信息、查看显存使用情况以及启用和禁用GPU配置选项)，并输出GPU驱动输出信息，如nvidia信息相关文本，即nvidia.info。示例性的，GPU驱动输出信息可以是当前GPU在硬件层面和链路方面的一些相关信息等。如果确定没有安装GPU厂商配套的驱动，则可以安装GPU厂商配套的驱动后获取GPU驱动输出信息。如安装nvidia driver后获取nvidia-smi信息，并输出nvidia.info。
上述信息获取完成后，可以开始对GPU服务器的GPU进行自动化测试。以nvidiaGPU为例说明，可以首先在GPU服务器中安装docker和nvidia-docker作为目标容器。目标容器安装成功后，通过目标容器在GPU服务器中load应用场景自动化测试镜像文件(即启动加载应用场景自动化测试镜像文件)，以通过应用场景自动化测试镜像文件对GPU服务器中的GPU进行自动化测试。应用场景自动化测试镜像文件在测试过程中可以为测试人员提供测试前的参数调整接口，以供测试灵活调整测试参数，如GPU型号和数量等参数以及机器学习方面学习率等相关参数，从而适配GPU的个性化的测试需求。如果测试人员没有通过参数调整接口提供测试参数，则应用场景自动化测试镜像文件可以采用默认参数进行自动化测试。可选的，该默认参数可以为多次试验的结果整理分析得出的参数，例如可以是一个典型的GPU的相关参数。
在利用应用场景自动化测试镜像文件对GPU进行自动化测试的过程中，还可以同步运行GPU状态监控程序，以实时监控GPU的状态信息并实时输出监控信息，形成监控信息文本即monitor.info文件信息。示例性的，monitor.info文件信息可以包括但不限于GPU的输入输出、数据、使用率、显存使用率、带宽、温度、核心使用率以及活跃状态等状态数据。同时在自动化测试结束后，还可以获取GPU服务器在测试过程中生成的系统日志信息。最终将输出的所有测试文本进行整合作为测试结果，供用于比对的标准数据使用。整体测试流程结束后，输出测试结果。
在一个具体的例子中，如图5所示，当输出测试结果后，分别提取此前抓取的lspci_nvidia.info和nvidia.info信息，将抓取的信息和标准数据信息进行比对，如对比GPU数量、PCIe(Peripheral Component Interface Express，一种高速串行计算机扩展总线标准)Generation(标准)、Link width(连接带宽)以及ECC(Error Correcting Code，错误检查和纠正)等信息。如果通过比对抓取信息确定测试前GPU状态没有异常，则表明GPU状态与测试前状态相同。如果确定GPU状态与测试前状态不同，则测试结果FAIL，表明测试未通过。如果确定GPU状态与测试前状态相同，则提取monitor.info信息，以通过monitor.info信息检查GPU在测试过程中是否存在降速降频问题。如果确定存在降速降频问题，测试结果FAIL，表明测试未通过。如果确定不存在降速降频问题，则继续检查系统日志中是否存在GPU相关error(错误信息)。如果确定存在error，测试结果FAIL，表明测试未通过。如果确定不存在error，测试结果PASS，表明测试结果通过。判断结束后，输出测试结果文档result.log。需要说明的是，通过应用场景自动化测试镜像文件输出的自动化测试结果不需要和标准数据进行对比判断，可以直接作为部分测试结果输出。
在上述对GPU服务器的GPU进行自动化测试的过程中，完成了对整体测试流程的封装，从而能够实现自动化测试流程的一键执行功能，因此整个测试流程不需要测试人员手动执行，具备较高的测试自动化程度。测试人员无需深入了解底层原理即可顺利完成自动化测试工作，测试复杂度和测试成本大幅降低，提高了对测试人员的友好性。同时，基于NGC官方Tensorflow镜像，通过对其修改添加执行脚本和参数、删除不必要内容，重新打包生成新的应用场景自动化测试镜像文件，便于计算机排除故障，且能够有效模拟GPU服务器中GPU的具体应用场景进行测试，满足GPU的个性测试需求，测试效果更精准。上述测试方法还可以实现将环境部署与测试过程融合到同一脚本中得到功能完善的测试工具，并为测试人员提供离线和在线两种不同的部署模式。该测试工具的部署与测试方式简单，无需测试人员手动安装软件包和依赖包，测试效率大幅提高。同时，该测试工具还可以为测试人员提供根据测试需求修改Tensorflow内部参数的参数调整接口，从而提高了测试的灵活性。除此之外，该测试工具还提供了测试时间、循环参数等设定功能，以及测试结果的判断功能，从而实现了高程度自动化执行GPU压力测试。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
图6是本发明实施例提供的一种设备的自动化测试装置的示意图，如图6所示，所述装置包括：原始镜像文件获取模块310、自动化测试数据确定模块320、测试镜像文件生成模块330以及自动化测试模块340，其中：
原始镜像文件获取模块310，用于获取对目标设备部件进行测试的设备自动化测试原始镜像文件；
自动化测试数据确定模块320，用于根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；
测试镜像文件生成模块330，用于根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；
自动化测试模块340，用于根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
本发明实施例通过获取对目标设备部件进行测试的设备自动化测试原始镜像文件，并根据被测设备的设备应用场景确定被测设备的应用场景自动化测试数据，以根据应用场景自动化测试数据对设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件，最终根据修改得到的应用场景自动化测试镜像文件对被测设备的目标设备部件进行自动化测试。由于修改得到的应用场景自动化测试镜像文件包括了被测设备的设备应用场景的测试数据，因此能够面向设备应用场景对设备进行自动化测试，可以解决现有设备测试方法中无法模拟设备应用场景进行测试的问题，从而满足设备测试的个性化测试需求，提高设备测试的精准性和全面性。
可选的，自动化测试数据确定模块320，具体用于：根据所述被测设备的设备应用场景确定所述被测设备的应用模型；根据所述应用模型生成可执行性文件；其中，所述可执行性文件用于提供设备应用场景的模拟测试配置功能，以及对所述设备自动化测试原始镜像文件添加参数调整接口；根据所述被测设备的测试需求以及所述应用模型的属性确定所述应用模型的镜像修改参数；其中，所述镜像修改参数包括模型镜像修改参数和/或模型运行镜像修改参数；将所述可执行性文件和所述应用模型的镜像修改参数作为所述应用场景自动化测试数据。
可选的，测试镜像文件生成模块330，具体用于：在所述设备自动化测试原始镜像文件中添加所述可执行性文件；根据所述模型镜像修改参数修改所述设备自动化测试原始镜像文件中内部运行流程参数；根据所述模型运行镜像修改参数配置所述设备自动化测试原始镜像文件的模型运行参数，得到所述应用场景自动化测试镜像文件。
可选的，自动化测试模块340，具体用于：在所述被测设备中安装目标容器；通过所述目标容器启动加载所述应用场景自动化测试镜像文件；通过所述应用场景自动化测试镜像文件提供的参数调整接口获取对所述被测设备进行自动化测试的自动化测试参数；通过所述应用场景自动化测试镜像文件根据所述自动化测试参数对所述被测设备的目标设备部件进行自动化测试。
可选的，设备的自动化测试装置还包括关联测试信息获取模块，用于：在所述被测设备中运行目标设备部件状态监控程序；根据所述目标设备部件状态监控程序实时输出所述被测设备中目标设备部件的状态监控测试信息；获取所述被测设备在自动化测试结束后的设备系统日志；将所述状态监控测试信息和所述设备系统日志作为所述目标设备部件的关联测试信息。
可选的，设备的自动化测试装置还包括当前设备状态确认模块，用于：获取所述被测设备的测试前抓取信息；将所述测试前抓取信息与标准状态信息进行对比，以确认所述被测设备和/或所述目标设备部件的测试前状态。
可选的，所述测试前抓取信息包括目标设备部件基础信息和/或部件驱动输出信息；当前设备状态确认模块，具体用于：向所述被测设备输入部件信息获取指令，以通过所述部件信息获取指令输出所述被测设备中目标设备部件的目标设备部件基础信息；向所述被测设备输入驱动信息获取指令，以通过所述驱动信息获取指令输出所述被测设备中目标设备部件驱动的部件驱动输出信息。
上述设备的自动化测试装置可执行本发明任意实施例所提供的设备的自动化测试方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的设备的自动化测试方法。
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如设备的自动化测试方法。
在一些实施例中，设备的自动化测试方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的设备的自动化测试方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行设备的自动化测试方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

Claims (10)

1.一种设备的自动化测试方法，其特征在于，包括：
获取对目标设备部件进行测试的设备自动化测试原始镜像文件；
根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；
根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；
根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
2.根据权利要求1所述的方法，其特征在于，所述根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据，包括：
根据所述被测设备的设备应用场景确定所述被测设备的应用模型；
根据所述应用模型生成可执行性文件；其中，所述可执行性文件用于提供设备应用场景的模拟测试配置功能，以及对所述设备自动化测试原始镜像文件添加参数调整接口；
根据所述被测设备的测试需求以及所述应用模型的属性确定所述应用模型的镜像修改参数；其中，所述镜像修改参数包括模型镜像修改参数和/或模型运行镜像修改参数；
将所述可执行性文件和所述应用模型的镜像修改参数作为所述应用场景自动化测试数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件，包括：
在所述设备自动化测试原始镜像文件中添加所述可执行性文件；
根据所述模型镜像修改参数修改所述设备自动化测试原始镜像文件中内部运行流程参数；
根据所述模型运行镜像修改参数配置所述设备自动化测试原始镜像文件的模型运行参数，得到所述应用场景自动化测试镜像文件。
4.根据权利要求1所述的方法，其特征在于，所述根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试，包括：
在所述被测设备中安装目标容器；
通过所述目标容器启动加载所述应用场景自动化测试镜像文件；
通过所述应用场景自动化测试镜像文件提供的参数调整接口获取对所述被测设备进行自动化测试的自动化测试参数；
通过所述应用场景自动化测试镜像文件根据所述自动化测试参数对所述被测设备的目标设备部件进行自动化测试。
5.根据权利要求1所述的方法，其特征在于，还包括：
在所述被测设备中运行目标设备部件状态监控程序；
根据所述目标设备部件状态监控程序实时输出所述被测设备中目标设备部件的状态监控测试信息；
获取所述被测设备在自动化测试结束后的设备系统日志；
将所述状态监控测试信息和所述设备系统日志作为所述目标设备部件的关联测试信息。
6.根据权利要求1所述的方法，其特征在于，在所述获取对目标设备部件进行测试的设备自动化测试原始镜像文件之前，还包括：
获取所述被测设备的测试前抓取信息；
将所述测试前抓取信息与标准状态信息进行对比，以确认所述被测设备和/或所述目标设备部件的测试前状态。
7.根据权利要求6所述的方法，其特征在于，所述测试前抓取信息包括目标设备部件基础信息和/或部件驱动输出信息；
所述获取所述被测设备的测试前抓取信息，包括：
向所述被测设备输入部件信息获取指令，以通过所述部件信息获取指令输出所述被测设备中目标设备部件的目标设备部件基础信息；
向所述被测设备输入驱动信息获取指令，以通过所述驱动信息获取指令输出所述被测设备中目标设备部件驱动的部件驱动输出信息。
8.一种设备的自动化测试装置，其特征在于，包括：
原始镜像文件获取模块，用于获取对目标设备部件进行测试的设备自动化测试原始镜像文件；
自动化测试数据确定模块，用于根据被测设备的设备应用场景确定所述被测设备的应用场景自动化测试数据；
测试镜像文件生成模块，用于根据所述应用场景自动化测试数据对所述设备自动化测试原始镜像文件进行修改，得到应用场景自动化测试镜像文件；
自动化测试模块，用于根据所述应用场景自动化测试镜像文件对所述被测设备的目标设备部件进行自动化测试。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一所述的设备的自动化测试方法。
10.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一所述的设备的自动化测试方法。
CN202211337806.0A 2022-10-28 2022-10-28 一种设备的自动化测试方法、装置、电子设备及存储介质 Pending CN115562923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211337806.0A CN115562923A (zh) 2022-10-28 2022-10-28 一种设备的自动化测试方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211337806.0A CN115562923A (zh) 2022-10-28 2022-10-28 一种设备的自动化测试方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115562923A true CN115562923A (zh) 2023-01-03

Family

ID=84769666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211337806.0A Pending CN115562923A (zh) 2022-10-28 2022-10-28 一种设备的自动化测试方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115562923A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220100A (zh) * 2016-03-22 2017-09-29 中国移动（深圳）有限公司 一种开发运维方法、装置及云计算PaaS平台
US20190205231A1 (en) * 2017-12-29 2019-07-04 Zhuhai Juntian Electronic Technology Co., Ltd. Method and terminal device for testing performance of gpu, and computer readable storage medium
CN111831570A (zh) * 2020-07-23 2020-10-27 深圳慕智科技有限公司 一种面向自动驾驶图像数据的测试用例生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220100A (zh) * 2016-03-22 2017-09-29 中国移动（深圳）有限公司 一种开发运维方法、装置及云计算PaaS平台
US20190205231A1 (en) * 2017-12-29 2019-07-04 Zhuhai Juntian Electronic Technology Co., Ltd. Method and terminal device for testing performance of gpu, and computer readable storage medium
CN111831570A (zh) * 2020-07-23 2020-10-27 深圳慕智科技有限公司 一种面向自动驾驶图像数据的测试用例生成方法

Similar Documents

Publication Publication Date Title
CN109302522B (zh) 测试方法、装置以及计算机系统和介质
CN109977012B (zh) 系统的联调测试方法、装置、设备及计算机可读存储介质
CN114564374A (zh) 算子性能评估方法、装置、电子设备及存储介质
CN111258913A (zh) 算法自动测试方法、装置、计算机系统及可读存储介质
US12032477B2 (en) Method and apparatus for generating and applying deep learning model based on deep learning framework
CN113868120A (zh) 工业软件调试方法、装置、计算机设备和存储介质
CN112100085B (zh) 安卓应用程序稳定性测试方法、装置和设备
CN112650676A (zh) 软件测试方法、装置、设备及存储介质
CN107679423A (zh) 分区完整性检查方法及装置
CN115562923A (zh) 一种设备的自动化测试方法、装置、电子设备及存储介质
CN116489046A (zh) 分流设备的可靠性测试方法、装置、设备、介质及系统
CN115794525A (zh) 一种bmc压力测试方法、装置、设备及存储介质
CN107329869B (zh) 一种片上系统的仿真方法及装置
CN115757099A (zh) 平台固件保护恢复功能自动测试方法和装置
CN115437865A (zh) 一种硬盘异常掉电测试方法、装置、设备及介质
CN115048307A (zh) 应用软件的弱网测试方法、装置、设备及存储介质
CN115357493A (zh) 测试方法、装置、电子设备和存储介质
CN110688299A (zh) 一种核电厂应用软件自动化测试平台
CN117520080B (zh) 一种服务器测试方法、装置、设备及介质
CN114327682B (zh) WebView白屏检测方法、系统、电子设备和存储介质
CN114968791A (zh) 一种检测方法及装置
CN116339843A (zh) 一种鸿蒙系统的驱动适配方法、装置、设备及介质
CN116107903A (zh) 一种车端服务化功能测试方法、装置、设备及介质
CN115543748A (zh) 一种信号测试方法、装置、设备及存储介质
CN117061564A (zh) 车辆信号传输状态的验证方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination