CN111124920A - 设备性能测试方法、装置及电子设备 - Google Patents

Abstract

本申请提出一种设备性能测试方法、装置及电子设备，属于计算机应用技术领域。其中，该方法包括：检启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池；按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过这种设备性能测试方法，实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

Description

设备性能测试方法、装置及电子设备

技术领域

本申请涉及计算机应用技术领域，尤其涉及一种设备性能测试方法、装置及电子设备。

背景技术

人工智能(Artificial Intelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用的一门新的技术科学。AI的应用很广泛，机器翻译、智能控制、专家系统、机器人学、语言和图像理解、遗传编程机器人工厂、自动程序设计、航天应用、庞大的信息处理、储存与管理、执行化合生命体无法执行的或复杂或规模庞大的任务等等。

相关技术中，AI技术在电子设备中的应用快速发展，市面上的电子设备的AI性能正在快速提升。但是，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能。

发明内容

本申请提出的设备性能测试方法、装置及电子设备，用于解决相关技术中，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题。

本申请一方面实施例提出的设备性能测试方法，包括：启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池；按照预设的规则，依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能。

可选地，在第一方面实施例一种可能的实现形式中，所述启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池之前，还包括：

确定所述待测试设备的中央处理器是否为多核处理器、且还包括至少一种其他类型处理器。

可选地，在第一方面实施例另一种可能的实现形式中，所述按照预设的规则，依次从所述待测试设备中选择一种处理器，包括：

从所述待测试设备当前空闲的各处理器中选择处理速度最快的一种处理器。

可选地，在第一方面实施例再一种可能的实现形式中，所述根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能，包括：

根据所述待测试设备对所述全部测试数据的处理时间及所述测试数据集中包含的测试数据量，确定所述待测试设备的最快处理速度。

可选地，在第一方面实施例又一种可能的实现形式中，所述测试数据集中还包括与每条测试数据对应的标注数据；

所述对测试数据集中的各条测试数据依次进行处理之后，还包括：

根据所述测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定所述待测试设备的准确度。

可选地，在第一方面实施例又一种可能的实现形式中，所述对测试数据集中的各条测试数据依次进行处理，包括：

依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理。

本申请另一方面实施例提出的设备性能测试装置，包括：启动模块，用于启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池；处理模块，用于按照预设的规则，依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；第一确定模块，用于根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能。

可选地，在第二方面实施例一种可能的实现形式中，所述装置，还包括：

第二确定模块，用于确定所述待测试设备的中央处理器是否为多核处理器、且还包括至少一种其他类型处理器。

可选地，在第二方面实施例另一种可能的实现形式中，所述处理模块，具体用于：

从所述待测试设备当前空闲的各处理器中选择处理速度最快的一种处理器。

可选地，在第二方面实施例再一种可能的实现形式中，所述第一确定模块，具体用于：

根据所述待测试设备对所述全部测试数据的处理时间及所述测试数据集中包含的测试数据量，确定所述待测试设备的最快处理速度。

可选地，在第二方面实施例又一种可能的实现形式中，所述测试数据集中还包括与每条测试数据对应的标注数据；

所述装置，还包括：

第三确定模块，用于根据所述测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定所述待测试设备的准确度。

可选地，在第二方面实施例又一种可能的实现形式中，所述处理模块，还用于：

依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理。

本申请再一方面实施例提出的电子设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的设备性能测试方法。

本申请又一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的设备性能测试方法。

本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。

本申请实施例提供的设备性能测试方法、装置、电子设备、计算机可读存储介质及计算机程序，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同对测试数据集进行异构计算，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种设备性能测试方法的流程示意图；

图2为本申请实施例所提供的另一种设备性能测试方法的流程示意图；

图3为本申请实施例提供的一种设备性能测试装置的结构示意图；

图4为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例针对相关技术中，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题，提出一种设备性能测试方法。

本申请实施例提供的设备性能测试方法，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同对测试数据集进行异构计算，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

下面参考附图对本申请提供的设备性能测试方法、装置、电子设备、存储介质及计算机程序进行详细描述。

下面结合图1，对本申请实施例提供的设备性能测试方法进行详细描述。

图1为本申请实施例所提供的一种设备性能测试方法的流程示意图。

如图1所示，该设备性能测试方法，包括以下步骤：

步骤101，启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池。

需要说明的是，在对设备的AI性能进行测试时，若在单一处理器上进行运算，无法充分测试出设备AI性能的极限能力。因此，本申请实施例的设备性能测试方法，可以使得中央处理器(Central Processing Unit，简称CPU)与设备中其他类型的处理器组合进行异构计算，并通过多线程的方式并发运行多种处理器组合的异构计算，以充分发挥设备的最大AI异构计算性能，从而测试出设备AI性能的极限能力。

需要说明的是，本申请实施例的设备性能测试方法可以由本申请实施例的设备性能测试装置执行。本申请实施例的设备性能测试装置，可以配置在任意电子设备中，如手机、平板电脑、个人数字助理、穿戴式设备等，本申请实施例对此不做限定。实际使用时，本申请实施例的设备性能测试方法，可以应用于任意对设备的性能进行测试的场景，以下以应用于测试设备的AI性能为例，进行详细说明。

作为一种可能的实现方式，可以在获取到设备性能测试请求时，启动对设备的性能进行测试的过程。

其中，设备性能测试请求，可以是用户通过设备的输入装置(如鼠标、键盘、触摸屏等)主动输入的，也可以是设备在首次开机或每次开机后自动生成的。比如，可以在在设备的“设置”菜单中提供“设备性能测试”的选项，从而设备可以在检测到该选项被点击时，生成设备性能测试请求；或者，还可以在设备的开机程序中设置触发设备性能测试的代码，从而可以在设备首次开关或每次开机时主动触发设备性能测试，进而生成设备性能测试请求。

需要说明的是，在本申请实施例中，由于需要待测试设备的CPU与待测试设备中其他类型的处理器协同工作，进行异构计算，因此，在获取到设备性能测试请求之后，对待测试设备进行测试之前，可以首先获取待测试设备中的处理器信息，并检测待检测设备中的处理器信息是否满足预设条件。

其中，处理器信息，可以包括待测试设备中中央处理器的内核数量、待测试设备中包括的处理器类型及每种处理器的数量，等等。

其中，预设条件，可以对待测试设备中CPU的内核数量、待测试设备包括的处理器类型数量等进行约束。

进一步的，多线程并发运行AI异构计算，需要待测试设备的CPU包括多个内核，以及包括多种类型的处理器。即在本申请实施例一种可能的实现形式中，上述步骤101之前，还可以包括：

确定待测试设备的中央处理器是否为多核处理器、且还包括至少一种其他类型处理器。

在本申请实施例中，若待测试设备的CPU为多核处理器，则待测试设备最多可以同时运行与CPU的内核数量相同的线程数；若待测试设备除CPU外还包括至少一种其他类型的处理器，则可以使得CPU与其他任意一种类型的处理器组合进行异构计算。其中，待测试设备中包括的其他类型处理器可以包括图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、加速处理器(AcceleratedProcessing Units，简称APU)等等，并且每种类型的处理器的数量可以为一个也可以为多个，本申请实施例对此不做限定。

需要说明的是，若确定待测试设备的处理器信息不满足预设条件，即待测试设备的CPU为单核CPU，或者待测试设备中仅包括CPU一个处理器，则在对待测试设备的性能进行测试时，可以根据待测试设备的实际配置情况，选取合适的测试方案。

比如，若待测试设备的CPU为单核CPU，且包含至少一个其他类型的处理器，则可以从其他类型的处理器中选取一个速度最快的处理器与CPU组合进行异构计算，或者将其他类型的处理器轮流与CPU组合进行异构计算。

又如，若待测试设备中仅包括一个多核CPU，则可以使用多线程使得CPU中的多个内核同时进行计算。

在本申请实施例中，若确定待测试设备的处理器信息满足预设条件，则可以采用本申请实施例的设备性能测试方法，以多线程并发运行AI异构计算的方式，对设备的性能进行测试。从而可以根据待测试设备的CPU的内核数量，启动线程池，其中，线程池中包含的线程数量与待测试设备的CPU的内核数量相同。

可选的，在开启线程池之后，还可以初始化异构计算的应用程序编程接口(Application Programming Interface，简称API)，并等待测试数据的输入。

步骤102，按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据。

其中，预设的规则，可以是选择处于空闲状态并且处理速度最快的一个处理器；或者，也可以是根据预设的各种类型处理器的优先级，从处于空闲状态的处理器中选取优先级最高的一个处理器；或者，也可以是根据测试数据的类型，实时确定各种类型处理器的优先级，并从处于空闲状态的处理器中选取优先级最高的一个处理器。

需要说明的是，在根据测试数据的类型实时确定各种类型处理器的优先级时，可以根据各种类型的处理器对测试数据的处理速度，确定各种类型处理器的优先级。具体的，处理器对该种类型的测试数据的处理速度越快，则处理器的优先级越高；反之，处理器的优先级越低。

其中，测试数据集，可以是图片集；相应的，测试数据集中的每条测试数据可以为图片。

需要说明的是，在测试数据集为图片集时，测试数据集可以是设备中本身具有的图库(如相册等)，也可以是为了测试设备性能预置的测试图片集，本申请实施例对此不做限定。比如，测试数据集可以是由预设视频包括的帧图片组成的。

作为一种可能的实现方式，可以根据待测试设备中各处理器的工作状态和处理速度，选择当前与处理器协同进行异构计算的处理器。即在本申请实施例一种可能的实现形式中，上述步骤102，可以包括：

从待测试设备当前空闲的各处理器中选择处理速度最快的一种处理器。

在本申请实施例中，开启线程池以及初始化异构计算API之后，可以循环输入测试数据集中的数据，并在输入第一条测试数据时，记录测试开始时间，之后开启线程池中的第一条线程，并从待测试设备中包括的其他类型的处理器中，选取处理速度最快的处理器与CPU的一个内核协同进行异构计算，占用开启的第一条线程对第一条测试数据进行处理，直至对第一条测试数据处理完毕后将第一条线程中使用的处理器的工作状态标识为空闲状态；之后输入第二条测试数据，并开启线程池中的第二条线程，并从待测试设备中处于空闲状态的各处理器中，选取处理速度最快的处理器，与CPU中处于空闲状态的内核协同进行异构计算，占用开启的第二条线程对第二条测试数据进行处理，直至第二条测试数据处理完毕后将第二条线程中使用的处理器的工作状态标识为空闲状态；以此类推，直至线程池中的所有线程开启完毕则不再开启新的线程，并在检测到线程池中存在空闲线程时，再继续输入一条测试数据，并从从当前处于空闲状态的各处理器中选取一个处理速度最快的处理器与CPU中空闲的内核协同进行异构计算，并占用线程池中的空闲线程对当前输入的测试数据进行处理，直至测试数据集中的所有测试数据均输入完毕，并在获得测试数据集中所有测试数据的处理结果之后，记录测试结束时间。

需要说明的是，由于多线程AI异构计算同时需要大量测试数据且一定时间内不能出现间断，因此为了满足多线程AI异构计算所需输入数据，测试数据集中可以包括大量的测试数据集并存储在待测试设备的内存中，以避免测试过程中出现等待输入数据不能成测试出设备的最大AI异构计算能力。

需要说明的是，对测试数据集中的测试数据进行处理之前，还可以根据对测试数据进行处理的模型或算法的特性，对测试数据集中的测试数据进行预处理，并将预处理后的测试数据集存储在待测试设备的内存中，以使预处理后的测试数据符合模型或算法所支持的格式。比如，测试数据集为图片集，对测试数据进行处理的模型仅可以对300×300像素的图片进行处理，则可以对测试数据集中的每张图片进行缩放处理，以使缩放处理后的每张图片的尺寸均为300×300像素。

步骤103，根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。

在本申请实施例中，可以在对测试数据集中的全部测试数据处理完成之后，根据待测试设备对全部测试数据的处理结果，确定待测试设备的性能。

作为一种可能的实现方式，可以根据待测试设备对测试数据集的处理速度，确定待测试设备的性能。即在本申请实施例一种可能的实现形式中，上述步骤103，可以包括：

根据待测试设备对全部测试数据的处理时间及测试数据集中包含的测试数据量，确定待测试设备的最快处理速度。

其中，待测试设备的最快处理速度，是指待测试设备对测试数据集进行处理时，每秒处理的测试数据的数量。若待测试数据集为图片集，则可以采用设备画面每秒传输帧数(Frame Per Second，简称FPS)表示设备的最快处理速度。

需要说明的是，由于本申请的设备性能测试方法采用多线程并发运行AI异构计算，充分利用了待测试设备的CPU的内核及其他各种类型处理器的运算能力，因此，待测试设备对测试数据集的处理速度，即为待测试设备的最快处理速度。

在本申请实施例中，可以在输入测试数据集中的第一条测试数据时，记录测试开始时间，并在获得测试数据集中最后一条测试数据的处理结果时，记录测试结束时间，进而将测试结束时间与测试开始时间的差值，确定为待测试设备对测试数据集中全部测试数据的处理时间，之后可以将测试数据集中包含的测试数据量与待测试设备对全部测试数据的处理时间的比值，确定为待测试设备的最快处理速度，即可以通过公式(1)确定待测试设备的最快处理速度。

其中，S_max为设备的最快处理速度，N为测试数据集中包含的测试数据量；T为待测试设备对全部测试数据的处理时间。

作为一种可能的实现方式，由于待测试设备的最快处理速度可以衡量待测试设备处理速度的极限能力，从而可以将待测试设备的最快处理速度确定为待测试设备的性能，以实现通过数字化指标衡量设备AI性能的极限能力。

进一步的，设备的性能还可以包括对测试数据集的处理速度和处理准确度两个指标，以全面评价设备的性能。即在本申请实施例一种可能的实现形式中，上述测试数据集中还可以包括与每条测试数据对应的标注数据；相应的，上述步骤103之后，还可以包括：

根据测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定待测试设备的准确度。

作为一种可能的实现方式，可以预设匹配度阈值，进而根据测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定出处理结果与标注数据的匹配度大于匹配度阈值的有效测试数据的数量，进而将有效测试数据的数量与测试数据集中包含的测试数据量的比值，确定为待测试设备的准确度。

举例来说，若测试数据集为图片集，包含200张图片，待测试设备对测试数据集进行分类处理，则测试数据对应的标注数据为测试数据的实际类别，测试数据对应的处理结果为测试数据的预测类别，预设的匹配度阈值为0.8，之后计算每条测试数据的预测类别与对应的实际类别的语义相似度，并将每条测试数据的预测类别与对应的实际类别的语义相似度，确定为每条测试数据的预测类别与对应的实际类别的匹配度，进而确定出预测类别与实际类别的匹配度大于0.8的有效测试数据的数量为150张，从而可以确定待测试设备的准确度为0.75。

在本申请实施例中，在确定出待测试设备的最快处理速度和准确度之后，可以将待测试设备的最快处理速度和准确度作为待测试设备性能的两个独立参数，生成待测试设备的性能；或者，也可以将待测试设备的最快处理速度和准确度进行融合生成待测试设备的性能，比如，可以将待测试设备的最快处理速度和准确度之和、加权和等，确定为待测试设备的性能。

本申请实施例提供的设备性能测试方法，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同对测试数据集进行异构计算，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

在本申请一种可能的实现形式中，可以预先训练对测试数据集进行处理的处理模型，进而利用待测试设备中的处理器与CPU协同运行处理模型，以对测试数据集进行处理。

下面结合图2，对本申请实施例提供的设备性能测试方法进行进一步说明。

图2为本申请实施例所提供的另一种设备性能测试方法的流程示意图。

如图2所示，该设备性能测试方法，包括以下步骤：

步骤201，启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池。

上述步骤201的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。

步骤202，按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理。

其中，预设的处理模型，可以是根据测试数据集的类型，预先训练的、可以对测试数据集中的测试数据进行处理的模型。比如，测试数据集为图片集，则预设的处理模型可以是预先训练的图片分类模型、目标检测模型、清晰化处理模型，等等，本申请实施例对此不做限定。

需要说明的是，测试过程中从待测试设备中选择一个处理器与CPU协同进行异构计算的选择方法，可以参照上述实施例的详细描述，此处不再赘述。

在本申请实施例中，每输入一条测试数据，即可以确定出当前与CPU的一个空闲内核协同进行异构计算的处理器，并使得该处理器与CPU的一个空闲内核协同运行预设的处理模型，以利用预设的处理模型对当前输入的测试数据进行处理，直至测试数据集中的全部测试数据处理完成。

作为一种可能的实现方式，测试数据集可以为图片集，预设的处理模型可以为预先训练的分类模型(如神经网络模型InceptionV3)，则可以在每次输入测试数据后，从待测试设备中选择一个处于空闲状态且处理速度最快的处理器与CPU协同运行分类模型，以利用分类模型对当前输入的测试数据的内容进行识别，确定当前输入的测试数据的预测类别，进而确定出测试数据集中每条测试数据的预测类别，并记录对测试数据集的处理时间。

需要说明的是，在设备中包括显示屏时，还可以在设备的显示屏中显示利用分类模型对测试数据集进行分类的过程。可选的，可以在设备显示屏的第一预设区域显示分类模型当前处理的图片，并在设备显示屏的第二预设区域显示多个分别与不同类别对应的文件夹，进而在确定出当前处理的图片对应的预测类别后，将当前处理的图片以旋转进入、直线移入、跳跃进入等预设的姿态存入与预测类别对应的文件夹内。

作为一种可能的实现方式，预设的处理模型还可以是目标检测模型(如MobileNet-SSD模型)，则可以在每次输入测试数据后，从待测试设备中选择一个处于空闲状态且处理速度最快的处理器与CPU协同运行分类模型，以利用目标检测模型对当前输入的测试数据进行目标检测，以确定当前输入的测试数据中包括的各检测物体信息，并根据测试数据集中对每条测试数据中包括的实际物体信息的标注数据，确定当前输入的测试数据中包括的各检测物体信息，与当前输入的测试数据中包括的实际物体信息的匹配度，确定当前输入的测试数据中的有效检测物体，进而确定出每条测试数据中的有效检测物体。之后将包含的有效检测物体的占比大于比例阈值的测试数据，确定为有效检测数据，并记录对测试数据集的处理时间。

步骤203，根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。

在本申请实施例中，可以根据预设的处理模型对测试数据集中全部测试数据的处理时间和处理准确度，确定待测试设备的性能。

作为一种可能的实现方式，若预设的处理模型为分类模型，则可以根据分类模型对测试数据集中全部测试数据的处理时间及测试数据集中包含的测试数据量，确定待测试设备的最快处理速度，即可以将测试数据集中包含的测试数据量与处理模型对全部测试数据的处理时间的比值，确定为待测试设备的最快处理速度。

相应的，可以确定出每条测试数据的预测类别与对应的实际类别的匹配度，并确定预测类别与实际类别的匹配度大于预设的匹配度阈值的有效测试数据的数量，进而将有效测试数据的数量与测试数据集中包含的测试数据量的比值，确定为待测试设备的准确度。

作为一种可能的实现方式，若预设的处理模型为目标检测模型，则可以根据目标检测模型对测试数据集中全部测试数据的处理时间及测试数据集中包含的测试数据量，确定待测试设备的最快处理速度，即可以将测试数据集中包含的测试数据量与处理模型对全部测试数据的处理时间的比值，确定为待测试设备的最快处理速度。

相应的，可以将包括的有效检测物体的比值大于比例阈值的有效检测数据的数量，与测试数据集中包含的测试数据量的比值，确定为待测试设备的准确度；或者，还可以根据每个有效测试数据中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比，进而将所有有效图片中所有有效检测物体的交并比之和，确定为待测试设备的准确度。

可选的，在确定出待测试设备的最快处理速度和准确度之后，可以将待测试设备的最快处理速度和准确度作为待测试设备性能的两个独立参数，生成待测试设备的性能；或者，也可以将待测试设备的最快处理速度和准确度进行融合生成待测试设备的性能，比如，可以将待测试设备的最快处理速度和准确度之和、加权和等，确定为待测试设备的性能。

本申请实施例提供的设备性能测试方法，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同运行预设的处理模型，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而不仅实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能，而且提高了设备性能测试的效率和可靠性。

为了实现上述实施例，本申请还提出一种设备性能测试装置。

图3为本申请实施例提供的一种设备性能测试装置的结构示意图。

如图3所示，该设备性能测试装置30，包括：

启动模块31，用于启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池；

处理模块32，用于按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；

第一确定模块33，用于根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。

在实际使用时，本申请实施例提供的设备性能测试装置，可以被配置在任意电子设备中，以执行前述设备性能测试方法。

本申请实施例提供的设备性能测试装置，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同对测试数据集进行异构计算，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

在本申请一种可能的实现形式中，上述设备性能测试装置30，还包括：

第二确定模块，用于确定待测试设备的中央处理器是否为多核处理器、且还包括至少一种其他类型处理器。

在本申请一种可能的实现形式中，上述处理模块33，具体用于：

从待测试设备当前空闲的各处理器中选择处理速度最快的一种处理器。

在本申请一种可能的实现形式中，上述第一确定模块34，具体用于：

根据待测试设备对全部测试数据的处理时间及测试数据集中包含的测试数据量，确定待测试设备的最快处理速度。

在本申请一种可能的实现形式中，上述测试数据集中还包括与每条测试数据对应的标注数据；

相应的，上述设备性能测试装置30，还包括：

第三确定模块，用于根据测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定待测试设备的准确度。

进一步的，在本申请另一种可能的实现形式中，上述处理模块33，还用于：

依次从待测试设备中选择一种处理器与中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理。

需要说明的是，前述对图1、图2所示的设备性能测试方法实施例的解释说明也适用于该实施例的设备性能测试装置30，此处不再赘述。

本申请实施例提供的设备性能测试装置，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同运行预设的处理模型，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而不仅实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能，而且提高了设备性能测试的效率和可靠性。

为了实现上述实施例，本申请还提出一种电子设备。

图4为本发明一个实施例的电子设备的结构示意图。

如图4所示，上述电子设备200包括：

存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的设备性能测试方法。

总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。

电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的设备性能测试方法的解释说明，此处不再赘述。

本申请实施例提供的电子设备，可以执行如前所述的设备性能测试方法，通过启动包含线程数量与待测试设备的中央处理器的内核数量相同的线程池，并按照预设的规则，依次从待测试设备中选择一种处理器与中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，进而根据待测试设备对测试数据集中全部测试数据的处理结果，确定待测试设备的性能。由此，通过利用待测试设备中其他类型的处理器与中央处理器协同对测试数据集进行异构计算，并通过多线程并发运行多种处理器组合的异构计算，以根据对测试数据集的处理结果确定设备的AI性能，从而实现了通过数字化指标衡量设备AI性能的极限能力，有助于用户直观了解设备的AI性能。

为了实现上述实施例，本申请还提出一种计算机可读存储介质。

其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。

为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。

一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种设备性能测试方法，其特征在于，包括：

启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池；

按照预设的规则，依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；

根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能。

2.如权利要求1所述的方法，其特征在于，所述启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池之前，还包括：

确定所述待测试设备的中央处理器是否为多核处理器、且还包括至少一种其他类型处理器。

3.如权利要求1所述的方法，其特征在于，所述按照预设的规则，依次从所述待测试设备中选择一种处理器，包括：

从所述待测试设备当前空闲的各处理器中选择处理速度最快的一种处理器。

4.如权利要求1所述的方法，其特征在于，所述根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能，包括：

根据所述待测试设备对所述全部测试数据的处理时间及所述测试数据集中包含的测试数据量，确定所述待测试设备的最快处理速度。

5.如权利要求1所述的方法，其特征在于，所述测试数据集中还包括与每条测试数据对应的标注数据；

所述对测试数据集中的各条测试数据依次进行处理之后，还包括：

根据所述测试数据集中每条测试数据对应的处理结果与对应的标注数据的匹配度，确定所述待测试设备的准确度。

6.如权利要求1-5任一所述的方法，其特征在于，所述对测试数据集中的各条测试数据依次进行处理，包括：

依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同运行预设的处理模型，对测试数据集中的各条测试数据依次进行处理。

7.一种设备性能测试装置，其特征在于，包括：

启动模块，用于启动包含线程数量与所述待测试设备的中央处理器的内核数量相同的线程池；

处理模块，用于按照预设的规则，依次从所述待测试设备中选择一种处理器与所述中央处理器的一个内核协同，对测试数据集中的各条测试数据依次进行处理，其中，测试数据集中包括多条测试数据；

第一确定模块，用于根据所述待测试设备对所述测试数据集中全部测试数据的处理结果，确定所述待测试设备的性能。

8.如权利要求7所述的装置，其特征在于，所述第一确定模块，具体用于：

根据所述待测试设备对所述全部测试数据的处理时间及所述测试数据集中包含的测试数据量，确定所述待测试设备的最快处理速度。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的设备性能测试方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的设备性能测试方法。

Images