CN110515811A - 终端人工智能性能基准测试方法及装置 - Google Patents

Abstract

本发明提供了一种终端人工智能性能基准测试方法及装置，该方法包括：识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；接收用户反馈的测试指令，测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；将神经网络模型和基准测试推理集组成基准测试例；在终端上使用用户选择的AI计算框架运行基准测试例，监测运行结果和测试过程中的终端硬件性能指标。本发明使终端能够自动识别检测适配的多个AI计算框架，监测终端硬件性能指标，从整机角度对终端人工智能性能进行评估。

Description

终端人工智能性能基准测试方法及装置

技术领域

本发明涉及人工智能性能测试技术领域，特别涉及一种终端人工智能性能基准测试方法及装置。

背景技术

人工智能发展迅速，利用神经网络技术，通过大量数据的训练可以让电脑像人一样识别不同的物体和处理不同的问题。在终端侧，人工智能技术有着丰富的应用，最主要的领域是使用神经网络模型在终端侧进行推理，包括可以对图像进行分类，对图片中的物体边界进行分割，人脸识别等等。要在终端侧部署神经网络模型推断应用，需要AI计算框架的支持，AI计算框架向下能提供调度和使用包括CPU、GPU、DSP、NPU等人工智能计算所需的硬件资源，向上能支持转换工具优化过的神经网络模型。AI计算框架除了如TensorFlow Lite等通用开源框架外，各终端厂商也基于自身终端硬件特点开发出私有AI计算框架，如高通SNPE，华为HiAI等。不同的AI计算框架对神经网络模型支持程度各有差异，所以有必要基于不同的神经网络模型和AI计算框架对终端的人工智能性能进行基准测试，来评估终端人工智能性能。

目前对于基于神经网络模型的人工智能性能评测多基于芯片角度而非终端整机性能表现，在终端上部署测试环境后，输入神经网络模型和推理数据集，对芯片执行神经网络模型推理的能力进行测试。此方法的缺陷主要有：目前的测试方案只能测试终端上部署的一种AI计算框架，无法对终端支持的多种框架进行测试，如果需要更换模型和框架还需要重新编译相关测试程序。测试结果单一，且方式缺乏灵活性。

发明内容

本发明实施例提供了一种终端人工智能性能基准测试方法，用以根据用户选择实现对终端支持的至少一种AI计算框架的测试，改善测试结果的多样性和测试方式的灵活性，该方法包括：

识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；

将所述神经网络模型和基准测试推理集组成基准测试例；

在终端上使用用户选择的AI计算框架上运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

本发明实施例也提供了一种终端人工智能性能基准测试装置，用以根据用户选择实现对终端支持的至少一种AI计算框架的测试，改善测试结果的多样性和灵活性，该装置包括：

识别模块，用于识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收模块，用于接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

预处理模块，用于根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；并将所述神经网络模型和基准测试推理集组成基准测试例；

监测模块，用于在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述终端人工智能性能基准测试方法。

本发明实施例也提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述终端人工智能性能基准测试方法的计算机程序。

本发明实施例中，将识别的终端适配的至少一种AI计算框架提供给用户，根据用户反馈的测试指令进行用户选择的AI计算框架测试，实施时可实现自动识别检测终端适配的AI计算框架，能够对终端支持的多种AI计算框架实现测试，即使更换模型和框架也无需重新编译相关测试程序，能够简便易行地从整机角度对终端人工智能性能进行评估，改善测试结果的多样性和测试方式的灵活性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中终端人工智能性能基准测试方法的示意图。

图2为本发明实施例中识别终端适配的至少一种AI计算框架的示意图。

图3为本发明实施例中终端人工智能性能基准测试方法具体实例模块示意图。

图4为本发明实施例中终端人工智能性能基准测试装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有的基于神经网络模型的人工智能性能评测存在的测试结果单一，且方式缺乏灵活性的缺陷，本发明实施例提供了一种终端人工智能性能基准测试方法，如图1所示，该方法包括：

步骤101：识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

步骤102：接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

步骤103：根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；

步骤104：将所述神经网络模型和基准测试推理集组成基准测试例；

步骤105：在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

本发明实施例通过自动识别终端适配的至少一种AI计算框架，根据用户选择实现对终端支持的至少一种AI计算框架的测试，丰富了测试维度，更换模型和构架时无需重新编译相关测试程序，改善了测试结果的多样性，提高了测试方式的灵活性。其次通过多种测试例，使得测试更加全面、充分，从而进一步改善测试结果的多样性。

具体实施时，先识别终端适配的至少一种AI计算框架，将适配的至少一种AI计算框架提供给用户。实施例中识别终端适配的AI计算框架可以有多种方式，例如，可以根据终端的芯片型号，在关系数据库中查询终端适配的至少一种AI计算框架，且关系数据库记录有终端的芯片型号与终端适配的至少一种AI计算框架的对应关系。例如，如图2所示，识别终端适配的AI计算框架可以包括：

步骤201：搜集各类终端芯片型号所对应的多种AI计算框架，并建立对应的关系数据库；

步骤202：识别终端芯片型号；

步骤203：调取关系数据库中所述终端芯片型号对应的至少一种AI计算框架。

本领域技术人员可以理解，上述根据终端的芯片型号查询确定终端适配的AI计算框架仅为一例，实施时还可以通过依据终端芯片模组、芯片类型等特征识别终端适配的AI计算框架，此处不再详细赘述。

在识别终端适配的至少一种AI计算框架后，将适配的至少一种AI计算框架提供给用户选择，用户从所有可选框架中选择希望测试的一种AI计算框架，并指定测试项。本实施例中的测试项可以有多种形式，例如图片类，视频类，语音类及文本识别类等测试任务，包括图片分类，语义分割，人脸识别，目标检测其中之一或任意组合。用户选择完成后接收用户反馈的测试指令，其中测试指令包含上述选择的AI计算框架以及指定的测试项。

接收用户反馈的测试指令后，根据用户选择的AI计算框架确定待测试的神经网络模型。本发明实施例中确定待测的神经网络模型可以有多种方式，例如，可以利用选定的AI计算框架对应的AI计算框架转换工具，具体过程包括：

将初始神经网络模型分别输入多种AI计算框架对应的AI计算框架转换工具中，进行如下一项或多项处理，输出多种转换后的神经网络模型：

剪裁，压缩，格式转换。

根据用户选择的AI计算框架确定待测试的神经网络模型，包括：根据用户选择的AI计算框架从多种转换后的神经网络模型中确定待测试的神经网络模型。本发明具体实施例中，为了过程更加简洁方便，提高测试效率，多种转换后的神经网络模型可事先转换好，以文件形式存储在本地磁盘或上传至网络云盘中，根据用户选择的AI计算框架确定待测试的神经网络模型时就可直接调用上述文件，确定待测试的神经网络模型。

本发明实施例中的初始神经网络模型是指用于人工智能计算，经过训练且达到一定准确率的模型，可以包括用于进行图片分类，语义分割，人脸识别，或目标检测等功能的初始神经网络模型。本领域技术人员可以理解，上述初始神经网络模型类型仅为举例，还可以包括用于进行语音识别、文本检测等功能的初始神经网络模型，此处不再详细赘述。

确定本发明实施例待测试的神经网络模型的同时，根据用户指定的测试项确定基准测试推理集。基准测试推理集例如可以包括用于人工智能推理计算的数据集，且每个测试项对应一个固定的基准测试推理集，实施例中基准测试推理集可以包括图片，视频等多种文件格式。本领域技术人员可以理解，上述基准测试推理集文件格式仅为举例，还可以包括文本等文件格式，只需与测试项对应即可。

接着将本发明实施例中的神经网络模型和基准测试推理集组成基准测试例，基准测试例为通过上述AI计算框架测试终端人工智能处理性能的测试例，与神经网络模型和基准测试推理集的类型相对应。实施例中的基准测试例，例如可以包括图片类测试、语音类测试、视频类测试及文本识别类测试，例如图片分类，语义分割，人脸识别，目标检测等其中之一或前述的任意组合。本领域技术人员可以理解，上述基准测试例类型仅为举例，此处不再详细赘述。

接着，在终端上使用本发明实施例中用户选择的AI计算框架运行上述基准测试例，监测上述基准测试例的运行结果和测试过程中的终端硬件性能指标。其中，基准测试例的运行结果可以反映芯片和算法相关性能，例如包括模型测试的准确率，处理时间等。终端硬件性能指标进一步对CPU使用情况，内存，电池，功耗等终端其他性能指标进行了解，反映终端处理人工智能任务的整机性能，实施例中监测的终端硬件性能指标可以包括：CPU工作数据，内存工作数据，电池工作数据，功耗其中之一或上述任意组合。例如，具体实施例中，监测的终端硬件性能指标具体包括：CPU使用率的最大值、最小值及平均值，CPU温度的最高值、最低值及平均值，内存使用量的最大值、最小值及平均值，内存使用率的最大值、最小值及平均值，电池温度的最高值、最低值及平均值，功耗等。本领域技术人员可以理解，上述硬件性能指标仅为举例，还可以包括用户期望测试的其他性能，如CPU处理速度等，此处不再详细赘述。

实施例中，还包括将测试结果反馈给用户，测试结果包括上述基准测试例的运行结果和测试过程中的终端硬件性能指标的其中之一或任意组合。

实施例中将测试结果反馈给用户时，可选取用户指定的至少一项指标的评价结果显示在智能终端上。当然本领域技术人员可以理解的是，反馈方式不限于上述方式，还可包括出具评价表或给出评价分数等方式，此处不再详细赘述。

为了更好地说明本发明实施例的具体实施例，结合图3说明本发明实施例具体实施例中终端人工智能性能基准测试方法的模块化实现：

首先在初始神经网络模型中存储测试所需的初始神经网络模型；

其次用户指定测试项，并在基准测试集存储指定测试项对应的测试数据集；

接着AI计算平台适配单元根据终端硬件层自动识别适配的AI计算框架，如本次适配的AI计算框架有A，B，C三种，并将识别检测结果提供给用户，用户选择完毕后，调取用户所选的AI计算框架，例如用户本次选择测试的是AI计算框架A；

在测试之前利用AI计算框架A转换工具将初始神经网络模型转换成与AI计算框架A对应的多种转换后的神经网络模型，然后从转换后的模型中选择待测试的神经网络模型与基准测试集一同组成基准测试例；

再接着，AI计算框架A运行基准测试例，运行结束获得基准测试例运行结果；

AI计算框架A运行过程的同时，性能指标监测单元监测终端硬件层的各项硬件性能指标；

最后将基准测试例运行结果以及硬件性能指标反馈给用户。

本发明实施例可以应用于以智能手机为例的智能终端，其操作系统例如Android、iOS操作系统。本领域技术人员可以理解，上述智能终端类型及操作系统仅为举例，此处不再赘述。

综上所述，本发明实施例通过自动识别检测至少一种终端适配的AI计算框架，然后在用户选择的AI计算框架运行相应的基于神经网络模型的人工智能基准测试例，获得基准测例测试结果，还可以监测终端内部硬件性能指标，将用户期望的性能测试的结果反馈给用户，从整机角度对终端人工智能性能进行评估。

基于上述，本发明实施例所提供的终端人工智能性能基准测试方法可实现自动识别检测终端适配的多种AI计算框架，能够对终端支持的多种框架进行测试，更换模型和框架时无需重新编译相关测试程序，并从整机角度对终端人工智能性能进行评估，使得测试结果多样，方式比较灵活。

为实现本发明的技术方案，本发明实施例提供了一种终端人工智能性能基准测试装置，由于终端人工智能性能基准测试装置所解决问题的原理与终端人工智能性能基准测试方法相似，因此终端人工智能性能基准测试装置的实施可以参见终端人工智能性能基准测试方法的实施，重复之处不再赘述。以下所使用的术语“模块”指可以实现预定功能的软件和/或硬件的组合，具体结构如图4所示：

识别模块401，用于识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收模块402，用于接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

预处理模块403，用于根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；将所述神经网络模型和基准测试推理集组成基准测试例；

监测模块404，用于在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

在一个实施例中，测试模块404还可以用于：

将测试结果反馈给用户，测试结果包括上述基准测试例的运行结果和测试过程中的终端硬件性能指标的其中之一或任意组合。

在一个实施例中，终端的硬件性能指标可以包括：CPU工作数据，内存工作数据，电池工作数据，功耗其中之一或任意组合。

在一个实施例中，识别模块401可以具体用于：根据终端的芯片型号，在关系数据库中查询终端适配的至少一种AI计算框架，其中关系数据库记录有终端的芯片型号与终端适配的至少一种AI计算框架的对应关系。

在一个实施例中，预处理模块403可以具体用于，将初始神经网络模型分别输入多种AI计算框架对应的AI计算框架转换工具中，进行如下一项或多项处理，输出多种转换后的神经网络模型：

剪裁，压缩，格式转换；

根据用户选择的AI计算框架从多种转换后的神经网络模型中确定待测试的神经网络模型。

在一个实施例中，基准测试例为通过上述AI计算框架测试终端人工智能处理性能的测试例，可以包括图片类测试、语音类测试、视频类测试及文本识别类测试。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述终端人工智能性能基准测试方法。

本发明实施例还提供一种计算机可读存储介质，存储有执行上述终端人工智能性能基准测试方法的计算机程序。

综上所述，采用本发明提出的终端人工智能性能基准测试方法及装置进行终端的人工智能性能测评时具有如下有益效果：

本发明首先使用AI计算框架识别适配技术解决不同AI计算框架支持和神经网络模型选择问题，丰富了测试维度，提供测试灵活性。其次通过多种测试例，即图片和视频类测试任务等测试例为终端人工智能性能评测提供更全面的评测负载，使得评测更加充分。最后对于基准测试结果，引入终端性能指标，如CPU使用率，内存，电池，功耗等，为终端整机人工智能性能基准测试提供参考。通过对终端整机的人工智能性能进行基准测试，能灵活、全面的选择不同AI计算框架，并使用丰富的测试例对终端人工智能性能进行全面评测，最终从模型测试结果，终端内部性能指标全方位评估终端的人工智能处理性能。

实施例中，还可以在用户选择的AI计算框架上运行基准测试例时，监测终端的硬件性能指标，这样可以进一步对CPU使用情况，内存，电池，功耗等终端其他性能指标进行了解，反映终端处理人工智能任务的整机性能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种终端人工智能性能基准测试方法，其特征在于，包括：

识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；

将所述待测试的神经网络模型和基准测试推理集组成基准测试例；

在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

2.如权利要求1所述的方法，其特征在于，还包括：

将测试结果反馈给用户，所述测试结果包括所述基准测试例的运行结果和测试过程中的终端硬件性能指标的其中之一或任意组合。

3.如权利要求1所述的方法，其特征在于，所述终端硬件性能指标包括：CPU工作数据，内存工作数据，电池工作数据，功耗其中之一或任意组合。

4.如权利要求1所述的方法，其特征在于，所述识别终端适配的至少一种AI计算框架，包括：根据终端的芯片型号，在关系数据库中查询终端适配的至少一种AI计算框架，所述关系数据库记录有终端的芯片型号与终端适配的至少一种AI计算框架的对应关系。

5.如权利要求1所述的方法，其特征在于，在根据用户选择的AI计算框架确定待测试的神经网络模型之前，还包括：

将初始神经网络模型分别输入多种AI计算框架对应的AI计算框架转换工具中，进行如下一项或多项处理，输出多种转换后的神经网络模型：

剪裁，压缩，格式转换；

所述根据用户选择的AI计算框架确定待测试的神经网络模型，包括：根据用户选择的AI计算框架从多种转换后的神经网络模型中确定待测试的神经网络模型。

6.如权利要求1所述的方法，其特征在于，所述基准测试例为通过所述AI计算框架测试终端人工智能处理性能的测试例。

7.一种终端人工智能性能基准测试装置，其特征在于，包括：

识别模块，用于识别终端适配的至少一种AI计算框架，将所述至少一种AI计算框架提供给用户；

接收模块，用于接收用户反馈的测试指令，所述测试指令包括用户从所述至少一种AI计算框架中选择的一种AI计算框架，以及用户指定的测试项；

预处理模块，用于根据用户选择的AI计算框架确定待测试的神经网络模型，根据用户指定的测试项确定基准测试推理集；将所述待测试的神经网络模型和基准测试推理集组成基准测试例；

监测模块，用于在终端上使用用户选择的AI计算框架运行所述基准测试例，监测所述基准测试例的运行结果和测试过程中的终端硬件性能指标。

8.如权利要求7所述的装置，其特征在于，所述预处理模块具体用于：

将初始神经网络模型分别输入多种AI计算框架对应的AI计算框架转换工具中，进行如下一项或多项处理，输出多种转换后的神经网络模型：

剪裁，压缩，格式转换；

根据用户选择的AI计算框架从多种转换后的神经网络模型中确定待测试的神经网络模型。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。