CN112306829A - 性能信息的确定方法及装置、存储介质、终端 - Google Patents

Abstract

本发明公开了一种性能信息的确定方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于解决现有AI芯片性能信息的确定准确性较差的问题。包括：客户端从服务端加载与待测试的测试目标匹配的测试数据；基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。用于性能信息的确定。

Description

性能信息的确定方法及装置、存储介质、终端

技术领域

本发明涉及一种数据处理技术领域，特别是涉及一种性能信息的确定方法及装置、存储介质、终端。

背景技术

随着终端设备中应用程序功能越来越广泛，使用人工智能AI终端设备处理业务已经成为一种主流现象。其中，终端设备在加入AI后，利用模糊识别及机器学习等方法大大的满足了用户对业务处理的需求，尤其是对拍照的处理，使得照片中人像更加清晰柔和，背景更加虚化美丽，风光更加锐利有层次，光线过渡更加自然和谐。

目前，现有拍照应用程序通过AI识物，即利用AI芯片对不同场景自动识别人像、动物、文字等特定内容，实现智慧识物的功能，并且通过自动调节等功能，拍摄出优质照片。但是，各终端设备对于AI芯片实现拍摄功能水平参差不齐，所展现的图片效果也无法统一，影响对AI芯片性能信息的确定准确率，无法满足多样化的、高精度的图片拍摄需求。

发明内容

有鉴于此，本发明提供一种性能信息的确定方法及装置、存储介质、终端，主要目的在于解决现有AI芯片性能信息的确定准确性较差的问题。

依据本发明一个方面，提供了一种性能信息的确定方法，包括：

加载与待测试的测试目标匹配的测试数据；

基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

进一步地，所述方法还包括：

基于所述测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型，所述测试模型包括至少一个图片分类测试模型、以及至少一个图片目标检测测试模型。

进一步地，所述基于所述测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型包括：

从测试模型库中按照所述身份标识信息、所述测试需求信息、所述测试数据中至少一个筛选匹配的图片分类测试模型、图片目标检测测试模型，所述测试模型库中存储有预先加载的、与不同身份标识信息、不同测试需求、不同测试数据分别对应的多个图片分类测试模型、以及多个图片目标检测测试模型；

基于测试模型与测试模型个数、测试模型顺序的对应关系，确定筛选出的图片分类测试模型、图片目标检测测试模型分别进行所述图片分类测试、所述图片目标检测测试的测试模型个数、以及测试模型顺序；

所述基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试包括：

依据确定测试模型个数、测试模型顺序的图片分类测试模型、图片目标检测测试模型，对所述测试目标执行所述测试数据的图片分类测试、图片目标检测测试。

进一步地，所述测试特征参数至少包括速度参数、精度参数，所述基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息包括：

获取基于所述图片分类测试模型完成所述图片分类测试的第一速度参数、第一精度参数，以及基于所述图片目标检测测试模型完成所述图片目标检测测试的第二速度参数、第二精度参数；

根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息，所述预设测试特征加权值用于表征不同测试模型的测试特征参数所限定的求和比例。

进一步地，所述预设测试特征加权值至少包括预设测试速度加权值、预设测试精度加权值，所述根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息包括：

基于预设测试速度加权值以求和方式统计所述第一速度参数、所述第二速度参数的第一测试结果，并基于所述预设测试精度加权值以求和方式统计所述第一精度参数、所述第二精度参数的第二测试结果；

比较所述第一测试结果与预设测试速度阈值，以及比较所述第二测试结果与预设测试精度阈值，并根据分别得到的比较结果统计输出所述测试目标的性能信息。

进一步地，所述根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息包括：

基于预设测试特征加权值中各加权数值，加权求和所述第一速度参数、所述第一精度参数、所述第二速度参数、第二精度参数的测试结果；

比较所述测试结果与预设测试阈值，根据比较结果统计输出所述测试目标的性能信息。

进一步地，所述加载与待测试的测试目标匹配的测试数据包括：

若接收到对待测试目标的测试请求，则识别所述测试目标的身份标识信息；

发送测试数据加载请求，所述测试数据加载请求中携带有所述身份标识信息，以使服务端基于所述身份标识信息匹配测试数据；

接收所述测试数据加载请求响应，加载所述测试数据。

进一步地，所述方法还包括：

输出服务端根据所述性能信息进行全网性能排序处理得到的所述性能信息的排序结果。

依据本发明一个方面，提供了一种性能信息的确定方法，包括：

发送与待测试的测试目标匹配的测试数据；

获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

进一步地，所述发送与待测试目标匹配的测试数据之前，所述方法还包括：

接收测试数据加载请求，所述测试数据加载请求中携带有所述测试目标的身份标识信息；

从预设测试数据库中提取与所述身份标识信息匹配的测试数据，并进行响应，所述预设测试数据库中存储有与所述身份标识信息匹配的不同类型、不同数量的测试数据。

进一步地，所述方法还包括：

提取第三方的性能信息，并通过比较方式进行全网性能排序处理，输出排序结果。

依据本发明另一个方面，提供了一种性能信息的确定装置，包括：

加载模块，用于加载与待测试的测试目标匹配的测试数据；

启动模块，用于基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

确定模块，用于基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

依据本发明另一个方面，提供了一种性能信息的确定装置，包括：

发送模块，用于发送与待测试的测试目标匹配的测试数据；

获取模块，用于获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述性能信息的确定方法对应的操作。

根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述性能信息的确定方法对应的操作。

根据本发明的又一方面，提供了另一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述性能信息的确定方法对应的操作。

根据本发明的再一方面，提供了另一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述性能信息的确定方法对应的操作。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供了一种性能信息的确定方法及装置、存储介质、终端，与现有技术相比，本发明实施例通过客户端从服务端中加载与待测试的测试目标匹配的测试数据；基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于统一且准确的性能信息，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种性能信息的确定方法流程图；

图2示出了本发明实施例提供的另一种性能信息的确定方法流程图；

图3示出了本发明实施例提供的一种AI设备芯片的测试流程示意图；

图4示出了本发明实施例提供的又一种性能信息的确定方法流程图；

图5示出了本发明实施例提供的再一种性能信息的确定方法流程图；

图6示出了本发明实施例提供的一种性能信息的可视化示意图；

图7示出了本发明实施例提供的一种ResNet34模型进行图片分类测试示意图；

图8示出了本发明实施例提供的一种InceptionNv3模型进行图片分类测试示意图；

图9示出了本发明实施例提供的一种MobileNetSSD模型进行图片目标检测的示意图；

图10示出了本发明实施例提供的一种DeepLabV3+模型进行图片目标检测的示意图；

图11示出了本发明实施例提供的一种性能信息的确定装置组成框图；

图12示出了本发明实施例提供的另一种性能信息的确定装置组成框图；

图13示出了本发明实施例提供的又一种性能信息的确定装置组成框图；

图14示出了本发明实施例提供的再一种性能信息的确定装置组成框图；

图15示出了本发明实施例提供的一种终端的结构示意图；

图16示出了本发明实施例提供的另一种终端的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种性能信息的确定方法，如图1所示，该方法包括：

101、加载与待测试的测试目标匹配的测试数据。

其中，所述测试目标为作为当前执行端的设备芯片，所述测试数据为对设备芯片进行图片分类测试、图片目标检测测试的多个图片数据，本发明实施例中，不同设备芯片匹配不同的测试数据，不同的设备芯片可以通过唯一对应的设备型号表征身份，例如，设备芯片型号a-s1，匹配测试数据为图片数据1-100，设备芯片型号b-s2，匹配测试数据为图片数据101-150等，本发明实施例不做具体限定。

需要说明的是的，作为当前执行端的客户端在启动对设备芯片进行测试时，通过向服务端发送测试数据加载请求，以便服务端根据测试数据加载请求中携带的测试目标的身份标识匹配测试数据进行下发，使得当前客户端进行加载。

102、基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试。

其中，所述测试模型为用于对测试目标执行对测试数据的图片分类、图片目标检测所得到结果，确定测试效果的模型，可以为一个总体的机器学习模型，也可以包括图片分类测试、以及图片目标检测测试匹配不同机器学习模型，进一步地，对于图片分类测试、以及图片目标检测测试可以利用一个机器学习模型，也可以利用多个机器学习模型，本发明实施例不做具体限定。具体的，当确定测试数据后，启动测试目标，即设备芯片基于测试模型对测试数据的图片分类测试、以及图片目标检测测试，具体的基于测试模型的测试处理，可以包括对分类图片的分类准确性、分类速度的确定，以及对图片目标检测的检测准确性、检测速度的确定，本发明实施例不做具体限定。

103、基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

对于本发明实施例，所述测试特征参数至少包括速度参数、精度参数，即为基于测试模型对图片分类测试得到的分类图片、图片目标检测得到的图片目标进行基于测试模型的测试处理分别所得到速度参数、精度参数，从而基于速度参数、精度参数确定出测试目标的性能信息，即为设备芯片的性能信息。其中，所述性能信息用于表征设备芯片对图片进行分类、目标检测的测试结果，可以为优良等信息、也可以为具体的分数等信息，本发明实施例不做具体限定。

本发明实施例提供了一种性能信息的确定方法，与现有技术相比，本发明实施例通过客户端从服务端中加载与待测试的测试目标匹配的测试数据；基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于统一且准确的性能信息，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

本发明实施例提供了另一种性能信息的确定方法，如图2所示，该方法包括：

201、加载与待测试的测试目标匹配的测试数据。

对于本发明实施例，为了提高测试的准确性，满足性能信息的高效确定需求，步骤201具体包括：若接收到对待测试目标的测试请求，则识别所述测试目标的身份标识信息；发送测试数据加载请求，所述测试数据加载请求中携带有所述身份标识信息，以使服务端基于所述身份标识信息匹配测试数据；接收所述测试数据加载请求响应，加载所述测试数据。

其中，所述测试请求为用户为了启动当前客户端中用于确定测试目标的性能信息的应用程序所触发的请求，例如用户触发APP中的开始测试按钮，则当前客户端接收到对设备芯片的测试请求，则进行对测试目标的身份标识信息的识别。具体的，所述身份标识信息为用于表征测试目标身份的唯一对应的标识信息，可以为作为测试目标的设备芯片的芯片型号、芯片编码、芯片身份号等信息，本发明实施例不做具体限定。另外，服务端中存储有不同身份标识信息匹配的测试数据，以数据包形式存储于预设存储位置中，以便进行匹配。当前客户端根据身份标识信息向服务端发送测试数据加载请求，服务端根据接收到的身份标识信息匹配测试数据，响应于测试数据加载请求发送匹配的测试数据，当前客户端进行加载，从而提高利用测试数据对测试目标进行测试的准确性。

202、基于所述测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型。

本发明实施例中，为了提高性能信息的确定准确性，选择适当的测试模型，从而满足对测试目标的测试需求，基于测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型。其中，所述测试模型包括至少一个图片分类测试模型、以及至少一个图片目标检测测试模型，所述图片分类测试模型为基于深度学习实现对测试目标已完成测试数据分类的图片分类结果进行确定分类效果的机器学习模型，如34层残差神经网络ResNet34模型、卷积神经网络InceptionNv3模型，所述图片目标检测测试模型为基于深度学习实现对测试目标已完成测试数据目标检测的目标检测结果进行确定目标检测效果的机器学习模型，如基于SSD算法组合神经网络的MobileNetSSD模型、基于语义分割组合神经网络的DeepLabV3+模型等，本发明实施例不做具体限定。

需要说明的是，为了扩大对测试目标进行测试的范围，以满足不同测试目标的测试需求，可以基于身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型。其中，所述测试需求信息用于表征对测试目标的性能信息中精度、速度确定的不同等级的测试需求，例如，可以为高精度测试需求、高速测试需求，或者高精度测试需求、低速测试需求等，以便匹配到进行测试的测试模型，本发明实施例不做具体限定。

对于本发明实施例，为了进一步地说明及限定，以提高对测试模型的匹配准确性，步骤202具体包括：从测试模型库中按照所述身份标识信息、所述测试需求信息、所述测试数据中至少一个筛选匹配的图片分类测试模型、图片目标检测测试模型，所述测试模型库中存储有预先加载的、与不同身份标识信息、不同测试需求、不同测试数据分别对应的多个图片分类测试模型、以及多个图片目标检测测试模型；基于测试模型与测试模型个数、测试模型顺序的对应关系，确定筛选出的图片分类测试模型、图片目标检测测试模型分别进行所述图片分类测试、所述图片目标检测测试的测试模型个数、以及测试模型顺序。

其中，所述测试模型库为预先加载配置于当前客户端中，存储有不同身份标识信息、测试数据、测试需求信息匹配的多个图片分类测试模型、以及多个图片目标检测测试模型，当识别身份标识信息，和/或接收到确定的测试需求信息，和/或加载到测试数据时，从测试模型库中筛选出匹配的图片分类测试模型、图片目标检测测试模型，本发明实施例不做具体限定。具体的，当筛选出多个图片分类测试模型、多个图片目标检测测试模型后，根据测试模型与测试模型个数、测试模型顺序的对应关系确定各图片分类测试模型、各图片目标检测测试模型的测试模型个数、测试模型顺序，以便按照测试模型个数、测试模型顺序进行图片分类测试、图片目标检测测试。另外，对于测试模型与测试模型个数、测试模型顺序的对应关系，可以为服务端基于不同测试需求、业务进行预先配置的，本发明实施例不做具体限定。

203、依据确定测试模型个数、测试模型顺序的图片分类测试模型、图片目标检测测试模型，对所述测试目标执行所述测试数据的图片分类测试、图片目标检测测试。

对于本发明实施例，为了提高测试效率，满足不同测试需求的性能信息的确定需求，因此，根据确定测试模型个数、测试模型顺序的图片分类测试模型、图片目标检测测试模型，对测试目标执行测试数据的图片分类测试、图片目标检测测试。例如，图片分类测试模型包括ResNet34模型、InceptionNv3模型，图片目标检测模型包括MobileNetSSD模型、DeepLabV3+模型，测试模型顺序为依次执行ResNet34模型、InceptionNv3模型、MobileNetSSD模型、DeepLabV3+模型，从而完成图片分类测试、图片目标检测测试，如图3所示的性能信息确定的模型执行顺序。

204、获取基于所述图片分类测试模型完成所述图片分类测试的第一速度参数、第一精度参数，以及基于所述图片目标检测测试模型完成所述图片目标检测测试的第二速度参数、第二精度参数。

对于本发明实施例，为了进一步限定及说明如何进行性能信息的确定方法，获取基于图片分类测试模型完成图片分类测试的第一速度参数、第一精度参数，以及基于图片目标检测测试模型完成图片目标检测测试的第二速度参数、第二精度参数。其中，由于图片分类测试模型可以为多个，图片目标检测测试模型也可以为多个，因此，第一速度参数、第一精度参数、第二速度参数、第二精度参数中的具体个数需要匹配模型个数，本发明实施例不做具体限定。

需要说明的是，第一速度参数为图片分类测试模型对完成图片分类测试的图片进行分类的速度值，第一精度参数为图片分类测试模型对完成图片分类测试的图片进行分类的精度值，第二速度参数为图片目标检测测试模型对完成图片目标检测的图片进行目标检测的速度值，第二精度参数为图片目标检测测试模型对完成图片目标检测的图片进行目标检测的精度值，本发明实施例不做具体限定。

205、根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息。

对于本发明实施例，为了具体限定性能信息的确定方法，从而提高性能信息确定的准确性、高效性，根据预设测试特征加权值统计第一速度参数、第一精度参数、第二速度参数、第二精度参数的值，作为性能信息进行输出。其中，所述预设测试特征加权值用于表征不同测试模型的测试特征参数所限定的求和比例，例如，第一速度参数、第一精度参数、第二速度参数、第二精度参数所限定的求和比例为0.3、0.1、0.3、0.3，则按照求和比例对第一速度参数、第一精度参数、第二速度参数、第二精度参数进行求和，得到性能信息，因此，性能信息可以包括一个对测试目标确定性能的数值，本发明实施例不做具体限定。

需要说明的是，对于本发明实施例中，为了实现对性能信息的高效确定，对于图片分类测试、以及图片目标检测测试还可以首先单独进行一次性能信息的确定，然后将各性能信息利用权重进行求和，得到总的性能信息。具体的，由于可以进行图片分类测试的测试模型可以为多个，进行图片目标检测测试的测试模型也可以为多个，因此，可以对于图片分类测试、图片目标检测测试单独确定性能信息可以为按照不同测试模型的精度、速度单独进行统计分数的性能信息，然后将多个性能信息进行统计，得到最终的性能信息，本发明实施例不做具体限定。

对于本发明实施例，为了进一步地限定及说明，提高性能信息的确定精度，提供另一种统计性能信息的方法，所述预设测试特征加权值至少包括预设测试速度加权值、预设测试精度加权值，所述根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息包括：基于预设测试速度加权值以求和方式统计所述第一速度参数、所述第二速度参数的第一测试结果，并基于所述预设测试精度加权值以求和方式统计所述第一精度参数、所述第二精度参数的第二测试结果；比较所述第一测试结果与预设测试速度阈值，以及比较所述第二测试结果与预设测试精度阈值，并根据分别得到的比较结果统计输出所述测试目标的性能信息。

具体的，首先对于速度，可以预先配置有按照速度进行统计的预设测试速度加权值，通过对第一速度参数、第二速度参数以预设测试速度加权值以求和方式进行统计得到第一测试结果，各预设测试速度加权值之和为1。其次对于精度，可以与预先配置有按照精度进行统计的预设测试精度加权值，通过对第一精度参数、第二精度参数以预设测试精度加权值以求和方式进行统计得到第二测试结果，各预设测试精度加权值之和为1。最后，分别利用预设测试速度阈值与第一测试结果以及预设测试精度阈值与第二测试结果进行比较，根据比较的结果统计性能信息进行输出。其中，针对性能信息为数值化的表征结果，在比较时，将预设测试速度阈值、预设精度速度阈值作为基准数值，将比较的到的差值，作为与基准数值的加或减的范围确定性能信息，可以为分别为精度性能信息、速度性能信息的具体数值，可以为精度性能信息与速度性能信息的平均数值作为性能信息。例如，若按照预设测试精度加权值求和第一精度参数、第二精度参数得到精度测试结果为0.67，预设精度阈值为0.6作为基准数值60分，则精度性能信息为67分，本发明实施例对于基准数值的设定不做具体限定。

对于本发明实施例，为了进一步地限定及说明，提高性能信息的确定精度，提供另一种统计性能信息的方法，所述根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息包括：基于预设测试特征加权值中各加权数值，加权求和所述第一速度参数、所述第一精度参数、所述第二速度参数、第二精度参数的测试结果；比较所述测试结果与预设测试阈值，根据比较结果统计输出所述测试目标的性能信息。

具体的，所述预设测试特征加权值为包含有速度特征加权值、精度特征加权值，各全部加权值之和为1，利用与预先设定的测试特征加权值以加权求和方式统计第一速度参数、精度参数、第二速度参数的测试结果，然后与作为基准数值的预设测试阈值进行比较，将比较的到的差值，作为与基准数值的加或减的范围确定性能信息，例如，加权求和所得到的测试结果为79，预设测试阈值为100，则性能信息可以为未达到标准性能，或者性能信息不合格，又或者为性能信息为790(基准性能为1000)等，本发明实施例不做具体限定。

206、输出服务端根据所述性能信息进行全网性能排序处理得到的所述性能信息的排序结果。

对于本发明实施例，为了使性能信息可视化，满足对用户的展示需求，以便用户进行查看，输出服务端根据性能信息进行全网性能排序处理得到的排序结果，从而满足用户对测试目标的性能信息确定的需求，提高对测试目标的使用效率。具体的，当前客户端确定出性能信息后，将性能信息发送到服务端进行全网性能排序处理，服务端确定排序结果后反馈至当前客户端，进行输出。

本发明实施例提供了另一种性能信息的确定方法，与现有技术相比，本发明实施例通过客户端从服务端中加载与待测试的测试目标匹配的测试数据；基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于统一且准确的性能信息，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

本发明实施例提供了又一种性能信息的确定方法，如图4所示，该方法包括：

301、发送与待测试的测试目标匹配的测试数据。

本发明实施例中，作为当前执行端的服务端预先存储有匹配不同测试目标的测试数据，以便客户端子请求对测试目标进行性能信息确定时，从当前服务端中加载测试数据。其中，所述测试目标为作为客户端待测试的设备芯片，所述测试数据为对设备芯片进行图片分类测试、图片目标检测测试的多个图片数据，本发明实施例中，不同设备芯片匹配不同的测试数据，不同的设备芯片可以通过唯一对应的设备型号表征身份本发明实施例不做具体限定。

需要说明的是，当客户端启动对设备芯片进行测试时，会向当前服务端发送测试数据加载请求，当前服务端根据携带的测试目标的身份标识匹配测试数据进行下发。

302、获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息。

对于本发明实施例，为了有效、可视化、多方位地确定测试的设备芯片的性能信息，当前服务端获取到客户端对设备芯片进行图片分类测试、图片目标检测测试所确定性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。其中，所述性能信息用于表征设备芯片对图片进行分类、目标检测的测试结果，可以为优良等信息、也可以为具体的分数等信息，本发明实施例不做具体限定。

需要说明的是，当前服务端中存储有不同客户端发送来的不同设备芯片的性能信息，以用作进行全网性能排序处理的基础，从而得到各请求全网性能排序的结果，本发明实施例不做具体限定。

本发明实施例提供了又一种性能信息的确定方法，与现有技术相比，本发明实施例通过服务端向客户端发送与待测试的测试目标匹配的测试数据；获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于存储的性能信息便于各AI芯片的全网排序，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

本发明实施例提供了再一种性能信息的确定方法，如图5所示，该方法包括：

401、接收测试数据加载请求。

对于本发明实施例，用户为了启动客户端中用于确定测试目标的性能信息的应用程序所触发的请求，例如用户触发APP中的开始测试按钮，则客户端接收到对设备芯片的测试请求，则进行对测试目标的身份标识信息的识别，然后，客户端向当前服务端发送测试数据加载请求。具体的，所述测试数据加载请求中携带有所述测试目标的身份标识信息，所述身份标识信息为用于表征测试目标身份的唯一对应的标识信息，可以为作为测试目标的设备芯片的芯片型号、芯片编码、芯片身份号等信息，本发明实施例不做具体限定。

402、从预设测试数据库中提取与所述身份标识信息匹配的测试数据，并进行响应。

对于本发明实施例，为了提高性能信息的准确性，对不同的测试目标匹配不同的测试数据，所述预设测试数据库中存储有与所述身份标识信息匹配的不同类型、不同数量的测试数据。另外，当前服务端中存储有不同身份标识信息匹配的测试数据，以数据包形式存储于预设存储位置中，以便进行匹配。客户端根据身份标识信息向当前服务端发送测试数据加载请求，当前服务端根据接收到的身份标识信息匹配测试数据，响应于测试数据加载请求发送匹配的测试数据，客户端进行加载，从而提高利用测试数据对测试目标进行测试的准确性。

403、发送与待测试的测试目标匹配的测试数据。

404、获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息。

405、提取第三方的性能信息，并通过比较方式进行全网性能排序处理，输出排序结果。

对于本发明实施例，为了实现对性能信息的多方位、灵活的可视化效果，提高性能信息的展示效率，提取第三方的性能信息，并通过比较方式进行全网性能排序处理，得到排序结果。具体的，第三方为其他进行设备芯片测试得到性能信息的客户端，本发明实施例中，第三方确定性能信息后，均将性能信息发送至客户端中进行存储。提取第三方的性能信息后，通过比较方式进行全网性能排序，即为对全部的性能信息进行排队，然后向客户端反馈排序结果，本发明实施例不做具体限定。例如，全网排序处理后，客户端的性能信息2124分排序为全网41位，则进行反馈。

本发明实施例中，提供一个具体的实施场景，包括：如图3所示的测试流程，客户端启动AIMARK，开始识别待测试手机芯片型号，根据手机芯片型号请求服务端加载测试数据100张图片，首先按照ResNet34模型对100张图片进行图片分类测试，若未完成全部100张图片的图片分类测试，则继续进行图片分类测试，若完成，则执行InceptionNv3模型对100张图片的图片分类测试，若未完成全部100张图片的图片分类测试，则继续进行，若完成，则执行MobileNetSSD模型对100张照片进行图片目标存在区域、标记名字的检测，若未完成全部100张图片的图片目标测试，则继续进行，若完成，则执行DeepLabV3+模型对100张照片进行图片目标的主体轮廓标记的检测，若未完成，则继续进行，若完成，则根据上述4个模型中进行得到的成绩，对手机芯片的AI性能信息确定分值，如图6所示，并上传至服务端，得到手机芯片的全网排名进行输出。其中，还对于各模型进行测试的速度、精度与预设测试精度阈值、预设测试速度阈值进行比较单独确定分值，如图7-10所示，以便用户进行查看。

本发明实施例提供了再一种性能信息的确定方法，与现有技术相比，本发明实施例通过服务端向客户端发送与待测试的测试目标匹配的测试数据；获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于存储的性能信息便于各AI芯片的全网排序，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种性能信息的确定装置，如图11所示，该装置包括：

加载模块51，用于加载与待测试的测试目标匹配的测试数据；

启动模块52，用于基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

确定模块53，用于基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

进一步地，如图12所示，所述装置还包括：

匹配模块54，用于基于所述测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型，所述测试模型包括至少一个图片分类测试模型、以及至少一个图片目标检测测试模型。

进一步地，所述匹配模块54包括：

筛选单元5401，用于从测试模型库中按照所述身份标识信息、所述测试需求信息、所述测试数据中至少一个筛选匹配的图片分类测试模型、图片目标检测测试模型，所述测试模型库中存储有预先加载的、与不同身份标识信息、不同测试需求、不同测试数据分别对应的多个图片分类测试模型、以及多个图片目标检测测试模型；

确定单元5402，用于基于测试模型与测试模型个数、测试模型顺序的对应关系，确定筛选出的图片分类测试模型、图片目标检测测试模型分别进行所述图片分类测试、所述图片目标检测测试的测试模型个数、以及测试模型顺序；

所述启动模块52，用于依据确定测试模型个数、测试模型顺序的图片分类测试模型、图片目标检测测试模型，对所述测试目标执行所述测试数据的图片分类测试、图片目标检测测试。

进一步地，所述测试特征参数至少包括速度参数、精度参数，所述确定模块53包括：

获取单元5301，用于获取基于所述图片分类测试模型完成所述图片分类测试的第一速度参数、第一精度参数，以及基于所述图片目标检测测试模型完成所述图片目标检测测试的第二速度参数、第二精度参数；

输出单元5302，用于根据预设测试特征加权值统计所述第一速度参数、第一精度参数、第二速度参数、第二精度参数，输出得到所述测试目标的性能信息，所述预设测试特征加权值用于表征不同测试模型的测试特征参数所限定的求和比例。

进一步地，所述预设测试特征加权值至少包括预设测试速度加权值、预设测试精度加权值，所述输出单元5302包括：

统计子单元530201，用于基于预设测试速度加权值以求和方式统计所述第一速度参数、所述第二速度参数的第一测试结果，并基于所述预设测试精度加权值以求和方式统计所述第一精度参数、所述第二精度参数的第二测试结果；

第一输出子单元530202，用于比较所述第一测试结果与预设测试速度阈值，以及比较所述第二测试结果与预设测试精度阈值，并根据分别得到的比较结果统计输出所述测试目标的性能信息。

进一步地，所述输出单元5302还包括：

计算子单元530203，用于基于预设测试特征加权值中各加权数值，加权求和所述第一速度参数、所述第一精度参数、所述第二速度参数、第二精度参数的测试结果；

第二输出子单元530304，用于比较所述测试结果与预设测试阈值，根据比较结果统计输出所述测试目标的性能信息。

进一步地，所述加载模块51包括：

识别单元5101，用于若接收到对待测试目标的测试请求，则识别所述测试目标的身份标识信息；

发送单元5102，用于发送测试数据加载请求，所述测试数据加载请求中携带有所述身份标识信息，以使服务端基于所述身份标识信息匹配测试数据；

加载单元5103，用于接收所述测试数据加载请求响应，加载所述测试数据。

进一步地，所述装置还包括：

输出模块55，用于输出服务端根据所述性能信息进行全网性能排序处理得到的所述性能信息的排序结果。

本发明实施例提供了一种性能信息的确定装置，与现有技术相比，本发明实施例通过客户端从服务端中加载与待测试的测试目标匹配的测试数据；基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于统一且准确的性能信息，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种性能信息的确定装置，如图13所示，该装置包括：

发送模块61，用于发送与待测试的测试目标匹配的测试数据；

获取模块62，用于获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

进一步地，如图14所示，所述装置还包括：

接收模块63，用于接收测试数据加载请求，所述测试数据加载请求中携带有所述测试目标的身份标识信息；

响应模块64，用于从预设测试数据库中提取与所述身份标识信息匹配的测试数据，并进行响应，所述预设测试数据库中存储有与所述身份标识信息匹配的不同类型、不同数量的测试数据。

进一步地，所述装置还包括：

提取模块65，用于提取第三方的性能信息，并通过比较方式进行全网性能排序处理，输出排序结果。

本发明实施例提供了另一种性能信息的确定装置，与现有技术相比，本发明实施例通过服务端向客户端发送与待测试的测试目标匹配的测试数据；获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，实现对设备的AI芯片性能的可视化、具体化、统一化的展现效果，提高对AI芯片性能信息确定的准确性，并基于存储的性能信息便于各AI芯片的全网排序，有效的促进对AI芯片的使用效率，从而满足多样化的、高精度的图片拍摄需求。

根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的性能信息的确定方法。

图15示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。

如图15所示，该终端可以包括：处理器(processor)902、通信接口(Communications Interface)904、存储器(memory)906、以及通信总线908。

其中：处理器902、通信接口904、以及存储器906通过通信总线908完成相互间的通信。

通信接口904，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器902，用于执行程序910，具体可以执行上述性能信息的确定方法实施例中的相关步骤。

具体地，程序910可以包括程序代码，该程序代码包括计算机操作指令。

处理器902可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器906，用于存放程序910。存储器906可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序910具体可以用于使得处理器502执行以下操作：

加载与待测试的测试目标匹配的测试数据；

基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的性能信息的确定方法。

图16示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。

如图16所示，该终端可以包括：处理器(processor)1002、通信接口(Communications Interface)1004、存储器(memory)1006、以及通信总线1008。

其中：处理器1002、通信接口1004、以及存储器1006通过通信总线1008完成相互间的通信。

通信接口1004，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器1002，用于执行程序1010，具体可以执行上述性能信息的确定方法实施例中的相关步骤。

具体地，程序1010可以包括程序代码，该程序代码包括计算机操作指令。

处理器1002可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1006，用于存放程序1010。存储器1006可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1010具体可以用于使得处理器1002执行以下操作：

发送与待测试的测试目标匹配的测试数据；

获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种性能信息的确定方法，其特征在于，包括：

加载与待测试的测试目标匹配的测试数据；

基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

2.根据权利要求1所述的方法，其特征在于，所述基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试之前，所述方法还包括：

基于所述测试目标的身份标识信息、测试需求信息、测试数据中至少一个匹配测试模型，所述测试模型包括至少一个图片分类测试模型、以及至少一个图片目标检测测试模型。

3.一种性能信息的确定方法，其特征在于，包括：

发送与待测试的测试目标匹配的测试数据；

获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

4.根据权利要求3所述的方法，其特征在于，所述发送与待测试目标匹配的测试数据之前，所述方法还包括：

接收测试数据加载请求，所述测试数据加载请求中携带有所述测试目标的身份标识信息；

从预设测试数据库中提取与所述身份标识信息匹配的测试数据，并进行响应，所述预设测试数据库中存储有与所述身份标识信息匹配的不同类型、不同数量的测试数据。

5.一种性能信息的确定装置，其特征在于，包括：

加载模块，用于加载与待测试的测试目标匹配的测试数据；

启动模块，用于基于与所述测试目标匹配的测试模型，启动对所述测试目标执行所述测试数据的图片分类测试、以及图片目标检测测试；

确定模块，用于基于所述图片分类测试、以及所述图片目标检测测试所得到的测试特征参数，确定并输出所述测试目标的性能信息。

6.一种性能信息的确定装置，其特征在于，包括：

发送模块，用于发送与待测试的测试目标匹配的测试数据；

获取模块，用于获取并存储所述测试目标基于匹配的测试模型进行图片分类测试、图片目标检测测试所确定的性能信息，以基于所述性能信息对所述测试目标进行全网性能排序处理。

7.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-2中任一项所述的性能信息的确定方法对应的操作。

8.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-2中任一项所述的性能信息的确定方法对应的操作。

9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求3-4中任一项所述的性能信息的确定方法对应的操作。

10.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求3-4中任一项所述的性能信息的确定方法对应的操作。

Images