CN111126487A - 设备性能测试方法、装置及电子设备 - Google Patents
设备性能测试方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111126487A CN111126487A CN201911347282.1A CN201911347282A CN111126487A CN 111126487 A CN111126487 A CN 111126487A CN 201911347282 A CN201911347282 A CN 201911347282A CN 111126487 A CN111126487 A CN 111126487A
- Authority
- CN
- China
- Prior art keywords
- picture
- equipment
- determining
- classification model
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本申请提出一种设备性能测试方法、装置及电子设备，属于计算机应用技术领域。其中，该方法包括：在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片；利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过这种设备性能测试方法，实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
Description
技术领域
本申请涉及计算机应用技术领域，尤其涉及一种设备性能测试方法、装置及电子设备。
背景技术
人工智能(Artificial Intelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用的一门新的技术科学。AI的应用很广泛，机器翻译、智能控制、专家系统、机器人学、语言和图像理解、遗传编程机器人工厂、自动程序设计、航天应用、庞大的信息处理、储存与管理、执行化合生命体无法执行的或复杂或规模庞大的任务等等。
相关技术中，AI技术在电子设备中的应用快速发展，市面上的电子设备的AI性能正在快速提升。但是，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能。
发明内容
本申请提出的设备性能测试方法、装置及电子设备，用于解决相关技术中，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题。
本申请一方面实施例提出的设备性能测试方法，包括：在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，所述图片集中包括多张已标注类别标签的图片；利用所述目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能。
可选地，在第一方面实施例一种可能的实现形式中，所述在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，包括：
在获取到设备性能测试请求时，确定当前所在设备的类型；
根据所述设备的类型，确定与所述设备的类型对应的目标分类模型及待处理的图片集。
可选地，在第一方面实施例另一种可能的实现形式中，所述确定当前所在设备的类型之后，还包括：
根据所述设备的类型，确定运行所述目标分类模型所需的设备资源；
初始化所述设备资源接口；
所述利用所述目标分类模型，对每张图片进行分类处理，包括：
通过所述设备资源接口，调用设备资源运行所述目标分类模型，对每张图片进行分类处理。
可选地，在第一方面实施例再一种可能的实现形式中，所述设备包含显示屏；
所述方法，还包括：
在所述设备显示屏中，显示所述目标分类模型当前处理的图片及对应的预测类别标签。
可选地，在第一方面实施例又一种可能的实现形式中，所述显示所述目标分类模型当前处理的图片及对应的预测类别标签，包括：
在所述设备显示屏的第一预设区域显示所述目标分类模型当前处理的图片，在所述设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定所述当前处理的图片对应的预测类别标签后，将所述当前处理的图片以预设的姿态存入与所述预测类别标签对应的文件夹内。
可选地，在第一方面实施例又一种可能的实现形式中，所述确定所述设备的性能之后，还包括：
在所述显示屏中，显示所述设备的性能。
可选地，在第一方面实施例另一种可能的实现形式中，所述根据所述设备的类型，确定目标分类模型及待处理的图片集之前，还包括：
基于预设的开源软件及预设开源数据集，训练初始分类模型；
利用各设备商的模型转换工具，将所述初始分类模型，分别转换为与各类型设备对应的各目标分类模型。
可选地，在第一方面实施例再一种可能的实现形式中，所述确定所述设备的性能之前，还包括：
确定所述目标分类模型对每张图片进行分类处理时，每张图片对应的处理时间；
所述根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能，包括：
根据每张图片的处理时间，及每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能；
所述确定所述设备的性能，包括：
根据所述图片集中，每张图片的处理时间，确定所述设备画面每秒传输的帧数；
根据所述图片集中，预测类别标签与已标注类别标签的匹配度大于阈值的图片占图片集总图片数量的比例，确定所述设备的可靠性。
本申请另一方面实施例提出的设备性能测试装置，包括：第一确定模块，用于在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，所述图片集中包括多张已标注类别标签的图片；分类模块，用于利用所述目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；第三确定模块，用于根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能。
可选地，在第二方面实施例一种可能的实现形式中，所述第一确定模块，具体用于：
在获取到设备性能测试请求时，确定当前所在设备的类型；
根据所述设备的类型，确定与所述设备的类型对应的目标分类模型及待处理的图片集。
可选地，在第二方面实施例另一种可能的实现形式中，所述装置，还包括：
第三确定模块，用于根据所述设备的类型，确定运行所述目标分类模型所需的设备资源；
初始化模块，用于初始化所述设备资源接口；
所述分类模块，具体用于：
通过所述设备资源接口，调用设备资源运行所述目标分类模型，对每张图片进行分类处理。
可选地，在第二方面实施例再一种可能的实现形式中，所述设备包含显示屏；所述装置，还包括：
第一显示模块，用于在所述设备显示屏中，显示所述目标分类模型当前处理的图片及对应的预测类别标签。
可选地，在第二方面实施例又一种可能的实现形式中，所述第一显示模块，具体用于：
在所述设备显示屏的第一预设区域显示所述目标分类模型当前处理的图片，在所述设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定所述当前处理的图片对应的预测类别标签后，将所述当前处理的图片以预设的姿态存入与所述预测类别标签对应的文件夹内。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
第二显示模块，用于在所述显示屏中，显示所述设备的性能。
可选地，在第二方面实施例另一种可能的实现形式中，所述装置，还包括：
训练模块，用于基于预设的开源软件及预设开源数据集，训练初始分类模型；
转换模块，用于利用各设备商的模型转换工具，将所述初始分类模型，分别转换为与各类型设备对应的各目标分类模型。
可选地，在第二方面实施例再一种可能的实现形式中，所述装置，还包括：
第四确定模块，用于确定所述目标分类模型对每张图片进行分类处理时，每张图片对应的处理时间；
所述第二确定模块，具体用于：
根据每张图片的处理时间，及每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能；
所述第二确定模块，具体用于：
根据所述图片集中，每张图片的处理时间，确定所述设备画面每秒传输的帧数；
根据所述图片集中，预测类别标签与已标注类别标签的匹配度大于阈值的图片占图片集总图片数量的比例，确定所述设备的可靠性。
本申请再一方面实施例提出的电子设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的设备性能测试方法。
本申请又一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的设备性能测试方法。
本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。
本申请实施例提供的设备性能测试方法、装置、电子设备、计算机可读存储介质及计算机程序，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种设备性能测试方法的流程示意图；
图2为本申请实施例所提供的另一种设备性能测试方法的流程示意图；
图3为本申请实施例所提供的再一种设备性能测试方法的流程示意图；
图4为一种在设备显示屏中显示当前处理的图片及不同类别标签对应的文件夹的示意图；
图5为一种在设备显示屏中显示设备的性能的示意图；
图6为另一种在设备显示屏中显示设备的性能的示意图；
图7为本申请实施例提供的一种设备性能测试装置的结构示意图；
图8为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中，不同厂商生产的电子设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题，提出一种设备性能测试方法。
本申请实施例提供的设备性能测试方法，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
下面参考附图对本申请提供的设备性能测试方法、装置、电子设备、存储介质及计算机程序进行详细描述。
下面结合图1，对本申请实施例提供的设备性能测试方法进行详细描述。
图1为本申请实施例所提供的一种设备性能测试方法的流程示意图。
如图1所示，该设备性能测试方法，包括以下步骤：
步骤101，在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片。
需要说明的是，本申请实施例的设备性能测试方法可以由本申请实施例的设备性能测试装置执行。本申请实施例的设备性能测试装置，可以配置在任意电子设备中，如手机、平板电脑、个人数字助理、穿戴式设备等，本申请实施例对此不做限定。实际使用时，本申请实施例的设备性能测试方法，可以应用于任意对设备的性能进行测试的场景，以下以应用于测试设备的AI性能为例，进行详细说明。
其中，设备性能测试请求，可以是用户通过设备的输入装置(如鼠标、键盘、触摸屏等)主动输入的，也可以是设备在首次开机或每次开机后自动生成的。比如，可以在在设备的“设置”菜单中提供“设备性能测试”的选项，从而设备可以在检测到该选项被点击时，生成设备性能测试请求；或者，还可以在设备的开机程序中设置触发设备性能测试的代码，从而可以在设备首次开关或每次开机时主动触发设备性能测试，进而生成设备性能测试请求。
其中，目标分类模型，是指预先训练的、可以对图片的内容进行识别以对图片进行分类的模型。
其中，待处理的图片集，可以是设备中本身具有的图库(如相册等)，也可以是为了测试设备性能预置的测试图片集，本申请实施例对此不做限定。
需要说明的是，待处理的图片集中包括多张已标注类别标签的图片，以在对设备的性能进行测试时，根据图片的已标注类别标签判断目标分类模型对图片进行分类的准确性。作为一种可能的实现方式，待处理图片集中各图片对应的已标注类别标签可以通过人工的方式进行确定。
在本申请实施例中，获取到设备性能测试请求时，即可确定与当前所在设备中的目标分类模型及用于性能测试的待处理图片集。
进一步的，由于不同类型的设备，运行环境、软硬件配置等都可能具有一定差异，因此，对于不同类型的设备可以采用不同的分类模型，以使分类模型可以在对应的设备中运行。即在本申请实施例一种可能的实现形式中，上述步骤101，可以包括：
在获取到设备性能测试请求时，确定当前所在设备的类型；
根据设备的类型，确定与设备的类型对应的目标分类模型及待处理的图片集。
其中，设备的类型，可以是设备的生产厂商、设备的型号等信息。实际使用时，可以根据实际需要预设设备的类型对应的设备信息。比如，可以将设备的类型预设为设备的型号。
在本申请实施例中，当前所在设备的处理器获取到设备性能测试请求时，可以从当前所在设备的存储器中获取设备的类型，并根据当前所在设备的类型，确定与当前所在设备对应的目标分类模型及图片集。其中，设备的类型可以是在设备出厂时预置在存储器中的。
进一步的，可以首先利用开源软件和开源数据集训练出通用的初始分类模型，在利用各类型的设备对应的模型转换工具对初始分类模型进行转换，以获取各类型的设备对应的目标分类模型。即在本申请实施例一种可能的实现形式中，上述步骤101之前，还可以包括：
基于预设的开源软件及预设开源数据集，训练初始分类模型；
利用各设备商的模型转换工具，将初始分类模型，分别转换为与各类型设备对应的各目标分类模型。
作为一种可能的实现方式，可以根据实际的设备性能测试需求，从网络上获取相应的开源软件和开源数据集作为预设开源软件和开源数据集，进而利用预设开源软件和预设开源数据集，训练初始分类模型。进而利用各设备商提供的模型转换工具，对获得的初始分类模型进行转换，以获取各类型设备对应的各目标分类模型，以使各目标分类模型与对应类型的设备的运行环境、软硬件配置等适配。
举例来说，当前的应用场景为对设备的AI性能进行测试，则可以将谷歌的人工智能库Tensorflow作为预设的开源软件，将数据集ImageNet作为预设开源数据集，对神经网络模型InceptionV3进行训练，以获得初始分类模型。在训练出初始分类模型之后，可以根据各个设备商提供的AI软件开发工具包(Software Development Kit，简称SDK)的模型转换工具，对初始分类模型进行转换，以获得各类型的设备对应的目标分类模型。
步骤102，利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签。
其中，预测类别标签，是指目标分类模型对图像内容进行识别，并根据识别结果确定的图片对应的类别标签。
在本申请实施例中，确定出当前所在的设备对应的目标分类模型之后，即可以利用目标分类模型对待处理图片集中的每张图片进行分类处理，以确定每张图片对应的预测类别标签。
步骤103，根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。
其中，图片对应的预测类别标签与已标注类别标签的匹配度，可以反映出当前所在设备对应的目标分类模型对图片类别进行识别的准确度，从而可以作为衡量当前所在设备的性能的指标。
具体的，图片对应的预测类别标签与已标注类别标签的匹配度越高，则可以确定目标分类模型对该图片进行类别识别的准确度越高；反之，则可以确定目标分类模型对该图进行类别识别的准确度越低。
作为一种可能的实现方式，可以将图片对应的预测类别标签与已标注类别标签之间的余弦相似度，确定为图片对应的预测类别标签与已标注类别标签的匹配度，但不仅限于此。实际使用时，可以根据实际需要选择确定匹配度的方式，本申请实施例对此不做限定。
举例来说，图片A对应的已标注类别标签为“动植物”，对应的预测类别标签为“动植物”，则可以确定图片A对应的预测类别标签与已标注类别标签之间的余弦相似度为1，从而可以确定图片A对应的预测类别标签与已标注类别标签的匹配度为1。
可选的，可以在将待处理图片集中的每张图片处理完成之后，确定待处理图片集中每张图片预测类别标签与已标注类别标签的匹配度的平均值(即待处理图片集的平均匹配度)，进而将平均匹配度确定为设备的性能。
可选的，在本申请实施例中，还可以将设备每秒钟处理图片的数量和分类精确度大于阈值的图片占图片总数的比例，作为衡量设备性能的指标。即在本申请实施例一种可能的实现形式中，上述步骤103之前，还可以包括：
确定目标分类模型对每张图片进行分类处理时，每张图片对应的处理时间；
相应的，上述步骤104，可以包括：
根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能，包括：
根据每张图片的处理时间，及每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能；
相应的，上述步骤104，可以包括：
根据图片集中，每张图片的处理时间，确定设备画面每秒传输的帧数；
根据图片集中，预测类别标签与已标注类别标签的匹配度大于阈值的图片占图片集总图片数量的比例，确定设备的可靠性。
可选的，可以在将待处理图片集中的每张图片处理完成之后，确定待处理图片集中每张图片预测类别标签与已标注类别标签的匹配度的平均值(即待处理图片集的平均匹配度)，进而将平均处理时间和平均匹配度确定为设备的性能。
在本申请实施例中，由于每张图片的处理时间可以反映出设备对图片进行分类的处理速度，而预测类别标签与已标注类别标签的匹配度可以反映设备对图片进行分类的可靠性，从而可以在利用目标分类模型对待处理图片集中的每张图片进行分类处理，记录目标分类模型对每张图片的处理时间，以用于衡量设备对图片进行分类的处理速度。
其中，处理时间，是指目标分类模型开始处理一张图片至确定出该图片对应的预测类别标签所需的时间。也就是说，处理时间可以反映出当前所在的设备的处理速度。
其中，画面每秒传输帧数(Frame Per Second，简称FPS)，是指动画或视频的画面数。在本申请实施例中，可以用于表示当前所在设备对应的目标分类模型每秒处理的图片数量，可以通过公式(1)计算：
其中，n为待处理图片集总图片数量，Ti为待处理图片集中第i张图片的处理时间，i为待处理图片集中图片的序号。
通过公式(1)可以看出，本申请实施例中的FPS为待处理图片集中每张图片的处理时间的倒数的平均值。
在本申请实施例中，可以预设预测类别标签与已标注类别标签的匹配度阈值，并在确定出待处理图片集中每张图片的预设预测类别标签与已标注类别标签的匹配度之后，确定待处理图片集中预设预测类别标签与已标注类别标签的匹配度大于匹配度阈值的图片数量，进而确定出预设预测类别标签与已标注类别标签的匹配度大于匹配度阈值的图片数量占图片集总图片数量的比例，并利用该比例衡量设备的可靠性。比如，可以将该比例确定为设备的可靠性。
需要说明的是，实际使用时，可以根据实际需要预设匹配度阈值的具体取值，本申请实施例对此不做限定。比如，匹配度阈值可以为0.9。
举例来说，待处理图片集中包括200张图片，匹配度阈值为0.9，预设预测类别标签与已标注类别标签的匹配度大于0.9的图片数量为180张，从而可以确定预设预测类别标签与已标注类别标签的匹配度大于阈值的图片数量占图片集总图片数量的比例为0.9，即可以确定设备的可靠性为0.9。
在本申请实施例中，在确定出当前所在设备的FPS和可靠性之后，即可将这两个指标作为衡量当前所在设备的性能的指标。
本申请实施例提供的设备性能测试方法，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，由于不同类型的设备的运行环境、软硬件配置等都可能不同，从而运行目标分类模型的资源接口也可能是不同的，因此可以根据设备的类型确定并初始化设备资源接口。
下面结合图2，对本申请实施例提供的设备性能测试方法进行进一步说明。
图2为本申请实施例所提供的另一种设备性能测试方法的流程示意图。
如图2所示，该设备性能测试方法，包括以下步骤：
步骤201，在获取到设备性能测试请求时，确定当前所在设备的类型。
上述步骤201的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤202，根据设备的类型，确定运行目标分类模型所需的设备资源。
步骤203，初始化设备资源接口。
在本申请实施例中，由于不同类型的设备运行环境、软硬件配置等都可能具有一定差异，因此，在确定出当前所在设备的类型之后，可以根据设备的类型确定当前所在的设备是否支持目标分类模型，若支持，则进一步确定运行目标分类模型所需的设备资源，并初始化设备资源接口。
举例来说，若当前的应用场景为对设备的AI性能进行测试，则可以首先根据当前所在设备的类型确定当前所在设备对AI功能的支持情况，并在当前所在设备支持AI功能时，确定当前所在设备中的AI处理接口(即运行目标分类模型所需的设备资源接口)，并初始化AI处理接口，以使目标分类模型可以通过AI处理接口获取所需的设备资源。
步骤204，根据设备的类型，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片。
上述步骤204的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤205，通过设备资源接口，调用设备资源运行目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签。
在本申请实施例中，在利用目标分类模型对每张图片进行分类处理时，可以通过确定的设备资源接口调用设备资源，以运行目标分类模型。
上述步骤205中利用目标分类模型对每张图片进行分类处理的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤206，根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。
上述步骤206的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
本申请实施例提供的设备性能测试方法，通过在获取到设备性能测试请求时，确定当前所在设备的类型，并根据设备类型确定运行目标分类模型所需的设备资源以及初始化设备资源接口，之后根据设备的类型，确定目标分类模型及待处理的图片集，进而通过设备资源接口，调用设备资源运行目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，以根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，并根据设备类型确定运行目标分类模型所需的设备资源接口，从而不仅实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且保证了目标分类模型可以在设备中成功运行。
在本申请一种可能的实现形式中，在设备的性能进行测试时，还可以在设备的输出装置中反馈性能测试的过程和结果，以提高设备性能测试的友好性和可交互性。
下面结合图3，对本申请实施例提供的设备性能测试方法进行进一步说明。
图3为本申请实施例所提供的再一种设备性能测试方法的流程示意图。
如图3所示，该设备性能测试方法，包括以下步骤：
步骤301，在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片。
步骤302，利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签。
上述步骤301-302的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤303，在设备显示屏中，显示目标分类模型当前处理的图片及对应的预测类别标签。
在本申请实施例中，若当前所在设备中包括显示屏，则可以在设备的显示屏中显示对当前所在设备进行性能测试的过程及测试结果。因此，可以将目标分类模型当前处理的图片显示在显示屏中，并在确定出当前处理的图片的预测类别标签之后，显示该预测类别标签，从而提高了测试界面的友好性和可交互性。
进一步的，还可以在显示屏中显示多个与不同类别标签分别对应的文件夹，并在确定出每张图片对应的预测类别标签后，将图片存入相应的文件夹中。即在本申请实施例一种可能的实现形式中，上述步骤303，可以包括：
在设备显示屏的第一预设区域显示目标分类模型当前处理的图片，在设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定当前处理的图片对应的预测类别标签后，将当前处理的图片以预设的姿态存入与预测类别标签对应的文件夹内。
其中，第一预设区域，是指设备显示屏中的一部分区域；第二预设区域，是指设备显示屏中与第一预设区域不同的另一部分区域。比如，第一预设区域与第二预设区域在设备显示屏中对应的位置可以为图4中所示的位置。
其中，不同类别标签对应的文件夹，可以是预先设置的，也可以是目标分类模型对待处理图片集中的图片进行分类处理的过程中，根据确定出的预测类别标签自动生成的。
其中，预设的姿态，可以是旋转进入、直线移入、跳跃进入等姿态。实际使用时，可以根据实际需要确定将当前处理的图片存入对应文件夹中的姿态，本申请实施例对此不做限定。
作为一种可能的实现方式，若不同类别标签对应的文件夹是预先设置的，则可以在目标分类模型对待处理图片集进行分类处理开始时，在第一预设区域中显示当前处理的图片，并在第二预设区域中同时显示预先设置的不同类别标签的文件夹，并在确定出当前处理的图片对应的预测类别标签时，确定与预测类别标签对应的文件夹，进而将当前待处理的图片以预设的姿态存入与预测类别标签对应的文件夹中。
举例来说，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他，预设的姿态为“旋转进入”，如图4所示，则可以在第一预设区域中显示当前处理的图片，在第二预设区域中同时显示交通运输、电子机械、食物、动植物、运动风景、其他6个类别分别对应的文件夹。若确定当前处理的图片对应的预测类别标签为“动植物”，则可以将当前处理的图片以“旋转进入”的姿态存入“动植物”文件夹。
可选的，目标分类模型可以预测的预测类别标签可以与预先设置的类别标签相同，也可以与预先设置的类别标签不同。若目标分类模型可以预测的预测类别标签与预先设置的类别标签相同(如目标分类模型可以预测的预测类别标签与预先设置的类别标签均为前述的6个类别)，则可以在确定出当前处理的图片对应的预测类别标签之后，直接将当前处理的图片存入预测类别标签对应的文件夹。
若目标分类模型可以预测的预测类别标签与预先设置的类别标签不同，则预测类别标签的数量可以大于预先设置的类别标签的数量，并且一个预先设置的类别标签对应多个预测类别标签，比如，目标分类模型可以预测的预测类别标签为1000个小类别，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他6个类别，则1000个小类别均在预先设置的6个类别中存在对应的类别。从而，在确定出当前处理的图片对应的预测类别标签之后，可以确定该预测类别标签对应的预先设置的类别标签，进而将当前处理的图片以预设姿态存入该类别标签对应的文件夹中。
举例来说，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他6个类别，预设的姿态为“旋转进入”，若确定当前处理的图片对应的预测类别标签为“动物”，则可以确定该预测类别标签对应的预先设置的类别标签为“动植物”，从而可以将当前处理的图片以“旋转进入”出姿态存入“动植物”文件夹。
作为一种可能的实现方式，不同类别标签的文件夹还可以是在对待处理图片集进行分类的过程中实时生成的。也就是说，在利用目标分类模型对待处理图片集开始进行分类处理时，在设备显示屏的第一预设区域中显示当前处理的图片，第二预设区域显示为空，并在确定出当前处理的图片对应的预测类别标签之后，判断第二预设区域中是否已经包括该预测类别标签对应的文件夹，若存在，则直接将当前处理的图片以预设的姿态存入该预测类别标签对应的文件夹；若不存在，则生成该预测类别标签对应的文件夹，并显示在第二预设区域中，进而将当前处理的图片以预设的姿态存入生成的预测类别标签对应的文件夹中。
举例来说，当前待处理图片为待处理图片集中的第一张图片，且确定该图片对应的预测类别标签为“人物”，则可以确定第二预设区域中不存在任何文件夹，从而可以生成“人物”类别标签对应的文件夹，并将该图片以预设的姿态存入“人物”类别标签对应的文件夹中。
步骤304，根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。
上述步骤304的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤305，在显示屏中，显示设备的性能。
在本申请实施例中，若当前所在设备包括显示屏，在确定出当前所在设备的性能之后，可以在显示屏中显示设备的性能。
举例来说，设备的性能仅包括可靠性一个参数，确定出的设备的可靠性为Y，对设备的性能进行显示的示意图如图5所示；又如，设备的性能包括FPS和可靠性，确定出的设备的FPS为X，可靠性为Y，对设备的性能进行显示的示意图如图6所示。
本申请实施例提供的设备性能测试方法，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，并在设备显示屏中，显示目标分类模型当前处理的图片及对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能并在显示屏中显示。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，并在设备的显示屏中显示性能测试的过程和结果，从而不仅实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且提高了测试界面的友好性和可交互性。
为了实现上述实施例，本申请还提出一种设备性能测试装置。
图7为本申请实施例提供的一种设备性能测试装置的结构示意图。
如图7所示，该设备性能测试装置40，包括：
第一确定模块41，用于在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片；
分类模块42，用于利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；
第二确定模块43，用于根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。
在实际使用时，本申请实施例提供的设备性能测试装置，可以被配置在任意电子设备中，以执行前述设备性能测试方法。
本申请实施例提供的设备性能测试装置，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，上述第一确定模块41，具体用于：
在获取到设备性能测试请求时，确定当前所在设备的类型；
根据设备的类型，确定与设备的类型对应的目标分类模型及待处理的图片集。
在本申请一种可能的实现形式中，上述设备性能测试装置40，还包括：
第三确定模块，用于根据设备的类型，确定运行目标分类模型所需的设备资源；
初始化模块，用于初始化设备资源接口；
相应的，上述分类模块42，具体用于：
通过设备资源接口，调用设备资源运行目标分类模型，对每张图片进行分类处理。
进一步的，在本申请另一种可能的实现形式中，上述设备性能测试装置40，还包括：
第一显示模块，用于在设备显示屏中，显示目标分类模型当前处理的图片及对应的预测类别标签。
进一步的，在本申请再一种可能的实现形式中，上述第一显示模块，具体用于：
在设备显示屏的第一预设区域显示目标分类模型当前处理的图片，在设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定当前处理的图片对应的预测类别标签后，将当前处理的图片以预设的姿态存入与预测类别标签对应的文件夹内。
进一步的，在本申请又一种可能的实现形式中，上述设备性能测试装置40，还包括：
第二显示模块，用于在显示屏中，显示设备的性能。
进一步的，在本申请又一种可能的实现形式中，上述设备性能测试装置40，还包括：
训练模块，用于基于预设的开源软件及预设开源数据集，训练初始分类模型；
转换模块，用于利用各设备商的模型转换工具，将初始分类模型，分别转换为与各类型设备对应的各目标分类模型。
在本申请一种可能的实现形式中，上述设备性能测试装置40，还包括：
第四确定模块，用于确定目标分类模型对每张图片进行分类处理时，每张图片对应的处理时间；
相应的，上述第二确定模块43，具体用于：
根据每张图片的处理时间，及每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能；
相应的，上述第二确定模块43，具体用于：
根据图片集中，每张图片的处理时间，确定设备画面每秒传输的帧数；
根据图片集中，预测类别标签与已标注类别标签的匹配度大于阈值的图片占图片集总图片数量的比例，确定设备的可靠性。
需要说明的是，前述对图1、图2、图3所示的设备性能测试方法实施例的解释说明也适用于该实施例的设备性能测试装置40，此处不再赘述。
本申请实施例提供的设备性能测试装置，通过在获取到设备性能测试请求时，确定当前所在设备的类型，并根据设备的类型，确定目标分类模型及待处理的图片集，之后利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，并在设备显示屏中，显示目标分类模型当前处理的图片及对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能并在显示屏中显示。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，并在设备的显示屏中显示性能测试的过程和结果，从而不仅实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且提高了测试界面的友好性和可交互性。
为了实现上述实施例，本申请还提出一种电子设备。
图8为本发明一个实施例的电子设备的结构示意图。
如图8所示，上述电子设备200包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的设备性能测试方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的设备性能测试方法的解释说明，此处不再赘述。
本申请实施例提供的电子设备，可以执行如前所述的设备性能测试方法，通过在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，其中，图片集中包括多张已标注类别标签的图片，并利用目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签，进而根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定设备的性能。由此，通过利用与设备匹配的目标分类模型对设备中的图片集进行分类处理，以根据目标分类模型对图片进行分类处理的准确度，确定设备的AI性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
为了实现上述实施例，本申请还提出一种计算机可读存储介质。
其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。
为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的设备性能测试方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种设备性能测试方法，其特征在于，包括：
确定目标分类模型及待处理的图片集，其中，所述图片集中包括多张已标注类别标签的图片；
利用所述目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；
根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能。
2.如权利要求1所述的方法，其特征在于，所述在获取到设备性能测试请求时，确定目标分类模型及待处理的图片集，包括：
在获取到设备性能测试请求时，确定当前所在设备的类型；
根据所述设备的类型，确定与所述设备的类型对应的目标分类模型及待处理的图片集。
3.如权利要求2所述的方法，其特征在于，所述确定当前所在设备的类型之后，还包括：
根据所述设备的类型，确定运行所述目标分类模型所需的设备资源；
初始化所述设备资源接口；
所述利用所述目标分类模型，对每张图片进行分类处理，包括：
通过所述设备资源接口，调用设备资源运行所述目标分类模型，对每张图片进行分类处理。
4.如权利要求1所述的方法，其特征在于，所述设备包含显示屏；
所述方法，还包括：
在所述设备显示屏中，显示所述目标分类模型当前处理的图片及对应的预测类别标签。
5.如权利要求4所述的方法，其特征在于，所述显示所述目标分类模型当前处理的图片及对应的预测类别标签，包括：
在所述设备显示屏的第一预设区域显示所述目标分类模型当前处理的图片，在所述设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定所述当前处理的图片对应的预测类别标签后，将所述当前处理的图片以预设的姿态存入与所述预测类别标签对应的文件夹内。
6.如权利要求4所述的方法，其特征在于，所述确定所述设备的性能之后，还包括：
在所述显示屏中，显示所述设备的性能。
7.如权利要求1-6任一所述的方法，其特征在于，所述确定所述设备的性能之前，还包括：
确定所述目标分类模型对每张图片进行分类处理时，每张图片对应的处理时间；
所述根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能，包括：
根据每张图片的处理时间，及每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能；
所述确定所述设备的性能，包括：
根据所述图片集中，每张图片的处理时间，确定所述设备画面每秒传输的帧数；
根据所述图片集中，预测类别标签与已标注类别标签的匹配度大于阈值的图片占图片集总图片数量的比例，确定所述设备的可靠性。
8.一种设备性能测试装置，其特征在于，包括：
第一确定模块，用于确定目标分类模型及待处理的图片集，其中，所述图片集中包括多张已标注类别标签的图片；
分类模块，用于利用所述目标分类模型，对每张图片进行分类处理，确定每张图片对应的预测类别标签；
第二确定模块，用于根据每张图片对应的预测类别标签与已标注类别标签的匹配度，确定所述设备的性能。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的设备性能测试方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的设备性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347282.1A CN111126487A (zh) | 2019-12-24 | 2019-12-24 | 设备性能测试方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347282.1A CN111126487A (zh) | 2019-12-24 | 2019-12-24 | 设备性能测试方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111126487A true CN111126487A (zh) | 2020-05-08 |
Family
ID=70500315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347282.1A Pending CN111126487A (zh) | 2019-12-24 | 2019-12-24 | 设备性能测试方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126487A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306829A (zh) * | 2020-10-12 | 2021-02-02 | 成都安易迅科技有限公司 | 性能信息的确定方法及装置、存储介质、终端 |
| CN112668510A (zh) * | 2020-12-31 | 2021-04-16 | 公安部第三研究所 | 实现针对三维人脸识别设备性能测试的方法、系统、装置、处理器及其存储介质 |
| CN112835802A (zh) * | 2021-02-09 | 2021-05-25 | 深圳市晨北科技有限公司 | 一种设备测试方法、装置、设备及存储介质 |
| CN115859118A (zh) * | 2022-12-23 | 2023-03-28 | 摩尔线程智能科技(北京)有限责任公司 | 数据的获取方法、装置、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399810A (zh) * | 2013-08-01 | 2013-11-20 | 北京安兔兔科技有限公司 | 移动终端的性能测评方法、装置和移动终端 |
| CN104268134A (zh) * | 2014-09-28 | 2015-01-07 | 苏州大学 | 一种主客观分类器构建方法和系统 |
| CN106650782A (zh) * | 2015-11-04 | 2017-05-10 | 豪威科技股份有限公司 | 用于评价图像信号处理器中实施的分类器的系统和方法 |
| US20180174000A1 (en) * | 2015-06-04 | 2018-06-21 | Hitachi High-Technologies Corporation | Defect image classification device and defect image classification method |
| CN108985379A (zh) * | 2018-07-25 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 分类器的性能评估方法、装置和计算机可读存储介质 |
| CN109643399A (zh) * | 2016-08-09 | 2019-04-16 | 微软技术许可有限责任公司 | 多类别分类器的交互式性能可视化 |
| WO2019102042A1 (en) * | 2017-11-27 | 2019-05-31 | Deciphex | Automated screening of histopathology tissue samples via classifier performance metrics |
| CN110363243A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分类模型的评估方法和装置 |
| CN110458213A (zh) * | 2019-07-29 | 2019-11-15 | 四川大学 | 一种分类模型鲁棒性能评估方法 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
-
2019
- 2019-12-24 CN CN201911347282.1A patent/CN111126487A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103399810A (zh) * | 2013-08-01 | 2013-11-20 | 北京安兔兔科技有限公司 | 移动终端的性能测评方法、装置和移动终端 |
| CN104268134A (zh) * | 2014-09-28 | 2015-01-07 | 苏州大学 | 一种主客观分类器构建方法和系统 |
| US20180174000A1 (en) * | 2015-06-04 | 2018-06-21 | Hitachi High-Technologies Corporation | Defect image classification device and defect image classification method |
| CN106650782A (zh) * | 2015-11-04 | 2017-05-10 | 豪威科技股份有限公司 | 用于评价图像信号处理器中实施的分类器的系统和方法 |
| CN109643399A (zh) * | 2016-08-09 | 2019-04-16 | 微软技术许可有限责任公司 | 多类别分类器的交互式性能可视化 |
| WO2019102042A1 (en) * | 2017-11-27 | 2019-05-31 | Deciphex | Automated screening of histopathology tissue samples via classifier performance metrics |
| CN108985379A (zh) * | 2018-07-25 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 分类器的性能评估方法、装置和计算机可读存储介质 |
| CN110363243A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分类模型的评估方法和装置 |
| CN110458213A (zh) * | 2019-07-29 | 2019-11-15 | 四川大学 | 一种分类模型鲁棒性能评估方法 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| MARINA SOKOLOVA 等: "A systematic analysis of performance measures for classification tasks" * |
| 周佳;赵冬玲;何宇华;陈靓;: "基于中巴卫星影像的土地利用分类精度评价" * |
| 徐威;董渊;白若鹞;张素琴;: "针对中文文本自动分类算法的评估体系" * |
| 王成, 刘亚峰, 王新成,等: "分类器的分类性能评价指标" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306829A (zh) * | 2020-10-12 | 2021-02-02 | 成都安易迅科技有限公司 | 性能信息的确定方法及装置、存储介质、终端 |
| CN112306829B (zh) * | 2020-10-12 | 2023-05-09 | 成都安易迅科技有限公司 | 性能信息的确定方法及装置、存储介质、终端 |
| CN112668510A (zh) * | 2020-12-31 | 2021-04-16 | 公安部第三研究所 | 实现针对三维人脸识别设备性能测试的方法、系统、装置、处理器及其存储介质 |
| CN112835802A (zh) * | 2021-02-09 | 2021-05-25 | 深圳市晨北科技有限公司 | 一种设备测试方法、装置、设备及存储介质 |
| CN115859118A (zh) * | 2022-12-23 | 2023-03-28 | 摩尔线程智能科技(北京)有限责任公司 | 数据的获取方法、装置、电子设备及存储介质 |
| CN115859118B (zh) * | 2022-12-23 | 2023-08-11 | 摩尔线程智能科技(北京)有限责任公司 | 数据的获取方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126487A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN107832662B (zh) | 一种获取图片标注数据的方法和系统 | |
| US20110131551A1 (en) | Graphical user interface input element identification | |
| US20190354388A1 (en) | Tenant-side detection, classification, and mitigation of noisy-neighbor-induced performance degradation | |
| US11640551B2 (en) | Method and apparatus for recommending sample data | |
| US9582264B1 (en) | Application rating prediction for defect resolution to optimize functionality of a computing device | |
| CN111124920A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN113159091B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN115658523A (zh) | 一种人机交互界面的自动控制及测试方法和计算机设备 | |
| CN112052840A (zh) | 图片筛选方法、系统、设备及存储介质 | |
| CN114299366A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN112306447A (zh) | 一种界面导航方法、装置、终端和存储介质 | |
| US11822896B2 (en) | Contextual diagram-text alignment through machine learning | |
| CN113342488A (zh) | 任务处理方法及装置、电子设备和存储介质 | |
| Arcaini et al. | ROBY: a tool for robustness analysis of neural network classifiers | |
| CN114598610B (zh) | 网络业务规则识别 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN113127050B (zh) | 一种应用资源打包过程监控方法、装置、设备和介质 | |
| US11789774B2 (en) | Optimization of workload scheduling in a distributed shared resource environment | |
| US20220230233A1 (en) | Virtual Environment Arrangement and Configuration | |
| CN114860535A (zh) | 数据评估模型生成方法及装置、异常数据监控方法及装置 | |
| CN109460511B (zh) | 一种获取用户画像的方法、装置、电子设备及存储介质 | |
| CN112580706A (zh) | 应用于数据管理平台的训练数据处理方法、装置和电子设备 | |
| CN112036516A (zh) | 一种图像处理方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |