CN111124863A - 智能设备性能测试方法、装置及智能设备 - Google Patents
智能设备性能测试方法、装置及智能设备 Download PDFInfo
- Publication number
- CN111124863A CN111124863A CN201911347490.1A CN201911347490A CN111124863A CN 111124863 A CN111124863 A CN 111124863A CN 201911347490 A CN201911347490 A CN 201911347490A CN 111124863 A CN111124863 A CN 111124863A
- Authority
- CN
- China
- Prior art keywords
- picture
- frame
- determining
- performance
- object information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 79
- 238000001514 detection method Methods 0.000 claims abstract description 289
- 238000013145 classification model Methods 0.000 claims abstract description 91
- 238000000034 method Methods 0.000 claims abstract description 79
- 238000012545 processing Methods 0.000 claims description 78
- 238000003860 storage Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 description 51
- 238000011056 performance test Methods 0.000 description 22
- 241001465754 Metazoa Species 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 238000012163 sequencing technique Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 150000005829 chemical entities Chemical class 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本申请提出一种智能设备性能测试方法、装置及智能设备。其中，该方法包括：利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签；利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过这种智能设备性能测试方法，通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
Description
技术领域
本申请涉及计算机应用技术领域，尤其涉及一种智能设备性能测试方法、装置及智能设备。
背景技术
人工智能(Artificial Intelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用的一门新的技术科学。AI的应用很广泛，机器翻译、智能控制、专家系统、机器人学、语言和图像理解、遗传编程机器人工厂、自动程序设计、航天应用、庞大的信息处理、储存与管理、执行化合生命体无法执行的或复杂或规模庞大的任务等等。
相关技术中，AI技术在智能设备中的应用快速发展，市面上的智能设备的AI性能正在快速提升。但是，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能。
发明内容
本申请提出的智能设备性能测试方法、装置及智能设备，用于解决相关技术中，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题。
本申请一方面实施例提出的智能设备性能测试方法，包括：获取图片集，所述图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息；利用预设的分类模型，对所述图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签；利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能。
可选地，在第一方面实施例一种可能的实现形式中，所述根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能，包括：
根据所述每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定所述设备的第一性能参数；
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的第二性能参数；
根据所述第一性能参数与所述第二性能参数，确定所述设备的性能。
可选地，在第一方面实施例另一种可能的实现形式中，所述确定所述设备的第二性能参数，包括：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的第二性能参数。
可选地，在第一方面实施例再一种可能的实现形式中，所述确定所述设备的第二性能参数，包括：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的第二性能参数。
可选地，在第一方面实施例又一种可能的实现形式中，所述方法，还包括：
获取所述预设的分类模型，对所述图片集中全部图片的第一处理时长；
根据所述第一处理时长及所述图片集中包含的图片数量，确定所述设备的第三性能参数。
可选地，在第一方面实施例又一种可能的实现形式中，所述方法，还包括：
获取所述预设的目标检测模型，对所述图片集中全部图片的第二处理时长；
根据所述第二处理时长及所述图片集中包含的图片数量，确定设备画面每秒传输的帧数；
根据所述设备画面每秒传输的帧数，确定所述设备的第四性能参数。
可选地，在第一方面实施例另一种可能的实现形式中，所述确定所述设备的第四性能参数之前，还包括：
根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
所述确定所述设备的第四性能参数，包括：
根据修正后的设备画面每秒传输的帧数，确定所述设备的第四性能参数。
可选地，在第一方面实施例再一种可能的实现形式中，所述利用预设的分类模型对所述图片集中的每帧图片进行分类处理之前，还包括：
加载与所述设备的类型匹配的预设的分类模型。
可选地，在第一方面实施例又一种可能的实现形式中，所述设备包含显示屏；
所述方法，还包括：
在所述设备显示屏的第一预设区域显示所述预设的分类模型当前处理的图片，在所述设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
在确定所述当前处理的图片对应的预测类别标签后，将所述当前处理的图片以预设的姿态存入与所述预测类别标签对应的文件夹内。
可选地，在第一方面实施例又一种可能的实现形式中所述方法，还包括：
在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏中，显示当前被检测图片及图片中的各检测物体信息。
可选地，在第一方面实施例另一种可能的实现形式中，所述物体信息中包括N个维度，N为正整数；
所述确定每帧图片中的有效检测物体，包括：
若第一帧图片中第一检测物体的M个维度的信息，与所述第一帧图片中包括的任一实际物体的M个维度信息的第二匹配度大于第一阈值，且M大于或等于N/2，则确定所述第一检测物体为有效检测物体。
可选地，在第一方面实施例再一种可能的实现形式中，所述确定每帧图片中包括的各检测物体信息之后，还包括：
确定每个检测物体信息的置信度；
按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留每帧图片中置信度大于第二阈值、且位于前K位的各检测物体信息，其中，K为大于1的正整数。
本申请另一方面实施例提出的智能设备性能测试装置，包括：第一获取模块，用于获取图片集，所述图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息；第一确定模块，用于利用预设的分类模型，对所述图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签；第二确定模块，用于利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；第三确定模块，用于根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能。
可选地，在第二方面实施例一种可能的实现形式中，所述第三确定模块，包括：
第一确定单元，用于根据所述每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定所述设备的第一性能参数；
第二确定单元，用于根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的第二性能参数；
第三确定单元，用于根据所述第一性能参数与所述第二性能参数，确定所述设备的性能。
可选地，在第二方面实施例另一种可能的实现形式中，所述第二确定单元，具体用于：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的第二性能参数。
可选地，在第二方面实施例再一种可能的实现形式中，所述第二确定单元，还用于：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的第二性能参数。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
第二获取模块，用于获取所述预设的分类模型，对所述图片集中全部图片的第一处理时长；
第四确定模块，用于根据所述第一处理时长及所述图片集中包含的图片数量，确定所述设备的第三性能参数。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
第三获取模块，用于获取所述预设的目标检测模型，对所述图片集中全部图片的第二处理时长；
第五确定模块，用于根据所述第二处理时长及所述图片集中包含的图片数量，确定设备画面每秒传输的帧数；
第六确定模块，用于根据所述设备画面每秒传输的帧数，确定所述设备的第四性能参数。
可选地，在第二方面实施例另一种可能的实现形式中，所述装置，还包括：
修正模块，用于根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
所述第六确定模块，包括：
第四确定单元，用于根据修正后的设备画面每秒传输的帧数，确定所述设备的第四性能参数。
可选地，在第二方面实施例再一种可能的实现形式中，所述装置，还包括：
加载模块，用于加载与所述设备的类型匹配的预设的分类模型。
可选地，在第二方面实施例又一种可能的实现形式中，所述设备包含显示屏；
所述装置，还包括：
第一显示模块，用于在所述设备显示屏的第一预设区域显示所述预设的分类模型当前处理的图片，在所述设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
存储模块，用于在确定所述当前处理的图片对应的预测类别标签后，将所述当前处理的图片以预设的姿态存入与所述预测类别标签对应的文件夹内。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
第二显示模块，用于在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏中，显示当前被检测图片及图片中的各检测物体信息。
可选地，在第二方面实施例另一种可能的实现形式中，所述物体信息中包括N个维度，N为正整数；
所述第二确定单元，还用于：
若第一帧图片中第一检测物体的M个维度的信息，与所述第一帧图片中包括的任一实际物体的M个维度信息的第二匹配度大于第一阈值，且M大于或等于N/2，则确定所述第一检测物体为有效检测物体。
可选地，在第二方面实施例再一种可能的实现形式中，所述装置，还包括：
第七确定模块，用于确定每个检测物体信息的置信度；
排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前K位的各检测物体信息，其中，K为大于1的正整数。
本申请再一方面实施例提出的智能设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的智能设备性能测试方法。
本申请又一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的智能设备性能测试方法。
本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
本申请实施例提供的智能设备性能测试方法、装置、智能设备、计算机可读存储介质及计算机程序，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的性能，从而通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种智能设备性能测试方法的流程示意图；
图2为本申请实施例所提供的另一种智能设备性能测试方法的流程示意图；
图3为本申请实施例所提供的再一种智能设备性能测试方法的流程示意图；
图4为一种在设备显示屏中显示当前处理的图片及不同类别标签对应的文件夹的示意图；
图5为本申请实施例所提供的又一种智能设备性能测试方法的流程示意图；
图6为本申请实施例所提供的又一种智能设备性能测试方法的流程示意图；
图7为本申请实施例提供的一种智能设备性能测试装置的结构示意图；
图8为本申请实施例提供的智能设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题，提出一种智能设备性能测试方法。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的性能，从而通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
下面参考附图对本申请提供的智能设备性能测试方法、装置、智能设备、存储介质及计算机程序进行详细描述。
下面结合图1，对本申请实施例提供的智能设备性能测试方法进行详细描述。
图1为本申请实施例所提供的一种智能设备性能测试方法的流程示意图。
如图1所示，该智能设备性能测试方法，包括以下步骤：
步骤101，获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
需要说明的是，本申请实施例的智能设备性能测试方法可以由本申请实施例的智能设备性能测试装置执行。本申请实施例的智能设备性能测试装置，可以配置在任意智能设备中，如手机、平板电脑、个人数字助理、穿戴式设备等，本申请实施例对此不做限定。实际使用时，本申请实施例的智能设备性能测试方法，可以应用于任意对智能设备的性能进行测试的场景，以下以应用于测试设备的AI性能为例，进行详细说明。
作为一种可能的实现方式，可以在获取到设备性能测试请求时，获取图片集，以对设备的性能进行测试。
其中，设备性能测试请求，可以是用户通过设备的输入装置(如鼠标、键盘、触摸屏等)主动输入的，也可以是设备在首次开机或每次开机后自动生成的。比如，可以在在设备的“设置”菜单中提供“设备性能测试”的选项，从而设备可以在检测到该选项被点击时，生成设备性能测试请求；或者，还可以在设备的开机程序中设置触发设备性能测试的代码，从而可以在设备首次开关或每次开机时主动触发设备性能测试，进而生成设备性能测试请求。
其中，图片集，可以是设备中本身具有的图库(如相册等)，也可以是为了测试设备性能预置的测试图片集，本申请实施例对此不做限定。比如，图片集可以是由预设视频包括的帧图片组成的。
需要说明的是，图片集中包括多帧已标注实际类别标签和包含的实际物体信息的图片，以在对设备的性能进行测试时，根据图片的实际类别标签判断分类模型对图片进行分类的准确性，以及根据图片包括的实际物体信息判断目标检测模型对图片进行目标检测的准确性。作为一种可能的实现方式，图片集中每帧图片对应的实际类别标签和包括的实际物体信息可以是通过人工的方式进行标注的。即可以通过人工的方式对图片集中的各帧图片进行分类并标注，以及识别图片集中每帧图片包括的实际物体，并对实际物体信息进行标注，以保证图片对应的实际类别标签和包括的实际物体信息的准确度。
步骤102，利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
其中，预设的分类模型，是指预先训练的、可以对图片的内容进行识别以对图片进行分类的模型。
其中，预测类别标签，是指预设的分类模型对图像内容进行识别，并根据识别结果确定的图片对应的类别标签。
在本申请实施例中，获取到设备性能测试请求之后，即可以利用预设的分类模型对图片集中的每帧图片进行分类处理，以确定每帧图片对应的预测类别标签。
进一步的，由于不同类型的设备，运行环境、软硬件配置等都可能具有一定差异，因此，对于不同类型的设备可以采用不同的分类模型，以使分类模型可以在对应的设备中运行。即在本申请实施例一种可能的实现形式中，上述步骤102之前，还可以包括：
加载与设备的类型匹配的预设的分类模型。
其中，设备的类型，可以是设备的生产厂商、设备的型号等信息。实际使用时，可以根据实际需要预设设备的类型对应的设备信息。比如，可以将设备的类型预设为设备的型号。
在本申请实施例中，设备的处理器获取到设备性能测试请求时，可以从设备的存储器中获取设备的类型，并根据获取的设备的类型，确定与设备匹配的预设的分类模型。其中，设备的类型可以是在设备出厂时预置在存储器中的。
作为一种可能的实现方式，可以基于预设的开源软件及预设开源数据集，训练初始分类模型，并利用利用各设备商的模型转换工具，将初始分类模型，分别转换为与各类型设备匹配的预设的分类模型。
举例来说，当前的应用场景为对设备的AI性能进行测试，则可以将谷歌的人工智能库Tensorflow作为预设的开源软件，将数据集ImageNet作为预设开源数据集，对神经网络模型InceptionV3进行训练，以获得初始分类模型。在训练出初始分类模型之后，可以根据各个设备商提供的AI软件开发工具包(Software Development Kit，简称SDK)的模型转换工具，对初始分类模型进行转换，以获得各类型的设备匹配的预设的分类模型。
步骤103，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息。
其中，预设的目标检测模型，是指预先训练的用于对图片进行目标检测的模型。比如，可以是MobileNet-SSD模型。
在本申请实施例中，可以将图片集中的每帧图片依次输入预设的目标检测模型，以使预设的目标检测模型对每帧图片进行目标检测，以确定每帧图片中包括的物体，并输出每帧图片中包括的各检测物体信息。其中，检测物体信息中，可以包括预设的目标检测模型确定的图片中包括的物体在图片中的坐标、所在边框的大小、名称等。
需要说明的是，在利用预设的目标检测模型对图片集中的每帧图片进行目标检测时，若图片集中的各帧图片的格式、尺寸、分辨率等与预设的目标检测模型所支持的格式、尺寸、分辨率不符，则可以首先对图片集中的各帧图片的格式、尺寸、分辨率等进行转换，以适应预设的目标检测模型。
举例来说，预设的目标检测模型为MobileNet-SSD模型，图片集中的各帧图片是预设视频中的帧图片，从预设视频中拆解出的帧图片为YUV格式的图片，进而将各YUV格式的帧图片转换为1080×1920像素的JPEG格式图片，以构成图片集。而MobileNet-SSD模型仅支持300×300像素的图片，从而可以首先将图片集中1080×1920像素的图片缩小为300×300像素的图片，再利用MobileNet-SSD模型对图片集中进行尺寸转换后的各帧图片进行目标检测。
步骤104，根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。
其中，图片对应的预测类别标签与实际类别标签的第一匹配度，可以反映出设备中预设的分类模型对图片类别进行识别的准确度，从而可以作为衡量设备的性能的一个指标。
具体的，图片对应的预测类别标签与实际类别标签的第一匹配度越高，则可以确定预设的分类模型对该图片进行类别识别的准确度越高；反之，则可以确定预设的分类模型对该图进行类别识别的准确度越低。
作为一种可能的实现方式，可以将图片对应的预测类别标签与实际类别标签之间的余弦相似度，确定为图片对应的预测类别标签与实际类别标签的第一匹配度，但不仅限于此。实际使用时，可以根据实际需要选择确定第一匹配度的方式，本申请实施例对此不做限定。
举例来说，图片A对应的实际类别标签为“动植物”，对应的预测类别标签为“动植物”，则可以确定图片A对应的预测类别标签与实际类别标签之间的余弦相似度为1，从而可以确定图片A对应的预测类别标签与实际类别标签的第一匹配度为1。
其中，物体信息，可以包括物体的坐标、所在边框的大小及名称。
需要说明的是，在对图片集中的各帧图片进行标注实际物体信息，以及利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，可以以边框的形式对图片中的实际物体进行标注，以及以边框的形式对检测到的物体信息标注。从而，物体的坐标，可以是物体所在边框的中心点在图片中对应的坐标，可以采用物体所在边框的中心点对应的像素在图片中的坐标进行表示；物体所在边框的大小，可以是边框的长度和宽度，可以采用物体所在边框的长度和宽度分别对应的像素数量表示。
其中，图片中包含的各检测物体信息与实际物体信息的第二匹配度，可以反映出设备中预设的目标检测模型对图片进行目标检测的准确度，从而可以作为衡量设备性能的一个指标。
具体的，图片中包含的各检测物体信息与实际物体信息的第二匹配度越高，则可以确定预设的目标检测模型对该图片进行目标检测的准确度越高；反之，则可以确定预设的目标检测模型对该图进行目标检测的准确度越低。
在本申请实施例中，由于图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，可以反映出设备中预设的分类模型对图片类别进行识别的准确度，图片集中每帧图片包含的各检测物体信息与实际物体信息的第二匹配度，可以反映出设备中预设的目标检测模型对图片进行目标检测的准确度，从而可以根据图片集中每帧图片对应的第一匹配度确定设备的第一性能参数，根据每帧图片对应的第二匹配度确定第二性能参数，作为衡量设备AI性能的两个指标。即在本申请实施例一种可能的实现形式中，上述步骤104，可以包括：
根据每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定设备的第一性能参数；
根据每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的第二性能参数；
根据第一性能参数与第二性能参数，确定设备的性能。
在本申请实施例中，由于设备的第一性能参数是根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度确定的，从而可以用于衡量设备AI性能的准确度。可选的，确定设备的第一性能参数的方式可以包括以下几种情形：
方式一
确定出图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，进而将图片集中各帧图片对应的预测类别标签与实际类别标签的第一匹配度的均值(即图片集的平均第一匹配度)，确定为设备的第一性能参数。
方式二
预设预测类别标签与实际类别标签的匹配度阈值，将图片集中，预测类别标签与实际类别标签的匹配度大于匹配度阈值的图片数量占图片集总图片数量的比例，确定为设备的第一性能参数。
需要说明的是，实际使用时，可以根据实际需要预设匹配度阈值的具体取值，本申请实施例对此不做限定。比如，匹配度阈值可以为0.9。
举例来说，图片集中包括200帧图片，匹配度阈值为0.9，预设预测类别标签与实际类别标签的第一匹配度大于0.9的图片数量为180帧，从而可以确定预设预测类别标签与实际类别标签的第一匹配度大于阈值的图片数量占图片集总图片数量的比例为0.9，即可以确定设备的第一性能参数为0.9。
需要说明的是，设备的第一性能参数越高，则说明设备的性能越好；反之，则说明设备的性能越差。
在本申请实施例中，由于设备的第二性能参数是根据图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度确定的，从而可以用于衡量设备AI性能的准确度。在本申请实施例一种可能的实现形式中，上述确定设备的第二性能参数，可以包括以下步骤：
根据每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在图片集中的占比，确定设备的第二性能参数。
其中，有效图片，是指利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，对应的目标检测结果较准确的帧图片。
其中，有效图片在图片集中的占比，可以反映出设备中的目标检测模型对图片进行目标检测的准确度，从而可以作为衡量设备性能的一个指标。
具体的，有效图片在图片集中的占比越大，则可以确定预设的目标检测模型对图片进行目标检测的准确度越高；反之，则可以确定预设的目标检测模型对图片进行目标检测的准确度越低。
作为一种可能的实现方式，在物体信息中包括多个参量时，可以根据每帧图片中包括的各检测物体信息中各参量分别与实际物体信息中各参量的第二匹配度，确定每帧图片中的有效检测物体。即在本申请实施例一种可能的实现形式中，在上述物体信息中包括N个维度，N为正整数时，上述确定每帧图片中的有效检测物体，可以包括：
若第一帧图片中第一检测物体的M个维度的信息，与第一帧图片中包括的任一实际物体的M个维度信息的第二匹配度大于第一阈值，且M大于或等于N/2，则确定第一检测物体为有效检测物体。
其中，第一帧图片，是指图片集中的任一帧图片；第一检测物体，是指利用预设的目标检测模型检测到的第一帧图片中的任一检测物体。
作为一种可能的实现方式，若物体信息中包括多个维度的信息，则对于一个第一检测物体信息，若其包括的半数或半数以上维度的信息与实际物体信息匹配，即包括的半数或半数以上维度的信息与实际物体信息的第二匹配度大于第一阈值，则可以确定第一检测物体为有效检测物体。以下以物体信息中包括物体的坐标、所在边框的大小和名称为例，进行具体说明。
具体的，在物体信息中包括物体的坐标、所在边框的大小和名称时，可以在第一检测物体信息中的坐标、所在边框的大小和名称中的任意两个信息或三个信息，与第一帧图片中的任一个实际物体信息中的坐标、所在边框的大小和名称匹配时，确定第一检测物体为有效检测物体。
需要说明的是，第一检测物体的坐标与实际物体的坐标匹配，可以是指第一检测物体的坐标与该实际物体的坐标之间的距离小于或等于距离阈值。实际使用时，可以根据实际需要预设判定第一检测物体的坐标与实际物体的坐标匹配的条件，本申请实施例对此不做限定。
第一检测物体所在边框的大小与实际物体的所在边框的大小匹配，可以是指第一检测物体所在边框的长度与该实际物体所在边框的长度间的差值小于或等于长度阈值，且第一检测物体所在边框的宽度与该实际物体所在边框的宽度间的差值小于或等于宽度阈值；或者也可以是指第一检测物体所在边框的面积与该实际物体所在边框的面积间的差值小于或等于面积阈值。实际使用时，可以根据实际需要预设判定第一检测物体所在边框的大小与实际物体所在边框的大小匹配的条件，本申请实施例对此不做限定。
第一检测物体的名称与实际物体的名称是否匹配，可以根据两者之间的语义相似度进行判断。若第一检测物体的名称与该实际物体的名称间的语义相似度大于相似度阈值，则可以确定第一检测物体的名称与该实际物体的名称匹配；否则，可以确定第一检测物体的名称与该实际物体的名称不匹配。实际使用时，确定第一检测物体的名称与该实际物体的名称的语义相似度的方法，可以根据实际需要预设，本申请实施例对此不做限定。比如，可以采用两者之间的余弦相似度表示两者之间的语义相似度。
需要说明的是，若对图片集中的各帧图片进行目标检测之前，对图片集中的各帧图片进行了缩放处理，以适应预设的目标检测模型所支持的图片格式，则在确定各帧图片中的有效检测物体之前，可以按照对各帧图片信息缩放处理的缩放比例，对各帧图片中各检测物体信息进行缩放处理，以按照图片集中各帧图片的原始大小表示各检测物体信息。
在本申请实施例中，图片中包含的有效检测物体越多，则可以说明预设的目标检测模型对该图片进行目标检测的准确率越高；而预设的目标检测模型对图片集中各帧图片进行目标检测的准确度，可以反映设备的AI性能。从而可以在确定出图片集中每帧图片中的有效检测物体之后，可以根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片。
具体的，可以预设第三阈值，进而根据每帧图片中有效检测物体在实际物体中的占比与第三阈值的关系，确定每帧图片是否为有效图片。即若第二帧图片中有效检测物体在实际物体中的占比大于第三阈值，则确定第二帧图片为有效图片。
可以理解的是，第二帧图片，可以为图片集中的任一帧图片。在本申请实施例中，若第二帧图片中有效检测物体在实际物体中的占比大于第三阈值，则可以确定第二帧图片中有效检测物体的数量较多，即预设的目标检测模型对第二帧图片进行目标检测的准确度较高，从而可以将第二帧图片确定为有效图片；若第二帧图片中有效检测物体在实际物体中的占比小于或等于第三阈值，则可以确定第二帧图片中有效检测物体的数量较少，即预设的目标检测模型对第二帧图片进行目标检测的准确度较低，从而可以确定第二帧图片确定不是有效图片。
需要说明的是，实际使用时，第三阈值的具体取值，可以根据实际需要预设，本申请实施例对此不做限定。比如，第三阈值可以为0.5。
可以理解的是，有效图片在图片集中的占比，可以反映出设备中的目标检测模型对图片进行目标检测的准确度，从而可以用于确定设备的第二性能参数。具体的，有效图片在图片集中的占比越大，则可以确定预设的目标检测模型对图片进行目标检测的准确度越高；反之，则可以确定预设的目标检测模型对图片进行目标检测的准确度越低。
可选的，确定设备的第二性能参数的方式可以包括以下几种情形：
方式一
可以将有效图片的数量与图片集中总图片数量的比值，确定为有效图片在图片集中的占比，进而将有效图片在图片集中的占比，确定为设备的第二性能参数。
方式二
预设设备的第二性能参数所在的数值范围，根据第二性能参数所处的数值范围对有效图片在图片集中的占比进行归一化处理，进而将归一化处理后的有效图片在图片集中的占比，确定为设备的第二性能参数，即可以通过公式(1)确定设备的第二性能参数。
其中，Score2为设备的第二性能参数，Y为有效图片的数量，X为图片集中包含的图片数量，[a,b]为设备的第二性能参数所在的数值范围。
举例来说，有效图片的数量为80帧，图片集中总图片数量为100帧，设备的准确度得分所在的数值范围为[0,10]，则可以确定设备的第二性能参数
需要说明的是，设备的第二性能参数越高，则说明设备的性能越好；反之，则说明设备的性能越差。
在本申请实施例中，设备的第一性能参数和第二性能参数是分别根据预设的分类模型和预设的目标检测模型的识别准确度确定的，从而可以从不同维度反映设备的性能。因此，可以将设备的第一性能参数和第二性能参数结合，共同作为确定设备的性能的参数。
可选的，可以通过以下几种方式确定设备的性能：
方式一
将设备的第一性能参数和第二性能参数，分别作为衡量设备的性能的两个参数单独存在。
方式二
将设备的第一性能参数和第二性能参数的均值，确定为设备的性能。
方式三
根据实际需要确定设备的第一性能参数与第二性能参数分别对应的权重值，进而将第一性能参数与第二性能参数的加权和确定为设备的性能。
需要说明的是，在根据设备的第一性能参数和第二性能参数，确定设备的性能时，若第一性能参数与第二性能参数取值范围不同，则可以首先对第一性能参数和第二性能参数进行归一化处理，以使第一性能参数和第二性能参数的取值范围相同。
举例来说，若第一性能参数为的取值范围为[0,1]，第二性能参数的取值范围为[0,10]，则可以将第一性能参数归一化至[0,10]区间，或者将第二性能参数归一化至[0,1]区间。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的性能，从而通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，衡量设备性能的指标可以包括处理速度和可靠性两个方面，从而还可以根据预设的分类模型和预设的目标检测模型对图片集的处理时间，确定设备的第三性能参数和第四性能参数，以从可靠性和处理速度等多个维度衡量设备的性能。
下面结合图2，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图2为本申请实施例所提供的另一种智能设备性能测试方法的流程示意图。
如图2所示，该智能设备性能测试方法，包括以下步骤：
步骤201，获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
步骤202，利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
步骤203，根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定设备的第一性能参数。
上述步骤201-203的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤204，获取预设的分类模型，对图片集中全部图片的第一处理时长。
其中，第一处理时长，可以反映出设备中的预设的分类模型对图片进行分类处理的处理速度，从而可以作为衡量设备性能的另一个指标。
在本申请实施例中，利用预设的分类模型对图片集中的每帧图片进行分类处理时，预设的分类模型可以记录对每帧图片的处理时长，从而在对图片集中的所有图片处理完成之后，可以将图片集中每帧图片的处理时长的总和，确定为第一处理时长。
步骤205，根据第一处理时长及图片集中包含的图片数量，确定设备的第三性能参数。
在本申请实施例中，由于第一处理时长可以反映设备中预设的分类模型的处理速度，而设备的第一性能参数仅可以用于衡量设备中预设的分类模型的可靠性和准确度，从而可以利用第一处理时长及图片集中包含的图片数量，确定设备的第三性能参数，以从预设的分类模型的可靠性和处理速度两个维度对设备的AI性能进行衡量。
作为一种可能的实现方式，可以通过以下方式确定设备的第三性能参数：
首先根据图片集的第一处理时长及图片集中包含的图片数量，确定设备第一画面每秒传输的帧数(Frame Per Second，简称FPS)。在本申请实施例中，第一FPS可以用于表示设备中预设的分类模型每秒处理的图片数量，可以通过公式(2)计算：
其中，FPS1为设备的第一FPS，X为图片集中包含的图片数量，T1为图片集的第一处理时长。
之后将设备的第一FPS确定为设备的第三性能参数，以从处理速度维度对设备的AI性能进行衡量。
步骤206，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息。
步骤207，根据图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的第二性能参数。
上述步骤206-207的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤208，获取预设的目标检测模型，对图片集中全部图片的第二处理时长。
其中，第二处理时长，可以反映出设备中的预设的目标检测模型对图片进行目标检测的处理速度，从而可以作为衡量设备性能的另一个指标。
在本申请实施例中，利用预设的目标检测模型对图片集中的每帧图片进行目标检测时，预设的目标检测模型可以记录对每帧图片的处理时长，从而在对图片集中的所有图片处理完成之后，可以将图片集中每帧图片的处理时长的总和，确定为第二处理时长。
步骤209，根据第二处理时长及图片集中包含的图片数量，确定设备画面每秒传输的帧数。
步骤210，根据设备画面每秒传输的帧数，确定设备的第四性能参数。
在本申请实施例中，由于第二处理时长可以反映设备中预设的目标检测模型的处理速度，而设备的第二性能参数可以用于衡量设备中预设的目标检测模型的可靠性和准确度，从而可以利用第二处理时长及图片集中包含的图片数量，确定设备的第四性能参数，以从预设的目标检测模型的可靠性和处理速度两个维度对设备的AI性能进行衡量。
作为一种可能的实现方式，可以通过以下方式确定设备的第四性能参数：
首先根据图片集的第二处理时长及图片集中包含的图片数量，确定设备画面每秒传输的帧数(即设备第二FPS)。在本申请实施例中，第二FPS可以用于表示设备中预设的目标检测模型每秒处理的图片数量，可以通过公式(3)计算：
其中，FPS2为设备的第二FPS，X为图片集中包含的图片数量，T2为图片集的第二处理时长。
之后将设备的第二FPS确定为设备的第四性能参数，以从处理速度维度进一步对设备的AI性能进行衡量。
进一步的，还可以利用图片集中无效图片(即图片集中除有效图片之外的图片)的数量，对设备的第二FPS进行惩罚。即在本申请实施例一种可能的实现形式中，上述步骤210之前，还可以包括：
根据有效图片在所述图片集中的占比，对设备画面每秒传输的帧数进行修正；
相应的上述步骤210，可以包括：
根据修正后的设备画面每秒传输的帧数，确定设备的第四性能参数。
可选的，在根据图片集的第二处理时长，确定设备的第二FPS之后，还可以根据有效图片在图片集中的占比，对设备的第二FPS进行修正。具体的，可以通过公式(4)确定修正后的FPS。
其中，FPS2'为修正后的第二FPS，T2为图片集的第二处理时长，X为图片集中包含的图片数量，ω为有效图片在图片集中的占比。
需要说明的是，在图片集的第二处理时长相同时，即第二FPS相同时，有效图片在图片集中的占比越小(即无效图片在图片集中的占比越大)，修正后的第二FPS越小，从而根据修正后的第二FPS确定的目标检测模型对图片集的检测速度越慢，从而实现了根据无效图片的数量对设备的第二FPS进行惩罚，进一步提高了设备性能测试的可靠性。
在本申请实施例中，对第二FPS进行修正之后，可以将修正后的第二FPS确定为设备的第四性能参数。
步骤211，根据第一性能参数、第二性能参数、第三性能参数及第四性能参数，确定设备的性能。
在本申请实施例中，在设备的性能参数中仅包含第一性能参数与第二性能参数时，可以将设备的第一性能参数和第二性能参数，分别作为衡量设备的性能的两个参数单独存在；或者，将设备的第一性能参数和第二性能参数的均值、加权和等，确定为设备的性能，并反馈给用户，本申请实施例对此不做限定。
进一步的，还可以在根据图片集的第一处理时长和第二处理时长，分别确定出设备的第三性能参数和第四性能参数时，根据设备的第一性能参数、第二性能参数、第三性能参数与第四性能参数，共同确定设备的性能。
可选的，可以通过以下方式确定设备的性能：
方式一
将设备的第一性能参数、第二性能参数、第三性能参数、第四性能参数分别作为四个独立的参数存在，并反馈给用户，以使用户可以全面了解设备在四个维度的AI性能。
方式二
根据实际需要确定设备的第一性能参数、第二性能参数、第三性能参数、第四性能参数分别对应的权重值，进而将设备的第一性能参数与第三性能参数的加权和，及第二性能参数与第四性能参数的加权和，确定为设备的性能。
方式三
将设备的第一性能参数、第二性能参数、第三性能参数及第四性能参数的加权和，确定为设备的性能。
方式四
将方式一至方式三中的任意两组参数，或者全部三种参数，确定为设备的性能。比如，可将设备的第一性能参数、第二性能参数、第三性能参数、第四性能参数、第一性能参数与第三性能参数的加权和、第二性能参数与第四性能参数的加权和、第一性能参数、第二性能参数、第三性能参数及第四性能参数的加权和，作为7个独立的参数确定为设备的性能。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，并根据预设的分类模型确定的每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定设备的第一性能参数，以及根据预设的分类模型对图片集的第一处理时长及图片集中包含的图片数量，确定设备的第三性能参数，之后利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，并根据预设的目标检测模型确定的每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的第二性能参数，以及根据预设的目标检测模型对图片集的第二处理时长及图片集中包含的图片数量，确定设备的第四性能参数，进而根据第一性能参数、第二性能参数、第三性能参数及第四性能参数，确定设备的性能。由此，通过根据分类模型和目标检测模型对图片进行识别的准确度和处理速度，确定设备的性能，从而不仅通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且进一步提高了设备AI性能测试的可靠性。
在本申请一种可能的实现形式中，在对设备的性能进行测试时，还可以在设备的输出装置中反馈性能测试的过程和结果，以提高设备性能测试的友好性和可交互性。
下面结合图3，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图3为本申请实施例所提供的另一种智能设备性能测试方法的流程示意图。
如图3所示，该智能设备性能测试方法，包括以下步骤：
步骤301，获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
步骤302，利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
上述步骤301-302的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤303，在设备显示屏的第一预设区域显示预设的分类模型当前处理的图片，在设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹。
步骤304，在确定当前处理的图片对应的预测类别标签后，将当前处理的图片以预设的姿态存入与预测类别标签对应的文件夹内。
在本申请实施例中，若设备中包括显示屏，则可以在设备的显示屏中显示对设备进行性能测试的过程。因此，可以将预设的分类模型当前处理的图片显示在显示屏中，并在确定出当前处理的图片的预测类别标签之后，显示该预测类别标签，从而提高了测试界面的友好性和可交互性。
作为一种可能的实现方式，可以在显示屏中显示多个与不同类别标签分别对应的文件夹，并在确定出每张图片对应的预测类别标签后，将图片存入相应的文件夹中。
其中，第一预设区域，是指设备显示屏中的一部分区域；第二预设区域，是指设备显示屏中与第一预设区域不同的另一部分区域。比如，第一预设区域与第二预设区域在设备显示屏中对应的位置可以为图4中所示的位置。
其中，不同类别标签对应的文件夹，可以是预先设置的，也可以是预设的分类模型对图片集中的图片进行分类处理的过程中，根据确定出的预测类别标签自动生成的。
其中，预设的姿态，可以是旋转进入、直线移入、跳跃进入等姿态。实际使用时，可以根据实际需要确定将当前处理的图片存入对应文件夹中的姿态，本申请实施例对此不做限定。
作为一种可能的实现方式，若不同类别标签对应的文件夹是预先设置的，则可以在预设的分类模型对待处理图片集进行分类处理开始时，在第一预设区域中显示当前处理的图片，并在第二预设区域中同时显示预先设置的不同类别标签的文件夹，并在确定出当前处理的图片对应的预测类别标签时，确定与预测类别标签对应的文件夹，进而将当前待处理的图片以预设的姿态存入与预测类别标签对应的文件夹中。
举例来说，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他，预设的姿态为“旋转进入”，如图4所示，则可以在第一预设区域中显示当前处理的图片，在第二预设区域中同时显示交通运输、电子机械、食物、动植物、运动风景、其他6个类别分别对应的文件夹。若确定当前处理的图片对应的预测类别标签为“动植物”，则可以将当前处理的图片以“旋转进入”的姿态存入“动植物”文件夹。
可选的，预设的分类模型可以预测的预测类别标签可以与预先设置的类别标签相同，也可以与预先设置的类别标签不同。若预设的分类模型可以预测的预测类别标签与预先设置的类别标签相同(如预设的标分类模型可以预测的预测类别标签与预先设置的类别标签均为前述的6个类别)，则可以在确定出当前处理的图片对应的预测类别标签之后，直接将当前处理的图片存入预测类别标签对应的文件夹。
若预设的分类模型可以预测的预测类别标签与预先设置的类别标签不同，则预测类别标签的数量可以大于预先设置的类别标签的数量，并且一个预先设置的类别标签对应多个预测类别标签，比如，预设的分类模型可以预测的预测类别标签为1000个小类别，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他6个类别，则1000个小类别均在预先设置的6个类别中存在对应的类别。从而，在确定出当前处理的图片对应的预测类别标签之后，可以确定该预测类别标签对应的预先设置的类别标签，进而将当前处理的图片以预设姿态存入该类别标签对应的文件夹中。
举例来说，预先设置的类别标签为交通运输、电子机械、食物、动植物、运动风景、其他6个类别，预设的姿态为“旋转进入”，若确定当前处理的图片对应的预测类别标签为“动物”，则可以确定该预测类别标签对应的预先设置的类别标签为“动植物”，从而可以将当前处理的图片以“旋转进入”出姿态存入“动植物”文件夹。
作为一种可能的实现方式，不同类别标签的文件夹还可以是在对图片集进行分类的过程中实时生成的。也就是说，在利用预设的分类模型对待处理图片集开始进行分类处理时，在设备显示屏的第一预设区域中显示当前处理的图片，第二预设区域显示为空，并在确定出当前处理的图片对应的预测类别标签之后，判断第二预设区域中是否已经包括该预测类别标签对应的文件夹，若存在，则直接将当前处理的图片以预设的姿态存入该预测类别标签对应的文件夹；若不存在，则生成该预测类别标签对应的文件夹，并显示在第二预设区域中，进而将当前处理的图片以预设的姿态存入生成的预测类别标签对应的文件夹中。
举例来说，当前待处理图片为图片集中的第一张图片，且确定该图片对应的预测类别标签为“人物”，则可以确定第二预设区域中不存在任何文件夹，从而可以生成“人物”类别标签对应的文件夹，并将该图片以预设的姿态存入“人物”类别标签对应的文件夹中。
步骤305，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息。
上述步骤305的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤306，在显示屏中，显示当前被检测图片及图片中的各检测物体信息。
在本申请实施例中，若设备包括显示屏，则可以在预设的目标检测模型对一帧图片进行目标检测时，在设备的显示屏中显示该帧图片，并在完成对一帧图片的目标检测时，根据该帧图片中各检测物体信息中的物体坐标和所在边框的大小，在该帧图片中生成各检测物体的所在边框，并在各检测物体的所在边框中标注各检测物体的名称，进而在设备的显示屏组件中显示标注有个检测物体所在边框及名称的图片。
可选的，在对帧图片包括的各检测物体信息进行显示之前，还可以首先根据各检测物体信息的置信度对各检测物体信息进行排序和筛选，并在设备的显示屏中显示每帧图片时，仅显示该帧图片中置信度大于第二阈值且排序位于前K位的各检测物体信息。
步骤307，根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。
上述步骤307的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
进一步的，在设备中包括显示屏时，还可以在确定出设备的性能得分之后，在设备的显示屏组件中显示设备的性能得分，以使用户可以直观了解设备的性能。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，并在设的显示屏显示当前处理的图片及对应的预测类别标签，之后利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，并在设备的显示屏中显示当前被检测图片及图片中的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的AI性能，并在设备的显示屏中显示性能测试的过程，从而不仅实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且提高了测试界面的友好性和可交互性。
在本申请一种可能的实现形式中，还可以将有效图片中每个有效检测物体的与各实际物体的交并比，作为衡量设备性能的一个指标，以进一步提高设备性能检测的准确性。
下面结合图5，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图5为本申请实施例所提供的又一种智能设备性能测试方法的流程示意图。
如图5所示，该智能设备性能测试方法，包括以下步骤：
步骤401，获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
步骤402，利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
步骤403，根据图片集中每帧图片对应的预测类别标签与实际类别标签的匹配度，确定设备的第一性能参数。
步骤404，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息。
步骤405，根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的第二匹配度，确定每帧图片中的有效检测物体。
步骤406，根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片。
上述步骤401-406的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤407，根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比。
其中，交并比(Intersection over Union，简称IoU)，是指，“预测的边框”与“真实的边框”的交集和并集的比值；在本申请实施例中，有效检测物体的交并比，是指该有效检测物体所在的边框与该有效检测物体所在的有效图片中的各实际物体所在的边框的交集与并集的比值。
在本申请实施例中，有效检测物体的交并比可以衡量该有效检测物体与图片中实际物体的重合程度，从而可以用来评价设备中预设的目标检测模型进行目标检测的准确度。
作为一种可能的实现方式，对于有效图片中的一个有效检测物体，可以根据该有效检测物体的坐标和所在边框的大小，确定该有效检测物体所在边框的具体边界(即预测边框)，以及根据有效图片中与该有效检测物体匹配的实际物体的坐标和所在边框的大小，确定与该有效检测物体匹配的实际物体所在边框的边界(即真实边框)，之后确定出预测边框与真实边框的并集，以及预测边框与真实边框的交集，进而将上述交集与并集的比值，确定为该有效检测物体的交并比。以此类推，确定出每帧有效图片中每个有效检测物体的交并比。
步骤408，根据所有有效图片中所有有效检测物体的交并比，确定设备的第二性能参数。
在本申请实施例中，有效检测物体的交并比可以衡量该有效检测物体与图片中实际物体的重合程度，进而可以反映该有效检测物体的可靠性。具体的，有效检测物体的交并比越大，则可以确定该有效检测物体与有效图片中与其匹配的实际物体的重合程度越大，即该有效检测物体的可靠性越高。
作为一种可能的实现方式，在确定出所有有效图片中所有有效检测物体的交并比之后，可以确定所有有效图片中所有有效检测物体的交并比之和，进而将所有有效图片中所有有效检测物体的交并比之和，确定为设备的第二性能参数。
步骤409，根据第一性能参数及第二性能参数，确定设备的性能。
上述步骤409的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，以确定设备的第一性能参数，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，以及根据图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体，之后根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片，进而根据所有有效图片中所有有效检测物体的交并比，确定设备的第二性能参数，以根据第一性能参数及第二性能参数，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的AI性能，并利用有效检测物体的交并比确定设备的第二性能参数，从而不仅实现了通过数字化指标衡量设备的AI性能，而且进一步提高了设备AI性能测试的准确性。
在本申请一种可能的实现形式中，利用预设的目标检测模型对图片集进行目标检测时，还可以输出各检测物体的置信度，从而后续可以仅对置信度较高的各检测物体进行处理，以在提高设备性能测试准确度的同时，降低计算复杂度。
下面结合图6，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图6为本申请实施例所提供的又一种智能设备性能测试方法的流程示意图。
如图6所示，该智能设备性能测试方法，包括以下步骤：
步骤501，获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
步骤502，利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
步骤503，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息。
上述步骤501-503的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤504，确定每个检测物体信息的置信度。
在本申请实施例中，可以预训练可以输出检测物体信息的置信度的目标检测模型，从而在利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，可以同时输出每帧图片包括的检测物体信息及检测物体信息的置信度。
步骤505，按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序。
步骤506，保留每帧图片中置信度大于第二阈值、且位于前K位的各检测物体信息，其中，K为大于1的正整数。
在本申请实施例中，检测物体信息的置信度可以衡量该检测物体信息的可靠性，即检测物体信息的置信度越高，该检测物体信息的可靠性越高。对于置信度过低的检测物体信息，其可靠性较差，对衡量目标检测精度的贡献也较少，从而可以将置信度较低的检测物体信息去除。
具体的，对于每帧图片，可以将每帧图片中包括的检测物体信息按照置信度进行排序，仅保留置信度大于第二阈值、且排序位于前K位的各检测物体信息，而将其他检测物体信息去除，从而不仅可以降低置信度较低的检测物体信息对设备性能测试结果的影响，而且可以降低每帧图片中检测物体信息的数量，从而可以避免每帧图片中各检测物体信息间的过度重合对设备性能测试结果的影响，并且降低了设备性能测试的计算复杂度。
可以理解的是，若帧图片中置信度大于第二阈值的检测物体信息的数量大于或等于K，则保留该帧图片中排序位于前K位的检测物体信息；若帧图片中置信度大于第二阈值的检测物体信息的数量小于K，则保留该帧图片中置信度大于第二阈值的所有检测物体信息。
实际使用时，可以根据实际需要预设第二阈值及K的具体取值，本申请实施例对此做限定。比如，第二阈值可以为0.5，K可以为10。
需要说明的是，对每帧图片中的各检测物体信息进行排序并筛选之后，本申请实施例的后续步骤仅对每帧图片中保留的各检测物体信息进行处理。
步骤507，根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。
上述步骤507的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
本申请实施例提供的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，以确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，以及根据每帧图片中每个检测物体信息的置信度，将每帧图片中的各检测物体信息进行排序，以保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的AI性能，并根据各检测物体信息的置信度对各检测物体信息进行筛选，从而不仅实现了通过数字化指标衡量设备的AI性能，而且进一步提高了设备AI性能测试的可靠性，降低了测试过程的计算复杂度。
为了实现上述实施例，本申请还提出一种智能设备性能测试装置。
图7为本申请实施例提供的一种智能设备性能测试装置的结构示意图。
如图7所示，该智能设备性能测试装置60，包括：
第一获取模块61，用于获取图片集，图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息。
第一确定模块62，用于利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签。
第二确定模块63，用于利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；
第三确定模块64，用于根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。
在实际使用时，本申请实施例提供的智能设备性能测试装置，可以被配置在任意智能设备中，以执行前述智能设备性能测试方法。
本申请实施例提供的智能设备性能测试装置，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的性能，从而通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，上述第三确定模块64，包括：
第一确定单元，用于根据每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定设备的第一性能参数；
第二确定单元，用于根据每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的第二性能参数；
第三确定单元，用于根据第一性能参数与第二性能参数，确定设备的性能。
进一步的，在本申请另一种可能的实现形式中，上述第二确定单元，具体用于：
根据每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在图片集中的占比，确定设备的第二性能参数。
进一步的，在本申请再一种可能的实现形式中，上述第二确定单元，还用于：
根据每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定设备的第二性能参数。
进一步的，在本申请又一种可能的实现形式中，上述智能设备性能测试装置60，还包括：
第二获取模块，用于获取预设的分类模型，对图片集中全部图片的第一处理时长；
第四确定模块，用于根据第一处理时长及图片集中包含的图片数量，确定设备的第三性能参数。
进一步的，在本申请又一种可能的实现形式中，上述智能设备性能测试装置60，还包括：
第三获取模块，用于获取预设的目标检测模型，对图片集中全部图片的第二处理时长；
第五确定模块，用于根据第二处理时长及图片集中包含的图片数量，确定设备画面每秒传输的帧数；
第六确定模块，用于根据设备画面每秒传输的帧数，确定设备的第四性能参数。
进一步的，在本申请另一种可能的实现形式中，上述智能设备性能测试装置60，还包括：
修正模块，用于根据有效图片在所述图片集中的占比，对设备画面每秒传输的帧数进行修正；
相应的，上述第六确定模块，包括：
第四确定单元，用于根据修正后的设备画面每秒传输的帧数，确定所述设备的第四性能参数。
进一步的，在本申请再一种可能的实现形式中，上述智能设备性能测试装置60，还包括：
加载模块，用于加载与设备的类型匹配的预设的分类模型。
进一步的，在本申请又一种可能的实现形式中，上述设备包含显示屏；相应的，上述智能设备性能测试装置60，还包括：
第一显示模块，用于在设备显示屏的第一预设区域显示预设的分类模型当前处理的图片，在设备显示屏的第二预设区域显示多个分别与不同类别标签对应的文件夹；
存储模块，用于在确定当前处理的图片对应的预测类别标签后，将当前处理的图片以预设的姿态存入与预测类别标签对应的文件夹内。
进一步的，在本申请又一种可能的实现形式中，上述智能设备性能测试装置60，还包括：
第二显示模块，用于在利用预设的目标检测模型，对图片集中的每帧图片进行目标检测时，在显示屏中，显示当前被检测图片及图片中的各检测物体信息。
进一步的，在本申请另一种可能的实现形式中，上述物体信息中包括N个维度，N为正整数；
相应的，上述第二确定单元，还用于：
若第一帧图片中第一检测物体的M个维度的信息，与第一帧图片中包括的任一实际物体的M个维度信息的第二匹配度大于第一阈值，且M大于或等于N/2，则确定第一检测物体为有效检测物体。
进一步的，在本申请再一种可能的实现形式中，智能设备性能测试装置60，还包括：
第七确定模块，用于确定每个检测物体信息的置信度；
排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前K位的各检测物体信息，其中，K为大于1的正整数。
需要说明的是，前述对图1、图2、图3、图5、图6所示的智能设备性能测试方法实施例的解释说明也适用于该实施例的智能设备性能测试装置60，此处不再赘述。
本申请实施例提供的智能设备性能测试装置，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，并根据预设的分类模型确定的每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定设备的第一性能参数，以及根据预设的分类模型对图片集的第一处理时长及图片集中包含的图片数量，确定设备的第三性能参数，之后利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，并根据预设的目标检测模型确定的每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的第二性能参数，以及根据预设的目标检测模型对图片集的第二处理时长及图片集中包含的图片数量，确定设备的第四性能参数，进而根据第一性能参数、第二性能参数、第三性能参数及第四性能参数，确定设备的性能。由此，通过根据分类模型和目标检测模型对图片进行识别的准确度和处理速度，确定设备的性能，从而不仅通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能，而且进一步提高了设备AI性能测试的可靠性。
为了实现上述实施例，本申请还提出一种智能设备。
图8为本发明一个实施例的智能设备的结构示意图。
如图8所示，上述智能设备200包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的智能设备性能测试方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
智能设备200典型地包括多种智能设备可读介质。这些介质可以是任何能够被智能设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。智能设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
智能设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该智能设备200交互的设备通信，和/或与使得该智能设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，智能设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与智能设备200的其它模块通信。应当明白，尽管图中未示出，可以结合智能设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的智能设备的实施过程和技术原理参见前述对本申请实施例的智能设备性能测试方法的解释说明，此处不再赘述。
本申请实施例提供的智能设备，可以执行如前所述的智能设备性能测试方法，通过利用预设的分类模型，对图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息，进而根据图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定设备的性能。由此，通过利用预设的分类模型和目标检测模型对图片集中的每帧图片分别进行分类处理和目标检测处理，并根据分类模型和目标检测模型对图片进行识别的准确度，确定设备的性能，从而通过多维度的数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
为了实现上述实施例，本申请还提出一种计算机可读存储介质。
其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种智能设备性能测试方法，其特征在于，包括：
获取图片集，所述图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息；
利用预设的分类模型，对所述图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签；
利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；
根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能。
2.如权利要求1所述的方法，其特征在于，所述根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能，包括：
根据所述每帧图片对应的预测类别标签与实际类别标签的第一匹配度，确定所述设备的第一性能参数；
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的第二性能参数；
根据所述第一性能参数与所述第二性能参数，确定所述设备的性能。
3.如权利要求2所述的方法，其特征在于，所述确定所述设备的第二性能参数，包括：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的第二性能参数。
4.如权利要求2所述的方法，其特征在于，所述确定所述设备的第二性能参数，包括：
根据所述每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中的有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的第二性能参数。
5.如权利要求2-4任一所述的方法，其特征在于，还包括：
获取所述预设的分类模型，对所述图片集中全部图片的第一处理时长；
根据所述第一处理时长及所述图片集中包含的图片数量，确定所述设备的第三性能参数。
6.如权利要求2-4任一所述的方法，其特征在于，还包括：
获取所述预设的目标检测模型，对所述图片集中全部图片的第二处理时长；
根据所述第二处理时长及所述图片集中包含的图片数量，确定设备画面每秒传输的帧数；
根据所述设备画面每秒传输的帧数，确定所述设备的第四性能参数。
7.如权利要求6所述的方法，其特征在于，所述确定所述设备的第四性能参数之前，还包括：
根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
所述确定所述设备的第四性能参数，包括：
根据修正后的设备画面每秒传输的帧数，确定所述设备的第四性能参数。
8.一种智能设备性能测试装置，其特征在于，包括：
第一获取模块，用于获取图片集，所述图片集中包括多帧图片、每帧图片对应的实际类别标签及每帧图片中包含的实际物体信息；
第一确定模块，用于利用预设的分类模型，对所述图片集中的每帧图片进行分类处理，确定每帧图片对应的预测类别标签；
第二确定模块，用于利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包含的各检测物体信息；
第三确定模块，用于根据所述图片集中每帧图片对应的预测类别标签与实际类别标签的第一匹配度，及所述图片集中每帧图片中包含的各检测物体信息与实际物体信息的第二匹配度，确定所述设备的性能。
9.一种智能设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的智能设备性能测试方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的智能设备性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347490.1A CN111124863B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347490.1A CN111124863B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124863A true CN111124863A (zh) | 2020-05-08 |
| CN111124863B CN111124863B (zh) | 2024-02-13 |
Family
ID=70500323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347490.1A Active CN111124863B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111124863B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306829A (zh) * | 2020-10-12 | 2021-02-02 | 成都安易迅科技有限公司 | 性能信息的确定方法及装置、存储介质、终端 |
| CN112395208A (zh) * | 2021-01-19 | 2021-02-23 | 珠海亿智电子科技有限公司 | Ai识别装置的自动测试方法、装置、设备及存储介质 |
| WO2022213565A1 (zh) * | 2021-04-07 | 2022-10-13 | 全球能源互联网研究院有限公司 | 一种人工智能模型预测结果的复审方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202366A (zh) * | 2016-07-07 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种图片处理方法、装置及系统 |
| CN107194419A (zh) * | 2017-05-10 | 2017-09-22 | 百度在线网络技术（北京）有限公司 | 视频分类方法及装置、计算机设备与可读介质 |
| CN108875820A (zh) * | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 信息处理方法和装置、电子设备、计算机可读存储介质 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN110097080A (zh) * | 2019-03-29 | 2019-08-06 | 广州思德医疗科技有限公司 | 一种分类标签的构建方法及装置 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
-
2019
- 2019-12-24 CN CN201911347490.1A patent/CN111124863B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202366A (zh) * | 2016-07-07 | 2016-12-07 | 腾讯科技（深圳）有限公司 | 一种图片处理方法、装置及系统 |
| CN107194419A (zh) * | 2017-05-10 | 2017-09-22 | 百度在线网络技术（北京）有限公司 | 视频分类方法及装置、计算机设备与可读介质 |
| CN110032916A (zh) * | 2018-01-12 | 2019-07-19 | 北京京东尚科信息技术有限公司 | 一种检测目标物体的方法和装置 |
| CN108875820A (zh) * | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 信息处理方法和装置、电子设备、计算机可读存储介质 |
| CN110097080A (zh) * | 2019-03-29 | 2019-08-06 | 广州思德医疗科技有限公司 | 一种分类标签的构建方法及装置 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306829A (zh) * | 2020-10-12 | 2021-02-02 | 成都安易迅科技有限公司 | 性能信息的确定方法及装置、存储介质、终端 |
| CN112395208A (zh) * | 2021-01-19 | 2021-02-23 | 珠海亿智电子科技有限公司 | Ai识别装置的自动测试方法、装置、设备及存储介质 |
| WO2022213565A1 (zh) * | 2021-04-07 | 2022-10-13 | 全球能源互联网研究院有限公司 | 一种人工智能模型预测结果的复审方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111124863B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151406B2 (en) | Method, apparatus, device and readable storage medium for image-based data processing | |
| CN109117831B (zh) | 物体检测网络的训练方法和装置 | |
| US11551134B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| CN107832662B (zh) | 一种获取图片标注数据的方法和系统 | |
| US8903167B2 (en) | Synthesizing training samples for object recognition | |
| CN105164700B (zh) | 使用概率模型在视觉数据中检测对象 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN107908641B (zh) | 一种获取图片标注数据的方法和系统 | |
| CN107909088B (zh) | 获取训练样本的方法、装置、设备和计算机存储介质 | |
| CN110222780B (zh) | 物体检测方法、装置、设备和存储介质 | |
| CN112016638B (zh) | 一种钢筋簇的识别方法、装置、设备及存储介质 | |
| CN111126487A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN108062377A (zh) | 标签图片集的建立、标签的确定方法、装置、设备及介质 | |
| CN110188766B (zh) | 基于卷积神经网络的图像主目标检测方法及装置 | |
| CN113239227B (zh) | 图像数据结构化方法、装置、电子设备及计算机可读介质 | |
| US8655016B2 (en) | Example-based object retrieval for video surveillance | |
| KR102476679B1 (ko) | 객체 탐지 장치 및 방법 | |
| CN112052840B (zh) | 图片筛选方法、系统、设备及存储介质 | |
| CN111124920A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN112990318A (zh) | 持续学习方法、装置、终端及存储介质 | |
| CN110909768B (zh) | 一种标注数据获取方法及装置 | |
| CN113221918B (zh) | 目标检测方法、目标检测模型的训练方法及装置 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |