CN111124862B - 智能设备性能测试方法、装置及智能设备 - Google Patents
智能设备性能测试方法、装置及智能设备 Download PDFInfo
- Publication number
- CN111124862B CN111124862B CN201911347279.XA CN201911347279A CN111124862B CN 111124862 B CN111124862 B CN 111124862B CN 201911347279 A CN201911347279 A CN 201911347279A CN 111124862 B CN111124862 B CN 111124862B
- Authority
- CN
- China
- Prior art keywords
- picture
- frame
- determining
- effective
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 267
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000011056 performance test Methods 0.000 claims abstract description 28
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000004883 computer application Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000033962 Fontaine progeroid syndrome Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本申请提出一种智能设备性能测试方法、装置及智能设备，属于计算机应用技术领域。其中，该方法包括：获取包括多帧图片及每帧图片中对应的实际物体信息的图片集；利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，并根据确定的每帧图片中包括的各检测物体信息，与每帧图片对应的实际物体信息的匹配度，确定每帧图片中的有效检测物体；根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过这种智能设备性能测试方法，实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
Description
技术领域
本申请涉及计算机应用技术领域，尤其涉及一种智能设备性能测试方法、装置及智能设备。
背景技术
人工智能(Artificial Intelligence，简称AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以及应用的一门新的技术科学。AI的应用很广泛，机器翻译、智能控制、专家系统、机器人学、语言和图像理解、遗传编程机器人工厂、自动程序设计、航天应用、庞大的信息处理、储存与管理、执行化合生命体无法执行的或复杂或规模庞大的任务等等。
相关技术中，AI技术在智能设备中的应用快速发展，市面上的智能设备的AI性能正在快速提升。但是，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能。
发明内容
本申请提出的智能设备性能测试方法、装置及智能设备，用于解决相关技术中，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题。
本申请一方面实施例提出的智能设备性能测试方法，包括：获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；根据每帧图片中有效检测物体与实际物体中间的关系，确定所述设备的性能。
可选地，在第一方面实施例一种可能的实现形式中，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的性能。
可选地，在第一方面实施例另一种可能的实现形式中，所述根据每帧图片中有效检测物体在各实际物体中的占比，确定每帧图片是否为有效图片，包括：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。
可选地，在第一方面实施例再一种可能的实现形式中，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能。
可选地，在第一方面实施例又一种可能的实现形式中，所述方法，还包括：
根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能。
可选地，在第一方面实施例又一种可能的实现形式中，所述确定设备画面每秒传输的帧数之后，还包括：
根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。
可选地，在第一方面实施例另一种可能的实现形式中，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；
所述确定每帧图片中的有效检测物体，包括：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。
可选地，在第一方面实施例再一种可能的实现形式中，所述确定每帧图片中包括的各检测物体信息之后，还包括：
确定每个检测物体信息的置信度；
按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
可选地，在第一方面实施例又一种可能的实现形式中，所述设备中包括显示屏组件，所述方法，还包括：
在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
本申请另一方面实施例提出的智能设备性能测试装置，包括：获取模块，用于获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；第一确定模块，用于利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；第二确定模块，用于根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；第三确定模块，用于根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能。
可选地，在第二方面实施例一种可能的实现形式中，所述第三确定模块，具体用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的性能。
可选地，在第二方面实施例另一种可能的实现形式中，所述第三确定模块，还用于：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。
可选地，在第二方面实施例再一种可能的实现形式中，所述第三确定模块，还用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
第四确定模块，用于根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能。
可选地，在第二方面实施例又一种可能的实现形式中，所述装置，还包括：
修正模块，用于根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
第五确定模块，用于根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。
可选地，在第二方面实施例另一种可能的实现形式中，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；
所述第二确定模块，具体用于：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。
可选地，在第二方面实施例再一种可能的实现形式中，所述装置，还包括：
第六确定模块，用于确定每个检测物体信息的置信度；
排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
可选地，在第二方面实施例又一种可能的实现形式中，所述设备中包括显示屏组件，所述装置，还包括：
显示模块，用于在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
本申请再一方面实施例提出的智能设备，其包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前所述的智能设备性能测试方法。
本申请又一方面实施例提出的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如前所述的智能设备性能测试方法。
本申请又一方面实施例提出的计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
本申请实施例提供的智能设备性能测试方法、装置、智能设备、计算机可读存储介质及计算机程序，通过获取包括多帧图片及每帧图片中包括的实际物体信息的图片集，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种智能设备性能测试方法的流程示意图；
图2为本申请实施例所提供的另一种智能设备性能测试方法的流程示意图；
图3为本申请实施例所提供的再一种智能设备性能测试方法的流程示意图；
图4为本申请实施例提供的一种智能设备性能测试装置的结构示意图；
图5为本申请实施例提供的智能设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例针对相关技术中，不同厂商生产的智能设备，以及相同厂商生产的不同代产品的AI性能差异较大，并且不存在衡量设备AI性能的数字化指标，导致用户无法直观了解设备的AI性能的问题，提出一种智能设备性能测试方法。
本申请实施例提供的智能设备性能测试方法，通过获取包括多帧图片及每帧图片中包括的实际物体信息的图片集，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
下面参考附图对本申请提供的智能设备性能测试方法、装置、智能设备、存储介质及计算机程序进行详细描述。
下面结合图1，对本申请实施例提供的智能设备性能测试方法进行详细描述。
图1为本申请实施例所提供的一种智能设备性能测试方法的流程示意图。
如图1所示，该智能设备性能测试方法，包括以下步骤：
步骤101，获取图片集，图片集中包括多帧图片及每帧图片中包括的实际物体信息。
需要说明的是，本申请实施例的智能设备性能测试方法可以由本申请实施例的智能设备性能测试装置执行。本申请实施例的智能设备性能测试装置，可以配置在任意智能设备中，如手机、平板电脑、个人数字助理、穿戴式设备等，本申请实施例对此不做限定。实际使用时，本申请实施例的智能设备性能测试方法，可以应用于任意对智能设备的性能进行测试的场景，以下以应用于测试设备的AI性能为例，进行详细说明。
作为一种可能的实现方式，可以在获取到设备性能测试请求时，获取图片集，以对设备的性能进行测试。
其中，设备性能测试请求，可以是用户通过设备的输入装置(如鼠标、键盘、触摸屏等)主动输入的，也可以是设备在首次开机或每次开机后自动生成的。比如，可以在在设备的“设置”菜单中提供“设备性能测试”的选项，从而设备可以在检测到该选项被点击时，生成设备性能测试请求；或者，还可以在设备的开机程序中设置触发设备性能测试的代码，从而可以在设备首次开关或每次开机时主动触发设备性能测试，进而生成设备性能测试请求。
其中，图片集，可以是设备中本身具有的图库(如相册等)，也可以是为了测试设备性能预置的测试图片集，本申请实施例对此不做限定。比如，图片集可以是由预设视频包括的帧图片组成的。
其中，帧图片包括的实际物体信息，可以包括帧图片中包括的各实际物体的坐标、大小、名称等特征信息，本申请实施例对此不做限定。
在本申请实施例中，可以根据设备对图片集中的帧图片进行目标检测的效果，测试设备的性能。因此，在获取到设备性能测试请求时，可以获取用于目标检测的图片集，其中，图片集中可以包括多帧图片，以及各帧图片包括的实际物体信息，以根据各帧图片包括的实际物体信息评价目标检测结果的准确性。
需要说明的是，图片集中每帧图片包括的实际物体信息可以是通过人工的方式进行标注的。即可以通过人工的方式识别图片集中每帧图片包括的实际物体，并对实际物体信息进行标注，以保证实际物体信息的准确度。
步骤102，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息。
其中，预设的目标检测模型，是指预先训练的用于对图片进行目标检测的模型。比如，可以是MobileNet-SSD模型。
在本申请实施例中，可以将图片集中的每帧图片依次输入预设的目标检测模型，以使预设的目标检测模型对每帧图片进行目标检测，以确定每帧图片中包括的物体，并输出每帧图片中包括的各检测物体信息。其中，检测物体信息中，可以包括预设的目标检测模型确定的图片中包括的物体在图片中的坐标、所在边框的大小、名称等。
需要说明的是，在利用预设的目标检测模型对图片集中的每帧图片进行目标检测时，若图片集中的各帧图片的格式、尺寸、分辨率等与预设的目标检测模型所支持的格式、尺寸、分辨率不符，则可以首先对图片集中的各帧图片的格式、尺寸、分辨率等进行转换，以适应预设的目标检测模型。
举例来说，预设的目标检测模型为MobileNet-SSD模型，图片集中的各帧图片是预设视频中的帧图片，从预设视频中拆解出的帧图片为YUV格式的图片，进而将各YUV格式的帧图片转换为1080×1920像素的JPEG格式图片，以构成图片集。而MobileNet-SSD模型仅支持300×300像素的图片，从而可以首先将图片集中1080×1920尺寸的图片缩小为300×300像素的图片，再利用MobileNet-SSD模型对图片集中进行尺寸转换后的各帧图片进行目标检测。
步骤103，根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体。
其中，物体信息，可以包括物体的坐标、所在边框的大小及名称。
需要说明的是，在对图片集中的各帧图片进行标注实际物体信息，以及利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，可以以边框的形式对图片中的实际物体进行标注，以及以边框的形式对检测到的物体信息标注。从而，物体的坐标，可以是物体所在边框的中心点在图片中对应的坐标，可以采用物体所在边框的中心点对应的像素在图片中的坐标进行表示；物体所在边框的大小，可以是边框的长度和宽度，可以采用物体所在边框的长度和宽度分别对应的像素数量表示。
作为一种可能的实现方式，在物体信息中包括多个参量时，可以根据每帧图片中包括的各检测物体信息中各参量分别与实际物体信息中各参量的匹配度，确定每帧图片中的有效检测物体。即在本申请实施例一种可能的实现形式中，上述步骤103，可以包括：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定第一检测物体为有效检测物体。
其中，第一帧图片，是指图片集中的任一帧图片；第一检测物体，是指利用预设的目标检测模型检测到的第一帧图片中的任一检测物体。
作为一种可能的实现方式，若物体信息中包括多个维度的信息，则对于一个第一检测物体信息，若其包括的半数或半数以上维度的信息与实际物体信息匹配，则可以确定第一检测物体为有效检测物体。以下以物体信息中包括物体的坐标、所在边框的大小和名称为例，进行具体说明。
具体的，在物体信息中包括物体的坐标、所在边框的大小和名称时，可以在第一检测物体信息中的坐标、所在边框的大小和名称中的任意两个信息或三个信息，与第一帧图片中的任一个实际物体信息中的坐标、所在边框的大小和名称匹配时，确定第一检测物体为有效检测物体。
举例来说，若第一检测物体信息中的坐标与第一帧图片中实际物体信息A的坐标匹配，且第一检测物体信息中的所在边框大小与第一帧图片中实际物体信息A的所在边框大小匹配，则可以确定第一检测物体为有效检测物体。
需要说明的是，第一检测物体的坐标与实际物体的坐标匹配，可以是指第一检测物体的坐标与实际物体的坐标之间的距离小于或等于距离阈值。实际使用时，可以根据实际需要预设判定第一检测物体的坐标与实际物体的坐标匹配的条件，本申请实施例对此不做限定。
第一检测物体所在边框的大小与实际物体的所在边框的大小匹配，可以是指第一检测物体所在边框的长度与实际物体所在边框的长度间的差值小于或等于长度阈值，且第一检测物体所在边框的宽度与实际物体所在边框的宽度间的差值小于或等于宽度阈值；或者也可以是指第一检测物体所在边框的面积与实际物体所在边框的面积间的差值小于或等于面积阈值。实际使用时，可以根据实际需要预设判定第一检测物体的大小与实际物体的大小匹配的条件，本申请实施例对此不做限定。第一检测物体的名称与实际物体的名称是否匹配，可以根据两者之间的语义相似度进行判断。若第一检测物体的名称与实际物体的名称间的语义相似度大于相似度阈值，则可以确定第一检测物体的名称与实际物体的名称匹配；否则，可以确定第一检测物体的名称与实际物体的名称不匹配。实际使用时，确定第一检测物体的名称与实际物体的名称的语义相似度的方法，可以根据实际需要预设，本申请实施例对此不做限定。比如，可以采用两者之间的余弦相似度表示两者之间的语义相似度。
需要说明的是，若对图片集中的各帧图片进行目标检测之前，对图片集中的各帧图片进行了缩放处理，以适应预设的目标检测模型所支持的图片格式，则在确定各帧图片中的有效检测物体之前，可以按照对各帧图片信息缩放处理的缩放比例，对各帧图片中各检测物体信息进行缩放处理，以按照图片集中各帧图片的原始大小表示各检测物体信息。
步骤104，根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。
作为一种可能的实现方式，可以根据每帧图片中有效检测物体在实际物体中的占比，确定设备的性能得分。即在本申请实施例一种可能的实现形式中，上述步骤104，可以包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在图片集中的占比，确定设备的性能。
其中，有效图片，是指利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，对应的目标检测结果较准确的帧图片。
在本申请实施例中，图片中包含的有效检测物体越多，则可以说明预设的目标检测模型对该图片进行目标检测的准确率越高；而预设的目标检测模型对图片集中各帧图片进行目标检测的准确度，可以反映设备的AI性能。从而可以在确定出图片集中每帧图片中的有效检测物体之后，可以根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片。
具体的，可以预设第一阈值，进而根据每帧图片中有效检测物体在实际物体中的占比与第一阈值的关系，确定每帧图片是否为有效图片。即在本申请实施例一种可能的实现形式中，上述根据每帧图片中有效检测物体在各实际物体中的占比，确定每帧图片是否为有效图片，可以包括：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定第二帧图片为有效图片。
其中，第二帧图片，可以为图片集中的任一帧图片。
在本申请实施例中，若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则可以确定第二帧图片中有效检测物体的数量较多，即预设的目标检测模型对第二帧图片进行目标检测的准确度较高，从而可以将第二帧图片确定为有效图片；若第二帧图片中有效检测物体在实际物体中的占比小于或等于第一阈值，则可以确定第二帧图片中有效检测物体的数量较少，即预设的目标检测模型对第二帧图片进行目标检测的准确度较低，从而可以确定第二帧图片确定不是有效图片。
需要说明的是，实际使用时，第一阈值的具体取值，可以根据实际需要预设，本申请实施例对此不做限定。比如，第一阈值可以为0.5。
需要说明的是，有效图片在图片集中的占比，可以反映出设备中的目标检测模型对图片进行目标检测的准确度，从而可以作为衡量设备性能的一个指标。
具体的，有效图片在图片集中的占比越大，则可以确定预设的目标检测模型对图片进行目标检测的准确度越高；反之，则可以确定预设的目标检测模型对图片进行目标检测的准确度越低。
在本申请实施例中，可以利用设备中的目标检测模型对图片进行目标检测的准确度，衡量设备的性能，即可以根据有效图片在图片集中的占比，确定准确度得分，并将准确度得分确定为设备的性能。
具体的，确定设备的准确度得分的方式可以包括以下几种情形：
方式一
可以将有效图片的数量与图片集中总图片数量的比值，确定为有效图片在图片集中的占比，进而将有效图片在图片集中的占比，确定为设备的准确度得分。
方式二
预设设备的准确度得分所在的数值范围，根据准确度得分所处的数值范围对有效图片在图片集中的占比进行归一化处理，进而将归一化处理后的有效图片在图片集中的占比，确定为设备的准确度得分，即可以通过公式(1)确定设备的准确度得分。
其中，Score1为设备的准确度得分，M为有效图片的数量，N为图片集中总图片数量，[a,b]为设备的准确度得分所在的数值范围。
举例来说，有效图片的数量为80帧，图片集中总图片数量为100帧，设备的准确度得分所在的数值范围为[0,10]，则可以确定设备的准确度得分
需要说明的是，在确定出设备的准确度得分之后，可以将准确度得分直接确定为设备的性能。其中，设备的准确度得分(即设备的性能得分)越高，则说明设备的性能越好；反之，则说明设备的性能越差。
进一步的，为全面评价设备的性能，还可以将设备中的目标检测模型对图片进行目标检测的处理速度，作为衡量设备性能的另一个指标。即在本申请实施例一种可能的实现形式中，上述方法，还可以包括：
根据图片集的检测时间，确定设备画面每秒传输的帧数，根据每秒传输的帧数确定所述设备的性能。
在本申请实施例中，可以从两个方面衡量设备的性能，一个是根据有效图片在图片集中的占比，确定的准确度得分；一个是根据图片集的检测时间确定的处理速度得分。
其中，图片集的检测时间，是指预设的目标检测模型对图片集中所有图片的检测时间之和。也就是说，图片集的检测时间可以反映出设备的处理速度。
其中，设备画面每秒传输的帧数(Frame Per Second，简称FPS)，是指动画或视频的画面数。在本申请实施例中，可以用于表示设备中预设的目标检测模型每秒有效检测的图片数量，可以通过公式(2)计算：
其中，N为图片集中总图片数量，T'为图片集的检测时间。
需要说明的是，FPS越大，说明设备的处理速度越快；反之，说明设备的处理速度越慢。
在本申请实施例中，可以将设备的FPS确定为设备的处理速度得分。
作为一种可能的实现方式，可以利用图片集中无效图片(即图片集中除有效图片之外的图片)的数量，对设备的处理速度得分进行惩罚。即在本申请实施例一种可能的实现形式中，上述确定设备画面每秒传输的帧数之后，还可以包括：
根据有效图片在图片集中的占比，对设备画面每秒传输的帧数进行修正；
根据修正后的设备画面每秒传输的帧数，确定设备的性能。
可选的，在根据图片集的检测时间，确定设备的FPS之后，还可以根据有效图片在图片集中的占比，对设备的FPS进行修正。具体的，可以通过公式(3)确定修正后的FPS。
其中，FPS’为修正后的FPS，T为图片集的检测时间，N为图片集中总图片数量，ω为有效图片在图片集中的占比。
需要说明的是，在图片集的检测时间相同时，即FPS相同时，有效图片在图片集中的占比越小(即无效图片在图片集中的占比越大)，修正后的FPS越小，从而根据修正后的FPS确定的目标检测模型对图片集的检测速度越慢，从而实现了根据无效图片的数量对设备的处理速度得分进行惩罚，进一步提高了设备性能测试的可靠性。
在本申请实施例中，可以将修正后的FPS确定为设备的处理速度得分。
需要说明的是，将修正后的修正后的FPS确定为设备的处理速度得分时，设备的处理速度得分越大，则说明设备的性能越好；反之，则说明设备的性能越差。
在本申请实施例中，可以将设备的准确度得分和处理速度得分作为设备性能的两个独立参数，生成设备的性能；或者，也可以将设备的准确度得分和处理速度得分进行融合生成设备的性能，比如，可以将设备的准确度得分和处理速度得分之和、加权和等，确定为设备的性能。
本申请实施例提供的智能设备性能测试方法，通过获取包括多帧图片及每帧图片中包括的实际物体信息的图片集，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，还可以将有效图片中每个有效检测物体的与各实际物体的交并比，作为衡量设备性能的一个指标，以进一步提高设备性能检测的准确性。
下面结合图2，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图2为本申请实施例所提供的另一种智能设备性能测试方法的流程示意图。
如图2所示，该智能设备性能测试方法，包括以下步骤：
步骤201，获取图片集，图片集中包括多帧图片及每帧图片中包括的实际物体信息。
步骤202，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息。
步骤203，根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体。
步骤204，根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片。
上述步骤201-204的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤205，根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比。
其中，交并比(Intersection over Union，简称IoU)，是指，“预测的边框”与“真实的边框”的交集和并集的比值；在本申请实施例中，有效检测物体的交并比，是指该有效检测物体所在的边框与该有效检测物体所在的有效图片中的各实际物体所在的边框的交集与并集的比值。
在本申请实施例中，有效检测物体的交并比可以衡量该有效检测物体与图片中实际物体的重合程度，从而可以用来评价设备中预设的目标检测模型进行目标检测的准确度。
作为一种可能的实现方式，对于有效图片中的一个有效检测物体，可以根据该有效检测物体的坐标和所在边框的大小，确定该有效检测物体所在边框的具体边界(即预测边框)，以及根据有效图片中与该有效检测物体匹配的实际物体的坐标和所在边框的大小，确定与该有效检测物体匹配的实际物体所在边框的边界(即真实边框)，之后确定出预测边框与真实边框的并集，以预测边框与真实边框的交集，进而将上述交集与并集的比值，确定为该有效检测物体的交并比。以此类推，确定出每帧有效图片中每个有效检测物体的交并比。
步骤206，根据所有有效图片中所有有效检测物体的交并比，确定设备的性能。
在本申请实施例中，有效检测物体的交并比可以衡量该有效检测物体与图片中实际物体的重合程度，进而可以反映该有效检测物体的可靠性。具体的，有效检测物体的交并比越大，则可以确定该有效检测物体与有效图片中与其匹配的实际物体的重合程度越大，即该有效检测物体的可靠性越高。
作为一种可能的实现方式，在确定出所有有效图片中所有有效检测物体的交并比之后，可以确定所有有效图片中所有有效检测物体的交并比之和，进而利用所有有效图片中所有有效检测物体的交并比之和，确定设备的性能。
具体的，若设备的性能得分中包括准确度得分和处理速度得分，则可以根据所有有效图片中所有有效检测物体的交并比，确定设备的准确度得分。比如，可以将所有有效图片中所有有效检测物体的交并比之和，确定为设备的性能。
本申请实施例提供的智能设备性能测试方法，通过利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，并根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，之后根据每帧图片中有效检测物体在实际物体中的占比，确定图片集中的有效图片，进而根据所有有效图片中所有有效检测物体的交并比，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并利用有效检测物体的交并比确定目标检测模型对图片进行目标检测的准确度，进而确定设备的性能，从而不仅实现了通过数字化指标衡量设备的AI性能，而且进一步提高了设备AI性能测试的准确性。
在本申请一种可能的实现形式中，利用预设的目标检测模型对图片集进行目标检测时，还可以输出各检测物体的置信度，从而后续可以仅对置信度较高的各检测物体进行处理，以在提高设备性能测试准确度的同时，降低计算复杂度。
下面结合图3，对本申请实施例提供的智能设备性能测试方法进行进一步说明。
图3为本申请实施例所提供的再一种智能设备性能测试方法的流程示意图。
如图3所示，该智能设备性能测试方法，包括以下步骤：
步骤301，获取图片集，图片集中包括多帧图片及每帧图片中包括的实际物体信息。
步骤302，利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息。
步骤301-302的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
步骤303，确定每个检测物体信息的置信度。
在本申请实施例中，可以预训练可以输出检测物体信息的置信度的目标检测模型，从而在利用预设的目标检测模型对图片集中的各帧图片进行目标检测时，可以同时输出每帧图片包括的检测物体信息及检测物体信息的置信度。
步骤304，按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序。
步骤305，保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
在本申请实施例中，检测物体信息的置信度可以衡量该检测物体信息的可靠性，即检测物体信息的置信度越高，该检测物体信息的可靠性越高。对于置信度过低的检测物体信息，其可靠性较差，对衡量目标检测精度的贡献也较少，从而可以将置信度较低的检测物体信息去除。
具体的，对于每帧图片，可以将每帧图片中包括的检测物体信息按照置信度进行排序，仅保留置信度大于第二阈值、且排序位于前N位的各检测物体信息，而将其他检测物体信息去除，从而不仅可以降低置信度较低的检测物体信息对设备性能测试结果的影响，而且可以降低每帧图片中检测物体信息的数量，从而可以避免每帧图片中各检测物体信息间的过渡重合对设备性能测试结果的影响，并且降低了设备性能测试的计算复杂度。
可以理解的是，若帧图片中置信度大于第二阈值的检测物体信息的数量大于或等于N，则保留该帧图片中排序位于前N位的检测物体信息；若帧图片中置信度大于第二阈值的检测物体信息的数量小于N，则保留该帧图片中置信度大于第二阈值的所有检测物体信息。
实际使用时，可以根据实际需要预设第二阈值及N的具体取值，本申请实施例对此做限定。比如，第二阈值可以为0.5，N可以为10。
需要说明的是，对每帧图片中的各检测物体信息进行排序并筛选之后，本申请实施例的后续步骤仅对每帧图片中保留的各检测物体信息进行处理。
步骤306，根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体。
步骤307，根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。
上述步骤306-307的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
进一步的，若设备中包括显示屏组件，还可以在设备的显示屏组件中显示对各帧图片进行目标检测的结果。即在本申请实施例一种可能的实现形式中，上述方法，还可以包括：
在利用预设的目标检测模型，对图片集中的每帧图片进行目标检测时，在显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
在本申请实施例中，可以在预设的目标检测模型对一帧图片进行目标检测时，在设备的显示屏组件中显示该帧图片，并在完成对一帧图片的目标检测时，根据该帧图片中各检测物体信息中的物体坐标和所在边框的大小，在该帧图片中生成各检测物体的所在边框，并在各检测物体的所在边框中标注各检测物体的名称，进而在设备的显示屏组件中显示标注有个检测物体所在边框及名称的图片。
可选的，在对帧图片包括的各检测物体信息进行显示之前，还可以首先根据各检测物体信息的置信度对各检测物体信息进行排序和筛选，并仅在设备的显示屏的显示组件中仅显示置信度大于第二阈值且排序位于前N位的各检测物体信息。
进一步的，在设备中包括显示屏组件时，还可以在确定出设备的性能之后，在设备的显示屏组件中显示设备的性能，以使用户可以直观了解设备的性能。
本申请实施例提供的智能设备性能测试方法，通过利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息根据每帧图片中每个检测物体信息的置信度，将每帧图片中的各检测物体信息进行排序，以保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，并根据各检测物体信息的置信度对各检测物体信息进行筛选，从而不仅实现了通过数字化指标衡量设备的AI性能，而且进一步提高了设备AI性能测试的可靠性。
为了实现上述实施例，本申请还提出一种智能设备性能测试装置。
图4为本申请实施例提供的一种智能设备性能测试装置的结构示意图。
如图4所示，该智能设备性能测试装置40，包括：
第一获取模块41，用于获取图片集，图片集中包括多帧图片及每帧图片中包括的实际物体信息。
第一确定模块42，用于利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息。
第二确定模块43，用于根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体。
第三确定模块44，用于根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。
在实际使用时，本申请实施例提供的智能设备性能测试装置，可以被配置在任意智能设备中，以执行前述智能设备性能测试方法。
本申请实施例提供的智能设备性能测试装置，通过获取包括多帧图片及每帧图片中包括的实际物体信息的图片集，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
在本申请一种可能的实现形式中，上述第三确定模块44，具体用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在图片集中的占比，确定设备的性能。
进一步的，在本申请另一种可能的实现形式中，上述第三确定模块44，还用于：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定第二帧图片为有效图片。
进一步的，在本申请再一种可能的实现形式中，上述第三确定模块44，还用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定设备的性能。
在本申请一种可能的实现形式中，上述智能设备性能测试装置40，还包括：
第四确定模块，用于根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能。
进一步的，本申请另一种可能的实现形式中，上述智能设备性能测试装置40，还包括：
修正模块，用于根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
第五确定模块，用于根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。
进一步的，在本申请再一种可能的实现形式中，上述物体信息包括：坐标、所在边框的大小及名称；
相应的，上述第二确定模块43，具体用于：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定第一检测物体为有效检测物体。
进一步的，在本申请又一种可能的实现形式中，上述智能设备性能测试装置40，还包括：
第六确定模块，用于确定每个检测物体信息的置信度；
排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
进一步的，在本申请又一种可能的实现形式中，上述设备中包括显示屏组件，上述智能设备性能测试装置40，还包括：
显示模块，用于在利用预设的目标检测模型，对图片集中的每帧图片进行目标检测时，在显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
需要说明的是，前述对图1、图2、图3所示的智能设备性能测试方法实施例的解释说明也适用于该实施例的智能设备性能测试装置40，此处不再赘述。
本申请实施例提供的智能设备性能测试装置，通过利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，并根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，之后根据每帧图片中有效检测物体在实际物体中的占比，确定图片集中的有效图片，进而根据所有有效图片中所有有效检测物体的交并比，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并利用有效检测物体的交并比确定目标检测模型对图片进行目标检测的准确度，进而确定设备的性能，从而不仅实现了通过数字化指标衡量设备的AI性能，而且进一步提高了设备AI性能测试的准确性。
为了实现上述实施例，本申请还提出一种智能设备。
图5为本发明一个实施例的智能设备的结构示意图。
如图5所示，上述智能设备200包括：
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本申请实施例所述的智能设备性能测试方法。
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
智能设备200典型地包括多种智能设备可读介质。这些介质可以是任何能够被智能设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)240和/或高速缓存存储器250。智能设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
智能设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该智能设备200交互的设备通信，和/或与使得该智能设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且，智能设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与智能设备200的其它模块通信。应当明白，尽管图中未示出，可以结合智能设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
需要说明的是，本实施例的智能设备的实施过程和技术原理参见前述对本申请实施例的智能设备性能测试方法的解释说明，此处不再赘述。
本申请实施例提供的智能设备，可以执行如前所述的智能设备性能测试方法，通过获取包括多帧图片及每帧图片中包括的实际物体信息的图片集，并利用预设的目标检测模型，对图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息，之后根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体，进而根据每帧图片中有效检测物体与实际物体间的关系，确定设备的性能。由此，通过利用预设的目标检测模型对图片集中的每帧图片进行目标检测，并根据目标检测模型对图片进行目标检测的准确度，确定设备的性能，从而实现了通过数字化指标衡量设备的AI性能，有助于用户直观了解设备的AI性能。
为了实现上述实施例，本申请还提出一种计算机可读存储介质。
其中，该计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
为了实现上述实施例，本申请再一方面实施例提供一种计算机程序，该程序被处理器执行时，以实现本申请实施例所述的智能设备性能测试方法。
一种可选实现形式中，本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (14)
1.一种智能设备性能测试方法，其特征在于，包括：
获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；
利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；
根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；
根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能；
所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能；
所述确定每个有效检测物体的交并比包括：根据有效检测物体的坐标和所在边框的大小，确定有效检测物体所在边框的预测边框，以及根据有效图片中与有效检测物体匹配的实际物体的坐标和所在边框的大小，确定与有效检测物体匹配的实际物体所在真实边框，确定出预测边框与真实边框的并集，以及预测边框与真实边框的交集，进而将交集与并集的比值，确定为该有效检测物体的交并比；
根据所述图片集的检测时间，确定设备画面每秒传输的帧数，根据所述每秒传输的帧数确定所述设备的性能；
所述确定设备画面每秒传输的帧数之后，还包括：
根据所述有效图片在所述图片集中的占比，对所述设备画面每秒传输的帧数进行修正；
根据修正后的设备画面每秒传输的帧数，确定所述设备的性能。
2.如权利要求1所述的方法，其特征在于，所述根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能，包括：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的性能。
3.如权利要求2所述的方法，其特征在于，所述根据每帧图片中有效检测物体在各实际物体中的占比，确定每帧图片是否为有效图片，包括：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。
4.如权利要求1所述的方法，其特征在于，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；
所述确定每帧图片中的有效检测物体，包括：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。
5.如权利要求1-3任一所述的方法，其特征在于，所述确定每帧图片中包括的各检测物体信息之后，还包括：
确定每个检测物体信息的置信度；
按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
6.如权利要求1-3任一所述的方法，其特征在于，所述设备中包括显示屏组件，所述方法，还包括：
在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
7.一种智能设备性能测试装置，其特征在于，包括：
第一获取模块，用于获取图片集，所述图片集中包括多帧图片及每帧图片中包括的实际物体信息；
第一确定模块，用于利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测，确定每帧图片中包括的各检测物体信息；
第二确定模块，用于根据每帧图片中包括的各检测物体信息，与每帧图片中包括的实际物体信息的匹配度，确定每帧图片中的有效检测物体；
第三确定模块，用于根据每帧图片中有效检测物体与实际物体间的关系，确定所述设备的性能；
所述第三确定模块，还用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据每帧有效图片中每个有效检测物体的检测物体信息与实际物体信息，确定每个有效检测物体的交并比；
根据所有有效图片中所有有效检测物体的交并比，确定所述设备的性能；
所述确定每个有效检测物体的交并比包括：根据有效检测物体的坐标和所在边框的大小，确定有效检测物体所在边框的预测边框，以及根据有效图片中与有效检测物体匹配的实际物体的坐标和所在边框的大小，确定与有效检测物体匹配的实际物体所在真实边框，确定出预测边框与真实边框的并集，以及预测边框与真实边框的交集，进而将交集与并集的比值，确定为该有效检测物体的交并比。
8.如权利要求7所述的装置，其特征在于，所述第三确定模块，具体用于：
根据每帧图片中有效检测物体在实际物体中的占比，确定每帧图片是否为有效图片；
根据有效图片在所述图片集中的占比，确定所述设备的性能。
9.如权利要求8所述的装置，其特征在于，所述第三确定模块，还用于：
若第二帧图片中有效检测物体在实际物体中的占比大于第一阈值，则确定所述第二帧图片为有效图片。
10.如权利要求7所述的装置，其特征在于，所述物体信息包括：坐标、所在边框的大小及名称三个维度的信息；
所述第二确定模块，具体用于：
若第一帧图片中第一检测物体的至少两个维度的信息，分别与所述第一帧图片中包括的任一实际物体的至少两个维度的信息匹配，则确定所述第一检测物体为有效检测物体。
11.如权利要求7-9任一所述的装置，其特征在于，还包括：
第六确定模块，用于确定每个检测物体信息的置信度；
排序模块，用于按照置信度由大至小的顺序，将每帧图片中的各检测物体信息进行排序；
保留模块，用于保留每帧图片中置信度大于第二阈值、且位于前N位的各检测物体信息，其中，N为大于1的正整数。
12.如权利要求7-9任一所述的装置，其特征在于，所述设备中包括显示屏组件，所述装置，还包括：
显示模块，用于在利用预设的目标检测模型，对所述图片集中的每帧图片进行目标检测时，在所述显示屏组件中，显示当前被检测图片及图片中的各检测物体信息。
13.一种智能设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的智能设备性能测试方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的智能设备性能测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347279.XA CN111124862B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347279.XA CN111124862B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111124862A CN111124862A (zh) | 2020-05-08 |
| CN111124862B true CN111124862B (zh) | 2024-01-30 |
Family
ID=70501753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347279.XA Active CN111124862B (zh) | 2019-12-24 | 2019-12-24 | 智能设备性能测试方法、装置及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111124862B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115018301A (zh) * | 2022-05-30 | 2022-09-06 | 佛山市美的清湖净水设备有限公司 | 软水设备的性能检测方法、装置及电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194419A (zh) * | 2017-05-10 | 2017-09-22 | 百度在线网络技术（北京）有限公司 | 视频分类方法及装置、计算机设备与可读介质 |
| WO2018082388A1 (zh) * | 2016-11-02 | 2018-05-11 | 华为技术有限公司 | 一种肤色检测方法、装置及终端 |
| CN109344717A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种多阈值动态统计的深海目标在线检测识别方法 |
| CN109598303A (zh) * | 2018-12-03 | 2019-04-09 | 江西洪都航空工业集团有限责任公司 | 一种基于城市场景的垃圾检测方法 |
| WO2019119515A1 (zh) * | 2017-12-22 | 2019-06-27 | 深圳云天励飞技术有限公司 | 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路 |
| CN110046081A (zh) * | 2019-03-18 | 2019-07-23 | 平安普惠企业管理有限公司 | 性能测试方法、性能测试装置、电子设备及存储介质 |
| CN110298402A (zh) * | 2019-07-01 | 2019-10-01 | 国网内蒙古东部电力有限公司 | 一种小目标检测性能优化方法 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
| CN110427908A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 一种人物检测的方法、装置及计算机可读存储介质 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
-
2019
- 2019-12-24 CN CN201911347279.XA patent/CN111124862B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082388A1 (zh) * | 2016-11-02 | 2018-05-11 | 华为技术有限公司 | 一种肤色检测方法、装置及终端 |
| CN107194419A (zh) * | 2017-05-10 | 2017-09-22 | 百度在线网络技术（北京）有限公司 | 视频分类方法及装置、计算机设备与可读介质 |
| WO2019119515A1 (zh) * | 2017-12-22 | 2019-06-27 | 深圳云天励飞技术有限公司 | 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路 |
| CN109344717A (zh) * | 2018-09-01 | 2019-02-15 | 哈尔滨工程大学 | 一种多阈值动态统计的深海目标在线检测识别方法 |
| CN109598303A (zh) * | 2018-12-03 | 2019-04-09 | 江西洪都航空工业集团有限责任公司 | 一种基于城市场景的垃圾检测方法 |
| CN110046081A (zh) * | 2019-03-18 | 2019-07-23 | 平安普惠企业管理有限公司 | 性能测试方法、性能测试装置、电子设备及存储介质 |
| CN110298402A (zh) * | 2019-07-01 | 2019-10-01 | 国网内蒙古东部电力有限公司 | 一种小目标检测性能优化方法 |
| CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
| CN110427908A (zh) * | 2019-08-08 | 2019-11-08 | 北京百度网讯科技有限公司 | 一种人物检测的方法、装置及计算机可读存储介质 |
| CN110515811A (zh) * | 2019-08-09 | 2019-11-29 | 中国信息通信研究院 | 终端人工智能性能基准测试方法及装置 |
| CN110544251A (zh) * | 2019-09-08 | 2019-12-06 | 刘凡 | 基于多迁移学习模型融合的大坝裂缝检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111124862A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242913B (zh) | 采集器相对参数的标定方法、装置、设备和介质 | |
| CN109582880B (zh) | 兴趣点信息处理方法、装置、终端及存储介质 | |
| CN109543680B (zh) | 兴趣点的位置确定方法、装置设备和介质 | |
| JP2018063236A (ja) | 点群データにアノテーションを付与する方法および装置 | |
| EP3637310A1 (en) | Method and apparatus for generating vehicle damage information | |
| CN111309618B (zh) | 页面元素定位方法、页面测试方法及相关装置 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN107909088B (zh) | 获取训练样本的方法、装置、设备和计算机存储介质 | |
| US20230214989A1 (en) | Defect detection method, electronic device and readable storage medium | |
| CN111144493A (zh) | 一种自动识别算法指标测试的方法、存储介质及电子终端 | |
| CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
| CN111126487A (zh) | 设备性能测试方法、装置及电子设备 | |
| CN113255516A (zh) | 活体检测方法、装置和电子设备 | |
| CN110909889A (zh) | 一种基于特征分布的训练集生成、模型训练方法及装置 | |
| CN111124862B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN110826646A (zh) | 机器人视觉测试方法、装置、存储介质及终端设备 | |
| JP2021528767A (ja) | 視覚的検索方法、装置、コンピュータ機器及び記憶媒体 | |
| CN111914841B (zh) | 一种ct图像处理方法和装置 | |
| CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
| CN113762303A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112153320B (zh) | 一种物品尺寸的测量方法、装置、电子设备和存储介质 | |
| CN111026989B (zh) | 页面加载时间的检测方法、装置和电子设备 | |
| CN114694257A (zh) | 多人实时三维动作识别评估方法、装置、设备及介质 | |
| CN110647826B (zh) | 商品训练图片的获取方法、装置、计算机设备和存储介质 | |
| CN112966671A (zh) | 一种合同检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |