CN110991485B - 一种目标检测算法的性能评估方法及系统 - Google Patents

一种目标检测算法的性能评估方法及系统 Download PDF

Info

Publication number
CN110991485B
CN110991485B CN201911081588.7A CN201911081588A CN110991485B CN 110991485 B CN110991485 B CN 110991485B CN 201911081588 A CN201911081588 A CN 201911081588A CN 110991485 B CN110991485 B CN 110991485B
Authority
CN
China
Prior art keywords
average
target
precision mean
score
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911081588.7A
Other languages
English (en)
Other versions
CN110991485A (zh
Inventor
鲍捷
吕春
罗庚
曹乐兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU FOURIER ELECTRONIC TECHNOLOGY CO LTD
Shenzhen SDG Information Co Ltd
Original Assignee
CHENGDU FOURIER ELECTRONIC TECHNOLOGY CO LTD
Shenzhen SDG Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHENGDU FOURIER ELECTRONIC TECHNOLOGY CO LTD, Shenzhen SDG Information Co Ltd filed Critical CHENGDU FOURIER ELECTRONIC TECHNOLOGY CO LTD
Priority to CN201911081588.7A priority Critical patent/CN110991485B/zh
Publication of CN110991485A publication Critical patent/CN110991485A/zh
Application granted granted Critical
Publication of CN110991485B publication Critical patent/CN110991485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种目标检测算法的性能评估方法及系统，方法包括：根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，进行加权得出综合评估结果。本方法/系统的应用，可实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。

Description

一种目标检测算法的性能评估方法及系统
技术领域
本发明涉及图像处理及目标检测技术，尤其与一种目标检测算法的性能评估方法及系统相关。
背景技术
目标检测技术是近年来计算机视觉领域中备受关注的方向，主要涉及计算机视觉、图像处理、人工智能、模式识别等学科，被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。为了解决目标检测实际应用的如：目标体征、复杂背景环境、语音差异、计算复杂性与自适应性等问题，其算法也层出不穷。
研究者们在目标区域提取、特征描述子的表述、分类器的设计等方面采取了许多针对性的处理策略，已经提出了许多有效的基于视觉的目标检测算法，尤其是在神经网络技术快速崛起的时刻，其识别准确率获得了非常大的提升；但算法的结果往往仅通过论文或采用数据集进行跑分，尚未有一套有效的方法对基于应用的目标检测算法进行综合评价/评估。
发明内容
本发明主要针对相关现有技术的不足，提供一种目标检测算法的性能评估方法及系统，实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐。
为了实现上述目的，本发明采用以下技术：
一种目标检测算法的性能评估方法，其特征在于，包括步骤：
根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；
利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；
整合评分结果加权得出综合评估结果。
进一步，所述整合评分结果加权得出综合评估结果，是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。
进一步，图像质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分。
进一步，图像分辨率平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分。
进一步，目标质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分。
进一步，目标大小平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到目标大小平均精度均值mAP评分。
进一步，平均精度均值mAP的计算，是对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP。
一种目标检测算法的性能评估系统，其特征在于，包括：
数据集生产模块，用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；
评分模块，用于利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；
综合评估模块，用于对评分模块获得的评分机进行整合，加权得出综合评估结果。
进一步， 所述综合评估模块，用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得。
进一步，评分模块，包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元，以及预测标签生成单元、计算单元、加权单元，其中：
图像质量测试集生成单元，用于在所述数据集中提取多个不同质量等级的子集，作为图像质量测试集；
图像分辨率测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集；
目标质量测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的目标质量测试集；
目标大小测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的目标大小测试集；
预测标签生成单元，用于利用各测试集生成单元生成的测试集分别对待测算法进行测试，分别得到各测试集生成单元对应的所有预测标签；
计算单元，用于根据各测试集生成单元对应的所有预测标签，结合各测试集对应的真实标签，分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP；
加权单元，用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算，分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
本发明有益效果在于：
1、采用本发明的方法或系统，可对不同的目标检测算法进行评估，通过将待测算法输入本方法/系统，经过从数据集中处理处不同等级的测试集进行测试以获得预测标签，结合真实标签进行mAP计算，并做加权处理，然后再对不同目标参数下的评估分数进行加强获得综合评估结果分数，通过比较分数，实现对不同算法性能的比较，以便于优选出有发展前途的目标检测算法/系统，加快其实用化步伐；
2、平均精度均值mAP的计算，是采用对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP，确保了计算的精度和计算结果的有效参考性；
3、同时提供至少图像质量、图像分辨率、目标质量、目标大小中的一种目标参数下的评估结果，可适用不同待测目标检测算法的评估需求；
4、图像质量评分采用多个不同等级的测试集，如5个，分别获得mAP，再加权得到图像质量评分；同样，图像分辨率的评估采用了大中小三种等级，目标质量的评估采用了好与差两种等级，目标大小的评估采用了大中小三种等级，提高了评估精度，确保该评估的准确性和可参考性。
附图说明
图1为本申请实施例的评估方法总体流程。
图2为本申请实施例的整合评分结果加权得出综合评估结果的示意图。
图3为本申请实施例的图像质量平均精度均值mAP评分获取步骤示意图。
图4为本申请实施例的图像分辨率平均精度均值mAP评分获取步骤示意图。
图5为本申请实施例的目标质量平均精度均值mAP评分获取步骤示意图。
图6为本申请实施例的目标大小平均精度均值mAP评分获取步骤示意图。
图7为本申请实施例的评估系统结构图。
图8为本申请实施例的综合评估模块功能示意图。
图9为本申请实施例的评分模块结构图。
具体实施方式
下面结合附图，详细说明本申请的方法及系统的实施手段/方式，并附实例。
进行目标检测算法的性能评估方法实施，如图1所示：
（1）接收输入的待测算法；
（2）在总体测试数据集中，根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集。
（3）对需要测评的目标，如图像质量、图像分辨率、目标质量、目标大小中至少一种，分别利用所述数据集获得测试集，通过测试集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权，分别获得对应目标下的评分。
（4）整合多种/至少一种目标下的评分结果加权得出综合评估结果。
（5）输出综合评估结果。
其中，平均精度均值mAP的计算，是对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP。
具体的，实施过程为：
1、测试集准备
在总体测试集中，选择具有被测目标种类的数据集。
2、分类评分，根据待测算法，进行以下至少一种评分
1）图像质量评分
如图3所示，图像质量平均精度均值mAP评分，通过以下步骤获得：
首先，在所述数据集中提取多个不同质量等级的子集，作为测试集。比如，分别从数据集提取5种质量等级的5个测试集T1~T5。
其次，利用各测试集分别对待测算法进行测试，得到所有预测标签。比如，对测试集进行测试，得到所有预测标签P1-P5。
然后，根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP。比如，计算T1与P1的mAP1，计算T2与P2的mAP2，同理得到mAP3、mAP4、mAP5，因此，得出5个等级的评分。
最后，对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分。比如，对得到的5个等级的评分，最终加权得到图像质量评分S1。具体加权，可以采用平均加权或归一化加权方式。
2）图像分辨率评分
如图4所示，图像分辨率平均精度均值mAP评分，通过以下步骤获得：
首先，在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集。比如，以1）图像质量评分中的例子作为基础，在T1~T5中选择T4~T5(排除质量因素对评分的影响)，合并为一个测试集，命名为测试集TG，并按分辨率大、中、小分为3类登记的测试集。
其次，利用各测试集分别对待测算法进行测试，得到所有预测标签。
然后，根据所有所述预测标签，结合各测试集对应的真实标签，分别计算3个不同等级对应的平均精度均值mAP。
最后，对3个不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分S2。具体加权，可采用平均加权方式。
3）目标质量评分
如图5所示，目标质量平均精度均值mAP评分，通过以下步骤获得：
首先，在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集。比如，继续选择测试集TG，并按目标质量好与差，分为2类集合，以分别作为2个不同等级的测试集。
然后，利用各测试集分别对待测算法进行测试，得到所有预测标签。
再次，根据所有所述预测标签，结合各测试集对应的真实标签，分别计算此2类不同等级对应的平均精度均值mAP。
最后，对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分S3。具体加权，可采用平均加权或归一化加权方式。
4）目标大小评分
如图6所示，目标大小平均精度均值mAP评分，通过以下步骤获得：
首先，在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集。比如，继续选择TG测试集，按目标大、中、小，分为3个集合，分别作为3个不同等级的测试集。
然后，利用各测试集分别对待测算法进行测试，得到所有预测标签；
再次，根据所有所述预测标签，结合各测试集对应的真实标签，分别计算此3类不同等级对应的平均精度均值mAP；
最后，对不同等级对应的平均精度均值mAP进行加权计算，得到目标大小平均精度均值mAP评分S4。具体加权，可采用平均加权方式。
5）计算总分
如图2所示，所述整合评分结果加权得出综合评估结果，是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，进行加权得出综合评估结果。
具体的，在上述实施方式对应的实例中，按照以上图像不同性质对算法进行评分得到S1~S4，最终对其加权得到总分S总。具体加权，可采用平均加权方式。
通过对不同目标检测算法评估，比较其对应得到的总分S总，实现对不同算法性能的比较，以便于优选出更优的目标检测算法/系统。
如图7所示，为本申请提供的一种目标检测算法的性能评估系统的结构框图。在该实例中，包括：数据集生产模块、评分模块、综合评估模块。
数据集生产模块，用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集。
评分模块，用于利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分。
作为评分模块的具体实施方式之一，如图9所示，其结构包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一个单元，以及预测标签生成单元、计算单元、加权单元。
其中，图像质量测试集生成单元，用于在所述数据集中提取多个不同质量等级的子集，作为图像质量测试集。
其中，图像分辨率测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集。
其中，目标质量测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的目标质量测试集。
其中，目标大小测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的目标大小测试集。
其中，预测标签生成单元，用于利用各测试集生成单元生成的测试集分别对待测算法进行测试，分别得到各测试集生成单元对应的所有预测标签。
其中，计算单元，用于根据各测试集生成单元对应的所有预测标签，结合各测试集对应的真实标签，分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP。
其中，加权单元，用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算，分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
综合评估模块，用于对评分模块获得的评分机进行整合，加权得出综合评估结果。
具体的，如图8所示，综合评估模块，用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，进行加权得出综合评估结果。
应用实例
在测试集数据库中随机生成一批设定数量（50000张）的测试集，包含各种条件的数据信息，并保存为txt文档，提供给外部算法。
外部算法，根据保存的测试集信息txt文档，对测试集进行目标检测并生成全部预测标签。
根据需求设定选择图像质量评分、图像分辨率频分、目标质量评分、目标大小评分共4种。
点击进行评分。
1）质量评分：
后台从预测标签中提出质量等级1~5的标签，与其对应的真实标签计算评分，参考总体评分中的计算方法得到质量评分分别为：0.09, 0.18, 0.31, 0.45, 0.56。
对以上评分进行加权，得到质量评分总分：0.318
2）图像分辨率评分：同理按照第一章节算法，得到3个等级分数：0.3， 0.4， 0.5，加权总分：0.4。
3）同理得到目标质量3等级评分：0.2， 0.4， 0.6 ，加权总分为：0.4。
4）同理得到目标大小3等级评分：0.2， 0.4， 0.6 ，加权总分为：0.4。
最终加权得到总体评分：质量加权因子0.4，其余0.2；得到总分：
0.318x0.4+0.4x0.2+0.4x0.2+0.4x0.2 =0.3672。
根据实际应用的需求，各目标参数对应的评分加权可采用平均加权、归一化加权等方法完成，也可为每个结果设定加权因子来完成加权。
通过输入不同的待测算法，获得不同的总分评估结果，实现对不同算法性能的比较，以便于优选出更优的目标检测算法/系统。
以上仅举例说了，同时选择/包含有图像质量、图像分辨率、目标质量、目标大小评估的例子，在实际应用中，具体的，可根据待测的同类算法，针对同类算法为了方便比较，均选择同样的目标参数进行评估，如图像质量、图像分辨率、目标质量、目标大小中的一种或多种。

Claims (3)

1.一种目标检测算法的性能评估方法，其特征在于，包括步骤：
根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；
利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；
整合评分结果得出综合评估结果：将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；
其中，图像质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取多个不同质量等级的子集，作为测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像质量平均精度均值mAP评分；
图像分辨率平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到图像分辨率平均精度均值mAP评分；
目标质量平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到目标质量平均精度均值mAP评分；
目标大小平均精度均值mAP评分，通过以下步骤获得：
在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的测试集，利用各测试集分别对待测算法进行测试，得到所有预测标签；
根据所有所述预测标签，结合各测试集对应的真实标签，分别计算不同等级对应的平均精度均值mAP；
对不同等级对应的平均精度均值mAP进行加权计算，得到目标大小平均精度均值mAP评分。
2.根据权利要求1所述的目标检测算法的性能评估方法，其特征在于，平均精度均值mAP的计算，是对不同的IoU阈值（0.5-0.95，0.05为步长）分别计算平均精度AP，再综合平均，得出平均精度均值mAP。
3.一种目标检测算法的性能评估系统，其特征在于，包括：
数据集生产模块，用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集；
评分模块，用于利用所述数据集对待测算法进行测试，得到预测标签，并根据所述预测标签，结合数据集的真实标签，计算平均精度均值mAP并加权进行评分；
综合评估模块，用于对评分模块获得的评分进行整合，将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果；其中，图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分，分别是通过计算平均精度均值mAP并加权进行评分获得；
其中，评分模块包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元，以及预测标签生成单元、计算单元、加权单元，其中：
图像质量测试集生成单元，用于在所述数据集中提取多个不同质量等级的子集，作为图像质量测试集；
图像分辨率测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集；
目标质量测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标质量好与差分为2个等级的目标质量测试集；
目标大小测试集生成单元，用于在所述数据集中提取至少3个不同质量等级的子集，并将其中至少两个子集合并为一个集合，并将所述集合按目标大、中、小分为3个等级的目标大小测试集；
预测标签生成单元，用于利用各测试集生成单元生成的测试集分别对待测算法进行测试，分别得到各测试集生成单元对应的所有预测标签；
计算单元，用于根据各测试集生成单元对应的所有预测标签，结合各测试集对应的真实标签，分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP；
加权单元，用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算，分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
CN201911081588.7A 2019-11-07 2019-11-07 一种目标检测算法的性能评估方法及系统 Active CN110991485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911081588.7A CN110991485B (zh) 2019-11-07 2019-11-07 一种目标检测算法的性能评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911081588.7A CN110991485B (zh) 2019-11-07 2019-11-07 一种目标检测算法的性能评估方法及系统

Publications (2)

Publication Number Publication Date
CN110991485A CN110991485A (zh) 2020-04-10
CN110991485B true CN110991485B (zh) 2023-04-14

Family

ID=70083448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911081588.7A Active CN110991485B (zh) 2019-11-07 2019-11-07 一种目标检测算法的性能评估方法及系统

Country Status (1)

Country Link
CN (1) CN110991485B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654694B (zh) * 2020-06-18 2022-05-20 北京字节跳动网络技术有限公司 图像处理算法的质量评测方法、装置及电子设备
CN112329892A (zh) * 2020-12-03 2021-02-05 中国第一汽车股份有限公司 一种目标检测算法的评估方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694385A (zh) * 2009-10-19 2010-04-14 河海大学 基于傅立叶光学的微小目标检测仪及检测方法
CN102902951A (zh) * 2012-06-29 2013-01-30 陕西省交通规划设计研究院 高清视频监控图像的车辆目标定位、事件检测系统及方法
WO2015004434A1 (en) * 2013-07-08 2015-01-15 University Of Surrey Compact and robust signature for large scale visual search, retrieval and classification
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008002275A1 (de) * 2008-06-06 2009-12-10 Robert Bosch Gmbh Bildverarbeitungsvorrichtung mit Kalibrierungsmodul, Verfahren zur Kalibrierung sowie Computerprogramm
DE102010037746B4 (de) * 2010-09-23 2013-01-24 Carl Mahr Holding Gmbh Verfahren zum optischen Antasten einer Kante in oder an einem Oberflächenbereich
CN102129576B (zh) * 2011-02-28 2012-12-05 西安电子科技大学 全天空极光图像占空比参数的提取方法
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN102768731A (zh) * 2012-06-29 2012-11-07 陕西省交通规划设计研究院 基于高清视频图像目标自动定位识别系统及方法
JP6443869B2 (ja) * 2014-11-14 2018-12-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像を処理するためのシステムおよび方法
CN109490843B (zh) * 2018-11-15 2020-08-04 成都傅立叶电子科技有限公司 一种归一化雷达屏幕监测方法及系统
CN110097568B (zh) * 2019-05-13 2023-06-09 中国石油大学(华东) 一种基于时空双分支网络的视频对象检测与分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101694385A (zh) * 2009-10-19 2010-04-14 河海大学 基于傅立叶光学的微小目标检测仪及检测方法
CN102902951A (zh) * 2012-06-29 2013-01-30 陕西省交通规划设计研究院 高清视频监控图像的车辆目标定位、事件检测系统及方法
WO2015004434A1 (en) * 2013-07-08 2015-01-15 University Of Surrey Compact and robust signature for large scale visual search, retrieval and classification
CN110136062A (zh) * 2019-05-10 2019-08-16 武汉大学 一种联合语义分割的超分辨率重建方法

Also Published As

Publication number Publication date
CN110991485A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN103605972A (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN108122008A (zh) 基于稀疏表示和多特征决策级融合的sar图像识别方法
CN110991485B (zh) 一种目标检测算法的性能评估方法及系统
CN107392221B (zh) 分类模型的训练方法、分类ocr识别结果的方法及装置
CN112488211A (zh) 一种织物图像瑕疵分类方法
CN103646256A (zh) 一种基于图像特征稀疏重构的图像分类方法
CN111241957A (zh) 一种基于多特征融合和de-elm的手指静脉活体检测方法
CN113537321A (zh) 一种基于孤立森林和x均值的网络流量异常检测方法
CN104143088B (zh) 一种基于图像检索和特征权重学习的人脸识别方法
CN111008650B (zh) 一种基于深度卷积对抗神经网络的金相组织自动评级方法
CN112597798A (zh) 一种使用神经网络鉴别商品真伪的方法
CN112183237A (zh) 基于颜色空间自适应阈值分割的白细胞自动分类方法
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
JP2009129253A (ja) パターン認識装置、パターン認識プログラム及びパターン認識方法
Singhal et al. Image classification using bag of visual words model with FAST and FREAK
Pramanik et al. Finding the optimum classifier: Classification of segmentable components in offline handwritten Devanagari words
Shao et al. Design and research of metal surface defect detection based on machine vision
Zaghdoudi et al. Multiple classifier combination for steel surface inspection
CN111027589B (zh) 一种多分制目标检测算法评价系统及方法
CN107679528A (zh) 一种基于AdaBoost‑SVM集成学习算法的行人检测方法
Khaleel et al. License plate detection based on Speeded Up Robust Features and Bag of Words model
CN112014821A (zh) 一种基于雷达宽带特征的未知车辆目标识别方法
CN112329798A (zh) 一种基于优化视觉词袋模型的图像场景分类方法
Podsiadlo et al. Fast classification of engineering surfaces without surface parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant