CN110991485A - 一种目标检测算法的性能评估方法及系统 - Google Patents
一种目标检测算法的性能评估方法及系统 Download PDFInfo
- Publication number
- CN110991485A CN110991485A CN201911081588.7A CN201911081588A CN110991485A CN 110991485 A CN110991485 A CN 110991485A CN 201911081588 A CN201911081588 A CN 201911081588A CN 110991485 A CN110991485 A CN 110991485A
- Authority
- CN
- China
- Prior art keywords
- average
- precision mean
- target
- score
- mean map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明公开一种目标检测算法的性能评估方法及系统,方法包括:根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集;利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分;将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,进行加权得出综合评估结果。本方法/系统的应用,可实现对不同算法性能的比较,以便于优选出有发展前途的目标检测算法/系统,加快其实用化步伐。
Description
技术领域
本发明涉及图像处理及目标检测技术,尤其与一种目标检测算法的性能评估方法及系统相关。
背景技术
目标检测技术是近年来计算机视觉领域中备受关注的方向,主要涉及计算机视觉、图像处理、人工智能、模式识别等学科,被广泛地应用于靶场测量、目标监控、视频压缩、车辆跟踪和航空航天等方面。为了解决目标检测实际应用的如:目标体征、复杂背景环境、语音差异、计算复杂性与自适应性等问题,其算法也层出不穷。
研究者们在目标区域提取、特征描述子的表述、分类器的设计等方面采取了许多针对性的处理策略,已经提出了许多有效的基于视觉的目标检测算法,尤其是在神经网络技术快速崛起的时刻,其识别准确率获得了非常大的提升;但算法的结果往往仅通过论文或采用数据集进行跑分,尚未有一套有效的方法对基于应用的目标检测算法进行综合评价/评估。
发明内容
本发明主要针对相关现有技术的不足,提供一种目标检测算法的性能评估方法及系统,实现对不同算法性能的比较,以便于优选出有发展前途的目标检测算法/系统,加快其实用化步伐。
为了实现上述目的,本发明采用以下技术:
一种目标检测算法的性能评估方法,其特征在于,包括步骤:
根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集;
利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分;
整合评分结果加权得出综合评估结果。
进一步,所述整合评分结果加权得出综合评估结果,是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果;其中,图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,分别是通过计算平均精度均值mAP并加权进行评分获得。
进一步,图像质量平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取多个不同质量等级的子集,作为测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到图像质量平均精度均值mAP评分。
进一步,图像分辨率平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到图像分辨率平均精度均值mAP评分。
进一步,目标质量平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到目标质量平均精度均值mAP评分。
进一步,目标大小平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到目标大小平均精度均值mAP评分。
进一步,平均精度均值mAP的计算,是对不同的IoU阈值(0.5-0.95,0.05为步长)分别计算平均精度AP,再综合平均,得出平均精度均值mAP。
一种目标检测算法的性能评估系统,其特征在于,包括:
数据集生产模块,用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集;
评分模块,用于利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分;
综合评估模块,用于对评分模块获得的评分机进行整合,加权得出综合评估结果。
进一步, 所述综合评估模块,用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果;其中,图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,分别是通过计算平均精度均值mAP并加权进行评分获得。
进一步,评分模块,包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元,以及预测标签生成单元、计算单元、加权单元,其中:
图像质量测试集生成单元,用于在所述数据集中提取多个不同质量等级的子集,作为图像质量测试集;
图像分辨率测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集;
目标质量测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的目标质量测试集;
目标大小测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的目标大小测试集;
预测标签生成单元,用于利用各测试集生成单元生成的测试集分别对待测算法进行测试,分别得到各测试集生成单元对应的所有预测标签;
计算单元,用于根据各测试集生成单元对应的所有预测标签,结合各测试集对应的真实标签,分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP;
加权单元,用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算,分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
本发明有益效果在于:
1、采用本发明的方法或系统,可对不同的目标检测算法进行评估,通过将待测算法输入本方法/系统,经过从数据集中处理处不同等级的测试集进行测试以获得预测标签,结合真实标签进行mAP计算,并做加权处理,然后再对不同目标参数下的评估分数进行加强获得综合评估结果分数,通过比较分数,实现对不同算法性能的比较,以便于优选出有发展前途的目标检测算法/系统,加快其实用化步伐;
2、平均精度均值mAP的计算,是采用对不同的IoU阈值(0.5-0.95,0.05为步长)分别计算平均精度AP,再综合平均,得出平均精度均值mAP,确保了计算的精度和计算结果的有效参考性;
3、同时提供至少图像质量、图像分辨率、目标质量、目标大小中的一种目标参数下的评估结果,可适用不同待测目标检测算法的评估需求;
4、图像质量评分采用多个不同等级的测试集,如5个,分别获得mAP,再加权得到图像质量评分;同样,图像分辨率的评估采用了大中小三种等级,目标质量的评估采用了好与差两种等级,目标大小的评估采用了大中小三种等级,提高了评估精度,确保该评估的准确性和可参考性。
附图说明
图1为本申请实施例的评估方法总体流程。
图2为本申请实施例的整合评分结果加权得出综合评估结果的示意图。
图3为本申请实施例的图像质量平均精度均值mAP评分获取步骤示意图。
图4为本申请实施例的图像分辨率平均精度均值mAP评分获取步骤示意图。
图5为本申请实施例的目标质量平均精度均值mAP评分获取步骤示意图。
图6为本申请实施例的目标大小平均精度均值mAP评分获取步骤示意图。
图7为本申请实施例的评估系统结构图。
图8为本申请实施例的综合评估模块功能示意图。
图9为本申请实施例的评分模块结构图。
具体实施方式
下面结合附图,详细说明本申请的方法及系统的实施手段/方式,并附实例。
进行目标检测算法的性能评估方法实施,如图1所示:
(1)接收输入的待测算法;
(2)在总体测试数据集中,根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集。
(3)对需要测评的目标,如图像质量、图像分辨率、目标质量、目标大小中至少一种,分别利用所述数据集获得测试集,通过测试集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权,分别获得对应目标下的评分。
(4)整合多种/至少一种目标下的评分结果加权得出综合评估结果。
(5)输出综合评估结果。
其中,平均精度均值mAP的计算,是对不同的IoU阈值(0.5-0.95,0.05为步长)分别计算平均精度AP,再综合平均,得出平均精度均值mAP。
具体的,实施过程为:
1、测试集准备
在总体测试集中,选择具有被测目标种类的数据集。
2、分类评分,根据待测算法,进行以下至少一种评分
1)图像质量评分
如图3所示,图像质量平均精度均值mAP评分,通过以下步骤获得:
首先,在所述数据集中提取多个不同质量等级的子集,作为测试集。比如,分别从数据集提取5种质量等级的5个测试集T1~T5。
其次,利用各测试集分别对待测算法进行测试,得到所有预测标签。比如,对测试集进行测试,得到所有预测标签P1-P5。
然后,根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP。比如,计算T1与P1的mAP1,计算T2与P2的mAP2,同理得到mAP3、mAP4、mAP5,因此,得出5个等级的评分。
最后,对不同等级对应的平均精度均值mAP进行加权计算,得到图像质量平均精度均值mAP评分。比如,对得到的5个等级的评分,最终加权得到图像质量评分S1。具体加权,可以采用平均加权或归一化加权方式。
2)图像分辨率评分
如图4所示,图像分辨率平均精度均值mAP评分,通过以下步骤获得:
首先,在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的测试集。比如,以1)图像质量评分中的例子作为基础,在T1~T5中选择T4~T5(排除质量因素对评分的影响),合并为一个测试集,命名为测试集TG,并按分辨率大、中、小分为3类登记的测试集。
其次,利用各测试集分别对待测算法进行测试,得到所有预测标签。
然后,根据所有所述预测标签,结合各测试集对应的真实标签,分别计算3个不同等级对应的平均精度均值mAP。
最后,对3个不同等级对应的平均精度均值mAP进行加权计算,得到图像分辨率平均精度均值mAP评分S2。具体加权,可采用平均加权方式。
3)目标质量评分
如图5所示,目标质量平均精度均值mAP评分,通过以下步骤获得:
首先,在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的测试集。比如,继续选择测试集TG,并按目标质量好与差,分为2类集合,以分别作为2个不同等级的测试集。
然后,利用各测试集分别对待测算法进行测试,得到所有预测标签。
再次,根据所有所述预测标签,结合各测试集对应的真实标签,分别计算此2类不同等级对应的平均精度均值mAP。
最后,对不同等级对应的平均精度均值mAP进行加权计算,得到目标质量平均精度均值mAP评分S3。具体加权,可采用平均加权或归一化加权方式。
4)目标大小评分
如图6所示,目标大小平均精度均值mAP评分,通过以下步骤获得:
首先,在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的测试集。比如,继续选择TG测试集,按目标大、中、小,分为3个集合,分别作为3个不同等级的测试集。
然后,利用各测试集分别对待测算法进行测试,得到所有预测标签;
再次,根据所有所述预测标签,结合各测试集对应的真实标签,分别计算此3类不同等级对应的平均精度均值mAP;
最后,对不同等级对应的平均精度均值mAP进行加权计算,得到目标大小平均精度均值mAP评分S4。具体加权,可采用平均加权方式。
5)计算总分
如图2所示,所述整合评分结果加权得出综合评估结果,是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,进行加权得出综合评估结果。
具体的,在上述实施方式对应的实例中,按照以上图像不同性质对算法进行评分得到S1~S4,最终对其加权得到总分S总。具体加权,可采用平均加权方式。
通过对不同目标检测算法评估,比较其对应得到的总分S总,实现对不同算法性能的比较,以便于优选出更优的目标检测算法/系统。
如图7所示,为本申请提供的一种目标检测算法的性能评估系统的结构框图。在该实例中,包括:数据集生产模块、评分模块、综合评估模块。
数据集生产模块,用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集。
评分模块,用于利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分。
作为评分模块的具体实施方式之一,如图9所示,其结构包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一个单元,以及预测标签生成单元、计算单元、加权单元。
其中,图像质量测试集生成单元,用于在所述数据集中提取多个不同质量等级的子集,作为图像质量测试集。
其中,图像分辨率测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集。
其中,目标质量测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的目标质量测试集。
其中,目标大小测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的目标大小测试集。
其中,预测标签生成单元,用于利用各测试集生成单元生成的测试集分别对待测算法进行测试,分别得到各测试集生成单元对应的所有预测标签。
其中,计算单元,用于根据各测试集生成单元对应的所有预测标签,结合各测试集对应的真实标签,分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP。
其中,加权单元,用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算,分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
综合评估模块,用于对评分模块获得的评分机进行整合,加权得出综合评估结果。
具体的,如图8所示,综合评估模块,用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,进行加权得出综合评估结果。
应用实例
在测试集数据库中随机生成一批设定数量(50000张)的测试集,包含各种条件的数据信息,并保存为txt文档,提供给外部算法。
外部算法,根据保存的测试集信息txt文档,对测试集进行目标检测并生成全部预测标签。
根据需求设定选择图像质量评分、图像分辨率频分、目标质量评分、目标大小评分共4种。
点击进行评分。
1)质量评分:
后台从预测标签中提出质量等级1~5的标签,与其对应的真实标签计算评分,参考总体评分中的计算方法得到质量评分分别为:0.09, 0.18, 0.31, 0.45, 0.56。
对以上评分进行加权,得到质量评分总分:0.318
2)图像分辨率评分:同理按照第一章节算法,得到3个等级分数:0.3, 0.4, 0.5, 加权总分:0.4。
3)同理得到目标质量3等级评分:0.2, 0.4, 0.6 ,加权总分为:0.4。
4)同理得到目标大小3等级评分:0.2, 0.4, 0.6 ,加权总分为:0.4。
最终加权得到总体评分:质量加权因子0.4,其余0.2;得到总分:
0.318x0.4+0.4x0.2+0.4x0.2+0.4x0.2 =0.3672。
根据实际应用的需求,各目标参数对应的评分加权可采用平均加权、归一化加权等方法完成,也可为每个结果设定加权因子来完成加权。
通过输入不同的待测算法,获得不同的总分评估结果,实现对不同算法性能的比较,以便于优选出更优的目标检测算法/系统。
以上仅举例说了,同时选择/包含有图像质量、图像分辨率、目标质量、目标大小评估的例子,在实际应用中,具体的,可根据待测的同类算法,针对同类算法为了方便比较,均选择同样的目标参数进行评估,如图像质量、图像分辨率、目标质量、目标大小中的一种或多种。
Claims (10)
1.一种目标检测算法的性能评估方法,其特征在于,包括步骤:
根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集;
利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分;
整合评分结果加权得出综合评估结果。
2.根据权利要求1所述的目标检测算法的性能评估方法,其特征在于:
所述整合评分结果加权得出综合评估结果,是将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果;
其中,图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,分别是通过计算平均精度均值mAP并加权进行评分获得。
3.根据权利要求2所述的目标检测算法的性能评估方法,其特征在于:
图像质量平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取多个不同质量等级的子集,作为测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到图像质量平均精度均值mAP评分。
4.根据权利要求2所述的目标检测算法的性能评估方法,其特征在于:
图像分辨率平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到图像分辨率平均精度均值mAP评分。
5.根据权利要求2所述的目标检测算法的性能评估方法,其特征在于,
目标质量平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到目标质量平均精度均值mAP评分。
6.根据权利要求2所述的目标检测算法的性能评估方法,其特征在于,
目标大小平均精度均值mAP评分,通过以下步骤获得:
在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的测试集,利用各测试集分别对待测算法进行测试,得到所有预测标签;
根据所有所述预测标签,结合各测试集对应的真实标签,分别计算不同等级对应的平均精度均值mAP;
对不同等级对应的平均精度均值mAP进行加权计算,得到目标大小平均精度均值mAP评分。
7.根据权利要求1~6任意一项所述的目标检测算法的性能评估方法,其特征在于,平均精度均值mAP的计算,是对不同的IoU阈值(0.5-0.95,0.05为步长)分别计算平均精度AP,再综合平均,得出平均精度均值mAP。
8.一种目标检测算法的性能评估系统,其特征在于,包括:
数据集生产模块,用于根据待测算法选择具有与所述待测算法对应的被测目标种类的数据集;
评分模块,用于利用所述数据集对待测算法进行测试,得到预测标签,并根据所述预测标签,结合数据集的真实标签,计算平均精度均值mAP并加权进行评分;
综合评估模块,用于对评分模块获得的评分机进行整合,加权得出综合评估结果。
9.根据权利要求8所述的目标检测算法的性能评估系统,其特征在于,
所述综合评估模块,用于将图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分中一种作为综合评估结果或多种进行加权得出综合评估结果;
其中,图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分,分别是通过计算平均精度均值mAP并加权进行评分获得。
10.根据权利要求9所述的目标检测算法的性能评估系统,其特征在于,
评分模块,包括图像质量测试集生成单元、图像分辨率测试集生成单元、目标质量测试集生成单元、目标大小测试集生成单元中至少一种单元,以及预测标签生成单元、计算单元、加权单元,其中:
图像质量测试集生成单元,用于在所述数据集中提取多个不同质量等级的子集,作为图像质量测试集;
图像分辨率测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按分辨率大、中、小分为3个等级的图像分辨率测试集;
目标质量测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标质量好与差分为2个等级的目标质量测试集;
目标大小测试集生成单元,用于在所述数据集中提取至少3个不同质量等级的子集,并将其中至少两个子集合并为一个集合,并将所述集合按目标大、中、小分为3个等级的目标大小测试集;
预测标签生成单元,用于利用各测试集生成单元生成的测试集分别对待测算法进行测试,分别得到各测试集生成单元对应的所有预测标签;
计算单元,用于根据各测试集生成单元对应的所有预测标签,结合各测试集对应的真实标签,分别计算各测试集生成单元不同测试集等级对应的平均精度均值mAP;
加权单元,用于分别对各测试集生成单元对应的所有平均精度均值mAP进行加权计算,分别得到图像质量平均精度均值mAP评分、图像分辨率平均精度均值mAP评分、目标质量平均精度均值mAP评分、目标大小平均精度均值mAP评分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911081588.7A CN110991485B (zh) | 2019-11-07 | 2019-11-07 | 一种目标检测算法的性能评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911081588.7A CN110991485B (zh) | 2019-11-07 | 2019-11-07 | 一种目标检测算法的性能评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110991485A true CN110991485A (zh) | 2020-04-10 |
CN110991485B CN110991485B (zh) | 2023-04-14 |
Family
ID=70083448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911081588.7A Active CN110991485B (zh) | 2019-11-07 | 2019-11-07 | 一种目标检测算法的性能评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991485B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111654694A (zh) * | 2020-06-18 | 2020-09-11 | 北京字节跳动网络技术有限公司 | 图像处理算法的质量评测方法、装置及电子设备 |
CN112329892A (zh) * | 2020-12-03 | 2021-02-05 | 中国第一汽车股份有限公司 | 一种目标检测算法的评估方法、装置、设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009146756A1 (de) * | 2008-06-06 | 2009-12-10 | Robert Bosch Gmbh | Bildverarbeitungsvorrichtung mit kalibrierungsmodul, verfahren zur kalibrierung sowie computerprogramm |
CN101694385A (zh) * | 2009-10-19 | 2010-04-14 | 河海大学 | 基于傅立叶光学的微小目标检测仪及检测方法 |
CN102129576A (zh) * | 2011-02-28 | 2011-07-20 | 西安电子科技大学 | 全天空极光图像占空比参数的提取方法 |
CN102768731A (zh) * | 2012-06-29 | 2012-11-07 | 陕西省交通规划设计研究院 | 基于高清视频图像目标自动定位识别系统及方法 |
CN102902951A (zh) * | 2012-06-29 | 2013-01-30 | 陕西省交通规划设计研究院 | 高清视频监控图像的车辆目标定位、事件检测系统及方法 |
CN103370598A (zh) * | 2010-09-23 | 2013-10-23 | 卡尔.马尔控股有限公司 | 用于光学扫描表面区域内或上的边缘的方法 |
US20140201126A1 (en) * | 2012-09-15 | 2014-07-17 | Lotfi A. Zadeh | Methods and Systems for Applications for Z-numbers |
WO2015004434A1 (en) * | 2013-07-08 | 2015-01-15 | University Of Surrey | Compact and robust signature for large scale visual search, retrieval and classification |
CN108293125A (zh) * | 2014-11-14 | 2018-07-17 | 华为技术有限公司 | 一种数字图像处理系统和方法 |
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
CN109490843A (zh) * | 2018-11-15 | 2019-03-19 | 成都傅立叶电子科技有限公司 | 一种归一化雷达屏幕监测方法及系统 |
CN110097568A (zh) * | 2019-05-13 | 2019-08-06 | 中国石油大学(华东) | 一种基于时空双分支网络的视频对象检测与分割方法 |
CN110136062A (zh) * | 2019-05-10 | 2019-08-16 | 武汉大学 | 一种联合语义分割的超分辨率重建方法 |
-
2019
- 2019-11-07 CN CN201911081588.7A patent/CN110991485B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009146756A1 (de) * | 2008-06-06 | 2009-12-10 | Robert Bosch Gmbh | Bildverarbeitungsvorrichtung mit kalibrierungsmodul, verfahren zur kalibrierung sowie computerprogramm |
CN101694385A (zh) * | 2009-10-19 | 2010-04-14 | 河海大学 | 基于傅立叶光学的微小目标检测仪及检测方法 |
CN103370598A (zh) * | 2010-09-23 | 2013-10-23 | 卡尔.马尔控股有限公司 | 用于光学扫描表面区域内或上的边缘的方法 |
CN102129576A (zh) * | 2011-02-28 | 2011-07-20 | 西安电子科技大学 | 全天空极光图像占空比参数的提取方法 |
CN102768731A (zh) * | 2012-06-29 | 2012-11-07 | 陕西省交通规划设计研究院 | 基于高清视频图像目标自动定位识别系统及方法 |
CN102902951A (zh) * | 2012-06-29 | 2013-01-30 | 陕西省交通规划设计研究院 | 高清视频监控图像的车辆目标定位、事件检测系统及方法 |
US20140201126A1 (en) * | 2012-09-15 | 2014-07-17 | Lotfi A. Zadeh | Methods and Systems for Applications for Z-numbers |
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
WO2015004434A1 (en) * | 2013-07-08 | 2015-01-15 | University Of Surrey | Compact and robust signature for large scale visual search, retrieval and classification |
CN108293125A (zh) * | 2014-11-14 | 2018-07-17 | 华为技术有限公司 | 一种数字图像处理系统和方法 |
CN109490843A (zh) * | 2018-11-15 | 2019-03-19 | 成都傅立叶电子科技有限公司 | 一种归一化雷达屏幕监测方法及系统 |
CN110136062A (zh) * | 2019-05-10 | 2019-08-16 | 武汉大学 | 一种联合语义分割的超分辨率重建方法 |
CN110097568A (zh) * | 2019-05-13 | 2019-08-06 | 中国石油大学(华东) | 一种基于时空双分支网络的视频对象检测与分割方法 |
Non-Patent Citations (1)
Title |
---|
李湘眷;孙显;王宏琦;: "基于多核学习的高分辨率遥感图像目标检测方法" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111654694A (zh) * | 2020-06-18 | 2020-09-11 | 北京字节跳动网络技术有限公司 | 图像处理算法的质量评测方法、装置及电子设备 |
CN112329892A (zh) * | 2020-12-03 | 2021-02-05 | 中国第一汽车股份有限公司 | 一种目标检测算法的评估方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110991485B (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816092B (zh) | 深度神经网络训练方法、装置、电子设备及存储介质 | |
Shen et al. | BBAS: Towards large scale effective ensemble adversarial attacks against deep neural network learning | |
WO2010035659A1 (ja) | 入力データの分類に用いる特徴を選択するための情報処理装置 | |
JP2014232533A (ja) | Ocr出力検証システム及び方法 | |
JP2009086901A (ja) | 年齢推定システム及び年齢推定方法 | |
CN109241741B (zh) | 一种基于图像纹理指纹的恶意代码分类方法 | |
CN108122008A (zh) | 基于稀疏表示和多特征决策级融合的sar图像识别方法 | |
CN110991485B (zh) | 一种目标检测算法的性能评估方法及系统 | |
Tang et al. | Classification for overlapping classes using optimized overlapping region detection and soft decision | |
CN112633337A (zh) | 一种基于聚类和边界点的不平衡数据处理方法 | |
CN111950610A (zh) | 基于精确尺度匹配的弱小人体目标检测方法 | |
CN111241957A (zh) | 一种基于多特征融合和de-elm的手指静脉活体检测方法 | |
CN113537321A (zh) | 一种基于孤立森林和x均值的网络流量异常检测方法 | |
CN111008650B (zh) | 一种基于深度卷积对抗神经网络的金相组织自动评级方法 | |
CN112597798A (zh) | 一种使用神经网络鉴别商品真伪的方法 | |
CN104143088B (zh) | 一种基于图像检索和特征权重学习的人脸识别方法 | |
CN112183237A (zh) | 基于颜色空间自适应阈值分割的白细胞自动分类方法 | |
CN114547102A (zh) | 基于梯度驱动数据生成的模型窃取攻击方法 | |
JP2009129253A (ja) | パターン認識装置、パターン認識プログラム及びパターン認識方法 | |
CN113283467A (zh) | 一种基于平均损失和逐类选择的弱监督图片分类方法 | |
Singhal et al. | Image classification using bag of visual words model with FAST and FREAK | |
CN111027589B (zh) | 一种多分制目标检测算法评价系统及方法 | |
Shao et al. | Design and research of metal surface defect detection based on machine vision | |
Zaghdoudi et al. | Multiple classifier combination for steel surface inspection | |
Pramanik et al. | Finding the optimum classifier: Classification of segmentable components in offline handwritten Devanagari words |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |