CN111738349B - 目标检测算法的检测效果评估方法、装置、存储介质及设备 - Google Patents

目标检测算法的检测效果评估方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN111738349B
CN111738349B CN202010608280.XA CN202010608280A CN111738349B CN 111738349 B CN111738349 B CN 111738349B CN 202010608280 A CN202010608280 A CN 202010608280A CN 111738349 B CN111738349 B CN 111738349B
Authority
CN
China
Prior art keywords
target
matched
detection
feature vector
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010608280.XA
Other languages
English (en)
Other versions
CN111738349A (zh
Inventor
陈婉婉
夏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202010608280.XA priority Critical patent/CN111738349B/zh
Publication of CN111738349A publication Critical patent/CN111738349A/zh
Application granted granted Critical
Publication of CN111738349B publication Critical patent/CN111738349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标检测算法的检测效果评估方法，包括：对视频序列中的检测目标进行标定，得到基准目标集；对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；对视频序列进行目标检测与跟踪，获取待匹配目标；对待匹配目标进行特征提取，得到待匹配目标特征向量集；将待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，获取待匹配目标与基准目标的最大匹配相似度；基于最大匹配相似度以及相似度阈值得到评估参数；基于根据所述评估参数对目标检测算法的检测效果进行评估，得到评估结果。本发明解决了当前检测算法评测可能存在人为误差以及手工测评效率低的问题。

Description

目标检测算法的检测效果评估方法、装置、存储介质及设备
技术领域
本发明涉及目标识别领域，具体涉及一种目标检测算法的检测效果评估方法、装置、存储介质及设备。
背景技术
目前，国内的人脸识别应用技术主要包括公安行业的刑侦追逃、罪犯身份确认以及边防安全等；信息安全领域的计算机和网络的登录、文件加密解密；政府职能类的电子政务、户籍管理、社会福利和保险；商业企业类的电子货币和支付、考勤、电子商务等；以及一些重要军事场所、金融机构的人员进出身份认证。
人脸识别算法是人脸识别技术的快速发展与落地应用的核心，对算法进行准确的指标评估至关重要。人脸检测是人脸识别的前提，是人脸算法的重要指标评估项，而当前业内对人脸检测的指标评估仍然停留在人工校验阶段。而在实际测试中，为了确保人脸检测的指标项评估更为准确，需要验证更多的视频序列来覆盖多种测试场景。由此带来的测试周期长，人工测试效率低的问题更加凸显。因而如何通过自动化测试手段提升测试效率，保证算法指标评估参数的准确性成了当前亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种目标检测算法的检测效果评估方法、装置、存储介质及设备，用于解决现有技术的缺陷。
为实现上述目的及其他相关目的，本发明提供一种目标检测算法的检测效果评估方法，包括：
对视频序列中的检测目标进行标定，得到基准目标集；
对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
对所述视频序列进行目标检测与跟踪，获取待匹配目标；
对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，获取待匹配目标与基准目标的最大匹配相似度；
基于所述最大匹配相似度以及相似度阈值得到评估参数；
基于根据所述评估参数对目标检测算法的检测效果进行评估，得到评估结果。
可选地，所述评估参数包括以下至少之一：检出的同一个目标、多检出的目标或误检出的目标、检出率、多检率、误检率。
可选地，若所述最大匹配相似度小于所述相似度阈值，则所述评估参数为误检测出的目标；若所述最大匹配相似度大于或等于所述相似度阈值，则判断所述待匹配目标与所述基准目标的匹配次数，若匹配次数为1，则评估参数为检出的同一个目标，若匹配次数大于1，则评估参数为多检出的目标。
可选地，获取所述待匹配目标与所述基准目标的最大匹配相似度，包括：
获取待匹配目标特征向量集中每一个待匹配目标特征向量与基准目标特征向量集中所有的基准目标特征向量的余弦距离集合；
基于所述余弦距离集合确定最小余弦距离；
将所述最小余弦距离转换为最大匹配相似度。
可选地，将所述检测评估参数为检出的同一个目标所对应的目标和标定进行合成，并在合成后的图片上标记匹配相似度。
可选地，对所述视频序列进行目标检测与跟踪，获取质量最优的图片，将所述质量最优的作为待匹配目标。
可选地，所述视频序列包括多种场景的视频序列。
为实现上述目的及其他相关目的，本发明提供一种目标检测算法的检测效果评估装置，包括：
标定模块，用于对视频序列中的检测目标进行标定，得到基准目标集；
第一特征提取模块，用于对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
解析模块，用于对所述视频序列进行目标检测与跟踪，获取待匹配目标；
第二特征提取模块，用于对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
比较模块，用于将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，获取待匹配目标与基准目标的最大匹配相似度；
结果输出模块，用于基于所述最大匹配相似度以及相似度阈值得到评估参数；
评估模块，用于基于根据所述评估参数对目标检测算法的检测效果进行评估，得到评估结果。
为实现上述目的及其他相关目的，本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法。
为实现上述目的及其他相关目的，本发明提供一种设备，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行所述的方法。
如上所述，本发明的一种目标检测算法的检测效果评估方法、装置、存储介质及设备，具有以下有益效果：
本发明通过将待匹配目标与基准目标进行比较，确定出待匹配目标与基准目标的最大相似度，再基于最大相似度与相似度阈值生成检测结果，再根据检测结果对目标检测算法的检测效果进行评估，解决当前检测算法评测需要人工校验，可能存在人为误差以及手工测试效率低的问题。
附图说明
图1为本发明一实施例一种目标检测算法的检测效果评估方法的流程图；
图2为本发明一实施例一种目标检测算法的检测效果评估的结果示意图；
图3为本发明一实施例一种目标检测算法的检测效果评估装置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，一种目标检测算法的检测效果评估方法，包括：
S11对视频序列中的检测目标进行标定，得到基准目标集；
S12对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
S13对所述视频序列进行目标检测与跟踪，获取待匹配目标；
S14对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
S15将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，获取待匹配目标与基准目标的最大匹配相似度；
S16基于所述最大匹配相似度以及相似度阈值得到评估参数；
S17基于根据所述检测结果对目标检测算法的检测效果进行评估，得到评估结果。
本发明通过将待匹配目标与基准目标进行比较，确定出待匹配目标与基准目标的最大相似度，再基于最大相似度与相似度阈值生成评估参数，再根据评估参数对目标检测算法的检测效果进行评估，得到评估结果；解决了当前检测算法的检测效果评测需要人工校验，可能存在人为误差以及手工测评效率低的问题。
其中，检测目标可以是人脸目标、人体目标、机动车目标、非机动车目标等等其他目标。以下以检测目标为人脸目标为例进行详细说明。需要说明的是，视频序列可以包括多个场景下的视频序列，涵盖时间场景、天气场景、密集程度、地点场景等多个因子。一般来说，视频序列可以为2～5min的监控视频录像。
其中，多个视频序列的编号依次为Record_1、Record_2、...、Record_n。以下以视频序列Record_1对本发明进行详细说明。该方法包括以下步骤：
步骤S111.对视频序列Record_1中的人脸目标进行进行标定，得到基准目标集：对视频序列中所有经过的人脸目标进行标定，并以face1.jpg、face2.jpg、face3.jpg、...、faceN.jpg作为基准目标名称,统计得到基准目标总数N；其中，基准目标选择视频序列中最为清晰、质量最佳的一帧，在满足五官的前提下，左右上下各自外扩10个像素点。可以利用所有的基准目标组合成基准底库。
步骤S112.对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
将标定人脸图片转换为YUV编码，输入给算法进行特征提取，得到N个标定人脸的特征向量feature1、feature2、...、featureN，feature1、feature2、...、featureN与标定人脸集中的face1.jpg、face2.jpg、...、faceN.jpg一一对应；则特征向量feature1、feature2、...、featureN组成基准目标特征向量集Feature_1。
步骤S113.对所述视频序列进行人脸检测与跟踪，获取待匹配人脸；
将视频序列Record_1下发解析任务，对视频序列的人脸进行检测与跟踪，获取人脸质量最优的人脸图片，将所述人脸质量最优的人脸作为待匹配人脸。则可以得到视频序列Record_1解析后的人脸在当前帧的位置信息以及人脸图片总数M，分别命名为analyze_face1.jpg、analyze_face2.jpg、...、analyze_faceM.jpg。
步骤S114.将待匹配人脸analyze_face1.jpg、analyze_face2.jpg、...、analyze_faceM.jpg转换为YUV编码，输入给算法进行特征提取，得到M个人脸的待匹配人脸特征向量，待匹配人脸特征向量analyze_feature1、analyze_feature2、...、analyze_featureM与待匹配人脸analyze_face1.jpg、analyze_face2.jpg、...、analyze_faceM.jpg一一对应。则特征向量analyze_feature1、analyze_feature2、...、analyze_featureM组成待匹配人脸特征向量集Analyze_Feature_1。
步骤S115.将待匹配人脸特征向量集Analyze_Feature_1的特征向量值analyze_feature1、analyze_feature2、...、analyze_featureM依次与标定人脸特征向量集Feature_1进行1：N比较，以得到两个向量间的匹配相似度值，需要实现M次的1：N。其中，N指的是标定人脸特征向量集Feature_1底库中的N个特征向量，M是待匹配人脸特征向量集Feature_1底库中的特征向量的数量。
具体地，将待匹配人脸特征向量analyze_feature1分别与基准目标特征向量集Feature_1中的每一个特征向量进行比较，得到N个匹配相似度值，其中，需要利用N个相似度值中的最大匹配相似度t所对应的标定人脸和待匹配人脸进行人脸检测算法检测结果的评估。
在本实施例中，通过计算基准目标特征向量与待匹配人脸特征向量之间的余弦距离来获取两个向量间的匹配相似度。具体地，将余弦距离cosθ(通过公式1.1计算)通过函数转换得到人脸的匹配相似度。公式1.1中，k是指k维向量。
Figure BDA0002559972100000051
其中，x1,x2,...,xk分别代表向量x的各个分量，y1,y2,...,yk分别代表向量y的各个分量。
步骤S116.基于所述最大匹配相似度以及相似度阈值得到评估参数。其中，所述评估参数包括以下至少之一：检出的同一个人脸目标、多检出的人脸目标、误检出的人脸目标、检出率、多检率、误检率。
具体地，若所述最大匹配相似度t小于所述相似度阈值T，则所述评估参数为误检测出的人脸目标；若所述最大匹配相似度大于或等于所述相似度阈值，则判断所述待匹配人脸与所述标定人脸集中标定人脸的匹配次数，若匹配次数为1，则评估参数为检出的同一个人脸目标，若匹配次数大于1，则评估参数为多检出的人脸目标。其中匹配次数为所述最大匹配相似度大于或等于所述相似度阈值的次数。
当评估参数为误检测出的人脸目标，将待匹配人脸和标定人脸进行合成，并在合成后的图片上标记匹配相似度，误检数为m3。
当评估参数为检出的同一个人脸目标，将待匹配人脸和标定人脸进行合成，并在合成后的图片上标记匹配相似度，检出数为m1。
当评估参数为多检出的人脸目标，将待匹配人脸和标定人脸进行合成，并在合成后的图片上标记匹配相似度，多检数为m2。
根据(公式1.2)(公式1.3)(公式1.4)计算该段视频序列人脸检测过程中的检出率、多检率、误检率。
Figure BDA0002559972100000061
Figure BDA0002559972100000062
Figure BDA0002559972100000063
S117,基于根据所述评估参数对目标检测算法的检测效果进行评估，得到评估结果；
通过检出率、多检率、误检率这些指标可以对检测效果进行评估，例如检出率、多检率、误检率超过或低于某一值时，检测效果比较良好，或比较差，或检测效果优。
在另一实施例中，使用工具将含有10个不同的人脸目标对象的视频按秒抽帧成图片，选择人脸目标最清晰的一张图片进行人脸抠图，在满足五官的前提下，左右上下各自外扩10个像素点，则得到10个标定人脸图片。
通过python的requests请求向特征提取接口发送该图片信息，依次获取到10个标定人脸特征向量，存入文件A。
该视频序列通过算法解析，对指定路径下的视频序列，通过接口上传录像并调用任务下发接口，得到人脸解析结果图，将图片调用特征提取接口，得到待匹配人脸特征向量。假设其输出11个人脸目标，则提取得到11个待匹配人脸特征向量，存入文件B；
调用1：N特征向量比对接口，读取文件A和B的数据，依次读取11个待匹配人脸特征向量，与10个标定人脸特征向量进行比对，共计比对11次，得到11个待匹配人脸特征向量与标定人脸特征向量比对相似度t。其中，t≥T(T＝92，需要说明的是，相似度阈值T可以根据实际需求确定)的人脸目标为9个，其中7个人脸目标满足前置人脸没有与底库匹配上的条件，即检出的同一个人脸目标；2个为已有前置人脸与底库匹配，即多检出的人脸目标；t＜T的人脸目标有2个，即误检测出的人脸目标，因而自动统计得到该测试序列检出率为7/10＝70％,多检率2/10＝20％,误检率2/11＝18.18％。
当需要评估多段测试视频的检测效果，则基于已标定的人脸基准图片，执行前述步骤，实现多段视频各自的检出率、误检率、多检率，从而能得出所有测试视频的总检出率、总误检率、总多检率。
当涉及到不同算法的人脸检测的检测效果评估时，只需要在调用特征提取接口时，指定对应算法类型，即可得到基于不同算法的评估参数。
在前述实施例中详细介结了对人脸检测的检测效果的评估方法，在另一些实施例中，可以对机动车/人体/非机动车检测算法的检测效果进行评估。评估方法与人脸检测的检测效果评估方法相似，此处不再赘述。
在一实施例中，如图2所示，例如在一段视频中，经过的人脸目标总数为标定目标总数；这段视频解析完给的结果数为抓拍总数；抓拍总数中与标定的人脸目标相符合的去重总数为实际抓拍目标总数。根据图2得到检出率＝6/10,多检率＝2/10，误检率＝1/9。
Figure BDA0002559972100000071
Figure BDA0002559972100000072
Figure BDA0002559972100000073
本发明将视频序列的标定目标作为基准目标，视频序列的解析人脸目标作为待匹配目标，依次与基准目标进行同场景下的匹配，从而判断与基准目标为同一个目标、多检出的目标或误检出的目标，得到检出率、多检率、误检率的指标数据，通过检出率、多检率、误检率这些指标可以对检测效果进行评估。同时，该评估方法实现了数据输入与指标结果输出测试流程自动化。解决了效果评估中，工作繁琐，效率低下的问题。在实际算法评估参数获取，需要结合实际应用，覆盖白天、夜晚、雨天、人行道、出入口等多个不同的场景，也会和不同厂商的算法进行对比，给多场景、多算法的效果评估对比测试提供了可实现性。在提升测试效率的同时，能更高效、准确的评估算法评估参数的优劣，为算法的优化提供数据支撑，推动算法快速提升性能指标。
如图3所示，一种目标检测算法的检测效果评估装置，包括：
标定模块31，用于对视频序列中的检测目标进行标定，得到基准目标；
第一特征提取模块32，用于对所述基准进行特征提取，得到基准目标特征向量集；
解析模块33，用于对所述视频序列进行目标检测与跟踪，获取待匹配目标；
第二特征提取模块34，用于对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
比较模块35，用于将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，获取待匹配目标与基准目标的最大匹配相似度；
结果输出模块36，用于基于所述最大匹配相似度以及相似度阈值得到评估参数；
评估模块37，用于基于根据所述检测结果对目标检测算法的检测效果进行评估，得到评估结果。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例的内容请参见方法部分的实施例的描述，这里暂不赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器((RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种目标检测算法的检测效果评估方法，其特征在于，包括：
对视频序列中的检测目标进行标定，得到基准目标集；
对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
对所述视频序列进行目标检测与跟踪，获取待匹配目标；
对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，通过计算基准目标特征向量与待匹配人脸特征向量之间的余弦距离获取待匹配目标与基准目标的最大匹配相似度；
根据所述最大匹配相似度以及相似度阈值得到评估参数；
基于根据所述评估参数对目标检测算法的检测效果进行评估，得到评估结果；
所述评估参数包括以下至少之一：检出的同一个目标、多检出的目标或误检出的目标、检出率、多检率、误检率；
若所述最大匹配相似度小于所述相似度阈值，则所述评估参数为误检测出的目标；若所述最大匹配相似度大于或等于所述相似度阈值，则判断所述待匹配目标与所述基准目标的匹配次数，若匹配次数为1，则评估参数为检出的同一个目标，若匹配次数大于1，则评估参数为多检出的目标。
2.根据权利要求1所述的目标检测算法的检测效果评估方法，其特征在于，获取所述待匹配目标与所述基准目标的最大匹配相似度，包括：
获取待匹配目标特征向量集中每一个待匹配目标特征向量与基准目标特征向量集中所有的基准目标特征向量的余弦距离集合；
基于所述余弦距离集合确定最小余弦距离；
将所述最小余弦距离转换为最大匹配相似度。
3.权利要求1或2所述的目标检测算法的检测效果评估方法，其特征在于，将检测评估参数为检出的同一个目标所对应的目标和标定进行合成，并在合成后的图片上标记匹配相似度。
4.根据权利要求1所述的目标检测算法的检测效果评估方法，其特征在于，对所述视频序列进行目标检测与跟踪，获取质量最优的图片，将所述质量最优的图片作为待匹配目标。
5.根据权利要求1所述的目标检测算法的检测效果评估方法，其特征在于，所述视频序列包括多种场景的视频序列。
6.一种目标检测算法的检测效果评估装置，其特征在于，包括：
标定模块，用于对视频序列中的检测目标进行标定，得到基准目标集；
第一特征提取模块，用于对所述基准目标集中的每个基准目标进行特征提取，得到基准目标特征向量集；
解析模块，用于对所述视频序列进行目标检测与跟踪，获取待匹配目标；
第二特征提取模块，用于对所述待匹配目标进行特征提取，得到待匹配目标特征向量集；
比较模块，用于将所述待匹配目标特征向量集中的每一个待匹配目标特征向量依次与所述基准目标特征向量集中的所有基准目标特征向量进行比较，通过计算基准目标特征向量与待匹配人脸特征向量之间的余弦距离获取待匹配目标与基准目标的最大匹配相似度；
结果输出模块，用于基于所述最大匹配相似度以及相似度阈值得到评估参数；
评估模块，用于基于根据所述评估参数对目标检测算法的检测效果进行评估；
所述评估参数包括以下至少之一：检出的同一个目标、多检出的目标或误检出的目标、检出率、多检率、误检率；
若所述最大匹配相似度小于所述相似度阈值，则所述评估参数为误检测出的目标；若所述最大匹配相似度大于或等于所述相似度阈值，则判断所述待匹配目标与所述基准目标的匹配次数，若匹配次数为1，则评估参数为检出的同一个目标，若匹配次数大于1，则评估参数为多检出的目标。
7.一种存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至5中任一项所述方法。
8.一种设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述设备执行如权利要求1至5中任一项所述的方法。
CN202010608280.XA 2020-06-29 2020-06-29 目标检测算法的检测效果评估方法、装置、存储介质及设备 Active CN111738349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608280.XA CN111738349B (zh) 2020-06-29 2020-06-29 目标检测算法的检测效果评估方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608280.XA CN111738349B (zh) 2020-06-29 2020-06-29 目标检测算法的检测效果评估方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN111738349A CN111738349A (zh) 2020-10-02
CN111738349B true CN111738349B (zh) 2023-05-02

Family

ID=72653540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608280.XA Active CN111738349B (zh) 2020-06-29 2020-06-29 目标检测算法的检测效果评估方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN111738349B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733948B (zh) * 2021-01-15 2022-09-06 重庆紫光华山智安科技有限公司 一种全目标关联指标自动化测试方法、系统、介质及终端
CN112836759B (zh) * 2021-02-09 2023-05-30 重庆紫光华山智安科技有限公司 一种机选图片评价方法、装置、存储介质及电子设备
CN113345037A (zh) * 2021-06-07 2021-09-03 重庆紫光华山智安科技有限公司 机动车算法指标自动化测试方法、系统、介质及终端
CN113989914B (zh) * 2021-12-24 2022-03-15 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及系统
CN116503830B (zh) * 2023-06-25 2023-10-13 小米汽车科技有限公司 目标检测算法的测试方法、装置及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793919A (zh) * 2014-03-12 2014-05-14 中国矿业大学(北京) 一种二维图像的匹配效果评价方法
CN106934328A (zh) * 2015-12-30 2017-07-07 厦门中控生物识别信息技术有限公司 一种人脸检测算法的评估方法及装置
CN108804635A (zh) * 2018-06-01 2018-11-13 广东电网有限责任公司 一种基于属性选择的相似性度量方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170032676A1 (en) * 2015-07-30 2017-02-02 Illinois Institute Of Technology System for detecting pedestrians by fusing color and depth information
CN109035299B (zh) * 2018-06-11 2023-03-31 平安科技（深圳）有限公司 目标跟踪方法、装置、计算机设备及存储介质
CN111126122B (zh) * 2018-10-31 2023-10-27 浙江宇视科技有限公司 人脸识别算法评估方法及装置
CN109871762B (zh) * 2019-01-16 2023-08-08 平安科技（深圳）有限公司 一种人脸识别模型的评价方法和装置
CN110555853B (zh) * 2019-08-07 2022-07-19 杭州深睿博联科技有限公司 基于解剖学先验的分割算法评估的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793919A (zh) * 2014-03-12 2014-05-14 中国矿业大学(北京) 一种二维图像的匹配效果评价方法
CN106934328A (zh) * 2015-12-30 2017-07-07 厦门中控生物识别信息技术有限公司 一种人脸检测算法的评估方法及装置
CN108804635A (zh) * 2018-06-01 2018-11-13 广东电网有限责任公司 一种基于属性选择的相似性度量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rajalaxmi Hegde 等.Performance Evaluation and Feature Vector Extraction of Review Data Sets Using Evolutionary Based SVM Techniques.《2018 9th International Conference on Computing, Communication and Networking Technologies (ICCCNT)》.2018,第1-2页. *
王志强 等.一种Android恶意行为检测算法.《西安电子科技大学学报》.2014,第42卷(第3期),第8-9页. *

Also Published As

Publication number Publication date
CN111738349A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111738349B (zh) 目标检测算法的检测效果评估方法、装置、存储介质及设备
Zhao et al. Inter-frame passive-blind forgery detection for video shot based on similarity analysis
CN109753928B (zh) 违章建筑物识别方法和装置
Swaminathan et al. Nonintrusive component forensics of visual sensors using output images
CN111027378B (zh) 行人重识别的方法、装置、终端及存储介质
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN110162462A (zh) 基于场景的人脸识别系统的测试方法、系统和计算机设备
Gloe et al. Efficient estimation and large-scale evaluation of lateral chromatic aberration for digital image forensics
Thai et al. Camera model identification based on DCT coefficient statistics
CN112633255B (zh) 目标检测方法、装置及设备
WO2005012880B1 (en) Analysing biological entities
CN110427962A (zh) 一种测试方法、电子设备及计算机可读存储介质
CN111415336A (zh) 一种图像篡改识别方法、装置、服务器及存储介质
Nguyen et al. Face presentation attack detection based on a statistical model of image noise
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
KR20000035050A (ko) 얼굴 촬영/인식방법
US20200272860A1 (en) System and method of training an appearance signature extractor
CN109448193A (zh) 身份信息识别方法及装置
You et al. Tampering detection and localization base on sample guidance and individual camera device convolutional neural network features
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
JP3468108B2 (ja) 顔画像照合方法及び顔画像照合装置
CN112348011B (zh) 一种车辆定损方法、装置及存储介质
CN113837174A (zh) 目标对象识别方法、装置及计算机设备
Lin et al. Image provenance inference through content-based device fingerprint analysis
Wang et al. Joint statistics matching for camera model identification of recompressed images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant