CN111191666A - 一种图像目标检测算法的测试方法和装置 - Google Patents
一种图像目标检测算法的测试方法和装置 Download PDFInfo
- Publication number
- CN111191666A CN111191666A CN201811354645.XA CN201811354645A CN111191666A CN 111191666 A CN111191666 A CN 111191666A CN 201811354645 A CN201811354645 A CN 201811354645A CN 111191666 A CN111191666 A CN 111191666A
- Authority
- CN
- China
- Prior art keywords
- image
- identification
- target object
- positive sample
- sample images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 132
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 124
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000010998 test method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像目标检测算法的测试方法和装置，所述方法包括：获取图像目标检测算法；从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。在本发明实施例中，对图像目标检测算法进行测试的整个流程中，都无需测试人员参与，保证了测试标准的一致性，并且相比人工测试耗时更短，测试效率更高。
Description
技术领域
本发明涉及自动化测试技术领域，特别是涉及一种图像目标检测算法的测试方法和一种图像目标检测算法的测试装置。
背景技术
图像目标检测算法指是对目标对象的图像特征进行提取并进行存储，然后通过存储的图像特征在其他输入图像中检测出具有相同图像特征的检出图像，并输出该检出图像的位置、大小、与目标对象的相似度的算法。
目前许多图像处理软件都已经拥有该功能，他们往往将检出图像(例如，手势、人脸)进行二次处理并呈现给用户，可以做到美颜、美型、增加动画特效等目的。但由于输入图像的质量和图像目标检测算法本身的缺陷，会导致并非目标对象都能够从任何原始图像中快速提取出来或是提取出的位置、范围信息和实际误差过大，故在该图像目标检测算法投入产品使用之前，需要测试人员对此算法进行识别准确率、实时度性能进行评估进而确认能否投入使用。
测试评估的过程为：人工收集大量输入图像的样本，之后使用检测算法对输入图像的样本进行处理得到每张样本中目标对象的位置、范围信息，最终将算法输出的识别结果和人眼观察到目标对象的实际位置和范围信息进行对比来评价当次是否识别准确，最终将所有输入图像样本的识别准确与否进行统计而得到识别的准确率(即准确识别数/识别总数)；实时度需要人工记录从图像输入至识别出的总时间(例如，通过录像后逐帧分析或写脚本获取识别时间)，而后取所有输入图像样本识别时间的平均值作为实时度的评价。
目前现有的方案主要有两个缺点：
1、在算法改进过程中会生成非常多的改进版本提供给测试人员，如果每一个版本都要进行人工测试无疑会消耗大量人力成本，测试的时间长就代表着程序同学获得结果反馈的时间长，自然影响了改进的效率。
2、人工测试的过程中，算法检测结果与目标实际位置、大小之间的匹配与否是通过人眼主观判断，很难进行定量判断；同样的分析录像时，算法检测的开始与结束都是依据人眼主观判断，这样难免引入人为误差。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像目标检测算法的测试方法和相应的一种图像目标检测算法的测试装置。
为了解决上述问题，本发明实施例公开了一种图像目标检测算法的测试方法，包括：
获取图像目标检测算法；
从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
优选的，所述从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息的步骤包括：
确定所述图像目标检测算法所要识别的目标对象；
从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
优选的，所述图像集合包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
所述识别结果包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度；
所述采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息的步骤包括：
若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
优选的，所述测试指标信息包括识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息的步骤包括：
根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
和/或，根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
和/或，根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
和/或，根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
和/或，根据所述识别时长，计算平均识别时长；
和/或，根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
优选的，还包括：
采用所述测试指标信息，生成测试报告。
本发明实施例还公开了一种图像目标检测算法的测试装置，包括：
算法获取模块，用于获取图像目标检测算法；
图像获取模块，用于从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
识别模块，用于采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
测试指标信息生成模块，用于采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
优选的，所述图像获取模块包括：
目标对象确定子模块，用于确定所述图像目标检测算法所要识别的目标对象；
图像获取子模块，用于从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
优选的，所述图像集合包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
所述识别结果包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度；
所述测试指标信息生成模块包括：
第一标记子模块，用于若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
第二标记子模块，用于若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
第三标记子模块，用于若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
第四标记子模块，用于若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
测试指标信息生成子模块，用于根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
优选的，所述测试指标信息包括识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述测试指标信息生成子模块包括：
识别成功率计算单元，用于根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
和/或，
正样本识别率计算单元，用于根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
和/或，
误识别率计算单元，用于根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
和/或，
识别准确率平均值计算单元，用于根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
和/或，
平均识别时长计算单元，用于根据所述识别时长，计算平均识别时长；
和/或，
相似度平均值计算单元，用于根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
优选的，还包括：
测试报告生成模块，用于采用所述测试指标信息，生成测试报告。
本发明实施例还公开了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权上所述的一个或多个的方法。
本发明实施例还公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如上所述的一个或多个的方法。
本发明实施例包括以下优点：
在本发明实施例中，在获取图像目标检测算法后，从预置的图像库中，获取与图像目标检测算法适配的图像集合以及图像的目标对象参考信息；然后采用图像目标检测算法分别对图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；最后采用目标对象参考信息和识别结果，生成测试指标信息。在本发明实施例中，对图像目标检测算法进行测试的整个流程中，都无需测试人员参与，保证了测试标准的一致性，并且相比人工测试耗时更短，测试效率更高。
附图说明
图1是本发明的一种图像目标检测算法的测试方法实施例一的步骤流程图；
图2是本发明的一种图像目标检测算法的测试方法实施例二的步骤流程图；
图3是本发明的一种图像目标检测算法的测试装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种图像目标检测算法的测试方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤101，获取图像目标检测算法；
在图像目标检测算法的改进过程中，算法程序员会不断修改算法，然后交给测试人员进行测试。
在本发明实施例中，提供了一种便于对图像目标检测算法进行测试的测试平台。算法程序员可以将图像目标检测算法上传到测试平台，由测试平台对图像目标检测算法进行测试，并生成所需要的测试指标信息。
步骤102，从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
测试平台可以从预置的图像库中，获取与图像目标检测算法适配的图像集合以及图像的目标对象参考信息。
图像库中存储有大量的图像，可以包括bmp、jpeg、png等格式的图像。
图像库中还存储有图像的目标对象参考信息，目标对象参考信息包含了目标对象的位置信息和范围信息。例如，一幅图像的目标对象为人脸，则其目标对象参考信息为人脸的位置信息和人脸的范围信息。
目标对象参考信息可以是人工标注生成的，由人工测量目标对象在图像中的位置信息和范围信息，然后记录下来。其中，位置信息可以目标对象的外接矩形的位置信息。
通过人工标注生成目标对象参考信息的方式，可以量化目标对象的信息，量化人眼识别与图像目标检测算法之间的差距，量化出图像目标检测算法检测的精确度；并且保证不同的图像目标检测算法对相同的目标对象进行识别的识别结果与人眼识别结果对比时，人眼结果的一致性，避免人为误差。
步骤103，采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
在本发明实施例中，测试平台可以运行图像目标检测算法自动化地对图像集合中的各个图像依次进行识别处理，并获取图像目标检测算法生成的识别结果。
步骤104，采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
识别结果可以包括是否识别到目标对象、识别到的目标对象的位置信息、范围信息。
测试人员可以预先在测试平台设定所需要计算的测试指标信息，测试平台可以按照用户的设定，根据图像的识别结果和图像的目标对象参考信息，生成相应的测试指标信息。
在本发明实施例中，在获取图像目标检测算法后，从预置的图像库中，获取与图像目标检测算法适配的图像集合以及图像的目标对象参考信息；然后采用图像目标检测算法分别对图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；最后采用目标对象参考信息和识别结果，生成测试指标信息。在本发明实施例中，对图像目标检测算法进行测试的整个流程中，都无需测试人员参与，保证了测试标准的一致性，并且相比人工测试耗时更短，测试效率更高。
参照图2，示出了本发明的一种图像目标检测算法的测试方法实施例二的步骤流程图，具体可以包括如下步骤：
步骤201，获取图像目标检测算法；
在本发明实施例中，提供了一种便于对图像目标检测算法进行测试的测试平台。算法程序员可以将图像目标检测算法上传到测试平台，由测试平台对图像目标检测算法进行测试，并生成所需要的测试指标信息。
步骤202，确定所述图像目标检测算法所要识别的目标对象；
图像目标检测算法被设计出来就是用于识别特定的目标对象，例如，手势、人脸、车牌等等。
算法程序员可以将在图像目标检测算法上传到测试平台的同时，指定该图像目标检测算法所要识别的目标对象；或者，图像目标检测算法中可以带有所要识别的目标对象的信息，测试平台可以根据该信息知道图像目标检测算法所要识别的目标对象。
步骤203，从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
根据目标对象的不同，所需要的图像集合以及相应的目标对象参考信息也不同。
在本发明实施例中，所述图像集合可以包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
正样本图像是指包含了图像目标检测算法所要识别的目标对象的图像，反样本图像是指不包含图像目标检测算法所要识别的目标对象的图像。由于反样本图像中不具有目标图像，因此目标对象参考信息只包含正样本图像的目标对象参考信息。
步骤204，采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
在本发明实施例中，测试平台可以运行图像目标检测算法自动化地对图像集合中的各个图像依次进行识别处理，并获取图像目标检测算法生成的识别结果。
所述识别结果可以包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度。
目标对象识别信息包括图像目标检测算法识别到的目标对象的位置信息和范围信息。
图像目标检测算法每对一个图像进行识别处理，都需要消耗一定的时间，测试平台可以记录每一次识别所消耗的识别时长。
相似度是图像目标检测算法计算的识别到的目标对象与设定所要识别的目标对象的相似度。例如，一个图像目标检测算法是要识别人脸的，该图像目标检测算法在从一个图像识别到人脸图像时，计算该识别到的人脸图像与人脸的相似度。
步骤205，采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
测试人员可以预先在测试平台设定所需要计算的测试指标信息，测试平台可以按照用户的设定，根据图像的识别结果和图像的目标对象参考信息，生成相应的测试指标信息。
在本发明实施例中，所述步骤205可以包括如下子步骤：
子步骤S11，若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
目标对象识别信息包括图像目标检测算法识别到的目标对象的范围信息，目标对象参考信息包括人工标注得到的目标对象的范围信息。
识别准确率＝算法识别的范围信息与人工标准的范围信息的交集/算法识别的范围信息与人工标准的范围信息的并集。
如果识别准确率大于或等于预设阈值，可以标记该图像为识别成功；如果识别准确率小于预设阈值，则标记该图像为未识别成功。例如，预设阈值可以是50％。如果识别准确率大于或等于50％，则标记该图像为识别成功；如果识别准确率小于50％，则标记该图像为未识别成功。
子步骤S12，若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
子步骤S13，若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
子步骤S14，若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
子步骤S15，根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
在本发明实施例中，所述测试指标信息包括可以识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述子步骤S15可以进一步包括：
子步骤S151，根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
识别成功率＝(标记为被识别成功的正样本图像的数量+标记为被识别成功的反样本图像的数量)/图像集合的图像总数。
子步骤S152，和/或，根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
正样本识别率＝标记为被识别成功的正样本图像的数量/正样本图像的数量。
子步骤S153，和/或，根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
误识别率＝标记为被误识别的反样本图像的数量/反样本图像的数量。
子步骤S154，和/或，根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
识别准确率平均值＝正样本图像的识别准确率之和/正样本图像的数量。
其中，正样本图像的识别准确率之和，为被标记为识别成功的正样本图像的识别准确率，与被标记为未识别成功的正样本图像的识别准确率之和。
子步骤S155，和/或，根据所述识别时长，计算平均识别时长；
平均识别时长＝所有图像的识别时长之和/图像集合的图像总数。
子步骤S156，和/或，根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
相似度平均值＝被标记为识别成功的正样本图像的相似度之和/被标记为识别成功的正样本图形的数量。
步骤206，采用所述测试指标信息，生成测试报告。
测试平台可以采用测试指标信息生成测试报告，并将测试报告发送给测试人员或算法程序员，例如，通过邮件的方式向测试人员或算法程序员发送测试报告。
在本发明实施例中，在获取图像目标检测算法后，从预置的图像库中，获取与图像目标检测算法适配的图像集合以及图像的目标对象参考信息；然后采用图像目标检测算法分别对图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；然后采用目标对象参考信息和识别结果，生成测试指标信息；最后采用测试指标信息生成测试报告。在本发明实施例中，对图像目标检测算法进行测试的整个流程中，都无需测试人员参与，保证了测试标准的一致性，并且相比人工测试耗时更短，测试效率更高。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了本发明的一种图像目标检测算法的测试装置实施例的结构框图，具体可以包括如下模块：
算法获取模块301，用于获取图像目标检测算法；
图像获取模块302，用于从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
识别模块303，用于采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
测试指标信息生成模块304，用于采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
在本发明实施例中，所述图像获取模块302可以包括：
目标对象确定子模块，用于确定所述图像目标检测算法所要识别的目标对象；
图像获取子模块，用于从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
在本发明实施例中，所述图像集合可以包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
所述识别结果可以包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度；
所述测试指标信息生成模块304可以包括：
第一标记子模块，用于若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
第二标记子模块，用于若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
第三标记子模块，用于若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
第四标记子模块，用于若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
测试指标信息生成子模块，用于根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
在本发明实施例中，所述测试指标信息可以包括识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述测试指标信息生成子模块包括：
识别成功率计算单元，用于根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
和/或，
正样本识别率计算单元，用于根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
和/或，
误识别率计算单元，用于根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
和/或，
识别准确率平均值计算单元，用于根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
和/或，
平均识别时长计算单元，用于根据所述识别时长，计算平均识别时长；
和/或，
相似度平均值计算单元，用于根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
在本发明实施例中，所述的装置还可以包括：
测试报告生成模块，用于采用所述测试指标信息，生成测试报告。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种装置，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行本发明实施例所述的方法。
本发明实施例还提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像目标检测算法的测试方法和一种图像目标检测算法的测试装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种图像目标检测算法的测试方法，其特征在于，包括：
获取图像目标检测算法；
从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
2.根据权利要求1所述的方法，其特征在于，所述从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息的步骤包括：
确定所述图像目标检测算法所要识别的目标对象；
从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
3.根据权利要求1所述的方法，其特征在于，所述图像集合包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
所述识别结果包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度；
所述采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息的步骤包括：
若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
4.根据权利要求3所述的方法，其特征在于，所述测试指标信息包括识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息的步骤包括：
根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
和/或，根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
和/或，根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
和/或，根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
和/或，根据所述识别时长，计算平均识别时长；
和/或，根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
5.根据权利要求1所述的方法，其特征在于，还包括：
采用所述测试指标信息，生成测试报告。
6.一种图像目标检测算法的测试装置，其特征在于，包括：
算法获取模块，用于获取图像目标检测算法；
图像获取模块，用于从预置的图像库中，获取与所述图像目标检测算法适配的图像集合以及图像的目标对象参考信息；
识别模块，用于采用所述图像目标检测算法分别对所述图像集合的各个图像进行识别处理，并获取针对各个图像的识别结果；
测试指标信息生成模块，用于采用所述目标对象参考信息和所述识别结果，生成针对所述图像目标检测算法的测试指标信息。
7.根据权利要求6所述的装置，其特征在于，所述图像获取模块包括：
目标对象确定子模块，用于确定所述图像目标检测算法所要识别的目标对象；
图像获取子模块，用于从预置的图像库中，获取与所述目标对象适配的图像集合以及图像的目标对象参考信息。
8.根据权利要求6所述的装置，其特征在于，所述图像集合包括：至少一个正样本图像和至少一个反样本图像；所述图像的目标对象参考信息包括：分别与所述至少一个正样本图像对应的至少一个目标对象参考信息；
所述识别结果包括：是否识别到目标对象、识别到目标对象时的目标对象识别信息、识别图像所消耗的识别时长、识别到目标对象的相似度；
所述测试指标信息生成模块包括：
第一标记子模块，用于若图像为正样本图像且识别结果包括识别到目标对象，则将该图像的目标对象识别信息和目标对象参考信息进行对比，以确定针对该图像的识别准确率，并根据所述识别准确率标记该图像为被识别成功或未被识别成功；
第二标记子模块，用于若图像为正样本图像但识别结果包括未识别到目标对象，则标记该图像为未被识别成功；
第三标记子模块，用于若图像为反样本图像且识别结果包括识别到目标对象，则标记该图像为被误识别；
第四标记子模块，用于若图像为反样本图像但识别结果包括未识别到目标对象，则标记该图像为被识别成功；
测试指标信息生成子模块，用于根据标记为被识别成功的正样本图像的数量，和/或，标记为未被识别成功的正样本图像的数量，和/或，标记为被识别成功的反样本图像的数量，和/或，标记为被误识别的反样本图像的数量，和/或，所述被标记为识别成功的正样本图像的识别准确率，和/或，所述被标记为识别成功的正样本图像的相似度，和/或，所述识别时长，计算测试指标信息。
9.根据权利要求8所述的装置，其特征在于，所述测试指标信息包括识别成功率、正样本识别率、误识别率、识别准确率平均值、相似度平均值、平均识别时长中的至少一种；
所述测试指标信息生成子模块包括：
识别成功率计算单元，用于根据所述图像集合的图像总数、所述标记为被识别成功的正样本图像的数量以及所述标记为被识别成功的反样本图像的数量，计算识别成功率；
和/或，
正样本识别率计算单元，用于根据所述正样本图像的数量以及所述标记为被识别成功的正样本图像的数量，计算正样本识别率；
和/或，
误识别率计算单元，用于根据所述反样本图像的数量以及所述标记为被误识别的反样本图像的数量，计算误识别率；
和/或，
识别准确率平均值计算单元，用于根据所述正样本图像的数量、以及所述正样本图像的识别准确率之和，计算识别准确率平均值；
和/或，
平均识别时长计算单元，用于根据所述识别时长，计算平均识别时长；
和/或，
相似度平均值计算单元，用于根据所述被标记为识别成功的正样本图形的数量以及所述被标记为识别成功的正样本图像的相似度之和，计算相似度平均值。
10.根据权利要求6所述的装置，其特征在于，还包括：
测试报告生成模块，用于采用所述测试指标信息，生成测试报告。
11.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-5所述的一个或多个的方法。
12.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如权利要求1-5所述的一个或多个的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811354645.XA CN111191666A (zh) | 2018-11-14 | 2018-11-14 | 一种图像目标检测算法的测试方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811354645.XA CN111191666A (zh) | 2018-11-14 | 2018-11-14 | 一种图像目标检测算法的测试方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111191666A true CN111191666A (zh) | 2020-05-22 |
Family
ID=70709066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811354645.XA Pending CN111191666A (zh) | 2018-11-14 | 2018-11-14 | 一种图像目标检测算法的测试方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191666A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200217A (zh) * | 2020-09-09 | 2021-01-08 | 天津津航技术物理研究所 | 基于红外图像大数据的识别算法评价方法及系统 |
| CN113435305A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 目标物识别算法的精度检测方法、装置、设备及存储介质 |
| CN114390276A (zh) * | 2022-03-23 | 2022-04-22 | 广东欧谱曼迪科技有限公司 | 一种自动化测试方法及系统 |
| CN114821252A (zh) * | 2022-03-16 | 2022-07-29 | 电子科技大学 | 一种图像识别算法的自成长方法 |
| CN114973165A (zh) * | 2022-07-14 | 2022-08-30 | 浙江大华技术股份有限公司 | 一种事件识别算法的测试方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130336579A1 (en) * | 2012-06-15 | 2013-12-19 | Vufind, Inc. | Methods for Efficient Classifier Training for Accurate Object Recognition in Images and Video |
| CN105184823A (zh) * | 2015-09-29 | 2015-12-23 | 南京理工大学 | 基于视觉感知的运动目标检测算法性能的评价方法 |
-
2018
- 2018-11-14 CN CN201811354645.XA patent/CN111191666A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130336579A1 (en) * | 2012-06-15 | 2013-12-19 | Vufind, Inc. | Methods for Efficient Classifier Training for Accurate Object Recognition in Images and Video |
| CN105184823A (zh) * | 2015-09-29 | 2015-12-23 | 南京理工大学 | 基于视觉感知的运动目标检测算法性能的评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张学显等: "数据驱动的智能车辆目标检测能力测试评价方法" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200217A (zh) * | 2020-09-09 | 2021-01-08 | 天津津航技术物理研究所 | 基于红外图像大数据的识别算法评价方法及系统 |
| CN112200217B (zh) * | 2020-09-09 | 2023-06-09 | 天津津航技术物理研究所 | 基于红外图像大数据的识别算法评价方法及系统 |
| CN113435305A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 目标物识别算法的精度检测方法、装置、设备及存储介质 |
| CN114821252A (zh) * | 2022-03-16 | 2022-07-29 | 电子科技大学 | 一种图像识别算法的自成长方法 |
| CN114821252B (zh) * | 2022-03-16 | 2023-05-26 | 电子科技大学 | 一种图像识别算法的自成长方法 |
| CN114390276A (zh) * | 2022-03-23 | 2022-04-22 | 广东欧谱曼迪科技有限公司 | 一种自动化测试方法及系统 |
| CN114973165A (zh) * | 2022-07-14 | 2022-08-30 | 浙江大华技术股份有限公司 | 一种事件识别算法的测试方法、装置及电子设备 |
| CN114973165B (zh) * | 2022-07-14 | 2022-10-25 | 浙江大华技术股份有限公司 | 一种事件识别算法的测试方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191666A (zh) | 一种图像目标检测算法的测试方法和装置 | |
| US9202121B2 (en) | Liveness detection | |
| WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
| CN107679578B (zh) | 目标识别算法的测试方法、装置及系统 | |
| CN111126366B (zh) | 一种活体人脸的判别方法、装置、设备及存储介质 | |
| EP3220353A1 (en) | Image processing apparatus, image processing method, and recording medium | |
| KR102550964B1 (ko) | 개인화 모델을 이용한 집중도 측정 장치 및 방법 | |
| CN107609149B (zh) | 一种视频定位方法和装置 | |
| EP3211500A1 (en) | Monitoring system based on image analysis of photographs | |
| CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
| US20230353814A1 (en) | Testing rendering of screen objects | |
| CN114764774A (zh) | 瑕疵检测方法、装置、电子设备及计算机可读存储介质 | |
| CN112183289A (zh) | 一种花屏检测方法、装置、设备及介质 | |
| CN112132220A (zh) | 一种自训练方法、系统、装置、电子设备及存储介质 | |
| CN113516144A (zh) | 目标检测方法及装置、计算设备 | |
| CN112819665A (zh) | 课堂状态的评估方法和相关装置、设备 | |
| CN115798020A (zh) | 一种基于人工智能的中小学生学习投入度检测方法与系统 | |
| CN111652145A (zh) | 一种公式检测的方法、装置、电子设备和存储介质 | |
| CN110689447A (zh) | 一种基于深度学习的社交软件用户发布内容的实时检测方法 | |
| CN113138916A (zh) | 基于标注样本的图片结构化算法的自动测试方法及系统 | |
| CN116437139B (zh) | 课堂视频录制方法、装置、存储介质和设备 | |
| CN111967450A (zh) | 自动驾驶模型用样本获取方法、训练方法、装置及系统 | |
| CN111860122A (zh) | 一种现实场景下的阅读综合行为的识别方法及系统 | |
| CN107846622B (zh) | 一种检测字幕清晰度的方法及装置 | |
| CN112016334A (zh) | 判分方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200522 |