CN113435305A - 目标物识别算法的精度检测方法、装置、设备及存储介质 - Google Patents
目标物识别算法的精度检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113435305A CN113435305A CN202110701969.1A CN202110701969A CN113435305A CN 113435305 A CN113435305 A CN 113435305A CN 202110701969 A CN202110701969 A CN 202110701969A CN 113435305 A CN113435305 A CN 113435305A
- Authority
- CN
- China
- Prior art keywords
- information
- target object
- result
- identification
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 169
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 132
- 238000002372 labelling Methods 0.000 claims abstract description 84
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 9
- 210000003771 C cell Anatomy 0.000 description 6
- 210000004128 D cell Anatomy 0.000 description 6
- 210000003719 b-lymphocyte Anatomy 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000009432 framing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人工智能技术，揭露了一种目标物识别算法的精度检测方法，包括：通过标注得到检测图像的信息标注及位置标注；利用待检测识别算法识别检测图像的目标物，得到信息识别结果及位置识别结果；当位置标注及位置识别结果不同时，得到检测图像的检测结果；当位置标注及位置识别结果相同时，根据信息标注及信息识别结果之间的信息统计结果，得到检测图像的检测结果；对所有检测结果进行比例统计，得到待检测识别算法的精度测试结果。此外，本发明还涉及区块链技术，精度测试结果可存储在区块链的节点中。本发明还提出一种目标物识别算法的精度检测装置、设备以及存储介质。本发明可以解决无法对目标物识别算法的精度进行快速检测的问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种目标物识别算法的精度检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着人工智能的发展，目标物识别算法广泛应用于各领域，例如，车辆识别、行人检测等，而目标物识别算法的精度是判断目标物识别算法正常工作的重要依据，但是由于目标物识别算法对于目标物的识别是一个多场景大数据的工作，对目标物识别算法的精度进行检测时往往需要人工对比大量的图像数据，现有情况下缺乏对目标物识别算法的精度快速进行检测的方法。
发明内容
本发明提供一种目标物识别算法的精度检测方法、装置、设备及存储介质，其主要目的在于解决无法对目标物识别算法的精度进行快速检测的问题。
为实现上述目的，本发明提供的一种目标物识别算法的精度检测方法，包括：
获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
判断所述目标物位置标注及所述位置识别结果是否相同；
当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
可选地，所述对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注，包括：
利用预设的标注工具对所述检测图像中的目标物进行框选，得到目标物标注框，并将所述目标物标注框中的标注坐标集合作为所述目标物位置标注；
利用预设的标注标签对所述目标物标注框中目标物的基本信息进行标注，得到所述目标物信息标注。
可选地，所述所述判断所述目标物位置标注及所述位置识别结果是否相同，包括：
计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度；
判断所述坐标重合度是否大于预设的重合度阈值；
当所述坐标重合度小于等于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果不相同；
当所述坐标重合度大于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果相同。
可选地，所述计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度，包括：
利用下述预设的重合度计算公式计算所述标注坐标集合与所述识别坐标集合的坐标重合度：
其中，j(A,B)为所述坐标重合度，A为所述标注坐标集合，B为所述识别坐标集合。
可选地，所述根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果，包括：
判断所述目标物信息标注及所述信息识别结果是否完全相同；
若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，并确定所述第一统计结果为所述信息统计结果；
若所述目标物信息标注及所述信息识别结果完全相同，则得到第二统计结果，并确定所述第二统计结果为所述信息统计结果。
可选地，所述若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，包括：
将所述目标物信息标注及所述信息识别结果中相同的信息确定为正确识别信息；
将所述目标物信息标注及所述信息识别结果中不相同的信息确定为错误识别信息，并对所述错误识别信息进行标注；
汇总所述正确识别信息及标注后的错误识别信息得到所述第一统计结果。
可选地，所述对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果，包括：
统计所有检测图像的图像数量；
计算所述位置错误结果次数与所述图像数量的比例，得到位置错误率；
计算所述信息统计结果中，所述第一统计结果次数与所述图像数量的比例，得到部分识别率；
计算所述信息统计结果中，所述第二统计结果次数与所述图像数量的比例，得到完全识别率；
汇总所述位置错误率、所述部分识别率及所述完全识别率得到所述待检测识别算法的精度测试结果。
为了解决上述问题，本发明还提供一种目标物识别算法的精度检测装置，所述装置包括：
目标物标注模块，用于获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
目标物识别模块，用于选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
位置判断模块，用于判断所述目标物位置标注及所述位置识别结果是否相同；
图像检测模块，用于当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
结果统计模块，用于返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的目标物识别算法的精度检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的目标物识别算法的精度检测方法。
本发明通过对检测图像进行目标物标注，得到目标物信息标注及目标物位置标注，先利用所述目标物位置标注及待检测识别算法反馈的位置识别结果对检测图像进行位置判断，只有位置判断正确时，才会确定所述目标物信息标注及所述信息识别结果是否都相同，对于大量的检测图像，不需要全都比较标注的信息及识别的信息，降低了数据处理量，提高了目标物识别算法精度的检测效率，可以快速的对目标物识别算法进行精度检测。因此本发明提出的目标物识别算法的精度检测方法、装置、电子设备及计算机可读存储介质，可以解决无法对目标物识别算法的精度进行快速检测的问题。
附图说明
图1为本发明一实施例提供的目标物识别算法的精度检测方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为本发明一实施例提供的目标物识别算法的精度检测装置的功能模块图；
图4为本发明一实施例提供的实现所述目标物识别算法的精度检测方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种目标物识别算法的精度检测方法。所述目标物识别算法的精度检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述目标物识别算法的精度检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明一实施例提供的目标物识别算法的精度检测方法的流程示意图。在本实施例中，所述目标物识别算法的精度检测方法包括：
S1、获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注。
本发明实施例中，所述检测图像集可以为不同领域需进行目标物识别的图像集合，例如，离线上传或实时获取的车辆及行人图像、人脸图像等。
具体地，所述对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注，包括：
利用预设的标注工具对所述检测图像中的目标物进行框选，得到目标物标注框，并将所述目标物标注框中的标注坐标集合作为所述目标物位置标注；
利用预设的标注标签对所述目标物标注框中目标物的基本信息进行标注，得到所述目标物信息标注。
本发明实施例中，所述预设的标注工具可以为LabelImg、labelme及Image LabelTool等。所述预设的标注标签包括检测图像中目标物的基本信息标签。以检测车辆识别算法为例，对车辆检测图像中的车进行位置框选，得到车辆标注框，并将框选中的所有坐标位置作为车辆位置标注，对车辆标注框中车辆的颜色、型号及车牌号等基本信息进行标注，得到车辆信息标注。
S2、选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果。
本发明实施例中，所述待检测识别算法可以为各业务方用于目标物检测或识别的算法，包括车辆识别算法、人脸识别算法等。所述待检测识别算法使用的算法模型包括：YOLOv4、Faster R-CNN、SSD等。
具体地，所述利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果，包括：
调用待检测识别算法的接口，利用所述接口中的待检测识别算法对所述检测图像进行目标物识别；
通过所述接口获取所述待检测识别算法基于所述检测图像反馈的信息识别结果及包括坐标集合的位置识别结果。
本发明一可选实施例中，所述待检测识别算法以车辆识别算法为例，所述车辆识别算法会对车辆检测图像中车辆的位置进行位置识别，得到识别到的车辆位置坐标集合，及对车辆检测图像中车辆的基本信息(颜色、型号及车牌号等)进行识别，得到信息识别结果。
本发明实施例中，通过对接各厂商的算法接口，可以实现远程算法精度检测，提高了算法精度检测的效率。
S3、判断所述目标物位置标注及所述位置识别结果是否相同。
具体地，参照图2所示，所述判断所述目标物位置标注及所述位置识别结果是否相同，包括：
S30、计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度；
S31、判断所述坐标重合度是否大于预设的重合度阈值；
当所述坐标重合度小于等于所述重合度阈值时，则执行S32、判断所述目标物位置标注及所述位置识别结果不相同；
当所述坐标重合度大于所述重合度阈值时，则执行S33、判断所述目标物位置标注及所述位置识别结果相同。
本发明实施例中，所述计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度，包括：
利用下述预设的重合度计算公式计算所述标注坐标集合与所述识别坐标集合的坐标重合度：
其中，j(A,B)为所述坐标重合度，A为所述标注坐标集合，B为所述识别坐标集合。
本发明一可选实施例中，以车辆识别算法为例，计算车辆识别算法识别到的车辆位置坐标集合与车辆的标注坐标集合的车辆坐标重合度，当所述车辆坐标重合度大于预设的重合度阈值(可以为55％)时，确定车辆的位置判断正确。
当所述目标物位置标注及所述位置识别结果不相同时，执行S4、得到所述检测图像的位置错误结果；
本发明实施例中，以车辆识别算法为例，当所述目标物位置标注及所述位置识别结果不相同时，确定所述待检测识别算法未识别到标注的车辆，记录此时的位置错误结果，方便后续生成车辆精度测试报告。
当所述目标物位置标注及所述位置识别结果相同时，执行S5、根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
具体地，所述根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果，包括：
判断所述目标物信息标注及所述信息识别结果是否完全相同；
若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，并确定所述第一统计结果为所述信息统计结果；
若所述目标物信息标注及所述信息识别结果完全相同，则得到第二统计结果，并确定所述第二统计结果为所述信息统计结果。
详细地，所述若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，包括：
将所述目标物信息标注及所述信息识别结果中相同的信息确定为正确识别信息；
将所述目标物信息标注及所述信息识别结果中不相同的信息确定为错误识别信息，并对所述错误识别信息进行标注；
汇总所述正确识别信息及标注后的错误识别信息得到所述第一统计结果。
本发明一可选实施例中，以车辆识别算法为例，当所述目标物位置标注及所述位置识别结果相同时，确定车辆识别算法识别到标注的车辆，比较车辆检测图像中标注的基本信息(颜色、型号及车牌号等)与车辆识别算法识别出来的基本信息(颜色、型号及车牌号等)是否都相同，当不完全相同时，将相同的基本信息确定为正确识别信息，将不相同的基本信息确定为错误识别信息并标注，并汇总识别正确识别信息及错误识别信息得到第一统计结果，当完全相同时，确定车辆识别算法能够完全识别检测图像，则第二统计结果为“完全识别”，根据第一统计结果及第二统计结果可以方便开发人员调整车辆识别算法，提高了算法检测效率。
S6、判断所述检测图像集中所有检测图像是否都选择完毕，若否，返回上述S2，若是，执行S7、对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
具体地，所述对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果，包括：
统计所有检测图像的图像数量；
计算所述位置错误结果次数与所述图像数量的比例，得到位置错误率；
计算所述信息统计结果中，所述第一统计结果次数与所述图像数量的比例，得到部分识别率；
计算所述信息统计结果中，所述第二统计结果次数与所述图像数量的比例，得到完全识别率；
汇总所述位置错误率、所述部分识别率及所述完全识别率得到所述待检测识别算法的精度测试结果。
本发明一可选实施例中，可以将所述精度测试结果导入预设的Excel表格生成所述待检测识别算法的精度测试报告。例如，车辆识别算法检测中，所述精度测试报告中包括：A单元格(图像编号)、B单元格(位置判断)、C单元格(第一统计结果)及D单元格(第二统计结果)，其中，A单元格(图像编号)包括：“检测图像1”，“检测图像2”，“检测图像3”…，B单元格(位置判断)包括：“错误”、“正确”、“正确”…，C单元格(第一统计结果)包括：“无”，“正确识别信息：车牌、颜色，错误识别信息：型号”，“无”…，D单元格(第二统计结果)包括：“无”，“无”，“完全识别”…。并在B单元格(位置判断)、C单元格(第一统计结果)及D单元格(第二统计结果)的最后自动统计出位置错误率、部分识别率及完全识别率。
本发明通过对检测图像进行目标物标注，得到目标物信息标注及目标物位置标注，先利用所述目标物位置标注及待检测识别算法反馈的位置识别结果对检测图像进行位置判断，只有位置判断正确时，才会确定所述目标物信息标注及所述信息识别结果是否都相同，对于大量的检测图像，不需要全都比较标注的信息及识别的信息，降低了数据处理量，提高了目标物识别算法精度的检测效率，可以快速的对目标物识别算法进行精度检测。因此本发明实施例可以解决无法对目标物识别算法的精度进行快速检测的问题。
如图3所示，是本发明一实施例提供的目标物识别算法的精度检测装置的功能模块图。
本发明所述目标物识别算法的精度检测装置100可以安装于电子设备中。根据实现的功能，所述目标物识别算法的精度检测装置100可以包括目标物标注模块101、目标物识别模块102、位置判断模块103、图像检测模块104及结果统计模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述目标物标注模块101，用于获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注。
本发明实施例中，所述检测图像集可以为不同领域需进行目标物识别的图像集合，例如，离线上传或实时获取的车辆及行人图像、人脸图像等。
具体地，所述目标物标注模块101通过下述操作得到目标物信息标注及目标物位置标注：
利用预设的标注工具对所述检测图像中的目标物进行框选，得到目标物标注框，并将所述目标物标注框中的标注坐标集合作为所述目标物位置标注；
利用预设的标注标签对所述目标物标注框中目标物的基本信息进行标注，得到所述目标物信息标注。
本发明实施例中，所述预设的标注工具可以为LabelImg、labelme及Image LabelTool等。所述预设的标注标签包括检测图像中目标物的基本信息标签。以检测车辆识别算法为例，对车辆检测图像中的车进行位置框选，得到车辆标注框，并将框选中的所有坐标位置作为车辆位置标注，对车辆标注框中车辆的颜色、型号及车牌号等基本信息进行标注，得到车辆信息标注。
所述目标物识别模块102，用于选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果。
本发明实施例中，所述待检测识别算法可以为各业务方用于目标物检测或识别的算法，包括车辆识别算法、人脸识别算法等。所述待检测识别算法使用的算法模型包括：YOLOv4、Faster R-CNN、SSD等。
具体地，所述目标物识别模块102通过下述操作得到信息识别结果及位置识别结果，包括：
调用待检测识别算法的接口，利用所述接口中的待检测识别算法对所述检测图像进行目标物识别；
通过所述接口获取所述待检测识别算法基于所述检测图像反馈的信息识别结果及包括坐标集合的位置识别结果。
本发明一可选实施例中，所述待检测识别算法以车辆识别算法为例，所述车辆识别算法会对车辆检测图像中车辆的位置进行位置识别，得到识别到的车辆位置坐标集合，及对车辆检测图像中车辆的基本信息(颜色、型号及车牌号等)进行识别，得到信息识别结果。
本发明实施例中，通过对接各厂商的算法接口，可以实现远程算法精度检测，提高了算法精度检测的效率。
所述位置判断模块103，用于判断所述目标物位置标注及所述位置识别结果是否相同。
具体地，所述位置判断模块103通过下述操作判断所述目标物位置标注及所述位置识别结果是否相同，包括：
计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度；
判断所述坐标重合度是否大于预设的重合度阈值；
当所述坐标重合度小于等于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果不相同；
当所述坐标重合度大于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果相同。
本发明实施例中，所述计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度，包括：
利用下述预设的重合度计算公式计算所述标注坐标集合与所述识别坐标集合的坐标重合度：
其中，j(A,B)为所述坐标重合度，A为所述标注坐标集合，B为所述识别坐标集合。
本发明一可选实施例中，以车辆识别算法为例，计算车辆识别算法识别到的车辆位置坐标集合与车辆的标注坐标集合的车辆坐标重合度，当所述车辆坐标重合度大于预设的重合度阈值(可以为55％)时，确定车辆的位置判断正确。
所述图像检测模块104，用于当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果。
本发明实施例中，以车辆识别算法为例，当所述目标物位置标注及所述位置识别结果不相同时，确定所述待检测识别算法未识别到标注的车辆，记录此时的位置错误结果，方便后续生成车辆精度测试报告。
具体地，所述图像检测模块104通过下述操作得到信息统计结果，包括：
判断所述目标物信息标注及所述信息识别结果是否完全相同；
若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，并确定所述第一统计结果为所述信息统计结果；
若所述目标物信息标注及所述信息识别结果完全相同，则得到第二统计结果，并确定所述第二统计结果为所述信息统计结果。
详细地，所述图像检测模块104通过下述操作得到第一统计结果，包括：
将所述目标物信息标注及所述信息识别结果中相同的信息确定为正确识别信息；
将所述目标物信息标注及所述信息识别结果中不相同的信息确定为错误识别信息，并对所述错误识别信息进行标注；
汇总所述正确识别信息及标注后的错误识别信息得到所述第一统计结果。
本发明一可选实施例中，以车辆识别算法为例，当所述目标物位置标注及所述位置识别结果相同时，确定车辆识别算法识别到标注的车辆，比较车辆检测图像中标注的基本信息(颜色、型号及车牌号等)与车辆识别算法识别出来的基本信息(颜色、型号及车牌号等)是否都相同，当不完全相同时，将相同的基本信息确定为正确识别信息，将不相同的基本信息确定为错误识别信息并标注，并汇总识别正确识别信息及错误识别信息得到第一统计结果，当完全相同时，确定车辆识别算法能够完全识别检测图像，则第二统计结果为“完全识别”，根据第一统计结果及第二统计结果可以方便开发人员调整车辆识别算法，提高了算法检测效率。
所述结果统计模块105，用于对所有检测图像的位置错误结果及所述信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。具体地，所述结果统计模块105通过下述操作得到所述待检测识别算法的精度测试结果，包括：
统计所有检测图像的图像数量；
计算所述位置错误结果次数与所述图像数量的比例，得到位置错误率；
计算所述信息统计结果中，所述第一统计结果次数与所述图像数量的比例，得到部分识别率；
计算所述信息统计结果中，所述第二统计结果次数与所述图像数量的比例，得到完全识别率；
汇总所述位置错误率、所述部分识别率及所述完全识别率得到所述待检测识别算法的精度测试结果。
本发明一可选实施例中，可以将所述精度测试结果导入预设的Excel表格生成所述待检测识别算法的精度测试报告。例如，车辆识别算法检测中，所述精度测试报告中包括：A单元格(图像编号)、B单元格(位置判断)、C单元格(第一统计结果)及D单元格(第二统计结果)，其中，A单元格(图像编号)包括：“检测图像1”，“检测图像2”，“检测图像3”…，B单元格(位置判断)包括：“错误”、“正确”、“正确”…，C单元格(第一统计结果)包括：“无”，“正确识别信息：车牌、颜色，错误识别信息：型号”，“无”…，D单元格(第二统计结果)包括：“无”，“无”，“完全识别”…。并在B单元格(位置判断)、C单元格(第一统计结果)及D单元格(第二统计结果)的最后自动统计出位置错误率、部分识别率及完全识别率。
如图4所示，是本发明一实施例提供的目标物识别算法的精度检测方法的电子设备的结构示意图，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序，如目标物识别算法的精度检测生成程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的样本数据闭环生成方法，包括：
获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
判断所述目标物位置标注及所述位置识别结果是否相同；
当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
判断所述目标物位置标注及所述位置识别结果是否相同；
当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种目标物识别算法的精度检测方法，其特征在于，所述方法包括：
获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
判断所述目标物位置标注及所述位置识别结果是否相同；
当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
2.如权利要求1所述的目标物识别算法的精度检测方法，其特征在于，所述对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注，包括：
利用预设的标注工具对所述检测图像中的目标物进行框选，得到目标物标注框，并将所述目标物标注框中的标注坐标集合作为所述目标物位置标注；
利用预设的标注标签对所述目标物标注框中目标物的基本信息进行标注，得到所述目标物信息标注。
3.如权利要求1所述的目标物识别算法的精度检测方法，其特征在于，所述判断所述目标物位置标注及所述位置识别结果是否相同，包括：
计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度；
判断所述坐标重合度是否大于预设的重合度阈值；
当所述坐标重合度小于等于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果不相同；
当所述坐标重合度大于所述重合度阈值时，则判断所述目标物位置标注及所述位置识别结果相同。
4.如权利要求3所述的目标物识别算法的精度检测方法，其特征在于，所述计算所述目标物位置标注中标注坐标集合与所述位置识别结果中的坐标集合的坐标重合度，包括：
利用下述预设的重合度计算公式计算所述标注坐标集合与所述识别坐标集合的坐标重合度：
其中，j(A,B)为所述坐标重合度，A为所述标注坐标集合，B为所述识别坐标集合。
5.如权利要求1所述的目标物识别算法的精度检测方法，其特征在于，所述根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果，包括：
判断所述目标物信息标注及所述信息识别结果是否完全相同；
若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，并确定所述第一统计结果为所述信息统计结果；
若所述目标物信息标注及所述信息识别结果完全相同，则得到第二统计结果，并确定所述第二统计结果为所述信息统计结果。
6.如权利要求5所述的目标物识别算法的精度检测方法，其特征在于，所述若所述目标物信息标注及所述信息识别结果不完全相同，则得到第一统计结果，包括：
将所述目标物信息标注及所述信息识别结果中相同的信息确定为正确识别信息；
将所述目标物信息标注及所述信息识别结果中不相同的信息确定为错误识别信息，并对所述错误识别信息进行标注；
汇总所述正确识别信息及标注后的错误识别信息得到所述第一统计结果。
7.如权利要求6所述的目标物识别算法的精度检测方法，其特征在于，所述对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果，包括：
统计所有检测图像的图像数量；
计算所述位置错误结果次数与所述图像数量的比例，得到位置错误率；
计算所述信息统计结果中，所述第一统计结果次数与所述图像数量的比例，得到部分识别率；
计算所述信息统计结果中，所述第二统计结果次数与所述图像数量的比例，得到完全识别率；
汇总所述位置错误率、所述部分识别率及所述完全识别率得到所述待检测识别算法的精度测试结果。
8.一种目标物识别算法的精度检测装置，其特征在于，所述装置包括：
目标物标注模块，用于获取检测图像集，对所述检测图像集中的检测图像进行目标物标注，得到目标物信息标注及目标物位置标注；
目标物识别模块，用于选择其中一个检测图像，利用待检测识别算法对所述检测图像进行目标物识别，得到目标物的信息识别结果及位置识别结果；
位置判断模块，用于判断所述目标物位置标注及所述位置识别结果是否相同；
图像检测模块，用于当所述目标物位置标注及所述位置识别结果不相同时，得到所述检测图像的位置错误结果；或
当所述目标物位置标注及所述位置识别结果相同时，根据所述目标物信息标注及所述信息识别结果得到所述检测图像的信息统计结果；
结果统计模块，用于返回上述选择其中一个检测图像的步骤，直到所述检测图像集中所有检测图像都选择完毕时，对所有检测图像的位置错误结果及信息统计结果进行比例统计，得到所述待检测识别算法的精度测试结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的目标物识别算法的精度检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的目标物识别算法的精度检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110701969.1A CN113435305A (zh) | 2021-06-23 | 2021-06-23 | 目标物识别算法的精度检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110701969.1A CN113435305A (zh) | 2021-06-23 | 2021-06-23 | 目标物识别算法的精度检测方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435305A true CN113435305A (zh) | 2021-09-24 |
Family
ID=77753743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110701969.1A Pending CN113435305A (zh) | 2021-06-23 | 2021-06-23 | 目标物识别算法的精度检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435305A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120071A (zh) * | 2021-12-09 | 2022-03-01 | 北京车网科技发展有限公司 | 一种带有对象标注框图像的检测方法 |
| WO2023179133A1 (zh) * | 2022-03-22 | 2023-09-28 | 深圳云天励飞技术股份有限公司 | 一种目标算法的选取方法、装置、电子设备及存储介质 |
| CN118397589A (zh) * | 2024-06-28 | 2024-07-26 | 广州侨银数智城市有限责任公司 | 一种无人清洁车的清洁度识别装置的检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109948613A (zh) * | 2019-03-22 | 2019-06-28 | 国网重庆市电力公司电力科学研究院 | 一种避雷器的红外图像识别方法及装置 |
| CN111191666A (zh) * | 2018-11-14 | 2020-05-22 | 网易（杭州）网络有限公司 | 一种图像目标检测算法的测试方法和装置 |
| CN112286780A (zh) * | 2019-07-23 | 2021-01-29 | 浙江宇视科技有限公司 | 识别算法的测试方法、装置、设备及存储介质 |
| CN112307852A (zh) * | 2019-08-02 | 2021-02-02 | 西安光启未来技术研究院 | 面部检测目标与打标匹配方法、存储介质及处理器 |
| CN112580707A (zh) * | 2020-12-11 | 2021-03-30 | 北京巅峰科技有限公司 | 图像识别方法、装置、设备及存储介质 |
| CN113011473A (zh) * | 2021-03-02 | 2021-06-22 | 中国工商银行股份有限公司 | 模型优化方法、模型优化装置和电子设备 |
-
2021
- 2021-06-23 CN CN202110701969.1A patent/CN113435305A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191666A (zh) * | 2018-11-14 | 2020-05-22 | 网易（杭州）网络有限公司 | 一种图像目标检测算法的测试方法和装置 |
| CN109948613A (zh) * | 2019-03-22 | 2019-06-28 | 国网重庆市电力公司电力科学研究院 | 一种避雷器的红外图像识别方法及装置 |
| CN112286780A (zh) * | 2019-07-23 | 2021-01-29 | 浙江宇视科技有限公司 | 识别算法的测试方法、装置、设备及存储介质 |
| CN112307852A (zh) * | 2019-08-02 | 2021-02-02 | 西安光启未来技术研究院 | 面部检测目标与打标匹配方法、存储介质及处理器 |
| CN112580707A (zh) * | 2020-12-11 | 2021-03-30 | 北京巅峰科技有限公司 | 图像识别方法、装置、设备及存储介质 |
| CN113011473A (zh) * | 2021-03-02 | 2021-06-22 | 中国工商银行股份有限公司 | 模型优化方法、模型优化装置和电子设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114120071A (zh) * | 2021-12-09 | 2022-03-01 | 北京车网科技发展有限公司 | 一种带有对象标注框图像的检测方法 |
| CN114120071B (zh) * | 2021-12-09 | 2024-08-06 | 北京车网科技发展有限公司 | 一种带有对象标注框图像的检测方法 |
| WO2023179133A1 (zh) * | 2022-03-22 | 2023-09-28 | 深圳云天励飞技术股份有限公司 | 一种目标算法的选取方法、装置、电子设备及存储介质 |
| CN118397589A (zh) * | 2024-06-28 | 2024-07-26 | 广州侨银数智城市有限责任公司 | 一种无人清洁车的清洁度识别装置的检测方法和装置 |
| CN118397589B (zh) * | 2024-06-28 | 2024-09-13 | 广州侨银数智城市有限责任公司 | 一种无人清洁车的清洁度识别装置的检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113435305A (zh) | 目标物识别算法的精度检测方法、装置、设备及存储介质 | |
| CN114414935A (zh) | 基于大数据的配电网馈线故障区域自动化定位方法和系统 | |
| CN112258507B (zh) | 互联网数据中心的目标对象检测方法、装置和电子设备 | |
| CN109783385B (zh) | 一种产品测试方法和装置 | |
| CN110969600A (zh) | 一种产品缺陷检测方法、装置、电子设备及存储介质 | |
| CN112965852A (zh) | 一种基于日志分析的错误定位方法和装置 | |
| JP2019516147A (ja) | 車両損傷画像の角度補正方法、電子装置及び読み取り可能な記憶媒体 | |
| CN112631926A (zh) | 代码测试覆盖率显示方法、装置、计算机设备及存储介质 | |
| CN114120071B (zh) | 一种带有对象标注框图像的检测方法 | |
| CN112328822A (zh) | 图片预标注方法、装置及终端设备 | |
| CN111680680A (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
| CN115496893A (zh) | 一种指针式水表读数识别方法 | |
| CN111581066A (zh) | 一种实时报表统计分析方法及装置 | |
| CN113551156B (zh) | 基于深度学习的管道状态监测方法、装置及存储介质 | |
| CN113504865A (zh) | 工单标签添加方法、装置、设备及存储介质 | |
| CN113766312A (zh) | 设备间的响应延迟计算方法、装置、设备及存储介质 | |
| CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN113282496B (zh) | 接口自动测试方法、装置、设备及存储介质 | |
| CN112233171B (zh) | 目标标注质量检验方法、装置、计算机设备和存储介质 | |
| CN109815109B (zh) | 数据模式变更检测方法、装置、设备及可读存储介质 | |
| CN112529039B (zh) | 一种主板物料信息的检验方法、装置及存储介质 | |
| CN113128440A (zh) | 基于边缘设备的目标物识别方法、装置、设备及存储介质 | |
| CN112598616A (zh) | 一种电子设备曝光参数的确定方法及成像方法 | |
| CN115280374A (zh) | 标注方法和装置 | |
| TWI845355B (zh) | 表單資料輸入方式判斷系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |
|
| RJ01 | Rejection of invention patent application after publication |