CN114170448A - 一种视觉感知算法的评测方法及装置 - Google Patents

一种视觉感知算法的评测方法及装置 Download PDF

Info

Publication number
CN114170448A
CN114170448A CN202010841528.7A CN202010841528A CN114170448A CN 114170448 A CN114170448 A CN 114170448A CN 202010841528 A CN202010841528 A CN 202010841528A CN 114170448 A CN114170448 A CN 114170448A
Authority
CN
China
Prior art keywords
information
detection
frame
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010841528.7A
Other languages
English (en)
Inventor
何杰
王旭
申艺华
李俊
董维山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202010841528.7A priority Critical patent/CN114170448A/zh
Priority to PCT/CN2021/109529 priority patent/WO2022037387A1/zh
Publication of CN114170448A publication Critical patent/CN114170448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种视觉感知算法的评测方法及装置，该方法包括：获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息；获得基于预设视觉检测算法以及评测数据集中每一图像帧检测出的各检测物体对应的检测信息；基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定预设视觉感知算法对应的评测信息，其中，评测信息包括：表征预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息，以实现对视觉感知算法的性能的全面评测。

Description

一种视觉感知算法的评测方法及装置
技术领域
本发明涉及算法评测技术领域，具体而言，涉及一种视觉感知算法的评测方法及装置。
背景技术
视觉感知算法是自动驾驶系统、人脸识别系统以及身份验证系统等领域的核心组成部分，视觉感知算法的感知结果的准确与否，在一定程度上影响着上述系统输出结果的准确与否。相应的，为了保证上述系统的性能，在实际应用视觉感知算法之前需要对视觉感知算法的性能进行评测。
那么，如何提供一种对视觉感知算法的性能进行评测的方法成为亟待解决的问题。
发明内容
本发明提供了一种视觉感知算法的评测方法及装置，以实现对视觉感知算法的性能的全面评测。具体的技术方案如下：
第一方面，本发明实施例提供了一种视觉感知算法的评测方法，所述方法包括：
获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
可选的，所述获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息的过程，包括：
获得评测数据集；
基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
可选的，所述获得基于预设视觉感知算法以及所述评测数据集中每一图像帧检测出的各物体对应的检测信息的步骤，包括：
基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；
基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
可选的，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；
所述基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息的步骤，包括：
针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；
针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；
基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；
基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
所述基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息的步骤，包括：
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值；
基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制所述目标误差值对应的误差曲线，其中，所述误差曲线的横轴为预设误差阈值，所述误差曲线的纵轴为所述目标误差值中小于各预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值，所述目标误差值为：检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值或检测框的长宽误差值；
按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到所述目标误差值对应的排序序列；确定所述目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值；
基于所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或所述目标误差值，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息。
可选的，所述基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息的步骤，包括：
基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，从所述目标误差值中确定出对应同一物体对应的目标误差值；
针对不同物体对应的目标误差值，基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，其中，该拟合误差曲线包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差；
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息的步骤，包括：
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值；
针对不同物体对应的目标误差值，基于该物体对应的各采集时刻的目标误差与拟合误差的差值，以及该物体所对应目标误差值对应的预设差值阈值，绘制该物体所对应目标误差对应的差值误差曲线，其中，该物体所对应目标误差对应的差值误差曲线的横轴为该物体所对应目标误差值对应的预设差值阈值，该物体所对应目标误差对应的差值误差曲线的纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值；
针对不同物体对应的目标误差值，按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值；
基于各物体所对应目标误差值对应的所述第一差值和所述第二差值，和/或各物体所对应目标误差值对应的差值误差曲线，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述方法还包括：
显示所述第一评测信息、所述第二评测信息、所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、所述第一目标误差值及所述第二目标误差值、所述目标误差值、所确定出的同一物体对应的目标误差值和/或拟合所得的每一物体对应的目标误差值对应的拟合误差曲线。
第二方面，本发明实施例提供了一种视觉感知算法的评测装置，所述装置包括：
第一获得模块，被配置为获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
第二获得模块，被配置为获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
确定模块，被配置为基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
可选的，所述第一获得模块，被具体配置为获得评测数据集；
基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
可选的，所述第二获得模块，被具体配置为基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；
基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
可选的，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；
所述确定模块，包括：
第一确定单元，被配置为针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；
第二确定单元，被配置为针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；
第三确定单元，被配置为基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；
第四确定单元，被配置为基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
所述第三确定单元，被具体配置为基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值；
基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制所述目标误差值对应的误差曲线，其中，所述误差曲线的横轴为预设误差阈值，所述误差曲线的纵轴为所述目标误差值中小于各预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值，所述目标误差值为：检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值或检测框的长宽误差值；
按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到所述目标误差值对应的排序序列；确定所述目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值；
基于所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或所述目标误差值，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息。
可选的，所述第四确定单元，被具体配置为基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，从所述目标误差值中确定出对应同一物体对应的目标误差值；
针对不同物体对应的目标误差值，基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，其中，该拟合误差曲线包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差；
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述第四确定单元，被具体配置为针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值；
针对不同物体对应的目标误差值，基于该物体对应的各采集时刻的目标误差与拟合误差的差值，以及该物体所对应目标误差值对应的预设差值阈值，绘制该物体所对应目标误差对应的差值误差曲线，其中，该物体所对应目标误差对应的差值误差曲线的横轴为该物体所对应目标误差值对应的预设差值阈值，该物体所对应目标误差对应的差值误差曲线的纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值；
针对不同物体对应的目标误差值，按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值；
基于各物体所对应目标误差值对应的所述第一差值和所述第二差值，和/或各物体所对应目标误差值对应的差值误差曲线，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
可选的，所述装置还包括：
显示模块，被配置为显示所述第一评测信息、所述第二评测信息、所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、所述第一目标误差值及所述第二目标误差值、所述目标误差值、所确定出的同一物体对应的目标误差值和/或拟合所得的每一物体对应的目标误差值对应的拟合误差曲线。
由上述内容可知，本发明实施例提供的一种视觉感知算法的评测方法及装置，获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；获得基于预设视觉检测算法以及评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定预设视觉感知算法对应的评测信息，其中，评测信息包括：表征预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
应用本发明实施例，可以基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定出预设视觉感知算法的多方面检测结果的准确性的第一评测信息，以及算法稳定性的第二评测信息，从多方面检测结果的准确性和算法的检测结果的稳定性来对预设视觉感知算法进行评测，实现对视觉感知算法的性能的全面评测。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、可以基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定出预设视觉感知算法的多方面检测结果的准确性的第一评测信息，以及算法稳定性的第二评测信息，从多方面检测结果的准确性和算法的检测结果的稳定性来对预设视觉感知算法进行评测，实现对视觉感知算法的性能的全面评测。
2、基于预先训练的三维数据感知模型对评测数据集中的每一点云数据帧进行自动标注，得到每一点云数据帧对应的各物体的标注框信息，进而推算出每一点云数据帧所对应各物体的标注位置信息和标注姿态信息；并结合评测数据中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的速度信息以及加速度信息，得到点云数据帧中对应的包括各物体的标注框信息、标注位置信息和标注姿态信息以及标注速度信息以及标注加速度信息等的三维信息，实现对各关于所标注的物体的三维信息的自动标注，节省人力成本。
3、基于真值信息中的标注框信息以及检测框信息，实现对真值信息与检测信息的匹配，进而基于预设结果准确性评测规则、预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息，实现对预设视觉感知算法的结果准确性和算法稳定性的全面评测。
4、在进行预设视觉感知算法的检测结果准确性的评测过程中，不仅从检测结果的准确度和召回率等角度对预设视觉感知算法的检测结果准确性进行评测，还增加了新的评测指标，基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制目标误差值对应的误差曲线，并确定目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值，进而结合检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或目标误差值，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息，实现对检测结果准确性的更全面的评测。
5、为了实现对预设视觉感知算法的全面评测，增加了对预设视觉感知算法的算法稳定性的评测，首先从目标误差值中确定出对应同一物体的目标误差值，进而通过预设曲线拟合算法，拟合物体对应的目标误差值对应的拟合误差曲线，基于该物体对应的目标误差值以及拟合误差曲线中该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征预设视觉感知算法的算法稳定性的第二评测信息，实现对预设视觉感知算法的算法稳定性的评测。例如：计算该物体对应的目标误差值与其对应相同采集时刻的拟合误差之间的差值，进而绘制横轴为预设差值阈值，纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值的差值误差曲线；和/或按数值的大小，对该物体对应的目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值，通过第一差值和第二差值，和/或差值误差曲线确定第二评测信息。
6、实现对视觉感知算法的评测过程的中间评测结果和最终评测结果的可视化，为用户提供更直观的视觉感知算法的检测结果准确性和算法稳定性的评测过程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视觉感知算法的评测方法的一种流程示意图；
图2为本发明实施例提供的目标误差值对应的误差曲线的一种示例图；
图3为本发明实施例提供的视觉感知算法的评测装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明提供了一种视觉感知算法的评测方法及装置，以实现对视觉感知算法的性能的全面评测。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的视觉感知算法的评测方法的一种流程示意图。该方法可以包括如下步骤：
S101：获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息。
其中，真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧。该点云数据帧可以是激光雷达传感器所采集的数据帧，该图像帧可以是图像采集设备所采集的图像帧。
本发明实施例所提供的视觉感知算法的评测方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。
该真值信息包括的所对应物体的标注位姿信息以及物体运动信息可以为基于三维空间的信息，例如可以是在采集得到该点云数据帧的设备的设备坐标系下的位姿信息以及运动信息，也可以是预设空间直角坐标系下的位姿信息以及运动信息，这都是可以的，其中，该预设空间直角坐标系可以为世界坐标系或者为图像采集设备坐标。其中，标注位姿信息可以包括标注位置信息和标注姿态信息；物体运动信息可以包括但不限于：所标注的物体的速度信息以及加速度信息，为了描述清楚，可以称基于评测数据集中的每一点云数据帧确定的物体运动信息所包括的速度信息为标注速度信息，加速度信息为标注加速度信息。
在一种情况中，该视觉感知算法可以是应用于自动驾驶系统中的视觉感知算法，相应的，该评测数据集中包括的各评测数据可以是目标车辆在行驶过程中所采集的评测数据，每一评测数据包括存在对应关系的点云数据帧和图像帧，该存在对应关系可以指：在同一个采集周期内所采集的点云数据帧和图像帧。相应的，上述激光雷达传感器和图像采集设备可以均设置于目标车辆内。
该视觉感知算法可以是应用于自动驾驶系统中的视觉感知算法的情况下，上述各物体可以包括但不限于车辆以及行人等。在一种情况中，物体为车辆时，真值信息中所包括的所对应物体的标注位姿信息中的标注位置信息可以指：车辆的中心点的位置信息、车尾中心点的位置信息或车头中心点的位置信息，这都是可以的。真值信息中所包括的所对应物体的标注位姿信息中的标注姿态信息可以指：车辆在行驶过程中相对应其所在坐标系的坐标轴的各夹角信息，包括：俯仰角信息、滚转角信息以及偏移角信息。在一种情况中，可以不考虑车辆在地表行驶过程中所产生的俯仰角信息和滚转角信息，即认为车辆在地表行驶过程中所产生的俯仰角信息和滚转角信息均为零。
在一种实现中，该评测数据集中的评测数据可以包括：针对正常行驶场景采集的评测数据，或针对大车或异型车场景所采集的评测数据集，或针对行人、复杂十字路口以及特定天气条件所采集的评测数据，这都是可以的。
在一种实现中，电子设备可以直接获得其他设备所发送的基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息。
在本发明的一种实现方式中，S101，可以包括如下步骤011-013：
011：获得评测数据集；
012：基于预先训练的三维数据感知模型对评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
013：基于评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
本实现方式中，电子设备可以直接获得评测数据集，其中，评测数据集中包括多个评测数据；电子设备将评测数据集中的每一评测数据包括的点云数据帧，输入预先训练的三维数据感知模型，通过预先训练的三维数据感知模型从每一点云数据帧中检测去其中的各物体，并通过标注框进行标注，得到每一点云数据帧对应的各物体的标注框信息，其中，该标注框可以为一立方体。各物体的标注框信息包括：可以表征物体的长宽高的信息，和可以表征物体的位姿信息的信息。
后续的，电子设备通过预先训练的三维数据感知模型针对每一点云数据帧所输出的其所对应的各物体的标注框信息，换算得到每一帧点云数据帧对应的各物体的标注位置信息和标注姿态信息。该预先训练的三维数据感知模型可以为：基于样本点云数据帧及其对应的包括该样本点云数据帧中各物体对应的标定框信息的标定信息训练所得的神经网络模型，具体的模型训练过程可以参见相关技术中模型的训练过程，在此不再赘述。
评测数据集中的评测数据一般为连续采集得到的数据，即评测数据集中的点云数据帧之间为连续帧，且图像帧为连续帧。相应的，电子设备可以基于评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息。
在一种实现中，各物体的标注位置信息可以包括横向位置信息、纵向位置信息以及径向位置信息，进而，基于每一点云数据帧所对应各物体的横向位置信息，以及每一点云数据帧之间的时序信息，可以确定得到各物体的标注横向速度信息和标注横向加速度信息；基于每一点云数据帧所对应各物体的纵向位置信息，以及每一点云数据帧之间的时序信息，可以确定得到各物体的标注纵向速度信息和标注纵向加速度信息；基于每一点云数据帧所对应各物体的径向位置信息，以及每一点云数据帧之间的时序信息，可以确定得到各物体的标注径向速度信息和标注径向加速度信息。
S102：获得基于预设视觉检测算法以及评测数据集中每一图像帧检测出的各检测物体对应的检测信息。
其中，检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息。
利用预设视觉检测算法可以从图像帧中检测出该图像中的各物体对应的检测信息，为了描述清楚，可以称利用预设视觉检测算法从图像帧中检测出的物体为检测物体。
该检测信息中可以包括物体对应的二维信息以及三维信息；其中，物体对应的二维信息可以包括：物体在图像帧中的二维位置信息以及二维速度信息；物体对应的三维信息可以包括但不限于：物体在指定空间直角坐标系下的位姿信息，即检测位姿信息，以及检测运动信息，该检测运动信息包括但不限于：所对应物体的检测速度信息和检测加速度信息。
在一种实现中，电子设备可以直接获得其他设备所发送的基于预设视觉检测算法以及评测数据集中每一图像帧检测出的各检测物体对应的检测信息。
在本发明的一种实现方式中，S102，可以包括如下步骤021-022：
021：基于预设视觉感知算法，对评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息。
022：基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
本实现方式中，电子设备本地或所连接的存储设备预先存储有该预设视觉感知算法，获得评测数据集之后，电子设备可以基于该预设视觉感知算法，对评测数据集中的每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息；其中，检测框信息包括：可以表征所对应检测物体的长宽高的信息，和可以表征所对应检测物体的位姿信息的信息，也可以包括表征所对应检测物体在相应的图像帧中的二维位置信息的信息。
电子设备基于预设视觉感知算法以及每一图像帧对应的所检测出的各物体所对应检测框信息，确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息。并基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息。
在一种实现中，各检测物体的检测位置信息可以包括横向位置信息、纵向位置信息以及径向位置信息，进而，基于每一检测物体的横向位置信息，以及每一图像帧之间的时序信息，可以确定得到各检测物体的检测横向速度信息和检测横向加速度信息；基于每一检测物体的纵向位置信息，以及每一图像帧之间的时序信息，可以确定得到各检测的检测纵向速度信息和检测纵向加速度信息；基于每一检测物体的径向位置信息，以及每一图像帧之间的时序信息，可以确定得到各检测物体的检测径向速度信息和检测径向加速度信息。
S103：基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定预设视觉感知算法对应的评测信息。
其中，评测信息包括：表征预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
本步骤中，电子设备可以基于预设结果准确性评测规则，对存在对应关系的真值信息以及检测信息进行处理，得到表征预设视觉感知算法的检测结果准确性的第一评测信息；并基于预设算法稳定性评测规则，对存在对应关系的真值信息以及检测信息进行处理，得到表征预设视觉感知算法的算法稳定性的第二评测信息。
其中，预设结果准确性评测规则可以包括但不限于：特定检测结果准确性评定指标，以及指示基于真值信息以及检测信息确定特定检测结果准确性评定指标对应的结果的过程；该预设算法稳定性评测规则可以包括但不限于：特定算法稳定性评定指标，以及指示基于真值信息以及检测信息确定算法稳定性评定指标对应的结果的过程。
应用本发明实施例，可以基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定出预设视觉感知算法的多方面检测结果的准确性的第一评测信息，以及算法稳定性的第二评测信息，从多方面检测结果的准确性和算法的检测结果的稳定性来对预设视觉感知算法进行评测，实现对视觉感知算法的性能的全面评测。
在本发明的另一实施例中，真值信息包括每一点云数据帧所对应各物体的标注框信息，检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，检测框信息包括所对应检测物体在图像帧中的二维位置信息；
所述S103，可以包括如下步骤031-034：
031：针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息。
032：针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息。
其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息。
033：基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征预设视觉感知算法的检测结果准确性的第一评测信息。
034：基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征预设视觉感知算法的算法稳定性的第二评测信息。
本实现方式中，电子设备在基于真值信息和检测信息，确定预设视觉感知算法对应的评测信息之前，需要对真值信息和检测信息进行匹配，以通过相互匹配的真值信息和检测信息，确定预设视觉感知算法对应的评测信息。相应的，电子设备可以针对每一点云数据帧对应的物体，基于该物体对应的标注框信息，以及点云数据帧采集设备与图像帧采集设备之间的位置转换关系，将该物体对应的标注框信息对应的标注框从其所在点云数据帧采集设备的坐标系下，转换至图像帧采集设备的坐标系下，得到该物体对应的标注框信息对应的标注框在图像帧采集设备的坐标系下的位置信息；进而，基于该物体对应的标注框信息对应的标注框在图像帧采集设备的坐标系下的位置信息以及图像帧采集设备的内参信息，将该物体对应的标注框投影至该点云数据帧对应的图像帧中，确定出该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息。
针对每一点云数据帧，将其所对应各物体对应的标注框均投影至该点云数据帧对应的图像帧之后，可以基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，计算各物体对应的标注框与该点云数据帧对应的图像帧中各检测物体的二维检测框之间的交并比，即计算各物体对应的标注框与该点云数据帧对应的图像帧中各检测物体的二维检测框之间交集面积，与各物体对应的标注框与该点云数据帧对应的图像帧中各检测物体的二维检测框之间并集面积之间的比值；针对每一比值，将该比值与预设交并比阈值进行比较，确定该比值与预设交并比阈值的大小，若比值超过预设交并比阈值，则确定该比值对应的投影框位置信息所对应物体与该比值对应的二维位置信息所对应检测物体，为同一物体，相应的，该比值对应的投影框位置信息和对应的二维位置信息为相匹配的投影框位置信息和二维位置信息。
举例而言，点云数据帧A中对应的物体包括物体1、物体2以及物体3；该点云数据帧A对应的图像帧a对应的检测物体包括检测物体1、检测物体2、检测物体3以及检测物体4；针对点云数据帧A中对应的物体1，基于物体1对应的投影框位置信息和检测物体1的二维位置信息，计算物体1对应的投影框与检测物体1对应的二维检测框之间的交并比；基于物体1对应的投影框位置信息和检测物体2的二维位置信息，计算物体1对应的投影框与检测物体2对应的二维检测框之间的交并比；基于物体1对应的投影框位置信息和检测物体3的二维位置信息，计算物体1对应的投影框与检测物体3对应的二维检测框之间的交并比；基于物体1对应的投影框位置信息和检测物体4的二维位置信息，计算物体1对应的投影框与检测物体4对应的二维检测框之间的交并比。
以此类推，针对点云数据帧A中对应的物体2，计算得到物体2对应的投影框与检测物体1对应的二维检测框之间的交并比；物体2对应的投影框与检测物体2对应的二维检测框之间的交并比；物体2对应的投影框与检测物体3对应的二维检测框之间的交并比；物体2对应的投影框与检测物体4对应的二维检测框之间的交并比。以及针对点云数据帧A中对应的物体3，计算得到物体3对应的投影框与检测物体1对应的二维检测框之间的交并比；物体3对应的投影框与检测物体2对应的二维检测框之间的交并比；物体3对应的投影框与检测物体3对应的二维检测框之间的交并比；物体3对应的投影框与检测物体4对应的二维检测框之间的交并比。
分别判断各交并比即比值与预设交并比阈值的大小；假如：若物体1对应的投影框与检测物体3对应的二维检测框之间的交并比超过预设交并比阈值，则确定物体1对应的投影框位置信息和检测物体3对应的二维位置信息为相匹配的投影框位置信息和二维位置信息，相应的，物体1对应的真值信息和检测物体3对应的检测信息为相匹配的真值信息和检测信息。
若物体3对应的投影框与检测物体1对应的二维检测框之间的交并比，物体3对应的投影框与检测物体2对应的二维检测框之间的交并比，物体3对应的投影框与检测物体3对应的二维检测框之间的交并比，以及物体3对应的投影框与检测物体4对应的二维检测框之间的交并比，均未超过预设交并比阈值，则确定检测物体1-4中不存在与物体3为同一物理物体的检测物体，即物体3对应的真值信息为未匹配到检测信息的真值信息，相应的，可以称物体3为漏检物体。
若物体1对应的投影框与检测物体4对应的二维检测框之间的交并比，物体2对应的投影框与检测物体4对应的二维检测框之间的交并比，物体3对应的投影框与检测物体4对应的二维检测框之间的交并比，均未超过预设交并比阈值，则确定物体1-3中不存在与检测物体4为同一物理物体的物体，即检测物体4对应的检测信息为未匹配到真值信息的检测信息，相应的，可以称检测物体4为误检物体。
后续的，电子设备可以基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征预设视觉感知算法的检测结果准确性的第一评测信息；基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征预设视觉感知算法的算法稳定性的第二评测信息。
在本发明的另一实施例中，检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；
标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
所述033，可以包括如下步骤0331-0339：
0331：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息。
0332：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值。
0333：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值。
0334：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值。
0335：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值。
0336：基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值。
0337：基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制目标误差值对应的误差曲线。
其中，误差曲线的横轴为预设误差阈值，误差曲线的纵轴为目标误差值中小于各预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值，目标误差值为：检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值或检测框的长宽误差值；
0338：按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到目标误差值对应的排序序列；确定目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值。
0339：基于预设视觉感知算法对应的检测结果的精确率信息和召回率信息、目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或目标误差值，确定表征预设视觉感知算法的检测结果准确性的第一评测信息。
本实现方式中，利用该预设视觉感知算法可以从图像帧中检测出其中各检测物体的2D信息和3D信息，包括各检测物体在图像帧中的二维位置信息、各检测物体在指定空间直角坐标系中的检测位置信息、检测姿态信息、检测速度信息以及检测加速度信息。
为了实现对预设视觉感知算法的检测结果准确性以及算法稳定性的多维度的评测，真值信息包括所对应物体的多种维度标注参数，可以包括但不限于所对应物体的标注位置信息、标注姿态、标注速度信息以及标注加速度信息。
预设结果准确性评测规则可以包括指示确定检测结果的精确率(precision)信息以及召回率(recall)信息的规则，相应的，电子设备可以按照预设精确率信息确定方式以及预设召回率确定方式，基于一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定预设视觉感知算法对应的检测结果的精确率信息和召回率信息。将预设视觉感知算法对应的检测结果的精确率信息和召回率信息，作为评测预设视觉感知算法对应的检测结果准确性的一种评测指标。其中，预设精确率信息确定方式以及预设召回率确定方式可以参照相关技术中的精确率信息确定方式以及召回率确定方式，在此不做赘述。
本实现方式中，新增了一种预设视觉感知算法对应的检测结果准确性的评测指标，为绘制一种特殊形式的误差曲线，进而通过该误差曲线来评测预设视觉感知算法对应的检测结果准确性。另一种新增的预设视觉感知算法对应的检测结果准确性的评测指标为：统计同一维度的误差值中不同占比对应的误差值数量，进而，基于该统计的同一维度的误差值中不同占比对应的误差值数量来评测预设视觉感知算法对应的检测结果准确性。
具体的，首先基于相匹配的真值信息的检测信息计算出不同维度对应的各误差值：
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值。即针对每一相匹配的真值信息和检测信息，统一其中的标注位置信息和检测位置信息的坐标系，进而，计算统一坐标系之后的标注位置信息和检测位置信息的之间的检测位置误差值；其中，该检测位置误差值可以为标注位置信息和检测位置信息之间的绝对误差值和/或相对误差值。
其中，该检测位置误差值可以包括但不限于横向方向上的位置误差值、纵向方向上的位置误差值以及合成位置误差值，其中，该合成位置误差值为各方向上位置误差值的合成值，该纵向方向可以指目标车辆的行驶方向，该横向方向可以指目标车辆的行驶方向的垂直方向。
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值，即针对每一相匹配的真值信息和检测信息，统一其中的标注姿态信息和检测姿态信息的坐标系，进而，计算统一坐标系之后的标注姿态信息和检测姿态信息的之间的检测姿态误差值；其中，该检测姿态误差值可以为标注姿态信息和检测姿态信息之间的绝对误差值和/或相对误差值。
其中，该检测姿态误差值可以包括但不限于横向方向上的姿态误差值、纵向方向上的姿态误差值以及合成姿态误差值，其中，该合成姿态误差值为各方向上姿态误差值的合成值。
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值，即针对每一相匹配的真值信息和检测信息，统一其中的标注速度信息和检测速度信息的坐标系，进而，计算统一坐标系之后的标注速度信息和检测速度信息的之间的检测速度误差值；其中，该检测速度误差值可以为标注速度信息和检测速度信息之间的绝对误差值和/或相对误差值。
其中，该检测速度误差值可以包括但不限于横向方向上的速度误差值、纵向方向上的速度误差值以及合成速度误差值，其中，该合成速度误差值为各方向上速度误差值的合成值。
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值，即针对每一相匹配的真值信息和检测信息，统一其中的标注加速度信息和检测加速度信息的坐标系，进而，计算统一坐标系之后的标注加速度信息和检测加速度信息的之间的检测加速度误差值；其中，该检测加速度误差值可以为标注加速度信息和检测加速度信息之间的绝对误差值和/或相对误差值。
其中，该检测加速度误差值可以包括但不限于横向方向上的加速度误差值、纵向方向上的加速度误差值以及合成加速度误差值，其中，该合成加速度误差值为各方向上加速度误差值的合成值。
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值；即针对每一相匹配的真值信息和检测信息，统一其中的标注框信息和检测框信息之间的尺度，基于统一尺度之后的标注框信息和检测框信息分别计算标注框与检测框的长和宽之间的误差，作为检测框的长宽误差值，其中，该检测框的长宽误差值可以为标注框和检测框之间的长和宽的绝对误差值和/或相对误差值。在一种情况中，还可以计算标注框与检测框的高之间的误差。
一种情况，电子设备可以分别依次将上述所确定的检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值以及检测框的长宽误差值，作为目标误差值；基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制目标误差值对应的误差曲线。具体的，可以是：针对每一预设误差阈值，统计目标误差值中小于该预设误差阈值的目标误差值的数量，并计算该目标误差值中小于该预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值；进而，以预设误差阈值为目标误差值对应的误差曲线的横轴，以目标误差值中小于各预设误差阈值的目标误差值的数量为目标误差值对应的误差曲线的纵轴，绘制该目标误差值对应的误差曲线。其中，该预设误差阈值包括多个，该预设误差阈值可以从0开始设置，依次递增。
如图2所示，为所绘制的目标误差值对应的误差曲线的一种示例图。
另一种情况，电子设备按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到目标误差值对应的排序序列；确定目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值。其中，第一目标误差值可以称为1sigma，该第二目标误差之可以称为2sigma。
举例而言，该前第一百分比可以为排序序列的前68.26％，该前第二百分比可以为排序序列的前95.44％。
后续的，电子设备可以基于预设视觉感知算法对应的检测结果的精确率信息和召回率信息、目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或目标误差值，确定表征预设视觉感知算法的检测结果准确性的第一评测信息。
可以理解的是，预设视觉感知算法对应的检测结果的精确率信息越高和召回率信息越高，可以表征该预设视觉感知算法对应的检测结果准确性越高。
对于目标误差值对应的误差曲线而言，如图2所示，该目标误差值对应的误差曲线下的面积(AUC：Area Under Curve)越大即面积值越接近于1，可以表征相匹配的真值信息和检测信息中相应维度上的信息整体上的误差越小，即预设视觉感知算法的性能越好。例如：目标误差值为检测位置误差值，则度量了该预设视觉感知算法的位置判断能力，该检测位置误差值对应的误差曲线中曲线下的面积越大，则可以表明预设视觉感知算法的位置判断能力越好。又例如：目标误差值为检测姿态误差值，则度量了该预设视觉感知算法的姿态判断能力，该检测姿态误差值对应的误差曲线中曲线下的面积越大，则可以表明预设视觉感知算法的位置判断能力越好。
对于统计同一维度的误差值中不同占比对应的误差值数量这一评测指标而言，所确定出的第一目标误差值和第二目标误差值的值越小，该预设视觉感知算法的性能越好，即检测结果的准确性越高。
在一种实现中，预设视觉感知算法对应的检测结果准确性的评测指标还可以包括但不限于：P-R曲线以及检测结果中出现物体误检以及漏检的情况在整个检测结果中的占比等度量指标，其中，P-R曲线为该精确率信息和召回率信息曲线，为以召回率信息作为横坐标轴，精确率信息作为纵坐标轴所绘制的曲线。
为了提高对预设视觉感知算法的评测的全面性，本发明实施例中除了针对预设视觉感知算法对应的检测结果准确性进行评测，还提供了对预设视觉感知算法的算法稳定性的评测。在本发明的另一实施例中，所述034，可以包括如下步骤：
0341：基于评测数据集中的点云数据帧或图像帧之间的时序信息，从目标误差值中确定出对应同一物体对应的目标误差值；
0342：针对不同物体对应的目标误差值，基于评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，
其中，该拟合误差曲线包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差；
0343：针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征预设视觉感知算法的算法稳定性的第二评测信息。
本实现方式中，评测数据集中的点云数据帧之间存在连续性即存在时序上的连续，图像帧之间存在连续性即存在时序上的连续。鉴于此，电子设备可以基于评测数据集中的点云数据帧或图像帧之间的时序信息，从目标误差值中确定出对应同一物体对应的目标误差值，其中，该同一物体对应的目标误差值按其所对应点云数据帧或图像帧之间的时序信息进行排列。
相应的，电子设备针对不同物体对应的目标误差值，基于评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，该物体对应的目标误差值对应的拟合误差曲线可以包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差。其中，该预设曲线拟合算法可以为相关技术中的任一类型的曲线拟合算法，本发明实施例并不对此进行限定。
后续的，电子设备针对不同物体对应的目标误差值以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征预设视觉感知算法的算法稳定性的第二评测信息。在本发明的另一实施例中，所述0343，包括：
03431：针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值；
03432：针对不同物体对应的目标误差值，基于该物体对应的各采集时刻的目标误差与拟合误差的差值，以及该物体所对应目标误差值对应的预设差值阈值，绘制该物体所对应目标误差对应的差值误差曲线。
其中，该物体所对应目标误差对应的差值误差曲线的横轴为该物体所对应目标误差值对应的预设差值阈值，该物体所对应目标误差对应的差值误差曲线的纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值。
03433：针对不同物体对应的目标误差值，按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值；
03434：基于各物体所对应目标误差值对应的第一差值和第二差值，和/或各物体所对应目标误差值对应的差值误差曲线，确定表征预设视觉感知算法的算法稳定性的第二评测信息。
本实现方式中，该物体对应的目标误差值对应不同的点云数据帧或图像帧，每一点云数据帧或图像帧对应有采集时刻。相应的，一种实现中，该物体对应的目标误差值对应不同的采集时刻。鉴于此，电子设备可以针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值。
进而，针对该物体所对应目标误差值对应的不同预设差值阈值，统计该物体对应的各采集时刻的目标误差与拟合误差的差值中，小于该预设差值阈值的差值的数量；并计算小于该预设差值阈值的差值的数量与该物体所对应目标误差值总数量的比值；以该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值为纵轴，以该物体所对应目标误差值对应的预设差值阈值为横轴，绘制该物体所对应目标误差对应的差值误差曲线。
另一种实现中，针对不同物体对应的目标误差值，电子设备可以按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值。其中，该第三百分比可以与第一百分比相同或不同，该第四百分比可以与第二百分比相同或不同。
后续的，电子设备可以基于各物体所对应目标误差值对应的第一差值和第二差值，和/或各物体所对应目标误差对应的差值误差曲线，确定表征预设视觉感知算法的算法稳定性的第二评测信息。其中，各物体所对应目标误差值对应的第一差值和第二差值之间的取值越小，可以表征该物体对应的各采集时刻的目标误差与拟合误差的差值越小，相应的，可以表征该预设视觉感知算法的在该目标误差值对应的维度上的算法稳定性越好。
各物体所对应目标误差值对应的差值误差曲线下的面积越大即面积值越接近于1，可以表征该物体对应的各采集时刻的目标误差与拟合误差在整体上的误差越小，即预设视觉感知算法的性能越好，该预设视觉感知算法在该目标误差值对应的维度上的检测稳定性越高。
为了提供用户体验，帮助用户理解评测信息，本发明实施例可以对评测信息以及评测过程中所产生的中间信息进行可视化展示。在本发明的另一实施例中，所述方法还包括：
显示第一评测信息、第二评测信息、预设视觉感知算法对应的检测结果的精确率信息和召回率信息、目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值、目标误差值、所确定出的同一物体对应的目标误差值和/或拟合所得的每一物体对应的目标误差值对应的拟合误差曲线。
其中，电子设备可以以基于网页的可视化的方式、基于3D渲染的可视化的方式，对评测信息以及评测过程中所产生的中间信息进行直观展示，并可以提供与用户交互的功能。
相应于上述方法实施例，本发明实施例提供了一种视觉感知算法的评测装置，如图3所示，所述装置可以包括：
第一获得模块310，被配置为获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
第二获得模块320，被配置为获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
确定模块330，被配置为基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
应用本发明实施例，可以基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定出预设视觉感知算法的多方面检测结果的准确性的第一评测信息，以及算法稳定性的第二评测信息，从多方面检测结果的准确性和算法的检测结果的稳定性来对预设视觉感知算法进行评测，实现对视觉感知算法的性能的全面评测。
在本发明的另一实施例中，所述第一获得模块310，被具体配置为获得评测数据集；
基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
在本发明的另一实施例中，所述第二获得模块320，被具体配置为基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；
基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
在本发明的另一实施例中，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；
所述确定模块330，包括：
第一确定单元(图中未示出)，被配置为针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；
第二确定单元(图中未示出)，被配置为针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；
第三确定单元(图中未示出)，被配置为基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；
第四确定单元(图中未示出)，被配置为基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
在本发明的另一实施例中，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
所述第三确定单元，被具体配置为基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值；
基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制所述目标误差值对应的误差曲线，其中，所述误差曲线的横轴为预设误差阈值，所述误差曲线的纵轴为所述目标误差值中小于各预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值，所述目标误差值为：检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值或检测框的长宽误差值；
按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到所述目标误差值对应的排序序列；确定所述目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值；
基于所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或所述目标误差值，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息。
在本发明的另一实施例中，所述第四确定单元，被具体配置为基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，从所述目标误差值中确定出对应同一物体对应的目标误差值；
针对不同物体对应的目标误差值，基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，其中，该拟合误差曲线包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差；
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
在本发明的另一实施例中，所述第四确定单元，被具体配置为针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值；
针对不同物体对应的目标误差值，基于该物体对应的各采集时刻的目标误差与拟合误差的差值，以及该物体所对应目标误差值对应的预设差值阈值，绘制该物体所对应目标误差对应的差值误差曲线，其中，该物体所对应目标误差对应的差值误差曲线的横轴为该物体所对应目标误差值对应的预设差值阈值，该物体所对应目标误差对应的差值误差曲线的纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值；
针对不同物体对应的目标误差值，按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值；
基于各物体所对应目标误差值对应的所述第一差值和所述第二差值，和/或各物体所对应目标误差值对应的差值误差曲线，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
在本发明的另一实施例中，所述装置还包括：
显示模块(图中未示出)，被配置为显示所述第一评测信息、所述第二评测信息、所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、所述第一目标误差值及所述第二目标误差值、所述目标误差值、所确定出的同一物体对应的目标误差值和/或拟合所得的每一物体对应的目标误差值对应的拟合误差曲线。
上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种视觉感知算法的评测方法，其特征在于，所述方法包括：
获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
2.如权利要求1所述的方法，其特征在于，所述获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息的过程，包括：
获得评测数据集；
基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
3.如权利要求1所述的方法，其特征在于，所述获得基于预设视觉感知算法以及所述评测数据集中每一图像帧检测出的各物体对应的检测信息的步骤，包括：
基于预设视觉感知算法，对所述评测数据集中每一图像帧进行检测，得到每一图像帧对应的所检测出的各物体所对应检测框信息，以确定每一图像帧对应的所检测出的各检测物体的检测位置信息和检测姿态信息，得到每一图像帧所对应各检测物体的检测位姿信息；
基于预设视觉感知算法以及每一图像帧所对应各检测物体的检测位置信息和检测姿态信息，确定出每一图像帧所对应各检测物体的检测速度信息和检测加速度信息，以得到每一图像帧所对应各检测物体的检测运动信息，得到每一图像帧所对应各检测物体对应的检测信息。
4.如权利要求1-3任一项所述的方法，其特征在于，所述真值信息包括每一点云数据帧所对应各物体的标注框信息，所述检测信息包括每一图像帧对应的所检测出的各检测物体的检测框信息，所述检测框信息包括所对应检测物体在图像帧中的二维位置信息；
所述基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息的步骤，包括：
针对每一点云数据帧对应的各物体，基于该物体对应的标注框信息、点云数据帧采集设备与图像帧采集设备之间的位置转换关系以及所述图像帧采集设备的内参信息，确定该物体对应的标注框投影至该点云数据帧对应的图像帧中的投影框的投影位置信息，作为该物体对应的投影框位置信息；
针对每一点云数据帧对应的各物体，基于各物体对应的投影框位置信息和该点云数据帧对应的图像帧中各检测物体的二维位置信息，确定相匹配的投影框位置信息和二维位置信息，以确定每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，其中，相匹配的投影框位置信息和二维位置信息为：所对应框的交并比数值超过预设交并比阈值的投影框位置信息和二维位置信息；
基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息；
基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
5.如权利要求4所述的方法，其特征在于，所述检测位姿信息包括：每一图像帧对应的所检测出的各检测物体的通过其检测框信息所确定的检测位置信息和检测姿态信息；所述检测运动信息包括：每一图像帧对应的所检测出的各检测物体的检测速度信息和检测加速度信息；所述标注位姿信息包括：每一点云数据帧所对应各物体的通过其标注框信息所确定的标注位置信息和标注姿态信息；所述物体运动信息包括：每一点云数据帧所对应各物体的标注速度信息以及标注加速度信息；
所述基于预设结果准确性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息的步骤，包括：
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息、未匹配到真值信息的检测信息以及未匹配到检测信息的真值信息，确定所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注位置信息及检测信息包括的检测位置信息，确定相匹配的真值信息及检测信息之间的检测位置误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注姿态信息及检测信息包括的检测姿态信息，确定相匹配的真值信息及检测信息之间的检测姿态误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注速度信息及检测信息包括的检测速度信息，确定相匹配的真值信息及检测信息之间的检测速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注加速度信息及检测信息包括的检测加速度信息，确定相匹配的真值信息及检测信息之间的检测加速度误差值；
基于每一点云数据帧及其对应的图像帧所对应相匹配的真值信息包括的标注框信息及检测信息包括的检测框信息，确定相匹配的真值信息及检测信息之间的检测框的长宽误差值；
基于相匹配的真值信息及检测信息之间的目标误差值以及该目标误差值对应的预设误差阈值，绘制所述目标误差值对应的误差曲线，其中，所述误差曲线的横轴为预设误差阈值，所述误差曲线的纵轴为所述目标误差值中小于各预设误差阈值的目标误差值的数量占评测数据集的数据总量的比值，所述目标误差值为：检测位置误差值、检测姿态误差值、检测速度误差值、检测加速度误差值或检测框的长宽误差值；
按数值的大小，对相匹配的真值信息及检测信息之间的目标误差值进行排序，得到所述目标误差值对应的排序序列；确定所述目标误差值对应的排序序列中前第一百分比的目标误差值中数值最大的第一目标误差值，以及前第二百分比的目标误差值中数值最大的第二目标误差值；
基于所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、第一目标误差值及第二目标误差值和/或所述目标误差值，确定表征所述预设视觉感知算法的检测结果准确性的第一评测信息。
6.如权利要求5所述的方法，其特征在于，所述基于预设算法稳定性评测规则、每一点云数据帧及其对应的图像帧所对应相匹配的真值信息及检测信息，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息的步骤，包括：
基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，从所述目标误差值中确定出对应同一物体对应的目标误差值；
针对不同物体对应的目标误差值，基于所述评测数据集中的点云数据帧或图像帧之间的时序信息，该物体对应的目标误差值以及预设曲线拟合算法，拟合得到该物体对应的目标误差值对应的拟合误差曲线，其中，该拟合误差曲线包括：拟合所得的该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差；
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
7.如权利要求6所述的方法，其特征在于，所述针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息的步骤，包括：
针对不同物体对应的目标误差值，基于该物体对应的目标误差值，以及该物体对应的目标误差值所对应拟合误差曲线所包含该物体在各点云数据帧或图像帧所对应采集时刻对应的拟合误差，计算对应同一采集时刻的目标误差与拟合误差的差值；
针对不同物体对应的目标误差值，基于该物体对应的各采集时刻的目标误差与拟合误差的差值，以及该物体所对应目标误差值对应的预设差值阈值，绘制该物体所对应目标误差对应的差值误差曲线，其中，该物体所对应目标误差对应的差值误差曲线的横轴为该物体所对应目标误差值对应的预设差值阈值，该物体所对应目标误差对应的差值误差曲线的纵轴为该物体所对应目标误差值对应的差值小于各预设差值阈值的数量、占该物体所对应目标误差值总数量的比值；
针对不同物体对应的目标误差值，按数值的大小，对该物体所对应目标误差值对应的差值进行排序，确定排序序列中前第三百分比的差值中数值最大的第一差值，以及前第四百分比的差值中数值最大的第二差值；
基于各物体所对应目标误差值对应的所述第一差值和所述第二差值，和/或各物体所对应目标误差值对应的差值误差曲线，确定表征所述预设视觉感知算法的算法稳定性的第二评测信息。
8.如权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
显示所述第一评测信息、所述第二评测信息、所述预设视觉感知算法对应的检测结果的精确率信息和召回率信息、所述目标误差信息对应的误差曲线、所述第一目标误差值及所述第二目标误差值、所述目标误差值、所确定出的同一物体对应的目标误差值和/或拟合所得的每一物体对应的目标误差值对应的拟合误差曲线。
9.一种视觉感知算法的评测装置，其特征在于，所述装置包括：
第一获得模块，被配置为获得基于评测数据集中的每一点云数据帧确定的各物体对应的真值信息，其中，所述真值信息至少包括所对应物体的标注位姿信息以及物体运动信息，每一评测数据包括存在对应关系的点云数据帧和图像帧；
第二获得模块，被配置为获得基于预设视觉检测算法以及所述评测数据集中每一图像帧检测出的各检测物体对应的检测信息，其中，所述检测信息至少包括所对应检测物体的检测位姿信息以及检测运动信息；
确定模块，被配置为基于预设结果准确性评测规则、预设算法稳定性评测规则、各物体对应的真值信息中的标注位姿信息和物体运动信息以及各检测物体对应的检测信息中的检测位姿信息和检测运动信息，确定所述预设视觉感知算法对应的评测信息，其中，所述评测信息包括：表征所述预设视觉感知算法的检测结果准确性的第一评测信息以及算法稳定性的第二评测信息。
10.如权利要求9所述的装置，其特征在于，所述第一获得模块，被具体配置为
获得评测数据集；
基于预先训练的三维数据感知模型对所述评测数据集中的每一点云数据帧进行标注，标注出每一点云数据帧对应的各物体的标注框信息，以确定每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，得到每一点云数据帧所对应各物体的标注位姿信息；
基于所述评测数据集中每一点云数据帧所对应各物体的标注位置信息和标注姿态信息，以及所述评测数据集中每一点云数据帧之间的时序信息，确定各点云数据帧所对应各物体的标注速度信息以及标注加速度信息，以得到每一点云数据帧所对应各物体的物体运动信息，得到每一点云数据帧所对应各物体对应的真值信息。
CN202010841528.7A 2020-08-20 2020-08-20 一种视觉感知算法的评测方法及装置 Pending CN114170448A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010841528.7A CN114170448A (zh) 2020-08-20 2020-08-20 一种视觉感知算法的评测方法及装置
PCT/CN2021/109529 WO2022037387A1 (zh) 2020-08-20 2021-07-30 一种视觉感知算法的评测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010841528.7A CN114170448A (zh) 2020-08-20 2020-08-20 一种视觉感知算法的评测方法及装置

Publications (1)

Publication Number Publication Date
CN114170448A true CN114170448A (zh) 2022-03-11

Family

ID=80323391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010841528.7A Pending CN114170448A (zh) 2020-08-20 2020-08-20 一种视觉感知算法的评测方法及装置

Country Status (2)

Country Link
CN (1) CN114170448A (zh)
WO (1) WO2022037387A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866762A (zh) * 2022-03-15 2022-08-05 中国第一汽车股份有限公司 一种摄像头传感器的可视化检测方法、装置及系统
CN114882550A (zh) * 2022-04-14 2022-08-09 支付宝(杭州)信息技术有限公司 一种人脸注册留底方法、装置以及设备
CN116614621A (zh) * 2023-07-17 2023-08-18 中汽智联技术有限公司 相机内感知算法的测试方法、设备和存储介质
CN117612070A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质
CN117611788A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 动态真值数据的校正方法和装置、存储介质
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147796A (zh) * 2022-07-14 2022-10-04 小米汽车科技有限公司 评测目标识别算法的方法、装置、存储介质及车辆
CN115311885B (zh) * 2022-07-29 2024-04-12 上海商汤临港智能科技有限公司 一种评测方法、系统、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3422290A4 (en) * 2016-02-23 2019-02-27 Ricoh Company, Ltd. PICTURE PROCESSING DEVICE, IMAGING DEVICE, MOBILE BODY CONTROL SYSTEM, PICTURE PROCESSING METHOD AND PROGRAM
CN108765563B (zh) * 2018-05-31 2022-05-10 北京百度网讯科技有限公司 基于ar的slam算法的处理方法、装置及设备
CN110287832A (zh) * 2019-06-13 2019-09-27 北京百度网讯科技有限公司 高速自动驾驶场景障碍物感知评测方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114866762A (zh) * 2022-03-15 2022-08-05 中国第一汽车股份有限公司 一种摄像头传感器的可视化检测方法、装置及系统
CN114882550A (zh) * 2022-04-14 2022-08-09 支付宝(杭州)信息技术有限公司 一种人脸注册留底方法、装置以及设备
CN114882550B (zh) * 2022-04-14 2024-05-14 支付宝(杭州)信息技术有限公司 一种人脸注册留底方法、装置以及设备
CN116614621A (zh) * 2023-07-17 2023-08-18 中汽智联技术有限公司 相机内感知算法的测试方法、设备和存储介质
CN116614621B (zh) * 2023-07-17 2023-10-10 中汽智联技术有限公司 相机内感知算法的测试方法、设备和存储介质
CN117612070A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质
CN117611788A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 动态真值数据的校正方法和装置、存储介质
CN117611788B (zh) * 2024-01-19 2024-04-19 福思(杭州)智能科技有限公司 动态真值数据的校正方法和装置、存储介质
CN117612070B (zh) * 2024-01-19 2024-05-03 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质
CN117784162B (zh) * 2024-02-26 2024-05-14 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Also Published As

Publication number Publication date
WO2022037387A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
CN114170448A (zh) 一种视觉感知算法的评测方法及装置
CN109087510B (zh) 交通监测方法及装置
CN112816954A (zh) 一种基于真值的路侧感知系统评测方法和系统
CN104021676A (zh) 基于车辆动态视频特征的车辆定位及车速测量方法
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
CN112883820B (zh) 基于激光雷达点云的道路目标3d检测方法及系统
CN113155173B (zh) 感知性能评测方法、装置、电子装置和存储介质
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN109916488A (zh) 动态车辆称重方法及装置
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
CN113592905A (zh) 基于单目摄像头的车辆行驶轨迹预测方法
CN110796360A (zh) 一种固定型交通检测源多尺度数据融合方法
CN111160132B (zh) 障碍物所在车道的确定方法、装置、电子设备和存储介质
CN114639085A (zh) 交通信号灯识别方法、装置、计算机设备和存储介质
CN112633035B (zh) 一种基于无人驾驶车辆的车道线坐标真值获取方法及装置
CN111964763A (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN112149471A (zh) 一种基于语义点云的回环检测方法及装置
CN116543271A (zh) 目标检测评价指标的确定方法、装置、电子设备及介质
CN114492676B (zh) 一种目标检测模型的构建方法、装置和电子设备
CN115355919A (zh) 车辆定位算法的精度检测方法、装置、计算设备及介质
CN115116034A (zh) 一种夜间行人检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination