CN115424097A - 三维目标检测算法的评估方法、系统、电子设备及介质 - Google Patents

三维目标检测算法的评估方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN115424097A
CN115424097A CN202211061327.0A CN202211061327A CN115424097A CN 115424097 A CN115424097 A CN 115424097A CN 202211061327 A CN202211061327 A CN 202211061327A CN 115424097 A CN115424097 A CN 115424097A
Authority
CN
China
Prior art keywords
data
coordinate system
detection data
algorithm
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211061327.0A
Other languages
English (en)
Inventor
李�杰
邓皓匀
任凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211061327.0A priority Critical patent/CN115424097A/zh
Publication of CN115424097A publication Critical patent/CN115424097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明涉及算法评估技术领域，公开了一种三维目标检测算法的评估方法、系统、电子设备及介质，该方法通过待评估算法得到标准检测数据对应的算法检测数据，并建立多个视图坐标系，计算在不同坐标系中算法检测数据与标准检测数据之间的数据重叠度，基于数据重叠度确定各坐标系的坐标系精确率，再对各视图坐标系的坐标系精确率加权计算，得到评估指标，通过不同的视图坐标系得到标准检测数据和算法检测数据之间不同的数据重叠度，进而确定不同的视图坐标系下的坐标系精确率，最后根据坐标系精确率进行加权计算得到评估指标，增加了评估参数的范围，从而提高评估结果的准确性。

Description

三维目标检测算法的评估方法、系统、电子设备及介质
技术领域
本发明涉及算法评估技术领域，尤其涉及一种三维目标检测算法的评估方法、系统、电子设备及介质。
背景技术
目前，随着自动驾驶的不断进步，目标检测成为了自动驾驶领域中备受关注的方向，目标检测算法的准确性直接影响着自动驾驶车辆的安全性。而随着激光雷达的普遍使用，根据激光雷达采集得到的点云数据进行三维目标识别，得到高精度高深度信息，进而对自动驾驶进行辅助成为了自动驾驶的主流趋势。因此，如何准确评价一个三维目标检测算法，进而根据评价结果指导三维目标检测算法的改进成为了重要前提。
现有的算法评估方法通常是将点云数据中的目标人工进行标注，得到人工标注框，再通过三维目标检测算法对点云数据中的目标进行检测，得到算法标注框，如果人工标注框和算法标注框之间的重叠区域大，则该三维目标检测算法的评估结果为合格。但是，仅仅通过单一视图对三维目标检测算法的结果进行评估，其评估参数过于单一，造成评估结果只有合格和不合格，从而导致评估结果的准确性较低，无法向三维目标检测算法的改进提供足够的参考性。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
鉴于以上所述现有技术的缺点，本发明公开了一种三维目标检测算法的评估方法、系统、电子设备及介质，以提高三维目标检测算法的评估准确性。
本发明公开了一种三维目标检测算法的评估方法，包括：获取待评估算法，并获取多个样本数据以及各所述样本数据对应的标准检测数据，其中，所述待评估算法用于分别对各所述样本数据进行目标检测，得到各所述样本数据对应的算法检测数据；建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度；根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例，并根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率；基于各所述视图坐标系的预设视图权重对各所述视图坐标系的坐标系精确率进行加权计算，得到所述待评估算法的评估指标。
可选地，将任一视图坐标系确定为目标坐标系之后，根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例之前，所述方法还包括：获取多个距离区间；根据所述目标坐标系分别确定各所述算法检测数据的中心点，并将所述中心点与所述目标坐标系的原点之间的欧式距离确定为中心点距离；基于各所述距离区间与各所述中心点距离之间的匹配结果从所述算法检测数据中确定各所述距离区间对应的分类检测数据。
可选地，获取多个样本数据以及各所述样本数据对应的标准检测数据之后，建立多个预设视图类别对应的视图坐标系之前，所述方法还包括：获取所述标准检测数据对应的标准目标类别、标准目标朝向；获取所述算法检测数据对应的检测目标类别、检测目标朝向、检测置信度中的至少一种。
可选地，根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定各所述视图坐标系对应的样本识别正例，包括：所述重叠度阈值的数量包括多个；将任一重叠度阈值确定为目标阈值，预先设置第一正例条件、第二正例条件、第三正例条件和第四正例条件，其中，所述第一正例条件包括分类检测数据的分类检测数据大于或等于所述目标阈值，所述第二正例条件包括所述分类检测数据的检测置信度大于或等于预设置信度阈值，所述第三正例条件包括所述分类检测数据的检测目标类别与对应的标准目标类别相同，所述第四正例条件包括所述分类检测数据的检测目标朝向与对应的标准目标朝向相同；将所述第一正例条件、所述第二正例条件、所述第三正例条件和所述第四正例条件中的至少一部分确定为判定条件；若任一分类检测数据满足所述判定条件，则将所述分类检测数据确定为所述目标阈值的样本识别正例。
可选地，根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率，包括：将任一距离区间确定为目标区间，对所述目标区间对应的分类检测数据进行数量统计，得到所述目标区间对应的分类数据总量；分别对各所述重叠度阈值的样本识别正例进行数量统计，得到各所述重叠度阈值的阈值正例数量；根据所述分类数据总量分别对各所述重叠度阈值的阈值正例数量进行计算，得到各所述重叠度阈值的阈值精确率；根据各所述重叠度阈值对应的预设阈值权重对各所述阈值精确率进行加权计算，得到所述目标区间的区间精确率；根据各所述距离区间对应的预设区间权重对各所述距离区间的区间精确率进行加权计算，得到所述目标坐标系的坐标系精确率。
可选地，通过以下公式确定所述待评估算法的评估指标：
Figure BDA0003826359430000031
式中，APall为所述待评估算法的评估指标，APview(k)为第k个视图坐标系的坐标系精确率，θview(k)为第k个视图坐标系的预设视图权重，s为视图坐标系的数量，APdis(j)为第j个距离区间的区间精确率，βdis(j)为第j个距离区间的预设区间权重，m为距离区间的数量，APthr(i)为第i个重叠度阈值的阈值精确率，αthr(i)为第i个重叠度阈值的预设阈值权重，n为重叠度阈值的数量。
可选地，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度，包括：若预设视图类别对应的预设视图类别包括三维视图，则将所述算法检测数据与所述标准检测数据的交点确定为第一坐标点；将所述算法检测数据的顶点确定为第一顶点，将包含在所述标准检测数据中的第一顶点确定为第二坐标点；将所述标准检测数据的顶点确定为第二顶点，将包含在所述算法检测数据中的第二顶点确定为第三坐标点；根据预设的三角化算法对所述第一坐标点、所述第二坐标点、所述第三坐标点进行三角化计算，得到参考区域；根据所述算法检测数据的体积、所述标准检测数据的体积和所述参考区域的体积计算得到所述算法检测数据与所述标准检测数据之间的数据重叠度。
可选地，通过以下公式确定所述算法检测数据与所述标准检测数据之间的数据重叠度：
Figure BDA0003826359430000032
式中，IoU为所述算法检测数据与所述标准检测数据之间的数据重叠度，V1为所述算法检测数据的体积，V2为所述标准检测数据的体积，VI为所述参考区域的体积。
本发明公开了一种三维目标检测算法的评估系统，包括：获取模块，用于获取待评估算法，并获取多个样本数据以及各所述样本数据对应的标准检测数据，其中，所述待评估算法用于分别对各所述样本数据进行目标检测，得到各所述样本数据对应的算法检测数据；重叠度确定模块，用于建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度；精确率确定模块，用于根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例，并根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率；计算模块，用于基于各所述视图坐标系的预设视图权重对各所述视图坐标系的坐标系精确率进行加权计算，得到所述待评估算法的评估指标。
本发明公开了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。
本发明公开了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。
本发明的有益效果：
通过待评估算法得到标准检测数据对应的算法检测数据，并建立多个视图坐标系，计算在不同坐标系中算法检测数据与标准检测数据之间的数据重叠度，基于数据重叠度筛选在不同坐标系下算法检测数据中的样本识别正例，进而根据样本识别正例的数量确定各坐标系的坐标系精确率，再对各视图坐标系的坐标系精确率加权计算，得到评估指标。这样，相较于直接通过单一视图的重叠度确定检测算法的评估结果，通过不同的视图坐标系得到标准检测数据和算法检测数据之间不同的数据重叠度，进而确定不同的视图坐标系下的坐标系精确率，最后根据坐标系精确率进行加权计算得到评估指标，增加了评估参数的范围，从而提高评估结果的准确性，并且通过评估指标更适合判断不同检测算法之间的差异，从而对三维目标检测算法的改进提供参考。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例中一个三维目标检测算法的评估方法的流程示意图；
图2是本发明实施例中另一个三维目标检测算法的评估方法的流程示意图；
图3是本发明实施例中一个三维目标检测算法的评估系统的结构示意图；
图4是本发明实施例中一个电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
结合图1所示，本公开实施例提供了一种三维目标检测算法的评估方法，包括：
步骤S101，获取待评估算法，并获取多个样本数据以及各样本数据对应的标准检测数据；
其中，待评估算法用于分别对各样本数据进行目标检测，得到各样本数据对应的算法检测数据；
步骤S102，建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据目标坐标系确定算法检测数据与标准检测数据之间的数据重叠度；
步骤S103，根据数据重叠度与预设的重叠度阈值之间的比较结果从算法检测数据中确定样本识别正例，并根据样本识别正例的数量确定目标坐标系的坐标系精确率；
步骤S104，基于各视图坐标系的预设视图权重对各视图坐标系的坐标系精确率进行加权计算，得到待评估算法的评估指标。
采用本公开实施例提供的三维目标检测算法的评估方法，通过待评估算法得到标准检测数据对应的算法检测数据，并建立多个视图坐标系，计算在不同坐标系中算法检测数据与标准检测数据之间的数据重叠度，基于数据重叠度筛选在不同坐标系下算法检测数据中的样本识别正例，进而根据样本识别正例的数量确定各坐标系的坐标系精确率，再对各视图坐标系的坐标系精确率加权计算，得到评估指标。这样，相较于直接通过单一视图的重叠度确定检测算法的评估结果，通过不同的视图坐标系得到标准检测数据和算法检测数据之间不同的数据重叠度，进而确定不同的视图坐标系下的坐标系精确率，最后根据坐标系精确率进行加权计算得到评估指标，增加了评估参数的范围，从而提高评估结果的准确性，并且通过评估指标更适合判断不同检测算法之间的差异，从而对三维目标检测算法的改进提供参考。
可选地，预设视图类别包括二维视图和三维视图；二维视图对应的视图坐标系包括BEV鸟瞰视图，BEV鸟瞰视图能够通过高精度地图(offline mapping)建立，也能够通过线上绘图(online mapping)进行视图语义分割和检测建立；三维视图对应的视图坐标系包括以车辆为原点并包括三个坐标轴的笛卡尔坐标系。
可选地，二维视图对应的预设视图权重大于三维视图对应的预设视图权重。
可选地，根据目标坐标系确定算法检测数据与标准检测数据之间的数据重叠度，包括：若预设视图类别对应的预设视图类别包括三维视图，则将算法检测数据与标准检测数据的交点确定为第一坐标点；将算法检测数据的顶点确定为第一顶点，将包含在标准检测数据中的第一顶点确定为第二坐标点；将标准检测数据的顶点确定为第二顶点，将包含在算法检测数据中的第二顶点确定为第三坐标点；根据预设的三角化算法对第一坐标点、第二坐标点、第三坐标点进行三角化计算，得到参考区域；根据算法检测数据的体积、标准检测数据的体积和参考区域的体积计算得到算法检测数据与标准检测数据之间的数据重叠度。
可选地，三角化算法常应用在测量学中，包括在不同的位置观测同一个三维点P(x,y,z)，已知在不同位置处观察到的三维点的二维投影点X1(x1,y1),X2(x2,y2)，利用三角关系，恢复出三维点的深度信息z。
可选地，数据重叠度即IoU(Intersection over Union，重叠度)，是一种测量在特定数据集中检测相应物体准确度的一个标准；通过数据重叠度能够确定算法检测数据中的正样本(TP，true positive)和负样本(FP，false positive)，进而通过查准率公式AP＝TP/(TP+FP)计算精确(AP，Accuracy Precision)。
可选地，通过以下公式确定算法检测数据与标准检测数据之间的数据重叠度：
Figure BDA0003826359430000071
式中，IoU为算法检测数据与标准检测数据之间的数据重叠度，V1为算法检测数据的体积，V2为标准检测数据的体积，VI为参考区域的体积。
可选地，将任一视图坐标系确定为目标坐标系之后，根据数据重叠度与预设的重叠度阈值之间的比较结果从算法检测数据中确定样本识别正例之前，该方法还包括：获取多个距离区间；根据目标坐标系分别确定各算法检测数据的中心点，并将中心点与目标坐标系的原点之间的欧式距离确定为中心点距离；基于各距离区间与各中心点距离之间的匹配结果从算法检测数据中确定各距离区间对应的分类检测数据。
在一些实施例中，距离区间包括5个，分别为0-30m、30-100m、100-200m、200-∞m以及0-∞m；同时，距离区间的预设区间阈值与距离区间的数值之间呈负相关关系。
可选地，获取多个样本数据以及各样本数据对应的标准检测数据之后，建立多个预设视图类别对应的视图坐标系之前，该方法还包括：获取标准检测数据对应的标准目标类别、标准目标朝向；获取算法检测数据对应的检测目标类别、检测目标朝向、检测置信度中的至少一种。
可选地，根据数据重叠度与预设的重叠度阈值之间的比较结果从算法检测数据中确定各视图坐标系对应的样本识别正例，包括：重叠度阈值的数量包括多个；将任一重叠度阈值确定为目标阈值，预先设置第一正例条件、第二正例条件、第三正例条件和第四正例条件，其中，第一正例条件包括分类检测数据的分类检测数据大于或等于目标阈值，第二正例条件包括分类检测数据的检测置信度大于或等于预设置信度阈值，第三正例条件包括分类检测数据的检测目标类别与对应的标准目标类别相同，第四正例条件包括分类检测数据的检测目标朝向与对应的标准目标朝向相同；将第一正例条件、第二正例条件、第三正例条件和第四正例条件中的至少一部分确定为判定条件；若任一分类检测数据满足判定条件，则将分类检测数据确定为目标阈值的样本识别正例。
在一些实施例中，重叠度阈值包括3个，分别为0.3、0.5、0.7；同时，重叠度阈值的数值与对应的预设阈值权重呈正相关关系。
可选地，根据样本识别正例的数量确定目标坐标系的坐标系精确率，包括：将任一距离区间确定为目标区间，对目标区间对应的分类检测数据进行数量统计，得到目标区间对应的分类数据总量；分别对各重叠度阈值的样本识别正例进行数量统计，得到各重叠度阈值的阈值正例数量；根据分类数据总量分别对各重叠度阈值的阈值正例数量进行计算，得到各重叠度阈值的阈值精确率；根据各重叠度阈值对应的预设阈值权重对各阈值精确率进行加权计算，得到目标区间的区间精确率；根据各距离区间对应的预设区间权重对各距离区间的区间精确率进行加权计算，得到目标坐标系的坐标系精确率。
可选地，通过以下公式确定待评估算法的评估指标：
Figure BDA0003826359430000081
式中，APall为待评估算法的评估指标，APview(k)为第k个视图坐标系的坐标系精确率，θview(k)为第k个视图坐标系的预设视图权重，s为视图坐标系的数量，APdis(j)为第j个距离区间的区间精确率，βdis(j)为第j个距离区间的预设区间权重，m为距离区间的数量，APthr(i)为第i个重叠度阈值的阈值精确率，αthr(i)为第i个重叠度阈值的预设阈值权重，n为重叠度阈值的数量。
结合图2所示，本公开实施例提供了一种三维目标检测算法的评估方法，包括：
步骤S201，获取多个数据组；
其中，所述数据组包括样本数据、样本数据对应的标准检测数据、算法检测数据；
其中，待评估算法用于分别对各样本数据进行目标检测，得到各样本数据对应的算法检测数据；
步骤S202，建立多个预设视图类别对应的视图坐标系，并将各数据组确定为视图坐标系对应的坐标系数据组；
其中，视图坐标系A的数量包括2个，坐标系数据组包括坐标系数据组A1和坐标系组A2；
步骤S203，基于各距离区间与各中心点距离之间的匹配结果从各坐标系数据组中确定各距离区间对应的区间数据组；
其中，距离区间B的数量包括3个，区间数据组包括区间数据组B1、区间数据组B2和区间数据组B3；
步骤S204，在对应的视图坐标系下，确定算法检测数据与标准检测数据之间的数据重叠度；
步骤S205，确定各重叠度阈值对应的样本识别正例；
其中，重叠度阈值C包括重叠度阈值C1、重叠度阈值C2和重叠度阈值C3；
步骤S206，确定各重叠度阈值对应的阈值精确率；
步骤S207，根据预设权重对各重叠度阈值对应的阈值精确率进行加权计算，得到距离区间的区间精确率；
步骤S208，根据预设权重对各距离区间的区间精确率进行加权计算，得到视图坐标系的坐标系精确率；
步骤S209，根据预设权重对各视图坐标系的坐标系精确率进行加权计算，得到待评估算法的评估指标。
采用本公开实施例提供的三维目标检测算法的评估系统，通过待评估算法得到标准检测数据对应的算法检测数据，并建立多个视图坐标系，计算在不同坐标系中算法检测数据与标准检测数据之间的数据重叠度，基于数据重叠度筛选在不同坐标系下算法检测数据中的样本识别正例，进而根据样本识别正例的数量确定各坐标系的坐标系精确率，再对各视图坐标系的坐标系精确率加权计算，得到评估指标，具有以下优点：
第一、相较于直接通过单一视图的重叠度确定检测算法的评估结果，通过不同的视图坐标系得到标准检测数据和算法检测数据之间不同的数据重叠度，进而确定不同的视图坐标系下的坐标系精确率，最后根据坐标系精确率进行加权计算得到评估指标，增加了评估参数的范围，从而提高评估结果的准确性；
第二、相较于评估结果只有合格和不合格，通过评估指标更适合判断不同检测算法之间的差异，从而对三维目标检测算法的改进提供参考；
第三、通过多个距离区间和多个重叠度阈值对评估参数进行分类，从而根据各自对应的权重计算评估指标，从而提高评估的灵活性，使得评估结果更准确。
结合图3所示，本公开实施例提供了一种三维目标检测算法的评估系统，包括获取模块301、重叠度确定模块302、精确率确定模块303和计算模块304。获取模块301用于获取待评估算法，并获取多个样本数据以及各样本数据对应的标准检测数据，其中，待评估算法用于分别对各样本数据进行目标检测，得到各样本数据对应的算法检测数据；重叠度确定模块302用于建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据目标坐标系确定算法检测数据与标准检测数据之间的数据重叠度；精确率确定模块303用于根据数据重叠度与预设的重叠度阈值之间的比较结果从算法检测数据中确定样本识别正例，并根据样本识别正例的数量确定目标坐标系的坐标系精确率；计算模块304用于基于各视图坐标系的预设视图权重对各视图坐标系的坐标系精确率进行加权计算，得到待评估算法的评估指标。
采用本公开实施例提供的三维目标检测算法的评估系统，通过待评估算法得到标准检测数据对应的算法检测数据，并建立多个视图坐标系，计算在不同坐标系中算法检测数据与标准检测数据之间的数据重叠度，基于数据重叠度筛选在不同坐标系下算法检测数据中的样本识别正例，进而根据样本识别正例的数量确定各坐标系的坐标系精确率，再对各视图坐标系的坐标系精确率加权计算，得到评估指标。这样，相较于直接通过单一视图的重叠度确定检测算法的评估结果，通过不同的视图坐标系得到标准检测数据和算法检测数据之间不同的数据重叠度，进而确定不同的视图坐标系下的坐标系精确率，最后根据坐标系精确率进行加权计算得到评估指标，增加了评估参数的范围，从而提高评估结果的准确性，并且通过评估指标更适合判断不同检测算法之间的差异，从而对三维目标检测算法的改进提供参考。
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图4示出的电子设备的计算机系统400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(Central Processing Unit，CPU)401，其可以根据存储在只读存储器(Read-Only Memory，ROM)402中的程序或者从储存部分408加载到随机访问存储器(Random Access Memory，RAM)403中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(Input/Output，I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (11)

1.一种三维目标检测算法的评估方法，其特征在于，包括：
获取待评估算法，并获取多个样本数据以及各所述样本数据对应的标准检测数据，其中，所述待评估算法用于分别对各所述样本数据进行目标检测，得到各所述样本数据对应的算法检测数据；
建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度；
根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例，并根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率；
基于各所述视图坐标系的预设视图权重对各所述视图坐标系的坐标系精确率进行加权计算，得到所述待评估算法的评估指标。
2.根据权利要求1所述的方法，其特征在于，将任一视图坐标系确定为目标坐标系之后，根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例之前，所述方法还包括：
获取多个距离区间；
根据所述目标坐标系分别确定各所述算法检测数据的中心点，并将所述中心点与所述目标坐标系的原点之间的欧式距离确定为中心点距离；
基于各所述距离区间与各所述中心点距离之间的匹配结果从所述算法检测数据中确定各所述距离区间对应的分类检测数据。
3.根据权利要求2所述的方法，其特征在于，获取多个样本数据以及各所述样本数据对应的标准检测数据之后，建立多个预设视图类别对应的视图坐标系之前，所述方法还包括：
获取所述标准检测数据对应的标准目标类别、标准目标朝向；
获取所述算法检测数据对应的检测目标类别、检测目标朝向、检测置信度中的至少一种。
4.根据权利要求3所述的方法，其特征在于，根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定各所述视图坐标系对应的样本识别正例，包括：
所述重叠度阈值的数量包括多个；
将任一重叠度阈值确定为目标阈值，预先设置第一正例条件、第二正例条件、第三正例条件和第四正例条件，其中，所述第一正例条件包括分类检测数据的分类检测数据大于或等于所述目标阈值，所述第二正例条件包括所述分类检测数据的检测置信度大于或等于预设置信度阈值，所述第三正例条件包括所述分类检测数据的检测目标类别与对应的标准目标类别相同，所述第四正例条件包括所述分类检测数据的检测目标朝向与对应的标准目标朝向相同；
将所述第一正例条件、所述第二正例条件、所述第三正例条件和所述第四正例条件中的至少一部分确定为判定条件；
若任一分类检测数据满足所述判定条件，则将所述分类检测数据确定为所述目标阈值的样本识别正例。
5.根据权利要求4所述的方法，其特征在于，根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率，包括：
将任一距离区间确定为目标区间，对所述目标区间对应的分类检测数据进行数量统计，得到所述目标区间对应的分类数据总量；
分别对各所述重叠度阈值的样本识别正例进行数量统计，得到各所述重叠度阈值的阈值正例数量；
根据所述分类数据总量分别对各所述重叠度阈值的阈值正例数量进行计算，得到各所述重叠度阈值的阈值精确率；
根据各所述重叠度阈值对应的预设阈值权重对各所述阈值精确率进行加权计算，得到所述目标区间的区间精确率；
根据各所述距离区间对应的预设区间权重对各所述距离区间的区间精确率进行加权计算，得到所述目标坐标系的坐标系精确率。
6.根据权利要求5所述的方法，其特征在于，通过以下公式确定所述待评估算法的评估指标：
Figure FDA0003826359420000021
式中，APall为所述待评估算法的评估指标，APview(k)为第k个视图坐标系的坐标系精确率，θview(k)为第k个视图坐标系的预设视图权重，s为视图坐标系的数量，APdis(j)为第j个距离区间的区间精确率，βdis(j)为第j个距离区间的预设区间权重，m为距离区间的数量，APthr(i)为第i个重叠度阈值的阈值精确率，αthr(i)为第i个重叠度阈值的预设阈值权重，n为重叠度阈值的数量。
7.根据权利要求1至6任一项所述的方法，其特征在于，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度，包括：
若预设视图类别对应的预设视图类别包括三维视图，则将所述算法检测数据与所述标准检测数据的交点确定为第一坐标点；
将所述算法检测数据的顶点确定为第一顶点，将包含在所述标准检测数据中的第一顶点确定为第二坐标点；
将所述标准检测数据的顶点确定为第二顶点，将包含在所述算法检测数据中的第二顶点确定为第三坐标点；
根据预设的三角化算法对所述第一坐标点、所述第二坐标点、所述第三坐标点进行三角化计算，得到参考区域；
根据所述算法检测数据的体积、所述标准检测数据的体积和所述参考区域的体积计算得到所述算法检测数据与所述标准检测数据之间的数据重叠度。
8.根据权利要求7所述的方法，其特征在于，通过以下公式确定所述算法检测数据与所述标准检测数据之间的数据重叠度：
Figure FDA0003826359420000031
式中，IoU为所述算法检测数据与所述标准检测数据之间的数据重叠度，V1为所述算法检测数据的体积，V2为所述标准检测数据的体积，VI为所述参考区域的体积。
9.一种三维目标检测算法的评估系统，其特征在于，包括：
获取模块，用于获取待评估算法，并获取多个样本数据以及各所述样本数据对应的标准检测数据，其中，所述待评估算法用于分别对各所述样本数据进行目标检测，得到各所述样本数据对应的算法检测数据；
重叠度确定模块，用于建立多个预设视图类别对应的视图坐标系，将任一视图坐标系确定为目标坐标系，根据所述目标坐标系确定所述算法检测数据与所述标准检测数据之间的数据重叠度；
精确率确定模块，用于根据所述数据重叠度与预设的重叠度阈值之间的比较结果从所述算法检测数据中确定样本识别正例，并根据所述样本识别正例的数量确定所述目标坐标系的坐标系精确率；
计算模块，用于基于各所述视图坐标系的预设视图权重对各所述视图坐标系的坐标系精确率进行加权计算，得到所述待评估算法的评估指标。
10.一种电子设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：
所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。
CN202211061327.0A 2022-08-31 2022-08-31 三维目标检测算法的评估方法、系统、电子设备及介质 Pending CN115424097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211061327.0A CN115424097A (zh) 2022-08-31 2022-08-31 三维目标检测算法的评估方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211061327.0A CN115424097A (zh) 2022-08-31 2022-08-31 三维目标检测算法的评估方法、系统、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115424097A true CN115424097A (zh) 2022-12-02

Family

ID=84200774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211061327.0A Pending CN115424097A (zh) 2022-08-31 2022-08-31 三维目标检测算法的评估方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115424097A (zh)

Similar Documents

Publication Publication Date Title
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN108319895B (zh) 用于识别电子地图中的路口的方法和装置
US8249320B2 (en) Method, apparatus, and program for measuring sizes of tumor regions
CN109283562B (zh) 一种车联网中车辆三维定位方法及装置
CN109300119B (zh) 钢结构表面锈蚀区域的检测方法、检测装置及终端设备
CN113377888A (zh) 训练目标检测模型和检测目标的方法
CN110889399B (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN111339649B (zh) 一种采集车辆轨迹数据的仿真方法、系统及设备
CN112966711A (zh) 基于卷积神经网络的指针式仪表示数识别方法及系统
CN112526470A (zh) 标定雷达参数的方法和装置、电子设备、存储介质
CN110413942B (zh) 车道线方程筛选方法及其筛选模块
CN107316296A (zh) 一种基于对数变换的遥感图像变化检测方法及装置
CN114387332A (zh) 一种管道测厚方法及装置
CN117433562A (zh) 高精度定位系统的横向精度评价方法、装置及设备
Daudt et al. Learning to understand earth observation images with weak and unreliable ground truth
CN115424097A (zh) 三维目标检测算法的评估方法、系统、电子设备及介质
CN111122813A (zh) 基于区域地下水流场方向的水质类别评价方法
CN115760827A (zh) 点云数据的检测方法、装置、设备以及存储介质
CN109583511B (zh) 速度融合方法和装置
CN109146840B (zh) 基于高斯概率统计的数据几何定位精度评估方法及装置
CN116295466A (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
CN110321521A (zh) 评估追踪系统对要求的集合的符合性的方法和相关装置
CN112733817B (zh) 一种高精度地图中点云图层精度的测量方法及电子设备
Nguyen et al. An algorithm using YOLOv4 and DeepSORT for tracking vehicle speed on highway
CN118536881B (zh) 一种工程建设施工质量动态评估方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination